DE102019122343A1

DE102019122343A1 - Abweichungskorrektur für industrielle anwendungen mit erweiterter realität

Info

Publication number: DE102019122343A1
Application number: DE102019122343.1A
Authority: DE
Inventors: Joshua Sanders Friesenhahn; James Aaron Crews; Trevor Duncan Schleiss
Original assignee: Fisher Rosemount Systems Inc
Current assignee: Fisher Rosemount Systems Inc
Priority date: 2018-08-20
Filing date: 2019-08-20
Publication date: 2020-02-20
Also published as: US20200058169A1; GB2577775A; US20220122332A1; GB201910902D0; JP2020106513A; US11783553B2; JP7442278B2; US11244509B2; GB2606649B; GB202209128D0; CN110850959A; GB2606649A; GB2577775B

Abstract

Die Erfindung richtet sich auf ein Verfahren zum Steigern der Genauigkeit von Informationen für erweiterte Realität, die einem Benutzer präsentiert werden, der in einer realen kartierten Umgebung navigiert. Es wird ein spezifisches Objekt innerhalb eines Blickfeldes einer Kamera der Mobilvorrichtung des Benutzers identifiziert, mindestens durch Vorhersagen eines Objekttyps durch ein maschinelles Lernmodell, das Bilder, die durch die Kamera aufgenommen werden, verarbeitet, und durch Identifizieren eines Knotens, der dem Objekttyp entspricht, in einer Kartendatenbank, welche die kartierte Umgebung darstellt. Ein Standort, der mit dem Knoten verknüpft ist, wird aus der Kartendatenbank abgerufen und wird verwendet, um einen oder mehrere geschätzte Standorte der mobilen Vorrichtung zu aktualisieren oder zu bestätigen. Es wird verursacht, dass digitale Informationen in einer realen Ansicht, die dem Benutzer über ein Display der mobilen Vorrichtung präsentiert wird, eingeblendet werden, wobei die digitalen Informationen mindestens teilweise basierend auf den aktualisierten oder bestätigten einen oder mehreren geschätzten Standorten der mobilen Vorrichtung ausgewählt werden.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft im Allgemeinen die Technologie der erweiterten Realität und genauer gesagt eine Plattform mit erweiterter Realität, die in Prozessregelungs- oder anderen Umgebungen verwendet werden kann.
HINTERGRUND
Systeme mit erweiterter Realität (Augmented Reality - AR), welche die Einblendung digitaler Informationen (z. B. von Text, Bildern, Animationen usw.) auf reale Umgebungen bereitstellen, werden in dem Maße immer geläufiger, wie neue Anwendungen für die Technologie erforscht werden. AR-Systeme stellen typischerweise Informationen bereit, die für den Zusammenhang des aktuellen realen Umfeldes des Benutzers spezifisch sind. Für diese Systeme ist die Kenntnis der realen Welt im Allgemeinen erforderlich, wie etwa die Kenntnis der physischen Gegenstände, die sich gerade im Blick eines Benutzers befinden, und der räumlichen Anordnung an dem aktuellen Standort des Benutzers und um diesen herum. Um dem AR-System derartige Informationen zur Verfügung zu stellen, wird typischerweise ein dreidimensionales (3D) digitales Modell erstellt, das die Umgebung des Benutzers und die Objekte darin darstellt. Das 3D-Modell kann dann mit bestimmten Datentypen (z. B. Beschreibungen), Grafiken (z. B. Symbolen) usw. erweitert werden, die mit den bestimmten Standorten und/oder bestimmten Objekten in der Umgebung zusammenhängen. Wenn ein Benutzer, der mit der geeigneten AR-Ausrüstung ausgestattet ist, in der kartierten Umgebung umhergeht, können die erweiterten Abschnitte für den Benutzer gerendert/angezeigt werden, indem digitale Informationen in die reale Ansicht des Benutzers eingeblendet werden (z. B. eine Echtzeit-Kameraansicht oder als Blickfeldanzeige (HUD), über die der Benutzer die Umgebung betrachtet), ohne den Rest des 3D-Modells zu rendern/anzuzeigen.
Herkömmlicherweise werden derartige 3D-Modelle von menschlichen Konstrukteuren manuell und/oder unter Verwendung eines 3D-Scanners konstruiert. Diese beiden Lösungsansätze können jedoch für Anwendungen, die Umgebungen einbeziehen, die komplizierte Anordnungen und/oder eine große Anzahl von Objekten aufweisen, sehr zeitraubend und arbeitsintensiv sein. Des Weiteren können eventuelle Änderungen an der Umgebung (z. B. wenn Objekte innerhalb der Umgebung bewegt und/oder ersetzt/aktualisiert werden) erfordern, dass der gesamte Modellierungsprozess wiederholt wird, oder andere zeitraubende und arbeitsintensive Vorgänge erfordern.
Die aktuellen AR-Systeme können auch andere Nachteile aufweisen. Wenn sie beispielsweise in relativ dichten Umgebungen (z. B. Umgebungen, die mehrere Objekte aufweisen, die sich in unmittelbarer Nähe befinden und/oder die eine große Informationsmenge in der AR-Ansicht anzuzeigen haben) verwendet werden, kann es sein, dass die AR-Systeme die Benutzer einer riesigen Informationsmenge aussetzen, was leicht zu einer Reizüberflutung führen könnte, und/oder dass der Benutzer den Zusammenhang aller Informationen nicht leicht wahrnehmen kann. Des Weiteren können einige Objekte in der AR-Ansicht verdeckt sein. Beispielsweise kann es sein, dass sich Objekte innerhalb einer Einfassung befinden oder dass sie sich an einem unzugänglichen oder unpraktischen (z. B. entfernten) Standort befinden.
Lösungen für diese Probleme können durch diverse Aspekte einer Plattform mit erweiterter Realität bereitgestellt werden, die in der vorläufigen US-Patentanmeldung Nr. 62/564,074 (eingereicht am 27. September 2017 unter dem Titel „Augmented Reality Platform“), beschrieben und gezeigt werden, deren Offenbarung hiermit zur Bezugnahme vollständig übernommen wird. Die Plattform mit erweiterter Realität beruht im Allgemeinen auf einer Standortverfolgung einer Mobilvorrichtung des Benutzers (z. B. eines Smartphones, eines Tablets, eines dedizierten AR-Helms oder einer anderen Ausrüstung usw.) mit Bezug auf einen „Orientierungspunkt“ oder einen Referenzstandort, an dem sich der Benutzer „anmeldet“. Beispielsweise kann der Benutzerstandort unter Verwendung einer Inertialmesseinheit der Mobilvorrichtung des Benutzers verfolgt werden, wenn er in der Prozessregelungs- oder anderen Umgebung umhergeht. Im Verlauf der Zeit kann der ersichtliche Standort des Benutzers jedoch im Verhältnis zum Referenzpunkt auf Grund der kumulierten Wirkung kleiner Ungenauigkeiten des verfolgten Standorts des Benutzers „abweichen“.
Die dadurch entstehenden Probleme sind zweifach. Erstens kann es sein, dass bei Umsetzungen, bei denen diese Standortverfolgung verwendet wird, um das Modell der Umgebung zu generieren (z. B. eine Prozessregelungsumgebung), alle Standorte, die in das Modell eingespeist werden (z. B. Standorte von Einrichtungen und/oder anderen Objekten), ungenau sind. Zweitens kann, falls eine derartige Standortverfolgung anschließend von denen verwendet wird, die in der kartierten Umgebung navigieren, das System den Benutzern AR-Informationen basierend auf falschen Standortinformationen präsentieren (z. B. indem es nicht erkennt, dass sich der Benutzer in der Nähe eines bestimmten Objekts befindet, oder indem es fehlerhaft bestimmt, dass sich der Benutzer in der Nähe eines anderen Objekts befindet, usw.). Somit kann sich der Nutzen der Plattform mit erweiterter Realität stark verringern (z. B. indem die Größe der Anlage oder eines anderen Bereichs, in dem die Plattform effektiv verwendet werden kann, eingeschränkt wird), und/oder die Plattform kann umständlicher werden (z. B. indem ein erneuter Kalibrierungsvorgang benötigt wird, bei dem sich die Benutzer periodisch wieder an einem Orientierungsstandort anmelden).
KURZDARSTELLUNG
Es werden hier Techniken, Systeme, Geräte und Verfahren zum Bereitstellen eines Erlebnisses mit erweiterter Realität offenbart. Die Techniken, Systeme, Geräte und Verfahren können beispielsweise für industrielle Prozessregelungssysteme, Umgebungen und/oder Anlagen anwendbar sein, die hier austauschbar als „Prozessregelungs- “ oder „Prozess-“ Systeme, Umgebungen und/oder Anlagen bezeichnet werden können. Typischerweise stellen derartige Systeme und Anlagen eine verteilte Regelung eines oder mehrerer Prozesse bereit, die funktionieren, um physische Rohstoffe herzustellen, zu raffinieren oder anderweitig umzuformen, um Erzeugnisse zu generieren oder zu produzieren. Bei einigen Ausführungsformen können die hier beschriebenen Techniken, Systeme, Geräte und Verfahren jedoch in andersartigen Umgebungen verwendet werden, und/oder in einem anderen Zusammenhang als die erweiterte Realität verwendet werden (z. B. in einem Zusammenhang mit virtueller Realität (VR)) .
Im Allgemeinen können Prozessregelungsumgebungen zu diversen Schwierigkeiten führen, die in dem obigen Abschnitt „Hintergrund“ besprochen wurden und mit dem Generieren und Verwenden eines herkömmlichen Systems oder einer Plattform mit erweiterter Realität (AR) zusammenhängen. Beispielsweise enthalten derartige Umgebungen oft eine große Anzahl von diversen Objekten (z. B. Tanks, Pumpen, Ventile, Motoren, Transmitter usw.), die sich in unmittelbarer Nähe befinden und/oder mit großen Informationsmengen (z. B. Sensormesswerten, Diagnosestatus usw.) verknüpft sind. Des Weiteren können diese Objekte häufig verschoben oder ersetzt werden.
Eine hier beschriebene AR-Plattform kann einige oder alle dieser Schwierigkeiten überwinden oder mindern, und kann daher zur Verwendung in Prozessregelungsumgebungen gut geeignet sein. Mit der AR-Plattform wird durch einen Benutzer, der eine AR-Mobilvorrichtung verwendet, ein dreidimensionales (3D) Modell generiert. Die AR-Mobilvorrichtung kann ein AR-Helm, ein AR-Kopfhörer, eine AR-Brille, eine intelligente Brille, ein Smartphone, ein Tablet oder ein beliebiger anderer geeigneter Mobilvorrichtungstyp sein, der in der Lage ist, eine Standortverfolgung (wie nachstehend besprochen) zu unterstützen, und ein AR-Erlebnis für einen Benutzer präsentieren kann.
Das 3D-Modell gibt 3D-Standorte/Positionen von Interessenpunkten innerhalb der Prozessregelungsumgebung an, die verschiedenen realen Objekten (z. B. Feldgeräten, Tanks, Förderbändern, Reglern, Schaltern usw.) entsprechen. Objekte, die zu dem 3D-Modell hinzugefügt werden, werden hier als „Knoten“ der AR-Plattform oder des Systems bezeichnet. Wie der Begriff hier verwendet wird, kann ein „Objekt“ (auch als „reales Objekt“ bezeichnet) ein beliebiger physischer Gegenstand (z. B. eine Vorrichtung, eine Komponente, eine Einrichtung, eine Struktur usw.), ein Teil eines Gegenstands (z. B. ein Element einer Vorrichtung oder Komponente usw.), oder eine Kombination von Gegenständen (z. B. eine Gruppe von zusammenhängenden Vorrichtungen oder Komponenten usw.) sein. In einer Prozessregelungsumgebung kann beispielsweise ein Objekt ein Feldgerät (z. B. ein Ventil, eine Pumpe, ein Sensor usw.), ein Einrichtungsteil (z. B. ein Förderband, ein Tank usw.), ein Prozessregler, ein Schalter und so weiter sein.
Bei einigen Umsetzungen, wenn eine AR-Anwendung auf einer AR-Mobilvorrichtung gestartet wird (z. B. wenn sie durch den Benutzer spezifisch aktiviert wird, oder beim Hochfahren der Vorrichtung), „meldet“ sich der Benutzer an einem Referenz- oder „Orientierungs-“ Standort an oder registriert die AR-Mobilvorrichtung dort. Beispielsweise kann der Benutzer einen QR-Code oder eine andere visuelle Darstellung eines Codes/ einer Kennung an dem Orientierungsstandort mit einer Kamera der AR-Mobilvorrichtung scannen. Die Aktion des Scannens des Codes kann einen Ausgangsstandort für den Benutzer/ die Vorrichtung erstellen (z. B. die Koordinaten {0,0,0} in einem Raum {x,y,z}).
Nach der Registrierung kann der Benutzer beginnen, mit der AR-Mobilvorrichtung räumlich in der Prozessregelungsumgebung umherzugehen. Eine geeignete Positionsbestimmungstechnologie (die beispielsweise durch die AR-Mobilvorrichtung des Benutzers bereitgestellt wird) kann verwendet werden, um die Bewegung des Benutzers durch die Prozessanlage zu verfolgen. Da GPS- oder GNSS-Einheiten in den Umgebungen vieler Prozessanlagen vielleicht nicht gut funktionieren und keine Orientierungsdaten oder genauen Erhebungsdaten bereitstellen können (insbesondere für Prozessregelungsumgebungen im Innenbereich), können andere Technologien zur Positionsbestimmung- und/oder Orientierung verwendet werden. Beispielsweise können der Standort der AR-Mobilvorrichtung mit Bezug auf den Orientierungsstandort und die Orientierung der AR-Mobilvorrichtung (z. B. die Richtung eines Blickfeldes einer Kamera der AR-Mobilvorrichtung, die der Richtung entsprechen kann, die der Benutzer zugewandt ist) unter Verwendung einer Zusammenlegung der Daten einer Inertialmesseinheit (IMU) (z. B. durch Beschleunigungsmesser, Gyroskope usw.) und von Kamerabilddaten verfolgt werden. Bei einer Umsetzung wird beispielsweise die visuell-inertiale Odometrie- (VIO) Technik, die von Qualcomm® entwickelt wurde, verwendet, um Position und Orientierung zu verfolgen.
Wenn er an oder nahe an einem realen Objekt ankommt, das als Knoten hinzugefügt werden soll, und während er der Richtung des Objekts zugewandt ist (z. B. falls er einen AR-Helm oder eine AR-Brille trägt) oder ansonsten die Vorrichtungskamera auf das Objekt richtet (z. B. falls die Vorrichtung ein Tablet oder Smartphone ist), kann der Benutzer eine Option auswählen, um einen neuen Knoten hinzuzufügen. Beispielsweise kann die AR-Mobilvorrichtung den Sprachbefehl „Knoten hinzufügen“ erkennen, wenn er durch den Benutzer ausgesprochen wird, oder (z. B. falls die Vorrichtung ein Tablet oder Smartphone ist) die AR-Mobilvorrichtung kann es dem Benutzer ermöglichen, eine Option/ ein Bedienelement „Knoten hinzufügen“ oder dergleichen an einer grafischen Benutzerschnittstelle (GUI) des Displays der AR-Mobilvorrichtung auszuwählen. Die AR-Mobilvorrichtung kann dann ein Bild des Objekts aufnehmen und das Bild verarbeiten, um eine Entfernung zwischen der AR-Mobilvorrichtung und dem Objekt zu schätzen. Alternativ können andere Sensoren (z. B. ein Lidar, Radar usw.) verwendet werden, um die Entfernung zwischen der AR-Mobilvorrichtung und dem Objekt zu bestimmen. Die AR-Mobilvorrichtung kann dann die Position des Objekts mit Bezug auf den Orientierungsstandort basierend auf der aktuellen Position und Orientierung der AR-Mobilvorrichtung sowie die Entfernung zwischen der AR-Mobilvorrichtung und dem Objekt bestimmen.
Alternativ kann ein Remote-Server oder eine andere Rechenvorrichtung/ ein anderes Rechensystem Bilddaten, die durch die AR-Mobilvorrichtung aufgenommen werden, verarbeiten, um die Objektposition mit Bezug auf den Orientierungsstandort zu bestimmen.
Der Benutzer kann auch den Namen oder Typ des neuen Knotens (z. B. Ventil, Pumpe usw.) und/oder andere Informationen (z. B. eine Modellnummer oder eine andere Kennung für das Objekt, eine kurze Beschreibung des Objekts usw.) vorgeben. Die vorgegebenen Informationen können dann mit dem neuen Knoten in einer Backend-Datenbank des AR-Systems verknüpft werden. Die Backend-Datenbank kann eine Bibliothek mit Knoten, die durch den Benutzer (und möglicherweise auch durch andere Benutzer) hinzugefügt werden, mit dazugehörigen 3D-Standorten mit Bezug auf den Orientierungsstandort enthalten, um zusammen eine virtuelle 3D- „Karte“ von Objekten/Elementen in der Prozessregelungsumgebung festzulegen. Die Datenbank kann auch andere Knoteninformationen, wie beispielsweise Listen und/oder angeschlossene Knoten, speichern.
Nachdem mindestens ein Interessenobjekt in einer bestimmten Prozessregelungsumgebung kartiert wurde (d..h. unter Verwendung einer AR-Mobilvorrichtung zu der Knotenbibliothek hinzugefügt wurde), können alle Benutzer, die ihre AR-Mobilvorrichtungen an dem Orientierungsstandort registrieren (einschließlich des oder der Abbildungsbenutzer) einen erweiterten Rundgang der Prozessregelungsumgebung vornehmen. Wenn ein Benutzer mit einer registrierten AR-Mobilvorrichtung ein Blickfeld einer Kamera der AR-Mobilvorrichtung auf einen Bereich richtet, der ein bestimmtes reales Objekt umfasst (z. B. falls der Benutzer den Bereich betrachtet, während er einen AR-Helm oder eine AR-Brille trägt), und falls das Objekt bereits mit einem Knoten in der Knotenbibliothek verknüpft ist, kann die AR-Mobilvorrichtung die reale Szene, die durch den Benutzer betrachtet wird, mit einem „Markierungs-“ Knoten (z. B. Text, einem Symbol, einer Grafik usw.) erweitern, der für den Benutzer aussieht, als würde er sich an oder nahe an den Koordinaten des Objekts in der realen Ansicht des Benutzers befinden.
Falls der Benutzer einen bestimmten Knoten auswählt (z. B. durch Fokussieren auf die Knotenmarkierung oder durch Erteilen eines Sprachbefehls usw.), kann die AR-Mobilvorrichtung ein oder mehrere „Knotenerlebnisse“ für den Benutzer verfügbar machen. Beispielsweise kann ein Knotenerlebnis Text (Knotennamen, Beschreibung usw.), Tabellen und/oder Grafiken/Symbole in die reale Ansicht des Benutzers einblenden. Andere Knotenerlebnisse können Web-Inhalt von einer bestimmten URL (z. B. ein Anleitungs- oder „Hilfe-“ Video) einblenden, oder können beispielsweise Visualisierungen von physischen oder logischen Verbindungen und/oder Beziehungen mit anderen Objekte/Knoten einblenden. Noch andere Knotenerlebnisse können das Abrufen eines Arbeitsauftrags, der mit dem Objekt/Knoten verknüpft ist, das Aufbauen einer Kommunikationsverbindung zwischen dem Benutzer und einem geeigneten Fachmann an einem entfernten Standort und so weiter umfassen. Bei einigen Umsetzungen startet mindestens ein Knotenerlebnis eine oder mehrere andere Software-Anwendungen oder Systeme in dem spezifischen Zusammenhang des Objekts, das durch den Benutzer betrachtet wird (bzw. erstellt eine Verbindung damit). Beispielsweise kann die AR-Mobilvorrichtung Sensordaten, Status und/oder virtuelle Bedienelemente für ein ausgewähltes Objekt/ einen Knoten (z. B. ein Feldgerät) in dem Blickfeld einblenden, in dem die Daten von einer anderen Anwendung empfangen werden (und Benutzereingaben für die Bedienelemente an diese übertragen werden).
Die Erlebnisse, die einem Benutzer für einen gegebenen Knoten zur Verfügung stehen, der Inhaltstyp, der in einem bestimmten Knotenerlebnis präsentiert wird, und/oder bei einigen Umsetzungen, ob überhaupt erweiterte Informationen für einen bestimmten Benutzer für einen gegebenen Knoten zur Verfügung stehen, können mindestens teilweise auf der „Rolle“ des Benutzers basierend bestimmt werden. Beispielsweise kann ein bestimmter Benutzer die AR-Mobilvorrichtung verwenden, um eine „Bediener-“ Rolle, eine „Wartungstechniker-“ Rolle oder eine „Ingenieur-“ Rolle auszuwählen, oder es kann ihm eine derartige Rolle im Voraus zugeteilt werden.
Bei einigen Umsetzungen können die visuellen Informationen, die durch eine Kamera der AR-Mobilvorrichtung des Benutzers aufgenommen werden, verwendet werden, um eine „Abweichung“ der Standortverfolgung zu korrigieren. Dazu kann ein maschinelles Lern- (ML) Modell eingelernt werden, um Objekte in den Bildern zu erkennen/identifizieren, wie etwa spezifische Typen von Einrichtungen oder anderen Elementen in einer Prozessregelungs- (oder anderen) Umgebung. Das ML-Modell kann beispielsweise unter Verwendung von manuell etikettierten/klassifizierten Bildern von Objekten und einer Technik des betreuten Lernens eingelernt werden. Wenn ein Benutzer in der Anlage oder einer anderen Umgebung umhergeht, kann die Kamera seiner AR-Mobilvorrichtung Bilder aufnehmen, und die AR-Mobilvorrichtung kann diese Bilder in das ML-Modell einspeisen (z. B. durch Übertragen der Bilder an einen Server oder durch Verwenden eines lokal gespeicherten ML-Modells). Das ML-Modell kann dann die Bilder verarbeiten, um vorherzusagen, welcher oder welche bekannten Objekttypen gegebenenfalls innerhalb des Blickfeldes der Kamera liegen.
Bei einigen Umsetzungen kann die Abweichungskorrektur verwendet werden, um manuelle Vorgänge zum erneuten Kalibrieren zu vermeiden oder zu reduzieren, während ein Benutzer in einem zuvor kartierten Bereich navigiert, und/oder um den Bereich zu vergrößern, in dem sich ein AR-Benutzer mit angemessener Verfolgungsgenauigkeit bewegen kann. Bei derartigen Umsetzungen können der oder die Objekttypen, die durch das ML-Modell vorhergesagt werden, mit einem oder mehreren Knoten in der Backend-Datenbank querverwiesen werden, um den einzigartigen Knoten zu identifizieren (z. B. Tag-Namen usw.), der dem Objekt entspricht, das der Benutzer in seinem Blickfeld sieht. Der zuvor kartierte Standort des oder der identifizierten Knoten kann dann aus der Backend-Datenbank abgerufen und durch das AR-System verwendet werden, um den Standort des Benutzers innerhalb der Umgebung automatisch neu zu kalibrieren. In der Tat kann dadurch jedes kartierte Objekt an sich als eine Art Orientierungspunkt dienen (z. B. als Teil eines „Maschen-“ Netzes aus Orientierungspunkten). Die sich ergebende, verbesserte Standortgenauigkeit kann einen besser geeigneten/ genaueren Satz oder eine Sequenz von AR-Visualisierungen innerhalb des Blickfeldes des Benutzers ermöglichen, während er sich weiter umhergeht. Wahlweise können die visuellen Informationen, die durch die Kameras der AR-Mobilvorrichtung aufgenommen werden, im Verlauf der Zeit in Verbindung mit bekannten Objekttypinformationen, die in der Backend-Datenbank gespeichert sind, (und/oder in Verbindung mit manuellen Objektklassifizierungen oder Bestätigungen, die durch einen kartierenden Benutzer erfolgen) verwendet werden, um das ML-Modell weiter einzulernen und seine Fähigkeit, Objekttypen genau zu erkennen, zu verfeinern.
Alternativ oder zusätzlich kann das ML-Modell verwendet werden, um die anfängliche Generierung der 3D-Karte zu erleichtern, und/oder um die 3D-Karte (wie auf dem Backend-Server dargestellt) im Verlauf der Zeit zur größeren Genauigkeit zu aktualisieren. Beispielsweise können Vorhersagen, die durch das ML-Modell gemacht werden, verwendet werden, um einem kartierenden Benutzer einen oder mehrere Vorschläge bereitzustellen, wie ein bestimmtes Objekt/ ein Knoten, das bzw. den der Benutzer zu der 3D-Karte hinzufügt, zu etikettieren/klassifizieren ist (z. B. indem ein Objektdeskriptor oder mögliche Objektdeskriptoren, die in einer Liste am AR-Display des Benutzers erscheinen, bereitgestellt werden, oder indem ein Deskriptorfeld mit dem vorhergesagten Objekttyp automatisch ausgefüllt wird, usw.). Als ein anderes Beispiel können verfolgte Standorte einer Anzahl von Benutzern, die in einer bereits kartierten Umgebung navigieren, verwendet werden, um die Standorte von kartierten Objekten/Knoten laufend automatisch zu aktualisieren (z. B. falls ein ML-Modell ein spezifisches Objekt an einem Standort erkennt, der etwas anders ist als der Standort dieses Objekts, wie er in einer Kartendatenbank gespeichert ist).
Eine Anzahl von anderen Merkmalen kann ebenfalls für die Benutzer bereitgestellt werden. Bei einigen Umsetzungen kann beispielsweise ein virtueller „Röntgenblick“ für die Benutzer bereitgestellt werden, indem hyperrealistische oder pseudorealistische 3D-Modellvisualisierungen erstellt werden, die, wenn sie in die reale Ansicht des Benutzers eingeblendet werden, aussehen können, als ob der Benutzer Objekte, die in Einfassungen (z. B. in einem Schrank) oder hinter Absperrungen verborgen sind, sehen könnte. Die AR-Mobilvorrichtung kann dem Benutzer auch gewisse Knotenerlebnisse, die mit verborgenen Objekten verknüpft sind, präsentieren (und/oder es dem Benutzer ermöglichen diese auszuwählen), wie etwa die Visualisierung von Statusdaten oder Alarmen, die mit den verborgenen Objekten verknüpft sind, das Erteilen von Sprachbefehlen, um die Betätigung von verborgenen Objekten zu steuern, und so weiter.
Als ein anderes Beispiel kann die AR-Mobilvorrichtung in die reale Ansicht des Benutzers einen „Avatar“ eines zugriffsbeschränkten und/oder entfernten Objekts/Knotens einblenden. Das Objekt kann sich beispielsweise oben auf einem hohen Turm oder in einem toxischen Bereich oder einem Hochspannungsbereich usw. befinden. Wie bei den verborgenen Objekten können dem Benutzer gewisse Knotenerlebnisse bereitgestellt werden, die diverse Arten von Interaktionen mit dem zugriffsbeschränkten und/oder entfernten Objekt bereitstellen. Sowohl bei den Umsetzungen/ Szenarien mit verborgenen Objekten („Röntgenblick“) als auch mit den zugriffsbeschränkten/entfernten Objekten kann den Benutzern ein Gesamterlebnis bereitgestellt werden, das etwa so ist, als ob man das Objekt/ den Knoten direkt vor sich hätte und es für den Benutzer offen zu sehen wäre, während der Benutzer mit dem Objekt interagiert.
Die AR-Plattform kann auch andere Funktionalitätstypen unterstützen. Beispielsweise können die aktuellen Positionen der Benutzer diverse Alarme (z. B. eine Warnung, dass sich der Benutzer in einem gefährlichen Bereich befindet) und/oder oder andere Anzeigevorgänge von Informationen auslösen. Als ein anderes Beispiel können aktuelle und/oder frühere 3D-Positionen von Benutzern innerhalb einer Prozessanlage für diverse Zwecke verfolgt/aufgezeichnet werden, wie etwa um die Evakuierung von Mitarbeitern in einer Notfallsituation sicherzustellen, wodurch sichergestellt wird, dass die Mitarbeiter nicht verletzt werden oder ansonsten medizinische Hilfe benötigen, oder indem eine Mitarbeiterschulung überwacht wird.
Die vor- und nachstehend beschriebene AR-Plattform kann eine Anzahl von Vorteilen bereitstellen, die von der spezifischen Umsetzung abhängig sind. Dadurch dass beispielsweise nur die relativen 3D-Positionen von gewissen Objekten kartiert werden, kann das 3D-Modell einfacher und effizienter als mit herkömmlichen Mitteln generiert werden (z. B. unter Verwendung eines 3D-Scanners, um die Umgebung zu kartieren). Ebenso können Aktualisierungen oder Neukonfigurationen von Objekten innerhalb der Prozessregelungsumgebung schneller und einfacher ausgeführt werden. Des Weiteren kann durch die Verwendung des hier beschriebenen Abbildungsprozesses und durch das Verfolgen der Bewegung der AR-Mobilvorrichtungen/Benutzer wie hier beschrieben, die AR-Plattform bestimmen, wann erweiterte Informationen für einen Benutzer bereitzustellen sind, ohne die Kosten und/oder die Zeit zum Nachrüsten oder anderweitigen Ausstatten von Objekten mit Kommunikationstechnologien im Nahbereich (z. B. Bluetooth- oder Nahfeldkommunikations- (NFC) Einheiten) zu benötigen, und ohne zeitraubende Aktionen durch Benutzer zu benötigen, die in der Umgebung navigieren (z. B. Scannen von QR-Codes an Objekten, manuelle Dateneingabe von Objektkennungen, physisches Anschließen an Objekte usw.). Somit können herkömmliche Behinderungen für die Installation eines AR-Systems, insbesondere in einer Prozessregelungsumgebung, verringert oder beseitigt werden.
Als ein anderes Beispiel kann die AR-Plattform im Allgemeinen einen Marktplatz bereitstellen, auf dem Drittanbieter neue, spezifisch angepasste Typen oder Klassen von „Knotenerlebnisse“ anbieten können, die verschiedenen Benutzerinteraktionen mit Objekten/Knoten entsprechen, und/oder einen neuen Inhalt für existierende Knotenerlebnisse anbieten können. Instrumentierungshersteller oder andere Entitäten können beispielsweise Abonnements für „Hilfe-“ Informationen oder AR- oder videobasiere Arbeitsanleitungen für bestimmte Objekte anbieten. Bei einigen Ausführungsformen kann es ein virtueller „App-Store“ den Kunden ermöglichen, diverse Anwendungen zu lizenzieren und/oder spezifische Inhaltstypen zu abonnieren, die für die mobilen Arbeitskräfte eines Kunden erwünscht sind.
Außerdem können die Merkmale, die das Anzeigen/Visualisieren von erweiterten Informationen für verdeckte, entfernte und/oder zugriffsbeschränkte Knoten erleichtern, einem Benutzer Zeit (und demnach Kosten) sparen, und können bei einigen Umsetzungen und/oder Szenarien die Arbeitersicherheit verbessern, indem sie die Notwendigkeit vermeiden, gefährliche Orte zu betreten.
Außerdem kann die AR-Plattformarchitektur noch höchst flexibel sein. Die AR-Plattform kann das Anzeigen von relevanten Informationen für Benutzer auf vielen verschiedenen Plattformen, wie beispielsweise bei intelligenten Helmen, intelligenten Brillen, Smartphones, Tablets usw., erleichtern. Die AR-Plattform kann auch die Interaktivität mit einer Anzahl von anderen Software-Anwendungen erleichtern (z. B. eine Prozessregelungs-Software, die in der Lage ist, Daten abzurufen, die eine Regelungslogik, Vorrichtungsmesswerte usw. angeben) und/oder die mühelose Bereitstellung von neuen Erlebnissen, Inhalten oder einer anderen Funktionalität ermöglichen.
Außerdem können die zuvor beschriebenen lernbasierten Objekterkennungstechniken noch verwendet werden, um eine Präsentation eines genaueren AR-Erlebnisses zu ermöglichen, um den Bereich zu vergrößern, in dem ein Benutzer herumgehen kann, ohne unannehmbare Genauigkeitsverluste, um die Notwendigkeit des „Anmeldens“ an Orientierungspunkten zu verhindern oder zu reduzieren, um die Erstellung einer Karte einer mit Objekten gefüllten Umgebung zu erleichtern und/oder zu beschleunigen, und/oder um eine existierende Karte einer mit Objekten gefüllten Umgebung zu aktualisieren oder ihre Genauigkeit zu steigern.
Wie zuvor angemerkt, ist es nicht notwendig, gewisse hier beschriebene Umsetzungen und/oder Merkmale in einem AR-System zu verwenden und/oder sie in einer Prozessregelungsumgebung zu verwenden. Beispielsweise können einem Benutzer mit einem Smartphone, einem Tablet oder einer anderen mobilen Vorrichtung „Knotenerlebnisse“ basierend auf den kartierten 3D-Positionen von Objekten innerhalb einer Anlage und der aktuellen Position und Orientierung des Benutzers präsentiert werden, ohne unbedingt diese Erlebnisse als AR-Anzeige bereitzustellen (z. B. unter Verwendung einer Anzeige mit virtueller Realität oder einfach einer GUI). Als ein anderes Beispiel können die hier beschriebenen Techniken in anderen Umgebungen als Prozessregelungsumgebungen, wie etwa in Büroräumen, Lagerhallen, Krankenhäusern und so weiter, angewendet werden.
Figurenliste
Es zeigt/zeigen:

1 ein Blockdiagramm, das ein beispielhaftes System mit erweiterter Realität (AR) darstellt, das eine AR-Plattform bereitstellt, die diverse hier beschriebene Verfahren, Techniken, Funktionen und/oder Merkmale unterstützen kann;
2 ein Blockdiagramm, das Komponenten einer beispielhaften Prozessregelungsumgebung darstellt, in der das AR-System aus 1 verwendet werden kann;
3 eine beispielhafte dreidimensionale (3D) Abbildung von Knoten in einer Prozessregelungsumgebung;
4A bis 4H beispielhafte Benutzerschnittstellen, die in einem Blickfeld, das durch eine AR-Mobilvorrichtung bereitgestellt wird, eingeblendet werden können;
5A und 5B beispielhafte Elemente einer Datenbank, die in der AR-Plattform verwendet werden kann;
6 eine beispielhafte Ausführungsform und ein Szenario, bei der bzw. dem einem Benutzer einer AR-Mobilvorrichtung ein virtueller Röntgenblick bereitgestellt wird;
7A und 7B beispielhafte Benutzerschnittstellen, die in einem Blickfeld, das durch eine AR-Mobilvorrichtung bereitgestellt wird, eingeblendet werden können, um eine virtuelle Nähe zwischen einem Benutzer und einem Objekt, das von dem Benutzer entfernt oder anderweitig schwer zugänglich ist, bereitzustellen;
8 ein Ablaufschema eines beispielhaften Verfahrens zum Kartieren einer realen Prozessregelungsumgebung unter Verwendung einer mobilen Vorrichtung;
9 ein Ablaufschema eines beispielhaften Verfahrens zum Bereitstellen einer virtuellen verbesserten Sicht für einen Benutzer einer AR-Mobilvorrichtung in einer realen Prozessregelungsumgebung;
10 ein Ablaufschema eines beispielhaften Verfahrens zum Erleichtern einer Interaktion zwischen einem Benutzer einer AR-Mobilvorrichtung und einem realen Objekt, das sich in einem entfernten oder zugriffsbeschränkten Bereich einer Prozessregelungsumgebung befinden kann;
11 ein Ablaufschema eines beispielhaften Verfahrens zum Steigern der Genauigkeit von AR-Informationen, die einem Benutzer bereitgestellt werden, der in einer realen, kartierten Umgebung navigiert;
12 ein Ablaufschema eines beispielhaften Verfahrens zum Erleichtern des Erstellens einer Karte einer realen Prozessregelungsumgebung;
13 ein Ablaufschema eines beispielhaften Verfahrens zum Aktualisieren von Knotenstandorten in einer realen kartierten Umgebung.

AUSFÜHRLICHE BESCHREIBUNG
Beispielhaftes System mit erweiterter Realität
1 zeigt ein beispielhaftes System 10 mit erweiterter Realität (AR), das im Allgemeinen eine AR-Plattform zum Bereitstellen eines AR-Erlebnisses in einer Umgebung (z. B. einer Prozessregelungsumgebung) bereitstellen kann. Das AR-System 10 umfasst eine AR-Mobilvorrichtung 12 eines Benutzers und einen Backend-Server 14, der über ein Netzwerk 16 mit der AR-Mobilvorrichtung 12 kommunikationsmäßig gekoppelt sein kann. Die AR-Mobilvorrichtung 12 kann eine beliebige Rechenvorrichtung sein, die geeignete Verarbeitungs- und Detektionsfähigkeiten aufweist und durch einen Benutzer angezogen oder anderweitig mitgenommen werden kann. Beispielsweise kann die AR-Mobilvorrichtung 12 spezifisch für AR konfiguriert sein, wie etwa ein AR-Helm (z. B. der von DAQRI® entwickelte Smart Heimet®) oder eine AR-Brille. Alternativ kann die AR-Mobilvorrichtung 12 eine Vorrichtung sein, die auch Nicht-AR-Anwendungen aufweist (z. B. ein Tablet, ein Smartphone, eine intelligente Brille, eine intelligente Armbanduhr usw.), die jedoch eine Software-Anwendung ausführt, welche die Vorrichtung 12 konfiguriert, um AR-Fähigkeiten aufzuweisen. Obwohl 1 nur eine AR-Mobilvorrichtung 12 abbildet, versteht es sich, das eine größere Anzahl von AR-Mobilvorrichtungen, die gleich oder anders als die AR-Mobilvorrichtung 12 sind, in dem AR-System 10 ähnlich verwendet werden können.
Die AR-Mobilvorrichtung 12 ist im Wesentlichen konfiguriert, um ein AR-Erlebnis für den Benutzer bereitzustellen, indem sie die reale Ansicht des Benutzers mit kontextuellen Informationen (z. B. Text, Grafiken, Animationen usw.) erweitert. Der Backend-Server 14 unterstützt im Allgemeinen das AR-Erlebnis für den Benutzer und für die Benutzer von anderen AR-Mobilvorrichtungen, indem er Daten verwaltet, die vorgeben, wie eine reale Ansicht eines Benutzers in bestimmten Situationen erweitert werden soll, indem Daten von den AR-Mobilvorrichtungen empfangen werden, die den aktuellen Zustand und/oder die Umgebung der AR-Vorrichtung und/oder des Benutzers angeben, und indem je nach Bedarf Daten für die AR-Mobilvorrichtungen bereitgestellt werden.
Das Netzwerk 16 umfasst ein oder mehrere drahtlose Netzwerke und möglicherweise auch ein oder mehrere drahtgebundene Netzwerke. Bei dem Ausführungsbeispiel aus 1 verwendet die AR-Plattform des AR-Systems 10 eine Cloud-basierte Architektur, und das Netzwerk 16 umfasst das Internet. Falls das AR-System 10 im Innenbereich verwendet wird, kann das Netzwerk 16 auch drahtlose Netzwerke umfassen, die keine direkte Kommunikation mit einem entfernten Mast oder einer Basisstation benötigen, wie etwa ein IEEE802.11- oder ein „WiFi-“ Netzwerk. Bei anderen Ausführungsformen umfasst das Netzwerk 16 jedoch ein Mobilfunknetzwerk (z. B. LTE, GSM usw.). Wie es nachstehend noch besprochen wird, kann das AR-System 10 auch einen oder mehrere andere Server 18 umfassen, die mit dem Backend-Server 14 und/oder der AR-Mobilvorrichtung 12 kommunikationsmäßig gekoppelt sind und zusammen eine oder mehrere Anwendungen 19 speichern und ausführen.
Wie bei dem Ausführungsbeispiel aus 1 zu sehen, kann die AR-Mobilvorrichtung 12 eine Netzwerkschnittstelle 20, ein Display 22, eine Kamera 24, eine Inertialmesseinheit (IMU) 26 und einen Speicher 30, der eine AR-Anwendung 32 speichert, umfassen. Die Netzwerkschnittstelle 20 ist konfiguriert, um Kommunikationen mit entfernten Rechenvorrichtungen und Systemen, die den Backend-Server 14 umfassen, unter Verwendung eines drahtlosen Kommunikationsprotokolls mindestens eines Teils des Netzwerks 16 (z. B. eines WiFi- oder Mobilfunknetzwerks) zu ermöglichen.
Das Display 22 kann Hardware und dazugehörige Firmware und/oder Software umfassen, die gemäß einem geeigneten Typ einer digitalen Anzeigetechnologie konfiguriert sind. Beispielsweise kann das Display 22 eine Flüssigkristallanzeige- (LCD) Technologie, eine Leuchtdioden-(LED) Technologie, eine organische Leuchtdioden- (OLED) Technologie und so weiter verwenden. Das Display 22 kann im Allgemeinen durchsichtig oder durchscheinend sein oder kann undurchsichtig sein. Die Struktur oder der Formfaktor des Displays 22, und die Tatsache, ob das Display durchsichtig/durchscheinend oder undurchsichtig ist, sind im Allgemeinen vom Typ der AR-Mobilvorrichtung 12 abhängig. Falls die AR-Mobilvorrichtung 12 beispielsweise ein Helm ist, kann das Display 22 die Form eines Visiers aufweisen und kann durchscheinend sein, so dass eventuelle Informationen, die durch das Display 22 angezeigt werden, in die direkte, reale Ansicht des Benutzers eingeblendet werden (d.h. eine „Blickfeldanzeige“ bzw. „HUD“). Falls dagegen die AR-Mobilvorrichtung 12 ein Tablet oder Smartphone ist, kann das Display 22 einen herkömmlichen, rechteckigen Formfaktor aufweisen, und erlaubt vielleicht nur indirekte Ansichten der realen Welt (z. B. wie durch die Kamera 24 aufgenommen).
Die Kamera 24 kann ein beliebiger geeigneter Typ eines optischen Sensors, wie beispielsweise ein Bildsensor mit ladungsgekoppeltem Bauelement (CCD), sein. Bei alternativen Ausführungsformen ist die Kamera 24 stattdessen ein anderer Typ einer Bildgebungsvorrichtung oder umfasst auch einen solchen, wie beispielsweise einen Lasererfassungs- und Entfernungsmessungs- (LIDAR) Sensor oder einen Radarsensor. Die IMU 26 kann einen oder mehrere Sensoren (z. B. Beschleunigungsmesser und/oder Gyroskope) umfassen, die Daten generieren, die eine Bewegung der AR-Mobilvorrichtung 12 in drei Dimensionen angeben. Obwohl dies in 1 nicht gezeigt ist, kann die AR-Mobilvorrichtung auch andere Komponenten, wie etwa ein Mikrofon und/oder einen Lautsprecher, aufweisen.
Der Speicher 30, der die AR-Anwendung 32 speichert, kann ein beliebiger geeigneter Typ eines persistenten Speichers sein, wie beispielsweise ein Festspeicher (ROM) in Halbleiter- oder Festplattenform. Die AR-Anwendung 32 koordiniert im Allgemeinen das AR-Erlebnis für den Benutzer der AR-Mobilvorrichtung 12, z. B. durch Generieren der geeigneten erweiterten Informationen an dem Display 22 und gegebenenfalls Kommunizieren mit dem Backend-Server 14. 1 bildet einen Satz von Modulen ab, die beispielhaften Funktionen oder Merkmalen entsprechen, die durch die AR-Anwendung 32 ausgeführt oder bereitgestellt werden können, wozu ein Rollenidentifizierungsmodul 40, ein Registrierungsmodul 42, ein Positionsbestimmungs- und Orientierungsmodul 44, ein Knotenerlebnismodul 46, ein Knotenerstellungsmodul 48, ein Sichtverbesserungsmodul 50 und ein positionsbasiertes Alarmmodul 52 gehören. Jedes der Module 40 bis 52 wird nachstehend in Verbindung mit dem Betrieb des AR-Systems 10 näher beschrieben. Bei einigen Ausführungsformen umfasst die AR-Anwendung 32 weniger, mehr und/oder andere Module als die in 1 gezeigten. Beispielsweise kann die AR-Anwendung 32 ein Spracherkennungsmodul zum Erkennen von Benutzersprachbefehlen umfassen.
Auch umfasst bei dem Ausführungsbeispiel aus 1 der Backend-Server 14 eine Web-Dienstschnittstelle 60, eine Einheit 62 zum Bereitstellen von Erlebnissen, eine Einheit 64 zum Generieren eines 3D-Modells, ein maschinelles Lern- (ML) Modell 65, eine Sichtverbesserungseinheit 66, eine Alarmgenerierungseinheit 68 und eine Benutzerüberwachungseinheit 70. Im Allgemeinen kann die Web-Dienstschnittstelle 60 eine objektorientierte Web-basierte Schnittstelle für eine AR-Datenbank 72, die mit dem Backend-Server 14 gekoppelt (oder darin enthalten) ist, bereitstellen. Es können auch Einlerndaten 74 in einer Datenbank gespeichert werden, die mit dem Backend-Server 14 gekoppelt (oder darin enthalten) ist. Bei einigen Ausführungsformen stellt die Web-Dienstschnittstelle 60 eine Schnittstelle zum Programmieren von Anwendungen (API) für entfernte Vorrichtungen, wie etwa die AR-Mobilvorrichtung 12, bereit.
Die AR-Datenbank 72 speichert im Allgemeinen Informationen, die eine 3D-Karte einer bestimmten Umgebung (z. B. durch Speichern von Knotenkennungen, Standorten der Knoten innerhalb der 3D-Karte mit Bezug auf den Orientierungspunkt und möglicherweise andere Informationen, die mit dem Knoten verknüpft sind) definieren, und wird nachstehend (gemäß einer bestimmten Ausführungsform) in Verbindung mit den 5A und 5B näher beschrieben. Die AR-Datenbank 72 kann eine einzige Datenbank oder eine Sammlung von Datenbanken sein, und kann in einem einzigen physischen Speicher gespeichert sein, oder kann über mehrere Speicher an einem oder mehreren geografischen Standorten verteilt sein. Ähnlich können die Einlerndaten 74 in einer einzigen Datenbank oder einer Sammlung von Datenbanken gespeichert werden und können in einem einzigen physischen Speicher gespeichert oder über mehrere Speicher an einem oder mehreren geografischen Standorten verteilt sein. Ein(e), einige oder alle der Elemente/Einheiten 60 bis 70 können als Software-Anweisungen umgesetzt werden, die in einem persistenten Speicher (z. B. ROM) gespeichert sind. Bei anderen Ausführungsformen umfasst der Backend-Server 14 weniger, mehr und/oder andere Elemente/Einheiten als die in 1 gezeigten.
Im Betrieb kann ein Benutzer, der die AR-Mobilvorrichtung 12 angezogen oder anderweitig mitgenommen hat, veranlassen, dass die AR-Mobilvorrichtung 12 die AR-Anwendung 32 startet. Die AR-Anwendung 32 kann beispielsweise gestartet werden, indem ein Symbol an dem Display 22 manuell ausgewählt wird, indem ein Sprachbefehl erteilt wird, oder indem einfach die AR-Mobilvorrichtung 12 eingeschaltet wird.
Bei einigen Ausführungsformen fordert das Rollenidentifizierungsmodul 40 der AR-Anwendung 32 anfänglich (z. B. beim Starten) den Benutzer auf, eine bestimmte „Rolle“ anzugeben, die beispielsweise der beruflichen Position des Benutzers entsprechen kann und/oder der oder den bestimmten Aufgaben, die der Benutzer unter Verwendung des AR-Systems 10 erfüllen möchte, entsprechen kann. Bei anderen Ausführungsformen wird der Benutzer zuerst aufgefordert, seine Rolle zu einem späteren Zeitpunkt (z. B. nach dem Registrieren an einem Orientierungspunkt, wie nachstehend besprochen) anzugeben. Eine beispielhafte Benutzerschnittstelle, die das Rollenidentifizierungsmodul 40 in eine reale Ansicht einblenden kann, die an oder durch das Display 22 hindurch gesehen wird (z. B. in Einzelbildern, die durch die Kamera 24 aufgenommen werden, oder in der direkten realen Ansicht des Benutzers), wird nachstehend in Verbindung mit 4A besprochen. Bei einer alternativen Ausführungsform fordert das Rollenidentifizierungsmodul 40 den Benutzer nicht auf, eine Rolle auszuwählen, und bestimmt stattdessen eine zuvor zugeteilte Rolle des Benutzers basierend auf einer Kennung der AR-Mobilvorrichtung 12 und/oder einer Identifizierung (z. B. Name, Mitarbeiternummer usw.), die durch den Benutzer eingegeben oder ausgesprochen wird.
Die ausgewählte oder zugeteilte Benutzerrolle kann diverse Aspekte des AR-Erlebnisses bestimmen, das dem Benutzer bereitgestellt wird, wie es nachstehend weiter besprochen wird. Gemäß der Ausführungsform kann die Benutzerrolle, nachdem sie einmal ausgewählt oder zugeteilt wurde, festgelegt sein, oder kann spontan durch einen Benutzer geändert werden, wenn er in der Umgebung umhergeht. Bei einigen Ausführungsformen ist das Rollenidentifizierungsmodul 40 nicht in der AR-Anwendung 32 enthalten, und es werden keine Benutzerrollen innerhalb des AR-Systems 10 ausgewählt oder zugeteilt.
Vor dem Kartieren einer Umgebung oder vor dem Aktualisieren oder Erforschen einer zuvor kartierten Umgebung kann es sein, dass der Benutzer bei einigen Ausführungsformen die AR-Mobilvorrichtung 12 an einem „Orientierungspunkt“ registrieren muss, dessen Standort dann als Referenzpunkt für eine zukünftige Bewegung der AR-Mobilvorrichtung 12 (und entsprechend des Benutzers) verwendet wird. Der gleiche Orientierungsstandort wird auch als Referenzpunkt für die Standorte beliebiger Objekte in der Umgebung verwendet, die bereits als Knoten der 3D-Karte erstellt wurden (oder noch erstellt werden), wodurch eine Bestimmung der Position der AR-Mobilvorrichtung 12 mit Bezug auf die kartierten Objekte ermöglicht wird. Der Orientierungsstandort kann beispielsweise {0,0,0} in einem {x,y,z}-Koordinatensystem darstellen, oder es können andere Koordinatensysteme (z. B. Polarkoordinaten) verwendet werden. Bei einigen Ausführungsformen ist eine Registrierung an einem Orientierungspunkt notwendig, um räumlichen Zugang zu der Umgebung zu erlangen. Beispielsweise kann eine verschlossene Tür oder ein Tor zu einer Prozessregelungsumgebung als Reaktion darauf, dass ein Benutzer die AR-Mobilvorrichtung 12 an dem Orientierungspunkt registriert, automatisch aufgeschlossen werden. Die AR-Mobilvorrichtung 12 kann Nahfeldkommunikationen (z. B. Bluetooth) oder eine andere geeignete Technologie verwenden, um eine Nachricht an eine ortsfeste (z. B. wandmontierte) Einheit zu senden, die beispielsweise einen Transceiver aufweist, wonach die ortsfeste Einheit einen Befehl generieren kann, der veranlasst, dass ein Stellglied die Tür oder das Tor entriegelt (und/oder öffnet).
Um die AR-Mobilvorrichtung 12 zu registrieren, kann das Registrierungsmodul 42 ein oder mehrere Bilder/Rahmen, die durch die Kamera 24 aufgenommen werden, verarbeiten. Der Orientierungspunkt kann beispielsweise ein QR-Code oder ein beliebiger anderer geeigneter Typ von Bild oder Text sein, das bzw. der an einem Orientierungsstandort physisch aufgedruckt ist (z. B. an einer Wand oder einer Tür in der Nähe eines Eingangs zu einem Bereich innerhalb einer Prozessregelungsanlage). Bei einigen Ausführungsformen kann das Registrierungsmodul 42 oder ein anderer Abschnitt der AR-Anwendung 32 ein Fadenkreuz in der realen Ansicht einblenden, die dem Benutzer bereitgestellt wird (z. B. wie nachstehend in Verbindung mit 4E besprochen), um dem Benutzer dabei zu helfen, auf den QR-Code, das Bild usw. zu fokussieren. Bei einigen Ausführungsformen wird eine andere Technologie verwendet, um den Orientierungspunkt zu erkennen, wie etwa komplementäre Bluetooth- oder NFC-Kommunikationseinheiten der AR-Mobilvorrichtung 12 und einer anderen Vorrichtung, die an dem Orientierungsstandort befestigt ist.
Bei einigen Ausführungsformen, wenn der Benutzer die AR-Mobilvorrichtung 24 an einem bestimmten Orientierungspunkt registriert, leitet das Registrierungsmodul 42 Daten weiter, die eine Kennung des Orientierungspunktes angeben (z. B. durch Übertragen einer binären Darstellung des QR-Codes oder durch Übertragen des Bildes des QR-Codes vor dem Decodieren des Bildes) über das Netzwerk 16 und die Web-Dienstschnittstelle 60 an den Backend-Server 14. Der Backend-Server 14 kann dann die Orientierungspunktkennung mit Orientierungspunktkennungen (soweit vorhanden), die in der AR-Datenbank 72 gespeichert sind, vergleichen. Falls die Kennung noch nicht gespeichert ist, kann der Backend-Server 14 eine Fehlermeldung über die Web-Dienstschnittstelle 60 und das Netzwerk 16 an das Registrierungsmodul zurückgeben, oder kann bei einigen Ausführungsformen veranlassen, dass die AR-Datenbank einen neuen Eintrag einer Orientierungspunktkennung, die mit einer neuen 3D-Karte verknüpft ist, erstellt. Falls dagegen die Orientierungspunktkennung bereits in der AR-Datenbank 72 existiert, kann der Backend-Server 14 einige oder alle der entsprechenden 3D-Karten (und der dazugehörigen Daten) für die AR-Mobilvorrichtung 12 verfügbar machen und eine Meldung, die eine erfolgreiche Registrierung angibt, über die Web-Dienstschnittstelle 60 und das Netzwerk 16 an das Registrierungsmodul 42 zurückgeben.
Die AR-Datenbank 72 kann eine Anzahl von verschiedenen Orientierungspunktkennungen speichern, die jeweils mit einer anderen 3D-Karte verknüpft sind, wobei jede Karte mit einer anderen Knotenbibliothek verknüpft ist. Mehrere Karten können mit derselben Umgebung verknüpft sein (z. B. durch Hinzufügen von verschiedenen Objekten in der einzigen Umgebung als Knoten der verschiedenen Karten), und/oder verschiedene Karten können mit verschiedenen Umgebungen verknüpft sein (z. B. eine Karte für einen ersten Bereich einer Prozessregelungsanlage, eine andere Karte für einen zweiten Bereich der Anlage usw.).
Bei einigen Ausführungsformen veranlasst eine erfolgreiche Registrierung der AR-Mobilvorrichtung 12 an dem Orientierungspunkt, dass das Positionsbestimmungs- und Orientierungsmodul 44 den Standort der AR-Mobilvorrichtung 12 auf den Orientierungsstandort (z. B. {0,0,0}) einstellt. Für höhere Präzision kann das Registrierungsmodul 42 jedoch das Bild des Orientierungspunktes, das durch die Kamera 24 aufgenommen wird, unter Verwendung einer Tiefenerkennungstechnik verarbeiten, um die Entfernung zwischen der AR-Mobilvorrichtung 12 und dem Orientierungspunkt zu bestimmen. Das Positionsbestimmungs- und Orientierungsmodul 44 kann dann die Ausgangsposition der AR-Mobilvorrichtung 12 gegenüber der bekannten/Referenzposition des Orientierungspunktes basierend sowohl auf der bestimmten Entfernung von dem Orientierungspunkt als auch auf der Orientierung der AR-Mobilvorrichtung 12 mit Bezug auf den Orientierungspunkt versetzen. Falls der Orientierungspunkt ein QR-Code oder eine andere visuelle Kennung ist, kann die relative Orientierung der AR-Mobilvorrichtung 12 basierend auf der Richtung, in die der Orientierungspunkt gewandt ist, angenommen werden. Alternativ kann die relative Orientierung aus dem aufgenommenen Bild bestimmt werden (z. B. durch das Bestimmen eines Einfallwinkels der Kameraansicht mit Bezug auf den Orientierungspunkt usw.).
Sobald er sich registriert hat, kann der Benutzer der AR-Mobilvorrichtung 12 damit beginnen, in der Umgebung umherzugehen, wobei eine reale Ansicht (die über das Display 22 bereitgestellt wird), die im Allgemeinen durch digitalen Text, Tabellen, Grafiken, Animationen und/oder andere Informationstypen, die mit der 3D-Karte verknüpft sind, erweitert wird, dem Orientierungspunkt entspricht. Um die Position und Orientierung des Benutzers (d..h. der AR-Mobilvorrichtung 12) zu verfolgen, kann das Positionsbestimmungs- und Orientierungsmodul 44 auf die IMU 26, die Kamera 24 und/oder einen oder mehrere andere Sensoren der AR-Mobilvorrichtung 12 zugreifen, die in 1 nicht gezeigt sind. Bei einigen Ausführungsformen verwendet das Positionsbestimmungs- und Orientierungsmodul 44 die erhobenen Sensordaten, um Positionen und Orientierungen zu bestimmen, ohne auf GPS-, GNSS-, WiFi-Positionsbestimmung (z. B. Trilateration) oder beliebige andere Technologien zur Positionsbestimmung, die eine Kommunikationsverbindung zwischen der AR-Mobilvorrichtung 12 und anderen Vorrichtungen oder Systemen benötigen, zurückzugreifen. Die „Position“ oder der „Standort“ kann sich auf einen bestimmten Koordinatensatz in einem (z. B. kartesischen oder Polar-) 3D-Koordinatensystem beziehen, und die „Orientierung“ kann sich auf eine bestimmte Richtung beziehen (z. B. in einem horizontalen/azimutalen 360-Grad-Bereich, zuzüglich Erhebung oder Höhenlage). Bei einigen Ausführungsformen kann sich die „Orientierung“ ferner auf die Neigung der AR-Mobilvorrichtung 12 beziehen, die von der Richtung, in welche die Vorrichtung 12 gewandt ist, unabhängig ist. Da nur relative Positionen verfolgt werden (z. B. im Sinne einer „Koppelnavigation“), bestimmt das Positionsbestimmungs- und Orientierungsmodul 44 die Positionen der AR-Mobilvorrichtung/ des Benutzers mit Bezug auf den Standort des Orientierungspunktes, an dem die Registrierung erfolgt ist.
Bei einigen Ausführungsformen verarbeitet das Positionsbestimmungs- und Orientierungsmodul 44 eine Zusammenlegung von Daten mindestens von der Kamera 24 und der IMU 26, um dazu beizutragen, Mängel zu beheben, die mit den beiden Sensortypen verknüpft sind, wenn sie isoliert verwendet werden. Beispielsweise kann das Positionsbestimmungs- und Orientierungsmodul 44 die Technologie der visuell-inertialen Odometrie (VIO), die von Qualcomm® entwickelt wurde, verwenden, um die Position und Orientierung der AR-Mobilvorrichtung 12 zu verfolgen. Diese Technologie kann dazu beitragen, die Genauigkeit zu verbessern, kann die „Abweichung“ in bestimmten Positionen zu reduzieren und/oder kann andere Vorteile aufweisen.
Da die Position und Orientierung der Kamera 24 mit Bezug auf die AR-Mobilvorrichtung 12 selber bekannt sind, kann die AR-Anwendung 32 das Blickfeld der AR-Mobilvorrichtung 12 (die bei einigen Ausführungsformen auch der realen Ansicht des Benutzers entsprechen kann) für eine beliebige gegebene Position und Orientierung, die durch das Positionsbestimmungs- und Orientierungsmodul 44 bestimmt wird, bestimmen. Basierend auf der bestimmten Position und Orientierung und unter Verwendung der Knotenstandorte, die in der AR-Datenbank 72 für die 3D-Karte gespeichert sind, kann die AR-Anwendung 32 daher bestimmen, welche kartierten Objekte sich zu einem beliebigen gegebenen Zeitpunkt innerhalb des Blickfeldes befinden. Bei einigen Ausführungsformen kann ein Objekt als „innerhalb des Blickfeldes“ einer Kamera liegend angesehen werden, falls sich das Objekt innerhalb des waagerechten und senkrechten Bereichs/ der Erstreckung des Kamerasensors befindet (z. B. innerhalb gewisser azimutaler und senkrechter/ Höhenlagen-/ Erhebungswinkel), unabhängig von der Entfernung zwischen dem Objekt und der AR-Mobilvorrichtung, welche die Bilder aufnimmt, und unabhängig davon, dass das Objekt vielleicht durch Behinderungen in der Umgebung blockiert ist. Beispielsweise kann ein Objekt direkt und unmittelbar vor der Kamera 24 als „innerhalb des Blickfeldes“ der Kamera 24 liegend angesehen werden, selbst wenn das Objekt durch eine Einfassung, eine Absperrung, ein anderes Objekt usw. abgeschirmt ist. Bei anderen Ausführungsformen wird ein Objekt nur als „innerhalb des Blickfeldes“ der Kamera liegend angesehen, falls das Objekt nicht verdeckt ist, d..h. während die Kamera Bilder des Objekts aufnehmen kann.
Um die Positionen von kartierten Objekten zu bestimmen, kann die AR-Anwendung 32 periodisch auf Knotenstandorte in der AR-Datenbank über das Netzwerk 16 und die Web-Dienstschnittstelle 60 zugreifen. Beispielsweise kann die AR-Anwendung 32 periodisch anfragen, dass der Backend-Server 14 Standortdaten für Knoten innerhalb einer Schwellenentfernung der AR-Mobilvorrichtung 12 (und/oder innerhalb des Blickfeldes der Vorrichtung 12 usw.) bereitstellt, wobei die Anfrage die aktuelle Position (und/oder Orientierung) der AR-Mobilvorrichtung 12 angibt. Alternativ kann die AR-Anwendung 32 anfragen, dass der Backend-Server 14 alle Knotenstandorte (und möglicherweise andere Informationen, wie etwa Knotenbeschreibungen usw.) für die 3D-Karte, die mit dem Orientierungspunkt verknüpft ist, der für die Registrierung verwendet wird, z. B. zum Zeitpunkt der Registrierung sendet. Bei noch anderen Ausführungsformen kann der Backend-Server 14 automatisch alle relevanten Knotenstandorte senden, wenn sich die AR-Mobilvorrichtung 12 an dem Orientierungspunkt erfolgreich registriert.
Die AR-Anwendung 32 kann bestimmen, dass eine Erweiterung für ein, mehr als ein oder keines der kartierten Objekte/Knoten in dem aktuellen Blickfeld des Benutzers bereitgestellt werden soll. Um diese Bestimmung vorzunehmen, kann das Knotenerlebnismodul 46 ein oder mehrere Kriterien anwenden. Bei einigen Ausführungsformen kann das Knotenerlebnismodul 46 beispielsweise bestimmen, dass eine Erweiterung für alle kartierten Objekte im aktuellen Blickfeld des Benutzers bereitzustellen ist, unabhängig von der Entfernung zwischen dem Objekt und dem Benutzer und unabhängig davon, ob das Objekt für die Ansicht des Benutzers durch eventuelle Behinderungen blockiert ist. Alternativ kann das Knotenerlebnismodul 46 bestimmen, dass keine Erweiterung für kartierte Objekte, die sich im Blickfeld befinden, jedoch um mehr als eine Schwellenentfernung von dem Benutzer entfernt sind, bereitgestellt werden soll (wie es beispielsweise aus der aktuellen Benutzerposition, die durch das Positionsbestimmungs- und Orientierungsmodul 44 bestimmt wird, und aus dem entsprechenden Knotenstandort, der in der AR-Datenbank 72 gespeichert ist, bestimmt wird).
Das Knotenerlebnismodul 46 kann auch oder stattdessen bestimmen, dass keine Erweiterung für kartierte Objekte bereitzustellen ist, die sich im Blickfeld der AR-Mobilvorrichtung 12 befinden, aber nicht zu sehen sind. Ob kartierte Objekte verdeckt sind, kann je nach Ausführungsform unterschiedlich bestimmt werden. Beispielsweise kann ein Feld in der AR-Datenbank 72 angeben, ob ein bestimmter Knoten einem Objekt entspricht, das im Allgemeinen verdeckt wäre. Beispielsweise für eine Komponente, die in einem Schrank eingeschlossen ist, weisen die entsprechenden Knoten ein Feld auf, das die Beziehung zwischen der Komponente und dem Schrank angibt. Bei anderen Ausführungsformen können die AR-Anwendung 32 und/oder der Backend-Server 14 eine komplexere Analyse von Knotenkonfigurationen, Knotentypen und/oder Knotengrößen vornehmen, um zu bestimmen, ob aus der aktuellen Perspektive des Benutzers ein bestimmtes kartiertes Objekt wahrscheinlich zu sehen wäre.
Bei einigen Ausführungsformen wird, um die Gefahr einer Reizüberflutung für den Benutzer zu reduzieren, für gewisse Typen von kartierten Objekten keine Erweiterung bereitgestellt, soweit der Benutzer nicht gewisse spezifische Maßnahmen trifft (die über ein einfaches Bewegen und/oder Umorientieren der AR-Mobilvorrichtung 12 hinausgehen). Beispielsweise kann das Knotenerlebnismodul 46 für eine große Anzahl von relativ kleinen Komponenten in einem Schrank keine Erweiterung bereitstellen, soweit der Benutzer nicht ein Symbol oder eine andere grafische Darstellung des Schranks auswählt und/oder eine Option auswählt, um den Schrankinhalt usw. zu zeigen.
Außerdem kann das Knotenerlebnismodul 46 bei einigen Ausführungsformen bestimmen, ob eine Erweiterung für ein bestimmtes kartiertes Objekt im Blickfeld des Benutzers bereitzustellen ist, basierend auf der Rolle des Benutzers, wie sie durch das Rollenidentifizierungsmodul 40 bestimmt wird. Somit kann das Knotenerlebnismodul 46 eine Web-Dienstschnittstelle 60 insbesondere nach Knoten abfragen, die sowohl mit dem Orientierungspunkt als auch der ausgewählten oder zugeteilten Rolle verknüpft sind. In einer Prozessregelungsumgebung kann beispielsweise ein Netzschalter für einen Benutzer erweitert werden, der eine Rolle als „Wartungstechniker“ übernimmt, jedoch nicht für einen Benutzer, der eine Rolle als „Bediener“ übernimmt.
Für Objekte, die erweitert werden sollen, kann das Knotenerlebnismodul 46 anfänglich eine Knoten- „Markierung“, wie etwa Text (z. B. eine Kennung, einen Status und/oder eine Beschreibung einer Vorrichtung) und/oder ein Symbol oder eine andere Grafik usw. in einem Bereich des Displays 22 einblenden, der für den Benutzer aussieht, als ob er sich an (oder nahe an) den Koordinaten des Objekts in der realen Ansicht des Benutzers befinden würde. Die Markierung kann aussehen, als ob sie mit dem kartierten Objekt in der realen Ansicht durch eine Linie verbunden wäre, die beispielsweise an dem Display 22 gerendert würde. Bei anderen Ausführungsformen ist die Markierung ein Kreis oder eine andere Form über dem Objekt gerendert wird, ein rechteckiger Umriss, der das Objekt ungefähr einschließt, oder ein anderer Indikatortyp.
Falls der Benutzer einen bestimmten Knoten auswählt (z. B. durch Fokussieren eines virtuellen Fadenkreuzes auf die Knotenmarkierung oder durch Erteilen eines Sprachbefehls usw.), kann das Knotenerlebnismodul 46 ein oder mehrere „Knotenerlebnisse“ für den Benutzer verfügbar machen. Im Gegensatz zu einem allgemeineren „AR-Erlebnis“ eines richtig ausgestatteten Benutzers, der in einer kartierten Umgebung umhergeht, bezieht sich ein „Knotenerlebnis“ auf einen bestimmten Typ oder Typen einer Benutzerinteraktion mit dem Objekt/Knoten. Das Knotenerlebnismodul 46 kann dem Benutzer die Option des Auswählens von spezifischen Knotenerlebnissen bereitstellen, indem beispielsweise ein Menü oder eine andere interaktive Anzeige in der realen Ansicht eingeblendet wird, und/oder indem sie konfiguriert ist, um Sprachbefehle von dem Benutzer zu erkennen. Ein Benutzer kann Menüoptionen ähnlich wie die Knotenmarkierungen auswählen (z. B. durch Fokussieren eines virtuellen Fadenkreuzes auf die Option, einen Sprachbefehl usw.) oder auf eine andere geeignete Art und Weise.
Wenn ein spezifisches Knotenerlebnis ausgewählt wird, kann das Knotenerlebnismodul 46 die Auswahl über das Netzwerk 16 an die Web-Dienstschnittstelle 60 weiterleiten. Als Reaktion darauf kann die Einheit 62 zum Bereitstellen von Erlebnissen Daten (z. B. Text, Grafiken, usw.), die mit dem ausgewählten Knoten und dem ausgewählten Erlebnis verknüpft sind, aus der AR-Datenbank 72 (und/oder anderen Standorten, wie etwa einem oder mehreren Servern 18) abrufen und die abgerufenen Daten über die Web-Dienstschnittstelle 60 zurück an AR-Mobilvorrichtung 12 senden, um es dem Knotenerlebnismodul 46 zu ermöglichen, die reale Ansicht des Benutzers entsprechend zu erweitern.
Ein Knotenerlebnis kann relativ einfach oder kompliziert sein. Die Knotenmarkierung selbst kann beispielsweise als standardmäßiges „Knotenerlebnis“ angesehen werden. Als andere Beispiele kann das Knotenerlebnismodul 46 anderen Text und/oder Tabellen (d..h. Informationen, die mit dem entsprechenden Objekt verknüpft sind) in der realen Ansicht des Benutzers (anhand des Displays 22), eine einfache Grafik oder ein Symbol des Objekts, ein hyperrealistisches oder pseudorealistisches 3D-Modell des Objekts, ein Bild des Objekts, eine Animation, die das Objekt umfasst (z. B. ein sich drehendes 3D-Modell des Objekts), und so weiter einblenden.
Die Knotenerlebnisse können zusätzlich oder stattdessen andere Interaktivitätstypen umfassen. Beispielsweise kann das Knotenerlebnismodul 46 einen Link (z. B. eine URL) in einem Video, das eine Anleitung für das Objekt und/oder seinen Betrieb innerhalb der Umgebung bereitstellt (z. B. innerhalb einer bestimmten Prozessregelungsroutine), in einem Arbeitsauftrag, der das Objekt betrifft, oder für einen entfernten Fachmann einblenden. Alternativ oder zusätzlich kann der Benutzer Sprachbefehle für einige oder alle dieser Knotenerlebnisse erteilen. Bei einer Ausführungsform, bei der Inhalt, wie etwa ein Video oder ein Arbeitsauftrag ausgewählt oder aufgerufen wird, kann das Knotenerlebnismodul 46 den Inhalt in der realen Ansicht des Benutzers einblenden. Falls ein entfernter Fachmann oder eine andere Person ausgewählt oder angerufen wird, kann das Knotenerlebnismodul 46 veranlassen, dass die Netzwerkschnittstelle 20 oder eine andere geeignete Netzwerkschnittstelle eine Kommunikationsverbindung mit der Person (z. B. über das Netzwerk 16) herstellt, und kann bei einigen Ausführungsformen ein Einzelbild oder ein Video der Person einblenden, bis die Kommunikation beendet ist.
Andere Knotenerlebnisse können bestimmte Beziehungstypen zwischen dem ausgewählten Objekt/Knoten und anderen Objekten/Knoten aufführen und/oder grafisch darstellen. Für ein Knotenerlebnis kann das Knotenerlebnismodul 46 beispielsweise eine Liste von Objekten/Knoten, die mit dem ausgewählten Objekt/Knoten zusammenhängen (z. B. Vorgänger- und/oder Nachfolger-Objekte/Knoten), in der realen Ansicht des Benutzers einblenden. Eine „Beziehung“ kann wie gewünscht beliebig definiert werden und kann durch einen Benutzer manuell eingestellt werden, wenn er einen neuen Knoten hinzufügt, oder kann auf eine andere geeignete Art und Weise eingestellt werden. Beispielsweise können sich einige Beziehungen darauf beziehen, ob ein Objekt eine Komponente eines anderen Objekts ist und/oder selber eine Anzahl von Komponenten umfasst. Ein Ventil kann beispielsweise einem Knoten entsprechen, der ein Vorgänger einer Gruppe von Knoten ist, die jeweils Komponenten des Ventils entsprechen.
Das Knotenerlebnismodul 46 kann Beziehungen durch Abfragen der Einheit 62 zum Bereitstellen von Erlebnissen über eine Web-Dienstschnittstelle 60 bestimmen, wobei die Einheit 62 zum Bereitstellen von Erlebnissen die Kennungen der betreffenden Knoten aus der AR-Datenbank 72 abruft und eine Angabe dieser Knoten für das Knotenerlebnismodul 46 bereitstellt. Dadurch dass standardmäßig keine Knotenmarkierungen und/oder Knotenerlebnisse für alle der einzelnen Ventilkomponenten gezeigt werden (z. B. soweit ein Knoten oder eine bestimmte Option nicht spezifisch durch den Benutzer ausgewählt wird), kann es dem Benutzer erspart bleiben, eine überwältigende Menge von visuellen Informationen auf einmal zu empfangen.
Einige Beziehungsarten können für den Benutzer grafisch dargestellt werden. Beispielsweise kann das Knotenerlebnismodul 46 eine grafische Darstellung einer physischen oder logischen Verbindung zwischen dem Objekt, das dem ausgewählten Knoten entspricht, und einem oder mehreren anderen Objekten, die anderen Knoten entsprechen, bereitstellen. Das Knotenerlebnismodul 46 kann Verbindungen durch Abfragen der Einheit 62 zum Bereitstellen von Erlebnissen über die Web-Dienstschnittstelle 60 bestimmen, wobei die Einheit 62 zum Bereitstellen von Erlebnissen Kennungen der verbundenen Knoten aus der AR-Datenbank 72 abruft und eine Angabe dieser Knoten für das Knotenerlebnismodul 46 bereitstellt. Das Knotenerlebnismodul 46 kann dann eine Anzeige generieren, die Linien darstellt, welche die geeigneten Objekte verbinden, und die Linien in der realen Ansicht des Benutzers einblenden. Ein Beispiel eines derartigen Knotenerlebnisses wird in 4H bereitgestellt, die nachstehend besprochen wird.
Die gezeigten Verbindungen und/oder anderen Beziehungen können auch basierend auf der ausgewählten oder zugeteilten Rolle des Benutzers variieren. Beispielsweise kann in einer Prozessregelungsumgebung einem „Bediener“ eine Linie gezeigt werden, die von einer Sensor-/Transmitter-Vorrichtung zu einem Tank geht, wobei die Linie angibt, dass der Sensor/Transmitter den Druck in dem Tank misst. Dagegen kann einem „Ingenieur“ stattdessen (oder zusätzlich) eine Linie von dem Sensor/Transmitter zu einer anderen Vorrichtung, welche die Sensorübertragungen empfängt, gezeigt werden, und einem „Wartungstechniker“ kann stattdessen (oder zusätzlich) eine Linie von dem Sensor/Transmitter zu einer Energiequelle für die Vorrichtung gezeigt werden (z. B. so dass der Wartungstechniker mühelos herausfinden kann, wo der Strom abzuschalten ist, bevor er die Vorrichtung wartet, repariert oder austauscht).
Bei einigen Ausführungsformen verwendet die Einheit 62 zum Bereitstellen von Erlebnissen Daten und/oder Funktionalität von einem oder mehreren anderen Servern 18 und/oder Anwendungen 19, um ein oder mehrere Knotenerlebnisse bereitzustellen, und/oder eine oder mehrere der Anwendungen 19 können als Reaktion auf Daten, die von der Einheit 62 zum Bereitstellen von Erlebnissen gesendet werden, gestartet werden. Einige Beispiele derartiger Ausführungsformen in einer Prozessregelungsumgebung werden nachstehend in Verbindung mit 2 besprochen.
Wie zuvor angemerkt, kann das Knotenerlebnismodul 46 bestimmen, ob die reale Ansicht des Benutzers eines bestimmten kartierten Objekts basierend auf der ausgewählten oder zugeteilten Rolle des Benutzers (z. B. Bediener, Wartungstechniker usw.) erweitert werden soll. Zusätzlich oder alternativ können die Typen von Knotenerlebnissen und/oder der Inhalt oder die Interaktivität, der bzw. die durch ein bestimmtes Erlebnis bereitgestellt wird, basierend auf der Benutzerrolle variieren. Beispielsweise kann einem Benutzer, der eine Rolle eines „Wartungstechnikers“ annimmt und eine Pumpe in seiner realen Ansicht hat, ein Knotenerlebnis präsentiert werden, das eine Erinnerung für eine geplante Wartung für die Pumpe zeigt, während einem Benutzer, der eine Rolle als „Bediener“ oder „Ingenieur“ annimmt, stattdessen Informationen über die logischen Verbindungen der Pumpe innerhalb einer Prozessregelungsroutine gezeigt werden können. Dem Wartungstechniker kann ein Alarm gezeigt werden, falls die geplante Wartung verspätet ist, während dem Bediener oder dem Ingenieur ein Alarm vielleicht nur in anderen Szenarien gezeigt wird (z. B. falls die Pumpe versagt).
Das Knotenerstellungsmodul 48 unterstützt das Hinzufügen von neuen Knoten innerhalb der 3D-Karte, die dem Orientierungspunkt entspricht, der verwendet wird, um die AR-Mobilvorrichtung 12 zu registrieren. Bei einigen Ausführungsformen kann ein beliebiger Benutzer neue Knoten zu einer 3D-Karte hinzufügen. Bei anderen Ausführungsformen kann es sein, dass nur gewisse Benutzerrollen und/oder nur gewisse AR-Vorrichtungen verwendet werden, um neue Knoten hinzuzufügen. Um einen neuen Knoten hinzuzufügen, kann ein Benutzer das Blickfeld der AR-Mobilvorrichtung 12 (z. B. ein Fadenkreuz, das innerhalb des Blickfeldes zentriert ist) auf ein reales Objekt richten, das kartiert werden soll, und eine Option auswählen, um das Objekt als einen neuen Knoten hinzuzufügen.
Dies kann je nach Ausführungsform unterschiedlich erreicht werden. Beispielsweise kann der Benutzer einen eingeblendeten Menüpunkt (z. B. eine virtuelle Schaltfläche „Knoten hinzufügen“) auswählen oder einen Sprachbefehl erteilen, und das Knotenerstellungsmodul 48 kann als Reaktion darauf ein Fadenkreuz in die reale Ansicht des Benutzers einblenden. Während er mit dem Fadenkreuz auf das Objekt zielt, kann der Benutzer ein anderes Bedienelement aktivieren (z. B. eine virtuelle Schaltfläche „Bestätigen“) oder einen zweiten Sprachbefehl erteilen. Als Reaktion kann das Knotenerstellungsmodul 48 eine Position des Objekts bestimmen und den Benutzer auffordern, einen Knotennamen und/oder eine Beschreibung einzugeben. Das Knotenerstellungsmodul 48 kann dann die Position, den eingegebenen oder ausgesprochenen Namen usw. über das Netzwerk 16 an die Web-Dienstschnittstelle 60 senden, und die Einheit 64 zum Generieren eines 3D-Modells kann mindestens die Position und eine Knotenkennung (z. B. den Knotennamen, der durch den Benutzer eingegeben oder ausgesprochen wurde) zu der AR-Datenbank 72 hinzufügen.
Um die Position des gerade kartierten Objekts zu bestimmen, kann das Knotenerstellungsmodul 48 die aktuelle Position der AR-Mobilvorrichtung 12 verwenden (wie sie durch das Positionsbestimmungs- und Orientierungsmodul 44 bestimmt wird) und diese Position basierend sowohl auf der Entfernung zwischen der AR-Mobilvorrichtung 12 und dem Objekt als auch auf der Orientierung der AR-Mobilvorrichtung 12 versetzen. Wie zuvor beschrieben, kann dies ähnlich wie das Bestimmen der anfänglichen 3D-Position der AR-Mobilvorrichtung 12 beim Registrieren am Orientierungspunkt erfolgen. Beispielsweise kann das Knotenerstellungsmodul 48 das Bild des Objekts, das durch die Kamera 24 aufgenommen wurde, unter Verwendung einer Tiefenmesstechnik verarbeiten, um die Entfernung zwischen der AR-Mobilvorrichtung 12 und dem Objekt zu bestimmen. Das Positionsbestimmungs- und Orientierungsmodul 44 kann dann die Objektposition gegenüber der Position der AR-Mobilvorrichtung 12 basierend sowohl auf der bestimmten Entfernung als auch auf der Orientierung der AR-Mobilvorrichtung 12 versetzen (z. B. basierend auf der Entfernung und der Richtung, der das Blickfeld der AR-Mobilvorrichtung 12 zugewandt war, als das Bild des Objekts aufgenommen wurde).
Bei einigen Ausführungsformen kann das Knotenerstellungsmodul 48 auch verwendet werden, um existierende Knoten zu aktualisieren/ändern. Beispielsweise kann ein Menü, das durch das Knotenerlebnismodul 46 bereitgestellt wird, eine Option zum Aktualisieren von Knoteninformationen umfassen. Falls diese ausgewählt wird, kann das Knotenerstellungsmodul 48 ein oder mehrere Menüs oder andere Benutzerschnittstellen in der realen Ansicht des Benutzers einblenden, um es dem Benutzer zu ermöglichen, Informationen zu ändern, die zu dem Knoten gehören (z. B. Knotenname, Knotenbeschreibung usw.). Eventuelle Änderungen können über das Netzwerk 16 an die Web-Dienstschnittstelle 60 gesendet werden, und die Einheit 64 zum Generieren eines 3D-Modells kann die AR-Datenbank 72 entsprechend aktualisieren.
Bei einigen Ausführungsformen konfiguriert die AR-Anwendung 32 die AR-Mobilvorrichtung 12, damit sie die virtuelle Sicht des Benutzers über die zuvor beschriebenen Erweiterungsmerkmale hinaus verbessert. Beispielsweise kann das Sichtverbesserungsmodul 50 für gewisse Knotentypen bestimmen, wann sich ein kartiertes Objekt innerhalb eines Bereichs, der durch das aktuelle Blickfeld des Benutzers aufgenommen wird (wie beispielsweise für das Knotenerlebnismodul 46 besprochen) befindet, jedoch durch ein oder mehrere andere Objekte verdeckt ist, und einen virtuellen „Röntgenblick“ für den Benutzer bereitstellen. Der virtuelle Röntgenblick kann nur bereitgestellt werden, falls ein oder mehrere Kriterien erstellt werden (z. B. falls das Sichtverbesserungsmodul 50 bestimmt, dass sich das oder die verborgenen Objekte innerhalb einer Schwellenentfernung von der AR-Mobilvorrichtung 12 befinden), oder kann unabhängig von eventuellen anderen Kriterien bereitgestellt werden.
Bei einer derartigen Ausführungsform umfasst die AR-Datenbank 72 für jeden von mindestens einigen der Knoteneinträge ein Flag oder einen anderen Sichtbarkeitsindikator, der angibt, dass der Knoten wahrscheinlich für den Benutzer nicht zu sehen ist. Dieser Sichtbarkeitsindikator kann basierend auf einer bekannten Beziehung von Objekten (z. B. falls die Einheit 64 zum Generieren eines 3D-Modells auf ein Steuersystem zugreift, um zu erfahren, dass das Objekt, das dem Knoten entspricht, innerhalb eines Schranks positioniert ist) automatisch generiert worden sein oder kann durch einen Benutzer manuell eingestellt worden sein (z. B. als der Knoten über eine Benutzerschnittstelle, die das Knotenerstellungsmodul 48 in der realen Ansicht des Benutzers einblendet, hinzugefügt wurde). Wenn sich ein bestimmtes kartiertes Objekt innerhalb des Blickfeldes des Benutzers befindet, kann das Sichtverbesserungsmodul 50 die Sichtverbesserungseinheit 66 des Backend-Servers 14 über das Netzwerk 16 und die Web-Dienstschnittstelle 60 abfragen, und die Sichtverbesserungseinheit 66 kann wiederum auf die AR-Datenbank 72 zugreifen, um den betreffenden Sichtbarkeitsindikator abzurufen. Die Sichtverbesserungseinheit 66 kann dann die Web-Dienstschnittstelle 60 verwenden, um den Sichtbarkeitsindikator oder andere Daten, die angeben, ob das Objekt verdeckt ist, an das Sichtverbesserungsmodul 50 zu senden.
Alternativ können das Sichtverbesserungsmodul 50 und/oder die Sichtverbesserungseinheit 66 die Sichtbarkeitsbestimmung andersartig vornehmen. Beispielsweise kann sich ein bestimmtes kartiertes Objekt oder ein Satz von Objekten innerhalb eines Schranks befinden, der mit einer Modellnummer, einem QR-Code oder einem anderen visuellen Indikator markiert ist. Das Sichtverbesserungsmodul 50 kann ein Bild des visuellen Indikators, das durch die Kamera 24 aufgenommen wurde, verarbeiten, um eine Kennung (z. B. eine Knotenkennung) des Schranks zu bestimmen, und die Kennung über die Web-Dienstschnittstelle 60 an die Sichtverbesserungseinheit 66 senden. Die Sichtverbesserungseinheit 66 kann dann die Kennung verwenden, um zu bestimmen, welche kartierten Objekte (z. B. Feldgeräte, E/A-Karten usw.) sich innerhalb des Schranks befinden, und kann Daten zurücksenden, die angeben, dass Objekte, die sich innerhalb des Schranks befinden, verdeckt sind.
Um die Wirkung eines virtuellen Röntgenblicks für ein gegebenes Objekt bereitzustellen, kann das Sichtverbesserungsmodul 50 ein hyperrealistisches oder pseudorealistisches 2D- oder 3D-Modell des Objekts oder ein digitales Bild oder Video des Objekts abrufen und dieses Modell, Bild oder Video über dem Objekt (oder nahe an dem Objekt) im Blickfeld des Benutzers einblenden. Entweder standardmäßig oder als Reaktion auf eine Benutzerauswahl des 2D- oder 3D-Modells oder auf einen Sprachbefehl usw. kann das Knotenerlebnismodul 46 auch visuelle Menüoptionen oder eine Sprachbefehlserkennung bereitstellen, um es dem Benutzer zu ermöglichen, diverse Erlebnisse für den Knoten auszuwählen, wie zuvor beschrieben. Somit kann der Benutzer mit dem verborgenen Objekt auf eine Art und Weise interagieren, die sehr ähnlich wie die Interaktion mit realen Objekten aussieht und sich so „anfühlt“, solange es sich direkt in seinem Blickfeld befindet.
Das Sichtverbesserungsmodul 50 kann zusätzlich oder stattdessen die virtuelle Sicht eines Benutzers andersartig verbessern. Falls sich ein Objekt beispielsweise in einem zugriffsbeschränkten und/oder gefährlichen Bereich (z. B. an einem sehr hohen Standort, einem abgesperrten Standort, in einem Hochspannungs- oder toxischen Bereich usw.) befindet und/oder vom Benutzer weit entfernt ist, kann es das Sichtverbesserungsmodul 50 dem Benutzer ermöglichen, einen „Avatar“, der das Objekt darstellt, in sein Blickfeld abzurufen. Der Avatar kann das Gleiche sein wie das 2D- oder 3D-Modell, das Bild, das Video usw., die zuvor für das Beispiel des Röntgenblicks beschrieben wurden, oder kann sich in mancher Hinsicht unterscheiden. In der Tat ist der virtuelle Röntgenblick bei einigen Ausführungsformen nur einer von mehreren verwendeten Fällen zum Herbeirufen eines Avatars eines realen Objekts.
Ein Avatar kann je nach Ausführungsform und/oder Szenario auf unterschiedliche Art und Weise herbeigerufen werden. Bei einigen Ausführungsformen blendet das Sichtverbesserungsmodul 50 zuerst einen visuellen Indikator in der realen Ansicht des Benutzers ein, falls gewisse Kriterien erfüllt sind, wobei der visuelle Indikator eine gewisse Angabe des Standorts des entsprechenden Objekts im Verhältnis zur realen Ansicht des Benutzers angibt. Beispielsweise kann der visuelle Indikator präsentiert werden, falls sowohl (1) die AR-Mobilvorrichtung 12 innerhalb einer Schwellenentfernung des Objekts liegt als auch (2) der Knoten als zugriffsbeschränktes Objekt markiert ist. Die AR-Datenbank 72 kann Daten speichern, die beispielsweise einen derartigen Status angeben (z. B. basierend auf einer manuellen Benutzereingabe, wann der Knoten durch einen Benutzer hinzugefügt wurde), oder der Status kann abgeleitet werden (z. B. falls die Sichtverbesserungseinheit 66 bestimmt, dass sich das Objekt in einer Region befindet, die der Backend-Server 14 als „Gefahren-“ Region bestimmt hat, oder falls das Sichtverbesserungsmodul 50 oder die Sichtverbesserungseinheit 66 bestimmt, dass die Position des Objekts mindestens um eine Schwellenentfernung von der AR-Mobilvorrichtung 12 in der Z-Richtung entfernt ist und sich somit auf einer ganz anderen Erhebung befindet, usw.). Der visuelle Indikator kann einen Pfeil, der in die Richtung des Objekts zeigt, eine Linie, die zu dem Objekt führt, oder eine gewisse andere Angabe des Standorts umfassen. Ein Beispiel eines visuellen Indikators wird nachstehend in Verbindung mit 7A besprochen. Falls der Benutzer den Indikator auswählt oder eine andere geeignete Aktion vornimmt (z. B. bei einigen Ausführungsformen, falls der Benutzer sein Blickfeld ändert, um das Objekt zu umfassen), kann das Sichtverbesserungsmodul 50 den Avatar in der realen Ansicht des Benutzers einblenden.
Bei anderen Ausführungsformen umfasst der Indikator des Standorts des Objekts den Avatar selber (z. B. mit einem Pfeil/Zeiger zu dem Objektstandort über oder nahe an dem Avatar). Bei noch anderen Ausführungsformen und/oder Szenarien blendet das Sichtverbesserungsmodul 50 den Avatar in dem Blickfeld des Benutzers ein, ohne einen visuellen Indikator des Standorts des Objekts zu präsentieren. Beispielsweise kann das Sichtverbesserungsmodul 50 den Avatar dem Benutzer als Reaktion darauf, dass der Benutzer nach dem entsprechenden Objekt fragt oder sucht (indem er beispielsweise einen Sprachbefehl erteilt oder manuell Daten eingibt), oder als Reaktion darauf, dass der Benutzer eine Knotenmarkierung für ein relativ entferntes Objekt auswählt (z. B. das weiter als um eine gewisse Schwellenentfernung entfernt ist), usw. präsentieren. Bei einer derartigen Ausführungsform erscheint der Avatar nicht sofort in voller Größe. Beispielsweise kann das Sichtverbesserungsmodul 50 einen visuellen Effekt erstellen, bei dem der Avatar für den Benutzer aussieht, als ob er sich vom Standort des Objekts aus (z. B. weit vor dem Benutzer) in eine Position genau vor dem Benutzer begibt. Der Avatar kann beispielsweise größer werden, um den Effekt der Annäherung an den Benutzer zu simulieren.
Das Knotenerlebnismodul 46 kann automatisch ein bestimmtes Knotenerlebnis für das Objekt für den Benutzer bereitstellen (zusätzlich zum Zeigen des Avatars des Objekts) und/oder kann es dem Benutzer ermöglichen, ein oder mehrere Knotenerlebnisse auszuwählen, nachdem der Avatar zuerst präsentiert wurde (z. B. durch Erteilen eines Sprachbefehls oder Auswählen von Menüoptionen). Beispielsweise können ein oder mehrere der zuvor besprochenen Knotenerlebnisse bereitgestellt werden. Ein Beispiel eines Erlebnisses, das mit einem Avatar verknüpft sein kann, wird nachstehend in Verbindung mit 7B besprochen.
Bei einigen Ausführungsformen konfiguriert die AR-Anwendung 32 die AR-Mobilvorrichtung 12, um basierend auf der aktuellen Position des Benutzers und/oder basierend auf den aktuellen Umständen in bestimmten Bereichen Alarme zu generieren (z. B. gewissen Regionen einer Prozessanlage, die mit einer Warnung verknüpft sind). Die Alarmgenerierungseinheit 68 kann periodisch oder kontinuierlich bestimmen, ob sich die aktuelle Position der AR-Mobilvorrichtung 12 in einem Bereich befindet, der einem Alarm oder einer Warnung unterliegt, z. B. durch Vergleichen der Positionen, die durch das Positionsbestimmungs- und Orientierungsmodul 44 (über die Web-Dienstschnittstelle 60) gemeldet werden, mit den Grenzen eines oder mehrerer Geofencing-Bereiche. Falls sich der Benutzer/ die Vorrichtung in einem Bereich befindet, der mit einem Alarm verknüpft ist, kann die Alarmgenerierungseinheit 68 einen Indikator des Alarms über die Web-Dienstschnittstelle 60 an das positionsbasierte Alarmmodul 52 senden, und das positionsbasierte Alarmmodul 52 kann eine Angabe des Alarms (z. B. Text und/oder eine Grafik) in die reale Ansicht des Benutzers einblenden, einen gewissen anderen visuellen Effekt verursachen (z. B. ein blinkendes rotes Licht oder eine Färbung, welche die gesamte reale Ansicht einfasst) und/oder für den Benutzer einen Audioalarm (über einen Lautsprecher der AR-Mobilvorrichtung 12, in 1 nicht gezeigt) bereitstellen. Alternativ oder zusätzlich kann die Alarmgenerierungseinheit 68 einen Alarmindikator basierend auf der Nähe der AR-Mobilvorrichtung 12 zu einem bestimmten kartierten Objekt senden (z. B. falls das Objekt nicht richtig funktioniert und eine Wartung benötigt oder zu vermeiden ist, usw.). Die Alarmgenerierungseinheit 68 kann auch die Zustellung von Alarmen von der ausgewählten oder zugeteilten Rolle des Benutzers abhängig machen.
Bei einigen Ausführungsformen kann der Backend-Server 14 die 3D-Standorte von AR-Mobilvorrichtungen (und somit der Benutzer) in der kartierten Umgebung überwachen. Dazu kann die Benutzerüberwachungseinheit 70 aktuelle und/oder frühere Positionen von Benutzern, die ihre AR-Mobilvorrichtungen an einem Orientierungspunkt registriert haben, basierend auf Daten, die von dem Positionsbestimmungs- und Orientierungsmodul 44 über die Web-Dienstschnittstelle 60 empfangen werden, aufzeichnen.
Die Benutzerstandortüberwachung kann für diverse Zwecke verwendet werden, die von der Ausführungsform und/oder der Notwendigkeit abhängig sind. Beispielsweise kann die Benutzerüberwachungseinheit 70 Benutzerstandorte an einem Display oder Endgerät, das mit dem Backend-Server 14 gekoppelt (und in 1 nicht gezeigt) ist, anzeigen, und ein Bediener des Displays oder des Endgeräts kann Mitarbeiterstandorte im Falle eines Notfalls ausfindig machen oder einfach die Benutzer unter typischeren Bedingungen überwachen, um zu bestimmen, ob gewisse Mitarbeiter medizinische Hilfe benötigen. Die Gesundheit der Mitarbeiter kann auch unter Verwendung anderer Daten überwacht werden, wie etwa biometrischer Daten, die durch einen oder mehrere Sensoren der AR-Mobilvorrichtung 12 erhoben werden (beispielsweise um Puls, Blutdruck, Temperatur usw. zu detektieren). Als weitere Beispiele können die Standorte von Mitarbeitern/Benutzern zu Trainingsprotokollen der Mitarbeiter hinzugefügt werden, die von Abteilungsleitern oder Personalabteilungen verwendet werden, um die Einhaltung von Protokollen zu überwachen, die durch den Backend-Server 14 verwendet werden, um standortspezifische „Hilfe-“ Informationen für den Benutzer bereitzustellen, und so weiter. Bei noch anderen Ausführungsformen und/oder Szenarien können die 3D-Standorte von gewissen nicht menschlichen mobilen Elementen innerhalb der kartierten Umgebung verfolgt werden. Beispielsweise kann eine Einheit des Backend-Servers 14 die 3D-Standorte von mobilen Reaktoren, Wagen, Außendienstlastwagen und/oder anderen Objekten für diverse Zwecke überwachen.
Bei diversen Ausführungsformen wird das ML-Modell 65 verwendet, um die AR-Plattform zu verbessern. Das ML-Modell 65 wird unter Verwendung von Einlerndaten 74 eingelernt, um Objekte einer gewissen Art zu erkennen, die innerhalb der Prozessregelungs- (oder einer anderen) Umgebung zu erwarten sind. Das ML-Modell 65 kann ein geeigneter Typ eines künstlichen neuronalen Netzwerks, wie beispielsweise ein rekurrentes neuronales Netzwerk, sein. Bei einigen Ausführungsformen ist das ML-Modell 65 das Modell Core ML® von Apple® oder integriert dieses. Bei einer alternativen Ausführungsform ist das ML-Modell 65 in einem anderen Rechensystem enthalten, und der Backend-Server 14 greift bei Bedarf entfernt auf das ML-Modell 65 zu. Bei noch einer anderen Ausführungsform ist das ML-Modell 65 in dem Speicher 30 der AR-Mobilvorrichtung 12 gespeichert (z. B. nachdem es über die Web-Dienstschnittstelle 60 von dem Backend-Server 14 heruntergeladen wurde), wobei in diesem Fall die Verwendung des ML-Modells 65 durch die AR-Anwendung 32 vielleicht keine Kommunikation zwischen der AR-Mobilvorrichtung 12 und dem Backend-Server 14 erfordert.
Die Einlerndaten 74 können Bilder von diversen verschiedenen Objekte umfassen, die typischerweise innerhalb der Umgebung vorzufinden wären (z. B. Prozessregelungseinrichtungen, Feldgeräte und/oder andere Elemente), wobei jedes Bild oder jede Teilmenge von Bildern mit einem Deskriptor des Objekttyps für das oder die abgebildeten Bilder etikettiert ist. Beispielsweise können menschliche Kontrolleure Bilder für eine Sammlung von verschiedenen Objekttypen manuell etikettiert haben. In Abhängigkeit von der Ausführungsform und/oder dem kartierten Objekt kann es nur ein Etikett pro Bild/Objekt oder mehrere Etiketten pro Bild/Objekt geben. Es kann eine beliebige geeignete Technik zum betreuten Lernen verwendet werden, um das ML-Modell 65 unter Verwendung der Einlerndaten 74 einzulernen. Obwohl 1 die Einlerndaten 74 zeigt, wie sie in dem AR-System 10 enthalten sind, versteht es sich, dass bei einigen Ausführungsformen das ML-Modell 65 eine Kopie eines Modells ist, das unter Verwendung eines völlig getrennten und von dem AR-System 10 entfernten Rechensystem eingelernt wurde.
Bei einer Ausführungsform verwendet die AR-Plattform das eingelernte ML-Modell 65, um es kartierenden Benutzern zu erlauben, ein Objekt, das zu der 3D-Karte hinzugefügt wird, einfacher zu klassifizieren oder zu kategorisieren, was die Kartenerstellung und/oder Kartenaktualisierungen erleichtern kann. Wenn der Benutzer der AR-Mobilvorrichtung 12 beispielsweise mit einem Fadenkreuz an dem Display 22 auf ein bestimmtes Objekt zielt und ein Bedienelement (z. B. eine virtuelle Schaltfläche „Bestätigen“ oder einen Sprachbefehl) aktiviert, kann das Knotenerstellungsmodul 48 zusätzlich zu seiner zuvor beschriebenen Funktionalität lokal oder entfernt auf das ML-Modell 65 zugreifen, um eine Klassifizierung des Objekts zu erzielen, das derzeit auf das Fadenkreuz ausgerichtet ist. Beispielsweise kann das Knotenerstellungsmodul 48 ein aufgenommenes Bild oder Bilder über das Netzwerk 16 an die Web-Dienstschnittstelle 60 senden, und die Einheit 64 zum Generieren eines 3D-Modells kann das ML-Modell 65 verwenden, um das Bild oder die Bilder zu verarbeiten (d..h. das oder die Bilder als Eingaben/Merkmale zu verwenden) und eine vorhergesagte Klassifizierung für das Objekt ausgeben. Die Kamera 24 kann das oder die Bilder als Reaktion auf die Benutzeraktivierung des Bedienelements aufnehmen oder kann das oder die Bilder im Verlauf ihres normalen Betriebs einfach aufnehmen (z. B. falls die Kamera 24 kontinuierlich eine Reihe von Einzelbildern pro Sekunde aufnimmt).
Falls sich das ML-Modell 65 auf dem Backend-Server 14 befindet, kann der Backend-Server 14 dann die vorhergesagte Klassifizierung an die AR-Mobilvorrichtung 12 (z. B. über die Web-Dienstschnittstelle 60 und das Netzwerk 16) zurückgeben.
Sobald die AR-Anwendung 32 die vorhergesagte Klassifizierung (vom Backend-Server 14 oder aus einer lokalen Quelle) erzielt hat, kann das Knotenerstellungsmodul 48 veranlassen, dass die Klassifizierung dem Benutzer irgendwie präsentiert wird. Beispielsweise kann das Knotenerstellungsmodul 48 veranlassen, dass das Display 22 in der realen Ansicht des Benutzers eine Textdarstellung der vorhergesagten Klassifizierung (z. B. einen allgemeinen Objekttyp oder eine spezifische Modellnummer usw.) einblendet, und der Benutzer kann die Möglichkeit haben, die Klassifizierung als einen Deskriptor für den neuen Knoten anzuwenden, der das Objekt darstellt (z. B. indem er „Bestätigen“ sagt oder indem er die Klassifizierung in ein Deskriptorfeld eingibt, usw.). Das Knotenerstellungsmodul 48 kann dann veranlassen, dass die Einheit 64 zum Generieren eines 3D-Modells den neuen Knoten mit dem Namen/Deskriptor, der durch den Benutzer ausgewählt (z. B. bestätigt) wurde und mit dem entsprechenden Standort innerhalb der Umgebung, wie zuvor beschrieben hinzufügt.
In einigen Ausführungsformen und/oder Szenarien gibt das ML-Modell 65 zwei oder mehrere mögliche Typen/Klassifizierungen für das abgebildete Objekt aus, und dem Benutzer werden zwei oder mehrere jeweilige Optionen zum Ausfüllen/Eingeben des Objektdeskriptors präsentiert. Beispielsweise können die Optionen an dem Display 22 in einer Liste präsentiert werden, die in der realen Ansicht des Benutzers eingeblendet wird. Das ML-Modell 65 kann ein Konfidenzniveau für jede ausgegebene Klassifizierung ausgeben, und die Optionen können beispielsweise vom höchsten bis zum niedrigsten Konfidenzniveau eingestuft und sortiert werden, wenn sie dem Benutzer präsentiert werden. Es kann auch eine festgelegte oder benutzerkonfigurierbare Schwelle verwendet werden, um ein Mindestkonfidenzniveau einzustellen, wobei mögliche Objekttypen, die ein Konfidenzniveau aufweisen, das niedriger als diese Schwelle ist, von dem Benutzer-Display ausgelassen werden.
Alternativ oder zusätzlich kann die AR-Plattform das eingelernte ML-Modell 65 verwenden, um die Genauigkeit des Standorts/ der Positionsbestimmung für Benutzer, die in einer zuvor kartierten (oder teilweise kartierten) Umgebung navigieren, zu verbessern. Wie zuvor beschrieben, kann das Positionsbestimmungs- und Orientierungsmodul 44 die IMU 26, die Kamera 24 und/oder einen oder mehrere andere Sensoren der AR-Mobilvorrichtung 12 (in 1 nicht gezeigt) verwenden, um die wechselnden Standorte des Benutzers/ der Vorrichtung 12 mit Bezug auf einen Orientierungspunkt, an dem die AR-Mobilvorrichtung 12 anfänglich registriert wurde, zu verfolgen. Selbst weiterentwickelte „Koppelnavigations-“ Technologien, wie etwa VIO, werden jedoch im Verlauf der Zeit, während der Benutzer umhergeht, auf Grund geringer Fehler, die durch die Sensoren und/oder die Verarbeitung von Sensordaten eingeführt werden, eine gewisse Abweichung aufweisen.
Um mindestens einen Teil dieser Abweichung zu korrigieren, kann das Positionsbestimmungs- und Orientierungsmodul 44 veranlassen, dass Bilder, die durch die Kamera 24 erzielt werden, in das ML-Modell 65 eingegeben werden (z. B. über das Netzwerk 16 und die Web-Dienstschnittstelle 60, falls sich das ML-Modell 65 in dem Backend-Server 14 befindet), wenn der Benutzer in der Umgebung umhergeht. Die Bilder können dem ML-Modell 65 regelmäßig bereitgestellt werden (z. B. bei jedem Einzelbild der Kameradaten, wobei Einzelbilder mit einer gewissen Bildrate pro Sekunde aufgenommen werden), als Reaktion auf einen Auslöser (z. B. einen Benutzerbefehl) oder auf einer gewissen anderen geeigneten Basis. Bei dieser Ausführungsform oder diesem Aspekt ist es vielleicht nicht notwendig, dass die Objekte auf ein Fadenkreuz der AR-Mobilvorrichtung 12 ausgerichtet sind, damit das ML-Modell 65 einen Objekttyp erkennt; d. h. es kann ausreichen, dass das Objekt ganz innerhalb eines gegebenen Bildes liegt, oder sogar dass ein Abschnitt des Objekts innerhalb eines gegebenen Bildes liegt.
Wenn anschließend das ML-Modell 65 einen vorhergesagten Typ für ein Objekt innerhalb des Bildes ausgegeben hat, kann dieser Objekttyp verwendet werden, um zu bestimmen, welcher Knoten dem abgebildeten Objekt entspricht. Beispielsweise kann eine Abweichungskorrektureinheit (in 1 nicht gezeigt) des Backend-Servers 14 oder der AR-Mobilvorrichtung 12 den vorhergesagten Objekttyp (lokal oder von der AR-Mobilvorrichtung 12 usw.) empfangen und sowohl den aktuellen geschätzten Standort der AR-Mobilvorrichtung 12 (z. B. wie durch das Positionsbestimmungs- und Orientierungsmodul 44 generiert) als auch den vorhergesagten Objekttyp verwenden, um einen Knoten in der AR-Datenbank 72 zu identifizieren, der diesem Standort und dem Objekttyp entspricht. Beispielsweise kann die Abweichungskorrektureinheit bestimmen, dass ein beliebiger Knoten der AR-Datenbank 72, (1) der mit einem gespeicherten Standort verknüpft ist, welcher der aktuellen geschätzten Position der AR-Mobilvorrichtung 12 am nächsten und/oder innerhalb einer Schwellenentfernung derselben liegt, und (2) der mit einem gespeicherten Typ/ einer Klasse verknüpft ist, der bzw. die mit dem vorhergesagten Objekttyp/ der Klasse übereinstimmt, dem abgebildeten Objekt entspricht.
Bei einigen Ausführungsformen wird die aktuelle Orientierung der AR-Mobilvorrichtung 12, wie durch das Positionsbestimmungs- und Orientierungsmodul 44 (oder unter Verwendung von durch dieses generierten Daten) bestimmt, auch verwendet, um den Knoten zu identifizieren. Beispielsweise kann die Abweichungskorrektureinheit bestimmen, dass ein beliebiger Knoten der AR-Datenbank 72, (1) der mit einem gespeicherten Standort verknüpft ist, welcher der aktuellen geschätzten Position der AR-Mobilvorrichtung 12 am nächsten und/oder innerhalb einer Schwellenentfernung derselben liegt, und (2) von dem erwartet wird, dass er sich gerade im Blickfeld der Kamera 24 befindet, und (3) der mit einem gespeicherten Typ/ einer Klasse verknüpft ist, der bzw. die mit dem vorhergesagten Objekttyp/ der Klasse übereinstimmt, dem abgebildeten Objekt entspricht.
Sobald der entsprechende Knoten identifiziert wurde, kann der Standort dieses Knotens, wie in der AR-Datenbank 72 gespeichert, verwendet werden, um den Standort des Benutzers/ der Vorrichtung 12 zu korrigieren oder zu aktualisieren. Beispielsweise kann die Abweichungskorrektureinheit (falls sie sich auf dem Backend-Server 14 befindet) den abgerufenen Knotenstandort über die Web-Dienstschnittstelle 60 und das Netzwerk 16 an die AR-Mobilvorrichtung 12 senden, wonach das Positionsbestimmungs- und Orientierungsmodul 44 den Knotenstandort verwenden kann, um den Standort des Benutzers/ der Vorrichtung 12 zu korrigieren, und/oder der Backend-Server 14 (z. B. die Einheit 62 zum Bereitstellen von Erlebnissen und/oder die Benutzerüberwachungseinheit 70) den Knotenstandort verwenden kann, um den Standort des Benutzers/ der Vorrichtung 12, wie auf dem Backend-Server 14 gespeichert, zu korrigieren.
Bei einer Ausführungsform wird der Standort des Benutzers/ der Vorrichtung einfach zurückgesetzt, um der gleiche wie der Standort des Knotens zu sein. Ein derartiger Lösungsansatz würde jedoch nicht die Entfernung und die Richtung zwischen dem Benutzer und dem abgebildeten Objekt berücksichtigen. Entsprechend kann bei einigen Ausführungsformen das Positionsbestimmungs- und Orientierungsmodul 44 (oder eine Einheit des Backend-Servers 14) auch zusätzliche Informationen verwenden, um den Standort des Benutzers/ der Vorrichtung zu korrigieren. Beispielsweise kann das Positionsbestimmungs- und Orientierungsmodul 44 (oder eine Einheit des Backend-Servers 14) ein oder mehrere Bilder von der Kamera 24 (z. B. das gleiche Bild oder die gleichen Bilder, die verwendet wurden, um die Objektklasse/ den Typ vorherzusagen) verarbeiten, um eine Entfernung (oder eine durchschnittliche Entfernung usw.) zwischen dem Benutzer/ der Vorrichtung 12 und dem abgebildeten Objekt zu schätzen. Andere geeignete Datentypen können zusätzlich oder stattdessen verwendet werden, um die Entfernung zu dem abgebildeten Objekt zu schätzen, wie etwa Daten, die durch einen Sonar, einen Radar, einen Lidar oder eine andere Tiefenmessvorrichtung (in 1 nicht gezeigt) der AR-Mobilvorrichtung 12 generiert werden. Zusätzlich kann die Orientierung der AR-Mobilvorrichtung 12 verwendet werden, um die Richtung zu bestimmen, in die der Benutzer/ die Vorrichtung 12 gegenüber dem abgebildeten Objekt zu versetzen ist.
Sobald der Standort des Benutzers/ der Vorrichtung 12 korrigiert wurde, und unter der Annahme, dass der Standort des Knotens, der in der AR-Datenbank 72 gespeichert ist, richtig ist, kann dem Benutzer ein erweitertes Erlebnis präsentiert werden, das seine aktuelle, reale Position genauer wiedergibt. D. h. die Einheit 62 zum Bereitstellen von Erlebnissen kann damit beginnen, Knotenerlebnisse bereitzustellen, die für den korrigierten, genaueren Standort des Benutzers/ der Vorrichtung 12 angemessen sind.
Das ML-Modell 65 kann zusätzlich oder stattdessen auf noch andere Arten innerhalb der AR-Plattform verwendet werden. Beispielsweise kann das ML-Modell 65 verwendet werden, um die Standorte von Objekten/Knoten zu aktualisieren, die bereits (z. B. durch die Einheit 64 zum Generieren eines 3D-Modells) zu der Karte, die in der AR-Datenbank 72 gespeichert ist, hinzugefügt wurden. Beispielsweise kann, nachdem ein Knoten für ein abgebildetes Objekt (z. B. wie zuvor beschrieben) identifiziert wurde, die Einheit 64 zum Generieren eines 3D-Modells den Standort des Benutzers/Vorrichtung 12, wie durch das Positionsbestimmungs- und Orientierungsmodul 44 bestimmt, verwenden, um den Standort des Knotens, der in der AR-Datenbank 72 gespeichert ist, zu aktualisieren. Der Entfernung und die Richtung zwischen dem Benutzer/ der Vorrichtung 12 und dem Objekt (z. B. wie unter Verwendung von Daten von der Kamera 24, der IMU 26 und/oder einem oder mehreren anderen Sensoren bestimmt) können auch verwendet werden, um den Standort des Knotens präziser zu korrigieren. Bei einigen Ausführungsformen verwendet die Einheit 64 zum Generieren eines 3D-Modells eine oder mehrere Regeln, um zu bestimmen, ob der Standort des Knotens zu aktualisieren ist. Beispielsweise kann die Einheit 64 zum Generieren eines 3D-Modells den Standort des Knotens nur aktualisieren, falls bekannt ist, dass die AR-Mobilvorrichtung 12 eine Technologie zur Positionsbestimmung verwendet, die besser als die Technologie zur Positionsbestimmung ist, die durch eine Vorrichtung verwendet wurde, die das Objekt/ den Knoten anfänglich kartiert hat, oder nur falls sich die AR-Mobilvorrichtung 12 kürzlich an einem Orientierungspunkt angemeldet hat (z. B. innerhalb einer Schwellenzeit und/oder Schwellenentfernung von der aktuellen Zeit und/oder dem Standort). Bei anderen Ausführungsformen aktualisiert die Einheit 64 zum Generieren eines 3D-Modells einen Standort des Knotens nur basierend auf Standortdaten von mehreren verschiedenen AR-Mobilvorrichtungen, die das abgebildete Objekt identifiziert haben. Beispielsweise kann die Einheit 64 zum Generieren eines 3D-Modells einen Standort des Knotens basierend auf dem durchschnittlichen Standort des entsprechenden Objekts aktualisieren, wie basierend auf den Standortdaten, den Orientierungsdaten und den Tiefen- (z. B. Kamera-) Daten nicht nur von der AR-Mobilvorrichtung 12 geschätzt, sondern auch von einer Anzahl von anderen ähnlichen Vorrichtungen geschätzt.
Bei einer der zuvor beschriebenen Umsetzungen, die das ML-Modell 65 verwenden, kann das ML-Modell 65 bei gewissen Ausführungsformen weiter eingelernt/verfeinert werden, nachdem das (anfänglich) eingelernte ML-Modell 65 zuerst in Betrieb genommen wurde. Falls das ML-Modell 65 verwendet wird, um beispielsweise das Erstellen eines neuen Knotens zu erleichtern, können das/die Kamerabild(er), das bzw. die verwendet wurde(n), um einen Objekttyp vorherzusagen, zusammen mit einem Objekttyp, der durch das ML-Modell 65 vorhergesagt wurde und durch den Benutzer bestätigt oder ausgewählt wurde (oder bei einigen Ausführungsformen und Szenarien einem Objekttyp, der durch den Benutzer angegeben, aber nicht durch das ML-Modell 65 vorhergesagt wurde), verwendet werden, um das ML-Modell 65 weiter einzulernen. D. h. die zusätzlichen Kamerabilder können als Merkmale verwendet werden, und die vom Benutzer bestätigten/ ausgewählten/ eingegebenen Objekttypen können als Etiketten für das zusätzliche betreute Lernen verwendet werden.
Als ein anderes Beispiel, falls das ML-Modell 65 verwendet wird, um Standorte für navigierende Benutzer zu aktualisieren oder zu korrigieren, können das/die Kamerabild(er), das bzw. die verwendet wurde(n), um einen Objekttype vorherzusagen, zusammen mit einem Objekttyp, der durch das ML-Modell 65 vorhergesagt und irgendwie bestätigt wurde (z. B. durch erfolgreiches Identifizieren eines Knotens, der sich in der Nähe des Standorts des Benutzers befindet und dem vorhergesagten Objekttyp entspricht, bestätigt oder über eine Benutzereingabe bestätigt usw.), verwendet werden, um das ML-Modell 65 weiter einzulernen. D. h. die zusätzlichen Kamerabilder können als Merkmale verwendet werden, und die bestätigten Objekttypen können als Etiketten für das zusätzliche betreute Lernen verwendet werden.
Bei einigen Umsetzungen können die Bilder, die durch die Kamera 24 (und/oder die Kameras von anderen AR-Mobilvorrichtungen) aufgenommen wurden, im Verlauf der Zeit gesammelt werden, um eine „AR-Cloud“ der Umgebung zu erstellen, die verwendet werden kann, um Bediener in einem virtuellen Realitätsumfeld einzulernen, um immersive Erlebnisse für Fernunterstützungstechniker bereitzustellen, und so weiter. Des Weiteren kann bei einigen Umsetzungen der Backend-Server 14 das ML-Modell 65 verwenden, um automatisch neue Knoten für erkannte Objekte zu erstellen, z. B. wie zuvor beschrieben, jedoch ohne irgendeine Benutzerbestätigung oder andere Eingaben/Befehle zu benötigen. Somit könnte eine 3D-Karte erstellt werden, indem man einfach umhergeht und sich die Umgebung ansieht und dabei die AR-Mobilvorrichtung 12 festhält oder angezogen hat. Ferner kann das ML-Modell 65 bei einigen Ausführungsformen eingelernt werden, um nicht nur Objekttypen, sondern auch Typen oder Klassen, die spezifischen Abschnitten von Objekten entsprechen, wie etwa bestimmten physischen Oberflächen an einem Objekt, Komponenten eines Objekts, Zuständen eines Objekts (z. B. ob ein physischer Schalter ein- oder ausgeschaltet ist, ob ein Förderband gerade in Betrieb ist, usw.) und so weiter zu erkennen.
Es versteht sich, dass die 1 und die obige Beschreibung nur einige mögliche Ausführungsformen darstellen und dass auch andere möglich sind. Beispielsweise kann es sein, dass die AR-Plattform keine Cloud-basierte Architektur oder Webbasierten Dienste verwendet. Als ein anderes Beispiel kann die Funktionalität einiger oder aller der Einheiten 62 bis 68 des Backend-Servers 14 und/oder der AR-Datenbank 72 selbst stattdessen teilweise oder ganz in der AR-Mobilvorrichtung 12 integriert sein. Als noch ein anderes Beispiel können Knotenmarkierungen und/oder Knotenerlebnisse in einem Kontext ohne AR, z. B. in einem Kontext mit virtueller Realität (VR), oder in Verbindung mit grafischen Benutzerschnittstellen (GUI) ohne AR und ohne VR bereitgestellt werden.
Des Weiteren kann die AR-Plattform noch andere Merkmale bereitstellen, die zuvor nicht besprochen wurden. Beispielsweise können die Benutzer von AR-Mobilvorrichtungen Feldnotizen (z. B. unter Verwendung von Sprachbefehlen) hinzufügen, die in Verbindung mit diversen Knoten/Objekten in der AR-Datenbank 72 gespeichert werden, und/oder können neue Arbeitsaufträge einleiten, die mit diversen Knoten/Objekten und so weiter verknüpft sind.
Beispielhafte Prozessregelungsumgebung
2 zeigt ein Blockdiagramm einer beispielhaften Prozessregelungsumgebung 100, in der das AR-System 10 aus 1 verwendet werden kann. Die Prozessregelungsumgebung 100 (die hier auch austauschbar als Prozessregelungssystem 100 oder Prozessanlage 100 bezeichnet wird) umfasst einen oder mehrere Prozessregler, die Signale empfangen, die Prozessmessungen angeben, die von Feldgeräten vorgenommen werden, diese Informationen verarbeiten, um eine Regelungsroutine umzusetzen, und Regelsignale generieren, die über drahtgebundene und/oder drahtlose Kommunikationsverbindungen oder Netzwerke zur Prozessregelung an andere Feldgeräte gesendet werden, um den Betrieb eines Prozesses in der Anlage 100 zu regeln. Typischerweise führt mindestens ein Feldgerät eine physische Funktion aus (z. B. das Öffnen oder Schließen eines Ventils, das Veranlassen, dass ein Förderband Material bewegt, das Erhöhen oder Verringern einer Temperatur, das Vornehmen einer Messung, das Detektieren einer Bedingung usw.), um den Betrieb eines Prozesses zu regeln. Einige Typen von Feldgeräten kommunizieren mit Reglern unter Verwendung von E/A-Vorrichtungen. Die Prozessregler, Feldgeräte und E/A-Vorrichtungen können drahtgebunden oder drahtlos sein, und es kann eine beliebige Anzahl und Kombination von drahtgebundenen und drahtlosen Prozessreglern, Feldgeräten und E/A-Vorrichtungen in der Umgebung oder dem System 100 der Prozessanlage enthalten sein.
Beispielsweise zeigt 2 einen Prozessregler 111, der mit den drahtgebundenem Feldgeräten 115 bis 122 über die Ein-/Ausgabe- (E/A) Karten 126 und 128 kommunikationsmäßig verbunden ist. Der Prozessregler 111 umfasst einen Prozessor 130, einen Speicher 132 und eine oder mehrere Prozessregelungsroutinen 138, die nachstehend ausführlicher besprochen werden. Der Regler 111 ist auch mit drahtlosen Feldgeräten 140 bis 146 über ein Kommunikationsnetzwerk oder ein Backbone 110 und ein drahtloses Gateway 135 zur Prozessregelung kommunikationsmäßig verbunden. Das Backbone 110 kann ein oder mehrere drahtgebundene und/oder drahtlose Kommunikationsverbindungen umfassen, und kann unter Verwendung eines beliebigen geeigneten Kommunikationsprotokolls, wie beispielsweise eines Ethernet-Protokolls, umgesetzt werden. Bei einigen Konfigurationen (in 2 nicht gezeigt), kann der Regler 111 mit dem drahtlosen Gateway 135 unter Verwendung eines oder mehrerer anderer Kommunikationsnetzwerke als dem Backbone 110, wie etwa unter Verwendung einer beliebigen Anzahl von anderen drahtgebundenen oder drahtlosen Kommunikationsverbindungen, die ein oder mehrere Kommunikationsprotokolle unterstützen, z. B. ein drahtloses lokales Netzwerkprotokoll, das IEEE 802.11 entspricht, ein Mobilkommunikationsprotokoll (z. B. WiMAX, LTE usw.), Bluetooth®, HART®, WirelessHART®, Profibus, FOUNDATION® Fieldbus usw. kommunikationsmäßig verbunden sein.
Der Regler 111 (der beispielsweise der Regler DeltaV™ sein kann, der von Emerson Process Management vermarktet wird) kann funktionieren, um einen Stapelprozess oder einen kontinuierlichen Prozess unter Verwendung mindestens einiger der Feldgeräte 115 bis 122 und 140 bis 146 umzusetzen. Bei einer Ausführungsform ist der Regler 111 zusätzlich dazu, dass er mit dem Backbone 110 kommunikationsmäßig verbunden ist, auch mit mindestens einigen der Feldgeräte 115 bis 122 und 140 bis 146 unter Verwendung einer beliebigen gewünschten Hardware- und Software, die beispielsweise mit standardmäßigen 4-20mA-Vorrichtungen, E/A-Karten 126, 128 und/oder einem beliebigen geeigneten intelligenten Kommunikationsprotokoll, wie etwa dem FOUNDATION®-Fieldbus-Protokoll, dem HART®-Protokoll, dem WirelessHART®-Protokoll usw. verknüpft sind, kommunikationsmäßig verbunden. In 2 sind der Regler 111, die Feldgeräte 115 bis 122 und die E/A-Karten 126, 128 drahtgebundene Vorrichtungen, und die Feldgeräte 140 bis 146 sind drahtlose Feldgeräte. Natürlich könnten die drahtgebundenen Feldgeräte 115 bis 122 und die drahtlosen Feldgeräte 140 bis 146 beliebigen anderen gewünschten Standards oder Protokollen entsprechen, wie etwa beliebigen geeigneten drahtgebundenen oder drahtlosen Protokollen, und einschließlich beliebiger geeigneter Standards oder Protokolle, die in Zukunft entwickelt werden.
Der Prozessor 130 des Prozessreglers 111 setzt die eine oder die mehreren Prozessregelungsroutinen oder Module 138, die in dem Speicher 132 gespeichert sein können, um oder beaufsichtigt sie. Dazu ist der Prozessor 130 konfiguriert, um mit den Feldgeräten 115 bis 122 und 140 bis 146 und mit anderen Knoten, die mit dem Regler 111 kommunikationsmäßig verbunden sind, zu kommunizieren. Es sei zu beachten, dass Teile von beliebigen hier beschriebenen Regelungsroutinen oder Modulen durch verschiedene Regler oder andere Vorrichtungen umgesetzt oder durchgeführt werden können, falls dies erwünscht ist. Ebenso können die Regelmodule 138, die in dem Prozessregelungssystem 100 umgesetzt werden sollen, eine beliebige Form annehmen, wozu Software, Firmware, Hardware usw. gehören. Die Regelungsroutinen können in einem beliebigen gewünschten Software-Format umgesetzt werden, wie etwa unter Verwendung von objektorientierter Programmierung, Strichleiterlogik, sequenziellen Funktionsdiagrammen, Funktionsblockdiagrammen oder unter Verwendung einer beliebigen anderen Software-Programmiersprache oder eines Bauformmusters. Der Speicher 132, in dem einige oder alle der Regelmodule 138 gespeichert sein können, kann ein beliebiger geeigneter Typ von Speicher(n) sein, wie etwa ein Arbeitsspeicher (RAM) und/oder ein Festspeicher (ROM). Des Weiteren können die Regelmodule 138 beispielsweise in einen oder mehrere EPROMs, EEPROMs, anwendungsspezifische integrierte Schaltungen (ASICs) oder beliebige andere Hardware- oder Firmware-Elemente fest codiert sein. Somit kann der Regler 111 auf beliebige gewünschte Art und Weise konfiguriert sein, um eine Regelungsstrategie oder eine Regelungsroutine/ ein Regelungsmodul umzusetzen.
Der Regler 111 setzt eine Regelungsstrategie unter Verwendung von so genannten Funktionsblöcken um, wobei jeder Funktionsblock ein Objekt oder ein anderer Teil (z. B. eine Unterroutine) einer gesamten Regelungsroutine ist und in Verbindung mit anderen Funktionsblöcken (über als Verbindungen bezeichnete Kommunikationen) funktioniert, um Prozessregelkreise innerhalb des Prozessregelungssystems 100 umzusetzen. Regelungsbasierte Funktionsblöcke führen typischerweise eine aus von einer Eingangsfunktion, wie etwa derjenigen, die mit einem Transmitter, einem Sensor oder einer anderen Prozessparameter-Messvorrichtung verknüpft ist, von einer Regelfunktion, wie etwa derjenigen, die mit einer Regelungsroutine verknüpft ist, die eine PID-, unscharfe Logikregelung usw. ausführt, oder von einer Ausgangsfunktion, die den Betrieb einer Vorrichtung, wie etwa eines Ventils, regelt, um eine physische Funktion in dem Prozessregelungssystem 100 auszuführen. Natürlich gibt es hybride und andere Typen von Funktionsblöcken. Die Funktionsblöcke können in dem Regler 111 gespeichert und durch diesen ausgeführt werden, was typischerweise der Fall ist, wenn diese Funktionsblöcke für standardmäßige 4-20mA-Geräte und gewisse Typen von intelligenten Feldgeräten (z. B. HART®-Geräten) verwendet werden oder damit verknüpft sind, oder können in den Feldgeräten selber gespeichert sein und durch diese umgesetzt werden, wie es der Fall bei FOUNDATION®-Fieldbus-Geräten sein kann. Das eine oder die mehreren Regelmodule 138 in dem Regler 111 können eine oder mehrere Regelkreise umsetzen, die ausgeführt werden, indem einer oder mehrere der Funktionsblöcke durchgeführt werden.
Die drahtgebundenen Feldgeräte 115 bis 122 können ein beliebiger Type oder beliebige Typen von Vorrichtungen sein, wie etwa Sensoren, Ventile, Förderbandmotoren, Transmitter, Positionierer usw., wohingegen die E/A-Karten 126 und 128 beliebige Typen von E/A-Vorrichtungen sein können, die einem geeigneten Kommunikations- oder Regelungsprotokoll entsprechen. Beispielsweise können die Feldgeräte 115 bis 118 standardmäßige 4-20mA-Geräte oder HART®-Geräte sein, die über analoge Leitungen (oder kombinierte analoge und digitale Leitungen) mit der E/A-Karte 126 kommunizieren, während die Feldgeräte 119 bis 122 intelligente Vorrichtungen sein können, wie etwa FOUNDATION®-Fieldbus-Feldgeräte, die über einen digitalen Bus mit der E/A-Karte 128 unter Verwendung eines FOUNDATION®-Fieldbus-Kommunikationsprotokolls kommunizieren. Bei einigen Ausführungsformen kommunizieren jedoch mindestens einige der drahtgebundenen Feldgeräte 115 bis 122 und/oder mindestens einige der E/A-Karten 126, 128 zusätzlich oder alternativ mit dem Regler 111 unter Verwendung des Backbones 110 und eines geeigneten Regelungssystemprotokolls (z. B. Profibus, DeviceNet, Foundation Fieldbus, ControlNet, Modbus, HART usw.).
In 2 kommunizieren die drahtlosen Feldgeräte 140 bis 146 über ein drahtloses Kommunikationsnetzwerk 170 zur Prozessregelung unter Verwendung eines drahtlosen Protokolls, wie etwa des Protokolls WirelessHART®. Derartige drahtlose Feldgeräte 140 bis 146 können direkt mit einer oder mehreren anderen Vorrichtungen oder Knoten des drahtlosen Netzwerks 170 kommunizieren, die ebenfalls konfiguriert sind, um drahtlos zu kommunizieren. Um mit anderen Knoten zu kommunizieren, die nicht konfiguriert sind, um drahtlos zu kommunizieren, können die drahtlosen Feldgeräte 140 bis 146 ein drahtloses Gateway 135 verwenden, das mit dem Backbone 110 oder einem anderen Kommunikationsnetzwerk zur Prozessregelung verbunden ist. Das drahtlose Gateway 135 bietet von dem Backbone 110 aus Zugriff auf diverse drahtlose Vorrichtungen 140 bis 158 des drahtlosen Kommunikationsnetzwerks 170. Insbesondere stellt das drahtlose Gateway 135 eine kommunikationsmäßige Kopplung zwischen den drahtlosen Vorrichtungen 140 bis 158, den drahtgebundenen Vorrichtungen 115 bis 122 und/oder anderen Knoten oder Vorrichtungen der Prozessregelungsanlage 100 bereit.
Ähnlich wie die drahtgebundenen Feldgeräte 115 bis 122 führen die drahtlosen Feldgeräte 140 bis 146 des drahtlosen Netzwerks 170 physische Regelfunktionen innerhalb der Prozessanlage 100 aus, z. B. das Öffnen oder Schließen von Ventilen, das Vornehmen von Messungen von Prozessparametern usw. Die drahtlosen Feldgeräte 140 bis 146 sind jedoch konfiguriert, um unter Verwendung des drahtlosen Protokolls des Netzwerks 170 zu kommunizieren. Somit können die drahtlosen Feldgeräte 140 bis 146, das drahtlose Gateway 135 und die anderen drahtlosen Knoten 152 bis 158 des drahtlosen Netzwerks 170 Erzeuger und Verbraucher von drahtlosen Kommunikationspaketen sein.
Bei einigen Konfigurationen der Prozessanlage 100 umfasst das drahtlose Netzwerk 170 Vorrichtungen, die nicht drahtlos sind. Beispielsweise kann in 2 ein Feldgerät 148 ein veraltetes 4-20mA-Gerät sein, und ein Feldgerät 150 kann ein drahtgebundenes HART®-Gerät sein. Um innerhalb des Netzwerks 170 zu kommunizieren, sind die Feldgeräte 148 und 150 mit dem drahtlosen Kommunikationsnetzwerk 170 über einen jeweiligen der drahtlosen Adapter 152A, 152B verbunden. Die drahtlosen Adapter 152A, 152B unterstützen ein drahtloses Protokoll, wie etwa WirelessHART, und können auch ein oder mehrere andere Kommunikationsprotokolle unterstützen, wie etwa Foundation® Fieldbus, PROFIBUS, DeviceNet usw. Zusätzlich umfasst bei einigen Konfigurationen das drahtlose Netzwerk 170 ein oder mehrere Netzwerkzugangspunkte 155A, 155B, die getrennte physische Vorrichtungen in drahtgebundener Kommunikation mit dem drahtlosen Gateway 135 sein können oder innerhalb des drahtlosen Gateways 135 integriert sein können. Das drahtlose Netzwerk 170 kann auch einen oder mehrere Router 158 umfassen, um Pakete zwischen drahtlosen Vorrichtungen innerhalb des drahtlosen Kommunikationsnetzwerks 170 weiterzuleiten. Die drahtlosen Vorrichtungen 140 bis 146 und 152 bis 158 können miteinander und mit dem drahtlosen Gateway 135 über drahtlose Verbindungen 160 des drahtlosen Kommunikationsnetzwerks 170 und/oder über das Backbone 110 kommunizieren.
In 2 umfasst das Prozessregelungssystem 100 eine oder mehrere Bedienerarbeitsstationen 171, die mit dem Backbone 110 kommunikationsmäßig verbunden sind. Über die Bedienerarbeitsstation(en) 171 kann bzw. können menschliche Bediener Laufzeitoperationen der Prozessanlage 100 überwachen, und auch eventuelle Diagnose-, Korrektur-, Wartungs- und/oder andere Maßnahmen treffen, die notwendig sein können. Mindestens einige der Bedienerarbeitsstationen 171 können sich in diversen geschützten Bereichen in oder nahe an der Anlage 100 befinden, z. B. in einer Backend-Umgebung der Anlage 100, und in manchen Situationen können mindestens einige der Bedienerarbeitsstationen 171 entfernt aufgestellt sein (aber dennoch in kommunikationsmäßiger Verbindung mit der Anlage 100 stehen). Die Bedienerarbeitsstation(en) 171 kann bzw. können drahtgebundene oder drahtlose Rechenvorrichtungen sein.
Das beispielhafte Prozessregelungssystem 100 ist in 2 näher abgebildet, wie es eine oder mehrere Konfigurationsanwendungen 172A und eine oder mehrere Konfigurationsdatenbanken 172B umfasst, die jeweils ebenfalls mit dem Backbone 110 kommunikationsmäßig verbunden sind. Diverse Instanzen der Konfigurationsanwendung(en) 172A können auf einer oder mehreren Rechenvorrichtungen (in 2 nicht gezeigt) ausgeführt werden, um es den Benutzern zu ermöglichen, Prozessregelmodule zu erstellen oder zu ändern und diese Module über das Backbone 110 auf den Prozessregler 111 und/oder andere Prozessregler herunterzuladen, sowie es den Benutzern zu ermöglichen, Bedienerschnittstellen zu erstellen oder zu ändern, über die ein Bediener in der Lage ist, Daten zu visualisieren und Dateneinstellungen innerhalb von Prozessregelungsroutinen zu ändern. Die Konfigurationsdatenbank(en) 172B speichert bzw. speichern die konfigurierten Module und/oder Bedienerschnittstellen. Im Allgemeinen können die Konfigurationsanwendung(en) 172A und Konfigurationsdatenbank(en) 172B zentralisiert sein und ein einheitliches logisches Aussehen für das Prozessregelungssystem 100 aufweisen (obwohl mehrere Instanzen einer Konfigurationsanwendung 172A gleichzeitig innerhalb des Prozessregelungssystems 100 ausgeführt werden können), und die Konfigurationsdatenbank(en) 172B können in einer einzigen physischen Datenspeichervorrichtung oder in mehreren Datenspeichervorrichtungen gespeichert sein. Die Konfigurationsanwendung(en) 172A, die Konfigurationsdatenbank(en) 172B und ihre Benutzerschnittstellen (in 2 nicht gezeigt) bilden gemeinsam ein Konfigurations- oder Entwicklungssystem 172 zum Erstellen/Konfigurieren von Regel- und/oder Anzeigemodulen. Typischerweise, aber nicht unbedingt sind, die Benutzerschnittstellen für das Konfigurationssystem 172 anders als die Bedienerarbeitsstationen 171, wobei die Benutzerschnittstellen für das Konfigurationssystem 172 stattdessen durch Konfigurations- und Entwicklungsingenieure verwendet werden, und zwar unabhängig davon, ob die Anlage 100 in Echtzeit funktioniert, und wobei die Bedienerarbeitsstationen 171 durch Bediener im Echtzeit-(bzw. „Laufzeit-“) Betrieb der Prozessanlage 100 verwendet werden.
Das beispielhafte Prozessregelungssystem 100 umfasst auch eine oder mehrere Datenarchivanwendung(en) 173A und eine oder mehrere Datenarchivdatenbank(en) 173B, die jeweils mit dem Backbone 110 kommunikationsmäßig verbunden sind. Die Datenarchivanwendung(en) 173A funktionieren, um einige oder alle der Daten zu erheben, die über das Backbone 110 bereitgestellt werden, und um die Daten in den Datenarchivdatenbank(en) 173B zur langfristigen Speicherung zu speichern. Ähnlich wie die Konfigurationsanwendung(en) 172A und Konfigurationsdatenbank(en) 172B können die Datenarchivanwendung(en) 173A und Datenarchivdatenbank(en) 173B zentralisiert sein und ein einheitliches logisches Aussehen für das Prozessregelungssystem 100 aufweisen (obwohl mehrere Instanzen einer Datenarchivanwendung 173A innerhalb des Prozessregelungssystems 100 gleichzeitig ausgeführt werden können), und die Datenarchivdatenbank(en) 173B kann bzw. können in einer einzigen physischen Datenspeichervorrichtung oder in mehreren Datenspeichervorrichtungen gespeichert sein. Die Datenarchivanwendung(en) 173A, die Datenarchivdatenbank(en) 173B und ihre Benutzerschnittstellen (in 2 nicht gezeigt) bilden gemeinsam ein Datenarchivsystem 173.
Bei einigen Konfigurationen umfasst das Prozessregelungssystem 100 einen oder mehrere andere drahtlose Zugangspunkte 174, die mit anderen Vorrichtungen unter Verwendung anderer drahtloser Protokolle, wie etwa mit IEEE 802.11 verträglicher drahtloser lokaler Netzwerkprotokolle, mobiler Kommunikationsprotokolle, wie etwa WiMAX („Worldwide Interoperability for Microwave Access“), LTE („Long Term Evolution“) oder anderer ITU-R („International Telecommunication Union Radiocommunication Sector“) kompatibler Protokolle, Kurzwellen-Funkkommunikationen, wie etwa Nahfeldkommunikationen (NFC) oder Bluetooth, und/oder anderer drahtloser Kommunikationsprotokolle kommunizieren. Typischerweise ermöglichen es derartige drahtlose Zugangspunkte 174 handgehaltenen oder anderen tragbaren Rechenvorrichtungen (z. B. Benutzerschnittstellenvorrichtungen 175), über ein jeweiliges drahtloses Kommunikationsnetzwerk zur Prozessregelung zu kommunizieren, das anders als das drahtlose Netzwerk 170 ist und das ein anderes drahtloses Protokoll als das drahtlose Netzwerk 170 unterstützt. Beispielsweise kann eine drahtlose oder tragbare Benutzerschnittstellenvorrichtung 175 eine mobile Arbeitsstation oder eine Diagnosetesteinrichtung sein, die durch einen Bediener in der Prozessanlage 100 verwendet wird (z. B. eine Instanz einer der Bedienerarbeitsstationen 171). In einigen Szenarien kommunizieren zusätzlich zu den tragbaren Rechenvorrichtungen eine oder mehrere Prozessregelungsvorrichtungen (z. B. der Regler 111, die Feldgeräte 115 bis 122, die drahtlosen Vorrichtungen 135, 140 bis 158, usw.) auch unter Verwendung des drahtlosen Protokolls, das durch den oder die drahtlosen Zugangspunkte 174 unterstützt wird.
Es sei zu beachten, dass obwohl 2 nur einen einzigen Prozessregler 111 und eine bestimmte Anzahl von Feldgeräten 115 bis 122 und 140 bis 146, von drahtlosen Gateways 35, drahtlosen Adaptern 152, Zugangspunkten 155, Routern 1158 und drahtlosen Kommunikationsnetzwerken zur Prozessregelung 170, die in der beispielhaften Prozessanlage 100 enthalten sind, abbildet, dies nur eine erläuternde und nicht einschränkende Ausführungsform ist. Beispielsweise kann eine beliebige Anzahl von Reglern 111 in der Prozessregelungsanlage oder dem System 100 enthalten sein, und einer der Regler 111 kann mit einer beliebigen Anzahl von drahtgebundenen oder drahtlosen Vorrichtungen und Netzwerken 115 bis 122, 140 bis 146, 135, 152, 155, 158 und 170 kommunizieren, um einen Prozess in der Anlage 100 zu regeln.
Nun mit Bezug zurück auf 1 können die Objekte, welche unter Verwendung von AR-Mobilvorrichtungen (z. B. der AR-Mobilvorrichtung 12) kartiert wurden, und/oder die Objekte, die unter Verwendung des ML-Modells 65 erkannt wurden, einige oder alle von dem Regler 111, den Vorrichtungen 115 bis 122 und 140 bis 158, den E/A-Karten 126, 128, dem drahtlosen Gateway 135 und/oder anderen Vorrichtungen und/oder Einrichtungen in der Anlage 100 umfassen, so dass ihre 3D-Positionen innerhalb der Anlage 100 (und möglicherweise ihre Beziehungen zueinander, ihre Avatare usw.) in der AR-Datenbank 72 gespeichert sind. Bei einigen Ausführungsformen kann der Backend-Server 14 mit dem Backbone 110 kommunikationsmäßig gekoppelt sein, und der oder die anderen Server 18 kann bzw. können die Bedienerarbeitsstation(en) 171, das Konfigurationssystem 172, das Datenarchivsystem 173 und/oder andere Rechenvorrichtungen oder Systeme der Prozessregelungsumgebung 100 umfassen oder damit gekoppelt sein.
Die Anwendung (en) 19, die von dem oder den Server (n) 18 durchgeführt wird bzw. werden, kann bzw. können eine oder mehrere DeltaV™-Anwendungen, Diagnose- und Wartungsanwendungen und/oder andere Anwendungen oder Software-basierte Systeme umfassen. Die Anwendung(en) 19 kann bzw. können somit Knotenerlebnisse unterstützen, die den Laufzeitstatus und/oder die Messdaten von Feldgeräten anzeigen, Laufzeitregelungen für Feldgeräte bereitstellen, Diagnose-/Wartungsinformationen für Maschinen anzeigen, und so weiter. Als nur ein Beispiel können HART®- und/oder Fieldbus-Informationen, die mit diversen Vorrichtungen verknüpft sind, dem Benutzer der AR-Mobilvorrichtung 12 präsentiert werden. Die Einheit 62 zum Bereitstellen von Erlebnissen kann die geeignete(n) Anwendung(en) 19 (z. B. über das Backbone 110) starten und/oder eine Schnittstelle damit bilden, um die benötigten Anzeigedaten zu erheben, die dann an das Knotenerlebnismodul 46 weitergeleitet werden. Die Einheit 62 zum Bereitstellen von Erlebnissen kann zusätzlich oder stattdessen beliebige Benutzereingaben, die von dem Knotenerlebnismodul 46 empfangen werden, an den Regler 111 weiterleiten, um zu veranlassen, dass die geeigneten Feldgeräte entsprechend geregelt werden, usw.
Beispielhafte 3D-Karte
Es ist der obigen Beschreibung von 1 zu entnehmen, dass die 3D- „Karte“ des AR-Systems 10 kein vollständiges Modell der Umgebung sein muss und nur vielleicht nur 3D-Standorte von Knoten innerhalb dieser Umgebung umfasst. Eine sehr vereinfachte beispielhafte 3D-Karte 200, die nur vier Objekte/Knoten enthält, ist in 3 gezeigt. In 3 entspricht die Z-Achse der Erhebung (z. B. über dem Boden). Wie zuvor besprochen, kann ein Orientierungsstandort 202 einen Referenzpunkt für alle anderen Standorte (z. B. Standorte von Knoten und Benutzern/AR-Vorrichtungen) innerhalb der Umgebung bereitstellen.
In der beispielhaften Karte 200 liegt ein erster Standort 204 eines ersten Objekts/Knotens (erhebungsmäßig) etwas über dem Orientierungsstandort 202 mit dem Versatz {x1,y1,z1}, die zweiten und dritten Standorte 206, 208 der zweiten und dritten Objekte/Knoten liegen noch etwas höher jeweils mit den Versätzen {x2,y2,z2} und {x3,y3,z3}, und ein dritter Standort 210 eines dritten Objekts/Knotens liegt noch höher mit dem Versatz {x4,y4,z4}. Natürlich können in manchen Szenarien die Versätze in den X-, Y- und/oder Z-Richtungen für gewisse Objekte/Knoten negativ sein.
Auf der Karte 200 entspricht ein Standort 220 bei {x5,y5,z5} einem aktuellen Standort einer AR-Mobilvorrichtung, wie etwa der AR-Mobilvorrichtung 12 aus 1. 3 bildet auch gestrichelt ein Blickfeld 222 der AR-Mobilvorrichtung ab, das einer bestimmten Orientierung der Vorrichtung entspricht. Das Blickfeld 222 kann durch das Positionsbestimmungs- und Orientierungsmodul 44 aus 1 bestimmt werden, beispielsweise unter Verwendung von Sensordaten aus der IMU 26 (und möglicherweise von Bilddaten aus der Kamera 26, z. B. mit der VIO-Technologie) und einer bekannten Azimutreichweite/ eines Azimutwinkels der Kamera 26. Obwohl dies in 3 nicht abgebildet ist, kann das Positionsbestimmungs- und Orientierungsmodul 44 beispielsweise auch die Erstreckung des Blickfeldes 222 in der Z-Richtung kennen, so dass das Blickfeld 222 eine kegelartige Form aufweist statt eine unendliche Abdeckung in der Z-Richtung anzunehmen.
In diesem beispielhaften Szenario befinden sich die Objekte an den Standorten 206 und 208 innerhalb des aktuellen Blickfeldes 222 der Vorrichtung/ des Benutzers, während sich die Objekte an den Standorten 204 und 210 nicht darin befinden. Die Einheit 62 zum Bereitstellen von Erlebnissen aus 1 diese Bestimmung beispielsweise basierend auf den Knotenpositionen (wie in der AR-Datenbank 72 gespeichert), dem Standort 220 und der Orientierung der AR-Mobilvorrichtung (wie durch das Positionsbestimmungs- und Orientierungsmodul 44 bestimmt und über die Web-Dienstschnittstelle 60 weitergeleitet) und den bekannten oder geschätzten Kennzeichen des Blickfeldes für die Kamera 24 vornehmen. Basierend auf der Bestimmung der Objekte/Knoten, die sich innerhalb des Blickfeldes 222 befinden, kann die Einheit 62 zum Bereitstellen von Erlebnissen Daten an die AR-Mobilvorrichtung 12 senden, die angeben, dass eine Knotenmarkierung (und/oder ein bestimmtes Knotenerlebnis) nur für die Objekte an den Standorten 206 und 208 zu präsentieren ist. Das Knotenerlebnismodul 46 kann diese Daten verarbeiten und als Reaktion darauf Knotenmarkierungen und/oder andere Informationen an oder nahe an den Punkten an dem Display 22, die den Standorten 206 und 208 entsprechen, einblenden.
Als ein anderes Beispiel kann ein Modul der AR-Mobilvorrichtung 12 oder eine Einheit des Backend-Servers 14 (beide in 1 nicht gezeigt) das bestimmte Blickfeld 222 zusammen mit der Ausgabe des ML-Modells 65 verwenden, um einen Knoten zu identifizieren, der einem Objekt entspricht, das in einem oder mehreren Bildern von der Kamera 24 erkannt wird. Der Standort des Knotens, wie in der AR-Datenbank 72 gespeichert, kann dann verwendet werden, um den Standort des Benutzers/ der Vorrichtung 12 zu korrigieren, oder umgekehrt, wie zuvor beschrieben.
Beispielhafte AR-Benutzerschnittstellen
Ein Satz von beispielhaften Benutzerschnittstellen, die an einem AR-Display (z. B. an dem Display 22 der AR-Mobilvorrichtung 12 aus 1) eingeblendet werden können, wird nun in Verbindung mit 4A bis 4H beschrieben. Der einfacheren Erklärung halber wird auch auf das AR-System 10 aus 1 Bezug genommen, obwohl die gezeigten Benutzerschnittstellen stattdessen in anderen Systemen verwendet werden können. Für Benutzerschnittstellen, an denen Benutzerauswahlvorgänge erfolgen können, kann die Auswahl dadurch erfolgen, dass der Benutzer direkt auf eine spezifische Menüoption blickt (z. B. falls die Benutzerschnittstellen eine feste Position mit Bezug auf die Umgebung statt eine feste Position mit Bezug auf den Mittelpunkt des Displays 22 aufweisen). Bei anderen Ausführungsformen kann die Auswahl dadurch erfolgen, dass der Benutzer einen geeigneten Sprachbefehl erteilt, Daten an einer Tastatur oder an einem Berührungsbildschirm oder auf eine andere geeignete Art und Weise eingibt.
Zuerst mit Bezug auf 4A ermöglicht es eine Benutzerschnittstelle 200 dem Benutzer, eine bestimmte „Rolle“ auszuwählen, wie zuvor in Verbindung mit 1 besprochen. Die Benutzerschnittstelle 200 kann dem Benutzer beim Starten der AR-Anwendung 32 oder zu einem anderen geeigneten Zeitpunkt angezeigt werden. Die AR-Anwendung 32 kann die verfügbaren Rollen im Voraus kennen oder kann über die verfügbaren Rollen informiert werden, indem sie den Backend-Server 14 über die Web-Dienstschnittstelle 60 befragt. Sobald eine Rolle ausgewählt wurde, kann das Rollenidentifizierungsmodul 40 Daten, welche die Rolle angeben, über die Web-Dienstschnittstelle 60 an den Backend-Server 14senden. Die Einheit 62 zum Bereitstellen von Erlebnissen, die Alarmgenerierungseinheit 68 und/oder andere Komponenten des Backend-Servers 14 können dann die ausgewählte Rolle verwenden, um geeignete Knoten zu bestimmen, um geeignete Erlebnistypen und/oder Inhalte zu erweitern, die für bestimmte Knoten bereitzustellen sind, und so weiter, wie zuvor besprochen.
4B zeigt eine Benutzerschnittstelle 220, die als Knotenmarkierung für jedes von einigen oder allen Objekten innerhalb des aktuellen Blickfeldes des Benutzers dienen kann (unter Einhaltung beliebiger anderer Kriterien, wie etwa Nähe oder Benutzerrolle). Die beispielhafte Benutzerschnittstelle 220 umfasst ein Symbol (eingekreistes „X“) und einen Deskriptor („Statuswort“), die einen Status des Objekts/Knotens angeben, einen Knotennamen (z. B. eine Vorrichtungskennung innerhalb einer Prozessregelungsanlage, wie etwa „ESD-3“ usw.), eine kurze Beschreibung des Knotens (z. B. „Not-Aus-Schalter“ usw.) und eine senkrechte Linie, die von diesen Informationen zu einem ausgefüllten Kreis unten an der Benutzerschnittstelle 220 führt. Der ausgefüllte Kreis (oder ein anderer Indikator) kann an den Standort {x,y,z} des entsprechenden Objekts innerhalb der realen Ansicht des Benutzers versetzt werden, z. B. an den realen Standort {x,y,z}, auf den sich der Benutzer (oder ein anderer Benutzer) fokussiert, wenn er den Knoten zu der 3D-Karte hinzufügt. Der Text und die Linie können sich je nach Bedarf drehen, um auf die senkrechte Achse der AR-Mobilvorrichtung 12 und den Benutzer ausgerichtet zu bleiben, oder können sich beispielsweise immer auf die Z-Achse ausrichten.
Das Symbol für den Status und der Deskriptor können angeben, ob gewisse Maßnahmen mit Bezug auf das Objekt zu treffen sind, und/oder ob eine gewisse Gefahr mit Bezug auf das Objekt besteht. Beispielsweise kann das eingekreiste „X“, das in 4B gezeigt ist, einem Status „Kritisch“ entsprechen, das „!“ in einem Dreieck kann einem Status „Warnung“ entsprechen, das „i“ in einer Raute kann einem Status „Hinweis“ entsprechen, und ein fehlendes Symbol kann einem Status „Normal“ entsprechen. Obwohl 4B eine Palette möglicher Symbole für den Status zeigt, versteht es sich, dass die Benutzerschnittstelle 220 nur für diese bestimmte Ausführungsform und/oder Situation das Symbol des eingekreisten „X“ umfasst. Der dargestellte Status für ein bestimmtes Objekt/ einen Knoten und die Bedeutung dieses Status können in Abhängigkeit von der Rolle des Benutzers variieren.
Die Knotenmarkierung (d. h. in 4B der Text, die Linie und der ausgefüllte Kreis) der Benutzerschnittstelle 220 kann sich mit dem Entfernung von der AR-Mobilvorrichtung 12 in der Größe ändern, so dass nähergelegene Objekte größere Knotenmarkierungen und weiter entfernte Objekte kleinere Knotenmarkierungen aufweisen. Bei einigen Ausführungsformen umfasst die Benutzerschnittstelle 220 beispielsweise weitere Informationen anhand von zusätzlichem Text, zusätzlichen Grafiken und/oder Farbcodierung (z. B. roter Text und rote Linie für den Status „Kritisch“, grüner Text und grüne Linie für den Status „Normal“ usw.).
4C stellt eine Benutzerschnittstelle 240 dar, die erscheinen kann, nachdem eine Benutzerrolle an der Benutzerschnittstelle 200 ausgewählt wurde, oder zu einem anderen geeigneten Zeitpunkt. Das Symbol „+“ in der Benutzerschnittstelle 240 kann durch den Benutzer ausgewählt werden, um einen neuen Knoten zu der 3D-Karte hinzuzufügen, wie zuvor in Verbindung mit 1 besprochen. Das Helmsymbol kann durch den Benutzer ausgewählt werden, um eine andere Rolle auszuwählen, und das dritte Symbol kann durch den Benutzer ausgewählt werden, um gewisse Einstellungen zu verwalten, wie nachstehend besprochen. Das rechteckige Feld in der Benutzerschnittstelle 240 kann Systemnachrichten für den Benutzer anzeigen. Beispielsweise kann das Nachrichtenfeld verwendet werden, um Alarme anzuzeigen, die durch die Alarmgenerierungseinheit 68 und/oder das positionsbasierte Alarmmodul 52 generiert werden.
4D stellt eine Benutzerschnittstelle 260 dar, die erscheinen kann, falls der Benutzer das Einstellungssymbol in der Benutzerschnittstelle 240 auswählt. Wie in 4D zu sehen, ermöglicht es die Benutzerschnittstelle 260 dem Benutzer, den Namen oder die Kennung der AR-Mobilvorrichtung 12, die Orientierungspunktkennung und einen Namen oder eine IP-Adresse des Backend-Servers 14 zu ändern. Einige oder alle dieser Werte können durch die AR-Mobilvorrichtung 12 verwendet werden, beispielsweise wenn Dienstanrufe an die Web-Dienstschnittstelle 60 getätigt werden.
4E stellt eine einfache Benutzerschnittstelle 280 dar, die erscheinen kann, falls der Benutzer das Symbol „+“ (Knoten hinzufügen) in der Benutzerschnittstelle 240 auswählt. Bei diesem Beispiel ist die Benutzerschnittstelle 280 einfach ein Fadenkreuz (z. B. in der Mitte des Displays 22 des Benutzers), das der Benutzer an einem beliebigen Standort in der realen Umgebung zentrieren kann, einfach in dem er herumblickt (z. B. falls die AR-Mobilvorrichtung 12 ein AR-Helm oder eine AR-Brille oder eine intelligente Brille ist) oder indem er ansonsten mit der Kamera 24 der AR-Mobilvorrichtung 12 zielt (z. B. im Fall eines Tablets oder Smartphones). Das Knotenerstellungsmodul 48 der AR-Anwendung 32 kann erfordern, dass der Benutzer bestätigt, wenn das Fadenkreuz angemessen platziert ist (z. B. durch Erteilen eines Sprachbefehls), oder kann eine geeignete Platzierung einnehmen, falls sich das Blickfeld der Kamera 24 während eines gewissen Schwellenzeitraums nicht ändert, usw.
4F stellt eine Benutzerschnittstelle 300 dar, die erscheinen kann, nachdem der Benutzer das Fadenkreuz der Benutzerschnittstelle 280 positioniert hat, und nachdem das Positionsbestimmungs- und Orientierungsmodul 44 die notwendigen Positions- und/oder Orientierungsinformationen zum Platzieren des neuen Objekts/Knotens bestimmt hat (z. B. die Position der AR-Mobilvorrichtung 12, die Orientierung der Vorrichtung 12 und die Entfernung von der Vorrichtung 12 zum Objekt). Die beispielhafte Benutzerschnittstelle 300 umfasst ein Textfeld, damit der Benutzer einen Knotennamen und/oder eine Knotenbeschreibung darin eingibt. Alternativ können einige oder alle dieser Informationen durch einen Sprachbefehl bereitgestellt werden (z. B. falls der Benutzer das Mikrofonsymbol auswählt). Bei anderen Ausführungsformen können der Knotenname und/oder die Beschreibung bestimmt werden, indem ein Bild eines Teils des Objekts unter Verwendung einer optischen Zeichenerkennungstechnologie (OCR) verarbeitet wird. Beispielsweise kann der Benutzer die Kamera 24 auf ein Tag oder Etikett richten, das an dem Objekt befestigt ist und eine Seriennummer, eine Modellnummer oder eine andere Kennung umfasst. Die Kennung kann dann über die Web-Dienstschnittstelle 60 an den Backend-Server 14 gesendet werden und mit Informationen querverwiesen werden, die auf dem Backend-Server 14 gespeichert sind oder auf einem anderen System oder einer Datenbank (z. B. auf einem der anderen Server 18) gespeichert sind, um den Knotenname und/oder die Beschreibung zu bestimmen. Bei noch anderen Ausführungsformen kann das ML-Modell 65 verwendet werden, um den Objekttyp vorherzusagen, wie zuvor besprochen. Der vorhergesagte Typ kann dann innerhalb der Benutzerschnittstelle 300 angezeigt werden (z. B. als Text über dem Textfenster oder durch automatisches Ausfüllen des Textfensters usw.).
4G stellt eine Benutzerschnittstelle 320 dar, die für ein spezifisches Objekt/ einen Knoten erscheinen kann, wenn der Benutzer dieses Objekt/ diesen Knoten ausgewählt hat (z. B. durch Auswählen der Knotenmarkierung der Benutzerschnittstelle 220). Die Benutzerschnittstelle 320 kann durch das Knotenerlebnismodul 46 basierend auf Daten, die verfügbare Erlebnisse für den Knoten angeben und beispielsweise durch die Einheit 62 zum Bereitstellen von Erlebnissen des Backend-Servers 14 bereitgestellt werden, generiert werden. Die beispielhafte Benutzerschnittstelle 320 umfasst den Knotenname und die Beschreibung, die an der Knotenmarkierung in der Benutzerschnittstelle 220 gezeigt wurden, sowie zwei rechteckige Bereiche. Der ausgefüllte Kreis unten an der Benutzerschnittstelle 320 kann in der gleichen Position an dem Objekt (innerhalb der realen Ansicht) bleiben, in der er sich in der Benutzerschnittstelle 220 befand. Ein erster „Arbeits-“ Bereich, der in 4G als ein leeres Rechteck gezeigt ist, kann zusätzliche Informationen zeigen, die zu dem ausgewählten Objekt/Knoten gehören, wie etwa Statusinformationen für das Objekt, ausführliche Alarminformationen für das Objekt und so weiter (z. B. in Abhängigkeit von dem Typ des Knotenerlebnisses, das bereitgestellt wird, und/oder der Rolle des Benutzers).
Der Benutzer kann den gewünschten Knotenerlebnistyp aus dem zweiten Bereich auswählen, der diejenigen aufführt, die für den Knoten (und möglicherweise für die Rolle des Benutzers) verfügbar sind. Wie in 4G zu sehen, umfassen bei diesem Beispiel die verfügbaren Knotenerlebnisse „Weitere Infos“ (z. B. um zusätzliche Typen von textbasierten Informationen im Arbeitsbereich bereitzustellen), „Verbindungen“ (z. B. um physische oder logische Verbindungen zu anderen Objekten/Knoten zu zeigen, wie nachstehend in Verbindung mit 4H besprochen), „Info-Link“ (z. B. um im Arbeitsbereich Informationen aus einem „Hilfe-“ Dokument, einem Vorführvideo oder einer anderen Web-Seite an einer bestimmten URL zu zeigen), „Nachfolgerobjekte“ (z. B. um im Arbeitsbereich Beziehungen mit anderen Objekten/Knoten zu zeigen, die als „Nachfolger“ des ausgewählten Objekts/Knotens zusammenhängen), „Prozesswerte“ (z. B. um im Arbeitsbereich Regelprozesswerte zu zeigen, die von einem der anderen Server 18 und den Anwendungen 19 erzielt werden) und „Arbeitsauftrag“ (z. B. um im Arbeitsbereich den Text eines Arbeitsauftrags zu zeigen, der mit dem ausgewählten Objekt/Knoten verknüpft ist). Andere Erlebnistypen sind ebenfalls möglich. Beispielsweise kann ein zusätzliches (oder alternatives) Knotenerlebnis ausgewählt werden, um Zusammenschaltungsinformationen für den Knoten/ das Objekt bereitzustellen, wie etwa den aktuellen Umgehungsstatus des Knotens/Objekts. Alternativ können solche Informationen innerhalb des zuvor besprochenen Erlebnisses „Weitere Infos“ gezeigt werden.
4H stellt eine Benutzerschnittstelle 340 dar, die erscheinen kann, wenn der Benutzer das Symbol „Verbindungen“ an der Benutzerschnittstelle 320 ausgewählt hat. Für die Benutzerschnittstelle 340 rendert das Knotenerlebnismodul 46 eine Linie zwischen der Position {x,y,z} des gerade ausgewählten Objekts/Knotens und der Position {x,y,z} eines Objekts/Knotens, mit dem das gerade ausgewählte Objekt/ der Knoten physisch und/oder logisch verbunden ist (wie beispielsweise zuvor in Verbindung mit 1 besprochen). Der ausgefüllte Kreis unten an der Benutzerschnittstelle 340 kann sich in der erstgenannten Position befinden, während sich der ausgefüllte Kreis oben an der Benutzerschnittstelle 340 in der letztgenannten Position befinden kann. Natürlich können sich die relativen Positionen der ausgefüllten Kreise in Abhängigkeit von dem Szenario ändern (z. B. kann der Kreis für das ausgewählte Objekt/ den Knoten in der realen Ansicht höher aussehen als der Kreis für das verbundene Objekt/ den Knoten).
Bei der Ausführungsform aus 4H rendert das Knotenerlebnismodul 46 die Verbindungslinie in drei Segmenten: ein erstes Segment (das an dem gerade ausgewählten Objekt/Knoten beginnt), das die Entfernung und die Richtung entlang der Y-Achse angibt, ein zweites Segment (das am Ende des ersten Segments beginnt), das die Entfernung und die Richtung entlang der X-Achse angibt, und ein drittes Segment (das am Ende des zweiten Segments beginnt), das die Entfernung und die Richtung entlang der Z-Achse angibt und an dem verbundenen Objekt/Knoten endet. Die Liniensegmente können farbig codiert sein, nach Linienformat codiert sein (gestrichelt, durchgezogen usw.) und/oder anderweitig codiert sein, um zusätzliche Informationen bereitzustellen (z. B. eine rote Linie, um eine Kommunikationsverbindung anzugeben, die gerade nicht in Betrieb ist). Bei anderen Ausführungsformen kann die Verbindung auf eine andere Art und Weise dargestellt werden, wie etwa als ein einziges Liniensegment zwischen den Objekten/Knoten (wobei die Linie beispielsweise breiter oder schmaler wird, um die Entfernung vom Benutzer wiederzugeben). Bei diversen verschiedenen Ausführungsformen können Verbindungen zu mehreren verschiedenen Objekten/Knoten an der Benutzerschnittstelle 340 gezeigt werden, oder es kann sein, dass der Benutzer jede einzelne Verbindung auswählen muss, für die eine Visualisierung erwünscht ist.
Beispielhafte AR-Datenbank
Die 5A und 5B stellen zusammen eine Datenbankstruktur 400 dar, die durch die AR-Datenbank 72 aus 1 verwendet werden kann (z. B. wenn sie in der Prozessregelungsumgebung 100 aus 2 verwendet wird). In der Datenbankstruktur 400 stellt jedes Feld eine Tabelle dar, die in der AR-Datenbank 72 gespeichert werden kann, wobei die obere Linie jedes Felds der Tabellennamen ist (z. B. „Knoten“, „Knotenstatus“ usw.). Die Tabellen sind unter Verwendung von primären Schlüsseln verlinkt, die jeweils in 5A und 5B durch ein Schlüsselsymbol und die Buchstaben „PK“ bezeichnet sind.
Die Datenbankstruktur 400 ermöglicht effiziente Kreuzverweise zwischen Datenelementen und lässt Benutzer- und Systemaktualisierungen zu, ohne existierende Links zu unterbrechen oder umfangreiche Aktualisierungen zu erfordern. Beispielsweise erlaubt es die Verwendung des primären Schlüssels „Knoten-ID“ dem Benutzer, den „Knotennamen“ für einen existierenden Knoten zu ändern, ohne andere damit zusammenhängende Tabellen aktualisieren zu müssen. Die Tabelle „GetOPCDA“ in 5B kann dem Knotenerlebnis „Prozesswerte“ entsprechen, das zuvor in Verbindung mit 4G beschrieben wurde.
Beispielhafte verstärkte virtuelle Sicht
Die 6 und 7 beziehen sich auf Ausführungsformen, bei denen eine AR-Plattform (die beispielsweise durch das AR-System 10 aus 1 bereitgestellt wird) Merkmale bereitstellt, welche die „virtuelle Sicht“ des Benutzers verstärken. 6 stellt ein spezifisches Szenario dar, bei dem ein Merkmal „Virtueller Röntgenblick“ (zuvor in Verbindung mit 1 besprochen) verwendet wird, um in einen geschlossenen Schrank innerhalb einer Prozessregelungsumgebung (z. B. innerhalb der Prozessregelungsumgebung 100 aus 2) „hineinzusehen“, während 7A und 7B ein spezifisches Szenario darstellen, bei dem ein „Avatar“ (ebenfalls zuvor in Verbindung mit 1 besprochen) für eine Sensor-/ Transmitter-Vorrichtung bereitgestellt wird, die sich in einem zugriffsbeschränkten (z. B. schwer zu erreichenden oder gefährlichen) Bereich der Prozessregelungsumgebung befindet und/oder vom aktuellen Standort des Benutzers entfernt ist.
Zuerst kann mit Bezug auf das Beispiel aus 6 ein geschlossener (und möglicherweise abgeschlossener) Schrank 500 eine Anzahl von inneren Komponenten (in 6 nicht zu sehen), wie etwa E/A-Karten, Leistungsschalter usw., enthalten. Wenn eines der Kriterien, die zuvor in Verbindung mit 1 besprochen wurden, erfüllt ist (wobei beispielsweise die inneren Komponenten innerhalb eines Blickfeldes der AR-Mobilvorrichtung 12 und innerhalb einer Schwellenentfernung liegen, und/oder der Schrank 500 durch den Benutzer ausgewählt wird, usw.), und falls bestimmt wird, dass der Schrank 500 verdeckte Objekte/Knoten enthält (ebenfalls zuvor besprochen, beispielsweise basierend auf einer bekannten Beziehung zwischen dem Schrank und den inneren Komponenten, und/oder durch Scannen eines QR-Codes usw.), kann das Sichtverbesserungsmodul 50 aus 1 eine Benutzerschnittstelle 520 in die reale Ansicht des Benutzers einblenden.
Die Benutzerschnittstelle 520 umfasst eine Darstellung 522 der inneren Komponenten. Die Darstellung 522 kann ein Bild der tatsächlichen Komponenten in dem Schrank 500 in ihrer tatsächlichen Anordnung im Verhältnis zueinander sein. Bei anderen Ausführungsformen umfasst die Darstellung 522 umfasst hyper- oder pseudorealistische grafische Darstellungen der Komponenten (z. B. 3D-Modelle, 2D-Modelle usw.), entweder einzeln oder derart, dass ihre relative Anordnung in dem Schrank 500 dargestellt wird. In beiden Fällen kann die Darstellung 522 dem Benutzer ein AR-Erlebnis bereitstellen, das ähnlich wie das Erlebnis ist, das er hätte, wenn er die tatsächlichen inneren Komponenten sehen würde.
Die Benutzerschnittstelle 520 kann direkt über dem Schrank 500 in der realen Ansicht des Benutzers eingeblendet werden und entsprechend skaliert werden, um die Darstellung 522 über die tatsächlichen Positionen der verborgenen inneren Komponenten auszurichten. Alternativ kann die Benutzerschnittstelle 520 gegenüber dem Schrank 500 in der realen Ansicht des Benutzers versetzt sein, wobei sie möglicherweise durch eine Linie oder ein anderes Mittel verbunden ist.
Die Darstellung 522 kann Knotenmarkierungen (z. B. ähnlich wie die Benutzerschnittstelle 220 aus 4B) für einzelne der internen Komponenten, soweit diese Komponenten zuvor kartiert wurden, umfassen oder nicht. Des Weiteren kann es die Benutzerschnittstelle 520 dem Benutzer ermöglichen, diverse Knotenerlebnisse auszuwählen, indem er eine derartige Knotenmarkierung durch Auswählen der Darstellung 522 selber oder durch Erteilen eines geeigneten Sprachbefehls auswählt. Die Darstellung 522 oder Benutzerschnittstelle 520 kann auch ein Bedienelement (z. B. ein „X“ in einer Ecke) umfassen, das der Benutzer auswählen kann, um die Darstellung 522 aus seiner Ansicht zu entfernen, oder es kann ein geeigneter Sprachbefehl verwendet werden.
Nun umfasst mit Bezug auf 7A ein Richtungsindikator 550 eine Darstellung eines bestimmten Objekts (hier einer Sensor-/Transmitter-Vorrichtung) zusammen mit einem Pfeil, der die allgemeine Richtung des Objekts im Verhältnis zur realen Ansicht des Benutzers zeigt. Das Sichtverbesserungsmodul 50 aus 1 kann den Richtungsindikator 550 in die reale Ansicht des Benutzers als Reaktion auf eine der (in Verbindung mit 1) zuvor beschriebenen Bedingungen, beispielsweise mit Bezug auf Avatare von entfernten und/oder zugriffsbeschränkten Objekten, einblenden. Die Darstellung der Vorrichtung bei dem beispielhaften Richtungsindikator 550 ist ein realistisches Modell oder Bild, obwohl natürlich andere Formate (z. B. ein Umriss, eine Animation, ein Video usw.) ebenfalls möglich sind.
Falls der Benutzer den Richtungsindikator 550 auswählt, kann das Sichtverbesserungsmodul 50 einen „Avatar“ 560 in die reale Ansicht des Benutzers einblenden, wie in 7B gezeigt. Obwohl der in 7B gezeigte Avatar 560 mit der Darstellung des Objekts in dem Richtungsindikator 550 identisch ist, ist der Avatar 560 bei anderen Ausführungsformen ausführlicher und/oder realistischer als die Darstellung (soweit vorhanden) in dem Richtungsindikator 550. Ähnlich wie die Darstellung 522 aus 6 kann der Avatar 560 dem Benutzer ein AR-Erlebnis bereitstellen, das ähnlich ist wie das, was er hätte, wenn er das tatsächliche Objekt aus unmittelbarer Nähe betrachten würde (hier eine Sensor-/ Transmitter-Vorrichtung) . In der Tat kann, wie zuvor angemerkt, das Merkmal des virtuellen Röntgenblicks aus 6 einfach ein Sonderfall der in 7B gezeigten Sichtverstärkung sein, wobei die Darstellung 522 aus 6 eine Sammlung von Avataren für die diversen Komponenten ist, die in dem Schrank 510 eingeschlossen sind.
Falls der Benutzer den Avatar 560 auswählt oder einen geeigneten Sprachbefehl erteilt, kann das Sichtverbesserungsmodul 50 eine Benutzerschnittstelle 570 nahe an dem Avatar 560 in der realen Ansicht des Benutzers einblenden. Alternativ kann der Avatar 560 der Benutzerschnittstelle 570 standardmäßig präsentiert werden, ohne eine Auswahl des Avatars 560 durch den Benutzer oder einen Sprachbefehl zu erfordern. Die beispielhafte Benutzerschnittstelle 570 aus 7B entspricht einem Knotenerlebnis, das Prozesswerte (hier Sensormesswerte) bereitstellt, und ermöglicht eine Benutzerregelung der Vorrichtung (hier durch Einleiten eines Kalibrierprozesses). Um dieses Knotenerlebnis zu ermöglichen, kann die Einheit 62 zum Bereitstellen von Erlebnissen aus 1 mit einer oder mehreren der Anwendung(en) 19 kommunizieren, die durch den oder die anderen Server 18 ausgeführt wird bzw. werden, wie zuvor besprochen. Beispielsweise kann die Einheit 62 zum Bereitstellen von Erlebnissen veranlassen, dass eine Prozessregelungsanwendung eine gerade ausgeführte Prozessregelungsanwendung startet oder unter Verwendung einer API eine Schnittstelle damit bildet, usw.
Beispielhaftes 3D-Kartierverfahren
8 stellt ein beispielhaftes Verfahren 600 zum Kartieren einer realen Prozessregelungsumgebung (z. B. Prozessregelungsumgebung 100 aus 2) unter Verwendung einer mobilen Vorrichtung dar. Das Verfahren 600 kann beispielsweise unter Verwendung der AR-Mobilvorrichtung 12 aus 1 oder einer anderen geeigneten mobilen Vorrichtung ausgeführt werden. Bei einigen Ausführungsformen kann eine Mobilvorrichtung ohne AR-Fähigkeit verwendet werden.
In Block 602 wird die Mobilvorrichtung an einem Referenz- oder „Orientierungs-“ Standort in der Prozessregelungsumgebung registriert. Die Registrierung kann das Verwenden einer Kamera der mobilen Vorrichtung (z. B. der Kamera 24 aus 1) umfassen, um eine visuelle Darstellung eines Codes (z. B. eines QR-Codes oder eines anderen Bildes), der sich an dem Referenzstandort befindet, zu scannen. Der Code kann sich beispielsweise an einer Wand (z. B. auf einem Schild oder einem Plakat) befinden.
In Block 604 wird mindestens eine IMU der mobilen Vorrichtung (z. B. die IMU 26 aus 1) verwendet, um die 3D-Positionen der mobilen Vorrichtung mit Bezug auf den Referenzstandort zu verfolgen, und um die Orientierungen der mobilen Vorrichtung zu verfolgen, während die Mobilvorrichtung durch den Benutzer in der Prozessregelungsumgebung umher bewegt wird. Block 604 kann endlos fortfahren (z. B. gleichzeitig mit Block 606 bis 610), bis der Benutzer das AR-Erlebnis beendet (z. B. durch Abschalten der mobilen Vorrichtung oder durch Schließen einer Anwendung, die auf der mobilen Vorrichtung läuft, usw.). Die Verfolgung in Block 604 kann auch die Kamera der mobilen Vorrichtung verwenden. Beispielsweise kann eine VIO-Technologie verwendet werden, um die Position und Orientierung der mobilen Vorrichtung zu verfolgen.
In Block 606 wird eine Benutzereingabe, die angibt, dass ein neuer Knoten zu einer 3D-Karte der Prozessregelungsumgebung hinzuzufügen ist, an der mobilen Vorrichtung detektiert. Die Benutzereingabe kann beispielsweise ein Benutzersprachbefehl (z. B. „Knoten hinzufügen“) oder eine Benutzerauswahl einer Menüoption (z. B. durch Fokussieren der Kamera der mobilen Vorrichtung auf einen bestimmten Standort oder Eingeben von Daten an einer Tastatur oder einem Berührungsbildschirm) sein.
In Block 608 wird eine 3D-Position eines realen Objekts (mit Bezug auf den Referenzstandort) basierend mindestens teilweise auf einer verfolgten 3D-Position der mobilen Vorrichtung und einer verfolgten Orientierung der mobilen Vorrichtung bestimmt oder ihre Bestimmung wird veranlasst. Bei einer Ausführungsform umfasst Block 608 das Aufnehmen eines Bildes eines realen Objekts unter Verwendung der Kamera der mobilen Vorrichtung (z. B. zu dem Zeitpunkt, zu dem die Benutzereingabe eingegeben wurde oder kurz danach). Die Entfernung zwischen der mobilen Vorrichtung und dem Objekt kann dann aus dem Bild bestimmt werden, mindestens durch Verarbeiten des Kamerabildes unter Verwendung einer Tiefenmesstechnik. Die 3D-Position kann dann basierend auf der verfolgten 3D-Position und Orientierung der mobilen Vorrichtung sowie auf der bestimmten Entfernung bestimmt werden oder ihre Bestimmung kann veranlasst werden.
Bei einigen Ausführungsformen wird die 3D-Position des Objekts in Block 608 durch die Vorrichtung, das System usw., die bzw. das das Verfahren 600 ausführt, direkt bestimmt. Bei anderen Ausführungsformen veranlasst die Vorrichtung, das System usw., die bzw. das das Verfahren 600 ausführt, dass eine andere Vorrichtung, ein System usw. die 3D-Position des Objekts bestimmt, z. B. durch Anfragen über eine Web-Dienstschnittstelle (z. B. Web-Dienstschnittstelle 60 aus 1).
In Block 610 wird veranlasst, dass eine Knotendatenbank oder Knotenbibliothek den neuen Knoten zu der 3D-Karte hinzufügt, indem mindestens veranlasst wird, dass die 3D-Position des Objekts in Verbindung mit dem neuen Knoten gespeichert wird. Block 610 kann das Verwenden einer Web-Dienstschnittstelle umfassen, um zu veranlassen, dass beispielsweise ein Remote-Server (z. B. der Backend-Server 14 aus 1) mindestens die 3D-Position des neuen Knotens in der Knotendatenbank (z. B. der AR-Datenbank 72 aus 1) speichert.
Das Verfahren 600 kann ein oder mehrere Blöcke umfassen, die in 8 nicht gezeigt sind. Beispielsweise kann das Verfahren 600 einen Block umfassen, in dem eine andere Benutzereingabe (z. B. Sprachbefehl, Tastatureingabe usw.) an der mobilen Vorrichtung empfangen wird, wobei die Benutzereingabe eine Kennung (z. B. einen Namen) und/oder eine Beschreibung des neuen Knotens angibt. Bei einer derartigen Ausführungsform kann Block 610 ferner umfassen, das veranlasst wird, dass die Kennung und/oder Beschreibung des neuen Knotens in Verbindung mit dem neuen Knoten in der Knotendatenbank gespeichert wird.
Als ein anderes Beispiel kann das Verfahren 600 zusätzliche Blöcke umfassen, die späteren Operationen einer anderen mobilen Vorrichtung (oder späteren Operationen durch die gleiche Mobilvorrichtung, welche die Blöcke 602 bis 610 ausführt) entsprechen, die in einem Bereich der Prozessregelungsumgebung navigiert, nachdem der neue Knoten zu der 3D-Karte hinzugefügt wurde. In einem ersten Block kann beispielsweise eine zweite Mobilvorrichtung (z. B. die AR-Mobilvorrichtung 12 oder eine ähnliche Vorrichtung) an dem Referenzstandort registriert werden. Danach können die 3D-Positionen der zweiten mobilen Vorrichtung (mit Bezug auf den Referenzstandort) und die Orientierung der zweiten mobilen Vorrichtung unter Verwendung mindestens einer IMU der zweiten mobilen Vorrichtung (z. B. unter Verwendung einer VIO-Technologie) verfolgt werden. Eine Auslösebedingung kann dann detektiert werden, indem beispielsweise bestimmt wird (z. B. basierend auf einer verfolgten Orientierung der zweiten mobilen Vorrichtung), dass sich das Objekt in einem Bereich im Innern eines Blickfeldes einer Kamera der zweiten mobilen Vorrichtung befindet, und/oder indem (z. B. basierend auf einer verfolgten Position der zweiten mobilen Vorrichtung) bestimmt wird, dass sich das physische Objekt der zweiten mobilen Vorrichtung nähert. Als Reaktion auf das Detektieren der Auslösebedingung können digitale Informationen, die mit dem neuen Knoten verknüpft sind, in eine reale Ansicht eingeblendet werden, die an oder durch ein Display der zweiten mobilen Vorrichtung hindurch zu sehen ist (z. B. eine Knotenmarkierung oder gemäß einem beliebigen zuvor besprochenen Knotenerlebnis).
Beispielhaftes Verfahren zum Bereitstellen eines virtuellen Röntgenblicks
9 stellt ein beispielhaftes Verfahren 620 zum Bereitstellen einer virtuellen verstärkten Sicht (z. B. eines virtuellen „Röntgenblicks“) für einen Benutzer einer AR-Mobilvorrichtung in einer realen Prozessregelungsumgebung (z. B. der Prozessregelungsumgebung 100 aus 2) dar. Das Verfahren 620 kann beispielsweise durch einen oder mehrere Prozessoren eines Rechensystems oder einer Rechenvorrichtung, wie etwa des Backend-Servers 14 aus 1, und/oder einer AR-Mobilvorrichtung, wie etwa der AR-Mobilvorrichtung 12 aus 1, ausgeführt werden.
In Block 622 wird bestimmt, dass ein bestimmter Knoten („erster Knoten“), der mit einer Karte der Prozessregelungsumgebung verknüpft ist, einem bestimmten realen Objekt (dem „ersten Objekt“) entspricht, das sich gerade innerhalb des Blickfeldes einer Kamera (z. B. der Kamera 24 aus 1) der AR-Mobilvorrichtung befindet. Das erste Objekt kann beispielsweise eine beliebige Vorrichtung, die in Verbindung mit 2 gezeigt oder beschrieben wird, oder ein beliebiger anderer physischer Gegenstand, der mindestens teilweise undurchsichtig ist, sein. Bei einigen Ausführungsformen ist das erste Objekt eine Einfassung, wie etwa ein Schrank, die konfiguriert ist, um eine Anzahl von kleineren Vorrichtungen oder Komponenten zu enthalten.
Bei einigen Ausführungsformen umfasst Block 622 das Detektieren einer aktuellen Orientierung der AR-Mobilvorrichtung und das Bestimmen basierend auf der aktuellen Orientierung der AR-Mobilvorrichtung und ferner basierend auf der Position des ersten Knotens, wie durch die Karte angegeben, dass sich das erste Objekt gerade innerhalb des Blickfeldes der Kamera befindet. Block 622 kann auch das Bestimmen umfassen, dass sich das erste Objekt in einer gewissen Schwellenentfernung der AR-Mobilvorrichtung (z. B. 10 Meter, 50 Meter usw.) befindet, basierend auf der aktuellen Position der AR-Mobilvorrichtung und der Position des ersten Knotens.
In Block 624 wird eine spezifische Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten, die ebenfalls mit der Karte verknüpft sind, bestimmt. Die Beziehung gibt (explizit oder implizit) an, dass ein oder mehrere andere reale Objekte, die dem einen oder den mehreren anderen Knoten entsprechen, mindestens teilweise durch das erste Objekt verdeckt sind. Beispielsweise kann eine Knotendatenbank (z. B. die AR-Datenbank 72 oder ein Teil davon) Daten speichern, die angeben, dass der erste Knoten einem Schrank oder einer anderen Einfassung entspricht, der bzw. die das oder die Objekt(e) enthält, das bzw. die dem oder den anderen Knoten (z. B. Reglern, E/A-Karten, Schaltern usw.) entspricht bzw. entsprechen, und Block 624 kann das direkte Zugreifen auf die Knotendatenbank (z. B. in einem lokalen Speicher) oder über ein anderes Rechensystem umfassen. Bei einigen Ausführungsformen ist das erste Objekt mit einem QR-Code oder einem anderen visuellen Code markiert, und Block 624 umfasst sowohl das Scannen des Codes, um eine Knotenkennung zu bestimmen, als auch das Verwenden der Knotenkennung, um die Beziehung zu bestimmen (z. B. indem die Kennung als Schlüssel für eine Datenbank verwendet wird).
In Block 626 werden ein oder mehrere digitale Modelle oder digitale Bilder aus dem Speicher (z. B. einem lokalen oder entfernten persistenten Speicher) abgerufen, wobei das oder die Modell(e) oder Bild(er) das oder die Objekt(e) abbildet bzw. abbilden, das bzw. die mindestens teilweise durch das erste Objekt verdeckt ist bzw. sind. Beispielsweise können ein oder mehrere hyperrealistische oder pseudorealistische 3D-Modelle, 2D-Modelle, animierte Modelle, digitale Bilder oder digitale Videos des oder der Objekte aus dem Speicher abgerufen werden.
In Block 628 wird veranlasst, dass ein Display der AR-Mobilvorrichtung (z. B. das Display 22 aus 1) das oder die abgerufene(n) Modell(e) oder Bild(er) dem Benutzer präsentiert, während sich das erste Objekt noch im Blickfeld der Kamera befindet. Beispielsweise kann bzw. können das oder die Modell(e) oder Bild(er) in einer realen Ansicht eingeblendet werden, die dem Benutzer an dem Display präsentiert wird, oder durch den Benutzer durch das Display hindurch gesehen wird. Block 628 kann beispielsweise das Übertragen mindestens eines Teils des Anzeigeinhalts und/oder das Übertragen von Anzeigeanweisungen an die AR-Mobilvorrichtung umfassen (z. B. über die Web-Dienstschnittstelle 60 aus 1).
Das Verfahren 620 kann einen oder mehrere Blöcke umfassen, die in 9 nicht gezeigt sind. Beispielsweise kann das Verfahren 620 einen Block umfassen, in dem ein oder mehrere Knotenerlebnisse dem Benutzer für die verdeckten Objekte präsentiert werden (z. B. anfänglich mit dem oder den Modell(en) oder Bild(ern) oder als Reaktion auf eine weitere Aktion, wie etwa eine Benutzerauswahl des Modells oder des Bildes eines bestimmten verdeckten Objekts).
Beispielhaftes Verfahren zum Visualisieren von zugriffsbeschränkten Objekten
10 stellt ein beispielhaftes Verfahren 640 zum Erleichtern der Interaktion zwischen einem Benutzer einer AR-Mobilvorrichtung und einem realen Objekt (dem „ersten Objekt“) dar, das sich in einem zugriffsbeschränkten (z. B. gefährlichen, abgesperrten usw.) Bereich einer Prozessregelungsumgebung (z. B. der Prozessregelungsumgebung 100 aus 2) befinden kann. Das Verfahren 640 kann durch einen oder mehrere Prozessoren eines Rechensystems oder einer Rechenvorrichtung, wie beispielsweise des Backend-Servers 14 aus 1, und/oder einer AR-Mobilvorrichtung, wie etwa der AR-Mobilvorrichtung 12 aus 1, ausgeführt werden.
In Block 642 wird veranlasst, dass ein Display der AR-Mobilvorrichtung (z. B. das Display 22 aus 1), wenn der Benutzer in der Prozessregelungsumgebung umhergeht, digitale Informationen in Teilen der Umgebung, die sich innerhalb des Blickfeldes einer Kamera (z. B. der Kamera 24 aus 1) der AR-Mobilvorrichtung befinden, einblendet. Die eingeblendeten Informationen sind mit Knoten in einer Karte (z. B. der 3D-Karte) der Prozessregelungsumgebung verknüpft, wobei die Knoten anderen realen Objekten in der Umgebung entsprechen. Block 642 kann beispielsweise das Übertragen mindestens eines Teils des Anzeigeinhalts und/oder das Übertragen von Anzeigeanweisungen an die AR-Mobilvorrichtung (z. B. über die Web-Dienstschnittstelle 60 aus 1) umfassen.
In Block 644 wird veranlasst, dass das Display der AR-Mobilvorrichtung eine Richtung für das erste Objekt angibt, während sich das erste Objekt nicht innerhalb des Blickfeldes der Kamera befindet. Die Angabe kann beispielsweise Text, einen Pfeil, eine Linie und/oder eine Animation umfassen. Ähnlich wie Block 642 kann Block 644 beispielsweise das Übertragen mindestens eines Teils des Anzeigeinhalts und/oder das Übertragen von Anzeigeanweisungen an die AR-Mobilvorrichtung (z. B. über die Web-Dienstschnittstelle 60 aus 1) umfassen.
In Block 646, nach dem Detektieren einer Benutzereingabe, die über die AR-Mobilvorrichtung erfolgte und eine Auswahl des ersten Objekts angibt (z. B. einen Sprachbefehl, der eine Benutzerschnittstelle für das erste Objekt erfragt), wird veranlasst, dass die Anzeige in einem Teil der Prozessregelungsumgebung, der sich gerade innerhalb des Blickfeldes befindet, jedoch das erste Objekt nicht umfasst, ein digitales Modell oder Bild des ersten Objekts (d..h. einen „Avatar“ des ersten Objekts) sowie eine Benutzerschnittstelle für das erste Objekt einblendet. Der Avatar kann beispielsweise ein hyperrealistisches oder pseudorealistisches 3D-Modell, 2D-Modell, animiertes Modell, ein digitales Bild oder ein digitales Video des Objekts sein. Die Benutzerschnittstelle kann ein oder mehrere virtuelle Bedienelemente, die es dem Benutzer ermöglichen, das erste Objekt zu steuern (z. B. das erste Objekt zu kalibrieren, Betriebsparameter des ersten Objekts einzustellen, usw.) und/oder eine oder mehrere Anzeigen, die Informationen, die mit dem Status (z. B. Diagnosestatus, Wartungsstatus, Betriebsstatus usw.) verknüpft sind, Einstellungen und/oder Ausgaben (z. B. Sensormesswerte usw.) des ersten Objekts präsentieren, umfassen. Bei einigen Ausführungsformen wird die Benutzerschnittstelle nicht zur gleichen Zeit wie der Avatar präsentiert und erscheint stattdessen (zusammen mit dem Avatar) als Reaktion auf eine Benutzerauswahl des Avatars oder einen Sprachbefehl.
Bei einigen Ausführungsformen erfolgt die Angabe der Richtung in Block 644 vor dem Detektieren der Benutzereingabe, die eine Auswahl des ersten Objekts angibt (d..h. die in 10 gezeigte Sequenz). Bei einigen derartigen Ausführungsformen kann der Richtungsindikator (z. B. ein Pfeil, der auf einen Bereich außerhalb des Displays zeigt, der das erste Objekt enthält) als Reaktion auf das Detektieren, (1) dass sich das erste Objekt innerhalb einer Schwellenentfernung der AR-Mobilvorrichtung befindet, und (2) dass sich das erste Objekt gerade nicht innerhalb des Blickfeldes der Kamera befindet, generiert und angezeigt werden. Andere geeignete Auslöser oder Kriterien für den Richtungsindikator sind ebenfalls möglich. Beispielsweise kann der Indikator nur Benutzern bereitgestellt werden, die eine gewisse Benutzerrolle haben, die für das erste Objekt relevant ist.
Bei anderen Ausführungsformen erfolgt die Angabe der Richtung stattdessen nach dem Detektieren der Benutzereingabe, welche die Auswahl des ersten Objekts angegeben hatte. Beispielsweise kann der Benutzer einen Sprachbefehl erteilen, der anfragt, dass eine Benutzerschnittstelle für das erste Objekt abgerufen wird (z. B. eine Benutzer- „Suche“ nach dem ersten Objekt), wonach der Richtungsindikator (und möglicherweise der Avatar) in der realen Ansicht des Benutzers eingeblendet wird.
Das digitale Modell oder Bild, sei es mit dem Richtungsindikator und/oder in einer nachfolgenden Phase angezeigt, kann unter Verwendung einer Web-Dienstschnittstelle aus einer Datenbank abgerufen werden (z. B. aus der AR-Datenbank 72 aus 1 unter Verwendung der Web-Dienstschnittstelle 60).
Beispielhaftes Verfahren zum Steigern der Genauigkeit von AR-Informationen, die einem navigierenden Benutzer präsentiert werden
11 stellt ein beispielhaftes Verfahren 660 zum Steigern der Genauigkeit von AR-Informationen dar, die einem Benutzer präsentiert werden, der in einer realen kartierten Umgebung (z. B. der Prozessregelungsumgebung 100 aus 2) navigiert. Das Verfahren 660 kann beispielsweise durch einen oder mehrere Prozessoren eines Rechensystems oder einer Rechenvorrichtung, wie etwa des Backend-Servers 14 aus 1, und/oder einer AR-Mobilvorrichtung, wie etwa der AR-Mobilvorrichtung 12 aus 1, ausgeführt werden. In den Blöcken 662 und 664, wenn der Benutzer einer mobilen Vorrichtung (z. B. der AR-Mobilvorrichtung 12 aus 1) in der kartierten Umgebung umhergeht, wird ein spezifisches Objekt innerhalb des Blickfeldes einer Kamera der mobilen Vorrichtung identifiziert. Das Identifizieren des spezifischen Objekts umfasst das Vorhersagen eines Objekttyps in Block 662 und das Identifizieren eines Knotens, der dem Objekttyp entspricht, in Block 664. Der Objekttyp wird in Block 662 unter Verwendung eines maschinellen Lern- (ML) Modells, das ein oder mehrere Bilder verarbeitet, die durch die Kamera der mobilen Vorrichtung aufgenommen werden, vorhergesagt, und der Knoten wird in Block 664 aus einer Kartendatenbank heraus, welche die kartierte Umgebung darstellt, (z. B. der AR-Datenbank 72 aus 1) identifiziert. Das ML-Modell kann beispielsweise durch die Mobilvorrichtung und/oder durch einen Remote-Server, der mit der mobilen Vorrichtung kommunikationsmäßig gekoppelt ist, umgesetzt werden. Das ML-Modell ist ein Modell, das eingelernt wurde, um Bilder zu verarbeiten, um Objekttypen, wie beispielsweise das ML-Modell 65 aus 1, zu erkennen.
Block 664 kann das Identifizieren eines Knotens in der Kartendatenbank, der sowohl dem vorhergesagten Objekttyp entspricht als auch in einer Schwellenentfernung von einem geschätzten Standort der mobilen Vorrichtung liegt (z. B. wie der geschätzte Standort, der unter Verwendung der IMU 26 aus 1 bestimmt wird), und/oder des Knotens, der einen gespeicherten Standort aufweist, der dem geschätzten Standort der mobilen Vorrichtung am nächsten ist (z. B. im Vergleich zu anderen Knoten, die den gleichen Objekttyp aufweisen), umfassen. Bei einigen Ausführungsformen ist der identifizierte Knoten ein solcher, der auch gegenüber dem geschätzten Standort der mobilen Vorrichtung in einer Richtung versetzt ist, die es einem Objekt ermöglicht, das dem Knoten entspricht, innerhalb des Blickfeldes der Kamera zu liegen, während sich die Mobilvorrichtung in einer bestimmten Orientierung befindet (z. B. der Orientierung wie sie unter Verwendung der IMU 26 aus 1 bestimmt wird).
In Block 666 wird ein Standort, der mit dem Knoten verknüpft ist, aus der Kartendatenbank abgerufen, und in Block 668 wird der abgerufene Standort verwendet, um einen oder mehrere geschätzte Standorte der mobilen Vorrichtung zu aktualisieren oder zu bestätigen. Block 666 kann das Berechnen einer Differenz zwischen dem abgerufenen Standort des Knotens und einem geschätzten Standort der mobilen Vorrichtung (z. B. dem Standort, der unter Verwendung der IMU 26 bestimmt wird) und das Verwenden der berechneten Differenz, beispielsweise um den geschätzten Standort der mobilen Vorrichtung anzupassen, umfassen.
In Block 670 wird veranlasst, dass digitale Informationen in einer realen Ansicht, die dem Benutzer über ein Display (z. B. dem Display 22 aus 1) der mobilen Vorrichtung präsentiert wird, eingeblendet werden. Die digitalen Informationen umfassen Informationen, die basierend mindestens teilweise auf dem oder den geschätzten Standorten der mobilen Vorrichtung ausgewählt werden, wie in Block 668 aktualisiert oder bestätigt. Die digitalen Informationen können beispielsweise basierend auf dem oder den geschätzten Standort(en) auf eine beliebige der zuvor besprochenen Arten ausgewählt werden (z. B. durch Vergleichen des Standorts der Vorrichtung zusammen mit der Orientierung der Vorrichtung mit den Knotenstandorten in einer AR-Datenbank, wie etwa der AR-Datenbank 72, und gegebenenfalls Abrufen von Informationen für diverse Knoten aus der AR-Datenbank). Block 670 kann das Übertragen der digitalen Informationen an die Mobilvorrichtung unter Verwendung eines bestimmten Datenprotokolls oder Befehls umfassen, und/oder kann beispielsweise das Generieren der Anzeigeansicht, welche die digitalen Informationen umfasst, umfassen.
Bei einigen Ausführungsformen umfasst das Verfahren 660 einen ersten zusätzlichen Block (in 11 nicht gezeigt), in dem eine tatsächliche Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt bestimmt wird (z. B. durch Verarbeiten mindestens eines der Kamerabilder, die das Objekt darstellen), und einen zweiten zusätzlichen Block (ebenfalls in 11 nicht gezeigt), in dem eine Orientierung der mobilen Vorrichtung (z. B. unter Verwendung der IMU 26) bestimmt wird. Bei einer derartigen Ausführungsform kann Block 668 das Verwenden des abgerufenen Standorts des Knotens, des bestimmten tatsächlichen Abstands zwischen der mobilen Vorrichtung und dem spezifischen Objekt und der bestimmten Orientierung der mobilen Vorrichtung, um den oder die geschätzten Standort(e) der mobilen Vorrichtung zu aktualisieren oder zu bestätigen, umfassen.
Beispielhaftes Verfahren zum Erleichtern der Kartenerstellung
12 stellt ein beispielhaftes Verfahren 680 zum Erleichtern der Erstellung einer Karte einer realen Prozessregelungsumgebung (z. B. der Prozessregelungsumgebung 100 aus 2) dar. Das Verfahren 680 kann beispielsweise durch einen oder mehrere Prozessoren eines Rechensystems oder einer Rechenvorrichtung, wie etwa des Backend-Servers 14 aus 1, und/oder einer AR-Mobilvorrichtung, wie etwa der AR-Mobilvorrichtung 12 aus 1, ausgeführt werden.
In Block 682 werden die Standorte einer mobilen Vorrichtung (z. B. der AR-Mobilvorrichtung 12 aus 1) verfolgt, während der Benutzer der mobilen Vorrichtung in der kartierten Umgebung umhergeht. Block 682 kann das Verfolgen der Standorte der mobilen Vorrichtung unter Verwendung einer Inertialmesseinheit der mobilen Vorrichtung (z. B. der IMU 26 aus 1) umfassen, und die Bewegung kann mit Bezug auf einen zuvor bekannten Standort der mobilen Vorrichtung (z. B. einen Orientierungsstandort) wie zuvor besprochen verfolgt werden.
In Block 684 werden Bilder der kartierten Umgebung durch eine Kamera der mobilen Vorrichtung (z. B. der Kamera 24 aus 1) aufgenommen, während der Benutzer in der kartierten Umgebung umhergeht. Block 684 erfolgt mindestens teilweise parallel/gleichzeitig zu Block 682, so dass mindestens einige der Bilder mit spezifischen verfolgten Standorten der mobilen Vorrichtung verknüpft sind.
In Block 686 kann eine Angabe, dass der Benutzer vorhat, einen Knoten zu der Karte hinzuzufügen, empfangen werden. Block 686 kann das Empfangen einer Angabe umfassen, dass der Benutzer einen bestimmten Befehl beispielsweise über die Mobilvorrichtung (z. B. einen Sprachbefehl, wie etwa „Knoten hinzufügen“) eingegeben hat, oder kann das Detektieren umfassen, dass ein Fadenkreuz des Displays der mobilen Vorrichtung während eines Schwellenzeitraums (z. B. 3 Sekunden) auf das gleiche Ziel zentriert wurde, usw.
In Block 688 werden eines oder mehrere der aufgenommenen Bilder einem maschinellen Lern- (ML) Modell bereitgestellt. Das ML-Modell kann beispielsweise durch die Mobilvorrichtung und/oder durch einen Remote-Server, der mit der mobilen Vorrichtung kommunikationsmäßig gekoppelt ist, umgesetzt werden. Das ML-Modell ist ein Modell, das eingelernt wurde, um beispielsweise Bilder zu verarbeiten, um Objekttypen zu erkennen, wie etwa das ML-Modell 65 aus 1.
In Block 690 wird ein Objekttyp, der einem spezifischen Objekt in einem Blickfeld der Kamera entspricht, durch das ML-Modell vorhergesagt, während das ML-Modell das eine oder die mehreren Bilder verarbeitet. Bei einigen Ausführungsformen werden mehrere „mögliche“ Objekttypen in Block 690 vorhergesagt, wobei jeder mögliche Objekttyp ein solcher ist, der dem spezifischen Objekt möglicherweise entspricht.
In Block 692 wird veranlasst, dass ein Display der mobilen Vorrichtung in einer realen Ansicht, die dem Benutzer präsentiert wird, eine Angabe des vorhergesagten Objekttyps einblendet, um die Bezeichnung durch den Benutzer eines Deskriptors für den neuen Knoten zu erleichtern. Block 692 kann das Übertragen des vorhergesagten Objekttyps an die Mobilvorrichtung unter Verwendung eines bestimmten Datenprotokolls oder eines Befehls umfassen, und/oder kann das Generieren der Anzeigeansicht umfassen, die beispielsweise die Angabe des vorhergesagten Objekttyps umfasst. Bei einigen Ausführungsformen, bei denen Block 690 das Vorhersagen von mehreren möglichen Objekttypen umfasst, umfasst Block 692 das Veranlassen, dass das Display der mobilen Vorrichtung eine Angabe jedes möglichen Objekttyps in der realen Ansicht einblendet, die dem Benutzer präsentiert wird (z. B. nach Rangordnung basierend auf dem Konfidenzniveau).
Beispielhaftes Verfahren zum Aktualisieren von Knotenstandorten
13 stellt ein beispielhaftes Verfahren 700 zum Aktualisieren von Knotenstandorten in einer realen kartierten Umgebung (z. B. der Prozessregelungsumgebung 100 aus 2) dar. Das Verfahren 700 kann beispielsweise durch einen oder mehrere Prozessoren eines Rechensystems oder einer Rechenvorrichtung, wie etwa des Backend-Servers 14 aus 1, und/oder einer AR-Mobilvorrichtung, wie etwa der AR-Mobilvorrichtung 12 aus 1, ausgeführt werden.
In Block 702 werden die Standorte einer mobilen Vorrichtung (z. B. der AR-Mobilvorrichtung 12 aus 1) verfolgt, während der Benutzer der mobilen Vorrichtung in der kartierten Umgebung umhergeht. Block 702 kann das Verfolgen der Standorte der mobilen Vorrichtung unter Verwendung einer Inertialmesseinheit der mobilen Vorrichtung, wie beispielsweise der IMU 26 aus 1, umfassen, und die Bewegung kann mit Bezug auf einen zuvor bekannten Standort der mobilen Vorrichtung (z. B. einen Orientierungsstandort) verfolgt werden, wie zuvor besprochen.
In Block 704 werden Bilder der kartierten Umgebung durch eine Kamera der mobilen Vorrichtung (z. B. die Kamera 24 aus 1) aufgenommen, während der Benutzer in der kartierten Umgebung umhergeht. Block 704 erfolgt mindestens teilweise parallel/gleichzeitig zu Block 702, so dass mindestens einige der Bilder mit spezifischen, verfolgten Standorten der mobilen Vorrichtung verknüpft sind.
In den Blöcken 706 und 708 wird ein spezifisches Objekt innerhalb eines Blickfeldes der Kamera der mobilen Vorrichtung identifiziert. Das Identifizieren des spezifischen Objekts umfasst das Vorhersagen eines Objekttyps in Block 706, und das Identifizieren eines Knotens, der dem Objekttyp entspricht, in Block 708. Der Objekttyp wird in Block 706 unter Verwendung eines maschinellen Lern- (ML) Modells vorhergesagt, das ein oder mehrere Bilder verarbeitet, die durch die Kamera der mobilen Vorrichtung aufgenommen werden, und der Knoten wird in Block 708 aus einer Kartendatenbank identifiziert, welche die kartierte Umgebung darstellt (z. B. die AR-Datenbank 72 aus 1). Das ML-Modell kann beispielsweise durch die Mobilvorrichtung und/oder durch einen Remote-Server, der mit der mobilen Vorrichtung kommunikationsmäßig gekoppelt ist, umgesetzt werden. Das ML-Modell ist ein Modell, das eingelernt wurde, um Bilder zu verarbeiten, um Objekttypen zu erkennen, wie beispielsweise das ML-Modell 65 aus 1.
In Block 710 wird ein verfolgter Standort der mobilen Vorrichtung verwendet, um einen in der Kartendatenbank gespeicherten Standort des Knotens, der in Block 708 identifiziert wurde, zu aktualisieren oder zu bestätigen. Bei einigen Ausführungsformen wird der Standort des Knotens nicht nur basierend auf dem verfolgten Standort der mobilen Vorrichtung aktualisiert oder bestätigt, sondern auch basierend auf den verfolgten Standorten einer Anzahl von anderen mobilen Vorrichtungen. Beispielsweise kann der Standort des Knotens aktualisiert werden, wenn die verfolgten Standorte von einer Schwellenanzahl (z. B. 10) von mobilen Vorrichtungen im Allgemeinen miteinander übereinstimmen, jedoch mit dem anfänglich gespeicherten Standort des Knotens nicht übereinstimmen.
Bei einigen Ausführungsformen umfasst das Verfahren 700 einen ersten zusätzlichen Block (in 13 nicht gezeigt), in dem eine tatsächliche Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt bestimmt wird (z. B. durch Verarbeiten mindestens eines der Kamerabilder, die das Objekt darstellen), und einen zweiten zusätzlichen Block (ebenfalls in 13 nicht gezeigt), in dem eine Orientierung der mobilen Vorrichtung bestimmt wird (z. B. unter Verwendung der IMU 26). Bei einer derartigen Ausführungsform kann Block 710 das Verwenden des verfolgten Standorts der mobilen Vorrichtung, der bestimmten tatsächlichen Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt und der bestimmten Orientierung der mobilen Vorrichtung umfassen, um den Standort des Knotens zu aktualisieren oder zu bestätigen.
Allgemeine Überlegungen
Wenn sie als Software umgesetzt werden, können beliebige der hier beschriebenen Anwendungen und Funktionen als Anweisungen in einem greifbaren, nicht vorübergehenden, computerlesbaren Speicher, wie etwa auf einer Magnetplatte, einer Laserplatte, einer Halbleiter-Speichervorrichtung, einer molekularen Speichervorrichtung oder einem anderen Speichermedium, in einem RAM oder ROM eines Computers oder Prozessors, usw. gespeichert werden. Obwohl die hier offenbarten beispielhaften Systeme offenbart werden, wie sie unter anderem Komponenten, Software und/oder Firmware umfassen, die auf Hardware ausgeführt werden, sei zu beachten, dass diese Systeme rein erläuternd sind und nicht als einschränkend anzusehen sind. Beispielsweise wird in Betracht gezogen, dass einige oder alle dieser Hardware-, Software- und Firmware-Komponenten ausschließlich als Hardware, ausschließlich als Software oder in einer beliebigen Kombination aus Hardware und Software umgesetzt werden könnten. Entsprechend wird der Fachmann, obwohl die hier beschriebenen beispielhaften Systeme als mit Software, die auf einem Prozessor einer oder mehrerer Rechenvorrichtungen ausgeführt wird, umgesetzt beschrieben werden, ohne Weiteres verstehen, dass die bereitgestellten Beispiele nicht die einzige Möglichkeit sind, um diese Systeme umzusetzen.
Obwohl die vorliegende Erfindung mit Bezug auf spezifische Beispiele beschrieben wurde, die dazu gedacht sind, rein erläuternd und nicht die Erfindung einschränkend zu sein, wird es für den Fachmann ersichtlich sein, dass Änderungen, Hinzufügungen oder Löschungen an den offenbarten Ausführungsformen vorgenommen werden können, ohne Geist und Umfang der Erfindung zu verlassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62564074 [0005]

Claims

Verfahren zum Steigern der Genauigkeit von Informationen für erweiterte Realität (AR), die einem Benutzer präsentiert werden, der in einer realen, kartierten Umgebung navigiert, wobei das Verfahren folgende Schritte umfasst: - Identifizieren, während der Benutzer in der kartierten Umgebung umhergeht, eines spezifischen Objekts innerhalb eines Blickfeldes einer Kamera einer mobilen Vorrichtung des Benutzers, wobei das Identifizieren des spezifischen Objekts Folgendes umfasst - Vorhersagen eines Objekttyps durch ein maschinelles Lern- (ML) Modell, das ein oder mehrere Bilder verarbeitet, die durch die Kamera aufgenommen werden, und - Identifizieren eines Knotens in einer Kartendatenbank, welche die kartierte Umgebung darstellt, die dem Objekttyp entspricht; - Abrufen eines Standorts, der mit dem Knoten verknüpft ist, aus der Kartendatenbank; - Verwenden des abgerufenen Standorts, um einen oder mehrere geschätzte Standorte der mobilen Vorrichtung zu aktualisieren oder zu bestätigen; und - Verursachen, dass digitale Informationen in eine reale Ansicht eingeblendet werden, die dem Benutzer über ein Display der mobilen Vorrichtung präsentiert wird, wobei die digitalen Informationen mindestens teilweise basierend auf den aktualisierten oder bestätigten ein oder mehreren geschätzten Standorten der mobilen Vorrichtung ausgewählt werden.
Verfahren nach Anspruch 1, wobei das Identifizieren des Knotens Folgendes umfasst: Identifizieren eines Knotens in der Kartendatenbank, der dem Objekttyp entspricht und in einer Schwellenentfernung von einem geschätzten Standort der mobilen Vorrichtung liegt, wobei der geschätzte Standort durch eine Inertialmesseinheit der mobilen Vorrichtung bestimmt wird; und/oder wobei das Identifizieren des Knotens Folgendes umfasst: Identifizieren eines Knotens in der Kartendatenbank, (i) der dem Objekttyp entspricht, (ii) der in einer Schwellenentfernung von einem geschätzten Standort der mobilen Vorrichtung liegt, und (iii) der gegenüber dem geschätzten Standort der mobilen Vorrichtung in einer Richtung versetzt ist, die es einem Objekt, das dem Knoten entspricht, ermöglicht, sich innerhalb des Blickfeldes der Kamera zu befinden, während sich die mobile Vorrichtung in einer bestimmten Orientierung befindet, wobei der geschätzte Standort und die bestimmte Orientierung unter Verwendung einer Inertialmesseinheit der mobilen Vorrichtung bestimmt werden.
Verfahren nach Anspruch 1 oder 2, wobei das Verwenden des abgerufenen Standorts des Knotens zum Aktualisieren oder Bestätigen eines oder mehrerer geschätzter Standorte der mobilen Vorrichtung Folgendes umfasst: Berechnen einer Differenz zwischen dem abgerufenen Standort des Knotens und einem geschätzten Standort der mobilen Vorrichtung, wobei der geschätzte Standort unter Verwendung einer Inertialmesseinheit der mobilen Vorrichtung bestimmt wird; und Verwenden der berechneten Differenz, um den geschätzten Standort der mobilen Vorrichtung anzupassen.
Verfahren nach einem der Ansprüche 1 bis 3, ferner umfassend: Bestimmen einer tatsächlichen Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt; und Bestimmen einer Orientierung der mobilen Vorrichtung, wobei das Verwenden des abgerufenen Standorts des Knotens zum Aktualisieren oder Bestätigen des einen oder der mehreren geschätzten Standorte der mobilen Vorrichtung das Verwenden (i) des abgerufenen Standorts des Knotens, (ii) der tatsächlichen Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt und (iii) der Orientierung der mobilen Vorrichtung zum Aktualisieren oder Bestätigen des einen oder der mehreren geschätzten Standorte umfasst; insbebesondere wobei das Bestimmen einer tatsächlichen Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt das Bestimmen der tatsächlichen Entfernung durch das Verarbeiten mindestens eines von dem einen oder den mehreren Bildern umfasst, die durch die Kamera aufgenommen werden, und/oder wobei das Bestimmen einer Orientierung der mobilen Vorrichtung das Bestimmen der Orientierung unter Verwendung von Daten, die durch eine Inertialmesseinheit der mobilen Vorrichtung generiert werden, umfasst.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das Identifizieren des spezifischen Objekts innerhalb des Blickfeldes der Kamera mindestens teilweise durch einen Server erfolgt, der mit der mobilen Vorrichtung kommunikationsmäßig gekoppelt ist; und/oder wobei das Identifizieren des spezifischen Objekts innerhalb des Blickfeldes der Kamera mindestens teilweise durch die mobile Vorrichtung erfolgt.
System zum Präsentieren genauer Informationen für erweiterte Realität (AR) für einen Benutzer, der in einer realen, kartierten Umgebung navigiert, wobei das System Folgendes umfasst: eine mobile Vorrichtung des Benutzers, wobei die mobile Vorrichtung eine Kamera und ein Display umfasst; und einen Server, der mit der mobilen Vorrichtung kommunikationsmäßig gekoppelt ist, wobei die mobile Vorrichtung konfiguriert ist, um die Kamera zu verwenden, um Bilder der kartierten Umgebung aufzunehmen, während der Benutzer in der kartierten Umgebung umhergeht, wobei die mobile Vorrichtung und/oder der Server konfiguriert sind zum Identifizieren eines spezifischen Objekts innerhalb eines Blickfeldes der Kamera, mindestens teilweise durch (i) Vorhersagen eines Objekttyps durch ein maschinelles Lern- (ML) Modell, das ein oder mehrere Bilder verarbeitet, die durch die Kamera aufgenommen werden, und (ii) Identifizieren eines Knotens, der dem Objekttyp entspricht, in einer Kartendatenbank, welche die kartierte Umgebung darstellt, Abrufen eines Standorts, der mit dem Knoten verknüpft ist, aus der Kartendatenbank, Verwenden des abgerufenen Standorts des Knotens, um einen oder mehrere geschätzte Standorte der mobilen Vorrichtung zu aktualisieren oder zu bestätigen, und Verursachen, dass digitale Informationen in einer realen Ansicht eingeblendet werden, die dem Benutzer über das Display der mobilen Vorrichtung präsentiert wird, wobei die digitalen Informationen mindestens teilweise basierend auf einem oder mehreren aktualisierten oder bestätigten geschätzten Standorte der mobilen Vorrichtung ausgewählt werden.
System nach Anspruch 6, wobei die mobile Vorrichtung eine Inertialmesseinheit umfasst, und wobei die mobile Vorrichtung und/oder der Server konfiguriert sind, um einen Knoten in der Kartendatenbank zu identifizieren, (i) der dem Objekttyp entspricht, (ii) der in einer Schwellenentfernung von einem geschätzten Standort der mobilen Vorrichtung liegt, und (iii) der gegenüber dem geschätzten Standort der mobilen Vorrichtung in einer Richtung versetzt ist, die es einem Objekt, das dem Knoten entspricht, erlaubt, sich innerhalb des Blickfeldes der Kamera zu befinden, während sich die mobile Vorrichtung in einer bestimmten Orientierung befindet, wobei der geschätzte Standort und die bestimmte Orientierung unter Verwendung der Inertialmesseinheit bestimmt werden.
System nach Anspruch 6 oder 7, wobei die Mobilvorrichtung und/oder der Server ferner konfiguriert sind zum: Bestimmen einer tatsächlichen Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt; und Bestimmen einer Orientierung der mobilen Vorrichtung, und wobei die Mobilvorrichtung und/oder der Server konfiguriert sind, um den abgerufenen Standort des Knotens zu verwenden, um den einen oder die mehreren geschätzten Standorte der mobilen Vorrichtung zu aktualisieren oder zu bestätigen, mindestens durch Verwenden (i) des abgerufenen Standorts des Knotens, (ii) der tatsächlichen Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt, und (iii) der Orientierung der mobilen Vorrichtung, um den einen oder die mehreren geschätzten Standorte zu aktualisieren oder zu bestätigen.
Verfahren zum Erleichtern der Erstellung einer Karte einer realen Prozessregelungsumgebung, wobei das Verfahren folgende Schritte umfasst: Verfolgen von Standorten der mobilen Vorrichtung, während der Benutzer in der kartierten Umgebung umhergeht; Aufnehmen, durch eine Kamera der mobilen Vorrichtung, von Bildern der kartierten Umgebung, während der Benutzer in der kartierten Umgebung umhergeht; Empfangen einer Angabe, dass der Benutzer beabsichtigt, einen Knoten zu der Karte hinzuzufügen; Bereitstellen eines oder mehrerer Bilder der aufgenommenen Bilder für ein maschinelles Lern- (ML) Modell, wobei das ML-Modell eingelernt wird, um Bilder zu verarbeiten, um Objekttypen zu erkennen; Vorhersagen, durch das ML-Modell, der Verarbeitung des einen oder der mehreren Bilder, eines Objekttyps, der einem spezifischen Objekt innerhalb eines Blickfeldes der Kamera entspricht; und Verursachen, dass ein Display der mobilen Vorrichtung in einer realen Ansicht, die dem Benutzer präsentiert wird, eine Angabe des vorhergesagten Objekttyps einblendet, um eine Bezeichnung durch den Benutzer eines Deskriptors für den neuen Knoten zu erleichtern.
Verfahren nach Anspruch 9, wobei das Empfangen der Angabe, dass der Benutzer beabsichtigt, den Knoten zu der Karte hinzuzufügen, das Empfangen einer Angabe umfasst, dass der Benutzer einen Befehl über die Mobilvorrichtung eingegeben hat; und/oder wobei das Verfolgen der Standorte der mobilen Vorrichtung das Verfolgen der Standorte der mobilen Vorrichtung unter Verwendung einer Inertialmesseinheit der mobilen Vorrichtung umfasst.
Verfahren nach Anspruch 9 oder 10, wobei: das Vorhersagen des Objekttyps, der dem spezifischen Objekt entspricht, das Vorhersagen einer Vielzahl von möglichen Objekttypen umfasst, die dem spezifischen Objekt möglicherweise entsprechen; und das Verursachen, dass das Display der mobilen Vorrichtung die Angabe des vorhergesagten Objekttyps einblendet, das Verursachen umfasst, dass das Display in der realen Ansicht, die dem Benutzer präsentiert wird, eine Angabe der vorhergesagten Vielzahl von möglichen Objekttypen einblendet.
Verfahren zum Aktualisieren von Knotenstandorten in einer realen, kartierten Umgebung, wobei das Verfahren folgende Schritte umfasst: Verfolgen von Standorten einer mobilen Vorrichtung, während ein Benutzer der mobilen Vorrichtung in der kartierten Umgebung umhergeht; Aufnehmen, durch eine Kamera der mobilen Vorrichtung, von Bildern der kartierten Umgebung, während der Benutzer in der kartierten Umgebung umhergeht; Identifizieren eines spezifischen Objekts innerhalb eines Blickfeldes der Kamera, wobei das Identifizieren des spezifischen Objekts Folgendes umfasst: Vorhersagen eines Objekttyps durch ein maschinelles Lern- (ML) Modell, das ein oder mehrere der aufgenommenen Bilder verarbeitet, und Identifizieren eines Knotens, der dem Objekttyp entspricht, in einer Kartendatenbank, welche die kartierte Umgebung darstellt; und Verwenden eines verfolgten Standorts der mobilen Vorrichtung, um einen Standort des Knotens, der in der Kartendatenbank gespeichert ist, zu aktualisieren oder zu bestätigen.
Verfahren nach Anspruch 12, wobei das Verwenden des verfolgten Standorts der mobilen Vorrichtung, um den Standort des Knotens, der in der Kartendatenbank gespeichert ist, zu aktualisieren oder zu bestätigen, Folgendes umfasst: Verwenden (i) des verfolgten Standorts der mobilen Vorrichtung, und (ii) von verfolgten Standorten einer oder mehrerer anderer mobiler Vorrichtungen, um den Standort des Knotens, der in der Kartendatenbank gespeichert ist, zu aktualisieren oder zu bestätigen; und/oder wobei das Verfolgen von Standorten der mobilen Vorrichtung, während der Benutzer in der kartierten Umgebung umhergeht, das Verfolgen der Standorte der mobilen Vorrichtung unter Verwendung einer Inertialmesseinheit der mobilen Vorrichtung umfasst.
Verfahren nach Anspruch 12 oder 13, ferner umfassend: Bestimmen einer tatsächlichen Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt; und Bestimmen einer Orientierung der mobilen Vorrichtung, wobei das Verwenden des verfolgten Standorts der mobilen Vorrichtung, um den Standort des Knotens, der in der Kartendatenbank gespeichert ist, zu aktualisieren oder zu bestätigen, das Verwenden (i) des verfolgten Standorts der mobilen Vorrichtung, (ii) der tatsächlichen Entfernung zwischen der mobilen Vorrichtung und dem spezifischen Objekt und (iii) der Orientierung der mobilen Vorrichtung umfasst, um den Standort des Knotens, der in der Kartendatenbank gespeichert ist, zu aktualisieren oder zu bestätigen.
Computer-lesbares Speichermedium, welches Instruktionen enthält, die bei Ausführung durch mindestens einen Prozessor diesen mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 5 und/oder 9 bis 14 zu implementieren.