DE102018217032A1 - Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität - Google Patents

Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität Download PDF

Info

Publication number
DE102018217032A1
DE102018217032A1 DE102018217032.0A DE102018217032A DE102018217032A1 DE 102018217032 A1 DE102018217032 A1 DE 102018217032A1 DE 102018217032 A DE102018217032 A DE 102018217032A DE 102018217032 A1 DE102018217032 A1 DE 102018217032A1
Authority
DE
Germany
Prior art keywords
augmented reality
client device
bubble
arb
annotations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018217032.0A
Other languages
English (en)
Inventor
Asa MacWilliams
Peter Schopf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102018217032.0A priority Critical patent/DE102018217032A1/de
Priority to US17/282,272 priority patent/US20210390305A1/en
Priority to EP19739948.8A priority patent/EP3834102A1/de
Priority to PCT/EP2019/067829 priority patent/WO2020069780A1/en
Priority to BR112021004985-1A priority patent/BR112021004985A2/pt
Priority to CN201980065540.9A priority patent/CN112753030A/zh
Publication of DE102018217032A1 publication Critical patent/DE102018217032A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

Verfahren zur Bereitstellung von Anmerkungen im Zusammenhang mit einer Position oder im Zusammenhang mit einem Objekt in der erweiterten Realität AR, wobei das Verfahren die Schritte des Abrufens durch ein Client-Gerät eines Benutzers einer Kandidatenliste CL verfügbarer Blasen ARB der erweiterten Realität für die Position und/oder das Objekt als Reaktion auf eine Abfrage Q auf der Basis einer ungefähren Geolokation des Client-Geräts und/oder auf der Basis von Benutzerinformationsdaten; des Auswählens mindestens einer Blase ARB der erweiterten Realität aus der abgerufenen Kandidatenliste CL verfügbarer Blasen der erweiterten Realität; des Ladens einer präzisen lokalen Karte und eines Satzes von Anmerkungen für jede ausgewählte Blase ARB der erweiterten Realität durch das abfragende Client-Gerät von einer Datenbank und eines genauen Verfolgens des Client-Geräts innerhalb der ausgewählten Blase ARB der erweiterten Realität unter Verwendung der geladenen präzisen lokalen Karte der Blase ARB der erweiterten Realität zur Bereitstellung von Anmerkungen in der erweiterten Realität an exakten Standorten des verfolgten Client-Geräts umfasst.

Description

  • Die erweiterte Realität (augmented reality, AR) bietet einem Benutzer ein interaktives Erlebnis in einer realen Umgebung. In der realen Umgebung vorhandene Objekte werden durch computergenerierte Informationen erweitert. Die angezeigten überlagerten Informationen können in der erweiterten Realität so mit der physischen realen Welt verwoben werden, dass sie vom Benutzer als immersiver Aspekt der realen Umgebung wahrgenommen werden. Die erweiterte Realität kann verwendet werden, um natürliche Umgebungen oder Situationen zu erweitern und dem Benutzer oder der Bedienperson wahrnehmungsmäßig angereicherte Erfahrungen zu bieten. Mithilfe moderner Technologien der erweiterten Realität können Informationen über die umgebende reale Umgebung des Benutzers interaktiv und vom Benutzer manipuliert werden. In der erweiterten Realität wird die reale Welt mit Informationen über die Umgebung und ihre Objekte überlagert. Die angezeigten Informationen können virtuell oder real sein, indem sie beispielsweise ermöglichen, andere real erfasste oder gemessene Informationen wie elektromagnetische Funkwellen wahrzunehmen, die in exakter Ausrichtung dort überlagert werden, wo sie sich tatsächlich im Raum befinden. Erweiterungstechniken werden typischerweise in Echtzeit und in einem semantischen Zusammenhang mit Umgebungselementen oder -objekten ausgeführt.
  • In vielen Anwendungsfällen müssen Anmerkungen in der erweiterten Realität relativ zu einer spezifischen Position oder einem spezifischen Objekt in der physischen realen Welt platziert werden. Andere Benutzer möchten diese Informationen später abrufen, ansehen oder bearbeiten, wenn sie sich in der Nähe des jeweiligen Orts oder Objekts befinden.
  • Für das Erstellen des Inhalts der erweiterten Realität und später das Abrufen des Inhalts der erweiterten Realität existieren viele verschiedene Ansätze. Diese herkömmlichen Ansätze umfassen eine markerbasierte erweiterte Realität, bei der Inhalt der erweiterten Realität in einer dreidimensionalen grafischen Programmierumgebung erstellt und mit einem zweidimensionalen visuellen Marker verankert wird. Der Inhalt der erweiterten Realität wird dann abgerufen, wenn dieser zweidimensionale visuelle Marker sich innerhalb einer Kamera eines von einem Benutzer gehandhabten Client-Geräts befindet. Die markerbasierte erweiterte Realität wird typischerweise für Marketing-Apps mit erweiterter Realität verwendet, um beispielsweise dreidimensionale Modelle auf einer Zeitungsanzeige zu platzieren.
  • Ein anderer herkömmlicher Ansatz ist die objektbasierte erweiterte Realität. Der Inhalt der erweiterten Realität wird in einer dreidimensionalen grafischen Programmierumgebung erstellt und dann mit einem dreidimensionalen computergestützten Konstruktions- (computer-aided design, CAD-)Datenmodell verankert. Der Inhalt der erweiterten Realität wird abgerufen, wenn das reale Objekt von einem Client-Gerät detektiert wird, wobei ein modellbasierter Verfolgungsansatz verwendet wird. Die objektbasierte erweiterte Realität wird oft für Wartungsanwendungen in einer industriellen Umgebung verwendet. Ein anderer herkömmlicher Ansatz ist die georeferenzierte erweiterte Realität. Der Inhalt der erweiterten Realität wird erzeugt und dann in einem geografisch referenzierten Inhalt abgefragt. Ein weiterer herkömmlicher Ansatz besteht darin, Hologramme, bei denen es sich im Grunde um dreidimensionale Modelle handelt, innerhalb einer erweiterten Realität zu platzieren, die ein Client-Gerät eines Benutzers erkennen kann. Später, wenn ein anderer Benutzer dasselbe Client-Gerät am selben Ort verwendet, kann eine HoloLens den Ort basierend auf der dreidimensionalen Rekonstruktion der Umgebung erkennen und das Hologramm am selben Ort zeigen.
  • Anmerkungen in der erweiterten Realität betreffen hauptsächlich einen spezifischen Ort (Position) und/oder ein spezifisches Objekt (Ding) in der physischen Welt. Die Geolokation eines Client-Geräts erfolgt üblicherweise durch eine Geolokationdetektions- oder Geolokationbestimmungseinheit, die in das Client-Gerät integriert ist, wie ein GPS-Empfänger, der GPS-Satellitensignale von GPS-Satelliten empfängt, um einen aktuellen Standort des Client-Geräts zu bestimmen. Die von einer herkömmlichen Geolokationdetektionseinheit bereitgestellte Geolokation ist in vielen Anwendungen jedoch nicht ausreichend genau und exakt. Insbesondere ermöglicht es die herkömmliche Geolokation in einer technologischen Umgebung wie einer Fabrik, die Maschinen mit komplexen Subkomponenten umfasst, nicht, einem Benutzer Anmerkungen an exakten Standorten bereitzustellen. Darüber hinaus funktionieren die Geolokationsdetektionseinheiten innerhalb von Gebäuden möglicherweise nicht, sodass sie die Geolokation oder den exakte Standort des Client-Geräts innerhalb eines Gebäudes wie einer Fabrik nicht mit ausreichender Präzision bereitstellen können.
  • Demgemäß besteht eine Aufgabe der vorliegenden Erfindung in der Bereitstellung eines Verfahrens und einer Vorrichtung zur präzisen Bereitstellung von Anmerkungen an exakten Standorten.
  • Diese Aufgabe wird gemäß einem Verfahren gelöst, das die Merkmale von Anspruch 1 umfasst.
  • Gemäß einem ersten Aspekt macht die Erfindung ein Verfahren zur Bereitstellung von Anmerkungen im Zusammenhang mit einer Position oder einem Objekt in der erweiterten Realität verfügbar, wobei das Verfahren die folgenden Schritte umfasst: das Abrufen durch ein Client-Gerät eines Benutzers einer Kandidatenliste verfügbarer Blasen der erweiterten Realität für die Position und/oder das Objekt als Reaktion auf eine Abfrage auf der Basis einer ungefähren Geolokation des Client-Geräts und/oder auf der Basis von Benutzerinformationsdaten, das Auswählen mindestens einer Blase der erweiterten Realität aus der abgerufenen Kandidatenliste verfügbarer Blasen der erweiterten Realität,
    das Laden einer präzisen lokalen Karte und eines Satzes von Anmerkungen für jede ausgewählte Blase der erweiterten Realität durch das abfragende Client-Gerät aus einer Datenbank und
    die Durchführung einer genauen Verfolgung des Client-Geräts innerhalb der ausgewählten Blase der erweiterten Realität unter Verwendung der geladenen präzisen lokalen Karte der jeweiligen Blase der erweiterten Realität, um Anmerkungen in der erweiterten Realität an exakten Standorten des verfolgten Client-Geräts bereitzustellen.
  • Die durch das Verfahren gemäß der vorliegenden Erfindung bereitgestellten Anmerkungen können einen Benutzer dabei unterstützen, Aktionen an exakten Standorten durchzuführen, und es erhöht die Genauigkeit dieser Aktionen.
  • In einer möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung kann die Auswahl wenigstens einer Blase der erweiterten Realität aus einer abgerufenen Kandidatenliste von verfügbaren Blasen der erweiterten Realität automatisch erfolgen.
  • In einer möglichen Ausführungsform umfasst die Auswahl mindestens einer Blase der erweiterten Realität aus der abgerufenen Kandidatenliste verfügbarer Blasen der erweiterten Realität
    das Erfassen von Bildern und/oder Geräuschen der Umgebung des Client-Geräts,
    das Verarbeiten der erfassten Bilder und/oder erfassten Geräusche, um Markierungen im Vergleich zu vordefinierten Blasenidentifikationsmarkierungen zu extrahieren, die mit den Blasen der erweiterten Realität der abgerufenen Kandidatenliste im Zusammenhang stehen, und
    das Bestimmen relevanter Blasen der erweiterten Realität der abgerufenen Kandidatenliste in Abhängigkeit von den Vergleichsergebnissen.
  • In noch einer möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung kann die Auswahl wenigstens einer Blase der erweiterten Realität aus der abgerufenen Kandidatenliste von verfügbaren Blasen der erweiterten Realität als Reaktion auf einen Benutzereingabebefehl erfolgen, mit dem eine Blase der erweiterten Realität auf der Basis von Namen von verfügbaren Blasen der erweiterten Realität ausgewählt wird, die dem Benutzer auf einem Display einer Benutzerschnittstelle des Client-Geräts angezeigt werden.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst die vom Client-Gerät geladene lokale Karte eine Karte mit lokalen Merkmalen, insbesondere eine SLAM- (simultane Positionsbestimmungs- und Kartenerstellungs-)Karte und/oder ein computergestütztes Konstruktions- (CAD-)Modell eines Objekts innerhalb der ausgewählten Blase der erweiterten Realität.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung wird die ungefähre Geolokation des Client-Geräts mittels einer Geolokationsdetektionseinheit des Client-Geräts detektiert.
  • In einer möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung ist die Geolokationsdetektionseinheit des Client-Geräts dahingehend angepasst, dass sie die ungefähre Geolokation des Client-Geräts als Reaktion von Signalen bestimmt, die von der Geolokationsdetektionseinheit von externen Signalquellen einschließlich GPS-Satelliten und/oder WLAN-Stationen empfangen werden.
  • In einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung werden die Anmerkungen der verfolgten exakten gegenwärtigen Position des Client-Geräts mittels einer Benutzerschnittstelle des Client-Geräts an einen Benutzer oder eine Bedienperson ausgegeben.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung umfassen die Anmerkungen statische Anmerkungen einschließlich schriftlichen Anmerkungen, akustischen Anmerkungen und/oder visuellen Anmerkungen (einschließlich VR-Erfahrungen) im Zusammenhang mit einer Position und/oder im Zusammenhang mit einem physischen Objekt.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung umfassen die Anmerkungen Links zu Quellen, die statische Anmerkungen und/oder dynamische Live-Anmerkungen einschließlich Datenströmen bereitstellen.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung stehen die Anmerkungen mit unterschiedlichen digitalen Anmerkungsebenen im Zusammenhang, die gemäß Benutzerinformationsdaten einschließlich Benutzerzugriffsrechten und/oder Benutzeraufgaben wählbar und/oder gefiltert sind.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung wird jede Blase der erweiterten Realität durch einen Datensatz repräsentiert, der in einer Datenbank einer Plattform gespeichert ist, wobei der Datensatz Folgendes umfasst:
    • einen Blasennamen der Blase der erweiterten Realität,
    • einen Ankerpunkt, der einer Position zugeordnet und/oder einem Objekt zugeordnet ist und globale Koordinaten eines globalen Koordinatensystems aufweist,
    • eine präzise lokale räumliche Karte, die innerhalb einer Kugel der Blase der erweiterten Realität Verfolgungsdaten umfasst, die für eine genaue Verfolgung von Client-Geräten innerhalb der Kugel verwendet werden und lokale Koordinaten eines lokalen Koordinatensystems rund um den Ankerpunkt der Blase der erweiterten Realität aufweisen,
    • Anmerkungen im Zusammenhang mit Positionen und/oder Objekten innerhalb der Kugel der Blase der erweiterten Realität und Blasenidentifikationsmarkierungen, die zur Identifizierung der Blase der erweiterten Realität durch einen Vergleich mit extrahierten Markierungen verwendet werden.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung umfassen die Blasenidentifikationsmarkierungen eines Datensatzes einer Blase der erweiterten Realität detektierbare Merkmale innerhalb der Kugel der Blase der erweiterten Realität einschließlich Textmerkmalen, akustischen Merkmalen und/oder visuellen Merkmalen innerhalb einer Umgebung der Kugel der Blase der erweiterten Realität.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung werden Bilder und/oder Geräusche in der Umgebung des Client-Geräts durch Sensoren des Client-Geräts erfasst und von einem Markierungserkennungsalgorithmus oder von einem trainierten neuronalen Netzwerk verarbeitet, um sie zu klassifizieren und Markierungen zum Vergleich mit vordefinierten Blasenidentifikationsmarkierungen zu extrahieren.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung wird die Abfrage über eine Benutzerschnittstelle des Client-Geräts eingegeben und über ein lokales und/oder globales Netzwerk an einen Server mit einer Suchmaschine weitergeleitet, der als Reaktion auf eine empfangene Abfrage Blasen der erweiterten Realität bestimmt, die an der detektierten ungefähren Geolokation des abfragenden Client-Geräts verfügbar sind, und die Kandidatenliste verfügbarer Blasen der erweiterten Realität an das abfragende Client-Gerät zurücksendet.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung basiert die genaue Verfolgung des Client-Geräts innerhalb einer Kugel einer ausgewählten Blase der erweiterten Realität, bei der die geladene präzise lokale Karte der jeweiligen Blase der erweiterten Realität verwendet wird, auf Grundmerkmalen, die aus Bildern und/oder Geräuschen extrahiert werden, die von Sensoren des Client-Geräts erfasst werden.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung werden die Anmerkungen im Zusammenhang mit einer Position und/oder einem Objekt von einem Benutzer mittels einer Benutzerschnittstelle eines Client-Geräts des jeweiligen Benutzers erstellt und/oder bearbeitet und/oder einer spezifischen digitalen Ebene zugewiesen.
  • In noch einer weiteren möglichen Ausführungsform des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung umfassen die Objekt physische Objekte einschließlich unbeweglicher Objekte, die sich in der realen Umgebung an festen Positionen befinden, oder beweglicher Objekte, die in der realen Umgebung beweglich sind und variable Positionen aufweisen.
  • Gemäß einem weiteren Aspekt macht die Erfindung weiterhin ein System zur Bereitstellung von Anmerkungen im Zusammenhang mit Positionen und/oder im Zusammenhang mit Objekten in der erweiterten Realität verfügbar, das die Merkmale nach Anspruch 16 umfasst.
  • Das System gemäß dem zweiten Aspekt umfasst Client-Geräte, die über ein lokales Netzwerk und/oder ein Fernnetz mit einem Server verbunden sind, der so angepasst ist, dass er als Reaktion auf eine Abfrage, die von einem abfragenden Client-Gerät eines Benutzers empfangen wird, eine Kandidatenliste von verfügbaren Blasen der erweiterten Realität basierend auf einer ungefähren Geolokation des abfragenden Client-Geräts und/oder basierend auf Benutzerinformationsdaten abruft und zur Auswahl wenigstens einer Blase der erweiterten Realität aus der zurückgesendeten Kandidatenliste die abgerufene Kandidatenliste an das abfragende Client-Gerät des Benutzers zurücksendet, wobei innerhalb der ausgewählten Blase der erweiterten Realität von dem zur Verfolgung des Client-Geräts verwendeten Client-Gerät eine präzise lokale Karte und ein Satz von Anmerkungen für jede ausgewählte Blase der erweiterten Realität von einer Datenbank des Servers geladen wird, und um Anmerkungen in der erweiterten Realität an exakten Standorten des verfolgten Client-Geräts bereitzustellen.
  • In einer möglichen Ausführungsform des Systems gemäß dem zweiten Aspekt der vorliegenden Erfindung umfasst das Client-Gerät einen Prozessor, der so angepasst ist, dass er erfasste Bilder und/oder erfasste Geräusche aus der Umgebung des Client-Geräts automatisch verarbeitet, um automatisch Markierungen zu extrahieren, die mit vordefinierten Markierungen im Zusammenhang mit verfügbaren Blasen der erweiterten Realität verglichen werden, wobei die extrahierten Markierungen mit vordefinierten Blasenidentifikationsmarkierungen verglichen werden, die mit den Blasen der erweiterten Realität der abgerufenen Kandidatenliste im Zusammenhang stehen, um aus den abgerufenen Kandidatenlisten die relevanteste Blase der erweiterten Realität automatisch zu bestimmen.
  • Nachfolgend sind mögliche Ausführungsformen der verschiedenen Aspekte der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Figuren ausführlicher beschrieben.
    • 1 zeigt ein schematisches Blockschaltbild zur Veranschaulichung einer möglichen beispielhaften Ausführungsform eines Verfahrens und einer Vorrichtung gemäß der vorliegenden Erfindung;
    • 2 zeigt ein Ablaufdiagramm einer möglichen Ausführungsform eines Verfahrens zur Bereitstellung von Anmerkungen nach einem Aspekt der vorliegenden Erfindung;
    • 3 zeigt ein Signalisierungsdiagramm zur Veranschaulichung einer möglichen beispielhaften Ausführungsform eines Verfahrens und einer Vorrichtung gemäß der vorliegenden Erfindung;
    • 4 zeigt ein schematisches Diagramm zur Veranschaulichung eines möglichen beispielhaften Anwendungsfalls für ein Verfahren und eine Vorrichtung gemäß der vorliegenden Erfindung;
    • 5 zeigt ein schematisches Diagramm zur Veranschaulichung eines weiteren möglichen beispielhaften Anwendungsfalls für ein Verfahren und eine Vorrichtung gemäß der vorliegenden Erfindung.
  • Wie aus dem Blockschaltbild von 1 ersichtlich ist, macht die Erfindung gemäß einem Aspekt ein System 1 zur Bereitstellung von Anmerkungen im Zusammenhang mit Positionen und/oder im Zusammenhang mit einem Objekt in der erweiterten Realität verfügbar. Das System 1 umfasst eine Netzwerk-Cloud 2 mit lokalen Netzwerken und/oder Fernnetzen, die Client-Geräte 3 mit wenigstens einem Server 4 verbinden, der eine Suchmaschine 5 umfasst. Die Suchmaschine 5 des Servers 4 kann Zugriff auf eine zentrale Datenbank 6 oder verteilte Datenbanken 6 haben. Das System 1 kann eine Mehrzahl von verschiedenen Client-Geräten 3 umfassen, die direkt oder indirekt (Router, Edge-Gerät) über Kabel- oder drahtlose Verbindungen mit der Netzwerk-Cloud 2 verbunden sind. Die Client-Geräte 3 für die erweiterte Realität können beispielsweise Smartphones, Tablets oder Client-Geräte mit Kopfanzeigen umfassen. Die Client-Geräte 3 umfassen eine Fernnetzanbindung. Das Client-Gerät 3 kann sensorische Sensor-Hardware, insbesondere eine Kamera 7 und/oder ein Mikrofon 8, umfassen, wie in 1 veranschaulicht ist. Die Sensoren 7, 8 des Client-Geräts 3 können eine Verarbeitungseinheit 9 des Client-Geräts 3 mit Sensordaten versorgen. Die Kamera 7 des Client-Geräts 3 ist so angepasst, dass sie Bilder der Umgebung des Client-Geräts erfasst. Das Mikrofon 8 ist so angepasst, dass es Geräusche der Umgebung des Client-Geräts 3 erfasst. Das Client-Gerät 3 umfasst in der veranschaulichten Ausführungsform eine Kommunikationsschnittstelle 10 zur Verbindung des Client-Geräts 3 mit der Netzwerk-Cloud 2 über eine drahtlose oder Kabel-Datenverbindung. Das Client-Gerät 3 umfasst weiterhin eine Benutzerschnittstelle 11, um einem Benutzer U Informationen anzuzeigen und/oder Benutzereingabebefehle zu empfangen. In der veranschaulichten Ausführungsform von 1 umfasst das Client-Gerät 3 weiterhin eine Geolokationsdetektionseinheit 12. Die Geolokationsdetektionseinheit 12 macht eine ungefähre Geolokation des Client-Geräts 3 verfügbar. Die Geolokationsdetektionseinheit 12 des Client-Geräts 3 ist so angepasst, dass sie die ungefähre Geolokation des Client-Geräts 3 als Reaktion auf Signale bestimmt, die von einem Empfänger des Client-Geräts 3 von externen Signalquellen empfangen werden. Diese externen Signalquellen können GPS-Satelliten, die GPS-Satellitensignale an die Geolokationsdetektionseinheit 12 des Client-Geräts 3 senden, und/oder WLAN-Signale übertragende WLAN-Stationen einschließen. Das Client-Gerät 3 kann einen GPS-Empfänger, eine WLAN-basierte oder ähnliche Geolokationsdetektionseinheit 12 enthalten. Die Geolokationsdetektionseinheit 12 ermöglicht, dass das Client-Gerät 3 seine Position mit einer bestimmten (relativ geringen) Genauigkeit von etwa 5 Meter im Freien und 50 Meter in Gebäuden bestimmt. Die Geolokationsdetektionseinheit 12 kann in das Client-Gerät 3, wie in 1 veranschaulicht ist, oder in ein anderes mit dem Client-Gerät 3 verbundenes Gerät integriert sein. Wenn das Client-Gerät 3 beispielsweise keine Geolokationsdetektionseinheit umfasst, kann es mit einem anderen Gerät mit einer Geolokationsdetektionseinheit 12 verbunden sein. Bei diesem externen Gerät kann es sich beispielsweise um ein Smartphone handeln, das als mobiler Hotspot betrieben wird und einen GPS-Empfänger umfasst.
  • Das Client-Gerät 3 umfasst eine Kamera 7, die dazu geeignet ist, Fotografien oder Bilder der Umgebung aufzunehmen, die an die Verarbeitungseinheit 9 des Client-Geräts 3 weitergeleitet werden können. Die Verarbeitungseinheit 9 umfasst wenigstens einen Mikroprozessor, der in einer möglichen Ausführungsform einen Bilderkennungsalgorithmus ausführen kann, um Bilderkennungsaufgaben durchzuführen. Alternativ können die von der Kamera 7 des Client-Geräts 3 erzeugten Bilder auch über die Netzwerk-Cloud 2 zum Server 4 mit einem Prozessor gesendet werden, der zur Durchführung der erforderlichen Bilderkennungsaufgabe angepasst ist. Auf eine ähnliche Weise können die von der Kamera 8 erfassten Geräusche entweder von einem in die Verarbeitungseinheit 9 des Client-Geräts integrierten Mikroprozessor oder von einem Prozessor des Remoteservers 4 verarbeitet werden. Das Client-Gerät 3 umfasst die Kamera 7, einen Bildschirm und/oder geeignete sensorische Hardware, um in der erweiterten Realität eine Wechselwirkung mit dem Benutzer U zu ermöglichen. Ein Speicher des Client-Geräts 3 kann ausführbare Software umfassen, die dazu fähig ist, eine lokale SLAM (simultane Positionsbestimmung und Kartenerstellung) für die erweiterte Realität durchzuführen. Ein Beispiel kann ein iPhone von Apple mit ARKit 2 oder der HoloLens von Microsoft einschließen. Die SLAM-Software kann eine dreidimensionale SLAM-Karte lokaler optischer Merkmale der Umgebung des Client-Geräts oder der realen Welt erzeugen und diese Karte auf dem Server 4 speichern. Weiterhin kann die Software so angepasst werden, dass sie eine Karte zuvor gespeicherter Merkmale von der Datenbank 6 des Servers 4 abruft und die abgerufenen Merkmale für eine präzise Verfolgung des Client-Geräts 3 verwendet. Die Größe der LMAP der Karte mit lokalen Merkmalen kann auf einen bestimmten dreidimensionalen Bereich beschränkt sein. Dieser dreidimensionale Bereich oder diese Blase kann in einer möglichen Implementierung eine Größe von etwa 10 x 10 x 10 Meter umfassen. Die Größe der lokalen Karte kann der ungefähren Größe unterschiedlicher Räume innerhalb eines Gebäudes entsprechen. Die Größe der LMAP der Karte mit lokalen Merkmalen kann in Abhängigkeit vom Anwendungsfall variieren. Im System 1 gemäß der vorliegenden Erfindung, das in 1 veranschaulicht ist, ist das Client-Gerät 3 dazu fähig, Anmerkungen in der erweiterten Realität AR über die Benutzerschnittstelle 11 einem Benutzer oder einer Bedienperson U anzuzeigen oder an diese(n) auszugeben. Das Client-Gerät 3 kann diese Anmerkungen ANN vom Server 4 abrufen und die abgerufene Anmerkung mittels der Benutzerschnittstelle 11 dem Benutzer U anzeigen und/oder von ihm abhören lassen. Diese Anmerkungen ANN können Sprache (Audio und Sprache zu Text), schwebende dreidimensionale Modelle wie Pfeile, Zeichnungen, Fotografien und/oder Videos umfassen, die vom Client-Gerät 3 erfasst sind, und/oder andere Dokumente sein. Die Anmerkungen können statische Anmerkungen und/oder dynamische Live-Anmerkungen umfassen. Die statischen Anmerkungen können im Allgemeinen Textanmerkungen, akustische Anmerkungen und/oder visuelle Anmerkungen im Zusammenhang mit einer Position und/oder im Zusammenhang mit einem Objekt umfassen. Anmerkungen können auch Links zu Quellen umfassen, die statische Anmerkungen oder dynamische Live-Anmerkungen einschließlich Datenströmen bereitstellen.
  • Anmerkungen ANN können Daten und/oder Datenströme umfassen, die von anderen Systemen wie einem SCADA-System bereitgestellt werden. In einer möglichen Ausführungsform ist das Client-Gerät 3 entweder über ein lokales Netzwerk mit einem lokalen Steuergerät oder einem Edge-Gerät oder über eine Cloud mit einer Live-IoT-Datenaggregationsplattform verbindbar. Anmerkungen können Links zu Live-Datenströmen, z. B. ein Diagramm von einem Temperatursensor enthalten, der sich innerhalb einer Maschine oder eines Objekts befindet. Anmerkungen können in logische digitale Ebenen L gegliedert sein. Eine Ebene L ist eine Gruppe von Anmerkungen, die für bestimmte Typen von Benutzern U zu bestimmten Zeiten relevant sind, beispielsweise Wartungsinformationen, Konstruktionsinformationen, Touristeninformationen oder Gebrauchsinformationen. Ein Benutzer U kann zwischen verschiedenen digitalen Ebenen L von Anmerkungen auswählen, die ihm über die Benutzerschnittstelle 11 angezeigt werden sollen. Die Anmerkungen stehen mit verschiedenen digitalen Anmerkungsebenen L im Zusammenhang, die mittels der Benutzerschnittstelle 11 ausgewählt werden können, die mit Filterungsalgorithmen gefiltert werden kann. Die Auswahl von digitalen Anmerkungsebenen kann auf der Basis von Benutzerinformationsdaten erfolgen, die Benutzerzugriffsrechte der Benutzer und/oder gespeicherte Benutzeraufgaben der jeweiligen Benutzer einschließen. Es ist möglich, dass ein Benutzer Anmerkungen generieren oder erstellen kann, die mit Objekten und/oder Positionen verbunden sind, und die erstellten Anmerkungen unterschiedlichen digitalen Ebenen L in Abhängigkeit von der vorgesehen Verwendung zuweisen kann. In einer möglichen Ausführungsform kann der Benutzer den Zugriff auf die jeweiligen digitalen Ebenen L für andere Benutzer verwalten, wodurch andere Benutzer auf die von ihnen erstellen Anmerkungen zugreifen können.
  • Die verschiedenen Client-Geräte 3 sind über die Netzwerk-Cloud 2 mit wenigstens einem Server 4 verbunden, wie in 1 dargestellt ist. Der Server 4 kann einen Cloud-Server oder einen lokalen oder Edge-Server umfassen. Der Server 4 hat Zugriff auf eine Datenbank 6, um Daten für die verschiedenen Clients zu speichern. Die Datenbank 6 kann sogenannte Blasen der erweiterten Realität, ARBs, speichern, die durch dazugehörige Datensätze repräsentiert sind. Ein Datensatz einer Blase ARB der erweiterten Realität kann in einer möglichen Ausführungsform einen Blasennamen der jeweiligen Blase der erweiterten Realität, einen Ankerpunkt, der einer Position zugeordnet und/oder einem Objekt zugeordnet ist und globale Koordinaten eines globalen (weltweiten) Koordinatensystems aufweist, umfassen. Der Datensatz umfasst weiterhin eine präzise lokale räumliche Karte wie eine SLAM-Karte, die innerhalb einer Kugel der Blase ARB der erweiterten Realität Verfolgungsdaten umfasst, die für eine genaue Verfolgung von Client-Geräten 3 innerhalb der Kugel verwendet werden und lokale Koordinaten eines lokalen Koordinatensystems rund um den Ankerpunkt der Blase der erweiterten Realität aufweisen. Die lokalen Koordinaten sind genau und präzise. Die lokale Koordinate kann eine Position mit einer hohen Genauigkeit von wenigen cm und sogar wenigen mm angeben. Der Datensatz umfasst Anmerkungen ANN im Zusammenhang mit Positionen und/oder Objekten innerhalb der Kugel der Blase der erweiterten Realität und Blasenidentifikationsmarkierungen, die zur Identifizierung der Blase der erweiterten Realität durch einen Vergleich mit extrahierten Markierungen verwendet werden. Die Blase ARB der erweiterten Realität umfasst in Abhängigkeit von der Technologie eine Kugel oder einen Bereich oder eine Zone mit einem Durchmesser mit einer Größe von z. B. etwa 10 Meter. Die Größe der ARB kann in Abhängigkeit von der implementierten Technologie und/oder auch vom Anwendungsfall variieren. Sie könnte einen einzelnen Raum oder eine komplette Produktionsetage in einem Gebäude abdecken. Die Blase der erweiterten Realität kann eine Kugelform, aber auch andere geometrische Formen (z. B. kubisch) aufweisen. Die Blase ARB der erweiterten Realität kann eine feste oder variierende geografische Position umfassen, die durch ihre Geolokationskoordinaten definiert ist. Die Blase ARB der erweiterten Realität kann einen benutzerfreundlichen Namen umfassen, der vom Benutzer U eingegeben worden ist, der die jeweilige Blase ARB der erweiterten Realität erstellt hat. Ein typischer Name für eine Blase ARB der erweiterten Realität kann beispielsweise „Maschinenraum 33“ sein. Der in der Datenbank 6 gespeicherte Datensatz der Blase der erweiterten Realität umfasst weiterhin eine vom Client-Gerät 3 erzeugte räumliche SLAM-Karte, um eine präzise Verfolgung zu ermöglichen. Der Datensatz umfasst weiterhin Verweise auf zusätzliche Informationen, die den Client-Geräten 3 ermöglichen, ihn leichter zu identifizieren. Beispielsweise kann der Datensatz der Blase der erweiterten Realität Blasenidentifikationsmarkierungen BIT umfassen, die zur Identifizierung der Blase der erweiterten Realität durch einen Vergleich mit extrahierten Markierungen verwendet werden. Diese Blasenidentifikationsmarkierungen BITs können beispielsweise Textinformationen wie eine Raumnummer umfassen, die mittels einer Texterkennung auf Fotos detektiert werden kann, die von der Kamera 7 des Client-Geräts 3 erfasst werden. Die Blasenidentifikationsmarkierungen BITs können weiterhin beispielsweise eine Barcode-ID oder andere wichtige Merkmale umfassen, die mittels Bilderkennung detektiert werden können. Die Blase ARB der erweiterten Realität umfasst weiterhin Anmerkungen ANN im Zusammenhang mit Positionen und/oder Objekten innerhalb einer Kugel der Blase ARB der erweiterten Realität. Diese umfassen alle Daten der erstellen Anmerkungen einschließlich Text, Audio, Fotos, Videos, Dokumenten etc., die innerhalb der logischen digitalen Ebenen L gruppiert sind. In einer möglichen Ausführungsform umfasst der Server 4 die Suchmaschine 5, die Abfragen Q von verschiedenen Client-Geräten 3 über das Cloud-Netzwerk 2 empfängt, die Abfragen Q können die ungefähre Geolokation der abfragenden Client-Geräte 3 umfassen. Die Suchmaschine 5 kann auf der Basis der empfangenen Informationen, die in den empfangenen Abfragen Q enthalten sind, bestimmen, in welchen Blasen ARBs der erweiterten Realität die abfragenden Client-Geräte 3 sich gegenwärtig befinden (oder denen sie nahe sind). In einer möglichen Ausführungsform kann der Server 4 weiterhin eine Bilderkennungsfunktionalität umfassen, die das Verarbeiten von Bildern ermöglicht, die von den verschiedenen Client-Geräten 3 hochgeladen werden.
  • 2 veranschaulicht ein Ablaufdiagramm einer möglichen beispielhaften Ausführungsform eines Verfahrens zur Bereitstellung von Anmerkungen im Zusammenhang mit einer Position und in Zusammenhang mit einem Objekt in der erweiterten Realität AR nach einem Aspekt der vorliegenden Erfindung.
  • In einem ersten Schritt S1 wird eine Kandidatenliste CL verfügbarer Blasen der erweiterten Realität ARBs von einem Client-Gerät 3 als Reaktion auf eine Abfrage Q basierend auf einer ungefähren Geolokation des Client-Geräts 3 und/oder basierend auf Benutzerinformationsdaten eines Benutzers, der das Client-Gerät 3 handhabt, abgerufen. Das Client-Gerät 3 eines Benutzers U kann eine Abfrage Q an den Server 4 des eine Suchmaschine 5 umfassenden Systems 1 übermitteln oder senden, wie in 1 veranschaulicht ist. Die Abfrage Q kann eine bestimmte oder detektierte ungefähre Geolokation des jeweiligen abfragenden Client-Geräts 3 umfassen. Die Suchmaschine 5 hat Zugriff auf die Datenbank 6, um verfügbare Blasen ARBs der erweiterten Realität im Zusammenhang mit der angegebenen Geolokation und/oder im Zusammenhang mit einem spezifischen Objekt zu finden. Ein spezifisches Objekt, das in der Abfrage Q spezifiziert ist, kann ein unbewegliches Objekt, das sich an einer festen Position befindet, oder ein bewegliches Objekt wie ein Fahrzeug umfassen, das variable Standorte umfasst. Eine abgerufene Kandidatenliste CL von verfügbaren Blasen ARBs der erweiterten Realität wird an das abfragende Client-Gerät 3 zurückgesendet.
  • In einem weiteren Schritt S2 wird mindestens eine Blase ARB der erweiterten Realität aus der abgerufenen Kandidatenliste CL verfügbarer Blasen der erweiterten Realität ausgewählt. Die Auswahl der Blasen ARBs der erweiterten Realität aus der zurückgesendeten Kandidatenliste CL verfügbarer Blasen der erweiterten Realität kann entweder automatisch und/oder als Reaktion auf Benutzerbefehle erfolgen. In einer möglichen Ausführungsform wird wenigstens eine Blase ARB der erweiterten Realität aus der abgerufenen Kandidatenliste CL ausgewählt, indem Bilder und/oder Geräusche in der Umgebung des Client-Geräts erfasst und indem die erfassten Bilder oder die erfassten Geräusche verarbeitet werden, um Markierungen zu extrahieren, die mit vordefinierten Blasenidentifikationsmarkierungen im Zusammenhang mit den Blasen der erweiterten Realität der abgerufenen Kandidatenliste CL verglichen werden. Schließlich werden relevante Blasen ARBs der erweiterten Realität der abgerufenen Kandidatenliste in Abhängigkeit von den Vergleichsergebnissen bestimmt. Demgemäß wird die abgerufene Kandidatenliste CL der verfügbaren Blasen der erweiterten Realität basierend auf Markierungen eingeengt, die aus den erfassten Bildern und/oder den erfassten Tönen extrahiert wurden. In einer möglichen Ausführungsform wird die Kandidatenliste CL der verfügbaren Blasen ARBs mit erweiterter Realität einem Benutzer über die Benutzerschnittstelle 11 des Client-Geräts 3 angezeigt, wobei die Namen der jeweiligen Blasen ARBs der erweiterten Realität gezeigt werden. Der Benutzer U kann mehrere der angezeigten Blasen der erweiterten Realität auswählen und einen entsprechenden Benutzerbefehl zur Auswahl erforderlicher oder erwünschter Blasen der erweiterten Realität eingeben.
  • In einem weiteren Schritt S3 kann das abfragende Client-Gerät 3 von der Datenbank 6 des Servers 4 eine präzise lokale Karte wie eine SLAM-Karte sowie einen Satz von Anmerkungen für jede ausgewählte Blase der erweiterten Realität laden.
  • In einem weiteren Schritt S4 erfolgt eine genaue Verfolgung des Client-Geräts 3 innerhalb einer ausgewählten Blase ARB der erweiterten Realität unter Verwendung der geladenen präzisen lokalen Karte der jeweiligen Blase der erweiterten Realität, um Anmerkungen in der erweiterten Realität AR über die Benutzerschnittstelle 11 an exakten Standorten des verfolgten Client-Geräts 3 bereitzustellen.
  • In einer möglichen Implementierung kann ein Benutzer U auf seinem Client-Gerät 3 eine Funktionalität zum Finden einer Blase aktivieren. Das Client-Gerät 3 bestimmt dann die ungefähre Geolokation des Client-Geräts und übermittelt automatisch eine entsprechende Abfrage Q an den Server 4, um Blasen ARBs der erweiterten Realität an der jeweiligen bestimmten Geolokation (ungefähren Position des Client-Geräts 3) zu finden. Wenn sich innerhalb des Genauigkeitsbereichs der Geolokation mehr als eine mögliche Blase ARB der erweiterten Realität befindet, kann das Client-Gerät 3 den Benutzer U dazu auffordern, die Kamera 7 des Client-Geräts 3 auf leicht identifizierbare Blasenidentifikationsmarkierungen wie Textstücke (z. B. ein Schild mit einer Raumnummer), Barcodes (z. B. ein Maschinentypenschild) oder beliebige andere unterscheidende visuelle wichtige Merkmale der Umgebung, wie ein Poster an einer Wand, auf dem ein spezifisches Bild wie eine aufgeschnittene Orange abgebildet ist, zu richten. In einer möglichen Ausführungsform kann das Client-Gerät 3 die erfassten Bilder dann zur Bildverarbeitung an den Server 4 senden, um eine Verfeinerung der ursprünglichen auf der Geolokation basierenden Abfrage Q bereitzustellen. Der Server 4 kann beispielsweise aus den empfangenen Bildern Text extrahieren, z. B. Raum 33.464 als Raumnummer, 123472345 für einen Barcode oder „Orange“. In einer alternativen Ausführungsform kann die Bilderkennung auch von der Verarbeitungseinheit 9 des Client-Geräts 3 durchgeführt werden. In einer möglichen Ausführungsform können Bilder und/oder Geräusche in der Umgebung des Client-Geräts durch Sensoren des Client-Geräts 3 erfasst und von einem Markierungserkennungsalgorithmus oder von einem trainierten neuronalen Netzwerk verarbeitet werden, um sie zu klassifizieren und Markierungen zum Vergleich mit vordefinierten Blasenidentifikationsmarkierungen zu extrahieren, die in der Datenbank 6 gespeichert sind. Aus den extrahierten Markierungen kann eine kürzere Kandidatenliste CL von potentiellen oder verfügbaren Blasen der erweiterten Realität an das abfragende Client-Gerät 3 zurückgesendet werden. Das Client-Gerät 3 kann dem Benutzer U dann über seine Benutzerschnittstelle 11 eine Kandidatenliste CL möglicher Blasen der erweiterten Realität zusammen mit benutzerfreundlichen Namen der jeweiligen Blasen der erweiterten Realität und potentiell identifizierenden Bildern präsentieren. Der Benutzer U kann dann über die Benutzerschnittstelle 11 Blasen der erweiterten Realität auswählen, indem er einen Benutzerbefehl eingibt. Der Auswahlprozess kann durch eine automatische Auswahl unter Verwendung der extrahierten Markierungen unterstützt werden. Nach der Auswahl einer oder mehrerer der Blasen ARBs der erweiterten Realität aus der abgerufenen Kandidatenliste CL verfügbarer Blasen der erweiterten Realität wird eine lokale präzise Karte für jede ausgewählte Blase ARB der erweiterten Realität vom Client-Gerät 3 zusammen mit einem Satz von Anmerkungen für jede Blase der erweiterten Realität automatisch vom Server 4 geladen. Die heruntergeladenen präzisen lokalen Karten wie SLAM-Karten und die dazugehörigen Anmerkungen können in einem lokalen Speicher des Client-Geräts 3 gespeichert werden. Nach dem Herunterladen der präzisen lokalen Karte kann das Client-Gerät 3 unter Verwendung der geladenen lokalen Karte automatisch und genau innerhalb der ausgewählten Blase der erweiterten Realität verfolgt werden und Anmerkungen in der erweiterten Realität an exakten Standorten des verfolgten Client-Geräts bereitstellen.
  • In einer möglichen Ausführungsform hat der Benutzer die Möglichkeit, eine neue Blase der erweiterten Realität zu erstellen, wenn im Bereich des Client-Geräts 3 des Benutzers keine Blase ARB der erweiterten Realität gefunden werden kann. Wenn andere ARBs bereits existieren, hat der Benutzer U auch die Möglichkeit, zusätzliche ARBs hinzuzufügen. Beispielsweise kann das Client-Gerät 3 den Benutzer U über die Benutzerschnittstelle 11 dazu auffordern, eine Blase der erweiterten Realität an der gegenwärtigen Position zu erzeugen. Ein Benutzer U kann die Funktionalität für eine neue Blase über die Benutzerschnittstelle 11 des Client-Geräts 3 für die erweiterte Realität aktivieren. In einem ersten Schritt bestimmt das Client-Gerät 3 mittels seiner Geolokationsdetektionseinheit 12 seine gegenwärtige Geolokation, d. h. den ungefähren Standort, um dem Benutzer U eine Rückmeldung zu geben, wenn die bestimmte Geolokation genau genug ist, um eine Blase der erweiterten Realität zu erstellen. Dann fordert das Client-Gerät 3 den Benutzer U dazu auf, Fotografien oder Bilder visuell interessanter Elemente oder Objekte innerhalb der Umgebung des Client-Geräts wie einen Raumnamen, Markierungen oder Seriennummern, Poster etc. aufzunehmen, die verwendet werden können, um die verschiedenen Blasen der erweiterten Realität später eindeutig machen zu können. Das Client-Gerät 3 kann den Benutzer U weiterhin auffordern, einige Übersichtsfotos der Blase der erweiterten Realität zu machen, die anderen Benutzern der Plattform präsentiert werden. Der die Blase der erweiterten Realität erstellende Benutzer kann einen einzigartigen benutzerfreundlichen Namen der zu erstellenden Blase ARB der erweiterten Realität eingeben. Dann kann ein Benutzer U im Bereich der Blase der erweiterten Realität umhergehen, wodurch dem Client-Gerät 3 für die erweiterte Realität ausreichend Gelegenheit gegeben wird, eine detaillierte Karte mit lokalen Merkmalen oder eine SLAM-Karte des Bereichs zu erstellen. Wenn das Client-Gerät 3 eine ausreichend detaillierte Karte mit lokalen Merkmalen erstellt ist, informiert es den Benutzer U und lädt die lokale Karte mit detaillierten Merkmalen (SLAM-Karte) und alle anderen relevanten Daten der Blase ARB der erweiterten Realität auf den Server 4 hoch, der die Daten in der Datenbank 6 speichert. Die Datenbank 6 kann für jede erstellte Blase der erweiterten Realität einen dazugehörigen Datensatz speichern, der einen Namen der Blase der erweiterten Realität, einen lokale Koordinaten eines globalen Koordinatensystems umfassenden Ankerpunkt der Blase der erweiterten Realität, eine präzise lokale räumliche Karte (SLAM-Karte), Blasenidentifikationsmarkierungen, die zur automatischen Identifizierung der erstellten Blase der erweiterten Realität verwendet werden können, sowie Anmerkungen im Zusammenhang mit der erstellten Blase der erweiterten Realität umfasst.
  • Das Client-Gerät 3 für die erweiterte Realität kann den Benutzer U neuen Inhalt aus einer erstellten oder bereits existierten Blase der erweiterten Realität erstellen lassen, indem er eine Funktionalität „Anmerkung hinzufügen“ auswählt. Dies kann so einfach wie das Tippen auf einen Bildschirm der Benutzerschnittstelle 11 oder einfach das Sprechen in ein Mikrofon 8 des Client-Geräts 3 sein. Die neue Text-, akustische oder visuelle Anmerkung wird im Datensatz der Blase ARB der erweiterten Realität gespeichert.
  • Der Benutzer U kann Inhalt von verschiedenen logischen Ebenen L anzeigen lassen. In einer möglichen Ausführungsform kann der Benutzer U verschiedene in der ausgewählten Blase ARB der erweiterten Realität verfügbare Inhaltsebenen L anzeigen lassen, nachdem der Benutzer U eine Blase ARB der erweiterten Realität aus der Kandidatenliste CL ausgewählt hat. Beispielsweise kann die von Hand oder automatisch ausgewählte Blase der erweiterten Realität mit dem Namen „Maschinenraum 33“ eine logische Ebene L „Bauwerk“, „Maschineninbetriebnahme“, „Maschinenbetrieb“ und „Maschinenwartung“ aufweisen. Beispielsweise kann der spezielle Benutzer U nur dazu autorisiert sein, die Ebenen „Maschineninbetriebnahme“, „Maschinenbetrieb“ und „Maschinenwartung“ und nicht die Ebene „Bauwerk“ anzeigen zu lassen und zu bearbeiten. Der Benutzer U kann dann auswählen, dass er nur die Ebenen L „Maschinenwartung“ und „Maschineninbetriebnahme“ anzeigen lassen möchte. In einer Implementierung kann dieselbe Blase ARB der erweiterten Realität in verschiedenen Ebenen L ausgewählt werden, wenn die Anmerkungen sich für die verschiedenen Ebenen L unterscheiden (L-Anmerkungen der ARB-Ebene). In einer anderen Implementierung wird eine zusätzliche Struktur bereitgestellt, wenn der Benutzer zuerst die Ebene L auswählt und dann die Blasen ARBs der erweiterten Realität mit Anmerkungen in dieser Ebene L erhält, um eine Blase der erweiterten Realität (ARB) auszuwählen (Ebene L-ARB-Anmerkung). Wenn ein Benutzer U beispielsweise die Ebene „Wartung“ auswählt, könnte er einen einzigartigen Satz von ARBs und eine ebenenspezifische Bibliothek von Anmerkungsobjekten (wie spezifische 3D-Objekte) haben.
    Sobald der Benutzer U wenigstens eine digitale logische Ebene L ausgewählt hat, kann der Benutzer U Inhalt in bestimmten Anmerkungen anzeigen lassen, die von ihm oder anderen Benutzern U in der jeweiligen Ebene L erstellt worden sind. Dazu kann der Benutzer U sich mit seinem Client-Gerät 3 für die erweiterte Realität umschauen. Alle Anmerkungen in der ausgewählten Blase ARB der erweiterten Realität und in den ausgewählten digitalen Ebenen L werden dem Benutzer U mittels der Benutzerschnittstelle 11 des Benutzer-Client-Geräts 3 visuell dargestellt. Beispielsweise kann der Benutzer U durch Antippen, Antippen in der Luft oder Betrachten einer angezeigten Anmerkung zusätzliche Informationen zu einer spezifischen Anmerkung anzeigen lassen oder hören, beispielsweise kann dem Benutzer U eine Videoanmerkung abgespielt werden.
  • In einer möglichen Ausführungsform kann das Client-Gerät 3 einen Mechanismus umfassen, um sicherzustellen, dass neue Informationen zu richtigen digitalen Ebenen L hinzugefügt werden. Dieser Mechanismus kann den Benutzer U wählen lassen, ob der Benutzer U gegenwärtig die Schicht L „Maschineninbetriebnahme“ oder „Maschinenwartung“ bearbeitet. Oder der Mechanismus kann alle Anmerkungen zuerst zu einer Schicht L „Meine neuen Anmerkungen“ hinzufügen und dann eine Möglichkeit zum Bewegen der Anmerkung zu anderen, verschiedenen digitalen Schichten L bereitstellen.
  • Der Benutzer U kann auch Live-Anmerkungen zu einer Blase der erweiterten Realität hinzufügen. Beispielsweise kann der Benutzer U auf einem Client-Gerät 3 für die erweiterte Realität, das aus einem Smartphone bestehen kann, ein Diagramm mit Informationen von Sensoren innerhalb einer nahegelegenen Maschine oder einem nahegelegenen Objekt erstellen (nachdem er über eine Netzwerk- oder Cloud-Verbindung eine Verbindung zu dieser Maschine hergestellt hat). Nachdem ein Benutzer U dieses Diagramm erstellt hat, kann der Benutzer U das erstellte Diagramm als Live-Anmerkung in der Blase ARB der erweiterten Realität freigeben. Später können andere Benutzer U das erstellte Diagramm an derselben Stelle, aber mit aktuelleren Daten anzeigen lassen. Demgemäß können die Anmerkungen einer Blase ARB der erweiterten Realität sowohl statische Anmerkungen als auch dynamische Live-Anmerkungen umfassen, die Links, d. h. Datenverbindungen, zu Datenquellen umfassen, die dynamische Live-Anmerkungen einschließlich Datenströmen, insbesondere Sensordatenströme, bereitstellen.
  • Ein Benutzer U kann auch neue zusätzliche Schichten L erstellen, wobei er ihnen einen einzigartigen Namen wie „Wartungshinweise“ gibt. Das Benutzer-Client-Gerät 3 kann vom Server 4 Namen von existierenden digitalen Ebenen L abfragen, die für andere Blasen der erweiterten Realität verfügbar sind. Wenn die gewünschte Ebene L noch nicht existiert, kann der Benutzer U eine neue digitale Ebene L erstellen.
  • Ein Benutzer U eines Client-Geräts 3 hat die Möglichkeit, Inhalt für andere Benutzer der Plattform oder des Systems 1 freizugeben. Das Client-Gerät 3 macht eine Benutzerschnittstelle 11 verfügbar, die dem Benutzer U die Option bieten kann, Ebenen L, die der Benutzer in einer spezifischen Blase der erweiterten Realität erstellt hat, für andere Benutzer der Plattform freizugeben. In Abhängigkeit von den Details des Rollenverwaltungssystems, das benutzergruppenbasiert sein kann, können beispielsweise alle Wartungstechniker in allen Blasen der erweiterten Realität Zugriff auf die Wartungsebene L haben. Weiterhin kann der Benutzer U verschiedene Zugriffsrechte für verschiedene logische Ebenen L umfassen. Zugriffsrechte können für eine gesamte digitale Ebene L über alle Blasen der erweiterten Realität definiert sein, oder sie können für eine einzelne Blase der erweiterten Realität spezifisch sein. Dieses Konzept ermöglicht das Erstellen einer Menge mit spezifischen interessierenden Gruppen, die Inhalt zu spezifischen Themen bereitstellen, die entweder für alle zugänglich sind oder einen begrenzten Zugriff zur Modifizierung aufweisen. Das in 1 veranschaulichte System 1 kann neben den Geräten 3 für die erweiterte Realität weiterhin Geräte umfassen, die Nicht-AR-Geräte einschließen. Diese Nicht-AR-Geräte können beispielsweise Computer oder Personalcomputer umfassen, die Benutzer administrative Aufgaben wie die Rechteverwaltung oder den Import von Massendaten durchführen lassen. Sie können auch das Platzieren von Daten in spezifischen Geolokationen wie von einem BIM/GIS-System oder das Importieren von Daten von CAD-Modellen umfassen.
  • Das System 1 ermöglicht weiterhin das automatische Erstellen und Aktualisieren von Inhalten basierend auf IoT-Plattformen wie MindSphere und SCADA-Systemen. Der Inhalt einer Blase der erweiterten Realität könnte sich in Echtzeit ändern, z. B. mit Live-Anmerkungen, die Daten z. B. von SCADA-Systemen oder einer IoT-Plattform wie MindSphere zeigen.
  • 3 zeigt ein Signalisierungsdiagramm zur Veranschaulichung des Abrufens von Inhalt einschließlich Anmerkungen durch einen Benutzer von einer Plattform, wie sie in 1 veranschaulicht ist. Wie ersichtlich ist, kann ein Benutzer eine Abfrage Q mittels einer Benutzerschnittstelle UI wie eine Benutzerschnittstelle 11 eingeben. Das Client-Gerät 3 kann die eingegebene Abfrage Q an eine Suchmaschine (SE) 5 eines Servers 4 weiterleiten, um eine Kandidatenliste CL verfügbarer Blasen ARB der erweiterten Realität abzurufen, wie in 3 dargestellt ist. Eine Kandidatenliste CL verfügbarer Blasen der erweiterten Realität wird über das Cloud-Netzwerk 2 zum abfragenden Client-Gerät 3 zurückgesendet, wie in 3 veranschaulicht ist. Die Kandidatenliste CL verfügbarer Blasen der erweiterten Realität kann dem Benutzer U zur von Hand erfolgenden Auswahl über die Benutzerschnittstelle 11 angezeigt werden. Der Benutzer U kann eine oder mehrere Blasen der erweiterten Realität auswählen, indem er einen entsprechenden Auswahlbefehl (SEL CMD) eingibt. Beispielsweise kann der Benutzer U auf angezeigte Namen verfügbarer Blasen der erweiterten Realität drücken. Alternativ kann die Auswahl der relevanten Blasen der erweiterten Realität der Kandidatenliste CL auch automatisch oder halbautomatisch basierend auf extrahierten Markierungen erfolgen, die mit vordefinierten Blasenidentifikationsmarkierungen verglichen werden. Wenigstens eine ausgewählte Blase der erweiterten Realität (sei ARB) wird an die Suchmaschine (SE) 5 zurückgesendet, die für die ausgewählte Blase der erweiterten Realität eine präzise Karte von lokalen Merkmalen (SLAM-Karte) mit einem Satz von dazugehörigen Anmerkungen für die jeweilige Blase der erweiterten Realität abruft. Die präzise Karte (LMAP) lokaler Merkmale und der Satz von Anmerkungen ANN wird an das abfragende Client-Gerät 3 zurückgesendet, wie in 3 dargestellt ist. Dann erfolgt eine genaue Verfolgung (TRA) des Client-Geräts 3 innerhalb der ausgewählten Blasen der erweiterten Realität unter Verwendung der heruntergeladenen präzisen Karte (LMAP) lokaler Merkmale der Blase ARB der erweiterten Realität, um Anmerkungen ANN in der erweiterten Realität AR an den exakten Standorten des verfolgten Client-Geräts 3 bereitzustellen.
  • 4 zeigt schematisch einen Anwendungsfall zur Veranschaulichung des Betriebs des Verfahrens und der Vorrichtung gemäß der vorliegenden Erfindung. Im veranschaulichten Anwendungsfall betritt der Benutzer U, der ein Client-Gerät 3 mitführt, einen Raum R0 eines Gebäudes. Das Client-Gerät 3 umfasst eine Geolokationsbestimmungseinheit wie einen GPS-Empfänger, der die Bestimmung der ungefähren Geolokation des Geräts 3 vor dem Betreten des Gebäudes ermöglicht. Basierend auf der ungefähren Geolokation (approx. GL) des Client-Geräts 3 erhält das Client-Gerät 3 des Benutzers U als Reaktion auf eine Anfrage Q eine Kandidatenliste CL verfügbarer Blasen ARBs der erweiterten Realität für die entsprechende Position und/oder für ein Objekt. Die abgerufene Kandidatenliste CL verfügbarer Blasen der erweiterten Realität umfasst Blasen der erweiterten Realität in der Nähe der ungefähren Geolokation, die vorgewählt oder basierend auf Benutzerinformationsdaten gefiltert sein kann, die den Benutzer U, insbesondere Zugriffsrechte, und/oder vom Benutzer U durchzuführende Aufgaben betreffen. Nachdem der Benutzer U den Raum R0 des Gebäudes betreten hat, scannt der Benutzer U im veranschaulichten Anwendungsfall die Umgebung vor dem Raum R1, wo eine vordefinierte Blasenidentifikationsmarkierung BIT angebracht sein kann, welche die Raumnummer des Raums R1 zeigt. Auf dem Display der Benutzerschnittstelle 11 des Client-Geräts 3 kann der Benutzer U eine Liste verfügbarer Blasen der erweiterten Realität wie ARB-R1, ARB-R2 und ARB-R3 für die verschiedenen Räume R1, R2, R3 des Gebäudes ansehen. Die verschiedenen ARBs können überlappen oder nicht überlappen. Im Allgemeinen sind die Ränder der ARB-Kugeln nicht präzise ausgerichtet (wie in 4 dargestellt), sondern sie überlappen oder sind getrennt angeordnet. Der Benutzer U kann die Blasenidentifikationsmarkierung BIT am Eingang des Raums scannen, um eine automatische Auswahl der relevantesten Blase der erweiterten Realität vorzunehmen. Im gegebenen Beispiel wird die Blase der erweiterten Realität für den ersten Raum R1 (ARB-R1) auf der Grundlage der extrahierten Markierungen und der vordefinierten Blasenidentifikationsmarkierungen automatisch ausgewählt. Sobald die Blase ARB der erweiterten Realität automatisch oder als Reaktion auf einen Benutzerbefehl ausgewählt worden ist, wird eine präzise Karte mit lokalen Merkmalen (SLAM-Karte) zusammen mit einem Satz von Anmerkungen ANN in das Client-Gerät 3 des Benutzers U heruntergeladen. Der Benutzer U betritt den Raum R1 und die Bewegung des Benutzers U und seines Client-Geräts 3 innerhalb der Blase R1 der erweiterten Realität wird automatisch und präzise verfolgt, wobei die heruntergeladene präzise Karte mit lokalen Merkmalen (SLAM-Karte) verwendet wird, wodurch Anmerkungen ANN in der erweiterten Realität an den exakten aktuellen Standorten des verfolgten Client-Geräts 3 bereitgestellt werden. Im veranschaulichten Beispiel von 4 wird das Client-Gerät 3 des Benutzers U zuerst zu einem Objekt OBJA bewegt oder getragen, um Anmerkungen ANN für dieses Objekt zu erhalten. Dann bewegt der Benutzer U sich zusammen mit dem Client-Gerät 3 zum Objekt OBJB, um Anmerkungen für dieses Objekt zu erhalten. Später bewegt sich der Benutzer U weiter zum zweiten Raum R2 des Gebäudes, um das Objekt OBJC und das Objekt OBJD zu inspizieren. Ein Übergabemechanismus kann implementiert werden, wenn ein Client-Gerät 3 von einer Blase der erweiterten Realität wie der Blase ARB-R1 der erweiterten Realität für Raum R1 zu einer anderen Blase der erweiterten Realität wie der Blase ARB-R2 der erweiterten Realität für Raum R2 bewegt wird, wie in 4 veranschaulicht ist. Während der Bewegung innerhalb der Räume R bleibt die Kamera 7 des Client-Geräts 3 eingeschaltet oder aktiviert, um Markierungen im Zusammenhang mit Blasen der erweiterten Realität zu detektieren und zu extrahieren. Vor dem Betreten des zweiten Raums R2 kann eine Kamera 7 Markierungen im Zusammenhang mit der zweiten Blase ARB-R2 der erweiterten Realität extrahieren, die an einem Schild oder einer Platte angebracht sein können, das bzw. die die Raumnummer des zweiten Raums R2 kennzeichnet. Der Benutzer U kann zusammen mit dem Client-Gerät 3 den zweiten Raum R2 verlassen und betritt schließlich den letzten Raum R3, um die Objekte OBJE und OBJF zu inspizieren. Die in 4 veranschaulichten verschiedenen Objekte können beliebige Arten von Objekten, insbesondere Maschinen innerhalb einer Fabrik, umfassen. Bei den Objekten kann es sich auch um andere Arten von Objekten, wie Kunstobjekte in einer Kunstgalerie, handeln. Die für die verschiedenen Objekte bereitgestellten Anmerkungen ANN können statische Anmerkungen, aber auch Live-Anmerkungen einschließlich Datenströmen umfassen, die von Sensoren von Objekten oder Maschinen bereitgestellt werden.
  • 5 veranschaulicht einen weiteren Anwendungsfall, bei dem das Verfahren und System 1 gemäß der vorliegenden Erfindung implementiert sein kann. Im veranschaulichten Beispiel von 5 steht eine erste Blase ARB der erweiterten Realität mit einem festen Objekt wie einem Bahnhof im Zusammenhang, und eine andere Blase ARB der erweiterten Realität steht mit einem mobilen Objekt wie einem Zug im Zusammenhang, der in den Bahnhof TR-S eingefahren ist oder nahe dem Bahnhof steht. Ein Benutzer U, der mit seinem Client-Gerät 3 neben dem Zug TR steht, kann den Inhalt der erweiterten Realität beider Blasen der erweiterten Realität erhalten, d. h. der Blase ARB der erweiterten Realität für den Bahnhof TR-S und der Blase ARB der erweiterten Realität für den im Bahnhof stehenden Zug TR.
  • Beispielsweise kann der Benutzer U darüber informiert werden, welcher Zug TR gegenwärtig in welchem Bahnhof TR-S wartet.
  • Eine Blase ARB der erweiterten Realität des Systems 1 gemäß der vorliegenden Erfindung ist ein räumlicher Bereich (in Gebäuden oder im Freien) mit einer vorbestimmten Größe (z. B. mit einer Breite von etwa 10 Meter), der eine bestimmte physische Position und/oder ein physisches Objekt umgibt. Bei diesem Objekt OBJ kann es sich um ein statisches Objekt wie einen Bahnhof TR-S, aber auch um ein mobiles Objekt wie einen Zug TR handeln. Ein anderes Beispiel kann ein Unterwerkgebäude für die Elektrifizierung von Eisenbahnstrecken, Masten, die entlang einer Bahnstrecke errichtet oder (an einem zukünftigen Ort) in Zukunft errichtet werden, eine Gasturbine innerhalb eines Gaskraftwerks, eine Pumpstation für den Transport von Öl und Gas umfassen. Eine Blase ARB der erweiterten Realität enthält einen Satz von Anmerkungen ANN, die sich typischerweise auf reale Objekte innerhalb einer Kugel der Blase der erweiterten Realität beziehen. Die Anmerkungen ANN im Zusammenhang mit der Position und/oder dem Objekt einer Blase ARB der erweiterten Realität können von einem Benutzer U mittels einer Benutzerschnittstelle UI eines Client-Geräts 3 des jeweiligen Benutzers erstellt und/oder bearbeitet und/oder spezifischen digitalen Ebenen L zugewiesen werden. Die Objekte OBJ können physische Objekte einschließlich unbeweglicher Objekte umfassen, die sich in der realen Umgebung an festen Positionen befinden, oder beweglicher Objekte, die in der realen Umgebung beweglich sind und variable Positionen aufweisen. Die genaue Verfolgung des Client-Geräts 3 innerhalb einer Kugel einer ausgewählten Blase ARB der erweiterten Realität mit der heruntergeladenen präzisen Karte mit lokalen Merkmalen der jeweiligen Blase der erweiterten Realität kann in einer bevorzugten Ausführungsform auf Grundmerkmalen basieren, die aus Bildern und/oder Geräuschen extrahiert sind, die von Sensoren des Client-Geräts 3 erfasst werden. Bei diesen Grundmerkmalen kann es sich beispielsweise um Merkmale wie eine Objektoberfläche und/oder geometrische Merkmale wie Ränder oder Linien eines Objekts handeln. Anmerkungen ANN können von Benutzern U erstellt werden und können beispielsweise dreidimensionale Modelle, Animationen, Dokumente mit Anleitungen, Fotografien oder Videos umfassen. Anmerkungen ANN können auch Datenverbindungen zu Live-Datenquellen wie Sensoren, insbesondere Sensoren von Maschinen innerhalb einer Fabrik umfassen. Das System 1 gemäß der vorliegenden Erfindung macht einen Übergang von einer groben, ungenauen Verfolgung auf der Basis einer Geolokation zu einer genauen lokalen Verfolgung auf der Basis einer heruntergeladenen präzisen Karte mit lokalen Merkmalen, insbesondere einer SLAM-Karte, verfügbar. Das System 1 bietet eine skalierbare Datenspeicherung für die gleichzeitige Bearbeitung durch mehrere Benutzer U. Das System 1 ermöglicht das Platzieren von georeferenzierten Hologrammen durch das Durchführen eines Vorgangs eines Ziehens und Ablegens der Hologramme in eine Karte eines Back-End- und/oder browserbasierten Systems. Das System 1 macht eine Integration von IoT-Plattformdaten in den Inhalt einer georeferenzierten erweiterten Realität verfügbar, wodurch Aktualisierungen des Echtzeitstatus und eine Visualisierung von Daten oder Datenströmen (Live-Anmerkungen) ermöglicht werden. Das System 1 gemäß der vorliegenden Erfindung kombiniert eine grobe globale Verfolgung (wie eine Verfolgung auf der Basis von GPS-Koordinaten) mit starken genauen Verfolgungs-Client-Geräten unter Verwendung von SLAM-Karten. Weiterhin ermöglicht es eine vor Ort erfolgende Erstellung von Anmerkungen ANN im Zusammenhang mit georeferenzierten Blasen ARBs der erweiterten Realität sowie die Einstellung des Inhalts der erweiterten Realität. Das System 1 gemäß der vorliegenden Erfindung macht präzise und exakte Anmerkungen verfügbar und kann ein Ebenenkonzept verwenden. Das Verfahren und das System 1 gemäß der vorliegenden Erfindung können für Zwecke privater Endverbraucher sowie für industrielle Anwendungen verwendet werden. Im Vergleich zu gegenwärtigen herkömmlichen georeferenzierten Plattformoptionen bietet das System 1 gemäß der vorliegenden Erfindung präzisere und mehr Merkmale wie eine Back-End- und Vor-Ort-Erstellung, eine industrielle IoT-Integration, eine Echtzeitaktualisierung und -modifizierung. In einer möglichen Variante des Systems 1 gemäß der vorliegenden Erfindung basieren die Blasen ARBs der erweiterten Realität nicht auf der geografischen Position, sondern sie umgeben ein spezifisches geometrisch erkennbares Objekt, das sich an einer festen Position befinden, aber auch in der realen Umgebung beweglich sein kann. Ein Beispiel für ein Objekt OBJ mit einer festen Position ist eine Produktionsmaschine oder jede Art von Maschine innerhalb einer Fabrik. Ein Beispiel für ein bewegliches Objekt ist beispielsweise eine Lokomotive eines Zuges. In einer möglichen Ausführungsform umfasst das System 1 ein Client-Gerät 3 der erweiterten Realität, dass eine Form der Objekterkennung und -verfolgung unterstützt (wie sie z. B. in ARKit 2 verfügbar ist). So wie die SLAM-Weltkarte für georeferenzierte Blasen der erweiterten Realität in der Datenbank 6 des Servers 4 gespeichert ist, kann eine visuelle und geometrische Beschreibung des Objekts (Objektverfolgungsbeschreibung) in der Datenbank 6 des Servers 4 gespeichert sein.
  • Statt eine anfängliche Suche nach möglichen passenden Blasen der erweiterten Realität basierend auf einer GPS-Abfrage und einer Geolokation durchzuführen, kann das Client-Gerät 3 für die erweiterte Realität eine bildbasierte Suche ausgehend von einem Kamerabild durchführen, um festzustellen, welche relevanten Objekte sich im Sichtfeld FoV der Kamera 7 befinden, und dann die Verfolgungsbeschreibungen aus dem Server 4 des Systems 1 laden.
  • Dies kann effizienter erfolgen, wenn zusätzliche Informationen dazu verfügbar sind, welche Objekte OBJ an welchen Positionen gefunden werden können. Wenn es beispielsweise ein System gibt, dass den Überblick darüber behält, welche Lokomotive sich an welcher GPS-Position befindet, würde die anfängliche Abfrage Q an den Server 4, die auf der ungenauen Geolokation (GPS-Position) basiert, nicht nur die SLAM-Karte für die geografische Blase ARB der erweiterten Realität zurücksenden, sondern auch eine Objektverfolgungsbeschreibung der Lokomotiven von mobilen Objekten, die sich gegenwärtig im spezifizierten Bereich befinden.
  • In einer möglichen Ausführungsform kann ein Benutzer U dann dazu fähig sein, zu verschiedenen Blasen ARBs der erweiterten Realität gehörende digitale Ebenen L gleichzeitig anzeigen zu lassen und zu bearbeiten, so wie verschiedene Ebenen für eine einzelne Blase der erweiterten Realität angezeigt werden. Beispielsweise kann der Benutzer U sowohl die Anmerkungen ANN im Zusammenhang mit Bahnstrecken als auch Anmerkungen ANN im Zusammenhang mit dem sich bewegenden Objekt (Lokomotive) gleichzeitig sehen.
  • Wenn ein Objekt sich bewegt und z. B. von einem GPS-Sensor verfolgt wird, bewegt sich seine objektbasierte Blase ARB der erweiterten Realität zusammen mit dem sich bewegenden Objekt. Anwendungsbeispiele für ein solches sich bewegendes Objekt umfassen vollständig oder teilweise autonome Fahrzeuge in Fabriken, die über Anmerkungen (AR-Hologramme, Symbole, Text oder Zahlen) über ihren gegenwärtigen Arbeitsauftrag oder ihre Arbeitsaktivität informieren. Weiterhin können sie angeben, dass sie Platz für weitere Fahrgäste im Zusammenhang mit ihrem Ziel haben oder sie können Informationen über soziale und/oder industrielle Belange bereitstellen.
  • In einen Bahnhof TR-S einfahrende Züge TR können Anmerkungen in der erweiterten Realität über ihre Route, ihren Fahrplan und Anschlussoptionen für Benutzer bereitstellen.
  • Benutzer können auch anderen Benutzern Informationen bereitstellen. Beispielsweise kann ein Bauarbeiter einen anderen Benutzer U über seine Teammitgliedschaft und den Status des gegenwärtigen Arbeitsablaufs informieren. Beispielsweise können externe Besucher von Baustellen Benutzer U über ihre Zugangsrechte zur Industrieanlage oder Baustelle in einem sozialen Zusammenhang über ihren sozialen Status und ihre Interessen informieren.
  • In einer weiteren möglichen Ausführungsform des Systems 1 gemäß der vorliegenden Erfindung können Objekttypblasen und Objektinstanzblasen bereitgestellt werden. In dieser Ausführungsform existieren Blasen der erweiterten Realität, die auf Objekttypen (z. B. alle Vectron-Lokomotiven) und bestimmten Objektinstanzen (z. B. Lokomotive Nummer 12345) basieren. Informationen oder Anmerkungen von beiden dieser Arten von Blasen der erweiterten Realität können gleichzeitig in verschiedenen logischen Ebenen L angezeigt werden. Dies kann insbesondere brauchbar sein, um zwischen allgemeinen Reparaturanleitungen und spezifischen Reparaturverläufen zu unterscheiden.
    Das System 1 gemäß der vorliegenden Erfindung kann auch digitale Ebenen L umfassen, die nicht in Blasen der erweiterten Realität gegliedert sind, sondern einfach Daten von geografischen Systemen verarbeiten, während andere logische Ebenen L in Blasen der erweiterten Realität gegliedert sind. Weiterhin brauchen Blasen ARBs der erweiterten Realität gar nicht in digitale Ebenen L gegliedert zu sein, sondern einfach alle Anmerkungen in der erweiterten Realität in einer flachen Struktur aufweisen.
  • Eine andere Variante des Systems 1 umfasst die Möglichkeit zur Remote-Erstellung von Inhalt in der virtuellen Realität VR oder in einem 3D-Modellierungsprogramm und zur virtuellen Platzierung dieses Inhalts im dreidimensionalen Raum. Weitere Varianten können eine Integration von VR- und/oder AR-Optionen einschließen. Beispielsweise besteht eine Option darin, eine beliebige GPS-Position in einem VR-Gerät aufzusuchen und den Inhalt der Blase ARB der erweiterten Realität vollständig in der VR anzuzeigen, wodurch die Ansicht und mögliche Anzeigeoptionen verbessert werden. Diese Anwendung könnte am relevantesten sein, wenn Client-Geräte 3 VR und AR zusammenführen und beide verarbeiten können.
  • Das System 1 gemäß der vorliegenden Erfindung kann in andere Autorensysteme integriert werden. Dies ermöglicht ein automatisches Erstellen und Aktualisieren von georeferenziertem Inhalt in der erweiterten Realität durch das Erstellen eines Inhalts innerhalb eines etablierten Designwerkzeugs oder einer etablierten Datenbank wie NX Tools oder Teamcenter.
  • Weiterhin können mit dem System 1 gemäß der vorliegenden Erfindung innovative Visualisierungen wie Röntgenmerkmale von Hologrammen eingeschlossen werden, wodurch ein spezifischer Zugriff z. B. auf CAD-Modelle in einem Back-End-Server geboten wird. Ein intuitiver Anzeigemodus zur Auswahl von Ebenen L vor Ort kann wie als virtueller Spielkartenstapel bereitgestellt werden. Das System 1 gemäß der vorliegenden Erfindung kann mit anderen Systemen kombiniert werden, die für den digitalen Betrieb und die digitale Inbetriebnahme verwendet werden. Es kann auch mit Verkaufssystemen oder einer IoT-Plattform wie MindSphere für Visualisierungsoptionen von gesammelten Daten verwendet werden. Die Plattform der erweiterten Realität gemäß der vorliegenden Erfindung kann in Anwendungen künstlicher Intelligenz und analytische Anwendungen integriert werden. Beispielsweise kann eine Sicherheitszone definiert werden, indem der Spannungspegel in einem elektrischen System oder ein Druck in einem gegebenen Tank berücksichtigt wird. Eine Blase ARB der erweiterten Realität kann eine Größe oder einen Durchmesser, der ungefähr der Größe eines Raums oder eines Bereichs entspricht, z. B. einen Durchmesser von etwa 10 Metern, umfassen. Die Größe der Blase ARB der erweiterten Realität entspricht der Größe (Dateigröße) der heruntergeladenen genauen Karte lokaler Merkmale, wodurch die jeweilige Zone oder der jeweilige Bereich abgedeckt wird. In einer möglichen Ausführungsform wird die Kugel der Blase ARB der erweiterten Realität dem Benutzer U über das Display der Benutzerschnittstelle 11 auch in einer erweiterten Realität AR angezeigt. Demgemäß hat der Benutzer U die Möglichkeit, zu sehen, wenn er sich von einer Blase der erweiterten Realität zu einer anderen Blase der erweiterten Realität bewegt. In einer weiteren Ausführungsform kann ein Benutzer U übergangslos von einer ARB zur nächsten ARB gelangen, ohne zu bemerken, dass er von der ersten ARB zu einer zweiten ARB gewechselt hat.
  • Metadaten der ARBs (z. B. Erstellzeit, Benutzer, welche die ARB erstellt haben etc.) können ebenfalls angezeigt werden.
  • Das Verfahren und das System 1 gemäß der vorliegenden Erfindung machen eine weite Vielzahl von möglichen Anwendungsfällen verfügbar. Beispielsweise können Informationen, die für die Inbetriebnahme, den Betrieb und die Wartung von Maschinen relevant sind, wie der Materialtyp, Parameter etc., während der Inbetriebnahme-, Betriebs- und Wartungsaktivitäten im Voraus bereitgestellt und/oder ständig mit Anmerkungen versehen werden.
  • Weiterhin können Baustellen während eines Konstruktionsprozesses an ihren späteren Standorten in Echtzeit digital gebaut werden, indem dreidimensionale Modelle und Informationen mit georeferenzierten Daten kombiniert werden. Dies ermöglicht verbesserte Konstruktions- und Planungsdiskussionen vor Ort, eine Verifizierung der Montage, eine Kollisionserkennung und eine verbesserte Effizienz während des Baus und/oder der Montage.
  • Das System 1 gemäß der vorliegenden Erfindung bietet Bedienerfreundlichkeit. Beispielsweise können Live-Datenfeeds von Maschinen bereitgestellt und integriert werden. Diagramme von MindSphere-Daten können jederzeit, überall und in jeder erforderlichen Form über die erweiterte Realität AR verfügbar gemacht werden.
  • Weiterhin können sicherheitsrelevante Merkmale und Bereiche bereitgestellt werden. Es ist möglich, ein Update in Echtzeit in Abhängigkeit von Leistungsdaten, z. B. des MindSphere- und/oder SCADA-Systems, bereitzustellen.

Claims (16)

  1. Verfahren zur Bereitstellung von Anmerkungen im Zusammenhang mit einer Position oder einem Objekt in der erweiterten Realität AR, wobei das Verfahren die folgenden Schritte umfasst: (a) das Abrufen (S1) durch ein Client-Gerät (3) eines Benutzers einer Kandidatenliste CL verfügbarer Blasen ARB der erweiterten Realität für die Position und/oder das Objekt als Reaktion auf eine Abfrage Q auf der Basis einer ungefähren Geolokation des Client-Geräts (3) und/oder auf der Basis von Benutzerinformationsdaten; (b) das Auswählen (S2) mindestens einer Blase ARB der erweiterten Realität aus der abgerufenen Kandidatenliste CL verfügbarer Blasen der erweiterten Realität; (c) das Laden (S3) einer präzisen lokalen Karte und eines Satzes von Anmerkungen ANN für jede ausgewählte Blase ARB der erweiterten Realität durch das abfragende Client-Gerät (3) aus einer Datenbank (6) und (d) die genaue Verfolgung (S4) des Client-Geräts (3) innerhalb der ausgewählten Blase ARB der erweiterten Realität unter Verwendung der geladenen präzisen lokalen Karte der jeweiligen Blase ARB der erweiterten Realität, um Anmerkungen in der erweiterten Realität an exakten Standorten des verfolgten Client-Geräts (3) bereitzustellen.
  2. Verfahren nach Anspruch 1, wobei wenigstens eine Blase ARB der erweiterten Realität aus der abgerufenen Kandidatenliste CL automatisch abgerufen wird durch - das Erfassen von Bildern und/oder Geräuschen der Umgebung des Client-Geräts, - das Verarbeiten der erfassten Bilder und/oder erfassten Geräusche, um Markierungen im Vergleich zu vordefinierten Blasenidentifikationsmarkierungen BITs zu extrahieren, die mit den Blasen ARB der erweiterten Realität der abgerufenen Kandidatenliste CL im Zusammenhang stehen, und durch - das Bestimmen relevanter Blasen ARB der erweiterten Realität der abgerufenen Kandidatenliste CL in Abhängigkeit von den Vergleichsergebnissen und/oder als Reaktion auf einen über eine Benutzerschnittstelle (11) des Client-Geräts (3) eingegebenen Benutzerbefehl, der einen Blasennamen der ausgewählten Blase ARB der erweiterten Realität umfasst.
  3. Verfahren nach Anspruch 1 oder 2, wobei die vom Client-Gerät (3) geladene lokale Karte eine Karte lokaler Merkmale, insbesondere eine SLAM-Karte, der Umgebung der ausgewählten Blase der erweiterten Realität und/oder ein CAD-Modell eines Objekts innerhalb der ausgewählten Blase ARB der erweiterten Realität umfasst.
  4. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 3, wobei die ungefähre Geolokation des Client-Geräts (3) von einer Geolokationsdetektionseinheit (12) des Client-Geräts (3) detektiert wird, das so angepasst ist, dass es die ungefähre Position des Client-Geräts (3) als Reaktion von Signalen bestimmt, die von der Geolokationsdetektionseinheit (12) von externen Signalquellen einschließlich GPS-Satelliten und/oder WLAN-Stationen empfangen werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 3, wobei die Anmerkungen ANN am verfolgten exakten gegenwärtigen Standort des Client-Geräts (3) mittels einer Benutzerschnittstelle (11) des Client-Geräts (3) ausgegeben werden.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei die Anmerkungen ANN statische Anmerkungen einschließlich Textanmerkungen, akustischen Anmerkungen und/oder visuellen Anmerkungen im Zusammenhang mit einer Position und/oder im Zusammenhang mit einem physischen Objekt umfassen.
  7. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 6, wobei die Anmerkungen ANN Links zu Quellen umfassen, die statische Anmerkungen und/oder dynamische Live-Anmerkungen einschließlich Datenströmen bereitstellen.
  8. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 7, wobei die Anmerkungen ANN mit unterschiedlichen digitalen Anmerkungsebenen L im Zusammenhang stehen, die gemäß Benutzerinformationsdaten einschließlich Benutzerzugriffsrechten und/oder Benutzeraufgaben wählbar und/oder gefiltert sind.
  9. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 8, wobei jede Blase ARB der erweiterten Realität durch einen ARB-Datensatz repräsentiert wird, der in einer Datenbank (6) einer Plattform gespeichert ist, wobei der ARB-Datensatz Folgendes umfasst: - einen Blasennamen der Blase ARB der erweiterten Realität; - einen Ankerpunkt, der einer Position und/oder einem Objekt zugeordnet ist und globale Koordinaten eines globalen Koordinatensystems aufweist; - eine präzise lokale räumliche Karte, die innerhalb einer Kugel der Blase ARB der erweiterten Realität Verfolgungsdaten umfasst, die für eine genaue Verfolgung von Client-Geräten (3) innerhalb der Kugel verwendet werden und lokale Koordinaten eines lokalen Koordinatensystems rund um den Ankerpunkt der Blase der erweiterten Realität aufweisen; - Anmerkungen im Zusammenhang mit Positionen und/oder physischen Objekten innerhalb der Kugel der Blase der erweiterten Realität und - Blasenidentifikationsmarkierungen BITs, die zur Identifizierung der Blase der erweiterten Realität ARB durch einen Vergleich mit extrahierten Markierungen verwendet werden.
  10. Verfahren nach Anspruch 9, wobei die Blasenidentifikationsmarkierungen BITs des Datensatzes der Blase der erweiterten Realität detektierbare Merkmale innerhalb der Kugel der Blase der erweiterten Realität einschließlich Textmerkmalen, akustischen Merkmalen und/oder visuellen Merkmalen innerhalb einer Umgebung der Kugel der Blase der erweiterten Realität umfassen.
  11. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 10, wobei Bilder und/oder Geräusche in der Umgebung des Geräts durch Sensoren (7, 8) des Client-Geräts (3) erfasst und von einem Markierungserkennungsalgorithmus oder von einem trainierten neuronalen Netzwerk verarbeitet werden, um sie zu klassifizieren und Markierungen zum Vergleich mit vordefinierten Blasenidentifikationsmarkierungen BITs zu extrahieren.
  12. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 11, wobei die Abfrage Q über eine Benutzerschnittstelle (11) des Client-Geräts (3) eingegeben und über ein lokales und/oder Fernnetz (2) an einen Server (4) mit einer Suchmaschine (5) weitergeleitet wird, der als Reaktion auf eine empfangene Abfrage Q Blasen ARB der erweiterten Realität bestimmt, die an der detektierten ungefähren Geolokation des abfragenden Client-Geräts (3) verfügbar sind, und die Kandidatenliste (4) verfügbarer Blasen ARB der erweiterten Realität an das abfragende Client-Gerät (3) zurücksendet.
  13. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 12, wobei die genaue Verfolgung des Client-Geräts (3) innerhalb einer Kugel einer ausgewählten Blase ARB der erweiterten Realität, bei der die geladene präzise lokale Karte der jeweiligen Blase ARB der erweiterten Realität verwendet wird, auf Grundmerkmalen basiert, die aus Bildern und/oder Geräuschen extrahiert werden, die von Sensoren (7, 8) des Client-Geräts (3) erfasst werden.
  14. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 13, wobei die Anmerkungen ANN im Zusammenhang mit einer Position und/oder einem physischen Objekt von einem Benutzer mittels einer Benutzerschnittstelle (11) des Client-Geräts (3) des jeweiligen Benutzers erstellt und/oder bearbeitet und/oder spezifischen digitalen Ebenen L zugewiesen werden.
  15. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 14, wobei die physischen Objekte sich an festen Positionen in einer realen Umgebung befinden oder mobile Objekte umfassen, die in der realen Umgebung beweglich sind und eine variable Position aufweisen.
  16. System zur Bereitstellung von Anmerkungen im Zusammenhang mit Positionen und/oder im Zusammenhang mit Objekten in der erweiterten Realität AR, wobei das System (1) Folgendes umfasst: Client-Geräte (3), die über ein lokales Netzwerk und/oder ein Fernnetz (2) mit einem Server (4) verbunden sind, der so angepasst ist, dass er als Reaktion auf eine Abfrage Q, die von einem abfragenden Client-Gerät (3) eines Benutzers empfangen wird, eine Kandidatenliste CL von verfügbaren Blasen ARB der erweiterten Realität basierend auf einer ungefähren Geolokation des abfragenden Client-Geräts (3) und/oder basierend auf Benutzerinformationsdaten abruft, und so angepasst ist, dass er zur Auswahl wenigstens einer Blase ARB der erweiterten Realität aus der zurückgesendeten Kandidatenliste CL die abgerufene Kandidatenliste CL an das abfragende Client-Gerät (3) des Benutzers zurücksendet, wobei innerhalb der ausgewählten Blase ARB der erweiterten Realität von dem zur Verfolgung des Client-Geräts (3) verwendeten Client-Gerät (3) eine präzise lokale Karte und ein Satz von Anmerkungen ANN für jede ausgewählte Blase ARB der erweiterten Realität von einer Datenbank (6) des Servers (4) geladen wird, und um Anmerkungen ANN in der erweiterten Realität AR an exakten Standorten des verfolgten Client-Geräts (3) bereitzustellen.
DE102018217032.0A 2018-10-04 2018-10-04 Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität Withdrawn DE102018217032A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE102018217032.0A DE102018217032A1 (de) 2018-10-04 2018-10-04 Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität
US17/282,272 US20210390305A1 (en) 2018-10-04 2019-07-03 Method and apparatus for providing annotations in augmented reality
EP19739948.8A EP3834102A1 (de) 2018-10-04 2019-07-03 Verfahren und vorrichtung zur bereitstellung von anmerkungen in der erweiterten realität
PCT/EP2019/067829 WO2020069780A1 (en) 2018-10-04 2019-07-03 Method and apparatus for providing annotations in augmented reality
BR112021004985-1A BR112021004985A2 (pt) 2018-10-04 2019-07-03 método e sistema para a provisão de anotações em realidade aumentada
CN201980065540.9A CN112753030A (zh) 2018-10-04 2019-07-03 用于提供在增强现实中的注释的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018217032.0A DE102018217032A1 (de) 2018-10-04 2018-10-04 Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität

Publications (1)

Publication Number Publication Date
DE102018217032A1 true DE102018217032A1 (de) 2020-04-09

Family

ID=67297147

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018217032.0A Withdrawn DE102018217032A1 (de) 2018-10-04 2018-10-04 Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität

Country Status (6)

Country Link
US (1) US20210390305A1 (de)
EP (1) EP3834102A1 (de)
CN (1) CN112753030A (de)
BR (1) BR112021004985A2 (de)
DE (1) DE102018217032A1 (de)
WO (1) WO2020069780A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4075238A1 (de) * 2021-04-13 2022-10-19 Novatec Consulting GmbH Verfahren und system zur ermöglichung einer navigation unter verwendung globaler navigationssatellitensysteme und augmented reality cloud-raumanker

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9024972B1 (en) * 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
CN202043177U (zh) * 2010-10-15 2011-11-16 张哲颖 利用增强实景技术优化移动导航和人机交互的系统设备
US9020838B2 (en) 2011-11-30 2015-04-28 Ncr Corporation Augmented reality for assisting consumer transactions
US20140285519A1 (en) * 2013-03-22 2014-09-25 Nokia Corporation Method and apparatus for providing local synchronization of information for augmented reality objects
JP6308213B2 (ja) * 2013-04-04 2018-04-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10185775B2 (en) * 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
US9781246B2 (en) * 2015-08-28 2017-10-03 Qualcomm Incorporated Augmenting reality using a small cell
WO2017219195A1 (zh) * 2016-06-20 2017-12-28 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
KR101867020B1 (ko) 2016-12-16 2018-07-19 경희대학교 산학협력단 박물관/미술관용 증강 현실 구현 방법 및 장치
KR101902315B1 (ko) 2017-08-04 2018-09-28 주식회사 이너프미디어 체험형 전시물 안내 시스템

Also Published As

Publication number Publication date
EP3834102A1 (de) 2021-06-16
CN112753030A (zh) 2021-05-04
WO2020069780A1 (en) 2020-04-09
BR112021004985A2 (pt) 2021-06-08
US20210390305A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
DE202015009183U1 (de) Das Analysieren semantischer Orte und verwandter Daten aus einer Vielzahl von Standortdatenberichten
DE112016002782T5 (de) Änderungserkennungsbasiertes System zur Aktualisierung von Kartenschnittstellen
CN105973236A (zh) 室内定位或导航方法、装置以及地图数据库生成方法
DE202014010927U1 (de) Referenzpunktidentifizierung aus Punktwolken, die aus geografischen Bilddaten erstellt werden
EP2191233A1 (de) Vorrichtung und verfahren zum aktualisieren von kartendaten
EP2738519B1 (de) Orten eines mobilen Endgeräts unter Nutzung von optisch detektierbaren Landmarken
EP3347878B1 (de) Verfahren und vorrichtung zum überlagern eines abbilds einer realen szenerie mit einem virtuellen bild und mobiles gerät
DE202015009139U1 (de) Bildmodifikation
DE102021204765A1 (de) Rendern von Augmented-Reality mit Verdeckung
EP4051982A1 (de) Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks
DE102017218237A1 (de) Verfahren und Vorrichtung zum Bereitstellen eines aktuellenStandorts eines Mobilgeräts
DE102018217032A1 (de) Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität
EP2831839B1 (de) Verfahren zum automatischen betreiben einer überwachungsanlage
DE102018118422A1 (de) Verfahren und system zur darstellung von daten von einer videokamera
DE112018005580T5 (de) Standortkalibrierung auf grundlage von bewegungsweg und kartenobjekten
DE202014010944U1 (de) Bildbasierte Standortbestimmung
EP3384242A1 (de) System und verfahren zur indoor - navigation
DE102008034180B4 (de) Wegleitsystem und Verfahren zur Wegfindung und Verortung von Fußgängern
EP1553507A2 (de) Verfahren zur informativen Beschreibung von Bildobjekten
DE102013211028A1 (de) Verfahren und System zum Auffinden einer oder mehrerer Personen durch ein Fahrzeug
CN106777078A (zh) 一种基于信息数据库的视频检索方法和系统
DE112015003543T5 (de) Systeme und Verfahren für die Erfassung, Prüfung und Pflege von Informationen über Sonderziele
DE202014010836U1 (de) Identifizieren zu untersuchender Entitäten unter Verwendung von Fassadenerkennung
Schaffland et al. Climate Change Combat and Disaster Management with re. photos, the Web Portal for Rephotography
DE102018006117A1 (de) Adresszuordnungsverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee