DE112020000410T5

DE112020000410T5 - Orientierungsausrichtung von erweiterten realitätsmodellen

Info

Publication number: DE112020000410T5
Application number: DE112020000410.4T
Authority: DE
Inventors: James Wagner; Shadi KFOUF; Scott M. Rose
Original assignee: Caterpillar Inc
Current assignee: Caterpillar Inc
Priority date: 2019-02-12
Filing date: 2020-01-23
Publication date: 2021-10-28
Also published as: US20200257412A1; US10983672B2; AU2020221180A1; CN113438964A; WO2020167438A1; AU2020221180B2

Abstract

Eine Vorrichtung für die Ausrichtung eines erweiterten Realitätsmodells wird offenbart. Die Vorrichtung kann Benutzereingaben empfangen, die eine Maschine identifizieren, ein der Maschine zugeordnetes erweitertes Realitätsmodell identifizieren und eine Darstellung der Maschine mit mehreren Symbolen anzeigen, die mehrere Positionen für eine Zielmarkierung angeben. Die Vorrichtung kann erfassen, wenn der Benutzer ein Symbol aus den mehreren Symbolen auswählt, und kann basierend auf dem ausgewählten Symbol eine Orientierung für die Überlagerung des erweiterten Realitätsmodells bestimmen. Die Vorrichtung kann die Zielmarkierung in einem Bild erfassen, das von einer Bildaufnahmekomponente der Vorrichtung aufgenommen wird, und das erweiterte Realitätsmodell unter Verwendung der Orientierung auf das Bild überlagern.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich allgemein auf die erweiterte Realität und insbesondere auf die Ausrichtung von erweiterten Realitätsmodellen.
Stand der Technik
Erweiterte Realität ist eine interaktive Erfahrung einer realen Umgebung, bei der Objekte in der realen Welt durch computererzeugte Informationen erweitert werden. So können beispielsweise computererzeugte Informationen (z. B. ein Bild, Text und/oder Ähnliches) einem digitalen Bild der realen Welt überlagert werden (z. B. während dieses Bild mit einer Kamera, einem Videorecorder und/oder Ähnlichem aufgenommen wird). Es kann jedoch schwierig sein, computererzeugte Informationen, insbesondere ein dreidimensionales Bild oder Modell, richtig auszurichten und/oder zu orientieren, um diese Informationen auf geeignete Weise in dem digitalen Bild zu überlagern (z. B. relativ zu einem realen Objekt, das mit den computererzeugten Informationen in Beziehung steht).
Ein Versuch, überlagerte Informationen für erweiterte Realität auszurichten, wird in der U.S.-Patentanmeldung, Veröffentlichungsnr. 2018/0150931 („die '931-Veröffentlichung“) offenbart. Insbesondere wird in der '931-Veröffentlichung offenbart, dass „die erweiterte Realitätsanwendung, die von dem erweiterten Realitätsverarbeitungsmodul ausgeführt wird, das erweiterte Realitätsbild auf dem digitalen Bild relativ zu dem einen oder den mehreren identifizierten Zielpunkten in einer Beziehung überlagern kann, die auf der bestimmten Position und Orientierung des erweiterten Realitätsbildes basiert. Das erweiterte Realitätsbild wird dabei an dem digitalen Bild auf der interaktiven Anzeige ausgerichtet.“ Die Verwendung der Techniken aus der '931-Veröffentlichung bietet zwar Vorteile, doch können unter Verwendung der Techniken der vorliegenden Offenbarung zusätzliche oder andere Vorteile erzielt werden.
Kurzdarstellung
In einigen Ausführungsformen bezieht sich die vorliegende Offenbarung auf ein Verfahren zum Ausrichten von erweiterte Realitätsmodellen. Das Verfahren kann beinhalten: Empfangen einer Benutzereingabe, die eine Maschine identifiziert, durch eine Vorrichtung; Identifizieren eines der Maschine zugeordneten erweiterte Realitätsmodells durch die Vorrichtung; Anzeigen einer Darstellung der Maschine mit mehreren Symbolen, die mehrere Positionen für eine Zielmarkierung anzeigen; Erfassen einer Benutzerauswahl eines Symbols aus den mehreren Symbolen durch die Vorrichtung; Bestimmen einer Orientierung für die Überlagerung des erweiterte Realitätsmodells durch die Vorrichtung und basierend auf dem ausgewählten Symbol; Erfassen der Zielmarkierung in einem Bild, das von einer Bilderfassungskomponente der Vorrichtung erfasst wurde, durch die Vorrichtung; und Überlagern des erweiterte Realitätsmodells auf dem Bild unter Verwendung der Orientierung durch die Vorrichtung.
In einigen Ausführungsformen bezieht sich die vorliegende Offenbarung auf eine Vorrichtung zum Ausrichten von erweiterte Realitätsmodellen. Die Vorrichtung kann einen Speicher und einen oder mehrere mit dem Speicher gekoppelte Prozessoren beinhalten. Der eine oder die mehreren Prozessoren können derart konfiguriert sein, dass sie Informationen empfangen, die eine Maschine identifizieren; ein der Maschine zugeordnetes erweitertes Realitätsmodell identifizieren; eine Benutzerinteraktion mit einer Darstellung der Maschine erfassen, die eine Position einer Zielmarkierung relativ zu der Maschine identifizieren, basierend auf der Position eine Orientierung für die Überlagerung des erweiterte Realitätsmodells bestimmen; die Zielmarkierung in einem von der Vorrichtung erhaltenen Bild erfassen; und das erweiterte Realitätsmodell auf dem Bild überlagern, wobei das erweiterte Realitätsmodell basierend auf der Orientierung in dem Bild ausgerichtet ist.
In einigen Ausführungsformen bezieht sich die vorliegende Offenbarung auf ein nichtflüchtiges computerlesbares Medium, das eine oder mehrere Anweisungen für die Ausrichtung eines erweiterten Realitätsmodells speichert. Die einen oder die mehreren Anweisungen können, wenn sie von einem oder mehreren Prozessoren einer Vorrichtungen ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, eine Position aus einer Mehrzahl von Positionen für eine einer Maschine zugeordnete Zielmarkierung auszuwählen; basierend auf der Position eine Orientierung für die Überlagerung eines der Maschine zugeordneten erweiterte Realitätsmodells zu bestimmen; die Zielmarkierung in einem Bild zu erfassen; und das erweiterte Realitätsmodell basierend auf der Orientierung auf das Bild zu überlagern.
Figurenliste

Die 1-3 sind Schaubilder von Beispielen für die Ausrichtung eines erweiterten Realitätsmodells.
4 ist ein Schaubild einer beispielhaften Umgebung, in der die hierin beschriebenen Systeme und/oder Verfahren implementiert werden können.
5 ist ein Schaubild von beispielhaften Komponenten einer oder mehrerer Vorrichtungen aus 4.
6 ist ein Flussdiagramm eines beispielhaften Vorgangs für die Ausrichtung eines erweiterten Realitätsmodells.

Detaillierte Beschreibung
Die 1-3 sind Schaubilder von einem Beispiel 100 für die Ausrichtung eines erweiterten Realitätsmodells.
Wie in 1 gezeigt, kann eine Benutzervorrichtung (z. B. ein Tablet-Computer, ein Mobiltelefon und/oder Ähnliches) eine Benutzerschnittstelle 110 anzeigen, die von einem Benutzer, wie einem Maschinentechniker, verwendet werden kann, um bei der Diagnose eines Problems, das einer Maschine zugeordnet ist, der Inspektion der Maschine, der Durchführung von Wartungsarbeiten an der Maschine und/oder Ähnlichem zu helfen. Die Benutzeroberfläche 110 kann Teil einer Anwendung sein, die auf der Benutzervorrichtung ausgeführt wird. Wie gezeigt, kann die Benutzerschnittstelle 110 ein oder mehrere Menüs anzeigen, ein Menü, das es dem Benutzer ermöglicht, eine Maschine auszuwählen, und/oder ein Menü, das es einem Benutzer ermöglicht, die Benutzervorrichtung anzuweisen, eine erweiterte Realitätsbenutzerschnittstelle anzuzeigen, wie gezeigt.
Wie durch die Referenzzahl 120 gezeigt, kann ein Benutzer mit der Benutzerschnittstelle 110 interagieren, um Eingaben bereitzustellen, die die Maschine identifizieren. Beispielsweise kann der Benutzer Eingaben bereitstellen, um einen Maschinentyp zu identifizieren (z. B. einen Traktor, einen Bagger, eine Planierraupe und/oder Ähnliches, wie gezeigt) und/oder um eine bestimmte Maschine zu identifizieren (z. B. unter Verwendung einer Seriennummer, einer Fahrzeugidentifikationsnummer und/oder Ähnlichem). So kann der Benutzer beispielsweise wie gezeigt mit einem Bild oder Symbol einer Maschine interagieren, um die Maschine auszuwählen. Die Benutzervorrichtung kann eine Maschine auf andere Weise identifizieren, wie durch den Vergleich eines von der Benutzervorrichtung aufgenommenen Bildes einer Maschine mit in dem Speicher (z. B. der Benutzervorrichtung oder einer Servervorrichtung) gespeicherten Bildern von Maschinen.
Wie weiter gezeigt, kann die Benutzervorrichtung ein erweitertes Realitätsmodell 130 identifizieren, das der Maschine zugeordnet ist. Das erweiterte Realitätsmodell 130 kann ein dreidimensionales Modell der Maschine und/oder Komponenten der Maschine (z. B. Maschinenteile) enthalten, wie Motorkomponenten, Getriebekomponenten, Drähte oder elektrische Leitungen, Fluidleitungen, Steuersysteme, Hydrauliksysteme und/oder Ähnliches. Die Benutzervorrichtung kann in der Lage sein, das erweiterte Realitätsmodell 130 in verschiedenen Orientierungen anzuzeigen. Beispielsweise kann das erweiterte Realitätsmodell 130 jede mögliche Orientierung aufweisend angezeigt werden und in jede andere Orientierung gedreht werden. Die Benutzervorrichtung kann das erweiterte Realitätsmodell 130 unter Verwendung von Informationen identifizieren, die in dem Speicher der Benutzervorrichtung gespeichert sind (z. B. Informationen, die eine Beziehung zwischen der Maschine und dem erweiterte Realitätsmodell 130 der Maschine anzeigen), und/oder durch Anfordern des erweiterte Realitätsmodells 130 von einem Server (z. B. durch Übertragen von Informationen, die die Maschine identifizieren, an den Server und Empfangen des erweiterte Realitätsmodells 130 in einer Antwort von dem Server).
Wie durch die Referenznummer 140 gezeigt, kann der Benutzer mit der Benutzeroberfläche 110 interagieren, um die Benutzervorrichtung anzuweisen, eine erweiterte Realitätsbenutzeroberfläche 150 anzuzeigen. Die erweiterte Realitätsbenutzeroberfläche 150 kann ein Bild anzeigen, das von einer Bilderfassungskomponente der Benutzervorrichtung erfasst wird (z. B. eine in die Benutzervorrichtung integrierte Kamera, ein in die Benutzervorrichtung integrierter Camcorder, ein in die Benutzervorrichtung integrierter Videorecorder und/oder Ähnliches). Die erweiterte Realitätsbenutzeroberfläche 150 kann ebenso das erweiterte Realitätsmodell 130 über das aufgenommene Bild überlagert anzeigen, wie im Folgenden näher beschrieben. Wie durch die Referenznummer 160 gezeigt, kann die erweiterte Realitätsbenutzeroberfläche 150 einen Eingabemechanismus (z. B. ein Symbol) beinhalten, der es dem Benutzer ermöglicht, die Benutzervorrichtung anzuweisen, eine Zielmarkierungsauswahl-Benutzeroberfläche 210 anzuzeigen, wie nachstehend im Zusammenhang mit 2 beschrieben.
Wie in 2 gezeigt, kann die Zielmarkierungsauswahl-Benutzeroberfläche 210 eine Darstellung 220 einer Maschine (manchmal auch als Maschinendarstellung bezeichnet) und mehrere Symbole 230 anzeigen. Ein Symbol 230 kann die Position einer realen Zielmarkierung in Bezug auf die Maschine anzeigen (z. B. auf der Maschine, zwischen der Maschine und der Benutzervorrichtung, in der Nähe der Maschine und/oder Ähnliches). Ein Symbol 230 kann einer Orientierung für die Überlagerung des erweiterte Realitätsmodells 130 auf einem Bild zugeordnet sein. Die Benutzervorrichtung kann Informationen speichern, die Beziehungen zwischen Symbolen und entsprechende Orientierungen für das erweiterte Realitätsmodell 130 angeben. So können verschiedene Symbole 230 verschiedenen Positionen relativ zu der Maschine und/oder verschiedenen Orientierungen für die Überlagerung des erweiterte Realitätsmodells 130 auf einem Bild entsprechen.
Die Benutzervorrichtung kann eine anzuzeigende Darstellung 220 basierend auf der Benutzeridentifikation einer Maschine identifizieren, wie vorstehend im Zusammenhang mit 1 beschrieben. Beispielsweise kann die Benutzervorrichtung die Darstellung 220 unter Verwendung von Informationen identifizieren, die in dem Speicher der Benutzervorrichtung gespeichert sind (z. B. Informationen, die eine Beziehung zwischen der Maschine und der Darstellung 220 der Maschine anzeigen), und/oder durch Anfordern der Darstellung 220 von einem Server (z. B. durch Übertragen von Informationen, die die Maschine identifizieren, an den Server und Empfangen der Darstellung 220 in einer Antwort von dem Server).
Die Benutzervorrichtung kann einen Satz von Referenzorientierungen oder einen Satz von zulässigen Zielmarkierungspositionen identifizieren, die der Maschine und/oder dem erweiterten Realitätsmodell 130 der Maschine zugeordnet sind. Die Benutzervorrichtung kann auf der Darstellung 220 ein Symbol 230 anzeigen, das jeder Referenzorientierung und/oder jedem Satz zulässiger Zielmarkierungspositionen entspricht. Beispielsweise kann ein Symbol 230 einer Referenzorientierung zugeordnet sein, die eine Orientierung angibt, mit der das erweiterte Realitätsmodell 130 angezeigt werden soll. Die Referenzorientierung kann einen Referenzpunkt und eine Richtung für eine x-Achse, eine y-Achse und/oder eine z-Achse relativ zu dem Referenzpunkt angeben. Die Darstellung 220 kann durch die Interaktion des Benutzers mit der Zielmarkierungsauswahl-Benutzeroberflächen 210 gedreht werden, und ein oder mehrere Symbole 230 können basierend auf der angezeigten Ansicht der Darstellung 220 ein- oder ausgeblendet werden (z. B. können Symbole 230 auf einer Seite der Darstellung 220, die angezeigt wird, gezeigt werden, und Symbole 230 auf einer gegenüberliegenden Seite, die nicht angezeigt wird, können ausgeblendet werden). Zusätzlich oder alternativ kann die Benutzervorrichtung eine Liste möglicher Positionen für die Zielmarkierung anzeigen, und der Benutzer kann ein Element aus der Liste auswählen.
Wie durch die Referenznummer 240 gezeigt, kann der Benutzer mit der Zielmarkierungsauswahl-Benutzeroberfläche 210 der Zielmarkierung interagieren, um ein Symbol 230 aus mehreren Symbolen 230 auszuwählen. Die Auswahl des Symbols 230 kann veranlassen, dass die Benutzervorrichtung eine Angabe über eine Orientierung speichert, mit der das erweiterte Realitätsmodell 130 einem von der Benutzervorrichtung aufgenommenen Bild 250 überlagert werden soll. Beispielsweise kann die Benutzervorrichtung eine dem Symbol zugeordnete Symbolkennung verwenden, um eine entsprechende Orientierung in einer von der Benutzervorrichtung gespeicherten Datenstruktur nachzuschlagen. Zusätzlich oder alternativ kann die Auswahl des Symbols 230 veranlassen, dass die Benutzervorrichtung die erweiterte Realitätsbenutzeroberfläche 150 anzeigt, die das von der Benutzervorrichtung aufgenommene Bild 250 anzeigen kann.
Wie ferner gezeigt, kann das Bild 250 eine Zielmarkierung 260 beinhalten. Beispielsweise kann der Benutzer die Zielmarkierung an einer durch das Symbol 230 angezeigten Position platzieren. Die Zielmarkierung 260 kann eine physische Markierung sein, wie eine magnetische Markierung, ein Aufkleber und/oder Ähnliches, die/der auf der Maschine angebracht werden kann. Zusätzlich oder alternativ kann die Zielmarkierung 260 eine erkennbare Komponente der Maschine sein (z. B. ein Maschinenteil, ein Abschnitt der Maschine und/oder Ähnliches). Die Zielmarkierung 260 kann eine bestimmte Form aufweisen, ein bestimmtes Muster beinhalten (z. B. einen Quick Response- (QR-) Code, einen Barcode und/oder Ähnliches), bestimmte kodierte Informationen beinhalten, einen bestimmten Text beinhalten und/oder Ähnliches, das/die/der von der Benutzervorrichtung (z. B. einem Bildprozessor der Benutzervorrichtung) identifiziert werden kann.
Der Benutzer kann die Benutzervorrichtung bewegen und/oder orientieren, um ein Bild 250 der Maschine und der Zielmarkierung 260 aufzunehmen. Die Benutzervorrichtung kann die Zielmarkierung 260 in dem Bild 250 erfassen und das erweiterte Realitätsmodell 130 über das Bild 250 überlagern, indem es die dem von dem Benutzer ausgewählten Symbol 230 zugordnete Orientierung verwendet. Auf diese Weise kann das erweiterte Realitätsmodell 130 richtig an der realen Maschine ausgerichtet werden, um den Benutzer bei der Durchführung verschiedener Aufgaben, die der Maschine zugeordnet sind, zu unterstützen, wie an anderer Stelle beschrieben.
Eine Orientierung des erweiterten Realitätsmodells 130 kann beispielsweise eine Drehung des erweiterten Realitätsmodells 130 (z. B. relativ zu einer Standarddrehung) beinhalten. Das erweiterte Realitätsmodell 130 kann durch drei Drehelemente (z. B. um eine x-, y- und/oder z-Achse) definiert sein. Eine Orientierung des erweiterten Realitätsmodells 130 kann durch eine Standardorientierung und einen Satz von Drehungen (z. B. um eine oder mehrere Achsen) definiert werden. Das erweiterte Realitätsmodell 130 kann mehreren Referenzorientierungen zugeordnet sein, wie einer Referenzorientierung für jedes Symbol 230 und/oder für jede durch jedes Symbol 230 dargestellte Position. Wenn ein Symbol 230 ausgewählt wird, kann die Benutzervorrichtung eine Referenzorientierung identifizieren, die dem Symbol 230 entspricht (z. B. unter Verwendung einer Datenstruktur, die Beziehungen zwischen Symbolkennungen und entsprechenden Referenzorientierungen eines erweiterten Realitätsmodells 130 speichert). Wie vorstehend beschrieben, kann die Referenzorientierung einen Referenzpunkt, der einem ausgewählten Symbol 230 zugeordnet ist, und eine Richtung für eine x-Achse, eine y-Achse und/oder eine z-Achse relativ zu dem Referenzpunkt angeben. Beim Überlagern des erweiterten Realitätsmodells 130 über das Bild 250 kann die Benutzervorrichtung das erweiterte Realitätsmodell 130 mit der Referenzorientierung anzeigen. Beispielsweise kann die Benutzervorrichtung das erweiterte Realitätsmodell 130 platzieren, indem es einen Referenzpunkt des erweiterten Realitätsmodells 130 an einem Referenzpunkt ausrichtet, der dem ausgewählten Symbol 230 zugeordnet ist, und das erweiterte Realitätsmodell 130 basierend auf den Richtungen der x-Achse, der y-Achse und der z-Achse ausrichtet, die dem ausgewählten Symbol 230 zugeordnet sind.
Die Benutzervorrichtung kann eine Referenzorientierung basierend auf einem Winkel der Zielmarkierung 260 in dem Bild 250 (z. B. eine Orientierung der Zielmarkierung 260 in dem Bild 250) modifizieren. Die Referenzorientierung kann beispielsweise einem Standardwinkel der Zielmarkierung 260 entsprechen, etwa wenn eine Fläche der Zielmarkierung 260 in dem Bild 250 um null Grad gedreht ist (z. B. ohne Drehung). Die Benutzervorrichtung kann den relativen Winkel der Zielmarkierung 260 relativ zu einem Standardwinkel bestimmen (z. B. schätzen) und die Referenzorientierung auf der Grundlage des relativen Winkels modifizieren, z. B. durch Drehen der Referenzorientierung um einen Betrag, der dem Winkel entspricht, um einen Betrag, der einem Anteil des Winkels entspricht, um einen Betrag, der basierend auf dem Winkel bestimmt wird, und/oder Ähnliches.
Zusätzlich oder alternativ kann die Benutzervorrichtung eine Position für die Überlagerung des erweiterten Realitätsmodells 130 auf dem Bild 250 bestimmen. Die Position kann sich auf die Zielmarkierung 260 beziehen. Beispielsweise kann das erweiterte Realitätsmodell 130 durch einen Satz von Punkten (z. B. Pixel, Voxel und/oder Ähnliches) dargestellt werden, die auf eine bestimmte Weise angeordnet sind, um das erweiterte Realitätsmodell 130 auszubilden. Ein Referenzpunkt kann sich auf einen bestimmten Punkt auf dem erweiterten Realitätsmodell 130 beziehen (z. B. ein bestimmtes Pixel, ein bestimmtes Voxel und/oder Ähnliches). Das erweiterte Realitätsmodell 130 kann mehreren Referenzpunkten zugeordnet sein, wie einem Referenzpunkt für jedes Symbol 230 und/oder für jede durch jedes Symbol 230 dargestellte Position. Wenn ein Symbol 230 ausgewählt wird, kann die Benutzervorrichtung ein Referenzpunkt identifizieren, die dem Symbol 230 entspricht (z. B. unter Verwendung einer Datenstruktur, die Beziehungen zwischen Symbolkennungen und entsprechenden Referenzpunkten eines erweiterten Realitätsmodells 130 speichert).
Beim Überlagern des erweiterten Realitätsmodells 130 auf dem Bild 250 kann die Benutzervorrichtung den Referenzpunkt an der Zielmarkierung 260 ausrichten (z. B. einen Punkt auf der Zielmarkierung 260, wie einen Mittelpunkt, einen Eckpunkt und/oder Ähnliches).
Obwohl vorstehend ein einzelner Referenzpunkt für die Ausrichtung beschrieben wurde, kann in einigen Implementierungen ein Satz von Referenzpunkten verwendet werden, um das erweiterte Realitätsmodell 130 an der Zielmarkierung 260 auszurichten (z. B. ein Satz von Punkten auf der Zielmarkierung 260, wie ein Umriss der Zielmarkierung 260, eine Form auf der Zielmarkierung 260 und/oder Ähnliches).
Die Position und Orientierung des erweiterten Realitätsmodells 130 in dem dreidimensionalen Raum kann durch drei Translationselemente und drei Drehelemente definiert werden, was bedeutet, dass das erweiterte Realitätsmodell 130 sechs Freiheitsgrade aufweisen kann.
Die Benutzervorrichtung kann eine Größe bestimmen, in der das erweiterte Realitätsmodell 130 angezeigt werden soll, wenn es dem Bild 250 überlagert wird. Das erweiterte Realitätsmodell 130 kann einer Standardgröße (z. B. einer Standard-Zoomstufe) zugeordnet sein. Auf ähnliche Weise kann die Zielmarkierung 260 einer Standardgröße zugeordnet sein (z. B. einer Standardgröße in dem aufgenommenen Bild 250). Die Benutzervorrichtung kann eine Größe der Zielmarkierung 260 in dem Bild mit einer Standardgröße der Zielmarkierung 260 vergleichen und die Größe des erweiterten Realitätsmodells 130 (z. B. relativ zu der Standardgröße) basierend auf dem Vergleich anpassen. Zusätzlich oder alternativ kann die Benutzervorrichtung einen Abstand zwischen der Benutzervorrichtung und der Zielmarkierung 260 schätzen (z. B. basierend auf der Größe der Zielmarkierung 260 und einer bekannten Größe der Zielmarkierung 260) und eine Größe für die Anzeige des erweiterten Realitätsmodells 130 basierend auf dem Abstand bestimmen.
Wie in 3 und durch die Referenznummer 310 gezeigt, kann die Interaktion des Benutzers mit einem anderen Symbol 230 (z. B. einem anderen als dem in 2 ausgewählten Symbol 230) über die Zielmarkierungsauswahl-Benutzeroberfläche 210 veranlassen, dass die Benutzervorrichtung eine Angabe über eine andere Orientierung speichert, mit der das erweiterte Realitätsmodell 130 dem Bild 250 überlagert werden soll. So kann die erweiterte Realitätsbenutzerschnittstelle 150 ein Bild 250 anzeigen, das von der Benutzervorrichtung aufgenommen wird, und das erweiterte Realitätsmodell 130 in einer anderen Orientierung als in 2 gezeigt anzeigen. Wenn beispielsweise die Zielmarkierung 260 in dem Bild 250 erfasst wird, kann die Benutzervorrichtung das erweiterte Realitätsmodell 130 mit einer Orientierung, Position oder Größe überlagern, die basierend auf dem ausgewählten Symbol 230 und/oder der Zielmarkierung 260 bestimmt wird, wie vorstehend beschrieben. Auf diese Weise kann der Benutzer das erweiterte Realitätsmodell 130 über ein Bild 250 überlagern, das die Maschine oder einen Abschnitt der Maschine in einer Orientierung, Position und/oder Größe beinhaltet, die den Benutzer bei der Durchführung einer oder mehrerer Aufgaben, die der Maschine zugeordnet sind, unterstützt.
Die Benutzervorrichtung kann überprüfen, ob eine Zielmarkierung 260 in Bezug auf die Maschine korrekt platziert ist, und/oder kann bestimmen, ob die Zielmarkierung 260 falsch platziert ist. Beispielsweise kann die Benutzervorrichtung eine erwartete Position der Zielmarkierung 260 bestimmen (z. B. basierend auf der Auswahl eines Symbols 230) und eine tatsächliche Position der Zielmarkierung 260 bestimmen (z. B. basierend auf der Analyse des Bildes 250, um eine Position der Zielmarkierung 260 relativ zu einer oder mehreren Komponenten der Maschine, einem Umriss der Maschine, einer Kante der Maschine und/oder Ähnlichem zu bestimmen). Die Benutzervorrichtung kann eine Meldung ausgeben, dass die Zielmarkierung 260 falsch platziert wurde, wenn die tatsächliche Position von der erwarteten Position um einen Schwellenwertbetrag (z. B. einen Schwellenwertabstand) abweicht.
Obwohl vorstehend beschrieben wurde, dass einige Vorgänge von der Benutzervorrichtung basierend auf einer Benutzerauswahl durchgeführt werden, kann in einigen Implementierungen die Auswahl von der Benutzervorrichtung durchgeführt werden. Beispielsweise kann die Benutzervorrichtung ein Symbol 230 auswählen (z. B. eine einem Symbol 230 zugeordnete Position auswählen), das auf einer Komponente der Maschine basiert, die bedient werden soll (z. B. Inspektion, Diagnose, Reparatur und/oder Ähnliches). Beispielsweise kann der Benutzer der Benutzervorrichtung eine Komponente der Maschine (z. B. ein Teil, ein System, ein Teilsystem und/oder Ähnliches) angeben, oder die Benutzervorrichtung kann mit einer Kommunikationskomponente der Maschine kommunizieren, um Informationen (z. B. einen Diagnosebericht) zu empfangen, die eine zu inspizierende und/oder zu reparierende Komponente der Maschine identifizieren. Die Benutzervorrichtung kann ein Symbol 230 und/oder eine entsprechende Position basierend auf der Komponente auswählen. Die Benutzervorrichtung kann ein Symbol 230 auswählen, das der Komponente am nächsten liegt (z. B. aus allen möglichen Symbolen 230). Zusätzlich oder alternativ kann die Benutzervorrichtung ein Symbol 230 basierend auf einer Datenstruktur auswählen, in der Beziehungen zwischen Symbolkennungen und entsprechenden Maschinenkomponenten gespeichert sind (z. B. Angabe der besten Position, die für die Überlagerung des erweiterten Realitätsmodells 130 für die Unterstützung der Arbeit an der Komponente verwendet werden soll).
Die Benutzervorrichtung kann ein von dem Benutzer auszuwählendes Symbol 230 empfehlen (z. B. nach Auswahl eines Symbols 230 durch die Benutzervorrichtung, wie vorstehend beschrieben). Zusätzlich oder alternativ kann die Benutzervorrichtung den Benutzer über ein von der Benutzervorrichtung ausgewähltes Symbol 230 informieren (z. B. durch Anzeigen von Informationen, die das von der Benutzervorrichtung ausgewählte Symbol 230 kennzeichnen). Der Benutzer kann die Auswahl akzeptieren oder die Auswahl durch eine Benutzerauswahl überschreiben. Auf ähnliche Weise kann die Benutzervorrichtung den Benutzer über eine Stelle (z. B. auf der Maschine) informieren, an der eine Zielmarkierung 260 von dem Benutzer platziert werden sollte.
Der Benutzer kann eine Eingabe bereitstellen, um ein Symbol 230 zu einer Darstellung 220 der Maschine hinzuzufügen, die in Zukunft verwendet werden soll. Beispielsweise kann der Benutzer die Zielmarkierung 260 auf der Maschine an einer Position platzieren, die nicht durch ein vorhandenes (z. B. gespeichertes) Symbol 230 angezeigt wird. Der Benutzer kann dann mit der Benutzervorrichtung interagieren, um Parameter des angezeigten erweiterten Realitätsmodells 130 zu ändern, wie eine Orientierung, eine Position, eine Größe und/oder Ähnliches. Der Benutzer kann Eingaben bereitstellen, um Informationen zu speichern, die die Orientierung, die Position und/oder die Größe identifizieren, und er kann mit der Darstellung 220 interagieren, um eine Position auf der Maschine auszuwählen, für die ein Symbol 230 erstellt werden soll. Die Benutzervorrichtung kann dann die Position und die Parameter des erweiterten Realitätsmodells 130 in Verbindung mit einer Symbolkennung speichern, die das Symbol 230 identifiziert. Die Benutzervorrichtung kann das erstellte Symbol 230 für die Verwendung mit der Darstellung 220 in der Zukunft anzeigen. Zusätzlich oder alternativ kann die Benutzervorrichtung diese Informationen an einen Server übertragen, um sie mit anderen Benutzervorrichtungen zu teilen.
Obwohl einige Vorgänge vorstehend in Verbindung mit einem einzelnen Symbol 230 und einer einzelnen Zielmarkierung 260 beschrieben wurden, können in einigen Implementierungen mehrere Symbole 230 ausgewählt und mehrere Zielmarkierungen 260 in dem Bild 250 erfasst werden. Die vorstehend beschriebenen Techniken können auf die mehreren Zielmarkierungen 260 angewandt werden, wie durch das Bestimmen einer Orientierung, Position, Größe und/oder Ähnlichem unter Verwendung der mehreren Zielmarkierungen 260. Auf diese Weise kann das erweiterte Realitätsmodell 130 mit größerer Genauigkeit über die Maschine überlagert werden.
Wie bereits erwähnt, sind die 1-3 als Beispiele bereitgestellt. Andere Beispiele können von dem abweichen, was in Verbindung mit 1-3 beschrieben wurde.
4 ist ein Schaubild einer beispielhaften Umgebung 400, in der die hierin beschriebenen Systeme und/oder Verfahren implementiert werden können. Wie in 4 gezeigt, kann die Umgebung 400 eine Benutzervorrichtung 410 (die eine Bildaufnahmekomponente 420 und einen Bildprozessor 430 beinhalten kann), eine Maschine 440, eine Zielmarkierung 450, einen Server 460 und ein Netzwerk 470 beinhalten. Einige Vorrichtungen der Umgebung 400 (z. B. die Benutzervorrichtung 410 und der Server 460) können über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen miteinander verbunden werden.
Die Benutzervorrichtung 410 beinhaltet eine oder mehrere Vorrichtungen, die in der Lage sind, ein Bild zu empfangen, zu erhalten und/oder aufzunehmen, das Bild anzuzeigen und erweiterte Realitätsinformationen (z. B. ein erweitertes Realitätsmodell) auf dem angezeigten Bild zu überlagern. Die Benutzervorrichtung 410 kann beispielsweise eine Kommunikations- und/oder Rechenvorrichtung beinhalten, wie ein Mobiltelefon (z. B. ein Smartphone, ein Funktelefon und/oder Ähnliches), ein Laptop, ein Tablet-Computer, ein Handheld-Computer, eine tragbare Kommunikationsvorrichtung (z. B. eine intelligente Armbanduhr, eine intelligente Brille usw.) oder eine ähnliche Art von Vorrichtung. Wie gezeigt, kann die Benutzervorrichtung 410 eine Bildaufnahmekomponente 420 und/oder einen Bildprozessor 430 beinhalten.
Die Bildaufnahmekomponente 420 beinhaltet eine oder mehrere Vorrichtungen, die ein Bild aufnehmen können. Die Bildaufnahmekomponente 420 kann beispielsweise eine Kamera, einen Videorekorder, einen Camcorder und/oder Ähnliches beinhalten. Die Bildaufnahmekomponente kann ein Bild aufnehmen, das die Maschine 440, einen Abschnitt der Maschine 440 und/oder die Zielmarkierung 450 beinhaltet. Der Bildprozessor 430 beinhaltet eine oder mehrere Vorrichtungen, die in der Lage sind, ein Bild zu verarbeiten, wie durch das Analysieren des Bildinhalts, das Erfassen des Bildinhalts und/oder Ähnliches. Der Bildprozessor 430 kann beispielsweise eine Verarbeitungskomponente wie den nachstehend in Verbindung mit 5 näher beschriebenen Prozessor 520 beinhalten. Der Bildprozessor 430 kann in der Lage sein, eine Zielmarkierung 450 in einem von der Bildaufnahmekomponente 420 aufgenommenen Bild zu erfassen und dem Bild ein erweitertes Realitätsmodell zu überlagern, wie an anderer Stelle hierin beschrieben.
Die Maschine 440 kann jede Maschine beinhalten, die einen Vorgang, der einer Branche zugeordnet ist, durchführt, z. B. in dem Bergbau, in dem Baugewerbe, in der Landwirtschaft, in dem Transportwesen oder in einer anderen Branche. Als einige Beispiele kann die Maschine 440 ein Fahrzeug, ein Baggerlader, eine Kaltfräse, ein Radlader, eine Verdichtungsmaschine, eine Fäll- und Zusammenrückmaschine, eine Forstmaschine, ein Frächter, eine Erntemaschine, ein Bagger, ein Industrielader, ein Baustofflader, ein Materialumschlaggerät, ein Motorgrader, ein Rohrverleger, ein Straßenrückladebagger, ein Kompaktlader, ein Schlepper, ein Teleskoplader, ein Traktor, eine Planierraupe, ein Traktorkratzer oder andere oberirdische Geräte, unterirdischen Geräte oder Schiffsausrüstung sein. Die Maschine 440 kann ein oder mehrere Teile oder Komponenten beinhalten, die ausfallen können und die diagnostiziert, inspiziert, repariert, gewartet werden können und/oder Ähnliches.
Die Zielmarkierung 450 kann eine physische Markierung (z. B. eine magnetische Markierung, ein Aufkleber) oder eine Komponente oder ein Teil der Maschine 440 sein. Die Zielmarkierung 450 kann der vorstehend beschriebenen Zielmarkierung 260 entsprechen.
Der Server 460 beinhaltet eine oder mehrere Vorrichtungen, die in der Lage sind, Informationen zu empfangen, zu speichern, zu verarbeiten und/oder bereitzustellen, die dem Ausrichten eines erweiterten Realitätsmodells zugeordnet sind. Beispielsweise kann der Server 460 mit der Benutzervorrichtung 410 kommunizieren, um ein erweitertes Realitätsmodell (z. B. der Maschine 440 zugeordnet), eine Darstellung der Maschine 440, ein oder mehrere Symbole, die der Darstellung zugeordnet sind, und/oder Ähnliches zu übertragen oder zu empfangen. Der Server 460 kann eine Datenstruktur beinhalten, die Informationen speichert, die Beziehungen zwischen Maschinen, erweiterten Realitätsmodellen, Darstellungen von Maschinen, Symbolen und/oder Ähnlichem anzeigen.
Das Netzwerk 470 beinhaltet ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. Das Netzwerk 470 kann beispielsweise ein Mobilfunknetz (z. B. ein Long-Term Evolution- (LTE-) Netz, ein Codemultiplex- (CDMA-) Netz, ein 3G-Netz, ein 4G-Netz, ein 5G-Netz, eine andere Art eines Netzes der nächsten Generation usw.), ein landgestütztes Mobilfunknetz (PLMN), ein lokales Netzwerk (LAN), ein Weitverbundnetz (WAN), ein Regionalnetz (MAN), ein Telefonnetz (z. B. das öffentliche Telefon-Wählnetz (PSTN)), ein privates Netzwerk, ein Ad-Hoc-Netz, ein Intranet, das Internet, ein Netzwerk auf Faseroptikbasis, ein Cloud-Rechennetzwerk oder Ähnliches, und/oder eine Kombination dieser oder anderer Arten von Netzwerken beinhalten.
Die in 4 gezeigte Anzahl und Anordnung von Vorrichtungen und Netzwerken sind als ein Beispiel bereitgestellt. In der Praxis können zusätzliche Vorrichtungen und/oder Netzwerke, weniger Vorrichtungen und/oder Netzwerke, andere Vorrichtungen und/oder Netzwerke oder anders angeordnete Vorrichtungen und/oder Netzwerke als die in 4 gezeigten vorhanden sein. Darüber hinaus können zwei oder mehr der in 4 gezeigten Vorrichtungen in einer einzigen Vorrichtung implementiert werden, oder eine einzelne Vorrichtung in 4 kann als mehrere, verteilte Vorrichtungen implementiert werden. Zusätzlich oder alternativ kann ein Satz von Vorrichtungen (z. B. eine oder mehrere Vorrichtungen) der Umgebung 400 eine oder mehrere Funktionen durchführen, die beschrieben werden, dass sie von einem anderen Satz von Vorrichtungen der Umgebung 400 durchgeführt werden.
5 ist eine Darstellung von beispielhaften Komponenten einer Vorrichtung 500. Die Vorrichtung 500 kann der Benutzervorrichtung 410, der Bildaufnahmekomponente 420, dem Bildprozessor 430 und/oder dem Server 460 entsprechen. In einigen Implementierungen können die Benutzervorrichtung 410, die Bildaufnahmekomponente 420, der Bildprozessor 430 und/oder der Server 460 ein oder mehrere Vorrichtungen 500 und/oder eine oder mehrere Komponenten der Vorrichtung 500 beinhalten. Wie in 5 gezeigt, kann die Vorrichtung 500 einen Bus 510, einen Prozessor 520, einen Speicher 530, eine Speicherkomponente 540, eine Eingabekomponente 550, eine Ausgabekomponente 560 und eine Kommunikationsschnittstelle 570 beinhalten.
Der Bus 510 beinhaltet eine Komponente, die Kommunikation zwischen den mehreren Komponenten der Vorrichtung 500 ermöglicht. Der Prozessor 520 ist in Hardware, Firmware und/oder einer Kombination aus Hardware und Software implementiert. Der Prozessor 520 ist eine Zentraleinheit (CPU), eine Grafikeinheit (GPU), eine Steuervorrichtung, ein Bildprozessor (z. B. Bildprozessor 430) oder eine andere Art von Verarbeitungskomponente. In einigen Implementierungen beinhaltet der Prozessor 520 einen oder mehrere Prozessoren, die für die Ausführung einer Funktion programmiert werden können. Der Speicher 530 beinhaltet einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM) und/oder eine andere Art von dynamischer oder statischer Speichervorrichtung, der Informationen und/oder Anweisungen für die Verwendung durch den Prozessor 520 speichert.
Die Speicherkomponente 540 speichert Informationen und/oder Software, die sich auf den Betrieb und die Verwendung der Vorrichtung 500 beziehen. Die Speicherkomponente 540 kann beispielsweise eine Festplatte (z. B. eine Magnetplatte, eine optische Platte und/oder eine magneto-optische Platte), eine Solid-State-Disk (SSD) und/oder eine andere Art von nichtflüchtigem, computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk beinhalten.
Die Eingabekomponente 550 beinhaltet eine Komponente, die es der Vorrichtung 500 ermöglicht, Informationen zu empfangen, wie über eine Benutzereingabe (z. B. eine berührungsempfindliche Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter und/oder ein Mikrofon). Zusätzlich oder alternativ kann die Eingabekomponente 550 eine Komponente zum Aufnehmen eines Bildes beinhalten, wie die Bildaufnahmekomponente 420. Die Ausgabekomponente 560 beinhaltet eine Komponente, die Ausgabeinformationen von der Vorrichtung 500 bereitstellt (z. B. über eine Anzeige, einen Lautsprecher, eine haptische Feedbackkomponente, eine akustische oder visuelle Anzeige und/oder Ähnliches).
Die Kommunikationsschnittstelle 570 beinhaltet eine senderempfänger-ähnliche Komponente (z. B. einen Sendeempfänger, einen separaten Empfänger und/oder Ähnliches), die es der Vorrichtung 500 ermöglicht, mit anderen Vorrichtungen zu kommunizieren, wie über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen. Die Kommunikationsschnittstelle 570 kann es der Vorrichtung 500 ermöglichen, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. Die Kommunikationsschnittstelle 570 kann beispielsweise eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenzschnittstelle (HF), eine universelle Serienbus- (USB-) Schnittstelle, eine Schnittstelle für ein lokales Netzwerk, eine Mobilfunkschnittstelle und/oder Ähnliches beinhalten.
Die Vorrichtung 500 kann einen oder mehrere hierin beschriebene Vorgänge durchführen. Die Vorrichtung 500 kann diese Vorgänge basierend auf einem Prozessor 520 durchführen, der Softwareanweisungen ausführt, die in einem nichtflüchtigen computerlesbaren Medium, wie dem Speicher 530 und/oder der Speicherkomponente 540, gespeichert sind. Der hierin verwendete Begriff „computerlesbares Medium“ bezieht sich auf eine nichtflüchtige Speichervorrichtung. Eine Speichervorrichtung beinhaltet Speicherplatz innerhalb einer einzigen physischen Speichervorrichtung oder Speicherplatz, der über mehrere physische Speichervorrichtungen verteilt ist.
Softwareanweisungen können von einem anderen computerlesbaren Medium oder von einer anderen Vorrichtung über die Kommunikationsschnittstelle 570 in den Speicher 530 und/oder die Speicherkomponente 540 eingelesen werden. Bei der Ausführung können die in dem Speicher 530 und/oder in der Speicherkomponente 540 gespeicherten Softwareanweisungen den Prozessor 520 veranlassen, einen oder mehrere hierin beschriebene Vorgänge durchzuführen. Zusätzlich oder alternativ können Hardware-Schaltungen anstelle von oder in Kombination mit Softwareanweisungen verwendet werden, um einen oder mehrere hierin beschriebene Vorgänge durchzuführen. Daher sind die hierin beschriebenen Implementierungen nicht auf eine bestimmte Kombination von Hardware-Schaltungen und Software beschränkt.
Die in 5 gezeigte Anzahl und Anordnung der Komponenten wird als ein Beispiel bereitgestellt. In der Praxis kann die Vorrichtung 500 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 5 gezeigt beinhalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Vorrichtung 500 eine oder mehrere Funktionen ausführen, die als von einem anderen Satz von Komponenten der Vorrichtung 500 ausgeführt beschrieben werden.
6 ist ein Flussdiagramm eines beispielhaften Vorgangs 600 für die Ausrichtung eines erweiterten Realitätsmodells. Ein oder mehrere Vorgangsblöcke von 6 können von einer Benutzervorrichtung (z. B. Benutzervorrichtung 410) durchgeführt werden. In einigen Implementierungen können ein oder mehrere Vorgangsblöcke von 6 von einer anderen Vorrichtung oder einer Gruppe von Vorrichtung durchgeführt werden, die von der Benutzervorrichtung getrennt sind oder diese beinhalten, wie die Bildaufnahmekomponente 420, der Bildprozessor 430, der Server 460 und/oder Ähnliches.
Wie in 6 gezeigt, kann der Vorgang 600 die Auswahl einer Position aus einer Mehrzahl von Positionen für eine Zielmarkierung beinhalten, die einer Maschine zugeordnet ist (Block 610). Beispielsweise kann die Benutzervorrichtung (z. B. unter Verwendung von Prozessor 520, Eingabekomponente 550 und/oder Ähnlichen) eine Position aus einer Mehrzahl von Positionen für eine Zielmarkierung auswählen, die einer Maschine zugeordnet ist, wie vorstehend beschrieben. In einigen Implementierungen kann die Position basierend auf Benutzereingaben bestimmt werden. Beispielsweise kann die Benutzervorrichtung Eingaben bereitstellen, die die Maschine identifizieren, kann die Benutzervorrichtung eine Darstellung der Maschine mit mehreren Symbolen anzeigen, die mehrere Positionen für eine Zielmarkierung angeben (z. B. entsprechend mehreren Orientierungen), und kann die Benutzervorrichtung eine Benutzerauswahl eines Symbols aus den mehreren Symbolen erfassen. Die Position kann basierend auf dem ausgewählten Symbol bestimmt werden. Zusätzlich oder alternativ kann die Position basierend auf einer Eingabe bestimmt werden, die eine Komponente der Maschine identifiziert (z. B. die der Maschine am nächsten liegende Position aus der Mehrzahl von Positionen).
Wie in 6 ferner gezeigt, kann der Vorgang 600 beinhalten, dass basierend auf der Position eine Orientierung für die Überlagerung eines erweiterten Realitätsmodells bestimmt wird, das der Maschine zugeordnet ist (Block 620). Beispielsweise kann die Benutzervorrichtung (z. B. unter Verwendung von Prozessor 520, Speicher 530 und/oder Ähnlichen) eine Orientierung für die Überlagerung eines erweiterten Realitätsmodells bestimmen, das der Maschine zugeordnet ist, wie vorstehend beschrieben. Die Orientierung kann basierend auf der Position bestimmt werden.
Wie in 6 ferner gezeigt, kann der Vorgang 600 das Erfassen der Zielmarkierung in einem Bild beinhalten (Block 630). Beispielsweise kann die Benutzervorrichtung (z. B. unter Verwendung des Bildprozessors 430, des Prozessors 520, der Eingabekomponente 550 und/oder Ähnlichen) die Zielmarkierung in einem Bild erfassen, wie vorstehend beschrieben. Die Zielmarkierung kann eine physische Markierung auf der Maschine, ein Aufkleber auf der Maschine, eine Komponente der Maschine und/oder Ähnliches beinhalten. Die Zielmarkierung kann sich auf oder in der Nähe der Maschine befinden.
Wie in 6 ferner gezeigt, kann der Vorgang 600 das Überlagern des erweiterten Realitätsmodells auf dem Bild basierend auf der Orientierung (Block 640) beinhalten. Beispielsweise kann die Vorrichtung (z. B. unter Verwendung des Bildprozessors 430, des Prozessors 520, der Ausgabekomponente 560 und/oder Ähnlichen) das erweiterte Realitätsmodell basierend auf der Orientierung, wie vorstehend beschrieben, über das Bild überlagern.
Der Vorgang 600 kann zusätzliche Vorgänge beinhalten, wie jeden einzelnen Vorgang oder jede Kombination von Vorgängen, die nachstehend und/oder in Verbindung mit einem oder mehreren anderen hierin beschriebenen Vorgängen beschrieben werden.
Der Vorgang 600 kann das Identifizieren eines Referenzpunktes des erweiterten Realitätsmodells basierend auf dem ausgewählten Symbol und das Überlagern des erweiterten Realitätsmodells auf dem Bild basierend auf dem Referenzpunkt (z. B. durch Ausrichten des Referenzpunktes an der Zielmarkierung in dem Bild) beinhalten. Der Vorgang 600 kann das Bestimmen (z. B. Schätzen) eines Abstands zwischen der Vorrichtung und der Zielmarkierung und/oder der Maschine und das Überlagern des erweiterten Realitätsmodells auf dem Bild basierend auf dem Abstand (z. B. durch Bestimmen einer Größe, mit der das erweiterte Realitätsmodell angezeigt werden soll, basierend auf dem Abstand und Anzeigen des erweiterten Realitätsmodells basierend auf der Größe) beinhalten. Der Vorgang 600 kann das Schätzen eines Winkels, in dem die Zielmarkierung in dem Bild ausgerichtet ist, und das Überlagern des erweiterte Realitätsmodells auf dem Bild basierend auf dem Winkel (z. B. durch Bestimmen der Ausrichtung basierend auf dem Winkel) beinhalten. Der Vorgang 600 kann beinhalten, dass bestimmt wird, dass die Zielmarkierung falsch platziert ist und eine Meldung ausgegeben wird, dass die Zielmarkierung falsch platziert ist.
Obwohl 6 Beispielblöcke des Vorgangs 600 zeigt, kann der Vorgang 600 in einigen Implementierungen zusätzliche Blöcke, weniger Blöcke, andere Blöcke oder anders angeordnete Blöcke als die in 6 dargestellten beinhalten. Zusätzlich oder alternativ können zwei oder mehrere der Blöcke des Vorgangs 600 parallel durchgeführt werden.
Gewerbliche Anwendbarkeit
Die hierin beschriebenen Techniken können erweiterte Realität verwenden, um einen Techniker bei der Diagnose eines Maschinenproblems, der Inspektion einer Maschine, der Reparatur einer Maschine und/oder Ähnlichem zu unterstützen. So kann der Techniker beispielsweise auf einer Anzeige der Benutzervorrichtung Komponenten der Maschine betrachten, die versteckt sind oder sich im Inneren der Maschine befinden (z. B. in einem Fach der Maschine). Wenn ein erweitertes Realitätsmodell genau über ein Bild der Maschine überlagert wird (z. B. mit der richtigen Orientierung, Position, Größe und/oder Ähnlichem), das von einer von dem Techniker verwendeten Benutzervorrichtung aufgenommen wurde, kann der Techniker eine Komponente schneller und/oder genauer identifizieren. Die hierin beschriebenen Techniken unterstützen bei der schnellen und genauen Identifizierung von Komponenten, indem sie die Genauigkeit verbessern, mit der ein erweitertes Realitätsmodell orientiert, positioniert oder bemessen wird, wenn es einem Bild der Maschine oder eines Abschnitts der Maschine überlagert wird.
Wie hierin verwendet, sollen die Artikel „ein, eine, ein“ einen oder mehrere Artikel beinhalten und können mit „ein, eine, ein oder mehrere“ austauschbar verwendet werden. Ebenso die hierin verwendeten Begriffe „aufweist“, „aufweisen“, „aufweisend“ oder dergleichen sind als erweiterbare Begriffe gedacht. Ferner soll der Ausdruck „basierend auf ” wenigstens teilweise basierend auf bedeuten.
Die vorausgehende Offenbarung stellt Illustrationen und Darstellungen bereit, soll jedoch weder erschöpfend sein noch die Implementierungen auf die genaue offenbarte Form beschränken. Änderungen und Abweichungen können in dem Lichte der vorstehenden Offenbarung vorgenommen oder aus der Praxis der Implementierungen gewonnen werden. Es ist beabsichtigt, dass die Patentschrift nur als die ein Beispiel betrachtet wird, wobei der wahre Umfang der Offenbarung durch die folgenden Ansprüche und ihre Äquivalente angegeben wird. Auch wenn bestimmte Kombinationen von Merkmalen in den Ansprüchen rezitiert und/oder in der Patentschrift offenbart werden, sollen diese Kombinationen die Offenbarung verschiedener Implementierungen einschränken. Obwohl jeder nachstehend aufgeführte abhängige Anspruch direkt von nur einem Anspruch abhängen kann, beinhaltet die Offenbarung verschiedener Implementierungen jeden abhängigen Anspruch in Kombination mit jedem anderen Anspruch in dem Anspruchssatz.

Claims

Verfahren, umfassend: Empfangen einer Benutzereingabe, die eine Maschine (440) identifiziert, durch eine Vorrichtung (410); Identifizieren eines erweiterten Realitätsmodells (130), das der Maschine (440) zugeordnet ist, durch die Vorrichtung (410); Anzeigen einer Darstellung (220) der Maschine (440) mit mehreren Symbolen (230), die mehrere Positionen für eine Zielmarkierung (260) anzeigen, durch die Vorrichtung (410); Erfassen einer Benutzerauswahl eines Symbols (230) aus den mehreren Symbolen (230) durch die Vorrichtung (410); Bestimmen einer Orientierung für die Überlagerung des erweiterten Realitätsmodells (130) durch die Vorrichtung (410) und basierend auf dem ausgewählten Symbol (230); Erfassen der Zielmarkierung (260) in einem Bild (250), das von einer Bildaufnahmekomponente (420) der Vorrichtung (410) aufgenommen wird, durch die Vorrichtung (410); und Überlagern des erweiterten Realitätsmodells (130) auf dem Bild (250) unter Verwendung der Orientierung durch die Vorrichtung (410).
Verfahren nach Anspruch 1, wobei verschiedene Symbole (230) der mehreren Symbole (230) verschiedenen Orientierungen für die Überlagerung des erweiterten Realitätsmodells (130) zugeordnet sind.
Verfahren nach einem der vorhergehenden Ansprüche, das ferner umfasst: Identifizieren eines Referenzpunktes des erweiterten Realitätsmodells (130) basierend auf dem ausgewählten Symbol (230); und wobei das Überlagern des erweiterten Realitätsmodells (130) auf dem Bild (250) ferner umfasst: Ausrichten des Referenzpunktes an der Zielmarkierung (260) in dem Bild (250).
Verfahren nach einem der vorhergehenden Ansprüche, das ferner umfasst: Schätzen einer Entfernung zwischen der Vorrichtung (410) und der Zielmarkierung (260); Bestimmen einer Größe, mit der das erweiterte Realitätsmodell (130) angezeigt werden soll, basierend auf dem Abstand; und wobei das Überlagern des erweiterten Realitätsmodells (130) auf dem Bild (250) ferner umfasst: Anzeigen des erweiterten Realitätsmodells (130) basierend auf der Größe.
Verfahren nach einem der vorhergehenden Ansprüche, das ferner umfasst: Schätzen eines Winkels, in dem die Zielmarkierung (260) in dem Bild (250) ausgerichtet ist, und wobei das Bestimmen der Orientierung für die Überlagerung des erweiterten Realitätsmodells (130) umfasst: Bestimmen der Orientierung basierend auf dem Winkel.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Darstellung der Maschine (440) basierend auf dem Empfangen der Benutzereingabe identifiziert wird, die die Maschine (440) identifiziert.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Zielmarkierung (260) eine physische Markierung umfasst, die auf der Maschine (440) platziert ist.
Vorrichtung (410), die umfasst: einen Speicher (530); und einen oder mehrere Prozessoren (520), die mit dem Speicher (530) gekoppelt sind, wobei der eine oder die mehreren Prozessoren (520) konfiguriert sind, zum: Auswählen einer Position aus einer Mehrzahl von Positionen für eine Zielmarkierung (260), die einer Maschine (440) zugeordnet ist; Bestimmen basierend auf der Position einer Orientierung für die Überlagerung eines der Maschine (440) zugeordneten erweiterten Realitätsmodells (130); Erfassen der Zielmarkierung (260) in einem Bild (250); und Überlagern des erweiterten Realitätsmodells (130) auf dem Bild (250) basierend auf der Orientierung.
Vorrichtung nach Anspruch 8, wobei der eine oder die mehreren Prozessoren (520) bei der Auswahl der Position konfiguriert sind, zum: Empfangen einer Eingabe, die eine Komponente der Maschine (440) identifiziert; und Auswählen der Position basierend auf der Komponente.
Vorrichtung nach einem der Ansprüche 8-9, wobei der eine oder die mehreren Prozessoren (520) ferner konfiguriert sind, zum: Anzeigen einer Darstellung (220) der Maschine (440) mit einer Mehrzahl von Symbolen (230), die einer Mehrzahl von Positionen für die Zielmarkierung (260) entsprechen; und wobei der eine oder die mehreren Prozessoren (520) bei der Auswahl der Position konfiguriert sind, zum: Erfassen einer Interaktion mit einem Symbol (230) aus der Mehrzahl von Symbolen (230), wobei die Position basierend auf dem Symbol (230) ausgewählt wird.