DE102019116834B4

DE102019116834B4 - Augmentierte Fotoaufnahme

Info

Publication number: DE102019116834B4
Application number: DE102019116834.1A
Authority: DE
Inventors: Jan Heitger
Original assignee: ReFlekt GmbH
Current assignee: Parametric Technology De GmbH
Priority date: 2019-06-21
Filing date: 2019-06-21
Publication date: 2021-01-28
Anticipated expiration: 2039-06-22
Also published as: WO2020254622A1; US20220343610A1; US20240144619A1; EP3987488A1; US11836873B2; DE102019116834A1

Abstract

Es wird ein computerimplementiertes Verfahren bereitgestellt, das Folgendes umfasst: Anzeigen einer Ansicht von Bilddaten über eine Anzeige einer Vorrichtung mit augmentierter Realität, AR, die durch eine Kamera der AR-Vorrichtung gewonnen werden; Nachführen einer Position eines Zielobjekts in der angezeigten Ansicht; Feststellen einer Sichtbarkeit des nachgeführten Zielobjekts und/oder eines virtuellen Objekts, das über das nachgeführte Zielobjekt auf der Anzeige zu blenden ist, wobei die Position des virtuellen Objekts von der Position des Zielobjekts abhängig ist; und Erzeugen eines Auslösesignals in Abhängigkeit von der Sichtbarkeit.

Description

HINTERGRUND
Augmentierte Fotos finden besondere Verwendung in industriellen Fertigungsprozessen. Sie können einen Nutzer einer Vorrichtung mit augmentierter Realität (AR) bei der Ausführung bestimmter Fertigungsaufgaben wie etwa Bau, Wartung, Reparatur oder Inspektion einer Zielvorrichtung wie etwa einer Maschine, eines Fahrzeugs oder dergleichen unterstützen. Zu diesem Zweck zeigt die AR-Vorrichtung mit Hilfe einer physischen Kamera der AR-Vorrichtung eine Live-Ansicht der Zielvorrichtung an. Die AR-Vorrichtung kann zum Beispiel eine handgeführte AR-Vorrichtung wie etwa ein Smartphone, ein Tablet oder eine am Körper tragbare Vorrichtung wie etwa eine AR-Brille sein.
Es sind AR-Vorrichtungen bekannt, die dazu konfiguriert sind, die angezeigte Live-Ansicht der Zielvorrichtung mit virtuellen Objekten zu blenden, die visualisierte Informationen darstellen, wodurch der Nutzer bei der Ausführung der Fertigungsaufgaben unterstützt wird. Zu diesem Zweck werden Kameraparameter wie etwa Position, Drehung und intrinsische Parameter (z. B. ein Öffnungswinkel) einer die virtuellen Objekte zeigenden virtuellen Kamera gemäß Kameraparametern der die Zielvorrichtung zeigenden physischen Kamera derart eingestellt, dass das virtuelle Objekt adäquat innerhalb der angezeigten Live-Ansicht angezeigt wird.
Um es dem Nutzer zu ermöglichen, die Fertigungsaufgaben auszuführen und sich dennoch die erforderlichen Informationen auf der AR-Vorrichtung anzeigen zu lassen, kann der Nutzer ein Bildschirmfoto (Screenshot) der Live-Ansicht aufnehmen und die AR-Vorrichtung beiseitelegen. Durch Beiseitelegen der AR-Vorrichtung ändert der Nutzer die Position und Drehung der physischen Kamera. Die AR-Vorrichtung zeigt jedoch den Screenshot weiterhin an. Mit anderen Worten wird nach der Aufnahme eines Screenshots das angezeigte Bild nicht mehr gemäß der Änderung hinsichtlich Position und Drehung der physischen Kamera aktualisiert. Ebenso bleiben Parameter der virtuellen Kamera unverändert, sodass die Ansicht eines virtuellen Objekts, die über den Screenshot geblendet wird, nicht mehr gemäß der Änderung der Position oder Drehung der AR-Vorrichtung oder der physischen Kamera aktualisiert wird. Der Nutzer kann immer noch (verschiedene, d. h. auswechselbare) virtuelle Objekte in den angezeigten Screenshots sehen. Mit anderen Worten wird das Aktualisieren der Kameraparameter der virtuellen Kamera ausgesetzt, während das virtuelle Kamerasystem aktiv bleibt. Dadurch ist eine Interaktion des Nutzers mit virtuellen Objekten auf dem Screenshot oder ein Austausch virtueller Objekte, entweder manuell durch den Nutzer oder automatisch, immer noch möglich. Somit werden für den Nutzer ergänzende Informationen auf der angezeigten Ansicht der Zielvorrichtung bereitgestellt, ohne dass er die AR-Vorrichtung in der Hand halten muss.
Allerdings ist einem Nutzer der AR-Vorrichtung unter Umständen eine optimale relative Position zwischen der AR-Vorrichtung und der Zielvorrichtung nicht bekannt, wenn er einen Screenshot aufnimmt. Die optimale relative Position kann von der Position eines oder mehrerer spezifischer Teile der zu wartenden oder zu reparierenden Zielvorrichtung und/oder entsprechenden virtuellen Objekten, die über den angezeigten Screenshot zu blenden sind, abhängen. Dies gilt insbesondere, wenn der Nutzer mehrere Screenshots aufnehmen will, die einer oder mehreren Fertigungsaufgaben entsprechen. Der Nutzer muss somit entweder detaillierte Kenntnis der auszuführenden Fertigungsaufgaben haben oder eine große Anzahl von Screenshots aus verschiedenen relativen Positionen und relativen Winkeln zwischen der AR-Vorrichtung und der Zielvorrichtung aufnehmen, um zu gewährleisten, dass die Zielvorrichtung und/oder die zu blendenden virtuellen Objekte angemessen durch die AR-Vorrichtung für jede einzelne Fertigungsaufgabe angezeigt werden können. Dies ist jedoch zeitaufwändig und stellt eine ineffektive Nutzung von Zeit-, Verarbeitungs-, Speicher- und Energieressourcen der AR-Vorrichtung dar.
Aus US 9 747 509 B2 ist ein Verfahren gemäß dem Oberbegriff von Anspruch 1 bekannt.
Der vorliegenden Erfindung liegt die Aufgabe zu Grunde, Verfahren und Systeme zu schaffen, um die Effizienz einer AR-Vorrichtung zu verbessern, während das Nutzererlebnis der AR-Vorrichtung beim Anzeigen physischer Objekte und entsprechender virtueller Objekte verbessert wird, insbesondere wenn sie genutzt wird, um industrielle Fertigungsprozesse, Reparatur- oder Wartungsschritte zu unterstützen, bei denen die AR-Vorrichtung nicht durchgängig auf das physische Objekt gerichtet werden kann.
Ein Verfahren und Systeme gemäß der vorliegenden Erfindung, die das vorstehend genannte Problem lösen, sind durch die unabhängigen Ansprüche definiert. Vorteilhafte Ausführungsformen der Erfindung sind durch die abhängigen Ansprüche definiert.
KURZDARSTELLUNG
Erfindungsgemäß wird ein computerimplementiertes Verfahren bereitgestellt, das Folgendes umfasst: Anzeigen, über eine Anzeige einer Vorrichtung mit augmentierter Realität, AR, einer Ansicht von Bilddaten, die durch eine Kamera der AR-Vorrichtung gewonnen werden; Nachführen einer Position eines Zielobjekts in der angezeigten Ansicht; Feststellen einer Sichtbarkeit des nachgeführten Zielobjekts und/oder eines virtuellen Objekts, das über das nachgeführte Zielobjekt auf der Anzeige zu blenden ist, wobei die Position des virtuellen Objekts von der Position des Zielobjekts abhängig ist; Erzeugen eines Auslösesignals in Abhängigkeit von der Sichtbarkeit; Speichern der angezeigten Ansicht; Speichern einer Sichtbarkeitsmatrix, die der gespeicherten angezeigten Ansicht zugeordnet ist, wobei die Sichtbarkeitsmatrix mindestens ein Sichtbarkeitsmatrixelement umfasst, das die Sichtbarkeit des Zielobjekts angibt; Abrufen einer jeweiligen Sichtbarkeitsmatrix für eine oder mehrere vorher gespeicherte angezeigte Ansichten; Auswählen einer oder mehrerer der gespeicherten angezeigten Ansichten basierend auf den abgerufenen Sichtbarkeitsmatrizen; Anzeigen der ausgewählten angezeigten Ansichten über die Anzeige der AR-Vorrichtung oder eine weitere Anzeige einer weiteren AR-Vorrichtung, und Feststellen, ob sich eine Ausrichtung der AR-Vorrichtung in einer Lesemodusposition befindet, wobei die Lesemodusposition insbesondere eine im Wesentlichen horizontale Position ist, und wobei das Auslösesignal in Reaktion auf das Feststellen, dass sich die Ausrichtung in der Lesemodusposition befindet, das Anzeigen der abgerufenen angezeigten Ansichten über die Anzeige der AR-Vorrichtung auslöst.
Die Sichtbarkeitsmatrix kann mehrere Elemente beinhalten, von denen jedes die Sichtbarkeit des Zielobjekts angibt und einem jeweils anderen Sichtbarkeitskriterium zugeordnet ist. Zum Beispiel kann ein Matrixelement der Sichtbarkeit basierend auf der nachgeführten Position des Zielobjekts zugeordnet sein, wohingegen ein anderes Matrixelement der Sichtbarkeit basierend auf der Bildqualität der angezeigten Ansicht zugeordnet sein kann, usw.
Die festgestellte Sichtbarkeit des nachgeführten Zielobjekts wird verwendet, um dem Nutzer die „beste(n)“ gespeicherte(n) Ansicht(en) zu präsentieren, d. h. die angezeigte(n) Ansicht(en), die am meisten geeignet ist/sind, um den Nutzer bei der Ausführung der Reparatur- oder Wartungsaufgaben zu unterstützen. Die Eignung wiederum kann aus einem Vergleich von Matrixelementen verschiedener Sichtbarkeitsmatrizen abgeleitet werden.
Die festgestellte Sichtbarkeit des Zielobjekts kann angeben, dass das Zielobjekt und/oder das virtuelle Objekt in der angezeigten Ansicht nicht oder nicht vollständig sichtbar ist/sind. Wenn die AR-Vorrichtung in einen Lesemodus versetzt wird, d. h. die AR-Vorrichtung in eine Lesemodusposition gedreht wird, werden außerdem eine oder mehrere vorher gespeicherte angezeigte Ansichten auf der Anzeige der AR-Vorrichtung präsentiert, die geeignet sein könnten, den Nutzer bei der Ausführung des aktuellen Reparatur- oder Wartungsschritts zu unterstützen.
Gemäß einer Ausführungsform löst das Auslösesignal ein Speichern der angezeigten Ansicht aus.
Gemäß einer Ausführungsform ist das Auslösesignal dazu konfiguriert, eine Angabe für den Benutzer der AR-Vorrichtung bereitzustellen, um den Nutzer in die Lage zu versetzen, die angezeigte Ansicht zu speichern.
Die AR-Vorrichtung zur Verwendung in diesem Verfahren kann einen Nutzer der Vorrichtung bei der Ausführung von Reparatur- oder Wartungsaufgaben an einem Zielobjekt wie etwa einem spezifischen Teil einer Maschine, eines Fahrzeugs oder dergleichen, der sich im Sichtfeld der Vorrichtungskamera befindet, unterstützen. Der Nutzer muss jedoch in Abhängigkeit von der auszuführenden Aufgabe unter Umständen die AR-Vorrichtung beiseitelegen. Gleichzeitig sollten das Zielobjekt und etwaige geblendete virtuelle Objekte weiterhin auf eine Weise angezeigt werden, dass der Nutzer bei der Ausführung seiner Aufgabe unterstützt wird. Zu diesem Zweck soll ein Bild der angezeigten AR-Ansicht gespeichert werden. Das Speichern soll entweder automatisch oder manuell ausgeführt werden, wenn das Zielobjekt und/oder die geblendeten virtuellen Objekte ausreichend sichtbar sind. Mit anderen Worten ist es notwendig, dass das Zielobjekt immer noch wenigstens zu einem gewissen Grad sichtbar ist, wenn das Bild gespeichert wird.
Das vorstehend definierte Verfahren sorgt für eine verbesserte und fortgesetzte Unterstützung eines Nutzers der AR-Vorrichtung ungeachtet der Ausrichtung der AR-Vorrichtung. Mit anderen Worten wird der Nutzer in die Lage versetzt, die AR-Vorrichtung in einer zweckmäßigen Position zu platzieren (z. B. auf seinem Schoß oder neben ihm auf dem Boden), während die AR-Vorrichtung weiterhin vorher gespeicherte Ansichten des Zielobjekts und geblendeter Objekte anzeigt.
Gemäß einer Ausführungsform umfasst das Feststellen der Sichtbarkeit das Feststellen einer Bildqualität der angezeigten Ansicht und/oder das Feststellen, welcher Abschnitt oder Teil des Zielobjekts und/oder eines virtuellen Objekts in der angezeigten Ansicht sichtbar ist.
Ein Nutzer der AR-Vorrichtung kann Bewegungen relativ zu dem Zielobjekt ausführen, um mehrere Bilder des Zielobjekts aus verschiedenen Perspektiven aufzunehmen. Aufgrund der Bewegung des Nutzers können jedoch unerwünschte Effekte wie etwa Bewegungsunschärfen in der angezeigten Ansicht auftreten. Derartige unerwünschte Effekte können die Bildqualität der angezeigten Ansicht und somit die Sichtbarkeit des Zielobjekts, die der AR-Vorrichtung oder ihrem Nutzer durch das erzeugte Auslösesignal angegeben wird, vermindern.
Auch kann eine Sichtbarkeit des Zielobjekts als ausreichend festgestellt werden und somit das Erzeugen des Auslösesignals bewirken, wenn ein bestimmter Abschnitt des Ziels mit der Zielansicht sichtbar ist, z. B. ein minimaler Prozentsatz des Oberflächenbereichs des Zielobjekts, oder wenn festgelegte Teile des Zielobjekts sichtbar sind, z. B. ein zu reparierender Teil eines Fahrzeugs.
Gemäß einer Ausführungsform wird die Sichtbarkeit basierend auf Sensordaten festgestellt, insbesondere Sensordaten, die eine Position und/oder eine Bewegung der AR-Vorrichtung und/oder des Zielobjekts angeben.
Die Sensordaten können zum Beispiel von einer inertialen Messeinheit, IMU, der AR-Vorrichtung oder des Zielobjekts bezogen werden, um festzustellen, ob die relative Position oder Bewegung der AR-Vorrichtung zu den Zielobjekten das Aufnehmen und Anzeigen von Bilddaten ermöglicht, die vorher definierte Bildqualitäts- oder Sichtbarkeitsanforderungen erfüllen.
Gemäß einer Ausführungsform wird die Sichtbarkeit basierend auf der nachgeführten Position des Zielobjekts festgestellt.
Das heißt, ein Zielobjekt oder das virtuelle Objekt, das über das Zielobjekt zu blenden ist, das sich in der Nähe des Mittelpunktes der angezeigten Ansicht befindet, kann eine relativ hohe Sichtbarkeit aufweisen. Ebenso kann die festgestellte Position angeben, ob das Zielobjekt oder das virtuelle Objekt vollständig oder teilweise durch andere in der angezeigten Ansicht vorhandene Objekte verborgen wird. Zum Beispiel kann das Zielobjekt ein Teil einer Maschine sein, das aufgrund der relativen Position der AR-Vorrichtung (oder der Kamera der AR-Vorrichtung) und des Zielobjekts durch andere Teile der Maschine verdeckt ist.
Gemäß einer Ausführungsform umfasst das Erzeugen des Auslösesignals ferner das Vergleichen der Sichtbarkeit der angezeigten Ansicht mit einer vorher festgestellten Sichtbarkeit einer entsprechenden vorher angezeigten Ansicht oder vorher gespeicherten angezeigten Ansicht.
Auf diese Weise kann eine relative Sichtbarkeit festgestellt werden, z. B. eine erhöhte oder verminderte Sichtbarkeit eines Zielobjekts in der angezeigten Ansicht relativ zu der Sichtbarkeit des Zielobjekts in der vorher gespeicherten angezeigten Ansicht. Dadurch kann das Auslösesignal nur dann erzeugt werden, wenn die festgestellte relative Sichtbarkeit einen festgelegten Grenzwert überschreitet, um das Speichern angezeigter Ansichten zu vermeiden, die einander zu ähnlich sind.
Gemäß einer Ausführungsform basiert das Nachführen der Position des Zielobjekts auf vorher gewonnenen Zielobjektinformationen.
Die vorher gewonnenen Zielobjektinformationen können Modellinformationen umfassen, die zum Nachführen des Zielobjekts in der angezeigten Ansicht geeignet sind. Das heißt, die vorher gewonnenen Zielobjektinformationen können angeben, welches der Objekte, die in der angezeigten Ansicht vorhanden sind, das Zielobjekt darstellt. Auf diese Weise können neue Zielobjektinformationen gewonnen werden, um die Position und Sichtbarkeit eines neuen Zielobjekts festzustellen, zum Beispiel wenn ein Arbeitsablauf, der der Reparatur- oder Wartungsaufgabe zugeordnet ist, das Reparieren und Warten von mehr als einem Zielobjekt umfasst.
Gemäß einer Ausführungsform werden die ausgewählten angezeigten Ansichten gleichzeitig und/oder nacheinander angezeigt, wobei das Verfahren ferner Folgendes umfasst: Feststellen einer Anzeigereihenfolge basierend auf den abgerufenen Sichtbarkeitsmatrizen.
Die Sichtbarkeitsmatrizen können Matrixelemente beinhalten, die eine relative Position und/oder Ausrichtung des Zielobjekts und der AR-Vorrichtung in der gespeicherten angezeigten Ansicht angeben. Somit ist das hierin definierte Verfahren, wenn Reparatur- oder Wartungsaufgaben an dem Zielobjekt ausgeführt werden, dazu geeignet, zweckmäßige augmentierte angezeigte Ansichten, die das Zielobjekt aus verschiedenen Winkeln zeigen, für einen Nutzer der AR-Vorrichtung oder für die weitere AR-Vorrichtung bereitzustellen.
Die zweckmäßigen angezeigten Ansichten können ferner in einer Reihenfolge angezeigt werden, die der relativen Position und/oder Ausrichtung des Zielobjekts in der angezeigten Ansicht statt der Speicherzeit der gespeicherten angezeigten Ansichten entspricht. Außerdem können dem Nutzer verschiedene Zielobjekte in einer Reihenfolge präsentiert werden, die entsprechenden verschiedenen nachfolgenden Schritten einem Reparatur- oder Wartungsarbeitsablauf entspricht.
Gemäß einer Ausführungsform umfasst das Verfahren ferner Folgendes: Anzeigen einer zweiten Ansicht der Bilddaten, die durch die Kamera der AR-Vorrichtung gewonnen werden, über eine Anzeige einer weiteren AR-Vorrichtung, wobei in der angezeigten zweiten Ansicht das Auslösesignal entweder ein Maskieren des Zielobjekts oder ein Anzeigen nur des Zielobjekts auslöst.
Der Nutzer der AR-Vorrichtung kann von einem Nutzer einer weiteren AR-Vorrichtung bei der Ausführung von Reparatur- oder Wartungsaufgaben unterstützt werden. Die auf der AR-Vorrichtung angezeigte Ansicht kann jedoch vertrauliche Objekte zeigen, z. B. Objekte in einer Forschungsumgebung, die unveröffentlichte Informationen präsentieren. Der Nutzer der AR-Vorrichtung kann somit derartige vertrauliche Objekte vor dem Nutzer der anderen AR-Vorrichtung verbergen wollen. Dies kann erreicht werden, indem entweder ein vertrauliches Objekt als das Zielobjekt definiert und das Zielobjekt maskiert wird oder umgekehrt indem die Umgebung des vertraulichen Objekts als das Zielobjekt definiert und dann nur das Zielobjekt angezeigt wird.
Gemäß einer Ausführungsform ist das Auslösesignal dafür konfiguriert, eine Angabe bereitzustellen, um einem Nutzer der AR-Vorrichtung eine bestimmte Richtung zu weisen oder eine Zielposition der AR-Vorrichtung anzugeben.
Die festgestellte Sichtbarkeit kann die Position und/oder die Ausrichtung des Zielobjekts in der angezeigten Ansicht umfassen. Mit Hilfe der festgestellten Sichtbarkeit versetzt die AR-Vorrichtung den Nutzer in die Lage, sich in eine festgestellte Richtung zu bewegen oder die AR-Vorrichtung in eine festgestellte Richtung oder hin zu einer Zielposition zu bewegen, um durch Optimieren der Position und Ausrichtung der AR-Vorrichtung und des Zielobjekts relativ zueinander eine erhöhte Sichtbarkeit zu erreichen.
Als weiteren Aspekt kann die AR-Vorrichtung basierend auf der festgestellten Sichtbarkeit feststellen, dass die AR-Vorrichtung, genauer die Kamera der AR-Vorrichtung, in einer Gefahrenzone positioniert ist.
Die Gefahrenzone kann vorab definiert werden und kann (wechselnde) Bereiche umfassen, die um (sich nähernde) gefährliche Objekte herum liegen, von diesen definiert sind und relativ zu diesen liegen.
Es wird eine Vorrichtung mit augmentierter Realität bereitgestellt, die Mittel zum Durchführen des Verfahrens einer der vorstehend beschriebenen Ausführungsformen umfasst.
Es wird ein Computerprogramm bereitgestellt, das Anweisungen umfasst, die bei Ausführung des Programms durch eine Vorrichtung mit augmentierter Realität die Vorrichtung mit augmentierter Realität veranlassen, das Verfahren einer der vorstehend beschriebenen Ausführungsformen durchzuführen.
Es wird ein computerlesbares Speichermedium bereitgestellt, das Anweisungen umfasst, die bei Ausführung des Programms durch eine Vorrichtung mit augmentierter Realität die Vorrichtung mit augmentierter Realität veranlassen, das Verfahren einer der vorstehend beschriebenen Ausführungsformen durchzuführen.
Figurenliste
Die vorliegende Erfindung wird aus der Lektüre der folgenden Beschreibung nicht einschränkender Ausführungsformen anhand der beigefügten Zeichnungen besser verständlich. Es zeigen:

1 eine Vorrichtung mit augmentierter Realität (AR), die Mittel zum Durchführen von Verfahren gemäß der vorliegenden Erfindung umfasst;
2 ein Ablaufdiagramm eines ersten computerimplementierten Verfahrens;
3 ein Ablaufdiagramm eines zweiten computerimplementierten Verfahrens;
4 ein System, das eine erste AR-Vorrichtung und eine zweite AR-Vorrichtung umfasst, die Mittel zum Durchführen von Verfahren gemäß der vorliegenden Erfindung umfassen;
5 ein Ablaufdiagramm eines dritten computerimplementierten Verfahrens; und
6 ein Ablaufdiagramm eines vierten computerimplementierten Verfahrens.

DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
1 zeigt eine Vorrichtung mit augmentierter Realität (AR) 100, die Mittel zum Durchführen von im Weiteren beschriebenen Verfahren umfasst. Insbesondere umfasst die AR-Vorrichtung 100 ein Anzeigemodul 110, ein Kameramodul 120, ein Prozessormodul 130, ein Kurzzeit- oder Langzeitspeichermodul 140, ein Sensormodul 150 und ein Sendeempfängermodul 160.
2 zeigt ein Ablaufdiagramm eines ersten computerimplementierten Verfahrens 200. Wie bei allen Ablaufdiagrammen von hierin im Weiteren beschriebenen Verfahren können die einzelnen Verfahrensschritte des Verfahrens 200 in einer anderen Reihenfolge durchgeführt werden. Überdies können die Verfahren mehr oder weniger Verfahrensschritte umfassen, wie in Bezug auf das entsprechende Ablaufdiagramm beschrieben. Die Verfahrensschritte der hierin im Weiteren beschriebenen Verfahren können auf einer AR-Vorrichtung oder einem Server ausgeführt werden.
Das Verfahren 200 beginnt in Schritt 210 mit dem Anzeigen einer Ansicht von Bilddaten, die durch eine Kamera der AR-Vorrichtung gewonnen werden, über eine Anzeige einer AR-Vorrichtung. Die AR-Vorrichtung kann zum Beispiel eine handgeführte Vorrichtung oder eine am Körper tragbare Vorrichtung sein. Ein Nutzer der Vorrichtung kann sich mit der Vorrichtung umherbewegen und dabei verschiedene Bilddaten aufnehmen, von denen eine jeweilige Ansicht über die Anzeige der AR-Vorrichtung angezeigt wird.
Der Nutzer kann die Kamera der AR-Vorrichtung in Richtung eines Zielobjekts richten, sodass die von der Kamera aufgenommenen angezeigten Bilddaten das Zielobjekt zeigen. Das Zielobjekt kann ein Objekt sein, das von dem Nutzer der AR-Vorrichtung gewartet oder repariert werden soll. Das Zielobjekt kann zum Beispiel ein Fahrzeug oder ein spezifischer Teil des Fahrzeugs sein.
Die Position des Zielobjekts in der angezeigten Ansicht wird in Schritt 220 nachgeführt. Das Nachführen des Zielobjekts in der angezeigten Ansicht kann das Identifizieren des Zielobjekts und das Feststellen, insbesondere das wiederholte Feststellen, der Position und/oder Ausrichtung des Zielobjekts in der angezeigten Ansicht umfassen. Das Nachführen des Zielobjekts kann ferner das Feststellen umfassen, ob das Zielobjekt in der angezeigten Ansicht gezeigt ist oder nicht, und/oder das Feststellen, welcher Teil des Zielobjekts in der angezeigten Ansicht gezeigt ist.
Das Nachführen der Position und/oder Ausrichtung des Zielobjekts in der angezeigten Ansicht kann auf vorher gespeicherten Zielobjektinformationen wie etwa Modellinformationen, insbesondere 3D-Modellinformationen, des Zielobjekts basieren. Das Nachführen der Position und/oder Ausrichtung des Zielobjekts in der angezeigten Ansicht kann ferner auf Muster- oder Objekterkennungstechniken basieren, die von einem Prozessor der AR-Vorrichtung wie etwa dem Prozessor 130 ausgeführt werden, und/oder auf Sensordaten, die von Sensoren der AR-Vorrichtung und/oder des Zielobjekts abgerufen werden, wobei die Sensordaten eine relative Position der AR-Vorrichtung und/oder des Zielobjekts angeben. Die Sensordaten können über einen Sendeempfänger der AR-Vorrichtung wie etwa den Sendeempfänger 160 abgerufen werden oder von Sensoren der AR-Vorrichtung wie etwa den Sensoren 150 erzeugt werden.
Anschließend oder gleichzeitig wird in Schritt 230 eine Sichtbarkeit des nachgeführten Zielobjekts und/oder eines virtuellen Objekts, das über das nachgeführte Zielobjekt auf der Anzeige zu blenden ist, festgestellt, zum Beispiel durch den Prozessor der AR-Vorrichtung. Die Sichtbarkeit kann basierend auf einem oder mehreren verschiedenen Sichtbarkeitsfaktoren oder -gegebenheiten, die im Weiteren im Detail beschrieben sind, festgestellt werden. Die Sichtbarkeit kann als ein Sichtbarkeitswert, ein Sichtbarkeitsvektor oder allgemeiner eine Sichtbarkeitsmatrix quantitativ festgestellt werden.
In Schritt 240 wird in Abhängigkeit von der Sichtbarkeit ein Auslösesignal erzeugt. Das heißt, ein Auslösesignal kann erzeugt werden, wenn eine Funktion des einen oder der mehreren Sichtbarkeitswerte der Sichtbarkeitsmatrix eine festgelegte Sichtbarkeitsanforderung erfüllt, z. B. wenn die festgestellte Sichtbarkeit einen festgelegten Grenzwert überschreitet, insbesondere wenn bestimmte Sichtbarkeitswerte der Sichtbarkeitsmatrix einen entsprechenden Grenzwert überschreiten.
Das Auslösesignal kann direkt das Speichern der angezeigten Ansicht auslösen oder eine Angabe für den Nutzer der AR-Vorrichtung bereitstellen, um den Nutzer in die Lage zu versetzen, die angezeigte Ansicht zu speichern. Daher wird nach dem Erzeugen eines Auslösesignals in Schritt 250 die angezeigte Ansicht in einem Kurzzeitspeichermodul der AR-Vorrichtung wie etwa dem Kurzzeitspeicher 140 gespeichert. Das Speichern der angezeigten Ansicht kann das Speichern von Metadaten, die der gespeicherten angezeigten Ansicht entsprechen, umfassen. Die angezeigte Ansicht kann als Teil eines augmentierten Fotos gespeichert werden, wobei das augmentierte Foto die angezeigte Ansicht und die entsprechenden Metadaten umfasst.
Die Sichtbarkeitsmatrix kann mehrere Sichtbarkeitswerte umfassen. Jeder der Sichtbarkeitswerte in der Sichtbarkeitsmatrix kann mit einem jeweiligen Gewichtungskoeffizienten gewichtet sein. Die Gewichtungskoeffizienten können festgelegt sein oder eine Funktion eines oder mehrerer Sichtbarkeitswerte sein. Jeder der Sichtbarkeitswerte kann von einem oder mehreren Sichtbarkeitsfaktoren oder einer oder mehreren Sichtbarkeitsgegebenheiten abhängen:

a) Abhängigkeit der Sichtbarkeit von Position und Ausrichtung des Zielobjekts und/oder des virtuellen Objekts in der angezeigten Ansicht

Die AR-Vorrichtung kann feststellen, ob das Zielobjekt in der angezeigten Ansicht sichtbar ist oder nicht, umfassend die Frage, ob das Zielobjekt in der angezeigten Ansicht teilweise sichtbar ist oder nicht, insbesondere welcher Teil des Zielobjekts sichtbar ist. Ebenso kann die AR-Vorrichtung in Abhängigkeit von der nachgeführten Position des Zielobjekts in der angezeigten Ansicht feststellen, ob das virtuelle Objekt oder ein spezifischer Teil des virtuellen Objekts in der angezeigten Ansicht sichtbar ist oder nicht, wenn es über das nachgeführte Zielobjekt auf der Anzeige geblendet ist. Des Weiteren kann die Sichtbarkeit des Zielobjekts und/oder des virtuellen Objekts von der Position und/oder Ausrichtung des jeweiligen Zielobjekts oder virtuellen Objekts in der angezeigten Ansicht abhängen. Insbesondere kann die Sichtbarkeit basierend auf einer relativen Position des Zielobjekts und/oder des virtuellen Objekts in der angezeigten Ansicht festgestellt werden, wobei die relative Position in Bezug auf eine Referenzposition auf der Anzeige wie etwa dem Mittelpunkt der Anzeige festgestellt werden.

b) Abhängigkeit der Sichtbarkeit von der Bildqualität der angezeigten Ansicht Die Sichtbarkeit kann ferner von einer festgestellten Bildqualität der angezeigten Ansicht abhängen. Die Bildqualität kann basierend auf einer Analyse der aufgenommenen Bilddaten festgestellt werden. Die Bildqualität kann ferner von der Position oder Bewegung der AR-Vorrichtung relativ zu dem Zielobjekt abhängen. Zum Beispiel kann eine Bewegungsunschärfe aufgrund einer hohen Geschwindigkeit der relativen Bewegung auftreten. Die Bewegung der AR-Vorrichtung relativ zu dem Zielobjekt kann basierend auf Sensordaten von Positions- und/oder Bewegungsfeststellungssensormodulen der AR-Vorrichtung wie etwa einem GPS (Global Positioning System) oder einer inertialen Messeinheit (IMU) festgestellt werden. Zusätzlich oder alternativ können die Sensordaten die Position oder Bewegung des Zielobjekts angeben, erzeugt von einem Sensormodul des Zielobjekts und empfangen von einem Sendeempfängermodul der AR-Vorrichtung.
c) Abhängigkeit der Sichtbarkeit von Sichtbarkeitswerten vorher aufgenommener und/oder gespeicherter angezeigter Ansichten

Die Sichtbarkeitsmatrix kann ferner von der Sichtbarkeit des Zielobjekts in einer vorher angezeigten Ansicht abhängen. Mit anderen Worten kann die Sichtbarkeitsmatrix eine relative Sichtbarkeit umfassen. Das heißt, die AR-Vorrichtung kann aktuelle Sichtbarkeitswerte, die einer aktuell angezeigten Ansicht entsprechen, mit vorherigen Sichtbarkeitswerten vergleichen, die einer vorher angezeigten Ansicht entsprechen, insbesondere einer vorher gespeicherten angezeigten Ansicht. Die AR-Vorrichtung kann dadurch feststellen, ob das Zielobjekt in der aktuellen angezeigten Ansicht eine höhere Sichtbarkeit aufweist als eine vorher angezeigte oder gespeicherte Ansicht oder einer vorher angezeigten oder gespeicherten Ansicht zu ähnlich ist. Zum Beispiel kann eine vorher gespeicherte angezeigte Ansicht einer aktuell angezeigten Ansicht zu ähnlich sein, wenn Position und/oder Ausrichtung des Zielobjekts und/oder eines virtuellen Objekts in der jeweiligen angezeigten Ansicht zu ähnlich sind. Mit anderen Worten kann eine aktuelle angezeigte Ansicht einer vorher angezeigten oder gespeicherten Ansicht zu ähnlich sein, wenn der Unterschied, insbesondere ein Absolutwert des Unterschieds, zwischen aktuellem und vorherigem Sichtbarkeitswert unterhalb eines entsprechenden Grenzwertes liegt.

d) Abhängigkeit der Sichtbarkeit von Zielobjektinformationen

Die Sichtbarkeit kann auf vorher empfangenen und/oder gespeicherten Zielobjektinformationen basieren. Die Zielobjektinformationen können einen festgelegten Schritt oder eine festgelegte Abfolge von Schritten angeben, die von dem Nutzer der AR-Vorrichtung auszuführen sind, wobei die Abfolge von Schritten ein oder mehrere verschiedene Zielobjekte umfassen kann, insbesondere verschiedene Zielobjektpositionen. Zum Beispiel können die Zielobjektinformationen verschiedene Wartungs- oder Reparaturschritte angeben, die von dem Nutzer der AR-Vorrichtung auszuführen sind. Basierend auf der festgelegten Abfolge von Schritten kann die AR-Vorrichtung verschiedene, z. B. nachfolgende, Zielobjekte feststellen und die Sichtbarkeit eines der Zielobjekte in der angezeigten Ansicht basierend auf der Sichtbarkeit anderer Zielobjekte feststellen.
Gemäß einem Beispiel kann einer der Schritte, die von dem Nutzer der AR-Vorrichtung auszuführen sind, das Warten oder Reparieren eines ersten Zielobjekts sein, das von einem zweiten Zielobjekt verborgen wird. Die Abfolge von Schritten kann somit das Entfernen des zweiten Zielobjekts und anschließend das Handhaben des ersten Zielobjekts umfassen. Die AR-Vorrichtung, der die Abfolge von Schritten bekannt ist, kann die Sichtbarkeit des zweiten Zielobjekts in Abhängigkeit von der Position des ersten Zielobjekts feststellen, das hinter dem zweiten Zielobjekt verborgen ist, sodass die relative Position der AR-Vorrichtung und des Ziels im Wesentlichen die gleiche bleiben kann, wenn angezeigte Ansichten, die das erste und das zweite Zielobjekt zeigen, aufgenommen bzw. gespeichert werden. Somit kann einem Nutzer auf intuitive Weise gemäß verschiedenen Schritten, die von dem Nutzer auszuführen sind, eine Abfolge von angezeigten Ansichten präsentiert werden.
Gemäß einem anderen Beispiel kann basierend auf Daten, die von einem Sensormodul des Zielobjekts empfangen werden, festgestellt werden, dass ein Wartungs- oder Reparaturschritt an dem Zielobjekt ausgeführt wurde. In Reaktion darauf kann der Abschluss der Wartungs- oder Reparaturschritte festgestellt werden. Die AR-Vorrichtung kann dann das gewartete oder reparierte Zielobjekt als ein neues Zielobjekt definieren, von dem neue angezeigte Ansichten aufgenommen und gespeichert werden können. Der Wartungs- oder Reparaturstatus des Zielobjekts kann als Metadaten der entsprechenden gespeicherten angezeigten Ansicht gespeichert werden. Die Sichtbarkeit des gewarteten oder reparierten Zielobjekts kann zusätzlich von einem Vergleich der angezeigten Ansicht mit vorher gespeicherten Referenzdaten, d. h. Zielobjektinformationen des gewarteten oder reparierten Zielobjekts, die ein gewünschtes Zielobjekt oder eine gewünschte angezeigte Ansicht des Zielobjekts angeben, abhängen, um die AR-Vorrichtung in die Lage zu versetzen, den ausgeführten Wartungs- oder Reparaturschritt zu bewerten.
Gemäß noch einem anderen Beispiel kann die Abfolge von Schritten das Ausführen von Fertigungsaufgaben an verschiedenen Abschnitten des Zielobjekts oder an verschiedenen Ziel Objekten einer Vorrichtung umfassen. Die Sichtbarkeit des Zielobjekts und/oder eines virtuellen Objekts kann somit von einer Feststellung abhängen, ob ein oder mehrere oder eine bestimmte Anzahl angezeigter Ansichten oder Screenshots nötig sind, um jeden der Abschnitte des Zielobjekts oder jedes der verschiedenen Zielobjekte adäquat zu zeigen.
Wieder in Bezug auf Schritt 250 des Verfahrens 200 werden die angezeigten Ansichten zur späteren Nutzung gespeichert, zum Bespiel zur Nutzung während Fertigungsprozessen wie etwa Reparatur- oder Wartungsschritten, die an dem Zielobjekt auszuführen sind. Das Speichern der angezeigten Ansicht kann das Speichern von Metadaten, die der angezeigten Ansicht entsprechen, umfassen. Die Metadaten können Kameraparameter der physischen oder virtuellen Kamera der AR-Vorrichtung umfassen, wie etwa Position, Drehung, Ausrichtung oder intrinsische Parameter. Wie vorstehend erwähnt, können die Metadaten ferner die Sichtbarkeit, z. B. eine Sichtbarkeitsmatrix, sowie einen Wartungs- oder Reparaturstatus des Zielobjekts umfassen. Insbesondere können die Metadaten Position und/oder Ausrichtung des Zielobjekts und/oder eines virtuellen Objekts in der angezeigten Ansicht umfassen. Die Metadaten können ferner Informationen zu oder Bezüge auf die vorstehend beschriebene Abfolge von Schritten umfassen, d. h. ein Ausführungsszenario. Die Metadaten können ferner Informationen zu oder Bezüge auf das Zielobjekt umfassen, z. B. 3D-Modellinformationen des Zielobjekts.
Wenn eine vorher gespeicherte angezeigte Ansicht auf der Anzeige der AR-Vorrichtung gezeigt wird, werden die gespeicherten Metadaten genutzt, um entsprechende virtuelle Objekte adäquat über die angezeigte Ansicht zu blenden. Mit anderen Worten werden die Kameraparameter der virtuellen Kamera gemäß den Parametern der physischen Kamera, die der angezeigten Ansicht entsprechen, eingestellt. Insbesondere kann die virtuelle Kamera die Parameter der physischen Kamera zum Zeitpunkt der Aufnahme der Bilddaten, die der angezeigten Ansicht entsprechen, übernehmen, wobei die Parameter der physischen Kamera als Metadaten gespeichert sind.
So wird die AR-Vorrichtung durch Vergleichen von Sichtbarkeitsgrenzwerten mit entsprechenden Sichtbarkeitswerten in die Lage versetzt, (automatisch) angezeigte Ansichten zu speichern, die dafür geeignet sind, einen Nutzer bei der Ausführung (einer Abfolge) spezifischer Reparatur- oder Wartungsschritte zu unterstützen. Auf diese Weise können vorher gespeicherte angezeigte Ansichten für den Nutzer angezeigt werden, wenn die Reparatur- oder Wartungsschritte tatsächlich ausgeführt werden, wodurch eine optimale Unterstützung für den Nutzer bereitgestellt wird. Überdies wird die AR-Vorrichtung in die Lage versetzt, nur relevante angezeigte Ansichten aufzunehmen und zu speichern, d. h. das Speichern von angezeigten Ansichten zu vermeiden, die für eine spezifische auszuführende Aufgabe unnötig sind (z. B. angezeigte Ansichten, die einen spezifischen Teil des Zielobjekts gar nicht zeigen), wodurch eine effiziente Nutzung der Ressourcen der AR-Vorrichtung wie etwa Verarbeitungs-, Speicher- oder Energieressourcen gewährleistet wird.
3 zeigt ein Ablaufdiagramm eines zweiten Verfahrens 300, das u. a. den Schritt des Anzeigens angezeigter Ansicht umfasst, die vorher wie vorstehend beschrieben gespeichert wurden. In einem ersten Schritt 310 wird festgestellt, ob sich die AR-Vorrichtung in einem Lesemodus befindet. Der Nutzer kann in einen Lesemodus eintreten, indem er den Lesemodus aus mehreren Modi, die den Lesemodus und einen Vorschaumodus umfassen, auswählt. In den Lesemodus kann auch basierend auf der Feststellung eingetreten werden, dass sich die Ausrichtung der AR-Vorrichtung in einer Lesemodusposition befindet. Die Lesemodusposition kann eine im Wesentlichen horizontale Position sein, d. h. wenn sich die Ausrichtung der AR-Vorrichtung in einer horizontalen Position befindet, z. B. wenn die AR-Vorrichtung parallel zum Boden ausgerichtet ist. Eine im Wesentlichen horizontale Position kann dennoch als eine horizontale Position betrachtet werden, wenn die Ausrichtung der AR-Vorrichtung von der horizontalen Position um etwa 5°, 10° oder 15° abweicht.
Das Festellen, dass sich die Ausrichtung der AR-Vorrichtung in einer Lesemodusposition befindet, kann ferner auf Sensordaten basieren, die die relative Position und/oder Ausrichtung der AR-Vorrichtung und des Zielobjekts angeben. Auf diese Weise wird der Nutzer der AR-Vorrichtung in die Lage versetzt, Bilddaten aufzunehmen, während die AR-Vorrichtung in einer im Wesentlichen horizontalen Position gehalten wird, zum Beispiel, wenn Bilddaten einer Draufsicht auf das Zielobjekt aufgenommen werden. Zusätzlich oder alternativ kann die Feststellung, dass sich die AR-Vorrichtung in einer Lesemodusposition befindet, auf der Feststellung basieren, dass das Zielobjekt in der angezeigten Ansicht nicht vorhanden ist, z. B. wenn die Sichtbarkeit der angezeigten Ansicht unterhalb eines bestimmten Grenzwertes liegt, und/oder dass das Zielobjekt in der angezeigten Ansicht nicht nachgeführt werden kann. Zusätzlich oder alternativ kann die Feststellung, dass sich die AR-Vorrichtung in einer Lesemodusposition befindet, auf Sensordaten basieren, wie etwa Daten, die von einem Beschleunigungsmesser empfangen werden, um festzustellen, ob die AR-Vorrichtung in eine (fixierte) Lesemodusposition versetzt wurde.
In Reaktion auf das Feststellen, dass sich die Ausrichtung in der Lesemodusposition befindet, werden eine oder mehrere (am meisten) geeignete angezeigte Ansichten angezeigt. Diese am meisten geeigneten angezeigten Ansichten werden durch die Verfahrensschritte 320 und 330 festgestellt. In Schritt 320 wird ein jeweiliger Satz von Metadaten von einer oder mehreren vorher gespeicherten angezeigten Ansichten abgerufen. Die abgerufenen Metadaten umfassen jeweilige Sichtbarkeitsmatrizen der angezeigten Speicheransichten.
Basierend auf den abgerufenen Daten werden in Schritt 330 eine oder mehrere der gespeicherten angezeigten Ansichten als die am meisten geeigneten angezeigten Ansichten ausgewählt. Die ausgewählten angezeigten Ansichten können Sichtbarkeitswerte oder Sichtbarkeitsmatrizen aufweisen, die eine höchste Sichtbarkeit des Zielobjekts unter den angezeigten Speicheransichten angeben, z. B. wenn spezifische Sichtbarkeitswerte der Sichtbarkeitsmatrix oder ein Sichtbarkeitsmatrixwert jeweilige Grenzwerte überschreiten. Die ausgewählten angezeigten Ansichten können ferner einem Reparatur- oder Wartungsprozess oder einer Abfolge von Reparatur- oder Wartungsprozessen zugewiesen sein. Alternativ können die eine oder die mehreren gespeicherten angezeigten Ansichten manuell von dem Nutzer ausgewählt werden. Zusätzlich oder alternativ können die eine oder die mehreren gespeicherten angezeigten Ansichten basierend auf einer Nutzereingabe ausgewählt werden, wobei die Nutzereingabe Metadaten entspricht, die mit der angezeigten Ansicht gespeichert sind. Zum Beispiel kann der Nutzer über die Nutzereingabe angeben, welche Aufgabe an welchem Zielobjekt auszuführen ist. Die AR-Vorrichtung kann dann adäquate Bilddaten basierend auf Sichtbarkeitswerten anzeigen, die dem jeweiligen Schritt oder der jeweiligen Abfolge von Schritten und Zielobjektinformationen entsprechen.
In Schritt 340 wird eine Anzeigereihenfolge basierend auf den abgerufenen Sichtbarkeitsmatrizen der ausgewählten angezeigten Ansichten festgestellt. Die Sichtbarkeitsmatrizen können eine relative Position und/oder Ausrichtung der AR-Vorrichtung und des Zielobjekts in der angezeigten Ansicht angeben. Für einige Reparatur- oder Wartungsaufgaben kann die AR-Vorrichtung den Nutzer am besten unterstützen, indem sie das Zielobjekt aus verschiedenen Blickwinkeln anzeigt. Des Weiteren können die ausgewählten angezeigten Ansichten einer Abfolge von Wartungs- oder Reparaturschritten entsprechen, die aufeinanderfolgend auszuführen sind. Somit kann es den Nutzer der AR-Vorrichtung am besten unterstützen, die ausgewählten angezeigten Ansichten in einer Reihenfolge anzuzeigen, die der Reihenfolge entspricht, in der die auseinanderfolgenden Schritte auszuführen sind, statt in der Reihenfolge, in der die ausgewählten angezeigten Ansichten aufgenommen und/oder gespeichert wurden. Alternativ kann der Nutzer eine Anzeigereihenfolge manuell auswählen.
In Schritt 350 werden die ausgewählte(n) eine oder mehreren gespeicherten angezeigten Ansichten über die Anzeige der AR-Vorrichtung angezeigt, entweder gleichzeitig oder nacheinander oder in einer Kombination daraus, insbesondere gemäß der Anzeigereihenfolge, die in Schritt 340 festgestellt wurde. Zusätzlich zum Anzeigen der ausgewählten angezeigten Ansichten kann eine aktuelle Ansicht aktuell aufgenommener Bilddaten ebenfalls angezeigt werden, um den Nutzer der AR-Vorrichtung in die Lage zu versetzen, die aktuelle Live-Ansicht mit den ausgewählten angezeigten Ansichten, d. h. Screenshots, zu vergleichen. Ein Screenshot kann als eine gespeicherte angezeigte Ansicht definiert werden.
Auf diese Weise können gleichzeitig angezeigte Screenshots eines einzelnen Zielobjekts angezeigte Ansichten umfassen, die das Zielobjekt aus verschiedenen Winkeln oder Positionen zeigen. Ebenso können nacheinander angezeigte Screenshots basierend auf Sichtbarkeitswerten ausgewählt werden, die die Position und/oder Ausrichtung des Zielobjekts und/oder des virtuellen Objekts in dem jeweiligen Screenshot angeben. Dadurch kann ein aufeinanderfolgend angezeigter Screenshot das Zielobjekt aus einem anderen Winkel oder aus einer anderen Perspektive im Vergleich zu einem vorher angezeigten Screenshot zeigen, wobei die Veränderung im Winkel oder der Perspektive auf einer Nutzereingabe basieren kann. Die Nutzereingabe kann eine Gestensteuerung sein wie etwa eine von dem Nutzer ausgeführte Wischgeste.
Wie vorstehend dargelegt, kann die Position und/oder Ausrichtung der virtuellen Objekte, die über den Anzeigebildschirm geblendet werden, von der Position und/oder Ausrichtung des Zielobjekts in dem Anzeigebildschirm abhängen. So wird, wenn verschiedene Screenshots gleichzeitig oder aufeinanderfolgend angezeigt werden, die Position und/oder Ausrichtung eines virtuellen Objekts, das über einen ersten Screenshot der verschiedenen Screenshots geblendet wird, entsprechend angepasst, wenn es über einen zweiten Screenshot der verschiedenen Screenshots geblendet wird.
4 zeigt ein System 400, das eine erste AR-Vorrichtung 400a und eine zweite AR-Vorrichtung 400b umfasst, wobei beide AR-Vorrichtungen der in Bezug auf 1 beschriebenen AR-Vorrichtung 100 ähneln. Die AR-Vorrichtungen 400a und 400b können mehr oder weniger Module als die AR-Vorrichtung 100 umfassen. Beide AR-Vorrichtungen sind dafür konfiguriert, mit Hilfe des Sendeempfängers 460a bzw. des Sendeempfängers 460b miteinander zu kommunizieren. Die Kommunikation kann direkt durch die Sendeempfänger 460a und 460b hergestellt werden und/oder über einen in dem System 400 enthaltenen Server 480.
Die angezeigte Ansicht, die von der ersten AR-Vorrichtung 400a aufgenommen und gespeichert wird, kann entweder im Kurzzeitspeicher 440a oder auf dem Server 480 gespeichert werden. Aus dem Kurzzeitspeicher 440a oder von dem Server 480 aus können die gespeicherten angezeigten Ansichten an die zweite AR-Vorrichtung 400b kommuniziert werden. Die angezeigte Ansicht kann dann über die Anzeige der zweiten AR-Vorrichtung 400b ausgewählt und angezeigt werden, wie es in Bezug auf 3 beschrieben wurde.
Auf diese Weise werden Nutzer mehrerer AR-Vorrichtungen in die Lage versetzt, augmentierte angezeigte Ansichten, die von einer der AR-Vorrichtungen gespeichert werden, zu empfangen und anzuzeigen. Mit Hilfe der Metadaten, die zusammen mit den angezeigten Ansichten gespeichert sind, wird jede der AR-Vorrichtungen ferner in die Lage versetzt, mit den angezeigten Ansichten zu interagieren, z. B. durch Ändern der über die angezeigte Ansicht geblendeten virtuellen Informationen.
Nun wird Bezug auf 5 genommen, in der ein Ablaufdiagramm eines dritten Verfahrens 500 gezeigt ist. Die Verfahrensschritte 510 bis 540 entsprechen den in Bezug auf 2 beschriebenen Verfahrensschritten 210 und 240. In Schritt 550 wird eine zweite Ansicht der Bilddaten, die durch die Kamera einer ersten AR-Vorrichtung (der im Verfahrensschritt 510 spezifizierten AR-Vorrichtung) gewonnen werden, über die Anzeige einer anderen, d. h einer zweiten, AR-Vorrichtung angezeigt. Zum Beispiel kann ein Nutzer der ersten AR-Vorrichtung Fernbetreuung während der Ausführung von Fertigungsaufgaben wie etwa Reparatur- oder Wartungsaufgaben in Bezug auf ein Zielobjekt von einem Nutzer der zweiten AR-Vorrichtung erbitten.
In Schritt 540 wird basierend auf der Sichtbarkeit des nachgeführten Zielobjekts ein Auslösesignal erzeugt. Das Auslösesignal kann erzeugt werden, wenn ein Zielobjekt nachgeführt werden kann, d. h. wenn das Zielobjekt in der Ansicht von Bilddaten, die auf dem Bildschirm der zweiten AR-Vorrichtung angezeigt werden, sichtbar ist. Das Auslösesignal kann ein Maskieren des Zielobjekts oder ein Anzeigen nur des Zielobjekts auslösen, wie es in den Verfahrensschritten 560 bzw. 570 definiert ist. Zusätzlich oder alternativ können die Bilddaten, die vertraulichen Objekten oder Bereichen entsprechen, über Nutzereingaben auf der AR-Vorrichtung von einem Nutzer ausgewählt werden.
Gemäß einem Beispiel kann sich das Zielobjekt in einer Arbeitsumgebung befinden, wobei die Arbeitsumgebung vertrauliche Informationen oder Objekte umfasst. Das heißt, einerseits muss das Zielobjekt auf der Anzeige der zweiten AR-Vorrichtung angezeigt werden, um den Nutzer der zweiten AR-Vorrichtung in die Lage zu versetzen, die Fertigungsschritte zu betreuen, die an dem Zielobjekt auszuführen sind.
Andererseits möchte der Nutzer der ersten AR-Vorrichtung unter Umständen verhindern, dass dem Nutzer der zweiten AR-Vorrichtung andere Objekte oder Informationen außer dem Zielobjekt präsentiert werden. Zu diesem Zweck wird in Schritt 570 nur das nachgeführte Zielobjekt auf der Anzeige der zweiten AR-Vorrichtung angezeigt. Mit anderen Worten werden nur Bilddaten, die dem Zielobjekt entsprechen, über die Anzeige der zweiten AR-Vorrichtung angezeigt, während andere Bilddaten durch die zweite AR-Vorrichtung entweder nicht angezeigt und/oder nicht empfangen werden oder derart modifiziert werden, dass die angezeigte Ansicht der modifizierten Bilddaten die Objekte oder Informationen, die das Zielobjekt in der Arbeitsumgebung umgeben, nicht preisgibt. Das Modifizieren von Bilddaten oder der angezeigten Ansicht der Bilddaten kann das Unscharf-Machen zumindest von Teilen der Bilddaten oder der entsprechenden angezeigten Ansicht umfassen.
Zusätzlich oder alternativ können zumindest Teile der Bilddaten, die nicht dem Zielobjekt entsprechen, durch virtuelle Objekte maskiert oder verborgen werden, die über die Ansicht der Bilddaten geblendet werden, die über die Anzeige der zweiten AR-Vorrichtung angezeigt werden. Die Position der virtuellen Objekte kann von der Position des Zielobjekts in der angezeigten Ansicht abhängen, sodass verhindert wird, dass die vertraulichen Bilddaten dem Nutzer der zweiten AR-Vorrichtung preisgegeben werden. Das Positionieren der virtuellen Objekte kann das Identifizieren nicht-vertraulicher Bilddaten, die nicht dem Zielobjekt entsprechen, wie etwa Wände oder andere bekannte Objekte in der Arbeitsumgebung, basierend beispielsweise auf Sensordaten oder vorher empfangenen Modellinformationen umfassen.
Alternativ kann ein vertrauliches Objekt in der Arbeitsumgebung als das Zielobjekt definiert werden. Zum Beispiel kann der Nutzer der ersten AR-Vorrichtung dem Nutzer der zweiten AR-Vorrichtung die Arbeitsumgebung präsentieren wollen, ohne das vertrauliche Zielobjekt zu präsentieren. In diesem Fall werden die vertraulichen Bilddaten, die dem Ziel entsprechen, möglicherweise durch die zweite AR-Vorrichtung nicht angezeigt und/oder empfangen. Zusätzlich oder alternativ können die vertraulichen Bilddaten wie vorstehend beschrieben verschlüsselt oder modifiziert werden, sodass das vertrauliche Zielobjekt dem Nutzer der zweiten AR-Vorrichtung nicht preisgegeben wird. Ähnlich dem vorstehend Beschriebenen kann ein virtuelles Objekt über die Ansicht der auf der zweiten AR-Vorrichtung angezeigten Bilddaten geblendet werden, sodass das Zielobjekt hinter dem virtuellen Objekt verborgen wird. Mit anderen Worten wird, wie es in Verfahrensschritt 560 definiert ist, das Zielobjekt, das über die Anzeige einer zweiten AR-Vorrichtung angezeigt wird, maskiert.
6 zeigt ein Ablaufdiagramm eines vierten computerimplementierten Verfahrens 600. Die Verfahrensschritte 610 bis 640 entsprechen den in Bezug auf 2 beschriebenen Verfahrensschritten 210 und 240. Das in Schritt 640 erzeugte Auslösesignal ist dafür konfiguriert, eine Angabe bereitzustellen, um dem Nutzer der AR-Vorrichtung eine bestimmte Richtung zu weisen oder eine Zielposition der AR-Vorrichtung anzugeben. Gemäß einem Beispiel kann dem Nutzer eine bestimmte Richtung gewiesen werden, um zu gewährleisten, dass angezeigte Ansichten, die (am meisten) geeignet sind, um den Nutzer bei der Ausführung spezifischer Reparatur- oder Wartungsschritte zu unterstützen, aufgenommen und/oder gespeichert werden können. Zusätzlich oder alternativ wird dem Nutzer eine Zielposition für die AR-Vorrichtung angegeben. Auf diese Weise wird der Nutzer aufgefordert, sich zu der Zielposition zu bewegen. Die Zielposition ist eine festgelegte oder geschätzte Position, die einer relativen Position und/oder einem relativen Winkel zwischen der AR-Vorrichtung und dem Zielobjekt entspricht, welche(r) es der AR-Vorrichtung ermöglicht, Bilddaten aufzunehmen, wobei erwartet wird, dass eine angezeigte Ansicht der Bilddaten eine relevante angezeigte Ansicht darstellt.
Gemäß einem weiteren Beispiel kann basierend auf der Sichtbarkeit eines Zielobjekts, das einer aktuell angezeigten Ansicht aufgenommener Bilddaten entspricht, festgestellt werden, dass der Nutzer der AR-Vorrichtung in einer Gefahrenzone positioniert ist. Die Gefahrenzone kann relativ zu der Position und/oder Ausrichtung des Zielobjekts definiert sein. Somit kann, wenn der Nutzer der AR-Vorrichtung einem Zielobjekt zu nahe kommt oder sich zu weit von einem Zielobjekt weg bewegt, insbesondere aus oder in eine bestimmte Richtung, ein Warnsignal für den Nutzer bereitgestellt werden. Das Warnsignal kann visuelle oder akustische Signale umfassen. Visuelle Signale können virtuelle Objekte umfassen, die über den Anzeigebildschirm geblendet werden. Zusätzlich oder alternativ können die Gefahrenzonen (vor)definiert werden, insbesondere über die Nutzereingabe auf der Anzeige der AR-Vorrichtung.
Des Weiteren kann die Feststellung, ob der Nutzer der AR-Vorrichtung in einer Gefahrenzone positioniert ist, von Daten abhängen, die von Sensoren der AR-Vorrichtung abgerufen oder über einen Sendeempfänger der AR-Vorrichtung empfangen werden. In einem Beispiel kann ein Bereich, in dem der Nutzer der AR-Vorrichtung aktuell positioniert ist, basierend auf Daten, die die Annäherung eines Hindernisses oder eines gefährlichen Objekts angibt, als Gefahrenzone definiert werden. Daher kann die Definition einer Gefahrenzone zeitabhängig sein.
Wenn eine Feststellung getroffen wird, dass die AR-Vorrichtung, d. h. ein Nutzer der AR-Vorrichtung, in einer Gefahrenzone positioniert ist, kann über einen Sendeempfänger der AR-Vorrichtung eine Angabe an eine andere Vorrichtung gesendet werden. Insbesondere kann die Angabe basierend auf der Position und/oder Ausrichtung, anhand der eine Gefahrenzone definiert wird, an eine Vorrichtung oder ein Objekt gesendet werden. Auf diese Weise kann eine Kollision mit zum Beispiel einem sich nähernden gefährlichen Objekt verhindert werden.
Zusätzlich zum Feststellen, ob ein Nutzer der AR-Vorrichtung in einer Gefahrenzone positioniert ist, kann festgestellt werden, ob der Nutzer die Gefahrenzone (rechtzeitig) verlassen kann. Diese Feststellung kann auf Sensordaten der AR-Vorrichtung basieren. Zum Beispiel können Daten eines Beschleunigungsmessers der AR-Vorrichtung ungewöhnliche Nutzerbewegungen aufgrund von Aufprallen oder Kollisionen des Nutzers in der Gefahrenzone angeben.

Claims

Computerimplementiertes Verfahren, umfassend: Anzeigen (210), über eine Anzeige einer Vorrichtung mit augmentierter Realität, AR, einer Anzeige von Bilddaten, die durch eine Kamera der AR-Vorrichtung gewonnen werden, Nachführen (220) einer Position eines Zielobjekts in der angezeigten Ansicht, Feststellen (230) einer Sichtbarkeit des nachgeführten Zielobjekts und/oder eines virtuellen Objekts, das über das nachgeführte Zielobjekt auf der Anzeige zu blenden ist, wobei die Position des virtuellen Objekts von der Position des Zielobjekts abhängig ist, und Erzeugen (240) eines Auslösesignals in Abhängigkeit von der Sichtbarkeit, gekennzeichnet durch: Speichern (250) der angezeigten Ansicht, Speichern einer Sichtbarkeitsmatrix, die der gespeicherten angezeigten Ansicht zugeordnet ist, wobei die Sichtbarkeitsmatrix mindestens ein Sichtbarkeitsmatrixelement umfasst, das die Sichtbarkeit des Zielobjekts angibt, Abrufen (320) einer jeweiligen Sichtbarkeitsmatrix für eine oder mehrere vorher gespeicherte angezeigte Ansichten, Auswählen (330) einer oder mehrerer der gespeicherten angezeigten Ansichten basierend auf den abgerufenen Sichtbarkeitsmatrizen, Anzeigen (350) der ausgewählten angezeigten Ansichten über die Anzeige der AR-Vorrichtung oder eine weitere Anzeige einer weiteren AR-Vorrichtung, und Feststellen, ob sich eine Ausrichtung der AR-Vorrichtung in einer Lesemodusposition befindet, wobei die Lesemodusposition insbesondere eine im Wesentlichen horizontale Position ist, und wobei das Auslösesignal in Reaktion auf das Feststellen, dass sich die Ausrichtung in der Lesemodusposition befindet, das Anzeigen der abgerufenen angezeigten Ansichten über die Anzeige der AR-Vorrichtung auslöst.
Verfahren nach Anspruch 1, wobei das Auslösesignal ein Speichern der angezeigten Ansicht auslöst.
Verfahren nach Anspruch 1, wobei das Auslösesignal dazu konfiguriert ist, eine Angabe für den Benutzer der AR-Vorrichtung bereitzustellen, um den Nutzer in die Lage zu versetzen, die angezeigte Ansicht zu speichern.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Feststellen der Sichtbarkeit das Feststellen einer Bildqualität der angezeigten Ansicht und/oder das Feststellen, welcher Abschnitt oder Teil des Zielobjekts und/oder eines virtuellen Objekts in der angezeigten Ansicht sichtbar ist, umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sichtbarkeit basierend auf Sensordaten festgestellt wird, insbesondere Sensordaten, die eine Position und/oder eine Bewegung der AR-Vorrichtung und/oder des Zielobjekts angeben.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sichtbarkeit basierend auf der nachgeführten Position des Zielobjekts festgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erzeugen des Auslösesignals ferner das Vergleichen der Sichtbarkeit der angezeigten Ansicht mit einer vorher festgestellten Sichtbarkeit einer entsprechenden vorher angezeigten Ansicht oder vorher gespeicherten angezeigten Ansicht umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Nachführen der Position des Zielobjekts auf vorher gewonnenen Ziel objektinformationen basiert.
Verfahren nach Anspruch 1, wobei die ausgewählten angezeigten Ansichten gleichzeitig und/oder nacheinander angezeigt werden, wobei das Verfahren ferner Folgendes umfasst: Feststellen (340) einer Anzeigereihenfolge basierend auf den abgerufenen Si chtbarkei tsmatrizen.
Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Anzeigen (550) einer zweiten Ansicht der Bilddaten, die durch die Kamera der AR-Vorrichtung gewonnen werden, über eine Anzeige einer anderen AR-Vorrichtung, wobei in der angezeigten zweiten Ansicht das Auslösesignal entweder ein Maskieren des Zielobjekts oder ein Anzeigen nur des Zielobjekts auslöst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ist das Auslösesignal dafür konfiguriert ist, eine Angabe bereitzustellen, um einem Nutzer der AR-Vorrichtung eine bestimmte Richtung zu weisen oder eine Zielposition der AR-Vorrichtung anzugeben.
Vorrichtung mit augmentierter Realität (100), Mittel zum Ausführen des Verfahrens nach einem der Ansprüche 1 bis 11 umfassend.
Computerprogramm, umfassend Anweisungen, die bei Ausführung des Programms durch eine Vorrichtung mit augmentierter Realität die Vorrichtung mit augmentierter Realität veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
Computerlesbares Speichermedium, umfassend Anweisungen, die bei Ausführung durch eine Vorrichtung mit augmentierter Realität die Vorrichtung mit augmentierter Realität veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.