DE112021006396T5

DE112021006396T5 - Blickabhängige Okularmodussteuerung für gemischte Realität

Info

Publication number: DE112021006396T5
Application number: DE112021006396.0T
Authority: DE
Inventors: Richard Schritter; Zachary Waibel; Daniel Lee Hamel; Eric William Borts
Original assignee: A9 com Inc
Current assignee: A9 com Inc
Priority date: 2020-12-10
Filing date: 2021-12-03
Publication date: 2023-10-05
Also published as: WO2022125384A1; GB2615937A; US11269411B1; GB202307719D0

Abstract

Es werden Techniken zur Verbesserung der Visualisierung von Inhalten mit einer Mixed-Reality-Vorrichtung (MR) beschrieben. Eine Technik beinhaltet das Überwachen des Blicks eines Benutzers einer MR-Vorrichtung durch eine oder mehrere Anzeigen der MR-Vorrichtung. Basierend auf der Überwachung wird ein Konvergenzabstand des Blicks des Benutzers bestimmt. Eine Auswahl zwischen einem ersten Projektionsmodus und einer zweiten Projektion zum Anzeigen von Inhalten auf der einen oder den mehreren Anzeigen erfolgt basierend darauf, ob der Konvergenzabstand einen Schwellenabstand von dem Benutzer überschreitet. Basierend auf der Auswahl wird der Inhalt auf der einen oder den mehreren Anzeigen angezeigt.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Vorteil und die Priorität der parallel anhängigen US-Patentanmeldung mit der Serien-Nr. 17/118,106, eingereicht am 10. Dezember 2020. Die vorgenannte Patentanmeldung wird hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen.
ALLGEMEINER STAND DER TECHNIK
Die vorliegende Erfindung betrifft im Allgemeinen Mixed-Reality (MR)-fähige Vorrichtungen und insbesondere auf Techniken zur Verbesserung der Visualisierung von Inhalten unter Verwendung einer MR-fähigen Vorrichtung.
MR betrifft im Allgemeinen die Verschmelzung einer realen und einer virtuellen Welt, um neue Umgebungen und Visualisierungen für den Benutzer zu schaffen. MR kann alles beinhalten, was auf dem Kontinuum zwischen der physischen Welt und der virtuellen Welt liegt. MR kann zum Beispiel erweiterte Realität (Augmented Reality, AR) beinhalten, die eine Überlagerung von computererzeugten Bildern mit der Sicht des Benutzers auf die reale Umgebung beinhaltet. AR kann verwendet werden, um operative Informationen, Spielerfahrungen, Informationsüberlagerungen usw. für Einkäufe, Navigationszwecke, Spiele, Bildungszwecke und dergleichen bereitzustellen. MR kann auch die virtuelle Realität (VR) beinhalten, welche die Isolierung des Benutzers von seiner realen Umgebung beinhaltet, indem das natürliche Sichtfeld der realen Umgebung durch virtuelle Bilder ersetzt wird.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Verschiedene Ausführungsformen gemäß der vorliegenden Offenbarung werden unter Bezugnahme auf die Zeichnungen beschrieben, wobei gleiche Bezeichnungen gleiche Elemente bezeichnen. Es sei darauf hingewiesen, dass die beigefügten Zeichnungen typische Ausführungsformen veranschaulichen und daher nicht als einschränkend zu betrachten sind; andere gleichermaßen wirksame Ausführungsformen sind denkbar.

1A veranschaulicht ein Beispielszenario für die Interaktion mit einer physischen Umgebung unter Verwendung einer MR-fähigen Vorrichtung.
1B veranschaulicht ein Beispiel für das Sichtfeld einer physischen Umgebung mit einer MR-fähigen Vorrichtung.
2 veranschaulicht ein Blockdiagramm eines MR-Systems gemäß einer Ausführungsform.
3 ist ein Flussdiagramm eines Verfahrens zum Steuern eines Proj ektionsmodus einer MR-fähigen Vorrichtung, gemäß einer Ausführungsform.
4 ist ein Flussdiagramm eines Verfahrens zum Anzeigen von Inhalten unter Verwendung einer MR-fähigen Vorrichtung, gemäß einer Ausführungsform.
5 veranschaulicht ein Beispielszenario für die Anzeige von Inhalten unter Verwendung einer MR-fähigen Vorrichtung gemäß einer Ausführungsform
6A-6C veranschaulichen ein Beispielszenario für die Visualisierung einer physischen Umgebung mit einer MR-fähigen Vorrichtung gemäß einer Ausführungsform.

DETAILLIERTE BESCHREIBUNG
Eine MR-fähige Vorrichtung (z. B. eine MR-fähige intelligente Brille, ein MR-fähiger Kopfhörer usw.) kann ein Mixed-Reality-Erlebnis unterstützen, bei dem die Vorrichtung visuelle Inhalte anzeigt, die eine Ansicht der physischen Umgebung überlagern. In einem Beispiel kann der visuelle Inhalt Grafiken für eine Spielanwendung beinhalten. In einem anderen Beispiel kann der visuelle Inhalt einen Informationsinhalt für ein virtuelles Objekt beinhalten, das in einen Video-Feed oder ein Sichtfeld der physischen Umgebung eingefügt wird. In noch einem weiteren Beispiel kann der visuelle Inhalt einen Informationsinhalt für ein physisches Objekt in der realen Umgebung beinhalten, das für einen Benutzer sichtbar ist.
Ein Problem aktueller MR-fähiger Vorrichtungen ist, dass sie im Allgemeinen anfällig für Parallaxeneffekte sind, die durch die Betrachtung eines Objekts aus zwei verschiedenen Positionen veranlasst werden. Zum Beispiel können sich in Fällen von natürlichem Sehen (z. B. ohne Verwendung einer MR-fähigen Vorrichtung) aus der Perspektive des Benutzers Nahfeldobj ekte verschieben und/oder verschwimmen, wenn sich der Fokus des Benutzers auf Fernfeldobjekte (oder entfernte Objekte) verlagert. Ebenso können sich aus Sicht des Benutzers Fernfeldobjekte verschieben und/oder verschwimmen, wenn sich der Fokus des Benutzers auf Nahfeldobjekte verlagert.
Diese Parallaxenphänomene können in aktuellen MR-fähigen Vorrichtungen reproduziert werden, was den Benutzer ablenkt und das Benutzererlebnis beeinträchtigt. Wenn zum Beispiel ein Benutzer, der eine binokulare MR-fähige Vorrichtung trägt, sich im MR auf ein entferntes Objekt konzentriert, können Nahfeldobjekte, die im Sichtfeld (FOV) des Benutzers dargestellt werden, unter Parallaxeneffekten leiden (z. B. können die Nahfeldobj ekte relativ zu dem entfernten Objekt doppelt und verschwommen erscheinen). Bei großen Nahfeldobjekten kann der Parallaxeneffekt für den Benutzer erheblich desorientierend und ablenkend wirken, da er z. B. das Sichtfeld des Benutzers weitgehend abdeckt.
1A-1B veranschaulichen ein Beispielszenario, in dem Parallaxeneffekte eine negative (oder schlechte) Benutzererfahrung in aktuellen MR-fähigen Vorrichtungen (auch als MR-Vorrichtungen bezeichnet) veranlassen können. Hier kann ein Benutzer 102 die MR-fähige Vorrichtung 110 (in diesem Beispiel als intelligente Brille dargestellt) tragen, um mit der physischen Umgebung 100 zu interagieren. Die physische Umgebung 100 beinhaltet mehrere physische (oder reale) Objekte 104, darunter zum Beispiel das physische Objekt 104-1 (z. B. Vorhänge), das physische Objekt 104-2 (z. B. Fenster), das physische Objekt 104-3 (z. B. Wände), das physische Objekt 104-4 (z. B. Tür), das physische Objekt 104-5 (z. B. Stehlampe), das physische Objekt 104-6 (z. B. Tisch) usw. Es ist zu beachten, dass in 1A die physische Umgebung 100 zwar als Innenraum dargestellt ist, die physische Umgebung 100 aber auch im Freien sein kann.
Der Benutzer 102 kann über die MR-fähige Vorrichtung 110 an einer MR-Sitzung innerhalb der physischen Umgebung 100 teilnehmen. Wie in den 1A und 1B gezeigt, kann die MR-fähige Vorrichtung 110 das virtuelle Objekt 106 (z. B. die Lampe) innerhalb des FOV des Benutzers der physischen Umgebung 100 anzeigen (oder rendern oder darstellen), z. B. um dem Benutzer zu ermöglichen, zu visualisieren, wie das virtuelle Objekt 106 in der physischen Umgebung 100 aussehen würde (z. B. aus verschiedenen Winkeln, Blickwinkeln usw.). Der Benutzer 102 kann das virtuelle Objekt 106 ausgewählt (oder angefordert) haben, während er z. B. in einer Einzelhandelssoftwareanwendung nach Artikeln suchte. In diesem speziellen Beispiel wird das virtuelle Objekt 106 so dargestellt, als würde es auf dem physischen Objekt 104-6 (z. B. einem Tisch) liegen. Wie hierin beschrieben, werden die virtuellen Objekte von der MR-fähigen Vorrichtung 110 angezeigt, während die physischen Objekte vom Benutzer der MR-fähigen Vorrichtung 110 lediglich gesehen werden.
In einigen Fällen kann die MR-fähige Vorrichtung 110 während der Interaktion mit dem virtuellen Objekt 106 Informationen (oder andere virtuelle Objekte), die dem virtuellen Objekt 106 zugeordnet sind, im FOV des Benutzers darstellen. Unter der Annahme, dass der Benutzer mit einer Einzelhandelssoftwareanwendung interagiert, können diese Informationen beispielsweise Produktinformationen (z. B. Textinhalte und/oder grafische Inhalte) beinhalten, die einem Artikel (z. B. einem zu verkaufenden Produkt) zugeordnet sind, der dem virtuellen Objekt 106 entspricht. Beispiele für Produktinformationen können Preis, Bewertungen, Rezensionen, technische Beschreibung, Verfügbarkeitsinformationen usw. beinhalten. Es ist jedoch zu beachten, dass dies nur ein Beispiel ist und dass die Informationen, die dem virtuellen Objekt 106 zugeordnet sind, in anderen Kontexten anders sein können. Wie in 1B gezeigt, die ein FOV der physischen Umgebung 100 mit der MR-fähigen Vorrichtung 110 darstellt, wird der Produktinformationstext 140 (auch als Produktinfo-Text bezeichnet) auf der binokularen Anzeige (auch als stereoskopische Anzeige bezeichnet) (z. B. der Anzeige 130-1 und der Anzeige 130-2) der MR-fähigen Vorrichtung 110 dargestellt. Da der Benutzer in diesem Beispiel jedoch auf ein Fernfeldobjekt (z. B. das virtuelle Objekt 106) in der physischen Umgebung 100 fokussiert ist, erscheint der Produktinformationstext 140 aufgrund von Parallaxeneffekten doppelt und unscharf.
Die hierin beschriebenen Ausführungsformen stellen Systeme und Techniken bereit, die eine verbesserte Visualisierung von Inhalten auf einer MR-fähigen Vorrichtung ermöglichen. Insbesondere stellen Ausführungsformen Techniken zur Auswahl zwischen Projektionsmodi auf einer MR-fähigen Vorrichtung bereit, um Inhalte basierend auf dem Blick eines Benutzers, der die MR-fähige Vorrichtung trägt, anzuzeigen. Wie nachfolgend näher beschrieben, kann die MR-fähige Vorrichtung mit einer Blickverfolgungs-Technologie (auch als Augenverfolgungs-Technologie bezeichnet) ausgestattet sein (z. B. Hardware- und/oder Software-Komponenten), die die Position jedes Auges des Benutzers verfolgen kann, um einen Fokuspunkt des Blicks des Benutzers zu bestimmen (z. B. wohin der Benutzer schaut). Die hierin beschriebene MR-fähige Vorrichtung kann die Blickverfolgungs-Technologie verwenden, um die Position jedes Auges des Benutzers zu überwachen und den Abstand (von dem Benutzer) zu einem Konvergenzpunkt (auch als Blickpunkt oder Augenkonvergenz bezeichnet) der Augen des Benutzers zu bestimmen. Die MR-fähige Vorrichtung kann Inhalte (z. B. visuelle Inhalte, wie Produktinformationen) anzeigen, indem es einen monokularen Projektionsmodus verwendet, wenn der Konvergenzabstand größer ist als ein vordefinierter Abstand zum Benutzer. Die MR-fähige Vorrichtung kann den Inhalt unter Verwendung eines binokularen Proj ektionsmodus anzeigen, wenn der Konvergenzabstand kleiner oder gleich dem vordefinierten Abstand zum Benutzer ist. Durch Umschalten zwischen unterschiedlichen Projektionsformen basierend auf der Blickrichtung des Benutzers können Ausführungsformen die Parallaxeneffekte, die bei der Visualisierung von Inhalten mit einer binokularen MR-fähigen Vorrichtung auftreten können, erheblich reduzieren.
Es ist zu beachten, dass bestimmte Ausführungsformen hierin anhand der Verwendung einer Einzelhandelssoftwareanwendung für verschiedene Haushaltsgegenstände (z. B. Möbel) als Beispiel für eine Computersoftware beschrieben werden, die Visualisierungen von Gegenständen mit einer MR-fähigen Vorrichtung unterstützt. In anderen Ausführungsformen können die hierin vorgestellten Techniken für die Visualisierung einer Vielzahl von Gegenständen verwendet werden (z. B. Kleidung, Lebensmittel, Bücher, Elektronik usw.).
Wie hierin verwendet, ist ein physisches Objekt (oder Artikel oder Produkt) im Allgemeinen ein Objekt, das eine physische, greifbare Existenz aufweist. Ein physisches Objekt kann auch als reales Objekt (oder Artikel oder Produkt) bezeichnet werden. Wie hierin verwendet, ist ein virtuelles Objekt im Allgemeinen eine digitale oder virtuelle Darstellung (eines realen oder nicht realen Objekts), die durch die MR-fähige Vorrichtung erzeugt und/oder angezeigt wird. Zum Beispiel kann ein virtuelles Objekt ein physisches Objekt (z. B. eine Person, einen Stuhl usw.) beinhalten, das durch die MR-fähige Vorrichtung (z. B. eine Kamera) abgetastet und dem Benutzer (z. B. auf einer Anzeige) wieder angezeigt wurde. Ein virtuelles Objekt (oder ein Artikel oder Produkt) kann auch als AR-Objekt, als virtuelle Darstellung (eines physischen Objekts), als dreidimensionales (3D-)Modell (eines physischen Objekts) usw. bezeichnet werden.
2 veranschaulicht ein Blockdiagramm eines MR-Systems 200 gemäß einer Ausführungsform. Wie gezeigt, beinhaltet das MR-System 200 eine MR-fähige Vorrichtung 110, die so konfiguriert ist, dass sie MR-Funktionalität für einen Benutzer in einer physischen Umgebung (z. B. in der physischen Umgebung 100) bereitstellt. Zum Beispiel kann die MR-fähige Vorrichtung 110 eine AR- und/oder VR-Anzeigefunktion für den Benutzer bereitstellen. Die MR-fähige Vorrichtung 110 kann in jeder geeigneten Form verkörpert sein. In einigen Ausführungsformen ist die MR-fähige Vorrichtung 110 ein am Körper getragenes Computergerät, z. B. integriert in eine am Kopf eines Benutzers getragene Anordnung. Beispiele für solche am Körper getragenen Rechenvorrichtungen können unter anderem ein am Kopf angebrachtes Display (HMD), ein tragbares Head-up-Display (HUD), ein Headset, eine intelligente Brille, ein Visier, ein Helm usw. beinhalten.
Wie gezeigt, beinhaltet die MR-fähige Vorrichtung 110 einen oder mehrere Prozessoren 202, einen Speicher 204, eine oder mehrere Anzeigen 130, einen oder mehrere Sensoren 214, eine oder mehrere Audiovorrichtungen 216, eine Energiequelle 218, eine Netzwerkschnittstelle 220 und eine oder mehrere Eingabesteuerungen 222. Der/die Prozessor(en) 202 ruft/rufen im Allgemeinen im Speicher 204 gespeicherte Programmieranweisungen ab und führt/führen diese aus. Der/die Prozessor(en) 202 ist/sind repräsentativ für eine einzelne zentrale Verarbeitungseinheit (central processing unit, CPU), mehrere CPUs, eine einzelne CPU mit mehreren Prozessorkernen und/oder Grafikverarbeitungseinheiten (graphics processing units, GPUs) mit mehreren Ausführungspfaden und dergleichen. Der Speicher 204 ist im Allgemeinen als Direktzugriffsspeicher enthalten, kann aber ferner einen nichtflüchtigen Speicher eines oder mehrerer geeigneter Typen beinhalten.
Der Speicher 204 beinhaltet im Allgemeinen Programmcode zum Durchführen verschiedener Funktionen, die sich auf das Bereitstellen von MR-Funktionalität (einschließlich AR- und/oder VR-Funktionalität) für einen Benutzer (z. B. den Benutzer 102) der MR-fähigen Vorrichtung 110 beziehen. Der Programmcode wird im Allgemeinen als unterschiedliche funktionale „Anwendungen“ oder „Module“ innerhalb des Speichers 204 beschrieben, obwohl alternative Implementierungen unterschiedliche Funktionen oder Kombinationen von Funktionen aufweisen können. Hier beinhaltet der Speicher 204 Anwendung(en) 230, einschließlich einer MR-Komponente 232, die im Allgemeinen so konfiguriert ist, dass sie MR-Funktionalität für den Benutzer bereitstellt (z. B. durch Darstellung visueller Inhalte im Sichtfeld des Benutzers auf die Umgebung). Der Speicher 204 beinhaltet auch eine Blickkomponente 206 (auch als Eye-Tracking-Komponente bezeichnet). Es ist jedoch zu beachten, dass in 2 ein Referenzbeispiel für die Komponenten des Speichers 204 dargestellt ist. Zum Beispiel können die MR-Komponente 232 und die Blickkomponente 206 Software, Hardware oder Kombinationen davon beinhalten. Die MR-Komponente 232 und die Blickkomponente 206 werden nachstehend ausführlicher beschrieben.
Die Anzeige(n) 130 (auch als Anzeigevorrichtungen bezeichnet) können visuelle Anzeigen jeder geeigneten Art beinhalten. Die Anzeige(n) 130 kann/können beispielsweise jede Art von dynamischer Anzeige beinhalten, die in der Lage ist, einem Benutzer eine visuelle Schnittstelle anzuzeigen, und jede der Anzeige(n) 130 kann jede Art von Leuchtdiode (LED), organischer LED (OLED), Kathodenstrahlröhre (CRT), Flüssigkristallanzeige (LCD), LCD mit transparenter Hintergrundbeleuchtung, Plasma, Elektrolumineszenz (EL) oder eine andere Anzeigetechnologie sowie eine Anordnung optischer Elemente beinhalten, die zusammenwirken, um einem Benutzer ein Bild bereitzustellen. In einer Ausführungsform beinhaltet die MR-fähige Vorrichtung 110 eine einzelne Anzeige 130 mit mehreren Anzeigebereichen. Zum Beispiel kann die einzelne Anzeige 130 einen ersten Anzeigebereich beinhalten, der zum Betrachten durch das erste Auge des Benutzers positioniert ist, und einen zweiten Anzeigebereich beinhalten, der zum Betrachten durch das zweite Auge des Benutzers positioniert ist. In einer anderen Ausführungsform beinhaltet die MR-fähige Vorrichtung 110 zwei Anzeigen 130. In dieser Ausführungsform kann eine der beiden Anzeigen 130 (z. B. eine erste Anzeige 130) einen ersten Anzeigebereich beinhalten, der zum Anzeigen für ein erstes Auge des Benutzers positioniert ist, und die andere der beiden Anzeigen 130 (z. B. eine zweite Anzeige 130) kann einen zweiten Anzeigebereich beinhalten, der zum Anzeigen für ein zweites Auge des Benutzers positioniert ist.
Die optischen Anordnungen in der/den Anzeige(n) 130 können so konfiguriert sein, dass sie einen Teil oder das gesamte von einer LED-, OLED-, LCD-, Plasma-, EL- oder anderen Anzeige ausgestrahlte Licht zum Anzeigen für den Benutzer übertragen. Die optische Anordnung kann ferner so konfiguriert sein, dass sie einen Teil oder das gesamte Licht aus der physischen Umgebung an die Augen des Benutzers überträgt.In einigen Ausführungsformen stellt die MR-fähige Vorrichtung 110 eine binokulare (oder stereoskopische) Anzeige bereit, die aus zwei Anzeigen 130 besteht. In dieser Ausführungsform wird beispielsweise für jedes Auge eines Benutzers eine andere Anzeige 130 bereitgestellt, sodass dem Benutzer dreidimensionale (3D) virtuelle Objekte im Sichtfeld (FOV) dargestellt werden. In einer anderen Ausführungsform kann die binokulare Anzeige mit einer einzelnen Anzeige 130 implementiert werden, die mehrere Anzeigebereiche aufweist, z. B. einen unterschiedlichen Anzeigebereich, der für jedes Auge eines Benutzers bereitgestellt wird, sodass dem Benutzer virtuelle 3D-Objekte im FOV präsentiert werden. Wie bereits erwähnt, ist in einer Ausführungsform jede Anzeige 130 transparent, sodass physische Objekte durch die Anzeige 130 sichtbar sind. Zum Beispiel kann jede Anzeige 130 als Okular oder Linse konfiguriert sein, die vor dem jeweiligen Auge abgenutzt wird. In einer solchen Ausführungsform können eine oder mehrere virtuelle Objekte mit den physischen Objekten überlagert werden und auf der Anzeige 130 für jedes Auge des Benutzers angezeigt werden.
Die Sensoren 214 (auch als Sensorvorrichtungen bezeichnet) können verschiedene Vorrichtungen beinhalten, die zum Erfassen von Informationen aus der Umgebung konfiguriert sind. Einige nicht einschränkende Beispiele für Sensoren 214 beinhalten visuelle Sensoren, Beschleunigungssensoren, Gyroskope, Eye-Tracking-Sensoren, GPS-(Global Positioning System)-Empfänger, Trägheitsbewegungseinheiten (IMUs), usw. Die visuellen Sensoren können eine oder mehrere Kameras beinhalten, die zum Erfassen von sichtbarem Licht und/oder Infrarotlicht konfiguriert sind. In einigen Ausführungsformen (z. B. wenn der Betrieb im AR-Modus erfolgt) können eine oder mehrere Kameras in der MR-fähigen Vorrichtung 110 aktiviert werden, um einen Video-Feed bereitzustellen, über den virtuelle Objekte überlagert werden können oder in den virtuelle Objekte programmatisch eingefügt werden können. Es ist jedoch zu beachten, dass die Kamera(s) in Ausführungsformen, die eine externe Vorrichtung verwenden, um einen Video-Feed oder eine transparente Oberfläche bereitzustellen, durch die ein Benutzer die Umgebung betrachten kann, weggelassen oder deaktiviert werden können.
Die Beschleunigungssensoren messen im Allgemeinen die Beschleunigungskräfte, die auf die MR-fähige Vorrichtung 110 einwirken, und können der MR-fähigen Vorrichtung 110 Informationen darüber bereitstellen, ob der Benutzer, der die MR-fähige Vorrichtung 110 trägt, sich bewegt, und in welche Richtung(en). Das Gyroskop kann die Ausrichtung der MR-fähigen Vorrichtung 110 messen und Informationen darüber bereitstellen, ob die MR-fähige Vorrichtung 110 waagerecht ist oder in welchem Maße die MR-fähige Vorrichtung 110 geneigt ist. In einigen Ausführungsformen kann die Kombination aus Beschleunigungsmesser und Gyroskop Informationen für eine Richtungsbestimmung der MR-fähigen Vorrichtung 110 in Form von Neigung und Drehung in Bezug auf die Schwerkraft bereitstellen.
In einigen Ausführungsformen beinhalten der/die Sensor(en) 214 einen Eye-Tracking-Sensor(en), der den Blick des Benutzers überwacht (oder verfolgt). Wenn die MR-fähige Vorrichtung 110 beispielsweise von einem Benutzer (z. B. auf dem Kopf des Benutzers) getragen wird, kann ein Eye-Tracking-Sensor(en) so platziert werden, dass er den Augen des Benutzers zugewandt ist. Der/die Eye-Tracking-Sensor(en) kann/können dazu verwendet werden, das Auge des Benutzers zu verfolgen, um den Blickpunkt zu bestimmen (z. B. wohin der Benutzer blickt). Der/die Eye-Tracking-Sensor(en) kann/können unter Verwendung von visuellen Sensoren (z. B. Kameras), Projektoren (z. B. Projektoren im nahen Infrarotbereich (NIR)) usw. implementiert werden.
Die Audiovorrichtungen 216 können Audio-Eingabe-/Ausgabegeräte beinhalten. Die Audiovorrichtungen 216 können herkömmliche Audiomikrofone und Lautsprecher mit einem beliebigen geeigneten Formfaktor (z. B. eigenständig, in eine Stereoanlage integriert, Kopfhörer usw.) sowie Vorrichtungen mit alternativen Verfahren zum Erzeugen und Empfangen von durch einen Benutzer wahrnehmbarem Ton, wie Knochenleitungswandler in der MR-fähigen Vorrichtung 110, beinhalten. In einigen Ausführungsformen sind die Audiovorrichtungen 216 in der Benutzervorrichtung 224 enthalten.
Die Stromquelle 218 stellt den verschiedenen Komponenten der MR-fähigen Vorrichtung 110 elektrische Energie bereit. Verschiedene Beispiele für Stromquellen 218 beinhalten Batterien (wiederaufladbare und nicht wiederaufladbare), Wechselstrom-Gleichstrom-Wandler (AC/DC), Gleichstrom-Wechselstrom-Wandler (DC/AC), Transformatoren, Kondensatoren, Induktoren und Drähte zum Anschluss an eine externe Stromquelle.
Die Netzwerkschnittstelle 220 stellt die drahtlose Kommunikation für die MR-fähige Vorrichtung 110 bereit. In verschiedenen Ausführungsformen beinhaltet die Netzwerkschnittstelle 220 einen Sender und/oder Empfänger für die Kommunikation mit einer oder mehreren externen Vorrichtungen. Im Allgemeinen kann die Netzwerkschnittstelle 220 jede Art von Netzwerkkommunikationsschnittstelle sein, die es der MR-fähigen Vorrichtung 110 ermöglicht, mit anderen Computern und/oder Komponenten zu kommunizieren.
Die Eingabesteuerung(en) 222 können Eingaben von einem Benutzer empfangen, um das MR-Erlebnis über die MR-fähige Vorrichtung 110 zu steuern. Es ist zu beachten, dass die Eingabesteuerung(en) 222 zwar als Teil der MR-fähigen Vorrichtung 110 dargestellt sind, in einigen Ausführungsformen aber auch getrennt von der MR-fähigen Vorrichtung 110 sein können. Die Eingabesteuerung(en) 222 kann/können physische Joysticks, physische Lenkräder/Yokes, physische Tasten, physische Schalter, Mikrofone, eine Eingabeschnittstelle beinhalten, die verschiedene Bereiche zur Verwendung als virtuelle Joysticks, Tasten, Schalter usw. bezeichnet. Ein Benutzer kann die verschiedenen Eingabesteuerungen 222 betätigen, um der Anwendung 230 zu signalisieren, das MR-Erlebnis zu ändern (z. B. Inhalte anzuzeigen, auszuwählen, zu entfernen usw.), die MR-fähige Vorrichtung 110 abzuschalten, zu einer anderen Anwendung 230 zu wechseln, Systemeinstellungen (z. B. Lautstärke, Helligkeit) zu ändern usw.
In einigen Ausführungsformen beinhaltet das MR-System 200 eine Benutzervorrichtung 224. In einigen Ausführungsformen kann einer oder mehrere der Prozessoren 202, Speichermodule (oder Komponenten) des Speichers 204, die Eingabesteuerung(en) 222, der/die Sensor(en) 214 usw. von der MR-fähigen Vorrichtung 110 getrennt und in die Benutzervorrichtung 224 integriert sein, während sich die Anzeige(n) 130 (und andere Komponenten) in der MR-fähigen Vorrichtung 110 befinden. In diesen Ausführungsformen kann die Benutzervorrichtung 224 die Anzeige(n) 130 auf der MR-fähigen Vorrichtung 110 betreiben, z. B. durch Bereitstellen des Inhalts, der auf der/den Anzeige(n) 130 dargestellt werden soll. Die MR-fähige Vorrichtung 110 kann über eine drahtgebundene und/oder drahtlose Schnittstelle (oder Verbindung) mit der Benutzervorrichtung 224 kommunizieren. Die Benutzervorrichtung 224 ist repräsentativ für verschiedene Computervorrichtungen, darunter zum Beispiel ein Smartphone, ein Tablet-Computer, ein Desktop-Computer, ein Server usw. Obwohl als eine einzelne Vorrichtung gezeigt, beinhaltet die Benutzervorrichtung 224 in einigen Ausführungsformen mehrere Vorrichtungen, die mit der MR-fähigen Vorrichtung 110 interagieren, um MR-Funktionen für den Benutzer bereitzustellen.
Wie bereits erwähnt, stellt die MR-Komponente 232 im Allgemeinen über die MR-fähige Vorrichtung 110 MR-Funktionen für den Benutzer bereit. In einigen Ausführungsformen kann die MR-Komponente 232 in einem AR-Modus betrieben werden. In diesem AR-Modus kann die MR-Komponente 232 dem Benutzer AR-Funktionalität durch Überlagerung (oder Einfügen) virtueller Objekte (oder Inhalte) in das natürliche Sichtfeld des Benutzers in der Umgebung unter Verwendung der MR-fähigen Vorrichtung 110 bereitstellen. Das/die virtuelle(n) Objekt(e) kann/können in das Sichtfeld des Benutzers eingefügt werden, sodass es so aussieht, als sei das/die virtuelle(n) Objekt(e) Teil der physischen Umgebung. In anderen Ausführungsformen kann die MR-Komponente 232 in einem VR-Modus betrieben werden. In diesem Modus kann die MR-Komponente 232 den Benutzer von der physischen Umgebung isolieren, indem das Sichtfeld des Benutzers auf die physische Umgebung vollständig durch virtuelle Bilder ersetzt wird.
Die Blickkomponente 206 ist im Allgemeinen so konfiguriert, dass sie die Positionen der einzelnen Augen des Benutzers überwacht, um einen (Konvergenz)-Abstand zu einem Konvergenzpunkt (oder Blickpunkt) zu bestimmen, wobei die Augen des Benutzers konvergieren. Wie hierin verwendet, kann sich der Konvergenzpunkt auf den Punkt (oder die Position) beziehen, wobei sich ein Strahl (oder eine Sichtlinie (LOS)), der von einer (mittleren) Position jedes Auges des Benutzers ausgeht, gegenseitig schneidet. Der Strahl kann auf der visuellen Achse (z. B. der Linie, die den Hornhautscheitel mit der Fovea verbindet) oder der optischen Achse (z. B. der Linie, die durch die Zentren von Pupille, Hornhaut und Augapfel verläuft) basieren.
Obwohl als Teil des Speichers 204 gezeigt, kann die Blickkomponente 206 Software, Hardware oder Kombinationen davon beinhalten. So kann die Blickkomponente 206 beispielsweise einen oder mehrere Sensoren 214 (z. B. Eye-Tracking-Sensor(en)) beinhalten und/oder mit diesen interagieren. Die Blickkomponente 206 kann eine Vielzahl von Techniken zur Blickverfolgung implementieren, um den Konvergenzabstand des Blicks des Benutzers zu bestimmen. Beispielhafte Blickverfolgungstechniken beinhalten, ohne darauf beschränkt zu sein, modellbasierte Techniken (bei denen geometrische Modellmerkmale des Auges verwendet werden, um die Blickrichtung (oder den 3D-Richtungsvektor) zu berechnen), interpolationsbasierte Techniken (bei denen regressionsbasierte Verfahren eingesetzt werden, um Bildmerkmale des Auges auf Blickkoordinaten abzubilden), erscheinungsbasierte Techniken (bei denen der Inhalt eines Bildes des Auges als Eingabe verwendet wird, um diesen auf einen 3D-Punkt im Raum abzubilden), auf sichtbarem Licht basierende Techniken (die als Ersatz für Infrarot (IR)-basierte Techniken verwendet werden können), usw.
Wie ebenfalls gezeigt, beinhaltet die MR-Komponente 232 eine Okularmodussteuerung 208, die konfiguriert ist, um eine oder mehrere hierin beschriebene Techniken durchzuführen. Die Okularmodussteuerung 208 kann Software, Hardware oder Kombinationen davon beinhalten. In einer hierin beschriebenen Ausführungsform ist die Okularmodussteuerung 208 so konfiguriert, dass sie basierend auf dem Blick des Benutzers (z. B. bestimmt durch die Blickkomponente 206) zwischen den Projektionsmodi der MR-fähigen Vorrichtung 110 auswählt. Zum Beispiel kann die Okularmodussteuerung 208 den Projektionsmodus der MR-fähigen Vorrichtung 110 in den Binokularmodus ändern, wenn der Blick des Benutzers eine vorbestimmte Bedingung erfüllt (z. B. wenn der Konvergenzabstand des Blicks des Benutzers einen vorbestimmten Abstand zum Benutzer überschreitet). Im Binokularmodus kann die MR-Komponente 232 virtuelle Objekte (oder Inhalte) auf (i) beiden Anzeigen 130 der MR-fähigen Vorrichtung 110 (z. B. unter der Annahme, dass die MR-fähige Vorrichtung 110 mit zwei Anzeigen 130 ausgestattet ist) oder (ii) beiden Anzeigebereichen auf einer einzelnen Anzeige 130 der MR-fähigen Vorrichtung 110 (z. B. unter der Annahme, dass die MR-fähige Vorrichtung 110 mit einer einzelnen Anzeige 130 ausgestattet ist) anzeigen (oder rendern oder darstellen oder projizieren).
Darüber hinaus kann die Okularmodussteuerung 208 den Projektionsmodus der MR-fähigen Vorrichtung 110 in den Monokularmodus ändern, wenn der Blick des Benutzers die vorbestimmte Bedingung nicht erfüllt (z. B. wenn der Konvergenzabstand des Blicks des Benutzers kleiner oder gleich dem vorbestimmten Abstand zum Benutzer ist). Im Monokularmodus kann die MR-Komponente 232 virtuelle Objekte (oder Inhalte) auf (i) einer einzelnen Anzeige 130 (im Gegensatz zu beiden Anzeigen 130) der MR-fähigen Vorrichtung 110 (z. B. unter der Annahme, dass die MR-fähige Vorrichtung 110 mit zwei Anzeigen 130 ausgestattet ist) oder (ii) einem einzelnen Anzeigebereich (im Gegensatz zu beiden Anzeigebereichen) auf einer einzelnen Anzeige 130 der MR-fähigen Vorrichtung 110 (z. B. unter der Annahme, dass die MR-fähige Vorrichtung 110 mit einer einzelnen Anzeige 130 ausgestattet ist) anzeigen. In einigen Ausführungsformen kann die Okularmodussteuerung 208 den Konvergenzabstand des Blicks des Benutzers kontinuierlich überwachen und den Projektionsmodus zum Anzeigen von Inhalten basierend auf dem aktuellen Konvergenzabstand des Blicks des Benutzers umschalten. Auf diese Weise kann die Okularmodussteuerung 208 das Benutzererlebnis mit MR-Funktionen erheblich verbessern, indem sie die Parallaxeneffekte reduziert, die mit binokularen MR-fähigen Vorrichtungen verbunden sind.
Es ist zu beachten, dass 2 ein Referenzbeispiel eines MR-Systems 200 veranschaulicht, in dem die hierin vorliegenden Techniken implementiert werden können, und dass die hierin vorgestellten Techniken auch in anderen Computerumgebungen implementiert werden können. In einigen Ausführungsformen ist die MR-fähige Vorrichtung 110 zum Beispiel ein eigenständiges System, das ohne Benutzervorrichtung 224 betrieben werden kann. In anderen Ausführungsformen kann die MR-fähige Vorrichtung 110 kommunikativ mit der Benutzervorrichtung 224 gekoppelt sein und Informationen mit der Benutzervorrichtung 224 austauschen, um die hierin beschriebenen Techniken zu implementieren.
3 ist ein Flussdiagramm eines Verfahrens 300 zum Steuern eines Projektionsmodus einer MR-fähigen Vorrichtung, gemäß einer Ausführungsform. Das Verfahren 300 kann durch eine MR-Komponente (z. B. die MR-Komponente 232) und/oder eine oder mehrere Komponenten einer MR-fähigen Vorrichtung (z. B. der MR-fähigen Vorrichtung 110) durchgeführt werden.
Das Verfahren 300 beginnt bei Block 302, wobei die MR-Komponente den Blick eines Benutzers überwacht. Zum Beispiel kann die MR-Komponente den Blick des Benutzers über eine Blickkomponente (z. B. die Blickkomponente 206) der MR-fähigen Vorrichtung überwachen. In einigen Ausführungsformen kann die MR-Komponente Informationen von der Blickkomponente erhalten, die den Konvergenzabstand des Blicks des Benutzers angeben (z. B. eine Tiefe des Fokus des Benutzers). Beispielsweise können die Informationen angeben, ob der Benutzer auf ein Objekt oder eine Position fokussiert ist, die sich jenseits eines Schwellenabstands zum Benutzer befindet, oder ob er auf ein Objekt oder eine Position fokussiert ist, die sich innerhalb des Schwellenabstands befindet.
In einigen Ausführungsformen ist der Schwellenabstand ein vorkonfigurierter Abstand, der von dem Benutzer der MR-fähigen Vorrichtung eingestellt wird. In diesen Ausführungsformen kann der Schwellenabstand gemäß den Benutzerpräferenzen eingestellt werden (z. B. hat der Benutzer möglicherweise eine andere Toleranz für Parallaxeneffekte als andere Benutzer). In anderen Ausführungsformen ist der Schwellenabstand ein vorkonfigurierter Abstand, der von der Anwendung (z. B. Anwendung 230) der MR-fähigen Vorrichtung, das dem Benutzer das MR-Erlebnis bereitstellt, eingestellt wird. In diesen Ausführungsformen kann der Schwellenabstand unterschiedlich sein, abhängig davon, wie die MR-fähige Vorrichtung verwendet wird (z. B. welche Anwendung gerade auf der MR-fähigen Vorrichtung ausgeführt wird).
Bei Block 304 bestimmt die MR-Komponente, dass Inhalte auf einer oder mehreren Anzeigen (z. B. Anzeige(n) 130) der MR-fähigen Vorrichtung angezeigt werden. In einer Ausführungsform kann die MR-Komponente bestimmen, Inhalte für ein virtuelles Objekt darzustellen, das auf der/den Anzeige(n) der MR-fähigen Vorrichtung dargestellt wird. In dieser Ausführungsform kann der Inhalt eine oder mehrere Textinhalte und/oder grafische Elemente beinhalten, die Informationen beschreiben, die mit dem virtuellen Objekt assoziiert sind. In einer anderen Ausführungsform kann die MR-Komponente bestimmen, Inhalte für ein physisches Objekt darzustellen, das durch die Anzeige(n) der MR-fähigen Vorrichtung betrachtet werden kann. In dieser Ausführungsform kann der Inhalt eine oder mehrere Textinhalte und/oder grafische Elemente beinhalten, die Informationen beschreiben, die dem physischen Objekt zugeordnet sind. Im Allgemeinen kann der Inhalt, den die MR-Komponente zum Rendern in Block 304 bestimmt, beliebige virtuelle Objekte beinhalten.
Bei Block 306 zeigt die MR-Komponente den Inhalt auf der MR-fähigen Vorrichtung unter Verwendung eines ersten Projektionsmodus (z. B. Monokularmodus) an, wenn der Blick des Benutzers eine vorbestimmte Bedingung erfüllt (z. B. wenn der Konvergenzabstand des Blicks des Benutzers größer ist als ein Schwellenabstand zum Benutzer). In einer Ausführungsform wird der Inhalt (in Block 306) im oder innerhalb des Schwellenabstands angezeigt, wobei der erste Projektionsmodus verwendet wird. Bei Block 308 zeigt die MR-Komponente den Inhalt auf der MR-fähigen Vorrichtung unter Verwendung eines zweiten Projektionsmodus (z. B. Binokularmodus) an, wenn der Blick des Benutzers die vorbestimmte Bedingung nicht erfüllt (z. B. wenn der Konvergenzabstand des Blicks des Benutzers auf oder innerhalb des Schwellenabstands zum Benutzer liegt). In einer Ausführungsform wird der Inhalt (in Block 308) im oder innerhalb des Schwellenwerts angezeigt, wobei der zweite Projektionsmodus verwendet wird. In einer Ausführungsform kann die MR-Komponente die Blöcke 306 und 308 durchführen, während die MR-Komponente bestimmt, den Inhalt für den Benutzer anzuzeigen, der die MR-fähige Vorrichtung verwendet. Das Verfahren 300 endet dann.
4 ist ein Flussdiagramm eines Verfahrens 400 zum Anzeigen von Inhalten unter Verwendung einer MR-fähigen Vorrichtung, gemäß einer Ausführungsform. Das Verfahren 400 kann durch eine MR-Komponente (z. B. die MR-Komponente 232) und/oder eine oder mehrere Komponenten einer MR-fähigen Vorrichtung (z. B. der MR-fähigen Vorrichtung 110) durchgeführt werden. Das Verfahren 400 kann durchgeführt werden, während die MR-fähige Vorrichtung aktiviert ist und/oder eine Anwendung ausführt (z. B. Anwendung(en) 230).
Das Verfahren 400 tritt bei Block 402 ein, wobei die MR-Komponente den Blick eines Benutzers (z. B. des Benutzers 102) überwacht (z. B. unter Verwendung der Blickkomponente 206, Eye-Tracking-Sensoren usw.). Bei Block 404 bestimmt die MR-Komponente, ob die Inhalte für den Benutzer über die MR-fähige Vorrichtung angezeigt werden sollen. In einigen Fällen kann die MR-Komponente eine Anweisung zum Anzeigen von Inhalten (z. B. von der/den Anwendung(en)) empfangen.
Zum Beispiel kann die Anwendung basierend auf der von der Anwendung unterstützten MR-Funktionalität bestimmen, dass der Inhalt unter Verwendung der MR-Komponente angezeigt wird. In einem anderen Beispiel kann die Anweisung zum Anzeigen von Inhalten auf Eingaben eines Benutzers basieren. Der Benutzer kann zum Beispiel mit einem virtuellen Objekt interagieren, das auf der/den Anzeige(n) (z. B. Anzeige(n) 130) angezeigt wird, und er kann (z. B. über eine der Eingabesteuerungen 222) auswählen, dass er zusätzliche Informationen über das virtuelle Objekt anzeigen möchte. In einem anderen Beispiel kann der Benutzer ein physisches Objekt über die Anzeigen der MR-fähigen Vorrichtung betrachten und (z. B. über eine der Eingabesteuerung(en) 222) eine Abfrage erzeugen, um Informationen über das physische Objekt anzuzeigen.
In einigen Ausführungsformen kann die MR-Komponente bestimmen, Inhalte für den Benutzer anzuzeigen, wenn sie erkennt, dass eine oder mehrere vorbestimmte Bedingungen erfüllt sind. In einer bestimmten Ausführungsform basieren die vorbestimmte(n) Bedingung(en) auf dem Blick des Benutzers. Unter Bezugnahme auf ein Beispielszenario in 5 ist der Benutzer in Schritt 510 anfänglich auf ein Objekt 502 in der physischen Umgebung fokussiert, wobei sich das Objekt 502 in einem Abstand D₁ von dem Benutzer befindet. Bei dem Objekt 502 kann es sich um ein virtuelles Objekt handeln, das auf den Anzeigen der MR-fähigen Vorrichtung angezeigt wird, oder um ein physisches Objekt, das über die Anzeigen der MR-fähigen Vorrichtung sichtbar ist. In diesem Beispiel kann die MR-Komponente, wenn sie bestimmt, dass die Aufmerksamkeit des Benutzers für eine vorbestimmte Zeitdauer (z. B. eine Sekunde oder eine andere Zeitdauer) auf das Objekt 502 gerichtet ist, bestimmen, dass der Inhalt, der mit dem Objekt 502 assoziiert ist, angezeigt wird (der Inhalt kann z. B. zusätzliche Informationen über das Objekt 502 beinhalten).
Rückblickend auf 4, wenn die MR-Komponente nicht bestimmt, dass der Inhalt angezeigt werden soll (Block 404), kann die MR-Komponente weiterhin den Blick des Benutzers überwachen (Block 402) (z. B. unter der Annahme, dass die MR-Vorrichtung aktiv ist). Andererseits, wenn die MR-Komponente bestimmt, dass der Inhalt angezeigt werden soll (Block 404), dann bestimmt die MR-Komponente basierend auf der Überwachung einen Konvergenzpunkt des Blicks des Benutzers (Block 406). Zum Beispiel kann die MR-Komponente den Punkt (oder die Position) bestimmen, wobei sich die LOS von jedem Auge des Benutzers in der Umgebung schneidet, z. B. basierend auf Informationen von der Blickkomponente 206.
Bei Block 408 bestimmt die MR-Komponente, ob sich der Konvergenzpunkt in einem Abstand jenseits eines Schwellenabstands zum Benutzer befindet. Wenn ja, zeigt die MR-Komponente den Inhalt auf einer ersten Anzeige (z. B. Anzeige 130-2) der MR-fähigen Vorrichtung an (im Gegensatz zu den beiden Anzeigen 130-1 und 130-2 der MR-fähigen Vorrichtung) (Block 410). Das heißt, die MR-Komponente kann in Block 410 den monokularen Modus aktivieren (oder in diesen wechseln oder ihn auswählen). Unter erneuter Bezugnahme auf das Beispielszenario in 5 zeigt die MR-Komponente in Schritt 520 den Inhalt auf einer der Anzeigen an, wenn der Blick des Benutzers noch auf das Objekt 502 gerichtet ist, das sich in einem Abstand D₁ von dem Benutzer befindet, wobei D₁ den Schwellenabstand D₂ überschreitet. Wie in 5 gezeigt, zeigt die MR-Komponente den Inhalt im nahen FOV des Benutzers (z. B. bei oder nahe D₂) an, sobald das Objekt 502 basierend auf dem Blick des Benutzers aktiviert (oder ausgelöst) wird. In Ausführungsformen, bei denen das MR-fähige Gerät eine einzelne Anzeige beinhaltet (im Gegensatz zu zwei Anzeigen), zeigt die MR-Komponente (bei Block 410) den Inhalt in einem ersten Anzeigebereich der einzelnen Anzeige an (im Gegensatz zu beiden Anzeigebereichen der einzelnen Anzeige).
Wenn bei Block 408 die MR-Komponente bestimmt, dass sich der Konvergenzpunkt nicht in einem Abstand jenseits des Schwellenabstands von dem Benutzer befindet, dann zeigt die MR-Komponente den Inhalt auf einer ersten Anzeige (z. B. Anzeige 130-2) und einer zweiten Anzeige (z. B. Anzeige 130-1) der MR-fähigen Vorrichtung an (Block 412) Das heißt, die MR-Komponente kann in Block 412 den Binokularmodus aktivieren (oder in diesen wechseln oder ihn auswählen). In Fortsetzung des Beispielszenarios in 5 zeigt die MR-Komponente in Schritt 530 den Inhalt auf beiden Anzeigen an, wenn der Blick des Benutzers auf den Inhalt gerichtet ist, der sich am oder innerhalb des Schwellenabstands d₂ befindet. In Ausführungsformen, in denen die MR-fähige Vorrichtung eine einzelne Anzeige (im Gegensatz zu zwei Anzeigen) beinhaltet, zeigt die MR-Komponente (in Block 412) den Inhalt auf einem ersten Anzeigebereich und einem zweiten Anzeigebereich der einzelnen Anzeige an. Es ist zu beachten, dass, wenn die MR-Komponente Inhalte auf einer oder beiden Anzeigen der MR-fähigen Vorrichtung anzeigt, die MR-Komponente den Inhalt unter Verwendung einer Vielzahl verschiedener visueller Effekte anzeigen oder darstellen kann, einschließlich zum Beispiel Einblenden des Inhalts, Verschieben des Inhalts, Einblenden des Inhalts usw.
Nach den Blöcken 410 und 412 geht das Verfahren 400 zu Block 414 über, wo die MR-Komponente bestimmt, ob der Inhalt weiterhin auf einer Anzeige und/oder einer zweiten Anzeige der MR-fähigen Vorrichtung angezeigt werden soll. Zum Beispiel kann die MR-Komponente in einigen Fällen von dem Benutzer (z. B. über die Eingabesteuerung 222) eine Angabe erhalten, um den Inhalt von der/den Anzeige(n) der MR-fähigen Vorrichtung zu entfernen. In einigen Fällen kann die MR-Komponente bestimmen, den Inhalt zu entfernen, nachdem eine vorbestimmte Zeitdauer verstrichen ist, seit der Inhalt auf einer Anzeige der MR-fähigen Vorrichtung dargestellt wurde. In einigen Fällen kann die MR-Komponente basierend auf der von der/den Anwendung(en) unterstützten MR-Funktionalität bestimmen, den Inhalt zu entfernen.
Wenn die MR-Komponente nicht bestimmt, dass der Inhalt entfernt werden soll, bewertet sie weiterhin den Konvergenzpunkt des Blicks des Benutzers (z. B. bei Block 406). Auf diese Weise kann die MR-Komponente zwischen dem Anzeigen des Inhalts auf einer einzelnen Anzeige (Monokularmodus) und dem Anzeigen des Inhalts auf beiden Anzeigen (Binokularmodus) oder umgekehrt umschalten, basierend auf dem aktuellen Konvergenzpunkt des Blicks des Benutzers. Wie in 5 gezeigt, kann die MR-Komponente beispielsweise, wenn Schritt 530 ein späterer Zeitpunkt nach Schritt 520 ist, von monokular auf binokular umschalten, sobald der Benutzer den Fokus auf den Inhalt richtet, der sich innerhalb des Schwellenabstands d₂ zu dem Benutzer befindet.
Wenn die MR-Komponente bestimmt, dass der Inhalt entfernt werden soll (Block 414), stoppt die MR-Komponente das Anzeigen des Inhalts auf einer oder beiden Anzeigen der MR-fähigen Vorrichtung (Block 416). Wenn die MR-Komponente das Anzeigen des Inhalts auf einer oder beiden Anzeigen der MR-fähigen Vorrichtung stoppt, kann die MR-Komponente eine Vielzahl verschiedener visueller Effekte verwenden, z. B. das Ausblenden des Inhalts, das Herausschieben des Inhalts, das Einblenden des Inhalts und so weiter. Nach Block 416, vorausgesetzt, die MR-fähige Vorrichtung ist noch aktiv, geht das Verfahren 400 dann zu Block 402 über. Andernfalls endet das Verfahren 400.
6A-6C veranschaulichen ein Beispielszenario für die Visualisierung von Inhalten in einer physischen Umgebung unter Verwendung einer MR-fähigen Vorrichtung (z. B. MR-fähige Vorrichtung 110) gemäß einer Ausführungsform. Es ist zu beachten, dass, während 6A-6C die MR-fähige Vorrichtung mit zwei Anzeigen 130-1 und 130-2 veranschaulichen, die MR-fähige Vorrichtung in anderen Ausführungsformen eine einzelne Anzeige aufweisen kann, wobei ein erster Anzeigebereich zum Betrachten durch ein erstes Auge des Benutzers positioniert ist und ein zweiter Anzeigebereich zum Betrachten durch ein zweites Auge des Benutzers positioniert ist.
In einigen Ausführungsformen kann die Anwendung (z. B. Anwendung 230) es dem Benutzer (z. B. Benutzer 102) ermöglichen, den Bestand der zum Verkauf stehenden Artikel in der Anwendung zu durchsuchen und einen bestimmten Artikel (z. B. einen Stuhl) in der physischen Umgebung 100 auszuwählen, bevor er den Artikel kauft. In dieser Ausführungsform rendert die MR-Komponente (z. B. MR-Komponente 232) nach dem Auswählen des Artikels ein Objekt 602 (z. B. ein virtuelles Objekt, das dem ausgewählten Artikel entspricht) auf den Anzeigen 130-1 und 130-2 der MR-fähigen Vorrichtung, z. B. wie in 6A gezeigt. In einer anderen Ausführungsform kann das Objekt 602 ein physisches Objekt in der physischen Umgebung sein, das für den Benutzer über die Anzeigen 130-1 und 130-2 der MR-fähigen Vorrichtung sichtbar ist, z. B. wie in 6A gezeigt.
Zu einem späteren Zeitpunkt kann die MR-fähige Vorrichtung bestimmen, dass der Inhalt, der dem Objekt 602 zugeordnet ist, auf einer oder beiden Anzeigen 130 der MR-fähigen Vorrichtung wiedergegeben wird. Die MR-fähige Vorrichtung kann basierend auf dem Konvergenzabstand des Blicks des Benutzers bestimmen, ob der Inhalt auf einer einzelnen Anzeige (im Monokularmodus) oder auf beiden Anzeigen (im Binokularmodus) wiedergegeben werden soll. Wie in 6B gezeigt, zeigt die MR-fähige Vorrichtung auf der Anzeige 130-2 der MR-fähigen Vorrichtung als Reaktion auf das Bestimmen, dass der Konvergenzabstand des Blicks des Benutzers größer als ein Schwellenabstand ist (z. B. kann der Benutzer auf das Objekt 602 fokussiert sein, das sich außerhalb des Schwellenabstands befindet), den Inhalt 604 an. Wie in 6B gezeigt, da der Inhalt 604 auf einer einzelnen Anzeige angezeigt wird, weist der Inhalt 604 ein zweidimensionales (2D) Erscheinungsbild auf (oder hat im Allgemeinen ein qualitativ schlechteres Erscheinungsbild, als wenn der Inhalt auf beiden Anzeigen angezeigt wird).
Zu einem späteren Zeitpunkt kann die MR-fähige Vorrichtung bestimmen, dass der Konvergenzabstand des Blicks des Benutzers kleiner oder gleich dem Schwellenabstand zu dem Benutzer ist. Zum Beispiel kann es sein, dass sich der Blick des Benutzers von dem Objekt 602 zu dem Inhalt 604 auf der Anzeige 130-2 geändert hat. Wie in 6C gezeigt, zeigt die MR-fähige Vorrichtung als Reaktion auf das Bestimmen, dass der Konvergenzabstand des Benutzers kleiner oder gleich dem Schwellenabstand ist, den Inhalt 604 auf den beiden Anzeigen 130-1 und 130-2 der MR-fähigen Vorrichtung an. Zum Beispiel kann die MR-fähige Vorrichtung den Inhalt 604 auf der Anzeige 130-1 anzeigen, während der Inhalt auf der Anzeige 130-2 angezeigt wird. Wie in 6C gezeigt, weist der Inhalt 604, da der Inhalt 604 auf beiden Anzeigen angezeigt wird, ein 3D-Erscheinungsbild auf (oder hat im Allgemeinen ein hochwertigeres Erscheinungsbild, als wenn der Inhalt auf einer einzelnen Anzeige angezeigt wird).
Vorteilhafterweise können die hierin beschriebenen Ausführungsformen die Visualisierung von MR-Objekten auf einer MR-fähigen Vorrichtung erheblich verbessern, z. B. durch die Reduzierung von Parallaxeneffekten, die mit der Visualisierung von Inhalten mit einer binokularen MR-fähigen Vorrichtung verbunden sind. Dies wiederum kann das Benutzererlebnis mit MR-fähigen Vorrichtungen verbessern.
Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung wurden zu Zwecken der Veranschaulichung dargelegt, sollen jedoch nicht erschöpfend sein oder auf die offenbarten Ausführungsformen beschränkt sein. Zahlreiche Modifikationen und Variationen sind für den Durchschnittsfachmann ersichtlich, ohne vom Umfang und Geist der beschriebenen Ausführungsformen abzuweichen. Die in dieser Schrift verwendete Terminologie wurde so gewählt, dass sie die Prinzipien der Ausführungsformen, der praktischen Anwendung oder der technischen Verbesserung gegenüber den auf dem Markt zu findenden Technologien am besten erläutert, oder um einem anderen Durchschnittsfachmann zu ermöglichen, die in dieser Schrift offenbarten Ausführungsformen zu verstehen.
In dem Vorhergehenden wird Bezug genommen auf Ausführungsformen, die in dieser Offenbarung dargestellt sind. Allerdings ist der Umfang der vorliegenden Offenbarung nicht auf konkrete beschriebene Ausführungsformen beschränkt. Stattdessen wird jede beliebige Kombination der hierin beschriebenen Merkmale und Elemente, ob sie unterschiedliche Ausführungsformen betreffen oder nicht, in Betracht gezogen, um in Betracht gezogene Ausführungsformen umzusetzen und auszuführen. Wenngleich hierin offenbarte Ausführungsformen Vorteile gegenüber anderen möglichen Lösungen oder gegenüber dem Stand der Technik erzielen können, wirkt sich der Umstand, ob ein bestimmter Vorteil durch eine gegebene Ausführungsform erreicht wird oder nicht, nicht einschränkend auf den Umfang der vorliegenden Offenbarung aus. Somit sind die hierin beschriebenen Aspekte, Merkmale, Ausführungsformen und Vorteile lediglich veranschaulichend und nicht als Elemente oder Einschränkungen der beigefügten Patentansprüche angesehen, es sei denn, dies wird ausdrücklich in einem oder mehreren Ansprüchen angegeben. Ebenso ist die Bezugnahme auf „die Erfindung“ nicht als Verallgemeinerung eines hierin offenbarten erfinderischen Gegenstands auszulegen und soll nicht als Element oder Einschränkung der beigefügten Ansprüche angesehen werden, es sei denn, dies ist ausdrücklich in einem oder mehreren Ansprüchen angegeben.
Aspekte der vorliegenden Erfindung können die Form einer vollständigen Hardware-Ausführungsform, einer vollständigen Software-Ausführungsform (einschließlich Firmware, residenter Software, Mikrocode usw.) oder eine Ausführungsform annehmen, die Software- und Hardware-Aspekte kombiniert, die alle im Allgemeinen in dieser Schrift als „Schaltung“, „Modul“ oder „System“ bezeichnet werden können.
Die vorliegende Erfindung kann ein System, ein Verfahren und/oder ein Computerprogrammprodukt sein. Das Computerprogrammprodukt kann ein computerlesbares Speichermedium (oder Medium) mit darauf befindlichen computerlesbaren Programmanweisungen umfassen, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Das computerlesbare Speichermedium kann eine materielle Vorrichtung sein, die Anweisungen zur Verwendung durch eine Anweisungsausführungsvorrichtung aufbewahren und speichern kann.Das computerlesbare Speichermedium kann beispielsweise eine elektronische Speichervorrichtung, eine magnetische Speichervorrichtung, eine optische Speichervorrichtung, eine elektromagnetische Speichervorrichtung, eine Halbleiterspeichervorrichtung oder eine beliebige geeignete Kombination der Vorstehenden sein, ist aber nicht darauf beschränkt. Eine nicht erschöpfende Liste spezifischerer Beispiele des computerlesbaren Speichermediums umfasst die folgenden: eine tragbare Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM oder Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein tragbarer Kompaktdisk-Nur-Lese-Speicher (CD-ROM), eine Digital Versatile Disk (DVD), einen Speicherstick und jede geeignete Kombination der Vorstehenden. Ein computerlesbares Speichermedium, wie es hierin verwendet wird, ist nicht als vorübergehendes Signal an sich auszulegen, wie etwa Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, sich durch einen Wellenleiter ausbreitende elektromagnetische Wellen oder andere Übertragungsmedien (z. B. Lichtimpulse durch ein Glasfaserkabel) oder elektrische Signale, die über eine Leitung übertragen werden.
Hierin beschriebene computerlesbare Programmanweisungen können auf jeweilig Computer-/Verarbeitungsvorrichtungen von einem computerlesbaren Speichermedium oder auf einen externen Computer oder eine externe Speichervorrichtung über ein Netzwerk, beispielsweise das Internet, ein lokales Netzwerk, ein Weitverkehrsnetzwerk und/oder eine drahtloses Netzwerk heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, optische Übertragungsfasern, drahtlose Übertragung, ein oder mehrere Router, eine oder mehrere Firewalls, Switches, Gateway-Computer und/oder Edge-Server umfassen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Computer-/Verarbeitungsvorrichtung empfängt computerlesbare Programmanweisungen von dem Netzwerk und leitet die computerlesbaren Programmanweisungen zur Speicherung in einem computerlesbaren Speichermedium innerhalb der jeweiligen Computer-/Verarbeitungsvorrichtung weiter.
Computerlesbare Programmanweisungen zum Ausführen von Operationen der vorliegenden Erfindung können Assemblerbefehle, Befehlssatzarchitektur(ISA)-Befehle, Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, Zustandseinstelldaten oder entweder Quellcode oder Objektcode sein, der in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben ist, einschließlich einer objektorientierten Programmiersprache wie Smalltalk, C++ oder dergleichen, und konventionellen prozeduralen Programmiersprachen wie der Programmiersprache „C“ oder ähnlichen Programmiersprachen. Die computerlesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem Remote-Computer oder vollständig auf dem entfernten Computer oder Server ausgeführt werden. In letztgenanntem Fall kann der Remote-Computer mit dem Computer des Benutzers mittels einer beliebigen Art von Netz verbunden sein, einschließlich eines lokalen Netzwerks (LAN) oder eines Weitverkehrsnetzwerks (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel mittels des Internets unter Verwendung eines Internetdienstleistungsanbieters). In einigen Ausführungsformen können elektronische Schaltungen, die beispielsweise programmierbare Logikschaltungen, feldprogrammierbare Gate-Arrays (FPGA) oder programmierbare Logik-Arrays (PLA) umfassen, die computerlesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der computerlesbaren Programmanweisungen zum Personalisieren der elektronischen Schaltung verwenden, um Aspekte der vorliegenden Erfindung auszuführen.
Aspekte der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf Ablaufdiagrammveranschaulichungen und/oder Blockdiagramme von Verfahren, Einrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es versteht sich, dass jeder Block der Ablaufdiagrammveranschaulichungen und/oder Blockdiagramme und Kombinationen aus Blöcken in den Ablaufdiagrammveranschaulichungen und/oder Blockdiagrammen durch computerlesbare Programmanweisungen umgesetzt sein kann.
Diese computerlesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren, Daten verarbeitenden Vorrichtung zur Herstellung einer Maschine bereitgestellt sein, sodass die Anweisungen, die über den Prozessor des Computers oder der anderen programmierbaren, Daten verarbeitenden Vorrichtung ausgeführt werden, Mittel zum Einrichten der Funktionen/Handlungen, die in dem Block oder den Blöcken des Flussdiagramms und/oder des Blockdiagramms spezifiziert sind, schaffen. Diese computerlesbaren Programmanweisungen können auch in einem computerlesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungseinrichtung und/oder andere Vorrichtungen anweisen kann, auf eine bestimmte Weise zu funktionieren, sodass das computerlesbare Speichermedium mit den darin gespeicherten Anweisungen einen Herstellungsartikel umfasst, der Anweisungen enthält, die Aspekte der Funktion/Aktion implementieren, die in dem Block bzw. Blöcken des Ablaufdiagramms und/oder des Blockdiagramms angegeben sind.
Die computerlesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungseinrichtung oder eine andere Vorrichtung geladen werden, um zu bewirken, dass eine Reihe von Betriebsschritten auf dem Computer, einer anderen programmierbaren Einrichtung oder einer anderen Vorrichtung ausgeführt werden, um einen computerimplementierten Prozess zu erzeugen, sodass die Anweisungen, die auf dem Computer, einer anderen programmierbaren Einrichtung oder einer anderen Vorrichtung ausgeführt werden, die Funktionen/Aktionen implementieren, die in dem Block bzw. Blöcken des Ablaufdiagramms und/oder des Blockdiagramms angegeben sind.
Die Ablauf- und Blockdiagramme in den Figuren veranschaulichen die Architektur, Funktionen und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In dieser Hinsicht kann jeder Block in den Ablauf- oder Blockdiagrammen ein Modul, ein Segment oder einen Abschnitt einer Anweisung darstellen, das bzw. der eine oder mehrere ausführbare Anweisungen zum Implementieren der angegebenen logischen Funktion(en) umfasst.In einigen alternativen Implementierungen können die in dem Block angegebenen Funktionen in anderer Reihenfolge als in den Figuren angegeben auftreten. Beispielsweise können zwei aufeinanderfolgend gezeigte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können mitunter abhängig von der jeweiligen Funktion in der umgekehrten Reihenfolge ausgeführt werden. Es ist zudem anzumerken, dass jeder Block der Blockdiagramme und/oder der Ablaufdiagrammveranschaulichung und Kombinationen aus Blöcken der Blockdiagramme und/oder der Ablaufdiagrammveranschaulichung durch spezielle hardwarebasierte Systeme, welche die spezifizierten Funktionen oder Aktionen durchführen, oder durch Kombinationen aus spezieller Hardware und Computeranweisungen, umgesetzt sein können.
Auch wenn das Vorstehende auf Ausführungsformen der vorliegenden Erfindung gerichtet ist, können andere und weitere Ausführungsformen der Erfindung ohne Abweichung von deren grundlegendem Umfang erarbeitet werden, und deren Umfang wird durch die nachfolgenden Patentansprüche bestimmt.
Das Vorstehende kann besser im Hinblick auf die folgenden Klauseln verstanden werden:

Klausel 1 ist eine binokulares MR-Vorrichtung, umfassend:
- eine oder mehrere Anzeigen, die einen ersten Anzeigebereich und einen zweiten Anzeigebereich umfassen;
- eine Blickkomponente, die dazu konfiguriert ist, einen Blick eines Benutzers der binokularen MR-Vorrichtung innerhalb eines Sichtfelds der einen oder mehreren Anzeigen zu verfolgen, um einen Konvergenzabstand des Blicks des Benutzers zu bestimmen;
- mindestens einen Prozessor; und
- einen Speicher, der Anweisungen speichert, die, wenn sie auf dem mindestens einen Prozessor ausgeführt werden, eine Operation ausführen, die Folgendes umfasst:
  - Anzeigen eines ersten Objekts auf dem ersten Anzeigebereich und dem zweiten Anzeigebereich;
  - Bestimmen, ein zweites Objekt innerhalb des Sichtfelds in einem vorbestimmten Abstand von dem Benutzer anzuzeigen;
  - bei Bestimmen, basierend auf der Blickkomponente, dass der Konvergenzabstand den vorbestimmten Abstand überschreitet, Anzeigen des zweiten Objekts nur auf dem ersten Anzeigebereich oder dem zweiten Anzeigebereich; und
  - bei Bestimmen, basierend auf der Blickkomponente, dass der Konvergenzabstand kleiner oder gleich dem vorbestimmten Abstand ist, Anzeigen des zweiten Objekts sowohl auf dem ersten Anzeigebereich als auch auf dem zweiten Anzeigebereich.
Klausel 2 ist die binokulare MR-Vorrichtung nach Klausel 1, wobei das Bestimmen, das zweite Objekt anzuzeigen, Empfangen einer Anweisung umfasst, das zweite Objekt anzuzeigen.
Klausel 3 ist die binokulare MR-Vorrichtung nach einer der Klauseln 1-2, wobei die Anweisung auf einer Eingabe des Benutzers basiert.
Klausel 4 ist die binokulare MR-Vorrichtung nach einer der Klauseln 1-3, wobei:
- die eine oder mehrere Anzeigen eine einzelne Anzeige umfassen;
- der erste Anzeigebereich ein Bereich der einzelnen Anzeige ist, der zum Betrachten durch ein erstes Auge des Benutzers positioniert ist; und
der zweite Anzeigebereich ist ein Bereich der einzelnen Anzeige, der zum Betrachten durch ein zweites Auge des Benutzers positioniert ist.
Klausel 5 ist die binokulare MR-Vorrichtung nach einer der Klauseln 1-3, wobei:
- die eine oder die mehreren Anzeigen eine erste Anzeige und eine zweite Anzeige umfassen;
- der erste Anzeigebereich ein Bereich der ersten Anzeige ist, der zum Betrachten durch ein erstes Auge des Benutzers positioniert ist; und
- der zweite Anzeigebereich ist ein Bereich der zweiten Anzeige, der zum Betrachten durch ein zweites Auge des Benutzers positioniert ist.
Klausel 6 ist die binokulare MR-Vorrichtung nach einer der Klauseln 1-5, wobei:
- das erste Objekt ein dreidimensionales (3D) Modell eines zum Verkauf angebotenen Produkts umfasst; und
- das zweite Objekt einen Textinhalt umfasst, der Informationen beschreibt, die dem zum Verkauf angebotenen Produkt zugeordnet sind.
Klausel 7 ist ein computerimplementiertes Verfahren, umfassend:
- Überwachen eines Blicks eines Benutzers einer Mixed-Reality(MR)-Vorrichtung durch eine oder mehrere Anzeigen der MR-Vorrichtung;
- Bestimmen eines Konvergenzabstands des Blicks des Benutzers basierend auf der Überwachung;
- Auswählen zwischen einem ersten Projektionsmodus und einem zweiten Projektionsmodus zum Anzeigen von Inhalten auf einer oder mehreren Anzeigen, basierend darauf, ob der Konvergenzabstand einen Schwellenabstand von dem Benutzer überschreitet; und
- Anzeigen des Inhalts auf der einen oder den mehreren Anzeigen basierend auf der Auswahl.
Klausel 8 ist das computerimplementierte Verfahren nach Klausel 7, wobei der erste Projektionsmodus ausgewählt wird, wenn der Konvergenzabstand den Schwellenabstand überschreitet.
Klausel 9 ist das computerimplementierte Verfahren nach einer der Klauseln 7-8, wobei:
- die eine oder die mehreren Anzeigen eine erste Anzeige und eine zweite Anzeige umfassen; und
- der Inhalt nur auf der ersten Anzeige unter Verwendung des ersten Projektionsmodus angezeigt wird.
Klausel 10 ist das computerimplementierte Verfahren nach einer der Klauseln 7-8, wobei:
- die eine oder die mehreren Anzeigen eine einzelne Anzeige umfassen, die einen ersten Anzeigebereich und einen zweiten Anzeigebereich umfasst; und
- der Inhalt nur auf der ersten Anzeige unter Verwendung des ersten Projektionsmodus angezeigt wird.
Klausel 11 ist das computerimplementierte Verfahren nach einer der Klauseln 7-10, wobei der erste Projektionsmodus ein monokularer Projektionsmodus ist.
Klausel 12 ist das computerimplementierte Verfahren nach einer der Klauseln 7-11, wobei der zweite Projektionsmodus ausgewählt wird, wenn der Konvergenzabstand den Schwellenabstand nicht überschreitet.
Klausel 13 ist das computerimplementierte Verfahren nach einer der Klauseln 7-9 und 11-12, wobei:
- die eine oder die mehreren Anzeigen eine erste Anzeige und eine zweite Anzeige umfassen; und
- der Inhalt auf der ersten Anzeige und der zweiten Anzeige unter Verwendung des zweiten Projektionsmodus angezeigt wird.
Klausel 14 ist das computerimplementierte Verfahren nach einer der Klauseln 7-8 und 10-12, wobei:
- die eine oder die mehreren Anzeigen eine einzelne Anzeige umfassen, die einen ersten Anzeigebereich und einen zweiten Anzeigebereich umfasst; und
- der Inhalt auf dem ersten Anzeigebereich und dem zweiten Anzeigebereich unter Verwendung des zweiten Projektionsmodus angezeigt wird.
Klausel 15 ist das computerimplementierte Verfahren nach einer der Klauseln 7-14, wobei der zweite Projektionsmodus ein binokularer Projektionsmodus ist.
Klausel 16 ist das computerimplementierte Verfahren nach einer der Klauseln 7-15, wobei der Inhalt einem physischen Objekt in einer physischen Umgebung zugeordnet ist, das durch die eine oder die mehreren Anzeigen der MR-Vorrichtung sichtbar ist.
Klausel 17 ist das computerimplementierte Verfahren nach einer der Klauseln 7-16, wobei der Inhalt mit einem virtuellen Objekt assoziiert ist, das auf einer oder mehreren Anzeigen der MR-Vorrichtung angezeigt wird.
Klausel 18 ist ein nichtflüchtiges, computerlesbares Speichermedium mit darauf verkörpertem computerlesbarem Programmcode, wobei der computerlesbare Programmcode durch einen oder mehrere Computerprozessoren ausführbar ist, um eine Operation auszuführen, die Folgendes umfasst:
- Überwachen eines Blicks eines Benutzers einer Mixed-Reality(MR)-Vorrichtung durch eine oder mehrere Anzeigen der MR-Vorrichtung;
- Bestimmen einer Konvergenzdistanz des Blicks des Benutzers basierend auf der Überwachung;
- Auswählen zwischen einem ersten Projektionsmodus und einem zweiten Projektionsmodus zum Anzeigen von Inhalten auf einer oder mehreren Anzeigen, basierend darauf, ob der Konvergenzabstand einen Schwellenabstand von dem Benutzer überschreitet; und
- Anzeigen des Inhalts auf der einen oder den mehreren Anzeigen basierend auf der Auswahl.
Klausel 19 ist das nichtflüchtige, computerlesbare Speichermedium nach Klausel 18, wobei der erste Projektionsmodus ausgewählt wird, wenn der Konvergenzabstand den Schwellenabstand überschreitet.
Klausel 20 ist das nichtflüchtige, computerlesbare Speichermedium nach einer der Klauseln 18-29, wobei der zweite Projektionsmodus ausgewählt wird, wenn der Konvergenzabstand den Schwellenabstand nicht überschreitet.

Claims

Binokulare Mixed-Reality (MR)-Vorrichtung, umfassend: eine oder mehrere Anzeigen, die einen ersten Anzeigebereich und einen zweiten Anzeigebereich umfassen; eine Blickkomponente, die dazu konfiguriert ist, einen Blick eines Benutzers der binokularen MR-Vorrichtung innerhalb eines Sichtfelds der einen oder mehreren Anzeigen zu verfolgen, um eine Konvergenzdistanz des Blicks des Benutzers zu bestimmen; mindestens einen Prozessor; und einen Speicher, der Anweisungen speichert, die, wenn sie auf dem mindestens einen Prozessor ausgeführt werden, eine Operation ausführen, die Folgendes umfasst: Anzeigen eines ersten Objekts auf dem ersten Anzeigebereich und dem zweiten Anzeigebereich; Bestimmen, ein zweites Objekt innerhalb des Sichtfelds in einem vorbestimmten Abstand von dem Benutzer anzuzeigen; bei Bestimmen, basierend auf der Blickkomponente, dass der Konvergenzabstand den vorbestimmten Abstand überschreitet, Anzeigen des zweiten Objekts nur auf dem ersten Anzeigebereich oder dem zweiten Anzeigebereich; und bei Bestimmen, basierend auf der Blickkomponente, dass der Konvergenzabstand kleiner oder gleich dem vorbestimmten Abstand ist, Anzeigen des zweiten Objekts sowohl auf dem ersten Anzeigebereich als auch auf dem zweiten Anzeigebereich.
Binokulare MR-Vorrichtung nach Anspruch 1, wobei: die eine oder die mehreren Anzeigen eine einzelne Anzeige umfassen; der erste Anzeigebereich ein Bereich der einzelnen Anzeige ist, der zum Betrachten durch ein erstes Auge des Benutzers positioniert ist; und der zweite Anzeigebereich ist ein Bereich der einzelnen Anzeige, der zum Betrachten durch ein zweites Auge des Benutzers positioniert ist.
Binokulare MR-Vorrichtung nach Anspruch 1, wobei: die eine oder die mehreren Anzeigen eine erste Anzeige und eine zweite Anzeige umfassen; der erste Anzeigebereich ein Bereich der ersten Anzeige ist, der zum Betrachten durch ein erstes Auge des Benutzers positioniert ist; und der zweite Anzeigebereich ist ein Bereich der zweiten Anzeige, der zum Betrachten durch ein zweites Auge des Benutzers positioniert ist.
Computerimplementiertes Verfahren, umfassend: Überwachen eines Blicks eines Benutzers einer Mixed-Reality(MR)-Vorrichtung durch eine oder mehrere Anzeigen der MR-Vorrichtung; Bestimmen einer Konvergenzdistanz des Blicks des Benutzers basierend auf der Überwachung; Auswählen zwischen einem ersten Projektionsmodus und einem zweiten Projektionsmodus zum Anzeigen von Inhalten auf einer oder mehreren Anzeigen, basierend darauf, ob der Konvergenzabstand einen Schwellenabstand von dem Benutzer überschreitet; und Anzeigen des Inhalts auf der einen oder den mehreren Anzeigen basierend auf der Auswahl.
Computerimplementiertes Verfahren nach Anspruch 4, wobei der erste Projektionsmodus ausgewählt wird, wenn der Konvergenzabstand den Schwellenabstand überschreitet.
Computerimplementiertes Verfahren nach Anspruch 5, wobei: die eine oder die mehreren Anzeigen eine erste Anzeige und eine zweite Anzeige umfassen; und der Inhalt nur auf der ersten Anzeige unter Verwendung des ersten Projektionsmodus angezeigt wird.
Computerimplementiertes Verfahren nach Anspruch 5, wobei: die eine oder die mehreren Anzeigen eine einzelne Anzeige umfassen, die einen ersten Anzeigebereich und einen zweiten Anzeigebereich umfasst; und der Inhalt nur auf der ersten Anzeige unter Verwendung des ersten Projektionsmodus angezeigt wird.
Computerimplementiertes Verfahren nach Anspruch 5, wobei der erste Projektionsmodus ein monokularer Projektionsmodus ist.
Computerimplementiertes Verfahren nach Anspruch 4, wobei der zweite Projektionsmodus ausgewählt wird, wenn der Konvergenzabstand den Schwellenabstand nicht überschreitet.
Computerimplementiertes Verfahren nach Anspruch 9, wobei: die eine oder die mehreren Anzeigen eine erste Anzeige und eine zweite Anzeige umfassen; und der Inhalt auf der ersten Anzeige und der zweiten Anzeige unter Verwendung des zweiten Projektionsmodus angezeigt wird.
Computerimplementiertes Verfahren nach Anspruch 9, wobei: die eine oder die mehreren Anzeigen eine einzelne Anzeige umfassen, die einen ersten Anzeigebereich und einen zweiten Anzeigebereich umfasst; und der Inhalt auf dem ersten Anzeigebereich und dem zweiten Anzeigebereich unter Verwendung des zweiten Projektionsmodus angezeigt wird.
Computerimplementiertes Verfahren nach Anspruch 11, wobei der zweite Projektionsmodus ein binokularer Projektionsmodus ist.
Computerimplementiertes Verfahren nach Anspruch 4, wobei der Inhalt einem physischen Objekt in einer physischen Umgebung zugeordnet ist, das durch die eine oder die mehreren Anzeigen der MR-Vorrichtung sichtbar ist.
Computerimplementiertes Verfahren nach Anspruch 4, wobei der Inhalt einem virtuellen Objekt zugeordnet ist, das auf einer oder mehreren Anzeigen der MR-Vorrichtung angezeigt wird.
Nichtflüchtiges, computerlesbares Speichermedium mit darauf verkörpertem computerlesbarem Programmcode, wobei der computerlesbare Programmcode durch einen oder mehrere Computerprozessoren ausführbar ist, um eine Operation auszuführen, die Folgendes umfasst: Überwachen eines Blicks eines Benutzers einer Mixed-Reality(MR)-Vorrichtung durch eine oder mehrere Anzeigen der MR-Vorrichtung; Bestimmen einer Konvergenzdistanz des Blicks des Benutzers basierend auf der Überwachung; Auswählen zwischen einem ersten Projektionsmodus und einem zweiten Projektionsmodus zum Anzeigen von Inhalten auf einer oder mehreren Anzeigen, basierend darauf, ob der Konvergenzabstand einen Schwellenabstand von dem Benutzer überschreitet; und Anzeigen des Inhalts auf der einen oder den mehreren Anzeigen basierend auf der Auswahl.