DE112021002641T5

DE112021002641T5 - 3d-fotos

Info

Publication number: DE112021002641T5
Application number: DE112021002641.0T
Authority: DE
Inventors: Alexandre da Veiga; S. Norris Jeffrey; Madhurani R. Sapre; Spencer H. Ray
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2020-05-06
Filing date: 2021-04-21
Publication date: 2023-03-09
Also published as: CN115769271A; WO2021225785A1; GB202217117D0; GB2609863A; US20230298278A1

Abstract

Verschiedene hier offenbarte Implementierungen schließen Vorrichtungen, Systeme und Verfahren ein, die bestimmen, wie ein dreidimensionales (3D) Foto in einer erweiterten Realitätsumgebung (XR) dargestellt werden soll (z. B. in 3D, 2D, unscharf oder gar nicht), basierend auf der Betrachtungsposition eines in der XR-Umgebung aktiven Benutzers relativ zu einer Platzierung des 3D-Fotos in der XR-Umgebung. In einigen Implementierungen wird an einer elektronischen Vorrichtung, die einen Prozessor aufweist, ein 3D-Foto, das eine unvollständige 3D-Darstellung ist, die basierend auf einem oder mehreren Bildern erzeugt wird, die von einer Bilderfassungsvorrichtung erfasst werden, erhalten. In einigen Implementierungen wird eine Betrachtungsposition der elektronischen Vorrichtung relativ zu einer Platzierungsposition des 3D-Fotos bestimmt, und ein Präsentationsmodus für das 3D-Foto wird basierend auf der Betrachtungsposition bestimmt. In einigen Implementierungen wird das 3D-Foto basierend auf dem Präsentationsmodus in der XR-Umgebung an der Platzierungsposition bereitgestellt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich allgemein auf Systeme, Verfahren und Vorrichtungen zum Bereitstellen oder Anzeigen von Fotos und dreidimensionalem (3D) Inhalt.
HINTERGRUND
Fotos sind typischerweise zweidimensionale (2D) Darstellungen einer physischen Umgebung, die von einem einzigen Betrachtungswinkel erfasst wird. Solche Fotos werden in der Regel auf elektronischen Vorrichtungen in 2D ohne Tiefe gedruckt oder betrachtet, sodass der Betrachtungswinkel der Person, die das Foto oder die Vorrichtung hält, keine Rolle spielt.
KURZDARSTELLUNG
Verschiedene hierin offenbarte Implementierungen schließen Vorrichtungen, Systeme und Verfahren ein, die eine Erzeugung und Anzeige von 3D-Fotos ermöglichen, die eine unvollständige 3D-Darstellung einer physischen Umgebung bereitstellen. Die Menge des sichtbaren Inhalts, die durch ein 3D-Foto dargestellt wird, kann von dem Betrachtungspunkt des Betrachters abhängen, z. B. Bereitstellen einer vollständigen Ansicht aus einem vorderen Betrachtungspunkt, einer leicht unvollständigen Ansicht, wenn sie von einem Seitenwinkel betrachtet wird, und einer sehr unvollständigen Ansicht, wenn sie von einem hinteren Betrachtungspunkt betrachtet wird. In einigen Implementierungen wird ein 3D-Foto in einer erweiterten Realität-Umgebung (XR-Umgebung) basierend auf dem Betrachtungswinkel des Betrachters in der XR-Umgebung relativ zu dem 3D-Foto präsentiert. Zum Beispiel kann ein 3D-Foto einer Person, die mit einer Kamera erfasst wird, die dieser Person zugewandt ist, nur Daten für die Vorderseite der Person und nicht die Rückseite der Person aufweisen, da die Kamera den Rücken der Person nicht sehen kann. In einigen Implementierungen sehen 3D-Fotos fotorealistisch und dreidimensional aus, wenn sie in einem Betrachtungsbereich betrachtet werden, welcher der Stellung (z. B. Position und Ausrichtung) oder der Bewegung einer Vorrichtung zur Bilderfassung während der Erstellung des 3D-Fotos entspricht. Zum Beispiel kann eine durchschnittliche Position aller Bildaufnahmepositionen einer Vorrichtung während der Erstellung des 3D-Fotos und ein wohldefiniertes Volumen um die durchschnittliche Aufnahmeposition relativ zum 3D-Foto einen 3D-Ansichtsbereich (z. B. einen gültigen 3D-Ansichtsbereich) für das 3D-Foto definieren, der auf der Platzierung des 3D-Fotos in der XR-Umgebung basiert.
In einigen Implementierungen sind die Minderungstechniken dazu da, eine 3D-Darstellung des 3D-Fotos in der XR-Umgebung auf der Grundlage einer Betrachtungsposition einer Betrachtungselektronik in der XR-Umgebung relativ zu einer Platzierungsposition des 3D-Fotos in der XR-Umgebung zu verändern. In einigen Implementierungen basiert die Anzeige des 3D-Fotos auf einem Betrachtungswinkel einer Betrachtungselektronik relativ zu einer Platzierung (z. B. Stellung) des 3D-Fotos in der XR-Umgebung. In einigen Implementierungen basiert die Anzeige des 3D-Fotos auf einem räumlichen Abstand von einer Betrachtungsposition einer Betrachtungselektronik zu dem angezeigten 3D-Foto in der XR-Umgebung. In einigen Implementierungen wird das 3D-Foto in 3D gerendert, wenn sich der Betrachtungspunkt eines Benutzers in einem ersten Betrachtungsbereich (z. B. gültiger Betrachtungsbereich) befindet, und als 2D-Bild oder unscharf gerendert, wenn sich der Benutzer außerhalb des gültigen Betrachtungsbereichs in der XR-Umgebung befindet (z. B. um zu verhindern, dass der Benutzer die fehlenden Teile der Objekte im 3D-Foto sehen kann). In einigen Implementierungen wird das 3D-Foto auf oder innerhalb von virtuellen Objekten in der XR-Umgebung dargestellt. In einigen Implementierungen ist das 3D-Foto auf oder in den Darstellungen physischer Objekte in der XR-Umgebung dargestellt.
In einigen Implementierungen werden nur bestimmte Abschnitte des 3D-Fotos aus dem 3D-Foto zur Platzierung in die XR-Umgebung extrahiert (z. B. ein 3D-Untervolumen oder 3D-Ausschnitt). In einigen Implementierungen sind nur kontextnahe relevante Abschnitte (z. B. ein von einem festen Hintergrund extrahiertes Subjekt) des 3D-Fotos „ausgeschnitten“ und in der XR-Umgebung angezeigt. Wenn das 3D-Foto beispielsweise eine Person in einem Büro mit Schreibtisch und Stühlen zeigt, werden die Möbel während der Erfassung der Bilder und Daten, die zur Erstellung des 3D-Fotos verwendet werden, nicht verändert. Stattdessen wird ein 3D-Ausschnitt des 3D-Fotos, der ein 3D-Bild der Person einschließt, extrahiert und in der XR-Umgebung platziert.
Verschiedene hier offenbarte Implementierungen schließen Vorrichtungen, Systeme und Verfahren ein, die bestimmen, wie ein 3D-Foto in einer XR-Umgebung dargestellt werden soll (z. B. in 3D, 2D, unscharf oder gar nicht), basierend auf der Betrachtungsposition eines in der XR-Umgebung aktiven Benutzers relativ zu einer Platzierung des 3D-Fotos in der XR-Umgebung. In einigen Implementierungen wird an einer elektronischen Vorrichtung, die einen Prozessor aufweist, ein 3D-Foto, das eine unvollständige 3D-Darstellung ist, die basierend auf einem oder mehreren Bildern erzeugt wird, die von einer Bilderfassungsvorrichtung erfasst werden, erhalten. In einigen Implementierungen wird eine Betrachtungsposition der elektronischen Vorrichtung relativ zu einer Platzierungsposition des 3D-Fotos bestimmt, und ein Präsentationsmodus für das 3D-Foto wird basierend auf der Betrachtungsposition bestimmt. In einigen Implementierungen wird das 3D-Foto basierend auf dem Präsentationsmodus in der XR-Umgebung an der Platzierungsposition bereitgestellt.
Gemäß einigen Implementierungen schließt eine Vorrichtung einen oder mehrere Prozessoren, einen nicht-transitorischen Speicher und ein oder mehrere Programme ein; wobei das eine oder die mehreren Programme in dem nicht-transitorischen Speicher gespeichert sind und so konfiguriert sind, dass sie von dem einen oder den mehreren Prozessoren ausgeführt werden, und das eine oder die mehreren Programme schließen Anweisungen zum Durchführen oder zum Veranlassen der Durchführung eines der hierin beschriebenen Verfahren ein. Gemäß einigen Implementierungen sind in einem nicht-transitorischen computerlesbaren Speichermedium Anweisungen gespeichert, die, wenn sie von einem oder mehreren Prozessoren einer Vorrichtung ausgeführt werden, die Vorrichtung veranlassen, eines der hierin beschriebenen Verfahren durchzuführen oder deren Durchführung zu veranlassen. Gemäß einigen Implementierungen schließt eine Vorrichtung ein: einen oder mehrere Prozessoren, einen nicht-transitorischen Speicher und Mittel zum Durchführen oder Veranlassen der Durchführung eines der hierin beschriebenen Verfahren.
Figurenliste
Damit die vorliegende Offenbarung von einem Durchschnittsfachmann verstanden werden kann, wird eine detailliertere Beschreibung unter Bezugnahme auf Gesichtspunkte einiger veranschaulichender Implementierungen bereitgestellt, von denen einige in den beigefügten Zeichnungen gezeigt werden.

1 ist ein Blockdiagramm, das ein Beispielsystem gemäß einigen Implementierungen zeigt.
2 ist ein Blockdiagramm, das eine beispielhafte Steuerung gemäß einigen Implementierungen zeigt.
3 ist ein Blockdiagramm, das ein Beispiel für eine elektronische Vorrichtung gemäß einigen Implementierungen zeigt.
4 ist ein Blockdiagramm, das eine Beispielumgebung zeigt.
5 ist ein Blockdiagramm, das eine mobile Vorrichtung zeigt, die einen Frame einer Sequenz von Frames in der Umgebung von 4 gemäß einigen Implementierungen erfasst.
6A-8 sind Diagramme, die beispielhafte 3D-Fotos zeigen, die in einer XR-Umgebung gemäß einigen Implementierungen präsentiert werden.
9 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Erfassen von Eingaben in eine XR-Umgebung durch Erkennen eines tragbaren Objekts und das Erfassen einer Bewegung der Hand relativ zu dem Objekt gemäß einigen Implementierungen zeigt.

Gemäß allgemeiner Praxis sind die verschiedenen in den Zeichnungen veranschaulichten Merkmale möglicherweise nicht maßstabsgetreu gezeichnet. Dementsprechend können die Abmessungen der verschiedenen Merkmale der Übersichtlichkeit halber beliebig vergrößert oder verkleinert sein. Zudem stellen gegebenenfalls einige der Zeichnungen nicht alle Komponenten eines gegebenen Systems, Verfahrens oder einer gegebenen Vorrichtung dar. Schließlich können gleiche Bezugszeichen verwendet werden, um gleiche Merkmale überall in der Patentschrift und den Figuren gleich zu bezeichnen.
BESCHREIBUNG
Zahlreiche Details werden beschrieben, um ein gründliches Verständnis der in den Zeichnungen gezeigten beispielhaften Implementierungen bereitzustellen. Die Zeichnungen zeigen jedoch lediglich einige beispielhafte Gesichtspunkte der vorliegenden Offenbarung und sind daher nicht als einschränkend zu betrachten. Der Fachmann wird erkennen, dass andere effektive Gesichtspunkte oder Varianten nicht alle der hierin beschriebenen spezifischen Details einschließen. Darüber hinaus wurden bekannte Systeme, Verfahren, Komponenten, Vorrichtungen und Schaltungen nicht ausführlich beschrieben, um relevantere Gesichtspunkte der hierin beschriebenen beispielhaften Implementierungen nicht zu verunklaren. Die 1-3 zeigen beispielhafte Implementierungen mit elektronischen Vorrichtungen, einschließlich, aber nicht beschränkt auf, Uhren und andere tragbare elektronische Vorrichtungen, mobile Vorrichtungen, Laptops, Desktops, HMDs, Spielvorrichtungen, Hausautomatisierungsvorrichtungen, Zubehörvorrichtungen und andere Vorrichtungen, die Bilderfassungsvorrichtungen einschließen oder verwenden.
1 zeigt ein Blockdiagramm einer beispielhaften Betriebsumgebung 100 gemäß einigen Implementierungen. Während entsprechende Merkmale gezeigt sind, wird der Fachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht dargestellt worden sind, um relevantere Gesichtspunkte der hierin offenbarten beispielhaften Implementierungen nicht zu verundeutlichen. Zu diesem Zweck schließt die Betriebsumgebung 100 als ein nicht einschränkendes Beispiel eine Steuerung 110 und eine elektronische Vorrichtung (z. B. Laptop) 120 ein, von denen sich eine oder alle in einer physischen Umgebung 105 befinden können. Eine physische Umgebung bezieht sich auf eine physische Welt, die Menschen ohne die Hilfe von elektronischen Systemen wahrnehmen können und/oder mit der sie ohne diese interagieren können. Physische Umgebungen, wie ein physischer Park, schließen physische Elemente ein, wie physische Bäume, physische Gebäude und physische Personen. Menschen können die physische Umgebung direkt wahrnehmen und/oder mit ihr interagieren, wie durch Sehen, Berühren, Hören, Schmecken und Riechen.
In einigen Implementierungen ist die Steuerung 110 so konfiguriert, dass sie eine erweiterte Realitätsumgebung (XR) für den Benutzer verwaltet und koordiniert. In einigen Implementierungen schließt die Steuerung 110 eine geeignete Kombination aus Software, Firmware oder Hardware ein. Die Steuerung 110 wird nachstehend in Bezug auf 2 detaillierter beschrieben. In einigen Implementierungen ist die Steuerung 110 eine Rechenvorrichtung, die relativ zu der physischen Umgebung 105 lokal oder entfernt ist.
In einem Beispiel ist die Steuerung 110 ein lokaler Server innerhalb der physischen Umgebung 105. In einem anderen Beispiel ist die Steuerung 110 ein entfernter Server, der sich außerhalb der physischen Umgebung 105 befindet (z. B. ein Cloud-Server, zentraler Server usw.). In einigen Implementierungen ist die Steuerung 110 über einen oder mehrere drahtgebundene oder drahtlose Kommunikationskanäle 144 (z. B. BLUETOOTH, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x usw.) kommunikativ mit einer entsprechenden elektronischen Vorrichtung 120 gekoppelt.
In einigen Implementierungen sind die Steuerung 110 und eine entsprechende elektronische Vorrichtung (z. B. 120) konfiguriert, um dem Benutzer die XR-Umgebung zusammen darzustellen.
In einigen Implementierungen ist die elektronische Vorrichtung 120 konfiguriert, um dem Benutzer die XR-Umgebung darzustellen. In einigen Implementierungen schließt die elektronische Vorrichtung 120 eine geeignete Kombination aus Software, Firmware oder Hardware ein. Die elektronische Vorrichtung 120 wird nachstehend in Hinblick auf 3 detaillierter beschrieben. In einigen Implementierungen werden die Funktionalitäten der entsprechenden Steuerung 110 bereitgestellt durch oder kombiniert mit der elektronischen Vorrichtung 120, zum Beispiel in dem Fall einer elektronischen Vorrichtung, die als eine eigenständige Einheit funktioniert.
Gemäß einigen Implementierungen stellt die elektronische Vorrichtung 120 dem Benutzer eine XR-Umgebung dar, während sich der Benutzer innerhalb der physischen Umgebung 105 befindet. Eine erweiterte Realitätsumgebung (XR) bezieht sich auf eine ganz oder teilweise simulierte Umgebung, mit der jemand über eine elektronische Vorrichtung interagieren und/oder sie wahrnehmen kann. Zum Beispiel kann die XR-Umgebung Inhalte virtueller Realität (Virtual Reality, VR), erweiterter Realität (Augmented Reality, AR), vermischter Realität (Mixed Reality, MR), und/oder dergleichen einschließen. Unter Verwendung eines XR-Systems kann ein Abschnitt der physischen Bewegungen der Person oder Darstellungen davon verfolgt werden. Als Reaktion darauf können eine oder mehrere Eigenschaften eines virtuellen Objekts, das in der XR-Umgebung simuliert wird, so eingestellt werden, dass es einem oder mehreren physikalischen Gesetzen entspricht. Beispielsweise kann das XR-System die Bewegung eines Benutzers erkennen und als Reaktion darauf die grafischen und akustischen Inhalte anpassen, die dem Benutzer präsentiert werden, ähnlich wie sich Ansichten und Töne in einer physischen Umgebung ändern würden. In einem anderen Beispiel kann das XR-System die Bewegung einer elektronischen Vorrichtung erkennen, die eine XR-Umgebung darstellt (z. B. ein Laptop, ein Mobiltelefon, ein Tablet oder ähnliches) und daraufhin die grafischen und akustischen Inhalte, die dem Benutzer präsentiert werden, in ähnlicher Weise anpassen, wie sich Ansichten und Geräusche in einer physischen Umgebung ändern würden. In manchen Situationen kann das XR-System eine oder mehrere Eigenschaften von grafischen Inhalten in der XR-Umgebung als Reaktion auf eine Darstellung einer physischen Bewegung (z. B. ein Sprachkommando) anpassen.
Verschiedene elektronische Systeme ermöglichen es, mit XR-Umgebungen zu interagieren und/oder diese wahrzunehmen. Zum Beispiel können projektionsbasierte Systeme, kopfmontierbare Systeme, Heads-up-Displays (HUDs), Fenster mit integrierten Displays, Fahrzeug-Windschutzscheiben mit integrierten Displays, Displays, die auf die Augen des Benutzers gesetzt werden (z. B. ähnlich wie Kontaktlinsen), Lautsprecher-Arrays, Kopfhörer/Ohrhörer, Eingabesysteme (z. B. tragbare oder tragbare Steuerungen mit oder ohne haptisches Feedback), Tablets, Smartphones und Desktop/Laptop-Computer verwendet werden. Ein kopfmontierbares System kann eine integrierte opake Anzeige und einen oder mehrere Lautsprecher einschließen. In anderen Beispielen kann ein kopfmontierbares System eine externe Vorrichtung mit einer opaken Anzeige (z. B. einem Smartphone) aufnehmen. Das kopfmontierbare System kann einen oder mehrere Bildsensoren und/oder ein oder mehrere Mikrofone einschließen, um Bilder oder Videos und/oder Audio der physischen Umgebung aufzunehmen. In anderen Beispielen kann ein kopfmontierbares System ein transparentes oder transluzentes Display einschließen. Ein Medium, durch welches das für Bilder repräsentative Licht geleitet wird, kann innerhalb der transparenten oder transluzenten Anzeige eingeschlossen sein. Das Display kann OLEDs, LEDs, uLEDs, digitale Lichtprojektion, Laserscanning-Lichtquellen, Flüssigkristalle auf Silizium oder eine Kombination dieser Technologien verwenden. Das Medium kann ein Hologramm-Medium, ein optischer Kombinator, ein optischer Wellenleiter, ein optischer Reflektor oder eine Kombination davon sein. In einigen Beispielen kann das transparente oder transluzente Display so konfiguriert werden, dass es selektiv opak wird. Projektionsbasierte Systeme können Netzhautprojektionstechnologie verwenden, um grafische Bilder auf die Netzhaut des Benutzers zu projizieren. Projektionssysteme können auch so konfiguriert werden, dass sie virtuelle Objekte in die physische Umgebung projizieren, zum Beispiel auf eine physische Oberfläche oder als Hologramm.
2 ist ein Blockdiagramm eines Beispiels einer Steuerung 110 gemäß einigen Implementierungen. Während bestimmte spezifische Merkmale veranschaulicht sind, wird der Durchschnittsfachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht veranschaulicht worden sind, um relevantere Gesichtspunkte der hierin offenbarten Implementierungen nicht zu verunklaren. Zu diesem Zweck schließt die Steuerung 110, als ein nicht einschränkendes Beispiel, in einigen Implementierungen eine oder mehrere Verarbeitungseinheiten 202 (z. B. Mikroprozessoren, anwendungsspezifische integrierte Schaltungen (ASIC), Field Programmable Gate Arrays (FPGA), grafische Verarbeitungseinheiten (GPU), zentrale Verarbeitungseinheiten (CPU), Verarbeitungskerne, bzw. Ähnliches), eine oder mehrere Eingabe/Ausgabe (E/A)-Vorrichtungen 206, eine oder mehrere Kommunikationsschnittstellen 208 (z. B. einen universellen seriellen Bus (USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, ein globales System für mobile Kommunikation (GSM), Codedivision-Mehrfachzugang (CDMA) Zeitmultiplexzugriff (TDMA), ein globales Positionierungssystem (GPS), Infrarot (IR), BLUETOOTH, ZIGBEE, oder Schnittstellen ähnlicher Art), eine oder mehrere Programmierschnittstellen (z. B. E/A-Schnittstellen) 210, einen Speicher 220 und einen oder mehrere Kommunikationsbusse 204 zum Verbinden dieser und verschiedener anderer Komponenten ein.
In einigen Implementierungen schließen der eine oder die mehreren Kommunikationsbusse 204 eine Schaltlogik ein, welche die Kommunikationen zwischen Systemkomponenten miteinander verbindet und steuert. Bei einigen Implementierungen schließen die eine oder die mehreren E/A-Vorrichtungen 206 wenigstens eine Tastatur, eine Maus, ein Touchpad, einen Joystick, ein oder mehrere Mikrofone, einen oder mehrere Lautsprecher, einen oder mehrere Bilderfassungsvorrichtungen oder andere Sensoren, eine oder mehrere Anzeigen oder dergleichen ein.
Der Speicher 220 schließt Hochgeschwindigkeitsdirektzugriffsspeicher, wie dynamischen Direktzugriffsspeicher (DRAM), statischen Direktzugriffsspeicher (SRAM), Direktzugriffsspeicher mit doppelter Datenrate (DDR-RAM) oder andere Festkörperdirektzugriffsspeichervorrichtungen ein. In einigen Implementierungen schließt der Speicher 220 nicht-flüchtigen Speicher, wie eine oder mehrere Magnetplattenspeichervorrichtungen, optische Plattenspeichervorrichtungen, Flash-Speichervorrichtungen oder andere nicht-flüchtige Festkörperspeichervorrichtungen, ein. Der Speicher 220 schließt optional eine oder mehrere Speichervorrichtungen ein, die sich fern von der einen oder den mehreren Verarbeitungseinheiten 202 befinden. Der Speicher 220 umfasst ein nicht-transitorisches computerlesbares Speichermedium. In einigen Implementierungen speichert der Speicher 220 oder das nicht-transitorische, computerlesbare Speichermedium des Speichers 220 die folgenden Programme, Module und Datenstrukturen oder eine Teilmenge davon, einschließlich eines optionalen Betriebssystems 230, eines erweiterten Realitätsmoduls (XR) 240 und einer 3D-Fotopräsentationseinheit 250.
Das Betriebssystem 230 schließt Verfahren zum Handhaben verschiedener grundlegender Systemdienste und zum Durchführen hardwareabhängiger Aufgaben ein.
In einigen Implementierungen ist das XR-Modul 240 konfiguriert, um XR-Umgebungen zu erzeugen, zu bearbeiten oder zu erfahren. Das XR-Modul 240 ist so konfiguriert, dass es virtuelle Inhalte präsentiert, die als Teil von XR-Umgebungen für einen oder mehrere Benutzer verwendet werden. Zum Beispiel kann der Benutzer eine XR-basierte Benutzerschnittstelle betrachten und anderweitig erfahren, die es dem Benutzer ermöglicht, eine XR-Umgebung beispielsweise basierend auf der virtuellen Inhaltsposition über Handgesten, Sprachbefehle, Eingabevorrichtungseingaben usw. auszuwählen, zu platzieren, zu bewegen und anderweitig darzustellen.
In einigen Implementierungen ist die 3D-Fotodarstellungseinheit 250 konfiguriert, um 3D-Fotos in einer XR-Umgebung zu rendern. In einigen Implementierungen ist die 3D-Fotodarstellungseinheit 250 konfiguriert, um einen Präsentationsmodus für das 3D-Foto basierend auf einer Betrachtungsposition relativ zu einer Platzierungsposition des 3D-Fotos in der XR-Umgebung zu bestimmen. In einigen Implementierungen kann die 3D-Fotodarstellungseinheit 250 verwendet werden, um 3D-Fotos zu erhalten oder zu erzeugen. Obwohl diese Module und Einheiten wie sich auf einer einzelnen Vorrichtung (z. B. der Steuerung 110) befindend gezeigt sind, versteht es sich, dass in anderen Implementierungen sich jede Kombination dieser Module und Einheiten in separaten Rechenvorrichtungen befinden kann.
Darüber hinaus ist 2 eher als funktionale Beschreibung der verschiedenen Merkmale gedacht, die in einer bestimmten Implementierung vorhanden sind, im Gegensatz zu einem strukturellen Schema der hier beschriebenen Implementierungen. Wie der Durchschnittsfachmann erkennt, könnten separat gezeigte Elemente kombiniert werden und könnten einige Elemente getrennt werden. Zum Beispiel könnten einige Funktionsmodule, die in 2 separat gezeigt sind, in einem einzigen Modul implementiert sein, und die verschiedenen Funktionen einzelner Funktionsblöcke könnten durch einen oder mehrere Funktionsblöcke in verschiedenen Implementierungen implementiert sein. Die tatsächliche Anzahl von Modulen und die Aufteilung bestimmter Funktionen und wie die Merkmale ihnen zugeordnet sind, variieren von einer Implementierung zu einer anderen und hängen in einigen Implementierungen teilweise von der bestimmten Kombination von Hardware, Software oder Firmware ab, die für eine bestimmte Implementierung gewählt wird.
3 ist ein Blockdiagramm eines Beispiels einer elektronischen Vorrichtung 120 gemäß einigen Implementierungen. Während bestimmte spezifische Merkmale veranschaulicht sind, wird der Durchschnittsfachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht veranschaulicht worden sind, um relevantere Gesichtspunkte der hierin offenbarten Implementierungen nicht zu verunklaren. Zu diesem Zweck schließt die elektronische Vorrichtung 120 in einigen Implementierungen als ein nicht einschränkendes Beispiel eine oder mehrere Verarbeitungseinheiten 302 (z. B. Mikroprozessoren, ASICs, FPGAs, GPUs, CPUs, Verarbeitungskerne oder dergleichen), eine(n) oder mehrere Eingabe/Ausgabe-Vorrichtungen und -Sensoren (E/A-Vorrichtungen und -Sensoren) 306, eine oder mehrere Kommunikationsschnittstellen 308 (z. B. USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, BLUETOOTH, ZIGBEE, SPI, I2C oder dergleichen Schnittstellentypen), eine oder mehrere Programmierschnittstellen (z. B. E/A-Schnittstellen) 310, eine oder mehrere Anzeigen 312, ein oder mehrere nach innen und/oder nach außen gerichtete Sensorsysteme 314, einen Speicher 320 und einen oder mehrere Kommunikationsbusse 304 zum Verbinden dieser und verschiedener anderer Komponenten ein.
In einigen Implementierungen schließen der eine oder die mehreren Kommunikationsbusse 304 Schaltlogik ein, die Kommunikationen zwischen Systemkomponenten miteinander verbindet und steuert. In einigen Implementierungen schließen der/die eine oder die mehreren E/A-Vorrichtungen und -Sensoren 306 mindestens eines von einer inertialen Messeinheit (IME), einem Beschleunigungssensor, einem Magnetometer, einem Gyroskop, einem Thermometer, einem oder mehreren physiologischen Sensoren (z. B. Blutdruckmessgerät, Herzfrequenzmessgerät, Blutsauerstoffsensor, Blutzuckersensor usw.), einem oder mehreren Mikrofonen, einem oder mehreren Lautsprechern, einem Haptikmotor, einem oder mehreren Tiefensensoren (z. B. ein strukturiertes Licht, eine Laufzeit oder dergleichen) oder dergleichen ein.
In einigen Implementierungen sind die eine oder die mehreren Anzeigen 312 konfiguriert, um dem Benutzer eine XR-Umgebung darzustellen. In einigen Implementierungen entsprechen die eine oder die mehreren Anzeigen 312 einer holografischen Anzeige, DLP-Anzeige (digital light processing), LCD-Anzeige (liquid-crystal display), LCoS-Anzeige (liquid crystal on silicon), OLET-Anzeige (organic light-emitting field-effect transitory), OLED-Anzeige (organic light-emitting diode), SED-Anzeige (surface-conduction electron-emitter), FED-Anzeige (field-emission display), QD-LED-Anzeige (quantum-dot light-emitting diode), MEMS-Anzeige (micro-electro-mechanical system) oder ähnlichen Anzeigearten. In einigen Implementierungen entsprechen die eine oder die mehreren Anzeigen 312 diffraktiven, reflektiven, polarisierten, holografischen usw. Wellenleiteranzeigen. Zum Beispiel kann die elektronische Vorrichtung eine einzige Anzeige einschließen. In einem weiteren Beispiel kann die elektronische Vorrichtung eine Anzeige für jedes Auge des Benutzers einschließen.
In einigen Implementierungen schließen die eine oder die mehreren nach innen oder nach außen gerichteten Sensorsysteme 314 eine Bilderfassungsvorrichtung oder -anordnung, die Bilddaten erfasst, oder eine Audioerfassungsvorrichtung oder -anordnung (z. B. ein Mikrofon), die Audiodaten erfasst, ein. In einigen Implementierungen sind das eine oder die mehreren Bildsensorsysteme 314 konfiguriert, um Bilddaten zu erhalten, die zumindest einem Abschnitt des Gesichts des Benutzers entsprechen, der die Augen des Benutzers einschließt. Das eine oder die mehreren Bildsensorsysteme 314 schließen zum Beispiel eine oder mehrere RGB-Kameras (z. B. mit einem komplementären Metalloxid-Halbleiter-Bildsensor (CMOS-Bildsensor) oder einem Bildsensor einer ladungsgekoppelten Vorrichtung (CCD-Bildsensor)), eine Monochromkamera, eine IR-Kamera, eine ereignisbasierte Kamera oder dergleichen ein. In verschiedenen Implementierungen schließen die ein oder mehreren Bildsensorsysteme 314 ferner Beleuchtungsquellen ein, die Licht emittieren (z. B. auf ein Objekt oder einen Teil des Gesichts des Benutzers), wie etwa einen Blitz oder eine Leuchtquelle.
Der Speicher 320 schließt Hochgeschwindigkeitsdirektzugriffsspeicher, wie DRAM, SRAM, DDR-RAM oder andere Festkörperdirektzugriffsspeichervorrichtungen, ein. In einigen Implementierungen schließt der Speicher 320 nicht-flüchtigen Speicher, wie eine oder mehrere Magnetplattenspeichervorrichtungen, optische Plattenspeichervorrichtungen, Flash-Speichervorrichtungen oder andere nicht-flüchtige Festkörperspeichervorrichtungen, ein. Der Speicher 320 schließt optional eine oder mehrere Speichervorrichtungen ein, die sich fern von der einen oder den mehreren Verarbeitungseinheiten 302 befinden. Der Speicher 320 umfasst ein nicht-transitorisches computerlesbares Speichermedium. In einigen Implementierungen speichert der Speicher 320 oder das nicht-transitorische, computerlesbare Speichermedium des Speichers 320 die folgenden Programme, Module und Datenstrukturen oder eine Teilmenge davon, einschließlich eines optionalen Betriebssystems 330, eines Moduls für erweiterte Realität (XR) 340 und einer 3D-Fotopräsentationseinheit 350.
Das Betriebssystem 330 schließt Prozeduren zum Handhaben verschiedener grundlegender Systemdienste und zum Durchführen hardwareabhängiger Aufgaben ein.
In einigen Implementierungen ist das XR-Modul 340 konfiguriert, um XR-Umgebungen zu erzeugen, zu bearbeiten oder zu erfahren. Das XR-Modul 340 ist so konfiguriert, dass es virtuelle Inhalte präsentiert, die als Teil von XR-Umgebungen für einen oder mehrere Benutzer verwendet werden. Zum Beispiel kann der Benutzer eine XR-basierte Benutzerschnittstelle betrachten und anderweitig erfahren, die es dem Benutzer ermöglicht, eine XR-Umgebung beispielsweise basierend auf der virtuellen Inhaltsposition über Handgesten, Sprachbefehle, Eingabevorrichtungseingaben usw. auszuwählen, zu platzieren, zu bewegen und anderweitig darzustellen.
In einigen Implementierungen ist die 3D-Fotodarstellungseinheit 350 konfiguriert, um 3D-Fotos in einer XR-Umgebung zu rendern. In einigen Implementierungen ist die 3D-Fotodarstellungseinheit 350 konfiguriert, um einen Präsentationsmodus für das 3D-Foto basierend auf einer Betrachtungsposition relativ zu einer Platzierungsposition des 3D-Fotos in der XR-Umgebung zu bestimmen. In einigen Implementierungen kann die 3D-Fotodarstellungseinheit 350 verwendet werden, um 3D-Fotos zu erhalten oder zu erzeugen. Obwohl diese Module und Einheiten wie sich auf einer einzelnen Vorrichtung (z. B. der Steuerung 110) befindend gezeigt sind, versteht es sich, dass in anderen Implementierungen sich jede Kombination dieser Module und Einheiten in separaten Rechenvorrichtungen befinden kann.
Darüber hinaus ist 3 eher als eine funktionale Beschreibung der verschiedenen Merkmale gedacht, die in einer bestimmten Implementierung vorhanden sind, im Gegensatz zu einem strukturellen Schema der hier beschriebenen Implementierungen. Wie der Durchschnittsfachmann erkennt, könnten separat gezeigte Elemente kombiniert werden und könnten einige Elemente getrennt werden. Zum Beispiel könnten einige Funktionsmodule, die in 3 separat gezeigt sind, in einem einzigen Modul implementiert sein, und die verschiedenen Funktionen einzelner Funktionsblöcke könnten durch einen oder mehrere Funktionsblöcke in verschiedenen Implementierungen implementiert sein. Die tatsächliche Anzahl von Modulen und die Aufteilung bestimmter Funktionen und wie die Merkmale ihnen zugeordnet sind, variieren von einer Implementierung zu einer anderen und hängen in einigen Implementierungen teilweise von der bestimmten Kombination von Hardware, Software oder Firmware ab, die für eine bestimmte Implementierung gewählt wird.
Verschiedene hierin offenbarte Implementierungen schließen Vorrichtungen, Systeme und Verfahren ein, die 3D-Fotos in einer XR-Umgebung darstellen. In einigen Implementierungen schließen Beispiele für 3D-Fotos Parallax-3D-Fotos, 3D-Fotos im Maßstab 1:1, 3D-Rekonstruktionsfotos mit mehreren Ansichten, einschließlich (i) 3D-Rekonstruktionen unter Verwendung mehrerer verschiedener Bildsensoren mit überlappenden Bildern (z. B. Hochzeitsszenario) oder (ii) mehrerer verschiedener überlappender Bilder von einem einzigen Bildsensor, 3D-Panoramafotos oder Ähnliches ein. In einigen Implementierungen werden 3D-Fotos üblicherweise aus einer bestimmten Perspektive erfasst und es fehlen Daten aus anderen Ansichten. Zum Beispiel kann ein 3D-Foto einer Person, die mit einer Kamera erfasst wird, die einer Person zugewandt ist, nur Daten für die Vorderseite der Person und nicht die Rückseite der Person aufweisen, da die Kamera den Rücken der Person nicht sehen kann. In einigen Implementierungen wird ein Betrachtungsbereich, in dem das 3D-Foto in 3D sichtbar ist, durch Bewegung einer Bilderfassungsvorrichtung während der Erstellung des 3D-Fotos bestimmt. Zum Beispiel kann eine durchschnittliche Position aller Bilderfassungspositionen der Bilderfassungsvorrichtung während der Erstellung des 3D-Fotos einen gültigen Betrachtungsbereich (z. B. ein gut definiertes 3D-Volumen) für das 3D-Foto basierend auf der Platzierung des 3D-Fotos in der XR-Umgebung definieren. In einigen Implementierungen basiert der Präsentationsmodus (z. B. 3D, 2D, unscharf oder gar nicht) für das 3D-Foto in der XR-Umgebung auf der Betrachtungsposition der elektronischen Vorrichtung eines Benutzers, der an der XR-Umgebung teilnimmt, relativ zu einer Platzierung des 3D-Fotos in der XR-Umgebung. In einigen Implementierungen wird der Präsentationsmodus bestimmt, indem die Menge oder der Prozentsatz gültiger Pixel für die Ansicht des 3D-Fotos aus der Betrachtungsposition ermittelt und mit Kriterien oder Schwellenwerten verglichen wird.
In einigen Implementierungen ist das 3D-Foto eine unvollständige 3D-Darstellung, da eine signifikante Menge der Ansichten von mindestens einigen Betrachtungspunkten unvollständig sein würde (z. B. fehlende Daten). In einigen Implementierungen ist ein 3D-Foto eine unvollständige 3D-Darstellung, die eine Vielzahl von Betrachtungsmodi aufweist. In einigen Implementierungen ist das 3D-Foto eine unvollständige 3D-Darstellung, die einen ersten Betrachtungsmodus (z. B. in 3D gezeigt), einen zweiten Betrachtungsmodus (z. B. in 2D oder unscharf gezeigt) und einen dritten Betrachtungsmodus (z. B. überhaupt nicht gezeigt) in einer XR-Umgebung, basierend auf der Platzierung des 3D-Fotos in der XR-Umgebung relativ zu einer Betrachtungselektronik, aufweist. In einigen Implementierungen schließt die Vorrichtung zur Bilderfassung eine Frame-basierte Kamera, eine Ereigniskamera (z. B. einen dynamischen Vision-Sensor), eine RGB-Kamera, RGB-D-Kameras, Tiefensensoren, Bewegungssensoren, Beschleunigungssensoren, Orientierungssensoren oder Kombinationen davon ein.
In einigen Implementierungen schließt ein Parallax-3D-Foto mindestens einen Frame von Bilddaten mit entsprechenden Tiefeninformationen ein. Das 3D-Parallax-Foto erscheint aufgrund der entsprechenden Tiefeninformationen aus einem begrenzten Sichtbereich dreidimensional.
In einigen Implementierungen schließt ein 3D-Foto im Maßstab 1:1 mindestens Bilddaten, entsprechende Tiefendaten und zusätzliche Informationen ein, die den tatsächlichen Maßstab (z. B. die tatsächliche Größe) für mindestens einige Inhalte des 3D-Fotos angeben. In einer Implementierung werden ein oder mehrere zusätzliche Sensoren auf der Bilderfassungsvorrichtung verwendet, um die tatsächliche Größe für einen Teil des 3D-Fotos zu bestimmen. In einigen Implementierungen können zusätzliche Sensoren einen tatsächlichen Abstand zu Inhalt in Bildern erfassen, die verwendet werden, um das 3D-Foto zu erzeugen. Dementsprechend kann eine tatsächliche Größe aus der relativen Größe des Inhalts in den Bildern und dem tatsächlichen Abstand des Inhalts von der Bilderfassungsvorrichtung bestimmt werden. Alternativ können einige Sensoren oder Bilderfassungsvorrichtungen Metadaten bereitstellen, um die tatsächliche Größe des Inhalts in den aufgenommenen Bildern zu identifizieren, die zur Erstellung der 3D-Fotos im Maßstab 1:1 verwendet werden. Zum Beispiel kann eine Bilderfassungsvorrichtung eine eigene Skala einschließen, die es ermöglicht, die Größeninformationen zu aufgenommenen Bildern hinzuzufügen.
In einigen Implementierungen werden 3D-Panoramafotos erzeugt, indem eine Vielzahl von Bildern und Tiefendaten erfasst wird, während sich die Bilderfassungsvorrichtung bewegt (z. B. Abtasten in einer einzigen Richtung). In einigen Implementierungen weist die Bilderfassungsvorrichtung für 3D-Panoramafotos zusätzliche Sensoren auf, die ihre Bewegung während der Panoramadatenerfassungssitzung erfassen, die zum Erstellen des 3D-Panoramafotos verwendet wird. In einigen Implementierungen machen die Vielzahl von Bildern, die Tiefendaten und die Verschiebung oder Drehung der Bildaufnahmevorrichtung während der Aufnahme das 3D-Panoramafoto für eine begrenzte Anzahl von Betrachtungspunkten in 3D sichtbar.
In einigen Fällen handelt es sich bei den 3D-Fotos um 3D-Rekonstruktionsfotos mit mehreren Ansichten. In einigen Implementierungen schließt das 3D-Foto mit mehreren Ansichten eine Vielzahl von Bildaufnahmevorrichtungen ein, die Fotos (z. B. Bild- und Tiefendaten) desselben Objekts (z. B. überlappende Inhalte oder Merkmale) aus verschiedenen Winkeln zur gleichen Zeit oder ungefähr zur gleichen Zeit aufnehmen. In einer Implementierung stellt das 3D-Rekonstruktionsfoto mit mehreren Ansichten ein Hochzeitsszenario dar, bei dem viele verschiedene Personen (z. B. mit Bildaufnahmevorrichtungen) ein Motiv (z. B. das Anschneiden der Hochzeitstorte) gleichzeitig aus unterschiedlichen Entfernungen und Winkeln fotografieren. Ebenso können die verschiedenen Personen ein Motiv (z. B. den ersten Kuss, den ersten Tanz, den Toast des Trauzeugen, die Ansprache der Trauzeugin usw.) ungefähr zur gleichen Zeit aus verschiedenen Entfernungen und Winkeln (z. B. Posen) fotografieren. Durch die Identifizierung gemeinsamer Merkmale (z. B. überlappende Inhalte) in der Vielzahl von Fotos in solchen Mehrseiten-Rekonstruktionen des Hochzeitsszenarios kann eine Pose (z. B. Position und Ausrichtung) jeder Bildaufnahmevorrichtung bestimmt und mit den entsprechenden Sensordaten (z. B. Bild-, Tiefen- oder Bewegungsdaten) kombiniert werden, und die entsprechenden Sensordaten von allen (oder einer Vielzahl) der einzelnen Bildaufnahmevorrichtungen werden verwendet, um das Mehrseiten-3D-Rekonstruktionsfoto zu erstellen.
Alternativ kann das Mehrseiten-3D-Rekonstruktionsfoto auch von einer einziger Bildaufnahmevorrichtung erstellt werden. Bei solchen 3D-Rekonstruktionen mit einer einzigen Bildaufnahmevorrichtung und mehreren Ansichten werden mehrere Bilder einer einzigen Szene oder eines einzigen Objekts aus leicht unterschiedlichen Positionen aufgenommen. Zum Beispiel macht eine Person 10 leicht unterschiedliche Fotos von einem Freund, der draußen neben einem Baum steht, bevor sie mit 1 der 10 Bilder zufrieden ist. In diesem Fall können gemeinsame Merkmale in den überlappenden 10 Bildern verwendet werden, um aufgrund der Unterschiede in Stellungen der Vielzahl von 10 Bildern ein einzelnes 3D-Foto zu erzeugen. Bei einigen 3D-Rekonstruktionen mit einer einzelnen Bildaufnahmevorrichtung wird die Bewegung der einzelnen Bildaufnahmevorrichtung auch für die Fotos der 3D-Rekonstruktion mit mehreren Ansichten verwendet.
In einigen Implementierungen können für jede Art von 3D-Foto die Bilderfassungsvorrichtung oder zusätzliche Sensoren gleichzeitig oder etwa zur selben Zeit Beleuchtungsinformationen zum Zeitpunkt der 3D-Fotoerzeugung erfassen. Zum Beispiel können bei der Aufnahme des 3D-Fotos zumindest in einigen der Bilder spiegelnde Glanzlichter erkannt und zur Bestimmung der Beleuchtung der Umgebung verwendet werden. In einigen Implementierungen können Schatten aus der Vielzahl von Bildern, die zum Erzeugen der 3D-Szenen verwendet werden, Beleuchtungsinformationen dieser physischen Umgebung bereitstellen. Alternativ können Meta-Daten über Beleuchtungsbedingungen zusätzlich zu den von der Bilderfassungsvorrichtung erfassten Daten aufgezeichnet werden. So können zum Beispiel Tageszeit und Standortinformationen (z. B. draußen um 3 Uhr an einem bestimmten Datum in einer Stadt in einem Bundesland) verwendet werden, um Beleuchtungsinformationen dieser physischen Umgebung zu ermitteln. In einigen Implementierungen schließt die Bilderfassungsvorrichtung zusätzliche Sensoren ein, wie Umgebungslichtsensoren, Weißausgleichssensoren, um gleichzeitig oder gleichzeitig Beleuchtungsbedingungen zu erfassen.
In einigen Implementierungen werden für jede Art von 3D-Foto die Bilderfassungsvorrichtung oder zusätzliche Sensoren verwendet, um eine räumliche Beziehung des 3D-Fotos zu einer Positionsreferenz oder einem Subjekt/Ausschnitt des 3D-Fotos an die Positionsreferenz zu bestimmen. In einigen Implementierungen wird die räumliche Beziehung des 3D-Fotos zur Positionsreferenz (z. B. wenn sie angelegt wird) verwendet, um das 3D-Foto in der XR-Umgebung zu orientieren oder zu positionieren (z. B. unter Verwendung einer entsprechenden Positionsreferenz) für eine spätere Betrachtung. Zum Beispiel kann die tatsächliche Größe oder räumliche Beziehung des 3D-Fotos zu einer Grundfläche der physischen Umgebung (z. B. die Oberfläche, auf der das Objekt des 3D-Fotos zu stehen scheint, ein Fußboden in einem Raum) bestimmt werden, wenn das 3D-Foto erstellt wird, und dann wird die entsprechende Größe oder räumliche Beziehung in Bezug auf die Grundfläche (z. B. der Fußboden eines Büros, ein Fußballfeld oder eine ähnliche Oberfläche, auf der das Objekt des 3D-Fotos zu stehen scheint) in der XR-Umgebung nachgeahmt. So kann in einigen Implementierungen die Ausrichtung der Grundfläche zwischen dem 3D-Fotoobjekt in der physischen Umgebung während der Aufnahme für das gerenderte 3D-Foto in der XR-Umgebung während der Betrachtung repliziert werden. In einigen Implementierungen steht die Grundfläche in einem Winkel von 90 Grad zu einer Bildebene oder einer flachen 2D-Oberfläche, auf die ein 2D/3D-Bild perspektivisch gezeichnet oder projiziert wird. In einem anderen Beispiel lehnt eine Person an einer Wand eines Zimmers, wenn sie als Motiv in einem 3D-Foto aufgenommen wird. Anschließend wird die räumliche Beziehung des Anlehnens in Bezug auf einen Baum in einem Feld (z. B. die Wand eines Büros oder eine ähnliche Fläche, an die sich die Person auf dem 3D-Foto anlehnen kann) in der XR-Umgebung nachgeahmt. Somit kann in einigen Implementierungen die räumliche Beziehung des 3D-Fotos zu einer Positionsreferenz in der physischen Umgebung während der Erfassung für das gerenderte 3D-Foto in der XR-Umgebung während der Ansicht repliziert werden.
In einigen Implementierungen werden für jede Art von 3D-Foto nur bestimmte Abschnitte des 3D-Fotos extrahiert und als 3D-Foto in der XR-Umgebung platziert oder verwendet.
Wenn das Subjekt beispielsweise eine Person in einem Büro hinter einem Schreibtisch und Stühlen ist, ändert sich das umgebende Möbel im Büro während einer Erfassungssitzung durch eine Bilderfassungsvorrichtung für ein 3D-Foto nicht viel. Dementsprechend kann in einigen Implementierungen ein „Ausschnitt“ der Person hinter dem Schreibtisch extrahiert und als 3D-Fotoausschnitt in der XR-Umgebung verwendet werden. In einigen Implementierungen kann der 3D-Ausschnitt eine beliebige dreidimensionale Form aufweisen (z. B. eine Kugel, einen Ovoiden, einen Kasten oder dergleichen) oder eine Größe. In einigen Implementierungen basiert die dreidimensionale Form des 3D-Ausschnitts auf dem Kontext oder der semantischen Segmentierung. In einigen Implementierungen basiert die dreidimensionale Form des 3D-Ausschnitts auf einer Bewegung der Bilderfassungsvorrichtung während der Bildaufnahme für das 3D-Foto. In einigen Implementierungen werden die Lichtverhältnisse (z. B. Lichtquelle oder Schatten) in der XR-Umgebung verwendet, um den 3D-Fotoausschnitt zu rendern.
In einigen Implementierungen werden 3D-Fotos aus Bild- und Tiefendaten erzeugt, die in einer physischen Umgebung auf herkömmliche Weise erfasst werden. In einigen Implementierungen hat das erstellte 3D-Foto eine begrenzte Anzahl von 3D-Betrachtungspunkten (z. B. einen 3D-Betrachtungsbereich). Wenn beispielsweise ein 3D-Foto aus Bildern erstellt wird, die mit Blick auf die Vorderseite einer Getränkedose aufgenommen wurden, enthält das 3D-Foto nur wenige Informationen über die Rückseite der Getränkedose. Wenn sich der Blickwinkel auf das 3D-Foto der Getränkedose in einer XR-Umgebung von einem Betrachtungspunkt wegbewegt, der direkt auf die Vorderseite des 3D-Fotos der Getränkedose gerichtet ist, steigt die Anzahl oder der Prozentsatz der fehlenden Pixel in der Ansicht des 3D-Fotos der Getränkedose.
In einigen Implementierungen werden verschiedene Techniken verwendet, um 3D-Fotos in einer XR-Umgebung darzustellen oder zu rendern. In einigen Implementierungen wird ein Präsentationsmodus verwendet, um 3D-Fotos in einer XR-Umgebung zu präsentieren oder zu rendern, basierend auf einer Betrachtungsposition einer Betrachtungselektronik relativ zu einer Platzierung des 3D-Fotos in der XR-Umgebung. In einigen Implementierungen basiert der Präsentationsmodus auf Einschränkungen des Betrachtungspunkts (POV) oder auf POV-Einschränkungen und Entfernung. In einigen Implementierungen schließt der Präsentationsmodus 3D, 2D, unscharf oder gar nicht ein. In einigen Implementierungen wird der Präsentationsmodus durch Erfassen der Menge oder des Prozentsatzes gültiger Pixel für die Ansicht des 3D-Fotos aus der Betrachtungsposition und Vergleichen der gegen Kriterien oder Schwellenwerte bestimmt..
In einigen Implementierungen wird das 3D-Foto auf oder innerhalb von virtuellen Objekten in der XR-Umgebung dargestellt. In einigen Implementierungen ist das 3D-Foto auf oder in den Darstellungen physischer Objekte in der XR-Umgebung dargestellt. In einigen Implementierungen kann der Präsentationsmodus des 3D-Fotos geändert werden, wenn er auf oder innerhalb virtuelle(r) Objekte oder Darstellungen physischer Objekte in der XR-Umgebung dargestellt wird.
In einigen Implementierungen wird das 3D-Foto als ein Portal in die Szene des 3D-Fotos behandelt. In anderen Worten kann das Portal, welches das 3D-Foto zeigt, eine 2D-Ebene innerhalb der XR-Umgebung einschließen, welche die Szene des 3D-Fotos in 3D zeigt, wenn der Benutzer sie betrachtet. In einigen Beispielen zeigt das Portal, auf dem das 3D-Foto zu sehen ist, die Szene des 3D-Fotos in 3D an, solange sich der Blickpunkt in das Portal innerhalb eines gültigen Betrachtungsbereichs befindet, geht aber dazu über, eine 2D-Darstellung der 3D-Szene des 3D-Fotos zu zeigen, wenn sich der Betrachtungspunkt außerhalb des gültigen Betrachtungsbereichs befindet, um zu verhindern, dass der Benutzer die fehlenden Daten der Objekte auf dem 3D-Foto sehen kann.
Bezugnehmend auf 4 schließt eine physische Umgebung 405 eine erste elektronische Vorrichtung 420 ein, die von einem ersten Benutzer verwendet wird, und eine zweite elektronische Vorrichtung 425, die von einem zweiten Benutzer verwendet wird. In diesem Beispiel ist die Umgebung 405 ein Raum, der ein Bild 430 und einen Tisch 435 einschließt. Die beiden Vorrichtungen 420, 425 können allein arbeiten oder mit zusätzlichen, nicht gezeigten Vorrichtungen interagieren, um Bilder der Umgebung aufzunehmen, Objekte in diesen Bildern zu erkennen oder zu verfolgen oder um XR-Inhalte auf der Grundlage der Bilder und der erkannten/verfolgten Objekte zu präsentieren. Jede der zwei Vorrichtungen 420, 425 kann drahtlos oder über eine drahtgebundene Verbindung mit einer separaten Steuerung (nicht gezeigt) kommunizieren, um eine oder mehrere dieser Funktionen durchzuführen. In ähnlicher Weise kann jede der zwei Vorrichtungen 420, 425 Informationen speichern, die für die XR-Umgebung nützlich sind oder mit einer separaten Vorrichtung, wie einem Server oder einer anderen Rechenvorrichtung, kommunizieren können, die diese Informationen speichert.
In einigen Implementierungen ist eine Vorrichtung, wie etwa die Vorrichtung 425, eine kopfmontierte Vorrichtung (Head-Mounted Device, HMD), wie etwa eine XR-Brille, die vom zweiten Benutzer getragen wird. In einigen Implementierungen ist eine Vorrichtung, wie die erste Vorrichtung 420, eine tragbare elektronische Vorrichtung (z. B. ein Smartphone oder ein Tablet), die konfiguriert ist, um dem ersten Benutzer die XR-Umgebung zu präsentieren. Die erste Vorrichtung 420 und die zweite Vorrichtung 425 sind jeweils so konfiguriert, dass sie Bilder oder andere Informationen aus der realen Welt verwenden, die von einer oder mehreren Kameras oder anderen Sensoren erfasst werden, um die XR-Umgebung bereitzustellen.
In einigen Implementierungen ermöglichen die erste oder zweite Vorrichtung 420, 425 dem Benutzer, den Betrachtungswinkel zu ändern oder die XR-Umgebung zu modifizieren oder mit ihr zu interagieren. In einigen Implementierungen sind die erste oder zweite Vorrichtung 420, 425 konfiguriert, um eine Benutzereingabe zu empfangen, die mit dem angezeigten XR-Inhalt interagiert. Zum Beispiel kann ein virtuelles Objekt, wie eine 3D-Darstellung einer realen Welt oder Objekte oder Informationsanzeigen, die jeweils mit interaktiven Befehlen enthalten sind, im XR-Inhalt dargestellt werden. Ein Benutzer kann die virtuellen Objekte oder Informationsanzeigen relativ zu den dargestellten realen Objekten neu positionieren oder mit den interaktiven Befehlen interagieren, indem eine Benutzereingabe auf oder anderweitig unter Verwendung der jeweiligen Vorrichtung bereitstellt wird.
5 ist ein Blockdiagramm der ersten oder zweiten Vorrichtung 420, 425, das eine XR-Umgebung 500 basierend auf der physischen Umgebung 405 von 4 in einer Anzeige 410 gemäß einigen Implementierungen anzeigt. Die XR-Umgebung 500 kann aus einem Frame einer Sequenz von Frames generiert werden, die von der ersten oder zweiten Vorrichtung 420, 425 aufgenommen wurden, zum Beispiel bei der Ausführung einer Anwendung in der physischen Umgebung 405. Wie in 5 gezeigt, zeigt die erste oder zweite Vorrichtung 420, 425 die XR-Umgebung 500 an, die eine Darstellung 530 des Bildes 430 und eine Darstellung 535 der Tabelle 435 einschließt. In einigen Implementierungen wird die XR-Umgebung 500 von der ersten Vorrichtung 420 und der zweiten Vorrichtung 425 gemeinsam genutzt.
6A-8 sind Diagramme, die beispielhafte 3D-Fotos zeigen, die in einer XR-Umgebung gemäß einigen Implementierungen präsentiert werden. Wie in den 6A-8 gezeigt, können beispielhafte 3D-Fotos eine beliebige Art von 3D-Foto oder Ausschnitte davon sein.
Wie in den 6A-6B gezeigt, wird ein 3D-Foto 650 in der XR-Umgebung 500 auf der Darstellung 530 des Bildes 430 präsentiert. In einigen Implementierungen wird eine Angabe 655 bereitgestellt, das sich das 3D-Foto 650 in der XR-Umgebung 500 befindet. Wie in 6A gezeigt, ist ein Präsentationsmodus des 3D-Fotos 650 an der Betrachtungselektronik ein 3D-Präsentationsmodus, wenn sich eine Betrachtungselektronik innerhalb eines Betrachtungsbereichs 660 befindet. Wenn sich die Betrachtungselektronik beispielsweise im Betrachtungsbereich 660 bewegt, wird die auf dem 3D-Foto 650 dargestellte Umgebung von der Betrachtungselektronik so dargestellt, dass sie wie eine typische 3D-Umgebung wirkt, die aus verschiedenen Perspektiven betrachtet wird (z. B. mit Parallaxe). Wie in 6B gezeigt, ist der Präsentationsmodus des 3D-Fotos 650 an der Betrachtungselektronik „2D“, wenn sich die Betrachtungselektronik außerhalb des Betrachtungsbereichs 660 in der XR-Umgebung 500 befindet. Zum Beispiel wird, wenn sich die Betrachtungselektronik außerhalb des Betrachtungsbereichs 660 bewegt, die durch das 3D-Foto 650 dargestellte Umgebung durch die Betrachtungselektronik dargestellt, sodass sie nicht wie eine typische 3D-Umgebung reagiert, die aus unterschiedlichen Perspektiven (z. B. ohne Parallaxe) betrachtet wird und stattdessen als ein flaches 2D-Bild präsentiert wird.
In einigen Beispielen können der Ort und die Größe des Betrachtungsbereichs 660 so ausgewählt werden, dass die Betrachtungselektronik ein Betrachtungskriterium erfüllen oder eine Menge oder einen Prozentsatz gültiger Pixel des 3D-Fotos 650 darstellen kann, während sie sich innerhalb des Betrachtungsbereichs 660 befindet. In einigen Beispielen können der Ort und die Größe des Betrachtungsbereichs 660 von dem/den Erfassungsort(en) einer Bilderfassungsvorrichtung während einer Erfassungssitzung abhängen, die verwendet wird, um das 3D-Foto und die Position und Ausrichtung des 3D-Fotos innerhalb der XR-Umgebung zu erstellen. Zum Beispiel können die Erfassungsposition(en) der Bilderfassungsvorrichtung während einer Erfassungssitzung, die zum Erzeugen des 3D-Fotos relativ zu einem oder mehreren erfassten Objekten verwendet wird, verwendet werden, um den relativen Versatz zwischen dem 3D-Foto und dem Betrachtungsbereich 660 zu bestimmen, da die Bilderfassungsvorrichtung in der Lage war, gültige Pixeldaten für das 3D-Foto aus dieser Perspektive zu erhalten.
In einigen Beispielen wird dem Benutzer eine Angabe des Betrachtungsbereichs 660 präsentiert. In anderen Beispielen wird dem Benutzer keine Angabe des Betrachtungsbereichs 660 präsentiert.
In einigen Beispielen können Lichter oder Schatten innerhalb des 3D-Fotos 650 die Darstellung der XR-Umgebung 500 beeinflussen, Lichter oder Schatten innerhalb der XR-Umgebung 500 können die Darstellung des 3D-Fotos 650 beeinflussen oder beides. Wenn das 3D-Foto 650 beispielsweise ein helles rotes Licht enthält, kann ein Teil dieses roten Lichts auf Teile der XR-Umgebung 500 projiziert werden, als ob eine rote Lichtquelle an der Stelle des 3D-Fotos 650 positioniert wäre. Auf diese Weise kann das 3D-Foto 650 so aussehen, als befände es sich tatsächlich in der XR-Umgebung 500. In einigen Beispielen kann der Beleuchtungs- oder Verschattungseffekt nur angewendet werden, wenn eine Größe des 3D-Fotos 650 in der XR-Umgebung 500 größer als ein Schwellenwert ist oder wenn eine Intensität oder eine andere Eigenschaft des Lichts oder Schattens des 3D-Fotos 650 größer als ein Schwellenwert ist. In einigen Beispielen kann der Beleuchtungs- oder Verschattungseffekt nur dann auf das 3D-Foto 650 angewendet werden, wenn die Größe der Lichtquelle oder des Schattens in der XR-Umgebung 500 größer als ein Schwellenwert ist oder wenn eine Intensität oder eine andere Eigenschaft des Lichts oder Schattens der XR-Umgebung 500 größer als ein Schwellenwert ist.
Wie in 7 gezeigt, wird ein 3D-Foto 750 in der XR-Umgebung 500 in einem virtuellen Frame 530' präsentiert. Wie in 7 gezeigt, ist, wenn sich eine Betrachtungselektronik innerhalb eines ersten Betrachtungsbereichs 760 befindet, ein Präsentationsmodus des 3D-Fotos 750 an der Betrachtungselektronik ein 3D-Präsentationsmodus. In einigen Implementierungen ist der Präsentationsmodus des 3D-Fotos 750 für die Betrachtungselektronik unscharf, wenn sich die Betrachtungselektronik außerhalb des ersten Betrachtungsbereichs 760, aber innerhalb eines zweiten Betrachtungsbereichs 770 in der XR-Umgebung 500 befindet. In einigen Beispielen kann der unscharfe Präsentationsmodus das Verschwimmen aller 3D-Fotos 750 einschließen. In anderen Beispielen kann der unscharfe Präsentationsmodus einschließen, dass Teile des 3D-Fotos 750 mit gültigen Pixeln ohne einen Unschärfeeffekt dargestellt werden, aber Teile des 3D-Fotos 750, in denen keine gültigen Pixel vorhanden sind, mit einem Unschärfeeffekt dargestellt werden, um die fehlenden Informationen zu verbergen. In einigen Beispielen kann ein allmählicher Übergang zwischen den unscharfen und nicht unscharfen Abschnitten von 3D-Fotos angewendet werden. In einigen Implementierungen, wenn sich die Betrachtungselektronik außerhalb des zweiten Betrachtungsbereichs 770 in der XR-Umgebung 500 befindet, ist der Präsentationsmodus des 3D-Fotos 750 für die Betrachtungselektronik „nicht anzeigen“ und die Betrachtungselektronik präsentiert nur die Darstellung 530 an der Wand.
In einigen Beispielen kann der Betrachtungsbereich 760 auf dieselbe oder ähnliche Weise bestimmt werden, wie vorstehend in Bezug auf den Betrachtungsbereich 660 beschrieben. In einigen Beispielen wird dem Benutzer eine Angabe des Betrachtungsbereichs 760 präsentiert. In anderen Beispielen wird dem Benutzer keine Angabe des Betrachtungsbereichs 760 präsentiert.
In einigen Beispielen können der Ort und die Größe des Betrachtungsbereichs 770 so ausgewählt werden, dass die Betrachtungselektronik ein Betrachtungskriterium erfüllen oder eine Menge oder einen Prozentsatz gültiger Pixel des 3D-Fotos 750 darstellen kann, während sie sich innerhalb des Betrachtungsbereichs 770 befindet. Die Betrachtungskriterien oder der Prozentsatz der gültigen Pixel können niedriger sein als die, die verwendet werden, um den Betrachtungsbereich 760 zu bestimmen. In einigen Beispielen können der Ort und die Größe des Betrachtungsbereichs 770 von dem/den Erfassungsort(en) einer Bilderfassungsvorrichtung während einer Erfassungssitzung abhängen, die verwendet wird, um das 3D-Foto und die Position und Ausrichtung des 3D-Fotos innerhalb der XR-Umgebung zu erstellen. Zum Beispiel können die Erfassungsposition(en) der Bilderfassungsvorrichtung während einer Erfassungssitzung, die zum Erzeugen des 3D-Fotos relativ zu einem oder mehreren erfassten Objekten verwendet wird, verwendet werden, um den relativen Versatz zwischen dem 3D-Foto und dem Betrachtungsbereich 770 zu bestimmen, da die Bilderfassungsvorrichtung in der Lage war, gültige Pixeldaten für das 3D-Foto aus dieser Perspektive zu erhalten.
In einigen Beispielen wird dem Benutzer eine Angabe des Betrachtungsbereichs 770 präsentiert. In anderen Beispielen wird dem Benutzer keine Angabe des Betrachtungsbereichs 770 präsentiert.
In einigen Beispielen können Lichter oder Schatten innerhalb des 3D-Fotos 750 die Darstellung der XR-Umgebung 500 beeinflussen, Lichter oder Schatten innerhalb der XR-Umgebung 500 können die Darstellung des 3D-Fotos 750 beeinflussen oder beides, in einer ähnlichen oder identischen Weise wie oben in Bezug auf das 3D-Foto 650 beschrieben.
Wie in 8 gezeigt, wird ein 3D-Foto 850 in der XR-Umgebung 500 innerhalb eines virtuellen Objekts 830 dargestellt. In einigen Implementierungen wird eine Angabe 855 bereitgestellt, dass sich das 3D-Foto 850 in der XR-Umgebung 500 befindet. In einigen Implementierungen ist das virtuelle Objekt 830 opak. In 8 ist ein Präsentationsmodus des 3D-Fotos 850 ein 3D-Präsentationsmodus. In einigen Implementierungen wird das 3D-Foto 850 auf einer unteren Oberfläche einer Aussparung 830 platziert. Dementsprechend ist basierend auf den Abmessungen (z. B. einer Form, einer Tiefe und Winkeln von Seitenwänden) der Aussparung 835 in dem virtuellen Objekt 830 ein Betrachtungsbereich des 3D-Fotos 850 (z. B. durch Betrachtungselektroniken) in der XR-Umgebung 500 begrenzt. Mit anderen Worten, wenn eine Betrachtungselektronik außerhalb eines gültigen Betrachtungsbereichs des 3D-Fotos 850 liegt, wird das 3D-Foto 850 durch das virtuelle Objekt 830 verdeckt. Infolgedessen wird in einigen Beispielen dem Benutzer kein Betrachtungsbereich (ähnlich dem Betrachtungsbereich 660, 760-oder-770) bestimmt oder präsentiert.
In einigen Beispielen können Lichter oder Schatten innerhalb des 3D-Fotos 850 die Darstellung der XR-Umgebung 500 beeinflussen, Lichter oder Schatten innerhalb der XR-Umgebung 500 können die Darstellung des 3D-Fotos 850 beeinflussen oder beides in einer ähnlichen oder identischen Weise wie oben in Bezug auf das 3D-Foto 650 beschrieben.
9 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zur Präsentation eines 3D-Fotos in einer XR-Umgebung gemäß einiger Implementierungen veranschaulicht. In einigen Implementierungen ist das 3D-Foto eine unvollständige 3D-Darstellung, da eine beträchtliche Anzahl von Ansichten zumindest von einigen Betrachtungspunkten aus unvollständig wäre. In einigen Implementierungen wird das 3D-Foto basierend auf einem oder mehreren Bildern erstellt, die von einer Bilderfassungsvorrichtung aufgenommen werden. In einigen Ausführungsformen wird das Verfahren 900 von einer elektronischen Vorrichtung (z. B. der Steuerung 110 oder der elektronischen Vorrichtung 120 der 1-3) durchgeführt. Das Verfahren 900 kann auf einer mobilen Vorrichtung, einem HMD, einem Desktop, einem Laptop, einer Servervorrichtung oder von mehreren miteinander kommunizierenden Vorrichtungen durchgeführt werden. In einigen Implementierungen wird das Verfahren 900 durch Verarbeitungslogik, einschließlich Hardware, Firmware, Software oder einer Kombination davon, durchgeführt. In einigen Implementierungen wird das Verfahren 900 durch einen Prozessor durchgeführt, der einen Code ausführt, der in einem nicht-transitorischen computerlesbaren Medium (z. B. einem Speicher) gespeichert ist.
In Block 910 erhält das Verfahren 900 ein dreidimensionales (3D) Foto, das eine unvollständige 3D-Darstellung einschließt, die auf der Grundlage eines oder mehrerer Bilder erstellt wurde, die von einer Bilderfassungsvorrichtung aufgenommen wurden. In einigen Implementierungen schließen 3D-Fotos Parallax-3D-Fotos (z. B. 2D-Bild mit Tiefe), 3D-Fotos im Maßstab 1:1, 3D-Rekonstruktionsfotos mit mehreren Ansichten (z. B. Hochzeitsszenario oder eine einzelne Vorrichtung nimmt mehrere leicht unterschiedliche Bilder derselben Szene auf) oder 3D-Panoramafotos ein. In einigen Implementierungen ist das 3D-Foto unvollständig, da eine signifikante Menge der Ansichten von mindestens einigen Betrachtungswinkeln unvollständig wäre. Zum Beispiel kann ein 3D-Foto, wenn es von vorne und mit einem Abstand von 5 Fuß betrachtet wird, genügend Daten einschließen, um 99% der Pixel der Ansicht mit Werten zu versehen, aber wenn es aus einem Seitenwinkel von 45° und mit einem Abstand von 10 Fuß betrachtet wird, kann das 3D-Foto nur genügend Daten einschließen, um 65% der Pixel der Ansicht mit Werten zu versehen. In einigen Implementierungen können 3D-Fotos auf der Grundlage mindestens eines Bildes und zusätzlicher Sensordaten (z. B. Tiefen- oder Bewegungsdaten), auf der Grundlage von Bild- und Tiefendaten und Pixelpositionen, die durch Triangulation (z. B. unter Verwendung mehrerer Fotos desselben oder mehrerer Benutzer etwa zur gleichen Zeit) ermittelt wurden, oder auf der Grundlage mehrerer Fotos aus einer panoramaartigen Fotoaufnahme erstellt werden.
In Block 920 bestimmt das Verfahren 900 eine Betrachtungsposition der Vorrichtung relativ zu einer Platzierungsposition des 3D-Fotos. In einigen Implementierungen wird eine räumliche Position (z. B. Stellung und Ausrichtung) des 3D-Fotos für das 3D-Foto in der XR-Umgebung bestimmt. In Block 920 bestimmt das Verfahren 900 zum Beispiel, wo das 3D-Foto in der XR-Umgebung platziert wird. Ferner ist die räumliche Position (z. B. Stellung und Ausrichtung) einer Betrachtungselektronik für die XR-Umgebung bekannt. In einigen Implementierungen bestimmt die Betrachtungsposition (z. B. relative Positionierung) den Abstand oder die Richtung von der Betrachtungselektronik zu dem 3D-Foto.
In Block 930 bestimmt das Verfahren 900 einen Präsentationsmodus für das 3D-Foto basierend auf der Betrachtungsposition. In einigen Implementierungen kann das 3D-Foto einem oder mehreren Betrachtungsbereichen zugeordnet werden (z. B. idealer Betrachtungsbereich, akzeptabler Betrachtungsbereich, ungültiger Betrachtungsbereich usw.) und der Präsentationsmodus (z. B. 3D, unscharf, 2D, gar nicht angezeigt) wird entsprechend bestimmt. In einigen Implementierungen können die Betrachtungsbereiche auf den Aufnahmebedingungen während der Erstellung des 3D-Fotos basieren (z. B. von wo aus das oder die Bilder, die zur Erstellung des 3D-Fotos verwendet wurden, aufgenommen wurden, wie viel Bewegung es gab, usw.). Ein gültiger Betrachtungsbereich kann zum Beispiel auf den Aufnahmepositionen der einzelnen Bilder oder einer durchschnittlichen Aufnahmeposition einer Vorrichtung während einer Aufnahmesitzung zur Erstellung des 3D-Fotos basieren. In einigen Implementierungen befindet sich die Betrachtungsposition innerhalb eines gültigen Betrachtungsbereichs für das 3D-Foto. In einigen Implementierungen kann die Betrachtungsposition direkt ausgewertet werden, indem die Anzahl oder der Prozentsatz der gültigen Pixel für die Ansicht des 3D-Fotos von der Betrachtungsposition aus bestimmt und mit Kriterien oder Schwellenwerten verglichen wird. Wenn beispielsweise mehr als 95% der Voxel Daten aufweisen, wird das 3D-Foto in 3D gerendert, wenn 70-95% der Voxel Daten aufweisen, wird das 3D-Foto in 2D oder unscharf gerendert, und wenn weniger als 70% der Voxel Daten aufweisen, wird das 3D-Foto entfernt oder gar nicht gerendert. In einigen Implementierungen können Übergänge zwischen Präsentationsmodi des 3D-Fotos dem Benutzer der Betrachtungselektronik bereitgestellt werden.
In einigen Implementierungen wird die Betrachtungsposition der Vorrichtung relativ zur Platzierungsposition des 3D-Fotos basierend auf der Bewegung der Bilderfassungsvorrichtung während der Aufnahme des einen oder der mehreren Bilder, die zur Erstellung des 3D-Fotos verwendet werden, anhand dessen bestimmt, ob sie sich in einem Sichtbereich ersten Typs oder außerhalb des Sichtbereichs ersten Typs befindet. In einigen Implementierungen verwendet die Betrachtungsposition im Betrachtungsbereich ersten Typs einen 3D-Präsentationsmodus für das 3D-Foto. In einigen Implementierungen ist der Betrachtungsbereich ein 3D-Betrachtungsbereich basierend auf allen Vorrichtungserfassungspositionen während der Erstellung des 3D-Fotos und eines bestimmten gut definierten Volumens um diese Erfassungspositionen, wie eine Kugel, ein Ovoid oder eine Box.
In Block 940 stellt das Verfahren 900 das 3D-Foto an der Platzierungsposition basierend auf dem Präsentationsmodus in der XR-Umgebung bereit. Zum Beispiel kann die XR-Umgebung VR oder MR sein. In einigen Implementierungen ist die elektronische Vorrichtung eine kopfmontierte Vorrichtung, die von einer Person getragen wird.
In einigen Implementierungen wird das 3D-Foto weiter modifiziert, oder der Präsentationsmodus wird ferner basierend auf einer zweiten Betrachtungsposition der Vorrichtung relativ zu der Platzierungsposition des 3D-Fotos modifiziert. In einigen Implementierungen schließt der Präsentationsmodus einen 3D-Präsentationsmodus, einen unscharfen Präsentationsmodus, einen 2D-Präsentationsmodus oder die Entfernung von der XR-Umgebung ein.
In einigen Implementierungen beeinflusst die Beleuchtung oder Verschattung des 3D-Fotos die XR-Umgebung, da die Größe des 3D-Fotos in der XR-Umgebung größer als ein vorgeschriebener Schwellenwert ist. In einigen Implementierungen beeinflusst die Beleuchtung oder die Verschattung der XR-Umgebung das 3D-Foto. In einigen Implementierungen ist das 3D-Foto ein 3D-Ausschnitt der unvollständigen 3D-Darstellung, der basierend auf den Bildern erzeugt wird, die von der Bilderfassungsvorrichtung aufgenommen werden. In einigen Implementierungen basiert der 3D-Ausschnitt auf Tiefendaten, einem 3D-Begrenzungsbereich oder einer 3D-Grenze. In einigen Implementierungen ist das 3D-Foto ein 3D-Ausschnitt der unvollständigen 3D-Darstellung, der basierend auf Kontext- oder semantischen Daten erzeugt wird, die aus Bildern bestimmt werden, die von der Bilderfassungsvorrichtung aufgenommen werden. In einigen Implementierungen beeinflusst die Beleuchtung oder Verschattung der XR-Umgebung den 3D-Ausschnitt.
In einigen Implementierungen kann die räumliche Beziehung des 3D-Fotos zu einer Positionsreferenz in der physischen Umgebung während der Erfassung für das gerenderte 3D-Foto in der XR-Umgebung während der Ansicht repliziert werden. In einigen Implementierungen wird eine Erfassungsbeziehung des 3D-Fotos zu einer Erfassungsbodenebene unter Verwendung eines oder mehrerer Bilder bestimmt, die von einer Bilderfassungsvorrichtung während der Erstellung des 3D-Fotos aufgenommen werden. In einigen Implementierungen ist die Bodenebenenerfassungsbeziehung des 3D-Fotos während der Wiedergabe auf eine Bodenebene der XR-Umgebung ausgerichtet. Zum Beispiel kann die tatsächliche Größe oder räumliche Beziehung des 3D-Fotos zu einer Grundfläche der physischen Umgebung (z. B. die Oberfläche, auf der das Objekt des 3D-Fotos zu stehen scheint, ein Fußboden in einem Raum) bestimmt werden, wenn das 3D-Foto erstellt wird, und dann wird die entsprechende Größe oder räumliche Beziehung in Bezug auf die Grundfläche (z. B. der Fußboden eines Büros, ein Fußballfeld oder eine ähnliche Oberfläche, auf der das Objekt des 3D-Fotos zu stehen scheint) in der XR-Umgebung nachgeahmt.
In einigen Implementierungen werden fehlende Pixel/Voxel in einer Ansicht des 3D-Objekts aus der Betrachtungsposition basierend auf Glättungstechniken (z. B. Bild, Tiefe, zusätzliche oder verwandte Sensordaten) gefüllt. In einigen Implementierungen werden fehlende Pixel/Voxel in einer Ansicht des 3D-Objekts von der Betrachtungsposition aus auf der Grundlage von nahegelegenen Pixeln/Voxeln mit Bildwerten oder Tiefenwerten (z. B. nahegelegene Farbwerte, durchschnittliche Farbe, nahegelegene Tiefenwerte oder Tiefenwerte über einem Vertrauensschwellenwert) aufgefüllt. In einigen Implementierungen stellt das Füllen von fehlenden Pixeln in der Ansicht des 3D-Objekts eine künstlerische Behandlung von Lücken oder fehlenden Pixeln im 3D-Foto bereit. In einigen Implementierungen stellt das Verschwimmen fehlender Pixel in der Ansicht des 3D-Objekts eine künstlerische Behandlung von Lücken oder fehlende Pixel im 3D-Foto bereit. In einigen Implementierungen wird das Füllen fehlender Pixel in der Ansicht des 3D-Objekts nur dann durchgeführt, wenn die fehlenden Pixel unter einem voreingestellten Schwellenwert liegen.
In einigen Implementierungen arbeitet das Verfahren auf einer elektronischen Vorrichtung, wobei die Verarbeitung der XR-Umgebung erfolgt. In einigen Implementierungen ist die elektronische Vorrichtung dieselbe elektronische Vorrichtung, welche die Bildsensoren (z. B. das HMD) einschließt. In einigen Implementierungen ist die elektronische Vorrichtung eine andere elektronische Vorrichtung, die Daten von der elektronischen Vorrichtung empfängt, die Bildsensoren (z. B. einen vom HMD getrennten Server) aufweist. In einigen Implementierungen implementiert eine einzelne elektronische Vorrichtung einschließlich eines Prozessors die XR-Umgebung (z. B. HMD). In einigen Implementierungen wird die XR-Umgebung durch mehr als eine elektronische Vorrichtung implementiert.
Zahlreiche spezifische Details sind hierin dargelegt, um ein gründliches Verständnis des beanspruchten Gegenstands bereitzustellen. Der Fachmann wird verstehen, dass der beanspruchte Gegenstand auch ohne diese spezifischen Details umgesetzt werden kann. In anderen Fällen wurden Verfahren, Einrichtungen oder Systeme, die einem Fachmann bekannt wären, nicht im Detail beschrieben, um den beanspruchten Gegenstand nicht zu verunklaren.
Sofern nicht speziell anders angegeben, versteht es sich, dass sich die in dieser Beschreibung enthaltenen Erörterungen unter Verwendung von Begriffen, wie „Verarbeiten“, „Rechnen“, „Berechnen“, „Bestimmen“ und „Identifizieren“ oder dergleichen, auf Aktionen oder Prozesse einer Rechenvorrichtung, wie eines oder mehreren Computer oder einer ähnlichen elektronischen Rechenvorrichtung oder Vorrichtungen, die Daten manipulieren oder umwandeln, die als physikalische elektronische oder magnetische Mengen in Speichern, Registern oder anderen Vorrichtungen zur Informationsspeicherung, Übertragungsvorrichtungen oder Anzeigevorrichtungen der Rechenplattform dargestellt werden, beziehen.
Das System oder die Systeme, die hier erörtert werden, sind nicht auf irgendeine spezielle Hardwarearchitektur oder Konfiguration beschränkt. Eine Rechenvorrichtung kann jede geeignete Anordnung von Komponenten einschließen, die ein auf einer oder mehreren Eingaben beruhendes Ergebnis bereitstellt. Geeignete Rechenvorrichtungen schließen universelle mikroprozessorbasierte Computersysteme ein, die auf gespeicherte Software zugreifen, die das Rechensystem von einer Allzweckrechenvorrichtung zu einer spezialisierten Rechenvorrichtung programmiert oder konfiguriert, die eine oder mehrere Implementierungen des vorliegenden Gegenstands implementiert. Jede geeignete Programmier-, Skript- oder jede andere Art von Sprache oder Kombinationen von Sprachen können verwendet werden, um die hierin enthaltenen Lehren in Software zu implementieren, die beim Programmieren oder Konfigurieren einer Rechenvorrichtung zu verwenden ist.
Implementierungen der hierin offenbarten Verfahren können beim Betrieb solcher Rechenvorrichtungen durchgeführt werden. Die Reihenfolge der Blöcke, die in den obigen Beispielen dargestellt sind, kann beispielsweise variiert werden, Blöcke können neu geordnet, kombiniert oder in Unterblöcke zerlegt werden. Bestimmte Blöcke oder Prozesse können parallel durchgeführt werden. In einigen Beispielen schließt ein System ein nicht-transitorisches computerlesbares Speichermedium und einen oder mehrere Prozessoren, die mit dem nicht-flüchtigen computerlesbaren Speichermedium gekoppelt sind, ein, wobei das nicht-flüchtige computerlesbare Speichermedium Programmanweisungen einschließt, die, wenn sie auf dem einen oder den mehreren Prozessoren ausgeführt werden, bewirken, dass das System beispielhafte Verfahren durchführt, die hierin offenbart sind. In einigen Implementierungen speichert ein nicht-transitorisches, computerlesbares Speichermedium Programmanweisungen, die auf einem Computer ausgeführt werden können, um Vorgänge durchzuführen, einschließlich hierin offenbarter beispielhafter Verfahren, die auf einer elektronischen Vorrichtung mit einem Prozessor implementiert sind.
Die Verwendung von „angepasst zu“ oder „konfiguriert zu“ hierin ist als offene und einschließende Formulierung vorgesehen, die keine Vorrichtungen ausschließt, die angepasst oder konfiguriert sind, um zusätzliche Aufgaben oder Schritte durchzuführen. Zusätzlich soll die Verwendung „basierend auf‟ insofern offen und einschließend sein, als ein Prozess, Schritt, eine Berechnung oder eine andere Aktion, die auf einer oder mehreren angegebenen Bedingungen oder Werten „basiert“, in der Praxis auf zusätzlichen Bedingungen oder einem Wert über die angegebenen hinaus basieren kann. Hierin enthaltene Überschriften, Listen und Nummerierungen dienen nur zur Erleichterung der Erläuterung und sollen nicht einschränkend sein.
Es versteht sich auch, dass, wenngleich die Begriffe „erste/r/s“, „zweite/r/s“ usw. hierin verwendet sein können, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe eingeschränkt werden sollen. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel könnte ein erster Knoten als ein zweiter Knoten bezeichnet werden, und in ähnlicher Weise könnte ein zweiter Knoten als ein erster Knoten bezeichnet werden, ohne die Bedeutung der Beschreibung zu ändern, solange jedes Vorkommen des „ersten Knotens“ konsistent umbenannt wird und jedes Vorkommen des „zweiten Knotens“ konsistent umbenannt wird. Bei dem ersten Knoten und dem zweiten Knoten handelt es sich bei beiden um Knoten, es handelt sich jedoch nicht um denselben Knoten.
Die hierin verwendete Terminologie dient lediglich der Beschreibung bestimmter Implementierungen und ist nicht dazu beabsichtigt, die Ansprüche einzuschränken. Wie in der Beschreibung der Implementierungen und den beiliegenden Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“, „der“, „die“ und „das“ auch die Pluralformen einschließen, sofern es im Kontext nicht eindeutig anders angegeben ist. Es versteht sich auch, dass sich der Begriff „und/oder“, so wie er hierin verwendet wird, auf jegliche und alle möglichen Kombinationen von einem oder mehreren der damit zusammenhängenden aufgeführten Elemente bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „umfasst“ und/oder „umfassend“, wenn sie in dieser Patentschrift verwendet werden, das Vorhandensein von aufgeführten Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder das Hinzufügen von einem/einer oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
Wie hierin verwendet, kann der Begriff „wenn“, abhängig vom Kontext, als „bei“ oder „als Reaktion auf das Bestimmen“ oder „gemäß einer Bestimmung“ oder „als Reaktion auf das Erfassen“, dass eine genannte vorausgehende Bedingung erfüllt ist, verstanden werden. Ähnlich kann die Wendung „wenn bestimmt wird, [dass eine genannte vorausgehende Bedingung erfüllt ist]“ oder „wenn [eine genannte vorausgehende Bedingung erfüllt ist]“, abhängig vom Kontext, als „beim Bestimmen“ oder „als Reaktion auf ein Bestimmen, dass“ oder „gemäß einer Bestimmung“ oder „beim Erfassen“ oder „als Reaktion auf das Erfassen“ so interpretiert werden, dass eine genannte vorausgehende Bedingung erfüllt ist.
Die vorstehende Beschreibung und Kurzdarstellung der Erfindung sind als in jeder Hinsicht veranschaulichend und beispielhaft, aber nicht als einschränkend zu verstehen, und der Schutzumfang der hierin offenbarten Erfindung ist nicht nur aus der detaillierten Beschreibung veranschaulichender Implementierungen, sondern gemäß der durch Patentgesetze erlaubten vollen Breite zu bestimmen. Es versteht sich, dass die hierin gezeigten und beschriebenen Implementierungen nur veranschaulichend für die Prinzipien der vorliegenden Erfindung sind und dass verschiedene Modifikationen durch den Fachmann implementiert werden können, ohne vom Schutzumfang und Geist der Erfindung abzuweichen.

Claims

Verfahren, umfassend: an einer elektronischen Vorrichtung mit einem Prozessor: Erhalten eines dreidimensionalen (3D) Fotos, das eine unvollständige 3D-Darstellung umfasst, die basierend auf einem oder mehreren Bildern erzeugt wird, die von einer Bilderfassungsvorrichtung erfasst werden; Bestimmen einer Betrachtungsposition der elektronischen Vorrichtung relativ zu einer Platzierungsposition des 3D-Fotos; Bestimmen eines Präsentationsmodus für das 3D-Foto basierend auf der Betrachtungsposition; und Darstellen des 3D-Fotos an der Platzierungsposition basierend auf dem Präsentationsmodus in einer Umgebung einer erweiterten Realität (XR).
Verfahren nach Anspruch 1, ferner umfassend: Modifizieren des 3D-Fotos oder des Präsentationsmodus als Reaktion auf die Betrachtungsposition der elektronischen Vorrichtung relativ zu einer Platzierungsposition des 3D-Fotos, die sich auf eine zweite Betrachtungsposition ändert.
Verfahren nach einem der Ansprüche 1-2, wobei der Präsentationsmodus des 3D-Fotos in einen unscharfen Präsentationsmodus geändert wird.
Verfahren nach einem der Ansprüche 1-2, wobei der Präsentationsmodus des 3D-Fotos in einen 2D-Präsentationsmodus geändert wird.
Verfahren nach einem der Ansprüche 1-2, wobei der Präsentationsmodus des 3D-Fotos in einen unsichtbaren Präsentationsmodus geändert wird.
Verfahren nach einem der Ansprüche 2-5, wobei bestimmt wird, dass sich die zweite Betrachtungsposition in einem ersten Typ von Betrachtungsbereichen befindet, wenn mindestens eine erste Schwellenwertmenge von Pixeln einer Ansicht des 3D-Fotos Bild- und Tiefenwerte einschließt, sich in einem zweiten Typ von Betrachtungsbereich befindet, wenn mindestens ein zweiter Schwellenwert und kleiner als die erste Schwellenmenge an Pixel der Ansicht des 3D-Fotos die Bild- und Tiefenwerte und einem dritten Typ von Betrachtungsfläche anderweitig einschließen.
Verfahren nach einem der Ansprüche 2-5, wobei bestimmt wird, dass sich die zweite Betrachtungsposition in einem Betrachtungsbereich des ersten Typs oder außerhalb des Betrachtungsbereichs des ersten Typs basierend auf der Bewegung der Bilderfassungsvorrichtung während des Erfassens des einen oder der mehreren Bilder, die zum Erzeugen des 3D-Fotos verwendet werden, befindet.
Verfahren nach einem der Ansprüche 1-7, wobei die Beleuchtung oder Verschattung des 3D-Fotos die XR-Umgebung beeinflusst oder die Beleuchtung oder die Verschattung der XR-Umgebung das 3D-Foto beeinflusst.
Verfahren nach einem der Ansprüche 1 bis 8, ferner umfassend: Bestimmen einer Erfassungsbeziehung des 3D-Fotos zu einer Bodenebene unter Verwendung des einen oder der mehreren Bilder, die von einer Bilderfassungsvorrichtung aufgenommen werden; und Anpassen der Bodenebenenerfassungsbeziehung des 3D-Fotos an eine Bodenebene der XR-Umgebung.
Verfahren nach einem der Ansprüche 1-9, wobei das 3D-Foto ein 3D-Ausschnitt der unvollständigen 3D-Darstellung ist, der basierend auf dem einen oder den mehreren Bildern erzeugt wird, die von der Bilderfassungsvorrichtung aufgenommen werden.
Verfahren nach Anspruch 10, wobei der 3D-Ausschnitt auf Tiefendaten, einem 3D-Begrenzungsbereich oder einer 3D-Grenze basiert und wobei die Beleuchtung oder Verschattung der XR-Umgebung den 3D-Ausschnitt beeinflusst.
Verfahren nach einem der Ansprüche 1-11, wobei fehlende Pixel in einer Ansicht des 3D-Fotos aus der Betrachtungsposition basierend auf nahe liegenden Pixeln mit Bildwerten oder Tiefenwerten gefüllt werden.
Verfahren nach einem der Ansprüche 1-12, wobei das 3D-Foto unter Verwendung von mindestens 1 Bild- und Tiefeninformationen erzeugt wird.
Verfahren nach einem der Ansprüche 1-12, wobei das 3D-Foto Skaleninformationen umfasst, die verwendet werden, um das 3D-Foto in der XR-Umgebung zu skalieren.
Verfahren nach einem der Ansprüche 1-12, wobei das 3D-Foto unter Verwendung einer Vielzahl von Bildern aus einer einzelnen elektronischen Vorrichtung erzeugt wird, wobei die Vielzahl von Bildern von einem Einzelerfassungsereignis des Panoramatyps stammt.
Verfahren nach einem der Ansprüche 1-12, wobei das 3D-Foto unter Verwendung einer Vielzahl von Bildern aus einer Vielzahl unterschiedlicher elektronischer Vorrichtungen erzeugt wird, wobei die Vielzahl von Bildern jeweils mindestens einen Abschnitt eines physischen Objekts in einer physischen Umgebung einschließen.
Verfahren nach einem der Ansprüche 1-12, wobei das 3D-Foto unter Verwendung einer Vielzahl von Bildern aus einer einzelnen elektronischen Vorrichtung erzeugt wird, wobei die Vielzahl von Bildern von einer Vielzahl von unterschiedlichen Erfassungsereignissen stammen, die jeweils mindestens einen Abschnitt eines physischen Objekts in einer physischen Umgebung einschließen.
Verfahren nach einem der Ansprüche 1-17, wobei das 3D-Foto innerhalb oder auf einem virtuellen Objekt in der XR-Umgebung angezeigt wird.
System, umfassend: ein nicht-transitorisches computerlesbares Speichermedium und einen oder mehrere Prozessoren, die mit dem nicht-transitorischen computerlesbaren Speichermedium gekoppelt sind, wobei das nicht-transitorische computerlesbare Speichermedium Programmanweisungen umfasst, die, wenn sie auf dem einen oder den mehreren Prozessoren ausgeführt werden, bewirken, dass das System Vorgänge durchführt, die umfassen: Erhalten eines dreidimensionalen (3D) Fotos, das eine unvollständige 3D-Darstellung umfasst, die basierend auf einem oder mehreren Bildern erzeugt wird, die von einer Bilderfassungsvorrichtung erfasst werden; Bestimmen einer Betrachtungsposition der Vorrichtung relativ zu einer Platzierungsposition des 3D-Fotos; Bestimmen eines Präsentationsmodus für das 3D-Foto basierend auf der Betrachtungsposition; und Bereitstellen des 3D-Fotos an der Platzierungsposition basierend auf dem Präsentationsmodus in einer Umgebung einer erweiterten Realität (XR).
Nichtflüchtiges computerlesbares Speichermedium, das Programmanweisungen speichert, die auf einem Rechner computerausführbar sind, zum Durchführen der folgenden Operationen: an einer elektronischen Vorrichtung mit einem Prozessor: Erhalten eines dreidimensionalen (3D) Fotos, das eine unvollständige 3D-Darstellung umfasst, die basierend auf einem oder mehreren Bildern erzeugt wird, die von einer Bilderfassungsvorrichtung erfasst werden; Bestimmen einer Betrachtungsposition der Vorrichtung relativ zu einer Platzierungsposition des 3D-Fotos; Bestimmen eines Präsentationsmodus für das 3D-Foto basierend auf der Betrachtungsposition; und Bereitstellen des 3D-Fotos an der Platzierungsposition basierend auf dem Präsentationsmodus in einer Umgebung einer erweiterten Realität (XR).