DE112017001718T5

DE112017001718T5 - Erweiterte realität in einem sichtfeld, das eine reflexion umfasst

Info

Publication number: DE112017001718T5
Application number: DE112017001718.1T
Authority: DE
Inventors: Ron Ferens; Barak Hurwitz; Camila Dorin; Gila Kamhi
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2016-03-31
Filing date: 2017-03-01
Publication date: 2018-12-13
Also published as: US9933855B2; CN108885482A; KR20190039663A; WO2017172211A1; US20170285345A1; KR102541812B1; CN108885482B

Abstract

Systeme, Vorrichtungen und/oder Verfahren zur Realitätserweiterung. Eine Objektidentifikationsvorrichtung kann ein Objekt in einem Sichtfeld eines Benutzers identifizieren, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche, wie z. B. einer Oberfläche eines herkömmlichen Spiegels, umfasst. Zusätzlich dazu kann eine Realitätserweiterungsvorrichtung ein Erweiterte-Realität-Objekt basierend auf der Identifikation des Objekts erzeugen. In einem Beispiel kann eine Brille, die einen relativ transparenten Bildschirm umfasst, mit einer Bildaufnahmevorrichtung auf dem Benutzer gekoppelt sein, und das Erweiterte-Realität-Objekt kann durch den Benutzer auf dem transparenten Bildschirm wahrnehmbar sein, wenn der Benutzer die Brille trägt. Eine Positionsbestimmungsvorrichtung kann das Erweiterte-Realität-Objekt in Bezug auf die Reflexion des Benutzers, die über den transparenten Bildschirm passiert, während einer natürlichen visuellen Wahrnehmung der Reflexion durch den Benutzer auf dem transparenten Bildschirm positionieren.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Erfindung beansprucht den Vorteil der nicht vorläufigen US-Patentanmeldung Nr. 15/087.478 , eingereicht am 31. März 2016.
TECHNISCHES GEBIET
Ausführungsformen betreffen im Allgemeinen erweiterte Realität. Insbesondere betreffen Ausführungsformen erweiterte Realität in einem Sichtfeld, das eine Reflexion umfasst.
HINTERGRUND
Systeme, die eine Intelligente-Spiegel-Funktionalität bereitstellen, können relativ hochentwickelte Anzeigetechnologien mit Sensoren umfassen. Beispielsweise kann ein intelligenter Touchscreen-Spiegel eine dreidimensionale (3D-) Kamera, eine Multispektralkamera, Gesichtserkennungskomponenten, Gassensoren usw. umfassen. In einem System kann eine transparente Organische-Leuchtdioden- (OLED-) Anzeige, die einen relativ hohen Reflexionsgrad umfasst, die Funktionalität einer virtuellen Umkleidekabine bereitstellen. Weitere Systeme können die Erscheinung eines Benutzers verbessern, können einen Gesundheitsbericht basierend auf einer minutenlangen Analyse eines Gesichts bereitstellen usw. Die Kosten für solche Systeme können allerdings aufgrund verbesserter Spiegel- oder Anzeigetechnologien Größenordnungen einnehmen, die höher als bei einem herkömmlichen Spiegel sind. Somit besteht signifikantes Verbesserungspotenzial bei der Bereitstellung von Intelligente-Spiegel-Funktionalität für Realitätserweiterung.
Figurenliste
Die verschiedenen Vorteile erschließen sich Fachleuten durch die Lektüre der folgenden Beschreibung und der beigefügten Ansprüche und unter Bezugnahme auf die folgenden Zeichnungen, in denen:

1A-1B Veranschaulichungen eines Beispiels für einen Ansatz zur Realitätserweiterung unter Verwendung einer Brille und eines herkömmlichen Spiegels gemäß einer Ausführungsform sind;
2 eine Veranschaulichung eines Beispiels für eine Vorrichtung zur Realitätserweiterung gemäß einer Ausführungsform ist;
3 eine Veranschaulichung eines Beispiels für ein Verfahren zur Realitätserweiterung gemäß einer Ausführungsform ist; und
4 ein Blockdiagramm eines Beispiels für einen Prozessor gemäß einer Ausführungsform ist.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Bezug nehmend auf 1A-1B ist ein Ansatz 10 zur Realitätserweiterung gemäß einer Ausführungsform gezeigt. Wie in 1A veranschaulicht, steht ein Benutzer 12 vor einer reflektierenden Oberfläche 14 eines herkömmlichen Spiegels 16 und führt eine Geste aus, die das Heben eines Arms 18 umfasst, der durch den Ärmel eines Kleidungsstücks 20 bedeckt ist und der mit einer tragbaren Vorrichtung 22 gekoppelt ist. Das Kleidungsstück 20 umfasst einen Pullover, dem ein Muster (z. B. geflochten, gedruckt, gestickt etc.) fehlt, und die tragbare Vorrichtung 22 umfasst eine Smartwatch, die Sensordaten für den Benutzer 12, die tragbare Vorrichtung 22 und/oder eine Umgebung 24 (z. B. einen Raum etc.) bereitstellt. Die tragbare Vorrichtung 22 kann beispielsweise Gassensordaten für den Benutzer 12, Pulssensordaten für den Benutzer 12, Blutdruckdaten für den Benutzer 12, Beschleunigungsdaten für den Benutzer 12 und/oder die tragbare Vorrichtung 22, Orientierungsdaten für den Benutzer 12 und/oder die tragbare Vorrichtung 22, Temperaturdaten für den Benutzer 12 und/oder die Umgebung 24, Positionsdaten für den Benutzer 12, die tragbare Vorrichtung 22 und/oder die Umgebung 24 usw. bereitstellen.
Der Benutzer 12 trägt eine Brille 26, die einen transparenten Bildschirm 28 (28a-28b) umfasst, durch den Bilder von Objekten während natürlicher visueller Wahrnehmung der Objekte durch den Benutzer 12 zu den Augen des Benutzers 12 gelangen. Der transparente Bildschirm 28 kann beispielsweise einen transparenten Organische-Leuchtdioden- (OLED-) Bildschirm umfassen, der einen relativ geringen Reflexionsgrad aufweist. Die Brille 26 umfasst ferner eine Bildaufnahmevorrichtung 32, die eine zweidimensionale (2D-) Kamera, eine dreidimensionale (3D-) Kamera, eine Multispektralkamera, eine Wärmekamera usw. umfassen kann. In dem veranschaulichten Beispiel umfasst die Bildaufnahmevorrichtung 32 eine Entfernungskamera (z. B. eine RGB-D-Kamera etc.), um Bilddaten (z. B. RGB-Daten etc.) und/oder Tiefendaten (z. B. Pixeltiefendaten etc.) für Objekte in einem Sichtfeld der Bildaufnahmevorrichtung 32 zu erzeugen. Bilddaten und/oder Tiefendaten können beispielsweise basierend auf Stereo-Triangulation, Lichtstreifen-Triangulation, strukturiertem Licht, Laufzeit, Interferometrie, kodierte Apertur usw. erzeugt werden.
In dem veranschaulichten Beispiel umfasst der Spiegel 16 auch eine Bildaufnahmevorrichtung 34, die dem Benutzer 12 zugewandt ist, um Bilddaten und/oder Tiefendaten für Objekte in einem Sichtfeld der Bildaufnahmevorrichtung 34 zu erzeugen. Insbesondere kann die Bildaufnahmevorrichtung 34 Objekte innerhalb und/oder außerhalb des Sichtfelds der Bildaufnahmevorrichtung 32 nachverfolgen, um ein erweitertes Sichtfeld bereitzustellen, um Gesten nachzuverfolgen und/oder egozentrische Sichtweisen zu ergänzen. Darüber hinaus kann Synchronisation zwischen den Daten, die durch die Bildaufnahmevorrichtungen 32, 34 erzeugt werden, wenn der Benutzer 12 sich bewegt, eine Entsprechung zwischen den Daten bereitstellen, um Probleme in Bezug auf die Benutzerfreundlichkeit aufgrund von Verzögerungen zu minimieren und/oder um die Genauigkeit der Realitätserweiterungsfunktionalität zu maximieren. Beispielsweise kann die Bildaufnahmevorrichtung 34 eine Nachricht (z. B. Metadaten, die eine Geste übermitteln, Bilddaten, Tiefendaten etc.) weiterleiten, um anzugeben, dass eine Geste festgestellt wurde, die verwendet werden kann, um eine durch die Bildaufnahmevorrichtung 32 festgestellte Geste zu bestätigen, um Daten zu ergänzen, die durch die Bildaufnahmevorrichtung 32 als Antwort auf eine Geste erzeugt wurden, usw.
Es können Objekte in einem Sichtfeld des Benutzers 12 und/oder in einem Sichtfeld der Bildaufnahmevorrichtungen 32, 34 identifiziert werden. Beispielsweise kann ein virtuelles Objekt, das der Reflexion 30 im Sichtfeld des Benutzers 12 entspricht, identifiziert werden. In einem Beispiel kann eine Vorrichtung auf dem Benutzer 12 basierend auf Merkmalsdaten (z. B. einem Armband, einem Formfaktor etc.) aus der Reflexion 30 identifiziert werden. Auch das Gesicht des Benutzers 12 kann basierend auf Merkmalsdaten (z. B. Augen, Nase, Mund etc.) aus der Reflexion 30 identifiziert werden. Darüber hinaus kann eine Körperposition des Benutzers 12 basierend auf Skelettdaten (z. B. „nachverfolgten“ Skelettdaten, „Nur-Position-“ Skelettdaten etc.) aus der Reflexion 30 identifiziert werden. Die Reflexion 30 kann auch verwendet werden, um eine durch den Benutzer 12 ausgeführte Geste basierend auf Merkmalsdaten, Skelettdaten, Gestendaten (z. B. Finger-/Handposition etc.) usw. zu identifizieren.
Ebenso kann ein reales Objekt in einem Sichtfeld des Benutzers 12 und/oder in einem Sichtfeld der Bildaufnahmevorrichtung 32 identifiziert werden, wie z. B. der Spiegel 16. Darüber hinaus kann ein reales Objekt in einem Sichtfeld der Bildaufnahmevorrichtung 34, wie z. B. der Benutzer 12 und/oder die tragbare Vorrichtung 22, identifiziert werden. Zusätzlich dazu kann ein Objekt basierend auf Sensordaten identifiziert werden. Beispielsweise kann ein Objekt basierend auf einem Typ von Sensordaten, die aus einem bestimmten Objekt verfügbar sind, Beschleunigungsdaten für ein bestimmtes Objekt usw. identifiziert werden. Ein Objekt kann auch basierend auf Identifikationsdaten wie z. B. einer Vorrichtungsbezeichnung, einem Vorrichtungslogo, einer Vorrichtungsadresse (z. B. Medienzugriffssteuerungs-Adresse etc.) usw. identifiziert werden.
In dem veranschaulichten Beispiel können Objekte in einem Sichtfeld des Benutzers 12 mit Realitätserweiterungs- (AR-) Objekten 36, 38 erweitert werden. In einem Beispiel kann die Reflexion 30 mit dem AR-Objekt 36 (z. B. gedrucktes Muster, Farbänderung etc.) basierend auf einer Identifikation des Kleidungsstücks 20 als Pullover aus der Reflexion 30 erweitert werden. Beispielsweise kann das Kleidungsstück 20 in der Reflexion 30 mit dem AR-Objekt 36 erweitert werden, sodass der Benutzer 12 einen erweiterten Pullover (z. B. einen Pullover mit einem gedruckten Muster etc.) wahrnimmt, wenn die Brille 26 vom Benutzer 12 getragen wird. Darüber hinaus kann eine Identifikation des Arms 18 und/oder der Körperposition des Benutzers 12 dem AR-Objekt 36 erlauben, richtig positioniert zu werden, wenn der Benutzer 12 sich bewegt. In diesem Zusammenhang kann eine Synchronisation zwischen den Bildaufnahmevorrichtungen 32, 34 Objekterkennung, AR-Objektpositionierung etc. erleichtern.
In einem weiteren Beispiel kann ein reales Objekt in einem Sichtfeld des Benutzers 12 durch das AR-Objekt 38 (z. B. eine GUI für ein Menü, ein 2D-Eintrag wie z. B. Benutzergewicht, ausgeführte Schritte etc.) erweitert werden. Beispielsweise kann ein Verfahren einer simultanen Positionsbestimmung und Kartenerstellung (SLAM) implementiert werden, um den Spiegel 16 im Sichtfeld des Benutzers 12 mit dem AR-Objekt 38 zu erweitern. Eine Karte einer Szene 40 kann beispielsweise aus Bilddaten (z. B. einem Video-Frame etc.) erzeugt werden, die durch die Bildaufnahmevorrichtung 32 erzeugt wurden. Ein Merkmal in der Szene 40, wie z. B. eine linke obere Ecke des Spiegels 16, kann aus den Bilddaten extrahiert werden und eine Verschiebung des Merkmals (z. B. dx/dy etc.) kann bestimmt werden, wenn sich der Benutzer 12 bewegt. Die Position des Benutzers 12, wie z. B. die Position der Reflexion 30, in der Szene 40 kann basierend auf der Verschiebung des Merkmals bestimmt werden, und das AR-Objekt 38 kann proportional zu der Verschiebung des Benutzers 12 verschoben werden, um das AR-Objekt 38 auf dieselbe Position in der Szene 40 zu positionieren, wenn sich der Benutzer 12 bewegt.
Wie in 1B veranschaulicht, kann die 3D-Wahrnehmung der Bildaufnahmevorrichtung 32 nicht durch die 2D-Natur der Oberfläche 14 des Spiegels 16 beeinträchtigt werden. Beispielsweise können zwei Sensoren der Bildaufnahmevorrichtung 32 die Szene 40 in einer leicht anderen Perspektive 42 (42a-42b) erfassen, die Tiefenextraktionsverfahren erlaubt, um die tatsächliche Tiefe der Szene 40 zu bestimmen. Die Oberfläche 14 kann durch die Position des Spiegels 16 als die Bildoberfläche eingestellt werden, und ein virtuelles Objekt, das der Reflexion 30 entspricht, erscheint, wenn der Benutzer 12 vor dem Spiegel 16 steht und durch die Bildaufnahmevorrichtung 32 in den zwei verschiedenen Perspektiven 42a, 42b erfasst werden soll. Somit stellt die Bildaufnahmevorrichtung 32 auch bei alleiniger Verwendung 3D-Funktionalität basierend auf der Reflexion 30 bereit.
Darüber hinaus kann das Passieren der Reflexion 30 und/oder von Bildern realer Objekte in der Szene 40 durch den transparenten Bildschirm 28 den Bedarf an hochentwickelten Anzeigetechnologien minimieren und/oder Berechnungserfordernisse für Realitätserweiterung minimieren. Die AR-Elemente 36, 38 können beispielsweise in Bezug auf die Reflexion 30 und/oder in Bezug auf die Bilder der realen Objekte, die durch den transparenten Bildschirm 28 passieren, positioniert werden, um Anzeigeberechnungen und/oder Pixelverwendung zu minimieren.
Obgleich Beispiele verschiedene Funktionalitäten des Ansatzes 10 zu Veranschaulichungszwecken bereitgestellt haben, versteht es sich, dass eine oder mehrere Funktionen des Ansatzes 10 sich an denselben und/oder unterschiedlichen physikalischen und/oder virtuellen Positionen von Rechenplattformen befinden können und kombiniert, weggelassen, umgangen, neu angeordnet und/oder in einer beliebigen Reihenfolge genutzt werden können. Die Brille 26 kann beispielsweise eine oder mehrere AR-Funktionen des Ansatzes 10 bereitstellen. Zusätzlich dazu können Funktionen des Ansatzes 10 über verschiedene Rechenplattformen verteilt sein, um verteilte AR-Funktionalität bereitzustellen. Darüber hinaus können jegliche Funktionen des Ansatzes 10 automatisch implementiert werden (z. B. ohne menschliches Eingreifen etc.). Beispielsweise können Objekte in einem Sichtfeld automatisch identifiziert werden, wenn Daten aus einer Bildaufnahmevorrichtung erhalten werden.
2 zeigt eine Vorrichtung 44 zur Realitätserweiterung gemäß einer Ausführungsform. Die Vorrichtung 44 kann eine Rechenplattform wie z. B. einen Laptop, persönlichen digitalen Assistenten (PDA), Mediaplayer, eine bilderzeugende Vorrichtung, ein mobiles Internetgerät (MID), eine beliebige Smartvorrichtung wie z. B. ein Drahtlos-Smartphone, Smarttablet, Smart-TV, Smartwatch, Brille, Computerserver, Spieleplattform etc. umfassen. Die Vorrichtung 44 kann auch eine Logik (z. B. Logikbefehle, konfigurierbare Logik, Logikhardware mit fixer Funktionalität etc.) umfassen, die konfiguriert ist, um beliebige der hierin erwähnten Technologien zu implementieren, einschließlich beispielsweise den oben diskutierten Ansatz 10 (1A-1B). Beispielsweise kann eine Steuerung 46 Daten, die einer Reflexion eines Benutzers von einem herkömmlichen Spiegel entsprechen, empfangen und ein Objekt in einem Sichtfeld mit einem Erweiterte-Realität- (AR-) Objekt erweitern.
Die Steuerung 46 umfasst eine Datenspeicher-Schnittstelle 48, die eine Schnittstelle mit einem Speicher (z. B. Cache, Direktzugriffsspeicher etc.), mit einer Festplatte (z. B. auf der Plattform befindlicher Speicher, Wechselspeicher etc.) usw. aufweisen kann. Die Steuerung 46 umfasst auch eine Kommunikationsschnittstelle 50, die eine Schnittstelle mit einer Kommunikationsfunktionalität für zahlreiche Zwecke aufweisen kann, wie z. B. Mobiltelefon (z. B. Wideband Code Division Multiple Access/W-CDMA (Universal Mobile Telecommunications System/UMTS), CDMA2000 (IS-856/IS-2000) etc.), WiFi (kabellose Netzwerkverbindung, z. B. Institute of Electrical und Electronics Engineers/IEEE 802.11-2007, drahtloses lokales Netzwerk/LAN-Medienzugriffssteuerung (MAC) und Physikalische-Schicht- (PHY-) Spezifikationen), LiFi (Light Fidelity, z. B. Institute of Electrical und Electronics Engineers/IEEE 802.15-7, drahtloses lokales Netzwerk/LAN-Medienzugriffssteuerung (MAC) und Physikalische-Schicht- (PHY-) Spezifikationen), 4G LTE (Fourth Generation Long Term Evolution), Bluetooth (z. B. Institute of Electrical und Electronics Engineers/IEEE 802.15.1-2005, drahtlose persönliche Netzwerke), WiMax (z. B. IEEE 802.16-2004, LAN/MAN-Breitband-Drahtlos-LANS), globales Positionssystem (GPS), Spreizspektrum (z. B. 900 MHz), NFC (Nahfeldkommunikation, ECMA-340, ISO/IEC 18092) und andere Funkfrequenz- (RF-) Zwecke. Daher kann die Steuerung 46 die Datenspeicher-Schnittstelle 48 nutzen, um Bilddaten, Tiefendaten, Objektidentifikationsdaten, AR-Objektdaten usw. zu speichern, und/oder kann die Kommunikationsschnittstelle 50 nutzen, um selbige weiterzuleiten.
Die Steuerung 46 umfasst ferner eine Bilddaten-Identifikationsvorrichtung 52 zum Identifizieren von Bilddaten. Beispielsweise kann die Bilddaten-Identifikationsvorrichtung 52 RGB-Daten aus einer RGB-D-Kamera identifizieren, die einer Reflexion eines Benutzers entsprechen. Die Bilddaten-Identifikationsvorrichtung 52 kann auch RGB-Daten aus einer RGB-D-Kamera identifizieren, die einem Bild eines realen Objekts in einem Sichtfeld (z. B. des Benutzers etc.) entsprechen. Die Steuerung 46 umfasst ferner eine Tiefendaten-Identifikationsvorrichtung 54 zum Identifizieren von Tiefendaten. Beispielsweise kann die Tiefendaten-Identifikationsvorrichtung 54 Pixel-Tiefendaten aus einer RGB-D-Kamera identifizieren, die einer Reflexion eines Benutzers entsprechen. Die Tiefendaten-Identifikationsvorrichtung 54 kann auch durch eine RGB-D-Kamera erzeugte Tiefenpixeldaten identifizieren, die einem Bild eines realen Objekts in einem Sichtfeld entsprechen.
Die Steuerung 46 umfasst ferner einen Synchronisator 56 zum Synchronisieren von Daten aus einer Bildaufnahmevorrichtung, die einem Benutzer zugewandt ist, mit Daten aus einer Bildaufnahmevorrichtung auf dem Benutzer, die von dem Benutzer abgewandt ist. Beispielsweise kann der Synchronisator 56 Daten aus einer RGB-D-Kamera, die auf einem Spiegel positioniert ist, der einem Benutzer zugewandt ist, mit Daten aus einer RGB-D-Kamera auf einer vom Benutzer getragenen Brille synchronisieren. Bilddaten und/oder Tiefendaten, die synchronisiert sind, können Objektidentifikation für mehrere Zwecke erleichtern, wie z. B. Objekterkennung, Gestenerkennung, Merkmalsextraktion, AR-Objektpositionierung usw.
Die Steuerung 46 umfasst ferner eine Objektidentifikationsvorrichtung 58 zum Identifizieren eines Objekts in einem Sichtfeld eines Benutzers, einer Bildaufnahmevorrichtung auf dem Benutzer, die eine egozentrische Sichtweise von Objekten bereitstellt, und/oder einer Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, und stellt ein erweitertes Sichtfeld bereit, um Gesten nachzuverfolgen und/oder egozentrische Sichtweisen zu ergänzen. Beispielsweise kann eine Bildaufnahmevorrichtung auf einem Benutzer eine egozentrische Sichtweise einer Benutzerreflexion bereitstellen, die durch die Objektidentifikationsvorrichtung 58 verwendet wird, um ein virtuelles Objekt zu identifizieren, und kann eine egozentrische Sichtweise eines Spiegels bereitstellen, der durch die Objektidentifikationsvorrichtung 58 verwendet wird, um ein reales Objekt zu identifizieren, usw. Die Objektidentifikationsvorrichtung 58 kann auch ein reales Objekt in einem Sichtfeld einer Bildaufnahmevorrichtung identifizieren, die dem Benutzer zugewandt ist, um eine egozentrische Sichtweise mit einer dem Benutzer zugewandten Sichtweise zu ergänzen.
In dem veranschaulichten Beispiel umfasst die Objektidentifikationsvorrichtung 58 eine Vorrichtungsidentifikationsvorrichtung 60 zum Identifizieren einer Vorrichtung auf einem Benutzer. Beispielsweise kann die Vorrichtungsidentifikationsvorrichtung 60 eine Vorrichtung (z. B. eine Smartwatch etc.) identifizieren, die der Benutzer trägt. Die Objektidentifikationsvorrichtung 58 umfasst ferner eine Skelettidentifikationsvorrichtung 62 zum Identifizieren einer Körperposition eines Benutzers. Beispielsweise kann die Skelettidentifikationsvorrichtung 62 eine Position von Gelenken des Körpers des Benutzers (z. B. „nachverfolgte“ Position etc.) identifizieren. Darüber hinaus umfasst die Objektidentifikationsvorrichtung 58 eine Gesichtsidentifikationsvorrichtung 64 zum Identifizieren eines Gesichts eines Benutzers. Beispielsweise kann die Gesichtsidentifikationsvorrichtung 64 eine Nase des Benutzers, eine Lippe des Benutzers, Haar des Benutzers usw. identifizieren. Die Objektidentifikationsvorrichtung 58 umfasst ferner eine Gestenidentifikationsvorrichtung 66 zum Identifizieren einer durch den Benutzer ausgeführten Geste. Beispielsweise kann die Gestenidentifikationsvorrichtung 66 eine durch den Benutzer ausgeführte Bewegung eines Gesichtsausdrucks (z. B. ein Lächeln etc.), eine durch den Benutzer ausgeführte Bewegung einer Hand oder eines Fingers (z. B. ein Daumen-Hoch etc.), eine durch den Benutzer ausgeführte Bewegung einer eines Arms (z. B. Winken etc.) usw. identifizieren.
Die Steuerung 46 umfasst ferner eine Realitätserweiterungsvorrichtung 68 zum Erzeugen eines AR-Objekts basierend auf beispielsweise einer Identifikation eines Objekts in einem Sichtfeld. Die Realitätserweiterungsvorrichtung 68 kann beispielsweise ein erweitertes Erscheinungsbild des Gesichts (z. B. Entfernung von Gesichtsbehaarung, Änderung der Augenfarbe etc.) für eine Reflexion basierend auf einer Identifikation eines Gesichts eines Benutzers aus der Reflexion erzeugen. Die Realitätserweiterungsvorrichtung 68 kann ferner beispielsweise ein erweitertes Erscheinungsbild von Kleidung (z. B. andere Hosen etc.) für eine Reflexion basierend auf einer Identifikation eines Kleidungsstücks eines Benutzers aus der Reflexion erzeugen. Die Realitätserweiterungsvorrichtung 68 kann ferner beispielsweise ein erweitertes Erscheinungsbild einer Wand (z. B. eine GUI, Daten aus einer tragbaren Vorrichtung, Daten für die Umgebung etc.) für ein Bild einer Wand basierend auf einer Identifikation der Wand aus dem Bild der Wand erzeugen.
Die Steuerung 46 umfasst ferner eine Positionsbestimmungsvorrichtung 70 zum Bestimmen einer Position eines AR-Objekts, das auf einem Bildschirm dargestellt werden soll. Die Positionsbestimmungsvorrichtung 70 kann ein AR-Objekt in Bezug auf eine Reflexion und/oder in Bezug auf ein Bild eines realen Objekts in einem Sichtfeld eines Benutzers positionieren, das während einer natürlichen visuellen Wahrnehmung der Reflexion und/oder des Bildes durch einen transparenten Bildschirm zu den Augen des Benutzers gelangt. Die Positionsbestimmungsvorrichtung 70 kann ein AR-Objekt auf einer Reflexion eines Benutzers basierend auf Bilddaten und/oder Tiefendaten aus einer RGB-D-Kamera, die einem Objekt zugeordnet sind, das während eines Objekterkennungsverfahrens aus der Reflexion identifiziert wird, positionieren. Die Positionsbestimmungsvorrichtung 70 kann ferner ein AR-Objekt auf einem Bild eines realen Objekts (z. B. einer Wand, einer anderen Person etc.) basierend auf Bilddaten und/oder Tiefendaten aus einer RGB-D-Kamera, die einem Objekt zugeordnet sind, das aus dem Bild des realen Objekts während eines Objekterkennungsverfahren identifiziert wird, positionieren.
Die Positionsbestimmungsvorrichtung 70 kann auch ein AR-Objekt auf einem Bild eines Objekts basierend auf Bilddaten und/oder Tiefendaten aus einer RGB-D-Kamera, die einem Merkmal zugeordnet sind, das während eines SLAM-Verfahrens aus einem Bild extrahiert wurde, positionieren. In dem veranschaulichten Beispiel umfasst die Steuerung 44 eine Kartenerstellungsvorrichtung 72 zum Erzeugen einer Karte aus Bilddaten einer Szene und eine Merkmalsextraktionsvorrichtung 74 zum Extrahieren eines Merkmals aus den Bilddaten der Szene. Die Positionsbestimmungsvorrichtung 70 kann daraufhin basierend auf einer Verschiebung des Merkmals auf der Karte einen Benutzer auf der Karte positionieren und das AR-Objekt basierend auf der Position des Benutzers auf der Karte positionieren. Somit kann das AR-Objekt proportional zur Verschiebung des Benutzers verschoben werden, um das AR-Objekt an derselben Position in der Szene zu positionieren, wenn sich der Benutzer bewegt.
Obgleich Beispiele verschiedene Komponenten der Vorrichtung 44 zu Veranschaulichungszwecken bereitgestellt haben, versteht es sich, dass eine oder mehrere Komponenten der Vorrichtung 44 sich an denselben und/oder unterschiedlichen physikalischen und/oder virtuellen Positionen einer Rechenplattform befinden und kombiniert, weggelassen, umgangen, neu angeordnet und/oder in einer beliebigen Reihenfolge genutzt werden können. In einem Beispiel können sich eine oder mehrere Komponenten der Steuerung 46 physikalisch auf derselben Rechenplattform befinden. In einem weiteren Beispiel können eine oder mehrere Komponenten der Steuerung 46 unter verschiedenen Rechenplattformen verteilt sein, um eine verteilte Realitätserweiterungsfunktionalität bereitzustellen. Darüber hinaus können beliebige der Komponenten der Vorrichtung 44 automatisch implementiert werden (z. B. ohne menschliches Eingreifen etc.). Beispielsweise kann die Objektidentifikationsvorrichtung 58 automatisch implementiert werden, wenn Daten aus einer Bildaufnahmevorrichtung erhalten werden.
Unter Bezugnahme auf 3 ist ein Verfahren 76 zur Realitätserweiterung gemäß einer Ausführungsform gezeigt. Das Verfahren 76 kann als Modul oder verwandte Komponente in einem Satz von Logikbefehlen implementiert sein, die in einem nichtflüchtigen maschinen- oder computerlesbaren Speichermedium gespeichert sind, wie z. B. Direktzugriffsspeicher (RAM), Nurlesespeicher (ROM), programmierbarem ROM (PROM), Firmware, Flash-Speicher etc., in einer konfigurierbaren Logik wie z. B. programmierbaren Logikschaltkreisen (PLAs), Universalschaltkreisen (FPGAs), komplexen programmierbaren Logikbauteilen (CPLDs), in Hardwarelogik mit fixer Funktionalität unter Verwendung von Schaltkreistechnologie wie z. B. einer anwendungsspezifischen integrierten Schaltung (ASIC), einem komplementären Metalloxidhalbleiter (CMOS) oder Transistor-Transistor-Logik- (TTL-) Technologie oder einer beliebigen Kombination davon. Beispielsweise kann Computerprogrammcode zum Ausführen von Vorgängen, die im Verfahren 76 gezeigt sind, in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen, einschließlich einer objektorientierten Programmiersprache wie z. B. JAVA, SMALLTALK, C++ oder dergleichen, und herkömmlichen prozeduralen Programmiersprachen, wie z. B. der Programmiersprache „C“ oder ähnlichen Programmiersprachen, geschrieben sein.
Der veranschaulichte Block 78 ermöglicht das Identifizieren von Bilddaten und/oder Tiefendaten. Block 78 kann beispielsweise RGB-Daten aus einer RGB-D-Kamera entsprechend einer Reflexion eines Benutzers, die einem Bild eines realen Objekts in einem Sichtfeld (z. B. des Benutzers etc.) usw. entspricht, identifizieren. Block 78 kann ferner beispielsweise Tiefenpixeldaten aus einer RGB-D-Kamera identifizieren, die einer Reflexion eines Benutzers entsprechen, entsprechend einem Bild eines realen Objekts in einem Sichtfeld (z. B. des Benutzers etc.) usw.
Der veranschaulichte Block 80 ermöglicht das Synchronisieren von Daten. Block 80 kann beispielsweise Daten aus einer Bildaufnahmevorrichtung, die einem Benutzer zugewandt ist, mit Daten aus einer Bildaufnahmevorrichtung auf dem Benutzer, die vom Benutzer abgewandt ist, synchronisieren. Der veranschaulichte Verarbeitungsblock 82 ermöglicht das Identifizieren eines Objekts in einem Sichtfeld. Block 82 kann beispielsweise ein Objekt in einem Sichtfeld eines Benutzers, in einem Sichtfeld einer Bildaufnahmevorrichtung auf einem Benutzer, die eine egozentrische Sichtweise von Objekten bereitstellt, und/oder in einem Sichtfeld einer Bildaufnahmevorrichtung, die einem Benutzer zugewandt ist, um ein erweitertes Sichtfeld bereitzustellen, um Gesten nachzuverfolgen und/oder egozentrische Sichtweisen zu ergänzen, identifizieren. In einem Beispiel kann Block 82 eine Vorrichtung auf einem Benutzer identifizieren, eine Körperposition eines Benutzers identifizieren, ein Gesicht eines Benutzers identifizieren, eine durch einen Benutzer ausgeführte Geste identifizieren usw.
Der veranschaulichte Verarbeitungsblock 84 ermöglicht das Erzeugen eines Erweiterte-Realität- (AR-) Objekts. Block 84 kann beispielsweise ein AR-Objekt basierend auf einer Identifikation eines Objekts in einem Sichtfeld erzeugen. In einem Beispiel kann Block 84 ein erweitertes Erscheinungsbild eines virtuellen Objekts für eine Reflexion basierend auf Identifikation z. B. eines Gesichts eines Benutzers aus der Reflexion erzeugen. In einem weiteren Beispiel kann Block 84 ein erweitertes Erscheinungsbild eines realen Objekts für ein Bild eines realen Objekts in einem Sichtfeld eines Benutzers basierend auf Identifikation z. B. einer Wand von einem Bild der Wand erzeugen.
Der veranschaulichte Block 86 ermöglicht das Bestimmen einer Position eines AR-Objekts, das auf einem Bildschirm dargestellt werden soll, der einen transparenten OLED-Bildschirm umfassen kann. Block 86 kann beispielsweise ein AR-Objekt in Bezug auf eine Reflexion und/oder in Bezug auf ein Bild eines realen Objekts in einem Sichtfeld eines Benutzers, das während einer natürlichen visuellen Wahrnehmung der Reflexion und/oder des Bilds über den OLED-Bildschirm zu den Augen des Benutzers gelangt, positionieren. Block 86 kann ein AR-Objekt basierend auf Bilddaten und/oder Tiefendaten, die einem Objekt (z. B. einem realen Objekt, einem virtuellen Objekt wie z. B. einer Reflexion etc.) zugeordnet sind, das während eines Objekterkennungsverfahren und/oder während eines SLAM-Verfahrens identifiziert wird, positionieren. In diesem Zusammenhang kann Block 86 eine Karte aus Bilddaten einer Szene erzeugen, ein Merkmal aus den Bilddaten der Szene extrahieren, einen Benutzer auf der Karte basierend auf einer Verschiebung des Merkmals auf der Karte positionieren und das Erweiterte-Realität-Objekt basierend auf der Position des Benutzers auf der Karte positionieren.
Block 86 kann beispielsweise ein AR-Objekt auf dem OLED-Bildschirm so positionieren, dass es in Deckung mit einer Reflexion eines Benutzers basierend auf Bilddaten und/oder Tiefendaten ist, die der Reflexion des Benutzers entsprechen. In einem Beispiel kann das AR-Objekt eine Erweiterung eines Kleidungsstücks des Benutzers sein und Block 86 kann ein AR-Element positionieren, das das Kleidungsstück in Deckung mit der Reflexion des Kleidungsstücks erweitert, das den OLED-Bildschirm überquert. Block 86 kann ferner beispielsweise ein AR-Objekt auf dem OLED-Bildschirm so positionieren, dass es in Deckung mit einem Bild eines realen Objekts basierend auf Bilddaten und/oder Tiefendaten ist, die dem Bild des realen Objekts entsprechen. In einem Beispiel kann das AR-Objekt eine Erweiterung eines Spiegels, einer Wand etc. einer Umgebung sein, in welcher der Benutzer positioniert ist, und Block 86 kann ein AR-Element positionieren, das den Spiegel etc. in Deckung mit dem Bild des Spiegels erweitert, der den OLED-Bildschirm überquert.
Obgleich unabhängige Blöcke und/oder eine bestimmte Reihenfolge zu Veranschaulichungszwecken dargestellt wurden, versteht es sich, dass eine oder mehrere der Blöcke des Verfahrens 76 kombiniert, weggelassen, umgangen, neu angeordnet werden können und/oder in einer beliebigen Reihenfolge verlaufen können. Darüber hinaus können beliebige der Blöcke des Verfahrens 76 automatisch implementiert werden (z. B. ohne menschliches Eingreifen etc.). Beispielsweise kann Block 82 automatisch ein Objekt in einem Sichtfeld identifizieren, wenn Daten aus einer Bildaufnahmevorrichtung erhalten werden.
4 zeigt Prozessorkern 200 gemäß einer Ausführungsform. Der Prozessorkern 200 kann der Kern für einen beliebigen Prozessortyp sein, wie z. B. einen Mikroprozessor, einen eingebetteten Prozessor, einen digitalen Signalprozessor (DSP), einen Netzwerkprozessor oder eine andere Vorrichtung zum Ausführen von Code. Obwohl nur ein Prozessorkern 200 in 4 veranschaulicht ist, kann ein Verarbeitungselement alternativ dazu mehr als einen Prozessorkern 200, der in 4 veranschaulicht ist, umfassen. Der Prozessorkern 200 kann ein Singlethreading-Kern sein oder der Prozessorkern 200 kann für zumindest eine Ausführungsform insofern ein Multithreading-Kern sein, als er mehr als einen Hardware-Threadkontext (oder „logischen Prozessor“) pro Kern umfassen kann.
4 veranschaulicht auch einen Speicher 270, der mit dem Prozessorkern 200 gekoppelt ist. Der Speicher 270 kann ein beliebiger einer breiten Vielzahl von Speichern sein (einschließlich verschiedener Ebenen einer Speicherhierarchie), die Fachleuten auf dem Gebiet der Erfindung bekannt oder ihnen anderweitig verfügbar sind. Der Speicher 270 kann einen oder mehrere Befehle von Code 213 umfassen, die durch den Prozessorkern 200 auszuführen sind, wobei der Code 213 den Ansatz 10 (1), die Vorrichtung 44 (2) und/oder das Verfahren 76 (3) implementieren kann, die bereits diskutiert wurden. Der Prozessorkern 200 befolgt eine Programmabfolge von Befehlen, die durch den Code 213 angegeben werden. Jeder Befehl kann einen Front-End-Abschnitt 210 eingeben und durch eine oder mehrere Decoder 220 verarbeitet werden. Der Decoder 220 kann als Ausgabe einen Mikrovorgang wie z. B. einen Mikrovorgang mit fixer Breite in einem vordefinierten Format erzeugen oder kann andere Befehle, Mikrobefehle oder Steuersignale erzeugen, die den ursprünglichen Codebefehl widerspiegeln. Der veranschaulichte Front-End-Abschnitt 210 umfasst auch eine Register-Umbenennungslogik 225 und eine Zeitplanungslogik 230, die im Allgemeinen Ressourcen zuteilen und den Vorgang entsprechend dem Umwandlungsbefehl zur Ausführung in eine Warteschlang einreihen.
Der Prozessorkern 200 ist so gezeigt, dass er eine Ausführungslogik 250 umfasst, die einen Satz von Ausführungseinheiten 255-1 bis 255-N aufweist. Manche Ausführungsformen können eine Anzahl von Ausführungseinheiten umfassen, die für spezifische Funktionen oder Sätze von Funktionen dediziert sind. Weitere Ausführungsformen können nur eine Ausführungseinheit oder eine Ausführungseinheit umfassen, die eine bestimmte Funktion ausüben kann. Die veranschaulichte Ausführungslogik 250 führt die durch Codebefehle spezifizierten Vorgänge aus.
Nach Abschluss der Ausführung der durch die Codebefehle spezifizierten Vorgänge ordnet die Back-End-Logik 260 die Befehle des Codes 213 zurück. In einer Ausführungsform erlaubt der Prozessorkern 200 eine Ausführung in anderer Reihenfolge, erfordert jedoch ein Rückordnen von Befehlen in der Reihenfolge. Rückordnungslogik 265 kann eine Vielzahl von Formen einnehmen, die Fachleuten auf dem Gebiet der Erfindung bekannt sind (z. B. Neuordnungspuffer oder dergleichen). Auf diese Weise wird der Prozessorkern 200 während der Ausführung des Codes 213 transformiert, zumindest in Bezug auf die durch den Decoder erzeugte Ausgabe, die Hardwareregister und Tabellen, die durch die Registerumbenennungslogik 225 genutzt werden, und beliebige (nicht gezeigte) Register, die durch die Ausführungslogik 250 modifiziert werden.
Obwohl in 4 nicht veranschaulicht, kann ein Verarbeitungselement weitere Elemente auf einem Chip mit dem Prozessorkern 200 umfassen. Beispielsweise kann ein Verarbeitungselement eine Speichersteuerlogik zusammen mit dem Prozessorkern 200 umfassen. Das Verarbeitungselement kann eine I/O-Steuerlogik umfassen und/oder kann eine I/O-Steuerlogik umfassen, die mit einer Speichersteuerlgoik integriert ist. Das Verarbeitungselement kann auch einen oder mehrere Caches umfassen.
Zusätzliche Anmerkungen und Beispiele:
Beispiel 1 kann ein System zur Realitätserweiterung umfassen, das eine Brille, umfassend einen transparenten Bildschirm, die mit einer Bildaufnahmevorrichtung auf einem Benutzer gekoppelt wird, und eine Realitätserweiterungsvorrichtung zum automatischen Erzeugen eines Erweiterte-Realität-Objekts basierend auf einer Identifikation eines Objekts in einem Sichtfeld des Benutzers umfasst, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche umfasst, wobei das Erweiterte-Realität-Objekt durch den Benutzer auf dem transparenten Bildschirm wahrnehmbar ist, wenn der Benutzer die Brille trägt.
Beispiel 2 kann das System nach Beispiel 1 umfassen, das ferner eine Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, und einen Synchronisator zum Synchronisieren von Daten aus der Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, mit Daten aus der Bildaufnahmevorrichtung auf dem Benutzer umfasst.
Beispiel 3 kann das System nach einem der Beispiele 1 bis 2 umfassen, das ferner eine Positionsbestimmungsvorrichtung zum Positionieren des Erweiterte-Realität-Objekts auf dem transparenten Bildschirm in Bezug auf die Reflexion des Benutzers, die über den transparenten Bildschirm passiert, umfasst.
Beispiel 4 kann eine Vorrichtung zur Realitätserweiterung umfassen, die eine Objektidentifikationsvorrichtung zum automatischen Identifizieren eines Objekts in einem Sichtfeld eines Benutzers, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche umfasst, und eine Realitätserweiterungsvorrichtung zum automatischen Erzeugen eines Erweiterte-Realität-Objekts basierend auf der Identifikation des Objekts umfasst.
Beispiel 5 kann die Vorrichtung nach Beispiel 4 umfassen, die ferner eine Bildaufnahmevorrichtung auf dem Benutzer zum Aufnehmen der Reflexion des Benutzers umfasst.
Beispiel 6 kann die Vorrichtung nach einem der Beispiele 4 bis 5 umfassen, die ferner eine Bilddaten-Identifikationsvorrichtung zum Identifizieren von Bilddaten für die Reflexion des Benutzers und eine Tiefendaten-Identifikationsvorrichtung zum Identifizieren von Tiefendaten für die Reflexion des Benutzers umfasst.
Beispiel 7 kann die Vorrichtung nach einem der Beispiele 4 bis 6 umfassen, die ferner eine Vorrichtungsidentifikationsvorrichtung zum Identifizieren einer Vorrichtung auf dem Benutzer, eine Skelettidentifikationsvorrichtung zum Identifizieren einer Körperposition des Benutzers, eine Gesichtsidentifikationsvorrichtung zum Identifizieren eines Gesichts des Benutzers und eine Gestenidentifikationsvorrichtung zum Identifizieren einer Geste durch den Benutzer umfasst.
Beispiel 8 kann die Vorrichtung nach einem der Beispiele 4 bis 7 umfassen, die ferner eine Kartenerstellungsvorrichtung zum Erzeugen einer Karte aus Bilddaten einer Szene, eine Merkmalsextraktionsvorrichtung zum Extrahieren eines Merkmals aus den Bilddaten der Szene und eine Positionsbestimmungsvorrichtung zum Positionieren des Benutzers auf der Karte basierend auf einer Verschiebung des Merkmals auf der Karte und Positionieren des Erweiterte-Realität-Objekts auf der Karte basierend auf der Position des Benutzers umfasst.
Beispiel 9 kann die Vorrichtung nach einem der Beispiele 4 bis 8 umfassen, die ferner einen Synchronisator zum Synchronisieren von Daten aus einer Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, mit Daten aus einer Bildaufnahmevorrichtung auf dem Benutzer umfasst.
Beispiel 10 kann die Vorrichtung nach einem der Beispiele 4 bis 9 umfassen, die ferner eine Positionsbestimmungsvorrichtung zum Positionieren des Erweiterte-Realität-Objekts auf einem transparenten Bildschirm in Bezug auf die Reflexion des Benutzers, die über den transparenten Bildschirm passiert, umfasst.
Beispiel 11 kann zumindest ein computerlesbares Speichermedium umfassen, das einen Satz von Befehlen umfasst, die bei Ausführung durch einen Prozessor herbeiführen, dass der Prozessor automatisch ein Objekt in einem Sichtfeld eines Benutzers identifiziert, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche umfasst, und automatisch ein Erweiterte-Realität-Objekt basierend auf der Identifikation des Objekts erzeugt.
Beispiel 12 kann zumindest ein computerlesbares Speichermedium nach Beispiel 11 umfassen, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor die Reflexion des Benutzers aufnimmt.
Beispiel 13 kann zumindest ein computerlesbares Speichermedium nach einem der Beispiele 11 bis 12 umfassen, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor Bilddaten für die Reflexion des Benutzers identifiziert und Tiefendaten für die Reflexion des Benutzers identifiziert.
Beispiel 14 kann zumindest ein computerlesbares Speichermedium nach einem der Beispiele 11 bis 13 umfassen, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor eine Vorrichtung auf dem Benutzer identifiziert, eine Körperposition des Benutzers identifiziert, ein Gesicht des Benutzers identifiziert und eine durch den Benutzer ausgeführte Geste identifiziert.
Beispiel 15 kann zumindest ein computerlesbares Speichermedium nach einem der Beispiele 11 bis 14 umfassen, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor eine Karte aus Bilddaten einer Szene erzeugt, ein Merkmal aus den Bilddaten der Szene extrahiert, den Benutzer auf der Karte basierend auf einer Verschiebung des Merkmals auf der Karte positioniert und das Erweiterte-Realität-Objekt auf der Karte basierend auf der Position des Benutzers positioniert.
Beispiel 16 kann zumindest ein computerlesbares Speichermedium nach einem der Beispiele 11 bis 15 umfassen, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor Daten aus einer Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, mit Daten aus einer Bildaufnahmevorrichtung auf dem Benutzer synchronisiert.
Beispiel 17 kann zumindest ein computerlesbares Speichermedium nach einem der Beispiele 11 bis 16 umfassen, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor das Erweiterte-Realität-Objekt auf einem transparenten Bildschirm in Bezug auf die Reflexion des Benutzers, die über den transparenten Bildschirm passiert, positioniert.
Beispiel 18 kann ein Verfahren zur Realitätserweiterung umfassen, das das automatische Identifizieren eines Objekts in einem Sichtfeld eines Benutzers, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche umfasst, und das automatische Erzeugen eines Erweiterte-Realität-Objekts basierend auf der Identifikation des Objekts umfasst.
Beispiel 19 kann das Verfahren nach Beispiel 18 umfassen, das ferner das Aufnehmen der Reflexion des Benutzers umfasst.
Beispiel 20 kann das Verfahren nach einem der Beispiele 18 bis 19 umfassen, das ferner das Identifizieren von Bilddaten für die Reflexion des Benutzers und das Identifizieren von Tiefendaten für die Reflexion des Benutzers umfasst.
Beispiel 21 kann das Verfahren nach einem der Beispiele 18 bis 20 umfassen, das ferner das Identifizieren einer Vorrichtung auf dem Benutzer, das Identifizieren einer Körperposition des Benutzers, das Identifizieren eines Gesichts des Benutzers und das Identifizieren einer Geste durch den Benutzer umfasst.
Beispiel 22 kann das Verfahren nach einem der Beispiele 18 bis 21 umfassen, das ferner das Erzeugen einer Karte aus Bilddaten einer Szene, das Extrahieren eines Merkmals aus den Bilddaten der Szene, das Positionieren des Benutzers auf der Karte basierend auf einer Verschiebung des Merkmals auf der Karte und das Positionieren des Erweiterte-Realität-Objekts auf der Karte basierend auf der Position des Benutzers umfasst.
Beispiel 23 kann das Verfahren nach einem der Beispiele 18 bis 22 umfassen, das ferner das Synchronisieren von Daten aus einer Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, mit Daten aus einer Bildaufnahmevorrichtung auf dem Benutzer umfasst.
Beispiel 24 kann das Verfahren nach einem der Beispiele 18 bis 23 umfassen, das ferner das Positionieren des Erweiterte-Realität-Objekts auf einem transparenten Bildschirm in Bezug auf die Reflexion des Benutzers, die über den transparenten Bildschirm passiert, umfasst.
Beispiel 25 kann eine Vorrichtung zur Realitätserweiterung umfassen, die Mittel zum Ausführen des Verfahrens nach einem der Beispiele 18 bis 24 umfasst.
Somit stellen hierin beschriebene Verfahren Intelligente-Spiegel-Funktionalität bereit, während ein herkömmlicher Spiegel und eine 3D-erweiterte AR-Brille eingesetzt werden. Beispielsweise kann ein Benutzer durch das Tragen einer AR-Brille erweiterte Realität erleben, während der Benutzer einem herkömmlichen Spiegel zugewandt ist. Die AR-Brille ist gegebenenfalls nicht an relativ teure herkömmliche intelligente Spiegeltechnologien gebunden und kann mit einer beliebigen reflektierenden Oberfläche verwendet werden, die eine Reflexion bereitstellt. Darüber hinaus erfordert die reflektierende Oberfläche gegebenenfalls keine eingebetteten Sensoren, da natürlicher relevanter Inhalt durch eine transparente AR-Brille in Bezug auf beispielsweise die Reflexion des Benutzers zu einer Sichtweise eines Benutzers dargestellt werden kann. Zusätzlich dazu sind gegebenenfalls keine relativ komplexen Anzeigetechnologien erforderlich sein, da eine reflektierende Oberfläche verwendet werden kann (z. B. ein herkömmlicher Spiegel). Das Gesicht, Skelett und/oder die Geste eines Benutzers können unter Verwendung der Reflexion des Benutzers überwacht und/oder analysiert werden.
In einem Beispiel, in dem ein Benutzer vor einem Spiegel steht und eine AR-Brille trägt, kann der Benutzer seine bzw. die Benutzerin ihre Reflexion in unterschiedlicher Kleidung sehen, wenn sich der Benutzer bewegt, kann die Erweiterung auf realistische Weise dargestellt werden, da der Benutzer nachverfolgt werden kann und ein virtuelles Bild (z. B. die Reflexion) basierend auf 3D-erweiterter Objekterkennung und/oder SLAM-Verfahren erweitert werden kann. Das gespiegelte Bild kann nachverfolgt werden, wenn sich der Benutzer vor dem Spiegel bewegt und eine 3D-erweiterte AR-Brille trägt, und zwar über eine RGB-D-Analyse des gespiegelten Bildes, und Erweiterung basierend auf der Verwendung (z. B. einer Anwendung etc.) kann über 2D- und/oder 3D-Daten (z. B. Datum, Temperatur, Stimmungslage, Gesundheitszustand etc.) bereitgestellt werden.
Eine dem Benutzer zugewandte RGB-D-Kamera kann auch verwendet werden, um akut präzisierte Gesten nachzuverfolgen und/oder ein gespiegeltes Bild zu erweitern, wobei Daten aus der dem Benutzer zugewandten RGB-D-Kamera mit Daten aus der RGB-D-Kamera auf dem Benutzer synchronisiert werden können. Ausführungsformen unterstützen auch die Verwendung von multimodalen Wahrnehmungsrechentechnologien, die 3D-Tiefenberechnungen nutzen, einschließlich Gesichtserkennung, Skelettnachverfolgung, Gestennachverfolgung etc.
Ausführungsformen sind für die Verwendung mit allen Typen von integrierten Halbleiterschaltungs- („IC-“) Chips anwendbar. Beispiele für diese IC-Chips umfassen, ohne darauf eingeschränkt zu sein, Prozessoren, Steuerungen, Chipsatzkomponenten, programmierbare Logikanordnungen (PLAs), Speicherchips, Netzwerkchips, Systems-on-Chip (SoCs), SSD/NAND-Steuerung-ASICs und dergleichen. Zusätzlich dazu sind in manchen Zeichnungen Signalleiterleitungen anhand von Linien dargestellt. Manche davon können verschieden sein, um konstitutivere Signalpfade anzuzeigen, eine Zahlenmarkierung aufweisen, um eine Anzahl von konstitutiven Signalpfaden anzugeben, und/oder Pfeile an einem oder mehreren Enden aufweisen, um eine primäre Richtung eines Informationsflusses anzugeben. Dies sollte allerdings nicht auf einschränkende Weise ausgelegt werden. Vielmehr kann ein solches zusätzliches Detail in Verbindung mit einer oder mehreren beispielhaften Ausführungsformen verwendet werden, um ein einfacheres Verständnis einer Schaltung zu ermöglichen. Jegliche dargestellten Signallinien, ob sie zusätzliche Informationen aufweisen oder nicht, können ein oder mehrere Signale umfassen, die sich in mehreren Richtungen bewegen können und mit einem beliebigen Typ von Signalschema implementiert werden können, z. B. digitalen oder analogen Leitungen, die mit verschiedenen Paaren implementiert sind, Lichtwellenleitern und/oder Leitungen mit einseitigen Anschlüssen.
Es wurden beispielhafte Größen/Modelle/Werte/Bereiche dargelegt, wenngleich Ausführungsformen nicht auf diese beschränkt sind. Da Herstellverfahren (z. B. Photolithographie) mit der Zeit weiterentwickelt werden, wird davon ausgegangen, dass Vorrichtungen kleiner Größe hergestellt werden können. Zusätzlich dazu können hinlänglich bekannte Stromanschlüsse/Masseverbindungen mit IC-Chips und andere Komponenten in den Figuren der einfacheren Veranschaulichung und Diskussion halber und um bestimmte Aspekte der Ausführungsformen nicht unverständlich erscheinen zu lassen, gezeigt oder nicht gezeigt sein. Ferner können Anordnungen in Form von Blockdiagrammen gezeigt sein, um Ausführungsformen nicht unverständlich erscheinen zu lassen und auch im Hinblick auf die Tatsache, dass die Spezifika in Bezug auf die Implementierung solcher Blockdiagramm-Anordnungen stark von dem Rechensystem abhängen, in dem die Ausführungsform zu implementieren ist, d. h., solche Spezifika sollten durchaus im Bereich von Fachleuten auf dem Gebiet der Erfindung liegen. Wenn spezifische Details (z. B. Schaltungen) dargelegt sind, um beispielhafte Ausführungsformen zu beschreiben, ist Fachleuten auf dem Gebiet der Erfindung klar, dass Ausführungsformen ohne oder mit einer Variation dieser spezifischen Details praktisch durchgeführt werden können. Die Beschreibung ist daher als veranschaulichend und nicht als einschränken zu erachten.
Der Begriff „gekoppelt“ kann hierin so verwendet werden, dass er sich auf einen beliebigen Typ von Zusammenhang, direkt oder indirekt, zwischen den betreffenden Komponenten bezieht, und kann auf elektrische, mechanische, Fluid-, optische, elektromagnetische, elektromechanische oder andere Verbindungen zutreffen. Zusätzlich dazu können die Begriffe „erstes“, „zweites“ etc. hierin nur verwendet werden, um die Diskussion zu erleichtern, und tragen keine bestimmte zeitliche oder chronologische Signifikanz, wenn nicht anders angegeben.
Wie in der vorliegenden Anmeldung und in den Ansprüchen verwendet, kann eine Aufzählung von Punkten, die durch den Ausdruck „ein oder mehrere von“ oder „zumindest eines von“ verbunden sind, eine beliebige Kombination der angeführten Begriffe meinen. Beispielsweise können die Ausdrücke „ein oder mehrere von A, B und C“ meinen: A; B; C; A und B; A und C; B und C; oder A, B und C. Zusätzlich dazu kann eine Liste von Punkten, die durch den Begriff „usw.“ oder „etc.“ verbunden sind, eine beliebige Kombination der angeführten Begriffe sowie eine beliebige Kombination mit anderen Begriffen meinen.
Für Fachleute auf dem Gebiet der Erfindung versteht es sich aus der vorangegangenen Beschreibung, dass die diversen Verfahren der Ausführungsformen in zahlreichen Formen implementiert werden können. Obwohl die Ausführungsformen in Verbindung mit bestimmten Beispielen dafür beschrieben wurden, sollte daher der tatsächliche Schutzumfang der Ausführungsformen nicht dahingehend beschränkt sein, da sich Fachleuten beim Studieren der Zeichnungen, der Beschreibung und den folgenden Ansprüchen weitere Modifikationen erschließen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15087478 [0001]

Claims

System zur Realitätserweiterung, das Folgendes umfasst: eine Brille, umfassend einen transparenten Bildschirm, die mit einer Bildaufnahmevorrichtung auf einem Benutzer gekoppelt wird, und eine Realitätserweiterungsvorrichtung zum automatischen Erzeugen eines Erweiterte-Realität-Objekts basierend auf einer Identifikation eines Objekts in einem Sichtfeld des Benutzers, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche umfasst, wobei das Erweiterte-Realität-Objekt durch den Benutzer auf dem transparenten Bildschirm wahrnehmbar ist, wenn der Benutzer die Brille trägt.
System nach Anspruch 1, das ferner Folgendes umfasst: eine Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, und einen Synchronisator zum Synchronisieren von Daten aus der Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, mit Daten aus der Bildaufnahmevorrichtung auf dem Benutzer.
System nach einem der Ansprüche 1 bis 2, das ferner eine Positionsbestimmungsvorrichtung zum Positionieren des Erweiterte-Realität-Objekts auf dem transparenten Bildschirm in Bezug auf die Reflexion des Benutzers umfasst, die über den transparenten Bildschirm passiert.
Vorrichtung zur Realitätserweiterung, die Folgendes umfasst: eine Objektidentifikationsvorrichtung zum automatischen Identifizieren eines Objekts in einem Sichtfeld eines Benutzers, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche umfasst, und eine Realitätserweiterungsvorrichtung zum automatischen Erzeugen eines Erweiterte-Realität-Objekts basierend auf der Identifikation des Objekts.
Vorrichtung nach Anspruch 4, die ferner eine Bildaufnahmevorrichtung auf dem Benutzer zum Aufnehmen der Reflexion des Benutzers umfasst.
Vorrichtung nach Anspruch 4, die ferner Folgendes umfasst: eine Bilddaten-Identifikationsvorrichtung zum Identifizieren von Bilddaten für die Reflexion des Benutzers und eine Tiefendaten-Identifikationsvorrichtung zum Identifizieren von Tiefendaten für die Reflexion des Benutzers.
Vorrichtung nach Anspruch 4, die ferner Folgendes umfasst: eine Vorrichtungsidentifikationsvorrichtung zum Identifizieren einer Vorrichtung auf dem Benutzer, eine Skelettidentifikationsvorrichtung zum Identifizieren einer Körperposition des Benutzers, eine Gesichtsidentifikationsvorrichtung zum Identifizieren eines Gesichts des Benutzers und eine Gestenidentifikationsvorrichtung zum Identifizieren einer Geste durch den Benutzer.
Vorrichtung nach Anspruch 4, die ferner Folgendes umfasst: eine Kartenerstellungsvorrichtung zum Erzeugen einer Karte aus Bilddaten einer Szene, eine Merkmalsextraktionsvorrichtung zum Extrahieren eines Merkmals aus den Bilddaten der Szene und eine Positionsbestimmungsvorrichtung zum Positionieren des Benutzers auf der Karte basierend auf einer Verschiebung des Merkmals auf der Karte und Positionieren des Erweiterte-Realität-Objekts auf der Karte basierend auf der Position des Benutzers.
Vorrichtung nach Anspruch 4, die ferner einen Synchronisator zum Synchronisieren von Daten aus einer Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, mit Daten aus einer Bildaufnahmevorrichtung auf dem Benutzer umfasst.
Vorrichtung nach einem der Ansprüche 4 bis 10, die ferner eine Positionsbestimmungsvorrichtung zum Positionieren des Erweiterte-Realität-Objekts auf einem transparenten Bildschirm in Bezug auf die Reflexion des Benutzers, die über den transparenten Bildschirm passiert, umfasst.
Zumindest ein computerlesbares Speichermedium, das einen Satz von Befehlen umfasst, die bei Ausführung durch einen Prozessor herbeiführen, dass der Prozessor: automatisch ein Objekt in einem Sichtfeld eines Benutzers identifiziert, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche umfasst; und automatisch ein Erweiterte-Realität-Objekt basierend auf der Identifikation des Objekts erzeugt.
Zumindest ein computerlesbares Speichermedium nach Anspruch 11, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor die Reflexion des Benutzers aufnimmt.
Zumindest ein computerlesbares Speichermedium nach Anspruch 11, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor: Bilddaten für die Reflexion des Benutzers identifiziert; und Tiefendaten für die Reflexion des Benutzers identifiziert.
Zumindest ein computerlesbares Speichermedium nach Anspruch 11, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor: eine Vorrichtung auf dem Benutzer identifiziert; eine Körperposition des Benutzers identifiziert; ein Gesicht des Benutzers identifiziert; und eine durch den Benutzer ausgeführte Geste identifiziert.
Zumindest ein computerlesbares Speichermedium nach Anspruch 11, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor: eine Karte aus Bilddaten einer Szene erzeugt; ein Merkmal aus den Bilddaten der Szene extrahiert; den Benutzer auf der Karte basierend auf einer Verschiebung des Merkmals auf der Karte positioniert; und das Erweiterte-Realität-Objekt auf der Karte basierend auf der Position des Benutzers positioniert.
Zumindest ein computerlesbares Speichermedium nach Anspruch 11, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor Daten aus einer Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, mit Daten aus einer Bildaufnahmevorrichtung auf dem Benutzer synchronisiert.
Zumindest ein computerlesbares Speichermedium nach einem der Ansprüche 11 bis 16, wobei die Befehle bei Ausführung herbeiführen, dass der Prozessor das Erweiterte-Realität-Objekt auf einem transparenten Bildschirm in Bezug auf die Reflexion des Benutzers, die über den transparenten Bildschirm passiert, positioniert.
Verfahren zur Realitätserweiterung, das Folgendes umfasst: automatisches Identifizieren eines Objekts in einem Sichtfeld eines Benutzers, das eine Reflexion des Benutzers von einer reflektierenden Oberfläche umfasst; und automatisches Erzeugen eines Erweiterte-Realität-Objekts basierend auf der Identifikation des Objekts.
Verfahren nach Anspruch 18, das ferner das Aufnehmen der Reflexion des Benutzers umfasst.
Verfahren nach Anspruch 18, das ferner Folgendes umfasst: Identifizieren von Bilddaten für die Reflexion des Benutzers; und Identifizieren von Tiefendaten für die Reflexion des Benutzers.
Verfahren nach Anspruch 18, das ferner Folgendes umfasst: Identifizieren einer Vorrichtung auf dem Benutzer; Identifizieren einer Körperposition des Benutzers; Identifizieren eines Gesichts des Benutzers; und Identifizieren einer Geste durch den Benutzer.
Verfahren nach Anspruch 18, das ferner Folgendes umfasst: Erzeugen einer Karte aus Bilddaten einer Szene; Extrahieren eines Merkmals aus den Bilddaten der Szene; Positionieren des Benutzers auf der Karte basierend auf einer Verschiebung des Merkmals auf der Karte; und Positionieren des Erweiterte-Realität-Objekts auf der Karte basierend auf der Position des Benutzers.
Verfahren nach Anspruch 18, das ferner das Synchronisieren von Daten aus einer Bildaufnahmevorrichtung, die dem Benutzer zugewandt ist, mit Daten aus einer Bildaufnahmevorrichtung auf dem Benutzer umfasst.
Verfahren nach einem der Ansprüche 18 bis 23, das ferner das Positionieren des Erweiterte-Realität-Objekts auf einem transparenten Bildschirm in Bezug auf die Reflexion des Benutzers, die über den transparenten Bildschirm passiert, umfasst.
Vorrichtung zur Realitätserweiterung, die Mittel zum Ausführen eines Verfahrens nach einem der Ansprüche 19 bis 24 umfasst.