DE112016005818T5 - Umstellung erweiterter realitätsobjekte in physischen und digitalen umgebungen - Google Patents

Umstellung erweiterter realitätsobjekte in physischen und digitalen umgebungen Download PDF

Info

Publication number
DE112016005818T5
DE112016005818T5 DE112016005818.7T DE112016005818T DE112016005818T5 DE 112016005818 T5 DE112016005818 T5 DE 112016005818T5 DE 112016005818 T DE112016005818 T DE 112016005818T DE 112016005818 T5 DE112016005818 T5 DE 112016005818T5
Authority
DE
Germany
Prior art keywords
sensor
digital
renderable
property
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112016005818.7T
Other languages
English (en)
Inventor
Glen J. Anderson
Reese Bowes
Ankur Agrawal
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE112016005818T5 publication Critical patent/DE112016005818T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Es sind Apparate, Verfahren und Speichermedien beschrieben, die mit einer Umstellung eines erweiterten Realitätsobjekts zwischen physischen und digitalen Umgebungen verknüpft sind, wobei das erweiterte Realitätsobjekt in zumindest zwei informationstragenden Objekten eingegliedert ist, wobei die informationstragenden Objekte ein sensoraktiviertes physisches Objekt und ein digitales Objekt umfassen.

Description

  • Verwandte Anmeldung
  • Diese Anmeldung beansprucht die Priorität der U.S. Anmeldung Nr. 14/971,781, eingereicht am 16. Dezember 2015 mit dem Titel „TRANSITIONING AUGMENTED REALITY OBJECTS IN PHYSICAL AND DIGITAL ENVIRONMENTS“.
  • Technisches Gebiet
  • Die vorliegende Offenbarung betrifft das Gebiet der Berechnung. Insbesondere betrifft die vorliegende Offenbarung erweiterte Realitätsobjekte und eine Umstellung erweiterter Realitätsobjekte zwischen physischen und digitalen Umgebungen.
  • Hintergrund
  • Die hier vorgesehene Beschreibung des Hintergrunds dient einer allgemeinen Darstellung des Kontexts der Offenbarung. Falls hier nicht anderes angegeben ist, sind die in diesem Abschnitt beschriebenen Materialien nicht Stand der Technik für die Ansprüche in dieser Anmeldung und sollen kein Stand der Technik durch Aufnahme in diesen Abschnitt sein.
  • Von Spielcomputern ist bekannt, dass sie Steuerungen enthalten, die einem Benutzer erlauben, ein Objekt auf dem Bildschirm zu steuern. Zum Beispiel kann ein Rad auf einer Steuerung gedreht werden, um eine digitale Darstellung eines Autos auf einer digitalen Fahrbahn zu lenken oder ein in der Hand gehaltener Stab kann geschwenkt werden, um eine digitale Bowlingkugel entlang einer digitalen Darstellung einer Bowlingbahn zu „werfen“ oder zu „rollen“. Die digitale Darstellung des Autos oder der Bowlingkugel wird jedoch nicht in eine reale, physische Umgebung und auch nicht zurück in die digitale Umgebung umgestellt.
  • Figurenliste
  • Ausführungsformen werden durch die folgende ausführliche Beschreibung in Verbindung mit den beiliegenden Zeichnungen verständlich. Zur Erleichterung dieser Beschreibung bezeichnen gleiche Bezugszeichen gleiche Strukturelemente. Ausführungsformen sind in den Figuren der beiliegenden Zeichnungen nur als Beispiel und nicht zur Einschränkung dargestellt.
    • 1 ist ein Netzwerk- und Vorrichtungsdiagramm, das Beispiele für Netzwerk(e), Rechenvorrichtungen und ein physisches und logisches Verhältnis dieser Komponenten gemäß verschiedenen Ausführungsformen zeigt; und 1 enthält eine Illustration eines Beispiels eines erweiterten Realitätsobjekts, das zwischen physischen, digitalen und wieder physischen Ausführungsformen umgestellt wird.
    • 2 ist ein Funktionsblockdiagramm, das ein Beispiel eines erweiterten Realitätsservers zeigt.
    • 3 ist ein Blockdiagramm, das ein Beispiel eines Datenspeichers eines erweiterten Realitätsservers zeigt.
    • 4 ist ein Ablaufdiagramm, das ein Beispiel eines Verfahrens zeigt, das durch ein Modalitätsverfolgungsmodul ausgeführt werden kann.
    • 5 ist ein Ablaufdiagramm, das ein Beispiel eines Verfahrens zeigt, das durch ein Aktuatormodul ausgeführt werden kann.
    • 6 ist ein Ablaufdiagramm, das ein Beispiel eines Verfahrens zeigt, das durch ein Sensormodul ausgeführt werden kann.
    • 7 ist ein Funktionsblockdiagramm, das ein Beispiel eines erweiterten Realitätsobjekts zeigt, das zwischen Umgebungen und an mehr als einer Stelle umgestellt wird.
    • 8 ist ein Funktionsblockdiagramm, das ein Beispiel mehrerer erweiterter Realitätsobjekte zeigt, die zwischen Umgebungen umgestellt werden.
    • 9A ist ein Funktionsblockdiagramm, das ein Beispiel eines erweiterten Realitätsobjekts in einer Umgebung zeigt.
    • 9B ist ein Funktionsblockdiagramm des erweiterten Realitätsobjekts von Figur 9A, das in eine andere Umgebung umgestellt wird.
  • Ausführliche Beschreibung
  • In der folgenden ausführlichen Beschreibung wird auf die beiliegenden Zeichnungen Bezug genommen, die einen Teil derselben bilden, wobei gleiche Bezugszeichen durchgehend gleiche Teile bezeichnen und in welchen zur Illustration Ausführungsformen dargestellt sind, die ausgeführt werden können. Es ist klar, dass andere Ausführungsformen verwendet werden können und strukturelle oder logische Änderungen vorgenommen werden können, ohne vom Umfang oder Wesen der vorliegenden Offenbarung abzuweichen. Daher ist die folgende ausführliche Beschreibung nicht in einem einschränkenden Sinn zu verstehen und der Umfang von Ausführungsformen ist durch die beiliegenden Ansprüche und ihre Äquivalente definiert.
  • Verschiedene Vorgänge können als mehrere einzelne Aktionen oder wiederum Operationen in einer Weise beschrieben sein, die für ein Verständnis des beanspruchten Gegenstands am hilfreichsten sind. Die Reihenfolge der Beschreibung soll jedoch nicht so ausgelegt werden, dass sie impliziert, dass diese Operationen unbedingt von der Reihenfolge abhängig sind. Insbesondere brauchen diese Operationen nicht in der Reihenfolge der Darstellung ausgeführt werden. Die beschriebenen Operationen können in einer anderen Reihenfolge als in der beschriebenen Ausführungsform ausgeführt werden. Verschiedene zusätzliche Operationen können ausgeführt werden und/oder beschriebene Operationen können in zusätzlichen Ausführungsformen unterlassen werden.
  • Für den Zweck der vorliegenden Offenbarung bedeutet die Phrase „A und/oder B“ (A), (B) oder (A und B). Für den Zweck der vorliegenden Offenbarung bedeutet die Phrase „A, B und/oder C“ (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C).
  • Die Beschreibung kann die Phrasen „in einer Ausführungsform“, oder „in Ausführungsformen“ verwenden, was sich auf eine oder mehrere derselben oder verschiedener Ausführungsformen beziehen kann. Ferner sind die Begriffe „umfassend“, „enthaltend“, „aufweisend“ und dergleichen, wie in Bezug auf Ausführungsformen der vorliegenden Offenbarung verwendet, synonym. Die Verwendung eines Bezugszeichens ohne Buchstabensuffix ist ein Verweis auf eine Art von Komponente, die alle Komponenten beinhaltet, die mit dem gemeinsamen Bezugszeichen dargestellt sind.
  • Wie hier verwendet, kann sich der Begriff „Modul“ auf eine anwendungsspezifische integrierte Schaltung (ASIC), ein System-on-Chip (SoC), eine elektronische Schaltung, einen Prozessor (gemeinsam benutzt, zweckbestimmt oder Gruppe) und/oder einen Speicher (gemeinsam benutzt, zweckbestimmt oder Gruppe), die ein oder mehrere Software- oder Firmware-Programme ausführen, eine logische Kombinationsschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, beziehen, ein Teil davon sein oder diese enthalten.
  • Im Überblick sind Verfahren und Vorrichtungen offenbart, um ein erweitertes Realitätsobjekt zwischen physischen und digitalen Umgebungen umzustellen, wobei das erweiterte Realitätsobjekt in jeder Umgebung als ein informationstragendes Objekt („ICO“) vorhanden sein kann, wobei ein Sensor ein erstes ICO überwacht, wobei das erste ICO das erweiterte Realitätsobjekt verkörpert, wobei der Sensor auch eine Eigenschaft des ersten ICO in der ersten Umgebung überwacht, wobei ein Parameter der Eigenschaft gemessen wird, wobei die Eigenschaft ein Umstellungsereignisauslöser zum Instanziieren der erweiterten Realitätsobjekts in einem zweiten ICO in der zweiten Umgebung ist, wobei ein Aktuator ein renderbares Attribut im zweiten ICO aktiviert und wobei das renderbare Attribut die Eigenschaft des ersten ICO gemäß dem Parameter angleicht.
  • Unter Bezugnahme auf 1 ist ein erweiterter Realitätsserver-1 200 dargestellt. Der erweiterte Realitätsserver-1 200 ist ferner in 2 so dargestellt, dass er ein Modalitätsverfolgungsmodul 400 (näher dargestellt in 4), ein Aktuatormodul 500 (näher dargestellt in 5), ein Sensordetektionsmodul 600 (näher dargestellt in 6) und ein Digitalobjektrendermodul 260 umfasst. Diese Module kommunizieren über ein lokales Netzwerk 155 (oder über Netzwerk 150) mit einem Sensor 120, einem Aktuator 135 und einer Anzeige 125.
  • Der Sensor 120 und Aktuator 135 erfassen und steuern eine ICO-1 sensoraktivierte Vorrichtung-1 115, ein ICO-2 Anzeigeobjekt 130 und eine ICO-3 sensoraktivierte Vorrichtung-2 140.
  • Der Sensor 120 kann ein Sensor von Objekten in der physischen Umgebung sein, wie ein Mikrofon, ein Drucksensor, ein Bewegungsdetektor, eine Kamera, eine kapazitive Oberfläche, ein Leitungsdetektor, ein Detektor elektromagnetischer Energie (wie RF, Infrarot, sichtbares Licht usw.), ein Vibrationsdetektor, ein Näherungsdetektor, ein Passermarkendetektor und dergleichen.
  • Zum Beispiel kann der Sensor 120 ein physisches Objekt, wie einen Bean Bag oder Schaumstoffpfeil, der auf einen berührungs- oder näheempfindlichen Bildschirm, ein Ziel oder eine Anzeige geworfen wird oder auf andere Weise in dessen bzw. deren Nähe oder mit diesem bzw. dieser in Kontakt gelangt, detektieren. Ein berührungs- oder näheempfindlicher Bildschirm, ein Ziel oder eine Anzeige kann in eine digitale Rendervorrichtung, wie zum Beispiel die Anzeige 125 integriert sein. In diesem Beispiel kann die Detektion des Objekts durch den Sensor 120 über eine oder mehr Kamera(s), die das Objekt verfolgen, über berührungs- oder näheempfindliche Detektoren in der Anzeige, über einen akustischen Sensor und dergleichen erfolgen.
  • Der Sensor 120 kann auch ein Sensor von Objekten in einer digitalen Umgebung sein, die zum Beispiel in der Anzeige 125 gerendert wird; in diesem Fall kann der Sensor 120 eine Registrierung durch ein Sensormodul bei einem digitalen Objektrendermodul und/oder bei einem Betriebssystem umfassen. Eine solche Registrierung kann dem Sensor 120 ermöglichen, Informationen bezüglich des Renderns des digitalen Objekts in der digitalen Umgebung zu empfangen.
  • Egal, ob Objekte in der physischen Umgebung oder in einer digitalen Umgebung gemessen werden, der Sensor 120 kann zum Beispiel digitale oder physische Eigenschaften von Objekten in den entsprechenden Umgebungen detektieren. Diese Eigenschaften können zum Beispiel eine Zeit, eine Orientierung, eine Position, eine Positionsänderungsrate, eine relative Position, eine codierte Information, eine Farbe und einen Ton umfassen. Orientierung, Position und Positionsänderungsrate können relativ zum Sensor 120, relativ zu einem anderen Objekt (wie relativ zum berührungsempfindlichen Bildschirm, relativ zum Rand eines Bildschirms, der als weiteres digitales Objekt verstanden werden kann) oder relativ zu einem externen Referenzrahmen sein. Gewisse solcher Eigenschaften können Umstellungsereignisauslöser (hier näher besprochen) sein, wobei in diesem Fall solche Eigenschaften im erweiterten Realitätsdatenspeicher 300 als Aufzeichnungen der Eigenschaft 340 gespeichert werden können.
  • Die Auswahl, von welchem (welchen) Objekt(en) eine Eigenschaft, die sich auf diese(s) bezieht, zu erfassen und/oder aufzuzeichnen ist, kann davon abhängig sein, ob ein solches Objekt (solche Objekte) als informationstragendes Objekt („ICO“), wie die ICO-1 sensoraktivierte Vorrichtung-1 115, das ICO-2 Anzeigeobjekt 130 und die ICO-3 sensoraktivierte Vorrichtung-2 140, identifiziert werden kann (können). Eine Unterscheidung von ICOs von anderen Objekten kann zum Beispiel durch das Modalitätsverfolgungsmodul 400 und/oder Sensordetektionsmodul 600 ausgeführt werden.
  • In der physischen Umgebung kann ein ICO ein physisches Objekt umfassen, das einen Emitter von zumindest einer von Informationen umfasst, die in akustischer Energie, elektromagnetischer Strahlung, elektrischer Energie, Beschleunigung und Magnetfeld codiert sind. Zum Beispiel kann ein physisches ICO einen Bean Bag, einen Ball, einen Wurfpfeil, einen Block, einen Baustein oder dergleichen umfassen, die aus einer Vielzahl von Materialien (Kunststoffe, Metalle, Holz, Verbundmaterialien oder anderen) bestehen, mit einem Strichcode, QR-Code oder einer anderen erkennbaren Struktur oder einem anderen erkennbaren Muster, RFID, einem aktiven oder passive Sender-Empfänger oder dergleichen. Das physische ICO kann auch einen Detektor solcher Informationen und einen Sender, der imstande ist, solche detektierten Informationen (oder ein Ergebnis davon) zu einem Sensor 120 zu senden oder zu kommunizieren, umfassen. Beide Beispiele werden hier als „sensoraktivierte Vorrichtung“ bezeichnet, da sie Objekte oder Vorrichtungen sind, die ein Sensor, wie der Sensor 120, detektieren kann. Aufzeichnungen bezüglich solcher physischer ICOs können im erweiterten Realitätsdatenspeicher 300 als sensoraktiviertes Objekt 315 gespeichert werden.
  • In einer digitalen Umgebung können ICOs Informationen umfassen, die in einem digitalen Objekt codiert sind. Digitale Objekt-ICOs können gerenderte Eigenschaften wie Pixel, Audio, einen vibrierenden oder einen anderen haptischen Ausgang (über einen haptischen Emitter), einen Geruch (über chemische Emitter) und dergleichen umfassen. Aufzeichnungen bezüglich solcher digitaler ICOs können im erweiterten Realitätsdatenspeicher 300 als digitales Objekt 320 gespeichert werden. Aufzeichnungen sowohl des sensoraktivierten Objekts 315 wie auch des digitalen Objekts 320 können Unterarten von Aufzeichnungen des informationstragenden Objekts 310 sein.
  • Im Fall sowohl physischer Objekt- wie auch digitaler Objekt-ICOs kann das ICO eine Kennung codieren oder mit dieser verknüpft sein, wobei die Kennung und zusätzliche Informationen in einer Aufzeichnung des sensoraktivierten Objekts 315, digitalen Objekts 320 und/oder informationstragenden Objekts 310 gespeichert werden können.
  • Aktuatoren, wie Aktuator 135, können ein Objekt, das ein ICO enthält, in einer digitalen oder der physischen Umgebung steuern. Im Fall der physischen Umgebung kann der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung (wie haptische Vorrichtung 110), einem Motor (enthaltend Servos, Drehmotoren, Linearmotoren, piezoelektrische Sensoren und Aktuatoren), einem Schalter, einer Quelle von unter Druck stehendem Wasser, Luft oder einem anderen Gas oder Fluid, einer Projektilausstoßvorrichtung (wie eine federbelastete, Druckluft- oder andere Pistole) und einer Steuerung davon, einem digitalen Rendermodul (zum Beispiel ein physisches Objekt mit einem digitalen Rendermodul darin) und/oder einer anderen Art zur Steuerung einer akustischen Energieemission, einer elektromagnetischen Strahlungsemission, einer elektrischen Energieanwendung, einem Magnetfeld und einer Beschleunigung oder Bremsung, die durch ein physisches Objekt, einschließlich durch ein ICO, ausgestrahlt oder erfahren wird, umfassen. Im Fall einer digitalen Umgebung kann der Aktuator eine Registrierung bei einem digitalen Objektrendermodul und/oder bei einem Betriebssystem umfassen. Eine solche Registrierung kann dem Aktuator 135 erlauben, ein Rendern eines digitalen Objekts in der digitalen Umgebung zu steuern.
  • ICOs, Sensoren, Aktuatoren und erweiterte Realitätsserver können gepaart werden.
  • Sowohl in einer physischen wie auch digitalen Umgebung können erweiterte Realitätsserver-1 200 unter Verwendung des Sensordetektionsmoduls 600 und Sensors 120 Eigenschaften von ICOs detektieren. Gewisse der Eigenschaften können Umstellungsereignisauslöser sein, die signalisieren, dass ein erweitertes Realitätsobjekt von einem ersten erweiterten Realitätsobjektzustand in einen zweiten erweiterten Realitätsobjektzustand umgestellt werden sollen. Erweiterte Realitätsobjektzustände können im erweiterten Realitätsdatenspeicher 300 als Aufzeichnungen des ARO-Zustands 370 gespeichert werden. Im ersten erweiterten Realitätsobjektzustand kann das erweiterte Realitätsobjekt 305 in einem ersten ICO eingegliedert werden; im zweiten erweiterten Realitätsobjektzustand kann das erweiterte Realitätsobjekt 305 in einem zweiten ICO eingegliedert werden. Umschaltereignisauslöser können im erweiterten Realitätsdatenspeicher 300 als Umschaltereignisauslöser 345 gespeichert werden.
  • Zum Beispiel kann in 1 der erweiterte Realitätsserver-1 200, über das Modalitätsverfolgungsmodul 400, den Sensor 120 und das Sensordetektionsmodul 600, detektieren, dass die Person-1 105 einen Schaumstoffpfeil, Ball oder dergleichen geworfen hat, dargestellt durch die ICO-1 sensoraktivierte Vorrichtung-1 115. Eine Annäherung der ICO-1 sensoraktivierten Vorrichtung-1 115 an das Ziel, wie die Anzeige 125, oder dessen Nähe kann eine Eigenschaft 340 sein, die mit der ICO-1 sensoraktivierten Vorrichtung-1 115 verknüpft ist, die auch ein Umschaltereignisauslöser 345 ist, der signalisiert, dass ein erweitertes Realitätsobjekt von einem ersten Zustand, ARO-Zustand 370, in dem das erweiterte Realitätsobjekt 305 in der ICO-1 sensoraktivierten Vorrichtung-1 115 eingegliedert ist, in einen zweiten ARO-Zustand 370 umgestellt werden soll, in dem das erweiterte Realitätsobjekt 305 im ICO-2 Anzeigeobjekt 130 eingegliedert ist.
  • Die Umstellung des erweiterten Realitätsobjekts 305 von der ICO-1 sensoraktivierten Vorrichtung-1 115 zum ICO-2 Anzeigeobjekt 130 kann durch das Modalitätsverfolgungsmodul 400 erwirkt werden, das eine Umstellungsereignisausgabe in Relation zur detektierten Eigenschaft 340 bestimmt. Die Umstellungsereignisausgabe kann einen Bereich von Ausgaben umfassen, abhängig davon, was als nächstes ICO bestimmt ist. Die Umstellungsereignisausgabe kann im erweiterten Realitätsdatenspeicher 300 als Umstellungsereignisausgabe 350 gespeichert werden. Die Umstellungsereignisausgabe 350 kann auch mit einem folgenden Zustand des erweiterten Realitätsobjekts 305 verknüpft sein.
  • Für den zu diesem Zeitpunkt aktuellen Zustand des erweiterten Realitätsobjekts 305 kann das Modalitätsverfolgungsmodul 400 ein oder mehrere ICOs identifizieren, die Empfänger für das erweiterte Realitätsobjekt 305 in seinem zu diesem Zeitpunkt aktuellen Zustand sein können oder diese auf andere Weise eingliedern können. Zum Beispiel kann das ICO-2 Anzeigeobjekt 130 als ICO zum Eingliedern des erweiterten Realitätsobjekts 305 identifiziert werden.
  • Das Modalitätsverfolgungsmodul 400 kann renderbare Attribute in Relation zum bestimmten ICO bestimmen. Zum Beispiel kann ein renderbares Attribut eine Form eines digitalen Anzeigeobjekts, ein Ton, eine Bewegung, eine Art von Interaktion mit anderen Objekten und dergleichen sein. Die renderbaren Attribute können zum Beispiel als Aufzeichnungen des renderbaren Attributs 355 im erweiterten Realitätsserver-1 200 gespeichert werden. Die Aufzeichnungen des renderbaren Attributs 355 können ferner mit einem Parameter verknüpft sein und dieser Parameter kann im erweiterten Realitätsdatenspeicher 300 als renderbarer Attributparameter 360 gespeichert werden. Der Renderbare Attributparameter 360 kann ein variabler Aspekt eines renderbaren Attributs 355 sein, wie eine Geschwindigkeit, ein Winkel, eine Farbe und dergleichen. Das Modalitätsverfolgungsmodul 400 kann das renderbare Attribut 355 und den renderbaren Attributparameter 360 zum Beispiel basierend auf einer Tabelle, einer Verbindung, einer Verknüpfung oder einer ähnlichen Abbildung oder Entsprechung zwischen den beiden bestimmen. Der renderbare Attributparameter 360 kann eine gemessene Eigenschaft eines ICO sein; die gemessene Eigenschaft kann eine Eigenschaft 340 oder Sensordaten 325 sein, obwohl sie nicht auch ein Umschaltereignisauslöser 345 sein muss.
  • Das renderbare Attribut 355, wie teilweise durch den renderbaren Attributparameter 360 bestimmt, kann im ICO-2 Anzeigeobjekt 130 gerendert werden, um eine Eigenschaft 340 der ICO-1 sensoraktivierten Vorrichtung-1 anzugleichen, sodass das ICO-2 Anzeigeobjekt 130, wenn es gerendert ist, der Eigenschaft 340 der ICO-1 sensoraktivierten Vorrichtung-1 angeglichen ist. In dem in 1 dargestellten Beispiel kann das ICO-2 Anzeigeobjekt 130 gerendert werden, um sich bei einer Geschwindigkeit und in einem Winkel über die Anzeige 125 zu bewegen, die aus der Eigenschaft 340 der ICO-1 sensoraktivierten Vorrichtung-1 bestimmt werden.
  • In dem in 1 dargestellten Beispiel kann der Kontakt durch das ICO-2 Anzeigeobjekt 130 mit einer Fenstergrenze oder einem anderen digitalen Objekt, das in der Anzeige 125 gerendert wird, durch den Sensor 120 detektiert werden und kann durch den erweiterten Realitätsserver-1 200 und das Modalitätsverfolgungsmodul 400 als mit einer Aufzeichnung eines Umschaltereignisauslösers 340 verknüpft bestimmt werden, um das erweiterte Realitätsobjekt 305 von der Anzeige 125, über die Umstellungsereignisausgabe 350, den Aktuator 135 und die ICO-3 sensoraktivierte Vorrichtung-2 140, zur physischen Umgebung umzustellen. Wie zuvor, kann ein renderbares Attribut 355 aus einer Eigenschaft 340 des ICO-2 Anzeigeobjekts 130 bestimmt werden, wobei das renderbare Attribut 355 der Eigenschaft 340 des ICO-2 Anzeigeobjekts 130 angeglichen werden kann. Das renderbare Attribut 355 kann durch den Aktuator 135 implementiert werden, der zum Beispiel die ICO-3 sensoraktivierte Vorrichtung-2 140 mit einer Geschwindigkeit und in einem Winkel schießen kann, die von der Eigenschaft 340 des ICO-2 Anzeigeobjekts 130 abgeleitet oder durch diese beeinflusst sind.
  • In einer anderen Ansicht des in 1 dargestellten Beispiels kann die Person-1 105 oder eine andere Person die ICO-1 sensoraktivierte Vorrichtung-1 115 zur Anzeige 125 werfen. Die ICO-1 sensoraktivierte Vorrichtung-1 115 kann als Spinne interpretiert werden und kann zum Beispiel die physische Form einer Spinne haben. Eine Nähe zur Anzeige 125 durch die ICO-1 sensoraktivierte Vorrichtung-1 115 kann mit der Aufzeichnung des Umschaltereignisauslösers 340 zur Umstellung des erweiterten Realitätsobjekts 305 von der ICO-1 sensoraktivierten Vorrichtung-1 115 „Spinne“ zu einer grafischen Darstellung einer Spinne verknüpft sein, die das ICO-2 Anzeigeobjekt 130 sein kann. Die Umstellungsereignisausgabe 350 und das renderbare Attribut 355 können durch den Aktuator 135 implementiert werden, um ein ICO-2 Anzeigeobjekt 130 „Spinne“ über die die Anzeige 125 „krabbeln“ zu lassen. Die „Krabbelgeschwindigkeit“ des ICO-2 Anzeigeobjekts 130 „Spinne“ über die Anzeige 125 kann aus einer Aufzeichnung der Eigenschaft 340 abgeleitet werden, gemessen in Relation zur ICO-1 sensoraktivierten Vorrichtung-1 115. Der Kontakt durch das ICO-2 Anzeigeobjekt 130 „Spinne“ mit der Grenze eines Fensters in Anzeige 125 kann durch den Sensor 120 erfasst werden und kann mit einer Aufzeichnung eines Umschaltereignisauslösers 345 verknüpft werden, um das erweiterte Realitätsobjekt 305 „Spinne“ vom ICO-2 Anzeigeobjekt 130 „Spinne“ zu einer haptischen Ausgabe umzustellen. Angesichts des Beispiels kann die haptische Vorrichtung 110 am Arm der Person-1 105 getragen werden, die die Anzeige 125 hält oder sich in deren Nähe befindet, die durch das ICO-2 Anzeigeobjekt 130 „Spinne“ kontaktiert wird. Die resultierende Umstellungsereignisausgabe 350 und das renderbare Attribut 355, wie durch das Modalitätsverfolgungsmodul 400 implementiert, können dann zu einer Vibration der haptischen Vorrichtung 110 mit einer Frequenz führen, die aus einer Eigenschaft 340 der Bewegung des ICO-2 Anzeigeobjekts 130 „Spinne“ über die Anzeige 125 ermittelt wird.
  • Ebenso ist in 1 der erweiterte Realitätsserver-2 145 dargestellt. Der erweiterte Realitätsserver-2 145 ist ein zweites Beispiel einer Rechenvorrichtung ähnlich dem erweiterten Realitätsserver-1 200, in dem ähnliche Module eingegliedert sind und der mit Komponenten und Menschen ähnlich jenen, die im lokalen Netzwerk 155 dargestellt sind, kommuniziert. Der erweiterte Realitätsserver-1 200 und der erweiterte Realitätsserver-2 145 können zusammenarbeiten, um zwei oder mehr Menschen und/oder Komponenten eine Teilnahme an gemeinsamen interaktiven Sitzungen zu ermöglichen, wie wenn ein ICO-2 Anzeigeobjekt 130 auch oder alternativ auf einer digitalen Anzeige angezeigt wird, die lokal beim erweiterten Realitätsserver-2 145 liegt.
  • Das Netzwerk 150 und das lokale Netzwerk 155 können Computer, Netzwerkverbindungen unter den Computern und Softwareprogramme umfassen, um eine Kommunikation zwischen den Computern über Netzwerkverbindungen zu ermöglichen. Das Netzwerk 150 kann verwendet werden, um eine Kommunikation relativ großer Reichweite (wie zum Beispiel zwischen dem erweiterten Realitätsserver-2 145 und dem erweiterten Realitätsserver-1 200 oder einer Komponente im lokalen Netzwerk 155) zu ermöglichen, während das lokale Netzwerk 155 verwendet werden kann, um eine Kommunikation relativ kurzer Reichweite (wie zum Beispiel zwischen dem erweiterten Realitätsserver-1 200 und dem Aktuator 135) zu ermöglichen. Beispiele umfassen ein Ethernet-Netzwerk, das Internet und/oder ein drahtloses Netzwerk, wie ein GSM, TDMA, CDMA, EDGE, HSPA, LTE oder anderes Netzwerk, das durch einen Anbieter drahtloser Dienste bereitgestellt wird. Die Verbindung zum Netzwerk 150 oder lokalen Netzwerk 155 kann über eine verdrahtete oder eine drahtlose Verbindung, wie eine Wi-Fi-Verbindung, erfolgen. Es können mehr als ein Netzwerk an einer Kommunikationssitzung zwischen den dargestellten Vorrichtungen beteiligt sein. Die Verbindung zum Netzwerk 150 und/oder lokalen Netzwerk 155 kann erfordern, dass die Computer Softwareprogramme ausführen, die zum Beispiel die sieben Schichten des OSI-Modells von Computernetzen oder ein Äquivalent in einem drahtlosen Telefonnetzwerk freigeben.
  • Dieses Schriftstück bespricht einen ersten Computer, der mit einem zweiten Computer (wie der Anzeige 125, die mit dem erweiterten Realitätsserver-1 200 verbunden wird) oder mit einem entsprechenden Datenspeicher (wie dem erweiterten Realitätsdatenspeicher 300) verbunden wird; es sollte klar sein, dass solche Verbindungen an, durch oder über die andere der zwei Komponenten erfolgen können (zum Beispiel sollte eine Aussage, dass eine Rechenvorrichtung mit dem erweiterten Realitätsserver-1 200 verbunden wird oder Daten zu diesem sendet, so verstanden werden, dass die Rechenvorrichtung mit dem erweiterter Realitätsdatenspeicher 300 verbunden werden kann oder Daten zu diesem senden kann). Verweise hierin auf „Datenbank“ sollten als äquivalent zu „Datenspeicher“ verstanden werden. Obwohl die Computer und Datenbanken als Komponenten dargestellt sind, die in einer physischen Einheit integriert sind, können sie durch gemeinsame (oder separate) physische Hardware und gemeinsame (oder separate) Logikprozessoren und Speicherkomponenten bereitgestellt sein. Obwohl die Softwareprogramme und Datengruppen, die durch die Softwareprogramme verwendet werden, als in einer Rechenvorrichtung vorliegend beschrieben sind, können Programme gespeichert und/oder relativ zu einem der Computer zum Beispiel durch Anwendungsvirtualisierung fern ausgeführt werden.
  • 2 ist ein Funktionsblockdiagramm einer beispielhaften erweiterten Realitätsserver-1 200 Rechenvorrichtung und einiger Datenstrukturen und/oder Komponenten derselben. Der erweiterte Realitätsserver-1 200 in 2 kann zumindest eine Verarbeitungseinheit 210, einen erweiterte Realitätsserverspeicher 250, eine Anzeige 240 und einen Eingang 245 umfassen, die alle mit einer Netzwerkschnittstelle 230 über einen Bus 220 verbunden sein können. Die Verarbeitungseinheit 210 kann eine oder mehr Allzweck-Zentralverarbeitungseinheiten („CPU“) 212 wie auch eine oder mehr Spezial-Grafikverarbeitungseinheiten („GPU“) 214 umfassen. Die Komponenten der Verarbeitungseinheit 210 können durch das Betriebssystem 255 für verschiedene Funktionen genutzt werden, die für die Programme erforderlich sind, die durch den erweiterten Realitätsserver-1 200 ausgeführt werden. Die Netzwerkschnittstelle 230 kann zur Bildung von Verbindungen mit dem Netzwerk 150, lokalen Netzwerk 155 oder zur Bildung von Vorrichtung-zu-Vorrichtung-Verbindungen mit anderen Computern genutzt werden. Der erweiterte Realitätsserverspeicher 250 kann im Allgemeinen einen Direktzugriffsspeicher („RAM“), einen Nur-Lese-Speicher („ROM“) und eine permanente Massenspeichervorrichtung, wie ein Diskettenlaufwerk, einen SDRAM (synchronen dynamischen Direktzugriffsspeicher) oder ein SSD (Solid-State-Laufwerk) umfassen. Der erweiterte Realitätsserverspeicher 250 kann einen Programmcode für Softwareprogramme oder Module speichern, wie zum Beispiel das Modalitätsverfolgungsmodul 400, das Aktuatormodul 500, das Sensordetektionsmodul 600 und das Digitalobjektrendermodul 260, wie zum Beispiel Browser, E-Mail-Client und Serverprogramme, Client-Anwendungen und Datenbankanwendungen (die in der Folge näher besprochen werden). Zusätzliche Datengruppen für Programme, wie für einen Webserver und Webbrowser, können auch auf dem erweiterten Realitätsserver-1 200 vorliegen und durch diesen ausgeführt werden. Webserver- und Browserprogramme können eine Schnittstelle zur Interaktion mit den anderen Rechenvorrichtungen bereitstellen, die in 1 dargestellt sind, oder mit anderen Rechenvorrichtungen, die nicht in 1 dargestellt sind, zum Beispiel durch Webserver- und Webbrowserprogramme (die Daten und Informationen in der Form von Webseiten und html-Dokumenten oder Dateien bedienen und auf diese antworten können). Die Browser und Webserver sollen eine Benutzerschnittstelle und Benutzerschnittstellen-Freigabeprogramme im Allgemeinen darstellen und können durch äquivalente Programme zum Bedienen und Rendern von Informationen zu und in einer Benutzerschnittstelle in einer Rechenvorrichtung ersetzt werden (ob in einem Webbrowser oder zum Beispiel in einer Mobilvorrichtungsanwendung).
  • Zusätzlich kann der erweiterte Realitätsserverspeicher 250 auch ein Betriebssystem 255 speichern. Diese Softwarekomponenten können von einem nicht transienten computerlesbaren Speichermedium 295 in den erweiterten Realitätsserverspeicher 250 der Rechenvorrichtung unter Verwendung eines Laufwerkmechanismus (nicht dargestellt) geladen werden, der mit einem nicht transienten computerlesbaren Speichermedium 295, wie einem Disketten-, Band-, DVD/CD-ROM-Laufwerk, einer Speicherkarte oder einem anderen ähnlichen Speichermedium verknüpft ist. In einigen Ausführungsformen können Softwarekomponenten auch oder stattdessen über einen Mechanismus, der kein Laufwerkmechanismus und computerlesbares Speichermedium 295 ist (z.B. über die Netzwerkschnittstelle 230) geladen werden.
  • Der erweiterte Realitätsserver-1 200 kann auch Hardware, die Eingabemodalitäten unterstützt, einen Eingang 245, wie zum Beispiel einen Berührungsbildschirm, eine Kamera, eine Tastatur, eine Maus, einen Trackball, einen Stift, Bewegungsdetektoren und ein Mikrofon umfassen. Der Eingang 245 kann auch als Anzeige 240 dienen, wie im Fall einer Berührungsbildschirmanzeige, die auch als Eingang 245 dient und die auf eine Angabe in der Form eines Kontakts mit einem Finger oder Stift mit der Oberfläche des Eingang 245 reagieren kann. Die Anzeige 240 stellt jede Technologie dar, die imstande ist, Grafik Audio, Gerüche, Vibrationen und dergleichen zu rendern. Ein Beispiel der Anzeige 240 ist die Anzeige 125 in 1.
  • Der erweiterte Realitätsserver-1 200 kann auch einen Bus 220 umfassen oder über diesen mit dem erweiterten Realitätsdatenspeicher 300 kommunizieren, der in Figur 3 näher dargestellt ist. In verschiedenen Ausführungsformen kann der Bus 220 ein Speichernetzwerk („SAN“), einen seriellen Hochgeschwindigkeitsbus und/oder eine andere geeignete Kommunikationstechnologie umfassen. In einigen Ausführungsformen kann der erweiterte Realitätsserver-1 200 mit dem erweiterten Realitätsdatenspeicher 300 über die Netzwerkschnittstelle 230 kommunizieren. Der erweiterte Realitätsserver-1 200 kann in einigen Ausführungsformen viel mehr Komponenten als jene enthalten, die in dieser Figur dargestellt sind. Es ist jedoch nicht notwendig, dass alle dieser im Allgemeinen herkömmlichen Komponenten dargestellt sind, um eine veranschaulichende Ausführungsform zu offenbaren.
  • 3 ist ein Funktionsblockdiagramm eines erweiterten Realitätsdatenspeichers 300, der in der Rechenvorrichtung von 2 dargestellt ist. Die Komponenten 305-399 des erweiterten Realitätsdatenspeichers 300 können Datengruppen enthalten, die durch Programme verwendet werden. Die Datengruppen, die durch Programme verwendet werden, die in 3 dargestellt sind, können durch eine Zelle in einer Spalte oder einen Wert, getrennt von anderen Werten in einer definierten Struktur in einem digitalen Dokument oder einer Datei dargestellt werden. Obwohl hier als einzelne Aufzeichnungen oder Einträge bezeichnet, können die Aufzeichnungen mehr als einen Datenbankeintrag umfassen. Die Datenbankeinträge können Zahlen, numerische Operatoren, binäre Werte, logische Werte, Text, String-Operatoren, Verknüpfungen, bedingte Logik, Tests und ähnliches darstellen oder codieren. Die Komponenten 305-399 des erweiterten Realitätsdatenspeichers 300 werden hier in der Besprechung der übrigen Figuren näher besprochen.
  • 4 ist ein Ablaufdiagramm, das ein Beispiel eines Modalitätsverfolgungsmoduls 400 zeigt, das durch den erweiterten Realitätsserver-1 200 ausgeführt werden kann. In Block 405 kann das Modalitätsverfolgungsmodul 400 eine Anweisung zum Initiieren empfangen und kann eine oder mehr erweiterte Aufzeichnungen eines Realitätsobjekts 305 laden, die erweiterte Realitätsobjekte darstellen, die das Modalitätsverfolgungsmodul 400 verfolgen und/oder von einem Zustand in einen anderen umstellen sollen. Zum Beispiel kann ein Digitalobjektrendermodul 260 oder dergleichen einer Spiel-, Video-, virtuellen Realitätsumgebung ein erweitertes Realitätsobjekt spezifizieren, das für eine Person oder ein Tier, ein unbelebtes Objekt oder dergleichen repräsentativ ist.
  • In Block 410 kann das Modalitätsverfolgungsmodul 400 den aktuellen Zustand des erweiterten Realitätsobjekts 305 von Block 405 bestimmen, wie anhand einer Aufzeichnung des ARO-Zustands 370. Der aktuelle Zustand kann zum Beispiel bestimmen, ob das erweiterte Realitätsobjekt 305 in einem physischen Objekt in der physischen Umgebung oder einem digitalen Objekt in einer digitalen Umgebung eingegliedert ist. Der aktuelle Zustand kann als anfänglicher Vorgabezustand definiert sein, kann auf einem vorherigen Zustand beruhen und/oder kann auf einer verfügbaren Umgebung beruhen, wie, ob ICOs in der physischen Umgebung oder in einer digitalen Umgebung verfügbar sind, und/oder kann auf einer Benutzerinteraktion mit einer virtuellen Realitätsumgebung beruhen.
  • Der öffnende Schleifenblock 415 bis zum schließenden Schleifenblock 485 können für den zu diesem Zeitpunkt aktuellen Zustand des erweiterten Realitätsobjekts 305 wiederholt werden.
  • In Block 420 kann das Modalitätsverfolgungsmodul 400 ein oder mehr (einen Satz) von informationstragenden Objekten („ICO“) identifizieren, die ein Empfänger für das erweiterte Realitätsobjekt 305 in dem zu diesem Zeitpunkt aktuellen Zustand sein können oder die zu dessen Darstellung verwendet werden können. Das ICO kann im erweiterten Serverspeicher 300 im Allgemeinen als informationstragendes Objekt 310 und/oder als spezielle Arten von Aufzeichnungen eines informationstragenden Objekts 310 dargestellt werden, wie Aufzeichnungen eines sensoraktivierten Objekts 315 und digitalen Objekts 320. Unter vielen Umständen können mehr als ein ICO vorhanden sein, die ein Empfänger für das erweiterte Realitätsobjekt 305 in dem zu diesem Zeitpunkt aktuellen Zustand sein können oder zu dessen Darstellung verwendet werden können. Unter manchen Umständen kann eine Identifizierung von ICO-Empfängern eine Auswahl eines Teilsatzes verfügbarer ICOs umfassen. Falls zum Beispiel eine virtuelle Realitätsumgebung ein erweitertes Realitätsobjekt 305 spezifiziert, das eine Waffe ist, falls der aktuelle ARO-Zustand 370 von Block 410 die physische Umgebung ist und falls ein Satz von ICOs verfügbar ist, die Schaumstoffpfeile in unterschiedlichen Farben in einer Druckluftpistole sind, kann ein Empfänger-ICO als ein Schaumstoffpfeil einer bestimmten Farbe bestimmt werden.
  • In Block 425 kann das Modalitätsverfolgungsmodul 400 eine oder mehr Aufzeichnungen eines renderbaren Attributs 355 in Relation zum erweiterten Realitätsobjekt 305 von Block 405 und von Empfänger-ICOs von Block 420 identifizieren. Wie festgehalten wurde, kann ein renderbares Attribut eine Form eines digitalen Anzeigeobjekts, eines Tons, einer Bewegung, einer Art von Interaktion mit anderen Objekten und dergleichen sein. Das renderbare Attribut 355 kann basierend auf dem erweiterten Realitätsobjekt 305 von Block 405, seinem aktuellen Zustand, wie in Block 410 bestimmt, und den Empfänger-ICOs von Block 420 bestimmt werden. Diese Entsprechung kann zum Beispiel in einer oder mehr Aufzeichnungen einer renderbaren Attributkarte 330 bereitgestellt sein. Falls zum Beispiel unter Verwendung des vorangehenden Beispiels eine virtuelle Realitätsumgebung ein erweitertes Realitätsobjekt 305 spezifiziert, das eine Waffe ist, falls der aktuelle ARO-Zustand 370 von Block 410 in der physischen Umgebung ist und falls der Empfänger ICO von Block 420 ein Schaumstoffpfeil einer bestimmten Farbe ist, dann kann eine Aufzeichnung einer renderbaren Attributkarte 330 spezifizieren, dass der Schaumstoffpfeil mit einer variablen Menge an Luftdruck und in einer variablen Richtung abgeschossen werden kann.
  • In Block 430 kann das Modalitätsverfolgungsmodul 400 einen Wert eines oder mehrerer Parameter bestimmen, der (die) mit der (den) Aufzeichnung(en) des renderbaren Attributs 355 von Block 425 verknüpft ist (sind). Der (die) Parameter kann (können) zum Beispiel die variable Menge an Luftdruck und die variable Richtung sein. Werte für diese Parameter können auf einer Eigenschaft 340 eines anderen ICO beruhen, falls vorhanden (wie hier näher besprochen), können auf Sensordaten 325 beruhen, die mit einer Eigenschaft 340 verknüpft sein können oder beim Detektieren derselben aufgezeichnet wurden, können auf einer anderen Eingabe beruhen, wie einer Eingabe von einer Person an der örtlichen oder einer fernen Stelle, die mit dem ersten oder mit einem anderen erweiterten Realitätsserver verbunden ist. Die renderbaren Attributparameter können in Datenspeichern eines erweiterten Realitätsservers 300 als Aufzeichnungen eines renderbaren Attributparameters 360 aufgezeichnet werden.
  • In Block 435 kann das Modalitätsverfolgungsmodul 400 das renderbare Attribut 355 und den Wert (die Werte) des renderbaren Attributparameters 360 an das Aktuatormodul 500 zur Betätigung oder Implementierung durch zum Beispiel den Aktuator 135 (in der physischen Umgebung, wie in dem obenstehenden Beispiel besprochen, oder in einer digitalen Umgebung, wie in Anzeige 125) ausgeben.
  • In Block 500 kann das Modalitätsverfolgungsmodul 400 das Aktuatormodul 500 ausführen. Das Aktuatormodul 500 ist in Relation zu Figur 5 näher beschrieben. Kurz gesagt, das Aktuatormodul 500 implementiert das erweiterte Realitätsobjekt 305 im informationstragenden Objekt 310.
  • In Block 445 kann das Modalitätsverfolgungsmodul 400 den Satz von Aufzeichnungen des informationstragenden Objekts 310 von Block 420 an das Sensordetektionsmodul 600 ausgeben, wobei es die ICOs kommuniziert, die den zu diesem Zeitpunkt aktuellen Zustand des erweiterten Realitätsobjekts verkörpern. Dies erlaubt dem Sensordetektionsmodul 600, die Aufzeichnungen der Eigenschaft 340, die mit solchen ICOs verknüpft sind, relativ zum erfassten Verhalten solcher ICOs (das durch das Sensordetektionsmodul 600 erfasst wird) zu überwachen.
  • In Block 450 kann das Modalitätsverfolgungsmodul 400 Aufzeichnungen eines Umschaltereignisauslösers 345 erhalten, die mit den zu diesem Zeitpunkt aktuellen ICOs verknüpft sind, wobei die Aufzeichnungen, wenn sie Daten enthalten, die durch einen Sensor detektiert werden, eine Umstellung des erweiterten Realitätsobjekts aus einem zu diesem Zeitpunkt aktuellen Zustand in einen anderen auslösen oder bewirken, wie in Aufzeichnungen des ARO-Zustands 370 beschrieben oder aufgezeichnet sein kann.
  • In Block 600 kann das Modalitätsverfolgungsmodul 400 das Sensordetektionsmodul 600 ausführen, sodass das Sensordetektionsmodul 600 mit dem (den) Sensor(en) verbunden wird, Sensordaten in Relation zu ICOs messen (die als Sensordaten 325 gespeichert werden können) und ICO-Sensordaten auf Übereinstimmungen mit Aufzeichnungen der Eigenschaft 340 überwachen. Das Sensordetektionsmodul 600 ist in Relation zu Figur 6 näher beschrieben.
  • In Block 460 kann das Modalitätsverfolgungsmodul 400 Übereinstimmungen mit Aufzeichnungen der Eigenschaft 340 und verknüpften Sensordaten 325 detektieren oder empfangen.
  • Der öffnende Schleifenblock 465 bis zum schließenden Schleifenblock 480 können für Eigenschaft 340 und Sensordaten 325 wiederholt werden, die in Block 460 empfangen oder identifiziert werden.
  • Im Entscheidungsblock 470 kann das Modalitätsverfolgungsmodul 400 bestimmen, ob die empfangene Eigenschaft 340 und die Sensordaten 325, die in Block 460 empfangen oder identifiziert wurden, auch mit Aufzeichnung(en) eines Umschaltereignisauslösers 345 verknüpft sind, sodass sie eine Umstellung in den Zustand des erweiterten Realitätsobjekts 305 bewirken können. Falls ja, dann kann das Modalitätsverfolgungsmodul 400 in Block 475 eine oder mehr Aufzeichnungen der Umstellungsereignisausgabe 350, die mit den Aufzeichnung(en) eines Umschaltereignisauslösers 345 von Block 470 verknüpft sind, bestimmen oder identifizieren. Die Aufzeichnung(en) der Umstellungsereignisausgabe 350 können identifizieren, dass das erweiterte Realitätsobjekt 305 in einen folgenden erweiterten Realitätsobjektzustand, ARO-Zustand 370, umgestellt werden soll. Die Aufzeichnung(en) der Umstellungsereignisausgabe 350 können ferner Aspekte des nächsten ARO-Zustands 370 identifizieren, wie, ob dieser in der physischen Umgebung oder einer digitalen Umgebung sein soll, ein ICO in einem solchen Zustand zu verwenden ist, oder dergleichen. Diese Informationen können zum Beispiel in einer oder mehr Aufzeichnung(en) der renderbaren Attributkarte 330 enthalten sein. In Block 475 kann das Modalitätsverfolgungsmodul 400 ferner oder alternativ bestimmen, dass ein Endzustand eingetreten ist, wie zum Beispiel, wenn es keinen nächsten ARO-Zustand gibt.
  • Falls negativ in Entscheidungsblock 470, kann das Modalitätsverfolgungsmodul 400 zum öffnenden Schleifenblock 465 zurückkehren.
  • Im schließenden Schleifenblock 485 kann das Modalitätsverfolgungsmodul 400 zum öffnenden Schleifenblock 415 zurückkehren, um eine Wiederholung an dem zu diesem Zeitpunkt aktuellen ARO-Zustand 370, der in Block 475 bestimmt wird, durchzuführen, oder kann mit dem abschließenden Block 499 fortfahren. Im abschließenden Block 499 kann das Modalitätsverfolgungsmodul 400 beenden oder zu einem Prozess zurückkehren, der es hervorgerufen hat.
  • 5 ist ein Ablaufdiagramm, das ein Beispiel des Aktuatormoduls 500 zeigt, das durch den erweiterten Realitätsserver-1 200 ausgeführt werden kann. In Block 505 empfängt das Aktuatormodul 500 einen Satz von Aufzeichnungen des informationstragenden Objekts 310 (oder empfängt eine Identifizierung desselben), wie auch Aufzeichnungen des renderbaren Attributs 355 und renderbaren Attributparameters 360. Diese können zum Beispiel vom Modalitätsverfolgungsmodul 400 empfangen werden.
  • In Block 510 kann das Aktuatormodul 500 Aufzeichnungen des Aktuators 365 empfangen und/oder erlangen, die den Aufzeichnungen des informationstragenden Objekts 310 entsprechen, die in Block 505 empfangen wurden. Solche Aufzeichnungen des Aktuators 365 können einem Aktuator, wie zum Beispiel Aktuator 135, entsprechen.
  • Der öffnende Schleifenblock 515 bis zum schließenden Schleifenblock 535 können an jedem Aktuator und jedem ICO von Block 505 wiederholt werden.
  • In Block 520 kann das Aktuatormodul 500 Aufzeichnungen des renderbaren Attributs 355 und renderbaren Attributparameters 360 zu einem Anweisungssatz für einen Aktuator umwandeln, wie gemäß einer Aufzeichnung des Aktuatoranweisungssatzes 375. Der Anweisungssatz für einen Aktuator kann beschreiben, wie ein Aktuator zu betreiben ist, um zum Beispiel die Aufzeichnungen des renderbaren Attributs 355 und renderbaren Attributparameters 360 zu implementieren.
  • In Block 525 kann das Aktuatormodul 500 mit dem Aktuator von Block 510 verbunden werden, was dann wiederholt wird, und kann in Block 530 den Anweisungssatz, der in Block 520 bestimmt wurde, an den Aktuator ausgeben.
  • Im abschließenden Block 599 kann das Aktuatormodul 500 beenden und/oder zu einem Prozess zurückkehren, der es hervorgerufen hat.
  • 6 ist ein Ablaufdiagramm, das ein Beispiel des Sensordetektionsmoduls 600 zeigt, wie es durch den erweiterten Realitätsserver-1 200 ausgeführt werden kann. In Block 605 kann das Sensordetektionsmodul 600 einen Satz von Aufzeichnungen des zu überwachenden informationstragenden Objekts 310 empfangen. In Block 610 kann das Sensordetektionsmodul 600 einen Sensor(en) bestimmen oder sich mit diesen verbinden, die mit den Aufzeichnungen des informationstragenden Objekts 310 von Block 605 verknüpft sind.
  • Der öffnende Schleifenblock 615 bis zum schließenden Schleifenblock 615 können an dem Satz von Aufzeichnungen des informationstragenden Objekts 310 von Block 605 wiederholt werden. In Block 620 kann erhält und lädt das Sensordetektionsmodul 600 Aufzeichnungen der Eigenschaft 340, die Eigenschaften von ICOs beschreiben, welche das Sensordetektionsmodul 600 überwachen soll.
  • In Block 625 kann das Sensordetektionsmodul 600 Sensordaten messen und vorübergehend speichern, die durch den (die) Sensor(en) von Block 610 erhalten wurden.
  • Der öffnende Schleifenblock 630 bis zum schließenden Schleifenblock 645 können an jedem ICO in dem Satz von ICOs von Block 605 wiederholt werden.
  • In Entscheidungsblock 635 kann das Sensordetektionsmodul 600 bestimmen, ob Sensordaten von Block 625 mit der Aufzeichnung der Eigenschaft 340 von Block 620 übereinstimmen. Falls ja, dann kann in Block 640 das Sensordetektionsmodul 600 die übereinstimmende Aufzeichnung der Eigenschaft 340 ausgeben; das Sensordetektionsmodul 600 kann die vorübergehend gespeicherten Sensordaten als Sensordaten 325 speichern und das Sensordetektionsmodul 600 kann die Eigenschaft 340 und Sensordaten 325 an das Modalitätsverfolgungsmodul 400 ausgeben.
  • Das Sensordetektionsmodul 600 kann zu Block 630 zurückkehren, um eine Wiederholung für jedes aufgezeichnete ICO auszuführen, und zu Block 615, um eine Wiederholung für den Satz von ICOs auszuführen.
  • Beim abschließenden Block 699 kann das Sensordetektionsmodul 600 beenden oder kann zu einem Prozess zurückkehren, der es hervorgerufen haben kann, wie das Modalitätsverfolgungsmodul 400.
  • 7 ist ein Funktionsblockdiagramm, das ein Beispiel eines erweiterten Realitätsobjekts zeigt, das zwischen Umgebungen und an mehr als einer Stelle umgestellt wird
  • In 7 sind eine Stelle-1 701, Stelle-2 702, ein erweiterter Realitätsserver-2 735, erweiterter Realitätsserver-3 755, eine Person-2 705 und Person-3 703 dargestellt. Die Stelle-1 701 und Stelle-2 702 können physisch getrennte Stellen sein; Person-2 705 und Person-3 703 können miteinander, mit anderen, nicht dargestellten Menschen interagieren oder sie können alleine in einer virtuellen Realitätsumgebung aktiv sein.
  • An Stelle-1 701 kann Person-2 705 an einer virtuellen Realitätsumgebung teilhaben, die zum Beispiel durch den erweiterten Realitätsserver-2 735 und ein Digitalobjektrendermodul 260 oder dergleichen ausgeführt wird. Die virtuelle Realitätsumgebung kann erweiterte Realitätsobjekte umfassen, die zwischen der physischen und digitalen Umgebung umgestellt werden. Der erweiterte Realitätsserver-2 735 kann das Modalitätsverfolgungsmodul 400 oder dergleichen ausführen.
  • Die ICO-4 sensoraktivierte Vorrichtung-2 715 kann einen wolfförmigen Bean Bag oder einen Ball mit einem Bild eines Wolfs oder dergleichen umfassen. Die ICO-4 sensoraktivierte Vorrichtung-2 715 kann ferner eine eingebettete RFID oder dergleichen umfassen, die mit dem Sensor-2 725 kommunizieren kann. Die Person-2 705 kann die ICO-4 sensoraktivierte Vorrichtung-2 715 zur Anzeige 725 werfen, rollen oder treiben. Der erweiterte Realitätsserver-2 735 und das Modalitätsverfolgungsmodul 400 können das Sensordetektionsmodul 600 oder dergleichen ausführen, das sich mit dem Sensor-2 725 verbinden kann. Der Sensor-2 725 kann die Annäherung einer ICO-4 sensoraktivierten Vorrichtung-2 715 bei der Anzeige 725 detektieren. Die ICO-4 sensoraktivierte Vorrichtung-2 715 kann durch das Modalitätsverfolgungsmodul 400 als ein Empfänger für ein erweitertes Realitätsobjekt in der virtuellen Realitätsumgebung instanziiert werden. Es können keine renderbaren Attribute für das Modalitätsverfolgungsmodul 400 zur Implementierung mit dem Aktuatormodul 500 vorhanden sein.
  • Das Modalitätsverfolgungsmodul 400 und der Sensor-2 725 können die Annäherung der ICO-4 sensoraktivierten Vorrichtung-2 715 bei der Anzeige 725 als eine Eigenschaft 340 detektieren, wobei diese Eigenschaft 340 auch mit einem Umschaltereignisauslöser 345 für das erweiterte Realitätsobjekt verknüpft sein kann. Das Modalitätsverfolgungsmodul 400 kann den Zustand des erweiterten Realitätsobjekts gemäß einer nächsten Aufzeichnung des ARO-Zustands 370 vorantreiben. Die nächste Aufzeichnung des ARO-Zustands 370 kann definieren, dass das erweiterte Realitätsobjekt zu einem digitalen Objekt, wie einem ICO-5 Anzeigeobjekt-2 730 umgestellt werden soll. Der Aktuator-2 740 kann zum Anweisen der Anzeige-2 725 und/oder des Digitalobjektrendermoduls 260 verwendet werden, das ICO-5 Anzeigeobjekt-2 730 über die Anzeige-2 725 mit einer Geschwindigkeit und in einer Richtung „laufen“ zu lassen, die von der Eigenschaft 340 oder den Sensordaten 325 abgeleitet ist.
  • Zusätzlich oder alternativ zu einem Rendern auf der Anzeige-2 725 kann das ICO-5 Anzeigeobjekt-2 730 auch auf Anzeige-3 750 an Stelle-2 702, nahe der Person-3 703, gemäß den Anweisungen, die durch den Aktuator-3 765 ausgegeben werden, als ICO-6 Anzeigeobjekt-3 733 gerendert werden. In Fortsetzung dieses Beispiels können der Sensor-3 760 und eine Instanz des Modalitätsverfolgungsmoduls 400, ausgeführt durch den erweiterten Realitätsserver-3 755, die über eine Instanz des Sensordetektionsmoduls 600 agiert, die auch durch den erweiterten Realitätsserver-3 755 ausgeführt wird, detektieren, dass das ICO-6 Anzeigeobjekt-3 733 mit der Grenze eines Fensters in Anzeige-3 in Kontakt gelangt, wobei dieser Kontakt ein Umschaltereignisauslöser 345 zur Umstellung des erweiterten Realitätsobjekt vom ICO-6 Anzeigeobjekt-3 733 zu einer nächsten Aufzeichnung des ARO-Zustands 370 sein kann. Die Person-3 703 kann die Anzeige-3 750 mit einer haptischen Vorrichtung am Arm nahe der Anzeige-3 750 halten. Die renderbare Attributkarte 330 kann definieren, dass der nächste ARO-Zustand 370, der mit dem erweiterten Realitätsobjekt verknüpft ist, die haptische Ausgabe an die ICO-7 haptische Vorrichtung 710 sein wird, wobei die Ausgabe durch den Aktuator-3 765 und eine Instanz des Aktuatormoduls 700, die durch den erweiterten Realitätsserver-3 755 ausgeführt wird, aktiviert werden kann.
  • 8 ist ein Funktionsblockdiagramm, das ein Beispiel mehrerer erweiterter Realitätsobjekte zeigt, die zwischen Umgebungen umgestellt werden. In diesem Beispiel kann die Anzeige 805 mehrere Bälle anzeigen. Die Anzeige 805 dient als ein Digitalobjektrendermodul und als ein erweiterter Realitätsserver.
  • In diesem Beispiel hat Person-4 810 einen Ball 815 auf die Anzeige 805 geworfen. Der Ball 815 ist ein informationstragendes Objekt und wurde als ein erweitertes Realitätsobjekt bestimmt. Ein Sensor (nicht dargestellt) hat die Bewegung des Balls 815 detektiert, eine Objektkennung des Ball 815 wurde detektiert; der erweiterte Realitätsserver hat bestimmt, dass der Ball ein informationstragendes Objekt und ein erweitertes Realitätsobjekt ist und hat eine Eigenschaft des Balls 815 gemessen, wie, dass er sich zur Anzeige 805 bewegt. Ein Modalitätsverfolgungsmodul in (oder verknüpft mit) der Anzeige 805 hat bestimmt, dass diese ein Umstellungsereignisauslöser, verknüpft mit einer Umstellungsereignisausgabe ist, der über ein Aktuatormodul in der Anzeige 805 die Anzeige 805 veranlasst, den Ball 820 als ein digitales Objekt in der Anzeige 805 mit einer Eigenschaft zu rendern, die von der Eigenschaft des Balls 815 abgeleitet ist, sodass der Ball 820 sich so schnell wie Ball 815 zu bewegen scheint und dieselbe Bewegungsrichtung verfolgt.
  • Ball 820 oder ein anderer der Bälle, die in der Anzeige 805 gerendert werden, kann von einem Objekt (nicht dargestellt) zur Person-4 810 „zurückspringen“. In diesem Fall bestimmt das Modalitätsverfolgungsmodul, dass eine Eigenschaft des Balls 820 (Bewegung durch einen dreidimensionalen Raum zum Rand des Bildschirms und zur Person-4 810) ein Umstellungsereignisauslöser, verknüpft mit einer Umstellungsereignisausgabe ist, der, über das Aktuatormodul in der Anzeige 805, den Aktuator 830 veranlasst, einen realen Ball 825 zur Person-4 810 zu werfen.
  • Wie ebenso in 8 dargestellt, dient der Projektor 840 auch als Aktuator, der den Ball 835 auf einer Wand oder dergleichen in der Umgebung rendern kann, die einen der Bälle, die in der Anzeige 805 gerendert werden, vom Bildschirm „rollend“ darstellen kann.
  • 9A ist ein Funktionsblockdiagramm, das ein Beispiel eines erweiterten Realitätsobjekts, in diesem Beispiel einer digital gerenderten Spinne 920, in einer Umgebung zeigt, die durch die Anzeige 905 gerendert wird. Die Anzeige 905 kann als ein erweiterter Realitätsserver mit einem Modalitätsverfolgungsmodul dienen oder durch dieses gesteuert werden. Die Spinne 920 kann ein digitales Objekt, mit einer Objektkennung sein, die sie als ein informationstragendes Objekt identifiziert, das durch ein Digitalobjektrendermodul in der Anzeige 905 gerendert wird, wobei das informationstragende Objekt auch ein erweitertes Realitätsobjekt ist. Die Bewegung der Spinne 920 kann in Sensordaten durch ein Sensordetektionsmodul in der Anzeige 905 detektiert werden und eine Eigenschaft der Spinne 920, wie ihre scheinbare Geschwindigkeit, kann gemessen werden.
  • In 9A und 9B kann eine Hand 910 die Anzeige 905 halten. Um die Hand 910 und/oder einen Arm in Verbindung mit der Hand 910 kann die haptische Vorrichtung 915 geschlungen sein.
  • In 9B hat sich die Spinne 920 der Seite der Anzeige 905 nahe der Hand 910 genähert, die durch das Sensordetektionsmodul in der Anzeige 905 als ein Umstellungsereignisauslöser, verknüpft mit einer Umstellungsereignisausgabe detektiert werden kann. Eine gemessene Eigenschaft der Spinne 920, wie ihre scheinbare Geschwindigkeit, kann über ein Aktuatormodul in der Anzeige 905, zur haptischen Vorrichtung 915 als ein renderbarer Parameter eines renderbaren Attributs, in diesem Fall eine sich ausbreitende Vibration 920, die sich mit einer Geschwindigkeit ausbreiten kann, die von der Geschwindigkeit der Spinne 920 abgeleitet ist, umgestellt werden.
  • Diese Konfigurationen dienen der Veranschaulichungen, andere Konfigurationen können auch in die Praxis umgesetzt werden.
  • Computerlesbare Medien (enthaltend zumindest ein computerlesbares Medium), Verfahren, Apparate, Systeme und Vorrichtungen zur Durchführung der oben beschriebenen Techniken sind veranschaulichende Beispiele von hier offenbarten Ausführungsformen. Zusätzlich können andere Vorrichtungen in den oben beschriebenen Interaktionen konfiguriert werden, um verschiedene offenbarte Techniken auszuführen.
  • Bestimmte Beispiele von hier beschriebenen Ausführungsformen enthalten, ohne aber darauf beschränkt zu sein, die folgenden:
    • Beispiel 1 kann einen Apparat zur Umstellung eines erweiterten Realitätsobjekts zwischen physischen und digitalen Umgebungen enthalten, umfassend: einen Computerprozessor und Speicher, wobei der Speicher ein Sensordetektionsmodul, ein Modalitätsverfolgungsmodul und ein Aktuatormodul umfasst, wobei die Module durch den Computerprozessor zu betreiben sind; wobei das Sensordetektionsmodul eine Objektkennung eines ersten informationstragenden Objekts und eine Eigenschaft des ersten informationstragenden Objekts in Sensordaten detektieren soll, die von einem Sensor empfangen werden; wobei das Modalitätsverfolgungsmodul, basierend auf der Objektkennung und der Eigenschaft, einen Umstellungsereignisauslöser, verknüpft mit dem ersten informationstragenden Objekt, und eine Umstellungsereignisausgabe, verknüpft mit einem zweiten informationstragenden Objekt, bestimmen soll; wobei das Aktuatormodul über einen Aktuator ein renderbares Attribut im zweiten informationstragenden Objekt aktivieren soll; und wobei das erste informationstragende Objekt eines von einem sensoraktivierten physischen Objekt oder einem digitalen Objekt ist, das in einer digitalen Umgebung gerendert wird, und das zweite informationstragende Objekt das andere ist.
    • Beispiel 2 kann den Apparat gemäß Beispiel 1 enthalten, wobei das Modalitätsverfolgungsmodul ferner ein renderbares Parameter des renderbaren Attributs gemäß der Eigenschaft bestimmen soll.
    • Beispiel 3 kann den Apparat gemäß Beispiel 2 enthalten, wobei das renderbare Attribut im zweiten informationstragenden Objekt die Eigenschaft des ersten informationstragenden Objekts gemäß dem renderbaren Parameter, der durch die Modalitätsverfolgung bestimmt wird, zumindest teilweise gemäß einer renderbaren Attributkarte angleicht.
    • Beispiel 4 kann den Apparat gemäß Beispiel 1 enthalten, wobei das sensoraktivierte physische Objekt ein physisches Objekt umfasst, umfassend einen Emitter oder Detektor von zumindest einem von einer akustischen Energie, einer elektromagnetischen Strahlung, einer elektrischen Energie, einer Beschleunigung und einem Magnetfeld.
    • Beispiel 5 kann den Apparat gemäß einem von Beispiel 1 bis Beispiel 4 enthalten, wobei die Eigenschaft des ersten informationstragenden Objekts zumindest eine von einer physischen Eigenschaft des sensoraktivierten physischen Objekts und einer gerenderten digitalen Eigenschaft des digitalen Objekts umfasst.
    • Beispiel 6 kann den Apparat gemäß einem von Beispiel 1 bis Beispiel 4 enthalten, wobei die Eigenschaft zumindest eines von einer Zeit, einer Orientierung, einer Position, einer Positionsänderungsrate, einer relativen Position, einer codierten Information, einer Farbe und einem Ton umfasst.
    • Beispiel 7 kann den Apparat gemäß einem von Beispiel 1 bis Beispiel 4 enthalten, wobei: der Sensor ein Sensor des sensoraktivierten physischen Objekts und ein Sensor des digitalen Objekts ist; der Aktuator ein Aktuator des sensoraktivierten physischen Objekts und ein Aktuator des digitalen Objekts ist; wobei der Sensor des sensoraktivierten physischen Objekts zumindest eines von einem Mikrofon, einem Bewegungsdetektor, einer Kamera, einer kapazitiven Oberfläche, einem elektromagnetischen Detektor, einem Vibrationsdetektor, einem Näherungsdetektor und einem Passermarkendetektor umfasst, wobei der Sensor des digitalen Objekts und der Aktuator des digitalen Objekts eine Registrierung durch das Sensormodul mit einem digitalen Objektrendermodul umfassen; und wobei der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung, einem Motor, einem Projektil und einem digitalen Rendermodul umfasst.
    • Beispiel 8 kann den Apparat gemäß Beispiel 3 enthalten, wobei die Objektkennung eine erste Objektkennung ist, die Eigenschaft eine erste Eigenschaft ist, der Umstellungsereignisauslöser ein erster Umstellungsereignisauslöser ist, die Umstellungsereignisausgabe eine erste Umstellungsereignisausgabe ist, das sensoraktivierte physische Objekt ein erstes sensoraktiviertes physisches Objekt ist, das digitale Objekt ein erstes digitales Objekt ist, das renderbare Attribut ein erstes renderbares Attribut ist, der renderbare Parameter ein erster renderbarer Parameter ist und die Sensordaten erste Sensordaten sind; wobei das Sensormodul eine zweite Objektkennung des zweiten informationstragenden Objekts und eine zweite Eigenschaft des zweiten informationstragenden Objekts in zweiten Sensordaten detektieren soll, die vom Sensor empfangen werden; wobei das Modalitätsverfolgungsmodul, basierend auf der zweiten Objektkennung und der zweiten Eigenschaft, einen zweiten Umstellungsereignisauslöser, verknüpft mit dem zweiten informationstragenden Objekt, und eine zweite Umstellungsereignisausgabe, verknüpft mit einem dritten informationstragenden Objekt, bestimmen soll, wobei das dritte informationstragende Objekt zumindest eines von einem zweiten sensoraktivierten physischen Objekt und einem zweiten digitalen Objekt umfasst; und wobei das Aktuatormodul ein zweites renderbares Attribut im dritten informationstragenden Objekt aktivieren soll, wobei das zweite renderbare Attribut einen zweiten renderbaren Parameter umfasst, der durch das Modalitätsverfolgungsmodul gemäß der zweiten Eigenschaft bestimmt wird, wobei das zweite renderbare Attribut im dritten informationstragenden Objekt die zweite Eigenschaft des zweiten informationstragenden Objekts angleicht, die durch das Modalitätsverfolgungsmodul zumindest teilweise gemäß der renderbaren Attributkarte bestimmt wird.
    • Beispiel 9 kann ein Verfahren zur Berechnung enthalten, umfassend: in einer Rechenvorrichtung, die einen Prozessor, einen Speicher, einen Sensor, eine digitale Renderumgebung und einen Aktuator umfasst; Umstellung eines erweiterten Realitätsobjekts von einem ersten informationstragenden Objekt zu einem zweiten informationstragenden Objekt durch: mit dem Sensor, Detektieren einer Objektkennung des ersten informationstragenden Objekts und einer Eigenschaft des ersten informationstragenden Objekts in Sensordaten, die vom Sensor empfangen werden; basierend auf der Objektkennung und der Eigenschaft, Bestimmen eines Umstellungsereignisauslösers, verknüpft mit dem ersten informationstragenden Objekt, und einer Umstellungsereignisausgabe, verknüpft mit dem zweiten informationstragenden Objekt; mit dem Aktuator, Aktivieren eines renderbaren Attributs im zweiten informationstragenden Objekt; wobei das erste informationstragende Objekt eines von einem sensoraktivierten physischen Objekt oder einem digitalen Objekt, gerendert in der digitalen Umgebung, ist und das zweite informationstragende Objekt das andere ist.
    • Beispiel 10 kann das Verfahren gemäß Beispiel 9 enthalten, ferner umfassend ein Bestimmen eines renderbaren Parameters des renderbaren Attributs gemäß der Eigenschaft.
    • Beispiel 11 kann das Verfahren gemäß Beispiel 10 enthalten, ferner umfassend ein Bestimmen des renderbaren Parameters zumindest teilweise gemäß einer renderbaren Attributkarte, wobei das renderbare Attribut im zweiten informationstragenden Objekt die Eigenschaft des ersten informationstragenden Objekts gemäß dem renderbaren Parameter zumindest teilweise gemäß der renderbaren Attributkarte angleicht.
    • Beispiel 12 kann das Verfahren gemäß Beispiel 9 enthalten, wobei das sensoraktivierte physische Objekt ein physisches Objekt umfasst, umfassend einen Emitter oder Detektor von zumindest einem von einer akustischen Energie, einer elektromagnetischen Strahlung, einer elektrischen Energie, einer Beschleunigung und einem Magnetfeld.
    • Beispiel 13 kann das Verfahren gemäß einem von Beispiel 9 bis Beispiel 12 enthalten, wobei die Eigenschaft des ersten informationstragenden Objekts zumindest eine von einer physischen Eigenschaft des sensoraktivierten physischen Objekts und einer gerenderten digitalen Eigenschaft des digitalen Objekts umfasst.
    • Beispiel 14 kann das Verfahren gemäß einem von Beispiel 9 bis Beispiel 12 enthalten, wobei die Eigenschaft zumindest eines von einer Zeit, einer Orientierung, einer Position, einer Positionsänderungsrate, einer Farbe und einem Ton umfasst.
    • Beispiel 15 kann das Verfahren gemäß einem von Beispiel 9 bis Beispiel 12 enthalten, wobei: der Sensor ein Sensor des sensoraktivierten physischen Objekts und ein Sensor des digitalen Objekts ist; der Aktuator ein Aktuator des sensoraktivierten physischen Objekts und ein Aktuator des digitalen Objekts ist; wobei der Sensor des sensoraktivierten physischen Objekts zumindest eines von einem Mikrofon, einem Bewegungsdetektor, einer Kamera, einer kapazitiven Oberfläche, einem elektromagnetischen Detektor, einem Vibrationsdetektor, einem Näherungsdetektor und einem Passermarkendetektor umfasst, wobei das Verfahren ferner ein Registrieren durch den Sensor des digitalen Objekts und den Aktuator des digitalen Objekts, um eine digitale Objektverhaltensdatenbetrachtung zu empfangen, und Senden digitaler Objektverhaltensdaten zum digitalen Objekt in der digitalen Renderumgebung umfasst; und wobei der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung, einem Motor, einem Projektil und dem digitalen Objekt in der digitalen Anzeige umfasst.
    • Beispiel 16 kann das Verfahren gemäß Beispiel 11 enthalten, wobei die Objektkennung eine erste Objektkennung ist, die Eigenschaft eine erste Eigenschaft ist, der Umstellungsereignisauslöser ein erster Umstellungsereignisauslöser ist, die Umstellungsereignisausgabe eine erste Umstellungsereignisausgabe ist, das sensoraktivierte physische Objekt ein erstes sensoraktiviertes physisches Objekt ist, das digitale Objekt ein erstes digitales Objekt ist, das renderbare Attribut ein erstes renderbares Attribut ist, der renderbare Parameter ein erster renderbarer Parameter ist und die Sensordaten erste Sensordaten sind; und das Verfahren ferner umfassend: Detektieren einer zweiten Objektkennung des zweiten informationstragenden Objekts und einer zweiten Eigenschaft des zweiten informationstragenden Objekts in zweiten Sensordaten, die vom Sensor empfangen werden; Bestimmen, basierend auf der zweiten Objektkennung und der zweiten Eigenschaft, eines zweiten Umstellungsereignisauslösers, verknüpft mit dem zweiten informationstragenden Objekt, und einer zweiten Umstellungsereignisausgabe, verknüpft mit einem dritten informationstragenden Objekt, wobei das dritte informationstragende Objekt zumindest eines von einem zweiten sensoraktivierten physischen Objekt und einem zweiten digitalen Objekt umfasst; Bestimmen eines zweiten renderbaren Parameters des zweiten renderbaren Attributs gemäß der zweiten Eigenschaft des zweiten informationstragenden Objekts und der renderbaren Attributkarte; und Aktivieren des zweiten renderbaren Attributs im dritten informationstragenden Objekt, wobei das zweite renderbare Attribut im dritten informationstragenden Objekt die zweite Eigenschaft des zweiten informationstragenden Objekts gemäß dem zweiten renderbaren Parameter angleicht.
    • Beispiel 17 kann einen Apparat zur Umstellung eines erweiterten Realitätsobjekts zwischen physischen und digitalen Umgebungen enthalten, umfassend: in einer Rechenvorrichtung, die einen Prozessor, einen Speicher, einen Sensor und einen Aktuator umfasst; Mittel zum, mit dem Sensor, Detektieren einer Objektkennung des ersten informationstragenden Objekts und einer Eigenschaft des ersten informationstragenden Objekts; Mittel zum, basierend auf der Objektkennung und der Eigenschaft, Bestimmen eines Umstellungsereignisauslösers, verknüpft mit dem ersten informationstragenden Objekt, und einer Umstellungsereignisausgabe, verknüpft mit einem zweiten informationstragenden Objekt; Mittel zum Aktivieren, über den Aktuator, eines renderbaren Attributs im zweiten informationstragenden Objekt; und wobei das erste informationstragende Objekt eines von einem sensoraktivierten physischen Objekt oder einem digitalen Objekt ist, und das zweite informationstragende Objekt das andere ist.
    • Beispiel 18 kann den Apparat gemäß Beispiel 17 enthalten, ferner umfassend Mittel zum Bestimmen eines renderbaren Parameters des renderbaren Attributs gemäß der Eigenschaft.
    • Beispiel 19 kann den Apparat gemäß Beispiel 18 enthalten, ferner umfassend Mittel zum Bestimmen des renderbaren Parameters zumindest teilweise gemäß einer renderbaren Attributkarte, wobei das renderbare Attribut im zweiten informationstragenden Objekt die Eigenschaft des ersten informationstragenden Objekts gemäß dem renderbaren Parameter zumindest teilweise gemäß der renderbaren Attributkarte angleicht.
    • Beispiel 20 kann den Apparat gemäß Beispiel 17 enthalten, wobei das sensoraktivierte physische Objekt ein physisches Objekt umfasst, umfassend einen Emitter oder Detektor von zumindest einem von einer akustischen Energie, einer elektromagnetischen Strahlung, einer elektrischen Energie, einer Beschleunigung und einem Magnetfeld.
    • Beispiel 21 kann den Apparat gemäß einem von Beispiel 17 bis Beispiel 20 enthalten, wobei die Eigenschaft des ersten informationstragenden Objekts zumindest eine von einer physischen Eigenschaft des sensoraktivierten physischen Objekts und einer gerenderten digitalen Eigenschaft des digitalen Objekts umfasst.
    • Beispiel 22 kann den Apparat gemäß einem von Beispiel 17 bis Beispiel 20 enthalten, wobei die Eigenschaft zumindest eines von einer Zeit, einer Orientierung, einer Position, einer Positionsänderungsrate, einer Farbe und einem Ton umfasst.
    • Beispiel 23 kann den Apparat gemäß einem von Beispiel 17 bis Beispiel 20 enthalten, wobei: der Sensor ein Sensor des sensoraktivierten physischen Objekts und ein Sensor des digitalen Objekts ist; der Aktuator ein Aktuator des sensoraktivierten physischen Objekts und ein Aktuator des digitalen Objekts ist; wobei der Sensor des sensoraktivierten physischen Objekts zumindest eines von einem Mikrofon, einem Bewegungsdetektor, einer Kamera, einer kapazitiven Oberfläche, einem elektromagnetischen Detektor, einem Vibrationsdetektor, einem Näherungsdetektor und einem Passermarkendetektor umfasst, wobei der Sensor des digitalen Objekts und der Aktuator des digitalen Objekts Mittel zum Registrieren, um eine digitale Objektverhaltensdatenbetrachtung zu empfangen, und Mittel zum Senden digitaler Objektverhaltensdaten zum digitalen Objekt in einer digitalen Renderumgebung des Apparats umfassen; und wobei der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung, einem Motor, einem Projektil und dem digitalen Objekt in der digitalen Anzeige umfasst.
    • Beispiel 24 kann den Apparat gemäß Beispiel 19 enthalten, wobei die Objektkennung eine erste Objektkennung ist, die Eigenschaft eine erste Eigenschaft ist, der Umstellungsereignisauslöser ein erster Umstellungsereignisauslöser ist, die Umstellungsereignisausgabe eine erste Umstellungsereignisausgabe ist, das sensoraktivierte physische Objekt ein erstes sensoraktiviertes physisches Objekt ist, das digitale Objekt ein erstes digitales Objekt ist, das renderbare Attribut ein erstes renderbares Attribut ist, der renderbare Parameter ein erster renderbarer Parameter ist und die Sensordaten erste Sensordaten sind; und der Apparat ferner umfasst: Mittel zum Detektieren einer zweiten Objektkennung des zweiten informationstragenden Objekts und einer zweiten Eigenschaft des zweiten informationstragenden Objekts in zweiten Sensordaten, die vom Sensor empfangen werden; Mittel zum Bestimmen, basierend auf der zweiten Objektkennung und der zweiten Eigenschaft, eines zweiten Umstellungsereignisauslösers, verknüpft mit dem zweiten informationstragenden Objekt, und einer zweiten Umstellungsereignisausgabe, verknüpft mit einem dritten informationstragenden Objekt, wobei das dritte informationstragende Objekt zumindest eines von einem zweiten sensoraktivierten physischen Objekt und einem zweiten digitalen Objekt umfasst; Mittel zum Bestimmen eines zweiten renderbaren Parameters des zweiten renderbaren Attributs gemäß der zweiten Eigenschaft des zweiten informationstragenden Objekts und der renderbaren Attributkarte; und Mittel zum Aktivieren des zweiten renderbaren Attributs im dritten informationstragenden Objekt, wobei das zweite renderbare Attribut im dritten informationstragenden Objekt die zweite Eigenschaft des zweiten informationstragenden Objekts gemäß dem zweiten renderbaren Parameter angleicht.
    • Beispiel 25 kann ein oder mehr computerlesbare Medien umfassen, die Anweisungen umfassen, die eine Rechenvorrichtung veranlassen, in Antwort auf eine Ausführung der Anweisungen durch einen oder mehr Prozessoren der Rechenvorrichtung, zum: Umstellen eines erweiterten Realitätsobjekts von einem ersten informationstragenden Objekt zu einem zweiten informationstragenden Objekt durch: Detektieren, mit einem Sensor, einer Objektkennung des ersten informationstragenden Objekts und einer Eigenschaft des ersten informationstragenden Objekts in Sensordaten, die vom Sensor empfangen werden; basierend auf der Objektkennung und der Eigenschaft, Bestimmen eines Umstellungsereignisauslösers, verknüpft mit dem ersten informationstragenden Objekt, und einer Umstellungsereignisausgabe, verknüpft mit dem zweiten informationstragenden Objekt; mit einem Aktuator, Aktivieren eines renderbaren Attributs im zweiten informationstragenden Objekt; und wobei das erste informationstragende Objekt eines von einem sensoraktivierten physischen Objekt oder einem digitalen Objekt ist, das in einer digitalen Umgebung gerendert wird, und das zweite informationstragende Objekt das andere ist.
    • Beispiel 26 kann die computerlesbaren Medien gemäß Beispiel 25 enthalten, wobei die Rechenvorrichtung ferner veranlasst wird, einen renderbaren Parameter des renderbaren Attributs gemäß der Eigenschaft zu bestimmen.
    • Beispiel 27 kann die computerlesbaren Medien gemäß Beispiel 26 enthalten, wobei die Rechenvorrichtung ferner veranlasst wird, den renderbaren Parameter zumindest teilweise gemäß einer renderbaren Attributkarte zu bestimmen, wobei das renderbare Attribut im zweiten informationstragenden Objekt die Eigenschaft des ersten informationstragenden Objekts gemäß dem renderbaren Parameter zumindest teilweise gemäß der renderbaren Attributkarte angleicht.
    • Beispiel 28 kann die computerlesbaren Medien gemäß Beispiel 25 enthalten, wobei das sensoraktivierte physische Objekt ein physisches Objekt umfasst, umfassend einen Emitter oder Detektor von zumindest einem von einer akustischen Energie, einer elektromagnetischen Strahlung, einer elektrischen Energie, einer Beschleunigung und einem Magnetfeld.
    • Beispiel 29 kann die computerlesbaren Medien gemäß einem von Beispiel 25 bis Beispiel 28 enthalten, wobei die Eigenschaft des ersten informationstragenden Objekts zumindest eine von einer physischen Eigenschaft des sensoraktivierten physischen Objekts und einer gerenderten digitalen Eigenschaft des digitalen Objekts umfasst.
    • Beispiel 30 kann die computerlesbaren Medien gemäß einem von Beispiel 25 bis Beispiel 28 enthalten, wobei die Eigenschaft zumindest eines von einer Zeit, einer Orientierung, einer Position, einer Positionsänderungsrate, einer Farbe und einem Ton umfasst.
    • Beispiel 31 kann die computerlesbaren Medien gemäß einem von Beispiel 25 bis Beispiel 28 enthalten, wobei: der Sensor ein Sensor des sensoraktivierten physischen Objekts und ein Sensor des digitalen Objekts ist; der Aktuator ein Aktuator des sensoraktivierten physischen Objekts und ein Aktuator des digitalen Objekts ist; wobei der Sensor des sensoraktivierten physischen Objekts zumindest eines von einem Mikrofon, einem Bewegungsdetektor, einer Kamera, einer kapazitiven Oberfläche, einem elektromagnetischen Detektor, einem Vibrationsdetektor, einem Näherungsdetektor und einem Passermarkendetektor umfasst, wobei der Sensor des digitalen Objekts und der Aktuator des digitalen Objekts eine Registrierung umfasst, um eine digitale Objektverhaltensdatenbetrachtung zu empfangen und digitale Objektverhaltensdaten zum digitalen Objekt in einer digitalen Renderumgebung der Rechenvorrichtung zu senden; und wobei der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung, einem Motor, einem Projektil und dem digitalen Objekt in der digitalen Anzeige umfasst.
    • Beispiel 32 kann die computerlesbaren Medien gemäß Beispiel 27 enthalten, wobei die Objektkennung eine erste Objektkennung ist, die Eigenschaft eine erste Eigenschaft ist, der Umstellungsereignisauslöser ein erster Umstellungsereignisauslöser ist, die Umstellungsereignisausgabe eine erste Umstellungsereignisausgabe ist, das sensoraktivierte physische Objekt ein erstes sensoraktiviertes physisches Objekt ist, das digitale Objekt ein erstes digitales Objekt ist, das renderbare Attribut ein erstes renderbares Attribut ist, der renderbare Parameter ein erster renderbarer Parameter ist und die Sensordaten erste Sensordaten sind; und die Rechenvorrichtung ferner veranlasst wird, zum: Detektieren einer zweiten Objektkennung des zweiten informationstragenden Objekts und einer zweiten Eigenschaft des zweiten informationstragenden Objekts in zweiten Sensordaten, die vom Sensor empfangen werden; Bestimmen, basierend auf der zweiten Objektkennung und der zweiten Eigenschaft, eines zweiten Umstellungsereignisauslösers, verknüpft mit dem zweiten informationstragenden Objekt, und einer zweiten Umstellungsereignisausgabe, verknüpft mit einem dritten informationstragenden Objekt, wobei das dritte informationstragende Objekt zumindest eines von einem zweiten sensoraktivierten physischen Objekt und einem zweiten digitalen Objekt umfasst; Bestimmen eines zweiten renderbaren Parameters des zweiten renderbaren Attributs gemäß der zweiten Eigenschaft des zweiten informationstragenden Objekts und der renderbaren Attributkarte; und Aktivieren des zweiten renderbaren Attributs im dritten informationstragenden Objekt, wobei das zweite renderbare Attribut im dritten informationstragenden Objekt die zweite Eigenschaft des zweiten informationstragenden Objekts gemäß dem zweiten renderbaren Parameter angleicht.
  • Andere Ausführungsformen können eine andere Sequenzierung, zusätzliche oder weniger Operationen und eine andere Nomenklatur oder Terminologie benutzen, um ähnliche Funktionen zu erfüllen. In einigen Ausführungsformen können verschiedene Operationen oder ein Satz von Operationen parallel mit anderen Operationen, entweder synchron oder asynchron ausgeführt werden. Die hier ausgewählten Operationen wurden zur Veranschaulichung einiger Betriebsprinzipien in vereinfachter Form gewählt. Für Fachleute auf dem Gebiet ist offensichtlich, dass verschiedene Modifizierungen und Variationen in den offenbarten Ausführungsformen der offenbarten Vorrichtung und den zugehörigen Verfahren vorgenommen werden können, ohne vom Wesen oder Umfang der Offenbarung abzuweichen. Daher soll die vorliegende Offenbarung die Modifizierungen und Variationen der oben offenbarten Ausführungsformen abdecken, vorausgesetzt, dass die Modifizierungen und Variationen im Umfang der Ansprüche und ihrer Äquivalente liegen.

Claims (26)

  1. BEANSPRUCHT WIRD:
  2. Apparat zur Umstellung eines erweiterten Realitätsobjekts zwischen physischen und digitalen Umgebungen, umfassend: einen Computerprozessor und Speicher, wobei der Speicher ein Sensordetektionsmodul, ein Modalitätsverfolgungsmodul und ein Aktuatormodul umfasst, wobei die Module durch den Computerprozessor zu betreiben sind; wobei das Sensordetektionsmodul eine Objektkennung eines ersten informationstragenden Objekts und eine Eigenschaft des ersten informationstragenden Objekts in Sensordaten detektieren soll, die von einem Sensor empfangen werden; wobei das Modalitätsverfolgungsmodul, basierend auf der Objektkennung und der Eigenschaft, einen Umstellungsereignisauslöser, verknüpft mit dem ersten informationstragenden Objekt, und eine Umstellungsereignisausgabe, verknüpft mit einem zweiten informationstragenden Objekt, bestimmen soll; wobei das Aktuatormodul über einen Aktuator ein renderbares Attribut im zweiten informationstragenden Objekt aktivieren soll; und wobei das erste informationstragende Objekt eines von einem sensoraktivierten physischen Objekt oder einem digitalen Objekt ist, das in einer digitalen Umgebung gerendert wird, und das zweite informationstragende Objekt das andere ist.
  3. Apparat nach Anspruch 1, wobei das Modalitätsverfolgungsmodul ferner ein renderbares Parameter des renderbaren Attributs gemäß der Eigenschaft bestimmen soll.
  4. Apparat nach Anspruch 2, wobei das renderbare Attribut im zweiten informationstragenden Objekt die Eigenschaft des ersten informationstragenden Objekts gemäß dem renderbaren Parameter, der durch die Modalitätsverfolgung bestimmt wird, zumindest teilweise gemäß einer renderbaren Attributkarte angleicht.
  5. Apparat nach Anspruch 1, wobei das sensoraktivierte physische Objekt ein physisches Objekt umfasst, umfassend einen Emitter oder Detektor von zumindest einem von einer akustischen Energie, einer elektromagnetischen Strahlung, einer elektrischen Energie, einer Beschleunigung und einem Magnetfeld.
  6. Apparat nach einem von Anspruch 1 bis Anspruch 4, wobei die Eigenschaft des ersten informationstragenden Objekts zumindest eine von einer physischen Eigenschaft des sensoraktivierten physischen Objekts und einer gerenderten digitalen Eigenschaft des digitalen Objekts umfasst und wobei die Eigenschaft zumindest eines von einer Zeit, einer Orientierung, einer Position, einer Positionsänderungsrate, einer relativen Position, einer codierten Information, einer Farbe und einem Ton umfasst.
  7. Apparat nach einem von Anspruch 1 bis Anspruch 4, wobei: der Sensor ein Sensor des sensoraktivierten physischen Objekts und ein Sensor des digitalen Objekts ist; der Aktuator ein Aktuator des sensoraktivierten physischen Objekts und ein Aktuator des digitalen Objekts ist; wobei der Sensor des sensoraktivierten physischen Objekts zumindest eines von einem Mikrofon, einem Bewegungsdetektor, einer Kamera, einer kapazitiven Oberfläche, einem elektromagnetischen Detektor, einem Vibrationsdetektor, einem Näherungsdetektor und einem Passermarkendetektor umfasst, wobei der Sensor des digitalen Objekts und der Aktuator des digitalen Objekts eine Registrierung durch das Sensormodul mit einem digitalen Objektrendermodul umfassen; und wobei der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung, einem Motor, einem Projektil und einem digitalen Rendermodul umfasst.
  8. Apparat nach Anspruch 3, wobei die Objektkennung eine erste Objektkennung ist, die Eigenschaft eine erste Eigenschaft ist, der Umstellungsereignisauslöser ein erster Umstellungsereignisauslöser ist, die Umstellungsereignisausgabe eine erste Umstellungsereignisausgabe ist, das sensoraktivierte physische Objekt ein erstes sensoraktiviertes physisches Objekt ist, das digitale Objekt ein erstes digitales Objekt ist, das renderbare Attribut ein erstes renderbares Attribut ist, der renderbare Parameter ein erster renderbarer Parameter ist und die Sensordaten erste Sensordaten sind; wobei das Sensormodul eine zweite Objektkennung des zweiten informationstragenden Objekts und eine zweite Eigenschaft des zweiten informationstragenden Objekts in zweiten Sensordaten detektieren soll, die vom Sensor empfangen werden; wobei das Modalitätsverfolgungsmodul, basierend auf der zweiten Objektkennung und der zweiten Eigenschaft, einen zweiten Umstellungsereignisauslöser, verknüpft mit dem zweiten informationstragenden Objekt, und eine zweite Umstellungsereignisausgabe, verknüpft mit einem dritten informationstragenden Objekt, bestimmen soll, wobei das dritte informationstragende Objekt zumindest eines von einem zweiten sensoraktivierten physischen Objekt und einem zweiten digitalen Objekt umfasst; und wobei das Aktuatormodul ein zweites renderbares Attribut im dritten informationstragenden Objekt aktivieren soll, wobei das zweite renderbare Attribut einen zweiten renderbaren Parameter umfasst, der durch das Modalitätsverfolgungsmodul gemäß der zweiten Eigenschaft bestimmt wird, wobei das zweite renderbare Attribut im dritten informationstragenden Objekt die zweite Eigenschaft des zweiten informationstragenden Objekts angleicht, die durch das Modalitätsverfolgungsmodul zumindest teilweise gemäß der renderbaren Attributkarte bestimmt wird.
  9. Verfahren zur Berechnung, umfassend: in einer Rechenvorrichtung, die einen Prozessor, einen Speicher, einen Sensor, eine digitale Renderumgebung und einen Aktuator umfasst; Umstellung eines erweiterten Realitätsobjekts von einem ersten informationstragenden Objekt zu einem zweiten informationstragenden Objekt durch: mit dem Sensor, Detektieren einer Objektkennung des ersten informationstragenden Objekts und einer Eigenschaft des ersten informationstragenden Objekts in Sensordaten, die vom Sensor empfangen werden; basierend auf der Objektkennung und der Eigenschaft, Bestimmen eines Umstellungsereignisauslösers, verknüpft mit dem ersten informationstragenden Objekt, und einer Umstellungsereignisausgabe, verknüpft mit dem zweiten informationstragenden Objekt; mit dem Aktuator, Aktivieren eines renderbaren Attributs im zweiten informationstragenden Objekt; wobei das erste informationstragende Objekt eines von einem sensoraktivierten physischen Objekt oder einem digitalen Objekt, gerendert in der digitalen Umgebung, ist und das zweite informationstragende Objekt das andere ist.
  10. Verfahren nach Anspruch 8, ferner umfassend ein Bestimmen eines renderbaren Parameters des renderbaren Attributs gemäß der Eigenschaft.
  11. Verfahren nach Anspruch 9, ferner umfassend ein Bestimmen des renderbaren Parameters zumindest teilweise gemäß einer renderbaren Attributkarte, wobei das renderbare Attribut im zweiten informationstragenden Objekt die Eigenschaft des ersten informationstragenden Objekts gemäß dem renderbaren Parameter zumindest teilweise gemäß der renderbaren Attributkarte angleicht.
  12. Verfahren nach Anspruch 8, wobei das sensoraktivierte physische Objekt ein physisches Objekt umfasst, umfassend einen Emitter oder Detektor von zumindest einem von einer akustischen Energie, einer elektromagnetischen Strahlung, einer elektrischen Energie, einer Beschleunigung und einem Magnetfeld.
  13. Verfahren nach einem von Anspruch 8 bis Anspruch 11, wobei die Eigenschaft des ersten informationstragenden Objekts zumindest eine von einer physischen Eigenschaft des sensoraktivierten physischen Objekts und einer gerenderten digitalen Eigenschaft des digitalen Objekts umfasst und wobei die Eigenschaft zumindest eines von einer Zeit, einer Orientierung, einer Position, einer Positionsänderungsrate, einer Farbe und einem Ton umfasst.
  14. Verfahren nach einem von Anspruch 8 bis Anspruch 11, wobei: der Sensor ein Sensor des sensoraktivierten physischen Objekts und ein Sensor des digitalen Objekts ist; der Aktuator ein Aktuator des sensoraktivierten physischen Objekts und ein Aktuator des digitalen Objekts ist; wobei der Sensor des sensoraktivierten physischen Objekts zumindest eines von einem Mikrofon, einem Bewegungsdetektor, einer Kamera, einer kapazitiven Oberfläche, einem elektromagnetischen Detektor, einem Vibrationsdetektor, einem Näherungsdetektor und einem Passermarkendetektor umfasst, wobei das Verfahren ferner ein Registrieren durch den Sensor des digitalen Objekts und den Aktuator des digitalen Objekts, um eine digitale Objektverhaltensdatenbetrachtung zu empfangen, und Senden digitaler Objektverhaltensdaten zum digitalen Objekt in der digitalen Renderumgebung umfasst; und wobei der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung, einem Motor, einem Projektil und dem digitalen Objekt in der digitalen Anzeige umfasst.
  15. Verfahren nach Anspruch 10, wobei die Objektkennung eine erste Objektkennung ist, die Eigenschaft eine erste Eigenschaft ist, der Umstellungsereignisauslöser ein erster Umstellungsereignisauslöser ist, die Umstellungsereignisausgabe eine erste Umstellungsereignisausgabe ist, das sensoraktivierte physische Objekt ein erstes sensoraktiviertes physisches Objekt ist, das digitale Objekt ein erstes digitales Objekt ist, das renderbare Attribut ein erstes renderbares Attribut ist, der renderbare Parameter ein erster renderbarer Parameter ist und die Sensordaten erste Sensordaten sind; und das Verfahren ferner umfassend: Detektieren einer zweiten Objektkennung des zweiten informationstragenden Objekts und einer zweiten Eigenschaft des zweiten informationstragenden Objekts in zweiten Sensordaten, die vom Sensor empfangen werden; Bestimmen, basierend auf der zweiten Objektkennung und der zweiten Eigenschaft, eines zweiten Umstellungsereignisauslösers, verknüpft mit dem zweiten informationstragenden Objekt, und einer zweiten Umstellungsereignisausgabe, verknüpft mit einem dritten informationstragenden Objekt, wobei das dritte informationstragende Objekt zumindest eines von einem zweiten sensoraktivierten physischen Objekt und einem zweiten digitalen Objekt umfasst; Bestimmen eines zweiten renderbaren Parameters des zweiten renderbaren Attributs gemäß der zweiten Eigenschaft des zweiten informationstragenden Objekts und der renderbaren Attributkarte; und Aktivieren des zweiten renderbaren Attributs im dritten informationstragenden Objekt, wobei das zweite renderbare Attribut im dritten informationstragenden Objekt die zweite Eigenschaft des zweiten informationstragenden Objekts gemäß dem zweiten renderbaren Parameter angleicht.
  16. Apparat zur Umstellung eines erweiterten Realitätsobjekts zwischen physischen und digitalen Umgebungen, umfassend: in einer Rechenvorrichtung, die einen Prozessor, einen Speicher, einen Sensor und einen Aktuator umfasst; Mittel zum, mit dem Sensor, Detektieren einer Objektkennung des ersten informationstragenden Objekts und einer Eigenschaft des ersten informationstragenden Objekts; Mittel zum, basierend auf der Objektkennung und der Eigenschaft, Bestimmen eines Umstellungsereignisauslösers, verknüpft mit dem ersten informationstragenden Objekt, und einer Umstellungsereignisausgabe, verknüpft mit einem zweiten informationstragenden Objekt; Mittel zum Aktivieren, über den Aktuator, eines renderbaren Attributs im zweiten informationstragenden Objekt; und wobei das erste informationstragende Objekt eines von einem sensoraktivierten physischen Objekt oder einem digitalen Objekt ist, und das zweite informationstragende Objekt das andere ist.
  17. Apparat nach Anspruch 15, ferner umfassend Mittel zum Bestimmen eines renderbaren Parameters des renderbaren Attributs gemäß der Eigenschaft und ferner umfassend Mittel zum Bestimmen des renderbaren Parameters zumindest teilweise gemäß einer renderbaren Attributkarte, wobei das renderbare Attribut im zweiten informationstragenden Objekt die Eigenschaft des ersten informationstragenden Objekts gemäß dem renderbaren Parameter zumindest teilweise gemäß der renderbaren Attributkarte angleicht.
  18. Apparat nach Anspruch 15, wobei das sensoraktivierte physische Objekt ein physisches Objekt umfasst, umfassend einen Emitter oder Detektor von zumindest einem von einer akustischen Energie, einer elektromagnetischen Strahlung, einer elektrischen Energie, einer Beschleunigung und einem Magnetfeld.
  19. Apparat gemäß einem von Anspruch 15 bis Anspruch 17, wobei die Eigenschaft des ersten informationstragenden Objekts zumindest eine von einer physischen Eigenschaft des sensoraktivierten physischen Objekts und einer gerenderten digitalen Eigenschaft des digitalen Objekts umfasst und wobei die Eigenschaft zumindest eines von einer Zeit, einer Orientierung, einer Position, einer Positionsänderungsrate, einer Farbe und einem Ton umfasst.
  20. Apparat gemäß einem von Anspruch 15 bis Anspruch 17, wobei: der Sensor ein Sensor des sensoraktivierten physischen Objekts und ein Sensor des digitalen Objekts ist; der Aktuator ein Aktuator des sensoraktivierten physischen Objekts und ein Aktuator des digitalen Objekts ist; wobei der Sensor des sensoraktivierten physischen Objekts zumindest eines von einem Mikrofon, einem Bewegungsdetektor, einer Kamera, einer kapazitiven Oberfläche, einem elektromagnetischen Detektor, einem Vibrationsdetektor, einem Näherungsdetektor und einem Passermarkendetektor umfasst, wobei der Sensor des digitalen Objekts und der Aktuator des digitalen Objekts Mittel zum Registrieren, um eine digitale Objektverhaltensdatenbetrachtung zu empfangen, und Mittel zum Senden digitaler Objektverhaltensdaten zum digitalen Objekt in einer digitalen Renderumgebung des Apparats umfassen; und wobei der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung, einem Motor, einem Projektil und dem digitalen Objekt in der digitalen Anzeige umfasst.
  21. Apparat nach Anspruch 16, wobei die Objektkennung eine erste Objektkennung ist, die Eigenschaft eine erste Eigenschaft ist, der Umstellungsereignisauslöser ein erster Umstellungsereignisauslöser ist, die Umstellungsereignisausgabe eine erste Umstellungsereignisausgabe ist, das sensoraktivierte physische Objekt ein erstes sensoraktiviertes physisches Objekt ist, das digitale Objekt ein erstes digitales Objekt ist, das renderbare Attribut ein erstes renderbares Attribut ist, der renderbare Parameter ein erster renderbarer Parameter ist und die Sensordaten erste Sensordaten sind; und der Apparat ferner umfasst: Mittel zum Detektieren einer zweiten Objektkennung des zweiten informationstragenden Objekts und einer zweiten Eigenschaft des zweiten informationstragenden Objekts in zweiten Sensordaten, die vom Sensor empfangen werden; Mittel zum Bestimmen, basierend auf der zweiten Objektkennung und der zweiten Eigenschaft, eines zweiten Umstellungsereignisauslösers, verknüpft mit dem zweiten informationstragenden Objekt, und einer zweiten Umstellungsereignisausgabe, verknüpft mit einem dritten informationstragenden Objekt, wobei das dritte informationstragende Objekt zumindest eines von einem zweiten sensoraktivierten physischen Objekt und einem zweiten digitalen Objekt umfasst; Mittel zum Bestimmen eines zweiten renderbaren Parameters des zweiten renderbaren Attributs gemäß der zweiten Eigenschaft des zweiten informationstragenden Objekts und der renderbaren Attributkarte; und Mittel zum Aktivieren des zweiten renderbaren Attributs im dritten informationstragenden Objekt, wobei das zweite renderbare Attribut im dritten informationstragenden Objekt die zweite Eigenschaft des zweiten informationstragenden Objekts gemäß dem zweiten renderbaren Parameter angleicht.
  22. Computerlesbares Medium oder mehrere computerlesbare Medien, die Anweisungen umfassen, die eine Rechenvorrichtung, in Antwort auf eine Ausführung der Anweisungen durch einen oder mehrere Prozessoren der Rechenvorrichtung, veranlassen zum: Umstellen eines erweiterten Realitätsobjekts von einem ersten informationstragenden Objekt zu einem zweiten informationstragenden Objekt durch: Detektieren, mit einem Sensor, einer Objektkennung des ersten informationstragenden Objekts und einer Eigenschaft des ersten informationstragenden Objekts in Sensordaten, die vom Sensor empfangen werden; basierend auf der Objektkennung und der Eigenschaft, Bestimmen eines Umstellungsereignisauslösers, verknüpft mit dem ersten informationstragenden Objekt, und einer Umstellungsereignisausgabe, verknüpft mit dem zweiten informationstragenden Objekt; mit einem Aktuator, Aktivieren eines renderbaren Attributs im zweiten informationstragenden Objekt; und wobei das erste informationstragende Objekt eines von einem sensoraktivierten physischen Objekt oder einem digitalen Objekt ist, das in einer digitalen Umgebung gerendert wird, und das zweite informationstragende Objekt das andere ist.
  23. Computerlesbare Medien nach Anspruch 21, wobei die Rechenvorrichtung ferner veranlasst wird, einen renderbaren Parameter des renderbaren Attributs gemäß der Eigenschaft zu bestimmen und wobei die Rechenvorrichtung ferner veranlasst wird, den renderbaren Parameter zumindest teilweise gemäß einer renderbaren Attributkarte zu bestimmen, wobei das renderbare Attribut im zweiten informationstragenden Objekt die Eigenschaft des ersten informationstragenden Objekts gemäß dem renderbaren Parameter zumindest teilweise gemäß der renderbaren Attributkarte angleicht.
  24. Computerlesbare Medien nach einem von Anspruch 21 bis Anspruch 22, wobei die Eigenschaft des ersten informationstragenden Objekts zumindest eine von einer physischen Eigenschaft des sensoraktivierten physischen Objekts und einer gerenderten digitalen Eigenschaft des digitalen Objekts umfasst und wobei die Eigenschaft zumindest eines von einer Zeit, einer Orientierung, einer Position, einer Positionsänderungsrate, einer Farbe und einem Ton umfasst.
  25. Computerlesbare Medien nach einem von Anspruch 21 bis Anspruch 22, wobei: der Sensor ein Sensor des sensoraktivierten physischen Objekts und ein Sensor des digitalen Objekts ist; der Aktuator ein Aktuator des sensoraktivierten physischen Objekts und ein Aktuator des digitalen Objekts ist; wobei der Sensor des sensoraktivierten physischen Objekts zumindest eines von einem Mikrofon, einem Bewegungsdetektor, einer Kamera, einer kapazitiven Oberfläche, einem elektromagnetischen Detektor, einem Vibrationsdetektor, einem Näherungsdetektor und einem Passermarkendetektor umfasst, wobei der Sensor des digitalen Objekts und der Aktuator des digitalen Objekts eine Registrierung umfassen, um eine digitale Objektverhaltensdatenbetrachtung zu empfangen und digitale Objektverhaltensdaten zum digitalen Objekt in einer digitalen Renderumgebung der Rechenvorrichtung zu senden; und wobei der Aktuator zumindest eines von einem Lautsprecher, einer haptischen Ausgabevorrichtung, einem Motor, einem Projektil und dem digitalen Objekt in der digitalen Anzeige umfasst.
  26. Computerlesbare Medien nach Anspruch 22, wobei die Objektkennung eine erste Objektkennung ist, die Eigenschaft eine erste Eigenschaft ist, der Umstellungsereignisauslöser ein erster Umstellungsereignisauslöser ist, die Umstellungsereignisausgabe eine erste Umstellungsereignisausgabe ist, das sensoraktivierte physische Objekt ein erstes sensoraktiviertes physisches Objekt ist, das digitale Objekt ein erstes digitales Objekt ist, das renderbare Attribut ein erstes renderbares Attribut ist, der renderbare Parameter ein erster renderbarer Parameter ist und die Sensordaten erste Sensordaten sind; und die Rechenvorrichtung ferner veranlasst wird zum: Detektieren einer zweiten Objektkennung des zweiten informationstragenden Objekts und einer zweiten Eigenschaft des zweiten informationstragenden Objekts in zweiten Sensordaten, die vom Sensor empfangen werden; Bestimmen, basierend auf der zweiten Objektkennung und der zweiten Eigenschaft, eines zweiten Umstellungsereignisauslösers, verknüpft mit dem zweiten informationstragenden Objekt, und einer zweiten Umstellungsereignisausgabe, verknüpft mit einem dritten informationstragenden Objekt, wobei das dritte informationstragende Objekt zumindest eines von einem zweiten sensoraktivierten physischen Objekt und einem zweiten digitalen Objekt umfasst; Bestimmen eines zweiten renderbaren Parameters des zweiten renderbaren Attributs gemäß der zweiten Eigenschaft des zweiten informationstragenden Objekts und der renderbaren Attributkarte; und Aktivieren des zweiten renderbaren Attributs im dritten informationstragenden Objekt, wobei das zweite renderbare Attribut im dritten informationstragenden Objekt die zweite Eigenschaft des zweiten informationstragenden Objekts gemäß dem zweiten renderbaren Parameter angleicht.
DE112016005818.7T 2015-12-16 2016-11-02 Umstellung erweiterter realitätsobjekte in physischen und digitalen umgebungen Pending DE112016005818T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/971,781 2015-12-16
US14/971,781 US9846970B2 (en) 2015-12-16 2015-12-16 Transitioning augmented reality objects in physical and digital environments
PCT/US2016/060166 WO2017105658A1 (en) 2015-12-16 2016-11-02 Transitioning augmented reality objects in physical and digital environments

Publications (1)

Publication Number Publication Date
DE112016005818T5 true DE112016005818T5 (de) 2018-09-06

Family

ID=59057404

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112016005818.7T Pending DE112016005818T5 (de) 2015-12-16 2016-11-02 Umstellung erweiterter realitätsobjekte in physischen und digitalen umgebungen

Country Status (4)

Country Link
US (1) US9846970B2 (de)
CN (1) CN108351705B (de)
DE (1) DE112016005818T5 (de)
WO (1) WO2017105658A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10720184B2 (en) * 2016-03-16 2020-07-21 Intel Corporation Selective recording of augmented reality objects
US20190005724A1 (en) * 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Presenting augmented reality display data in physical presentation environments
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US10593119B2 (en) 2018-06-25 2020-03-17 Intel Corporation Projected augmented reality to obscure physical objects
US10909751B2 (en) 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content
CN112083802B (zh) * 2020-07-27 2024-05-28 北京阿派朗创造力科技有限公司 一种在现实空间中实现虚拟活动的方法及计算机设备
US11295531B1 (en) 2021-02-24 2022-04-05 Allison Cecile Westley System and method for generating interactive virtual image frames in an augmented reality presentation
KR20230152060A (ko) * 2021-02-28 2023-11-02 글랜스 네트웍스, 인크. 문서 및 미디어 url을 안전하게 공동 브라우징하기 위한 방법 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5443260A (en) * 1994-05-23 1995-08-22 Dynamic Sports Technology Virtual reality baseball training and amusement system
US20060063574A1 (en) * 2003-07-30 2006-03-23 Richardson Todd E Sports simulation system
US7544137B2 (en) * 2003-07-30 2009-06-09 Richardson Todd E Sports simulation system
WO2010040219A1 (en) * 2008-10-08 2010-04-15 Interactive Sports Technologies Inc. Sports simulation system
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US20080310707A1 (en) 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8175617B2 (en) * 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
JP5709906B2 (ja) * 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
WO2012011893A1 (en) * 2010-07-20 2012-01-26 Empire Technology Development Llc Augmented reality proximity sensing
US9418479B1 (en) * 2010-12-23 2016-08-16 Amazon Technologies, Inc. Quasi-virtual objects in an augmented reality environment
KR101048090B1 (ko) 2011-03-22 2011-07-08 (주) 골프존 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
CN104704535A (zh) 2012-10-02 2015-06-10 索尼公司 增强现实系统
US9704295B2 (en) 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment

Also Published As

Publication number Publication date
US20170178406A1 (en) 2017-06-22
CN108351705A (zh) 2018-07-31
WO2017105658A1 (en) 2017-06-22
US9846970B2 (en) 2017-12-19
CN108351705B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
DE112016005818T5 (de) Umstellung erweiterter realitätsobjekte in physischen und digitalen umgebungen
Miao et al. Neuromorphic vision datasets for pedestrian detection, action recognition, and fall detection
DE102018125629A1 (de) DEEP-Learning-basierte Echtzeit-Detektion und -Korrektur von kompromittierten Sensoren in autonomen Maschinen
DE102018130115B4 (de) Vorrichtung und Verfahren zur kontextbasierten Unterdrückung und Verstärkung von Akustiksignalen in akustischen Umgebungen
DE102017116192A1 (de) Verwenden von virtuellen Daten zum Testen und Trainieren von Parkplatzerfassungssystemen
DE112011102043T5 (de) Objekterfassungsmetadaten
DE202011109296U1 (de) Vorrichtung zur Bereitstellung eines visuellen Übergangs zwischen Bildschirmen
DE112019004488B4 (de) Doppelmodus-Datenerfassungssystem zur Kollisionserfassung und Objektdimensionierung und Verfahren zur Doppelmodus-Datenerfassung
DE102013207601A1 (de) Aufgliedern von angezeigten Inhalten auf einem Touchscreen-Gerät
DE112013004801T5 (de) Multimodaler Berührungsbildschirmemulator
DE102017009505A1 (de) Erzeugen einer kompakten Videomerkmaldarstellung in einer digitalen Medienumgebung
Chen et al. Using real-time acceleration data for exercise movement training with a decision tree approach
DE102020007191A1 (de) Maschinelles Lernen zur Digitalbildauswahl unter Objektvarianten
Aguilar et al. Statistical abnormal crowd behavior detection and simulation for real-time applications
DE112016002252T5 (de) Automatische erkennung von panoramagesten
DE102020105074A1 (de) Verfahren und Systeme zur Applikations-Steuerung bei einem klappbaren elektronischen Gerät
DE112016007223T5 (de) Dualmodus-Schnittstellen für erweiterte Realität für mobile Vorrichtungen
DE102022100521A1 (de) Automatische inhaltserkennung und information im livestreaming geeignet für videospiele
DE112018007232T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und aufzeichnungsmedium
DE102020211939A1 (de) Objektidentifizierung in einer mobilen arbeitsmaschine
DE102021119725A1 (de) Überlagern von metadaten über videoströme on-demand zur intelligenten videoanalytik
DE112019001822B4 (de) Änderung und Darstellung von Audio- und Video-Multimedia
EP3386207A1 (de) Verfahren zum betrieb eines datenverarbeitungssystems zur bereitstellung eines interaktiven videoinhalts
DE102019219479A1 (de) System und verfahren zur zyklusdauermessung in wiederholten aktivitätssequenzen
DE102022112703A1 (de) Multimodale absichtserkennung für telepräsenzroboter

Legal Events

Date Code Title Description
R012 Request for examination validly filed