-
Gebiet
-
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium.
-
Hintergrund
-
In einem Multiplayer-Spiel von Videospielen und dergleichen bewegt sich eine Figur mit fast dem gleichen Zustandsübergang aus der Sicht eines beliebigen Benutzers. Außerdem verwenden solche Videospiele und dergleichen eine Methode zur Änderung eines Schnitts, um zu einer Filmszene zu wechseln, um eine bestimmte Szene zu zeigen. Die Videospiele und dergleichen verwenden außerdem eine Methode, die den Benutzer zwangsweise daran hindert, die Steuerung der Figur einzugeben, und die automatisch eine Renderkamera oder eine Figur an eine Stelle bewegt, die der Benutzer sehen soll.
-
Außerdem ist als Technik zur Steuerung der Bewegung einer Figur zum Beispiel eine Technik zur Steuerung der Bewegung einer Figur bekannt, die auf der Seite der anderen Partei angezeigt wird, wenn ein Gespräch über ein Netzwerk geführt wird.
-
Anführungsliste
-
Patentdokumente
-
Patentdokument 1:
JP 2012-181704 A -
Kurzdarstellung
-
Technisches Problem
-
In einem Multiplayer-Spiel, das eine Augmented Reality (AR)-Technologie verwendet, ist es jedoch schwierig, dass jeder Benutzer eine bestimmte Szene auf die gleiche Weise erlebt. In einem solchen Multiplayer-Spiel, das die AR-Technologie verwendet, wird beispielsweise eine Figur, die ein virtuelles Objekt ist, einem realen Raum überlagert und für einen Benutzer, der ein Head Mounted Display (HMD) oder dergleichen trägt, angezeigt. In diesem Fall wird der Darstellungsbereich der Figur oder dergleichen für den Benutzer in einer Weise gesteuert, die von der Position und der Ausrichtung des Benutzers abhängt, so dass es schwierig ist, eine Methode zur erzwungenen Steuerung einer Renderkamera anzuwenden. Außerdem ist es schwierig, eine Figur oder dergleichen jederzeit innerhalb des Blickwinkels zu erfassen, da der Blickwinkel des HMD begrenzt ist und die Benutzer sich unterschiedlich bewegen.
-
Aus diesem Grund ist es, wenn eine Figur mit Hilfe der AR-Technologie oder dergleichen für den Benutzer, der das HMD oder dergleichen trägt, angezeigt wird, schwierig, jedem Benutzer eine bestimmte Szene, wie z. B. eine Animation, die für den Fortschritt des Multiplayer-Spiels notwendig ist, auf die gleiche Weise zur Verfügung zu stellen.
-
Daher schlägt die vorliegende Offenbarung eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium vor, die es jedem Benutzer ermöglichen, eine bestimmte Szene auf die gleiche Weise zu erleben, selbst mit einer Anzeigevorrichtung, die einen begrenzten Betrachtungswinkel hat.
-
Lösung des Problems
-
Gemäß der vorliegenden Offenbarung enthält eine Informationsverarbeitungsvorrichtung eine Steuervorrichtung, die ausgebildet ist, um zu bestimmen, ob sich ein erstes mobiles Endgerät in einer ersten Position in einem realen Raum befindet, und basierend auf der Bestimmung, dass sich das erste mobile Endgerät in der ersten Position befindet, zu steuern, dass das erste mobile Endgerät beginnt, ein virtuelles Objekt auf den realen Raum in Reaktion auf die erste Position zu überlagern, und zu bestimmen, ob sich ein zweites mobiles Endgerät, das sich von dem ersten mobilen Endgerät unterscheidet, in der ersten Position befindet, und zu steuern, basierend auf der Bestimmung, dass sich das zweite mobile Endgerät in der ersten Position befindet, das zweite mobile Endgerät zu starten, um das virtuelle Objekt dem realen Raum zu überlagern, wobei die Steuervorrichtung das erste mobile Endgerät veranlasst, eine erste Bewegung des virtuellen Objekts zu starten, und das zweite mobile Endgerät veranlasst, eine zweite Bewegung des virtuellen Objekts zu starten, die sich in Bezug auf zumindest entweder eine Anzeigestartzeit des virtuellen Objekts oder eine Anzeigestartposition des virtuellen Objekts unterscheidet, und veranlasst, dass die erste Bewegung und die zweite Bewegung in einer synchronisierten Weise enden.
-
Figurenliste
-
- 1 ist ein Diagramm, das ein Beispiel einer Informationsverarbeitung gemäß einer ersten Ausführungsform darstellt.
- 2 ist ein Diagramm, das ein Beispiel eines Informationsverarbeitungssystems gemäß der ersten Ausführungsform darstellt.
- 3 ist ein Diagramm, das ein Beispiel des Informationsverarbeitungssystems gemäß der ersten Ausführungsform darstellt.
- 4 ist ein Diagramm, das ein Beispiel einer Struktur eines mobilen Endgerätes gemäß der ersten Ausführungsform darstellt.
- 5 ist ein Diagramm, das ein Beispiel der Art darstellt, wie das mobile Endgerät gemäß der ersten Ausführungsform getragen wird.
- 6 ist ein Diagramm, das ein Beispiel einer Struktur einer Informationsverarbeitungsvorrichtung gemäß der ersten Ausführungsform darstellt.
- 7 ist ein Sequenzdiagramm, das einen Verarbeitungsablauf gemäß der ersten Ausführungsform darstellt.
- 8 ist ein Diagramm, das ein Beispiel einer Informationsverarbeitung gemäß einer zweiten Ausführungsform darstellt.
- 9 ist ein Diagramm, das ein Beispiel einer Informationsverarbeitung gemäß einer dritten Ausführungsform darstellt.
- 10 ist ein Hardware-Strukturdiagramm, das ein Beispiel eines Computers darstellt, der die Funktion der Informationsverarbeitungsvorrichtung implementiert. Beschreibung der Ausführungsformen
-
Im Folgenden werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen im Einzelnen beschrieben. Beachten Sie, dass in jeder der folgenden Ausführungsformen die gleichen Komponenten mit den gleichen Referenznummern bezeichnet werden, um eine redundante Beschreibung zu vermeiden.
-
Die vorliegende Offenbarung wird in der folgenden Reihenfolge der Punkte beschrieben.
- 1. Erste Ausführungsform
- 1-1. Beispiel der Informationsverarbeitung gemäß der ersten Ausführungsform
- 1-2. Struktur des Systems gemäß der ersten Ausführungsform
- 1-3. Struktur des mobilen Endgerätes gemäß der ersten Ausführungsform
- 1-4. Struktur der Informationsverarbeitungsvorrichtung gemäß der ersten Ausführungsform
- 1-5. Informationsverarbeitungsablauf gemäß der ersten Ausführungsform
- 1-6. Effekte
- 2. Zweite Ausführungsform
- 2-1. Beispiel des Erscheinungsbereichs gemäß der zweiten Ausführungsform
- 3. Dritte Ausführungsform
- 3-1. Beispiel des Erscheinungsbereichs gemäß der dritten Ausführungsform
- 4. Modifikationen der Ausführungsformen
- 5. Hardware-Struktur
- 6. Effekte
-
(1. Erste Ausführungsform)
-
[1-1. Beispiel der Informationsverarbeitung gemäß der ersten Ausführungsform]
-
1 ist ein Diagramm, das ein Beispiel einer Informationsverarbeitung gemäß der ersten Ausführungsform darstellt. Die Informationsverarbeitung gemäß der ersten Ausführungsform wird von den mobilen Endgeräten 100a, 100b und einer in 1 dargestellten Informationsverarbeitungsvorrichtung 200 durchgeführt.
-
Die mobilen Endgeräte 100a, 100b sind informationsverarbeitende Endgeräte, die so ausgebildet sind, dass sie eine so genannte AR-Technologie oder dergleichen bereitstellen. Gemäß der ersten Ausführungsform handelt es sich bei den mobilen Endgeräten 100a, 100b um tragbare Displays, die am Kopf der Benutzer U1 bzw. U2 getragen werden. Genauer gesagt, können die mobilen Endgeräte 100a, 100b jeweils als HMD, AR-Brille oder dergleichen bezeichnet werden. Außerdem entspricht das mobile Endgerät 100a des Benutzers U1 in der folgenden Beschreibung einem ersten mobilen Endgerät, und das mobile Endgerät 100b des Benutzers U2 entspricht einem zweiten mobilen Endgerät. Beachten Sie, dass, wenn die mobilen Endgeräte 100a, 100b der Benutzer U1, U2 nicht unterschieden werden, die mobilen Endgeräte 100a, 100b jeweils einfach als ein mobiles Endgerät 100 bezeichnet werden.
-
Das mobile Endgerät 100 enthält ein Display 101, das ein transmissives Display ist. Beispielsweise überlagert das mobile Endgerät 100 ein virtuelles Objekt, das durch Computergrafik (CG) oder dergleichen dargestellt wird, auf einen realen Raum und zeigt auf dem Display 101 das virtuelle Objekt an, das dem realen Raum überlagert ist. Beachten Sie, dass in der folgenden Beschreibung das virtuelle Objekt, das dem realen Raum überlagert ist, auch als AR-Objekt bezeichnet wird. Außerdem enthalten Beispiele für das AR-Objekt eine Figur eines Multiplayer-Spiels. In dem in 1 dargestellten Beispiel zeigt das vom Benutzer U1 getragene mobile Endgerät 100a ein AR-Objekt V1 an. Außerdem zeigt das vom Benutzer U2 getragene mobile Endgerät 100b ein AR-Objekt V2 an. Die AR-Objekte V1, V2 werden in einem Erscheinungsbereich E1, der z. B. in der Nähe einer Tür im realen Raum liegt, überlagert dargestellt. Das mobile Endgerät 100 kann neben dem Display 101 ein weiteres Element zur Ausgabe eines vorgegebenen Ausgangssignals aufweisen. So kann das mobile Endgerät 100 beispielsweise einen Lautsprecher 102 oder dergleichen für die Ausgabe von Ton enthalten.
-
Die Informationsverarbeitungsvorrichtung 200 erfasst Positionsinformationen von den mobilen Endgeräten 100a, 100b und trifft eine Bestimmung über die Anzeige der AR-Objekte V1, V2. Die Informationsverarbeitungsvorrichtung 200 überträgt einen Anzeigestartauslöser an jedes der mobilen Endgeräte 100a, 100b basierend auf einem Ergebnis der Bestimmung.
-
Die AR-Objekte V1, V2 werden auf der Grundlage eines Erkennungsergebnisses eines später zu beschreibenden Sensors 110 in einem globalen Koordinatensystem platziert, das dem realen Raum zugeordnet ist. Zu diesem Zeitpunkt wird das AR-Objekt V1 in Abhängigkeit von der Position, der Ausrichtung und dem Blickwinkel A1 des Benutzers U1 an einer Position innerhalb des Erscheinungsbereichs E1 platziert. Außerdem wird das AR-Objekt V2 in Abhängigkeit von der Position, der Ausrichtung und dem Blickwinkel A2 des Benutzers U2 an einer Position innerhalb des Erscheinungsbereichs E1 platziert. In dem in 1 dargestellten Beispiel werden die AR-Objekte V1, V2 an Positionen mit unterschiedlichen Höhen innerhalb des Erscheinungsbereichs E1 platziert. Beachten Sie, dass die Blickwinkel A1, A2 beispielsweise 40 Grad in horizontaler Richtung und 20 Grad in vertikaler Richtung betragen.
-
Die AR-Objekte V1, V2 bewegen sich von den Positionen innerhalb des Erscheinungsbereiches E1 entlang der Bewegungspfade R1, R2 z. B. zu einem Mittelpunkt einer Straße im realen Raum und werden zu einem AR-Objekt V3.
Die Informationsverarbeitungsvorrichtung 200 weist die mobilen Endgeräte 100a, 100b an, eine bestimmte Szene auf der Grundlage des AR-Objekts V3 zu starten. Die mobilen Endgeräte 100a, 100b stellen den Benutzern U1, U2 die spezifische Szene auf der Grundlage des AR-Objekts V3 zur Verfügung.
-
Die mobilen Endgeräte 100a, 100b unterscheiden sich jedoch in Position, Ausrichtung und Blickwinkel voneinander. Dadurch unterscheiden sich der Bewegungspfad R1 und die Bewegungszeit, bis das AR-Objekt V1 zum AR-Objekt V3 wird, vom Bewegungsweg R2 und der Bewegungszeit, bis das AR-Objekt V2 zum AR-Objekt V3 wird. Daher wird das AR-Objekt V3 asynchron auf den mobilen Endgeräten 100a, 100b angezeigt, was es schwierig macht, die spezifische Szene, die auf dem AR-Objekt V3 basiert, den Benutzern U1, U2 auf die gleiche Weise bereitzustellen.
-
Das mobile Endgerät 100 und die Informationsverarbeitungsvorrichtung 200 gemäß der vorliegenden Offenbarung führen eine Informationsverarbeitung durch, die im Folgenden beschrieben wird, um jedem Benutzer zu ermöglichen, die spezifische Szene auf die gleiche Weise zu erleben, selbst mit einem Anzeigegerät, das einen begrenzten Blickwinkel hat. Konkret überträgt jedes mobile Endgerät 100 seine eigenen Positionsdaten an die Informationsverarbeitungsvorrichtung 200. Die Positionsinformationen werden in Übereinstimmung mit einem Kartenabgleich oder dergleichen auf der Grundlage verschiedener Sensorinformationen berechnet, die vom Sensor 110 erfasst werden, der später beschrieben wird. Beispielsweise wird der Kartenabgleich auf der Grundlage eines vom mobilen Endgerät 100 mit einer Stereokamera aufgenommenen Bildes durchgeführt, und die Position des mobilen Endgerätes 100 wird mit Hilfe eines Gyroskopsensors oder dergleichen bestimmt, um die Positionsinformationen zu berechnen.
-
Die Informationsverarbeitungsvorrichtung 200 bestimmt auf der Grundlage der so empfangenen Positionsinformationen auf jedem der mobilen Endgeräte 100a, 100b, ob die AR-Objekte V1, V2 angezeigt werden sollen. Wenn sich die Benutzer U1, U2 beispielsweise einem bestimmten Abstand (erste Position) von einer bestimmten Tür nähern, für die der Erscheinungsbereich E1 festgelegt ist, bestimmt die Informationsverarbeitungsvorrichtung 200, dass die AR-Objekte V1, V2 angezeigt werden. Wenn die Informationsverarbeitungsvorrichtung 200 bestimmt, dass die AR-Objekte V1, V2 angezeigt werden sollen, sendet sie den Anzeigestartauslöser an die mobilen Endgeräte 100a, 100b. Der Anzeigestartauslöser umfasst beispielsweise den Typ des anzuzeigenden AR-Objekts (Typ der Figur), eine Erscheinungsposition und eine Zielposition (zweite Position). Die Zielposition ist z. B. die Position des oben beschriebenen AR-Objekts V3. Außerdem kann der Anzeigestartauslöser die Ankunftszeit an der Zielposition enthalten.
-
Beispiele der Bedingung für die Bestimmung, ob die AR-Objekte V1, V2 angezeigt werden sollen, umfassen zusätzlich zu der oben beschriebenen Bestimmung auf der Grundlage der Benutzerposition eine Bedingung, bei der ein bestimmter Ort in den Blickwinkel des Benutzers fällt, und eine Bedingung, bei der ein bestimmter Zeitpunkt aufgrund des Fortschritts eines Szenarios des Multiplayer-Spiels eintritt. Beispiele für das spezifische Timing sind der Zeitpunkt, an dem ein bestimmter Feind im Multiplayer-Spiel besiegt wird, der Zeitpunkt, an dem eine Mission abgeschlossen ist, und dergleichen.
-
Die mobilen Endgeräte 100a, 100b bestimmen bei Empfang des Anzeigestartauslösers von der Informationsverarbeitungsvorrichtung 200 die Arten und Anzeigepositionen der AR-Objekte V1 bzw. V2 auf der Grundlage des Anzeigestartauslösers. Zunächst wird für die Anzeigepositionen der AR-Objekte V1, V2 ein positionsveränderlicher Bereich in einer Umgebung (Gebiet), in der das Spiel gespielt wird, vorgegeben. Der positionsveränderliche Bereich wird als Ebene oder als Raum festgelegt. Die Einstellung erfolgt z. B. über eine Form (Ebene/Kugel/Würfel oder dergleichen), eine Position (x, y, z) und eine Größe (x, y, z). Dabei wird der in 1 dargestellte Erscheinungsbereich E1 festgelegt.
-
Die mobilen Endgeräte 100a, 100b ermitteln anhand des Anzeigestartauslösers, ob die Position, die Ausrichtung und der Blickwinkel des Benutzers mit dem Erscheinungsbereich E1 kollidieren, der der eingestellte positionsveränderliche Bereich ist. Die mobilen Endgeräte 100a, 100b berechnen Positionen, die die jeweiligen Blickwinkel A1, A2 der Benutzer U1, U2 innerhalb des Erscheinungsbereichs E1 schneiden. Die mobilen Endgeräte 100a, 100b bestimmen die so berechneten Positionen als Anzeigepositionen der AR-Objekte V1, V2. Die mobilen Endgeräte 100a, 100b zeigen jeweils die AR-Objekte V1, V2 in den so ermittelten Anzeigepositionen an. Zu diesem Zeitpunkt können sich die AR-Objekte V1 und V2 im Anzeigezeitpunkt voneinander unterscheiden.
-
Wenn es keine Position gibt, die die Blickwinkel A1, A2 der Benutzer U1, U2 innerhalb des Erscheinungsbereichs E1 schneidet, können die mobilen Endgeräte 100a, 100b wiederholt eine Schnittposition für eine vorbestimmte Zeitspanne, zum Beispiel einige Sekunden, berechnen. In diesem Fall kann die Anzeigeposition des AR-Objekts ermittelt werden, wenn der Benutzer sein Gesicht innerhalb der vorgegebenen Zeitspanne dem Erscheinungsbereich E1 zuwendet. Andererseits kann die Kollisionsbestimmung beendet werden, wenn innerhalb der vorgegebenen Zeitspanne keine Schnittposition gefunden wurde, und das AR-Objekt kann in einer Standardposition angezeigt werden. Beachten Sie, dass die Standardposition z. B. die Mitte des Erscheinungsbereichs E1 sein kann.
-
Die mobilen Endgeräte 100a, 100b bewegen nach der Anzeige der AR-Objekte V1, V2 innerhalb des Erscheinungsbereichs E1 die so angezeigten AR-Objekte V1, V2 jeweils zu den Zielpositionen. Beispielsweise bewegt das mobile Endgerät 100a das AR-Objekt V1 über den Bewegungspfad R1 zur Position des AR-Objekts V3. Ebenso bewegt das mobile Endgerät 100b beispielsweise das AR-Objekt V2 über den Bewegungspfad R2 zur Position des AR-Objekts V3.
-
Zu diesem Zeitpunkt passen die mobilen Endgeräte 100a, 100b jeweils die Bewegungsgeschwindigkeit und den Weg eines entsprechenden AR-Objekts V1, V2 auf der Grundlage der Ankunftszeit an der Zielposition an, die im Anzeigestartauslöser enthalten ist, und bewegen die AR-Objekte V1, V2. Beachten Sie, dass die mobilen Endgeräte 100a, 100b jeweils ein entsprechendes AR-Objekt V1, V2 mit einer Standardgeschwindigkeit oder auf einem Standardweg bewegen, wenn der Anzeigestartauslöser keine Ankunftszeit an der Zielposition enthält. Außerdem können die mobilen Endgeräte 100a, 100b beim asynchronen Bewegen der AR-Objekte V1, V2, d. h. beim asynchronen Starten der Animation (Bewegtbild), die Wiedergabegeschwindigkeit und die Anzahl der Wiederholungen der Animation anpassen, um die Animation in einen synchronisierten Zustand zu bringen. Außerdem kann die zu reproduzierende Animation in Abhängigkeit von der Länge der Ankunftszeit an der Zielposition geändert werden, z. B. auf 5 Sekunden für den Benutzer U1 und 10 Sekunden für den Benutzer U2. Die mobilen Endgeräte 100a, 100b übermitteln jeweils beim Bewegen eines entsprechenden AR-Objekts V1, V2 zu der Position des AR-Objekts V3 eine Benachrichtigung über den Abschluss der Bewegung an die Informationsverarbeitungsvorrichtung 200.
-
Die Informationsverarbeitungsvorrichtung 200 sendet nach Empfang der Benachrichtigung über den Abschluss der Bewegung von den mobilen Endgeräten 100a, 100b eine Benachrichtigung über den Zustandsübergang des AR-Objekts an die mobilen Endgeräte 100a, 100b. Die mobilen Endgeräte 100a, 100b beginnen mit der Synchronisationsverarbeitung des AR-Objekts V3 auf der Grundlage der so erhaltenen Benachrichtigung über den Zustandsübergang.
-
Wie oben beschrieben, veranlasst die Informationsverarbeitungsvorrichtung 200 auf der Grundlage der Positionsinformationen auf den mobilen Endgeräten 100a, 100b, dass die AR-Objekte, die zunächst an Positionen angezeigt wurden, die sich in Abhängigkeit von den Blickpunkten der Benutzer U1, U2 leicht unterscheiden, an der Zielposition angezeigt werden. Auf diese Weise kann jeder Benutzer eine bestimmte Szene auf die gleiche Weise erleben, selbst wenn das Anzeigegerät einen begrenzten Betrachtungswinkel hat. Das heißt, jeder Benutzer kann eine Multiplayer-Anwendung mit Hilfe der AR-Technologie erleben, ohne eine notwendige Szene zu verpassen, soweit dies möglich ist.
-
[1-2. Struktur des Systems gemäß der ersten Ausführungsform]
-
2 und 3 sind Diagramme, die Beispiele eines Informationsverarbeitungssystems gemäß der ersten Ausführungsform darstellen. Wie in 2 dargestellt, umfasst ein Informationsverarbeitungssystem 1 eine Vielzahl von mobilen Endgeräten 100a bis 100c und die Informationsverarbeitungsvorrichtung 200. Die mobilen Endgeräte 100a bis 100c und die Informationsverarbeitungsvorrichtung 200 sind z. B. über das gleiche Netzwerk verbunden. Die mobilen Endgeräte 100a bis 100c sind Informationsverarbeitungsvorrichtungen, die von den Benutzern U1 bis U3 getragen werden, und mit denen die Benutzer U1 bis U3 ein Multiplayer-Spiel oder dergleichen spielen. Die Informationsverarbeitungsvorrichtung 200 ist eine Informationsverarbeitungsvorrichtung, die für die Kontrolle des Fortschritts des Multiplayer-Spiels und die Übermittlung eines Befehls oder von Daten an die mobilen Endgeräte 100a bis 100c in Abhängigkeit vom Fortschritt des Szenarios oder des Anwendungsstatus zuständig ist. Beachten Sie, dass wie bei dem in 3 dargestellten Informationsverarbeitungssystem 2 ein mobiles Endgerät 300 des Benutzers U4 gleichzeitig als Informationsverarbeitungsvorrichtung 200 dienen kann. In diesem Fall sind die Benutzer U1 bis U4 Spieler des Multiplayer-Spiels oder dergleichen.
-
[1-3. Struktur des mobilen Endgerätes gemäß der ersten Ausführungsform]
-
4 ist ein Diagramm, das ein Beispiel einer Struktur des mobilen Endgerätes gemäß der ersten Ausführungsform darstellt. Wie in 4 dargestellt, umfasst das mobile Endgerät 100 das Display 101, den Lautsprecher 102, einen Kommunikationsteil 103, einen Bedienungseingabeteil 104, den Sensor 110, einen Speicher 120 und einen Controller 130.
-
Das Display 101 ist beispielsweise ein binokulares optisches Durchsicht-HMD und wird im Sichtfeld des Benutzers, der das mobile Endgerät 100 trägt, positioniert, um das AR-Objekt dem realen Raum zu überlagern und das AR-Objekt im realen Raum überlagert anzuzeigen. Beachten Sie, dass als Display 101 verschiedene HMDs, wie z. B. ein monokulares optisches Durchsicht-HMD, ein Video-Durchsicht-HMD, ein Netzhautprojektions-HMD und ein immersives HMD, verwendet werden können.
-
Im Folgenden wird ein Beispiel für das Tragen des mobilen Endgerätes 100 unter Bezugnahme auf 5 beschrieben. 5 ist ein Diagramm, das ein Beispiel der Art darstellt, wie das mobile Endgerät gemäß der ersten Ausführungsform getragen wird. Wenn der Benutzer das mobile Endgerät 100 wie eine Brille trägt, befindet sich das Display 101 vor den Augen des Benutzers, wie in 5 dargestellt. Das Display 101 umfasst ein Display für das rechte Auge 101a und ein Display für das linke Auge 101b, und das Display für das rechte Auge 101a und das Display für das linke Auge 101b zeigen jeweils ein entsprechendes Bild an. Außerdem kann der Lautsprecher 102 ein Kopfhörer sein, der auf den Ohren des Benutzers getragen wird.
-
Zurück zur Beschreibung mit Bezug auf 4. Als Lautsprecher 102 kann z. B. ein Doppelkopfhörer verwendet werden. Der Lautsprecher 102 ermöglicht es dem Benutzer, den Ton des Multiplayer-Spiels zu hören und gleichzeitig ein Gespräch mit einem anderen Benutzer zu führen.
-
Der Kommunikationsteil 103 wird durch ein Kommunikationsmodul oder dergleichen implementiert, das z. B. an ein drahtloses lokales Netzwerk (LAN), wie z. B. Wi-Fi (eingetragenes Markenzeichen), angepasst ist. Der Kommunikationsteil 103 ist eine Kommunikationsschnittstelle, die für die Steuerung der Kommunikation von Informationen mit der Informationsverarbeitungsvorrichtung 200 zuständig ist. Der Kommunikationsteil 103 empfängt den Anzeigestartauslöser und die Benachrichtigung über den Zustandsübergang von der Informationsverarbeitungsvorrichtung 200. Der Kommunikationsteil 103 gibt den Anzeigestartauslöser und die so erhaltene Benachrichtigung über den Zustandsübergang an den Controller 130 aus. Außerdem überträgt der Kommunikationsteil 103 die Positionsinformationen und die Benachrichtigung über den Abschluss der Bewegungseingabe vom Controller 130 an die Informationsverarbeitungsvorrichtung 200.
-
Der Bedienungseingabeteil 104 ist zum Beispiel eine Taste, die eine Benutzereingabe empfängt. Der Bedienungseingabeteil 104 gibt die Benutzereingabe als Bedienungsinformation an den Controller 130 aus. Außerdem kann der Bedienungseingabeteil 104 Gesteneingaben unterstützen, die durch Handerkennung mit Hilfe einer Kamera des Sensors 110 erfolgen.
-
Der Sensor 110 umfasst verschiedene Sensoren, die eine Szene in der Umgebung des Benutzers, der das mobile Endgerät 100 trägt, erfassen. Der Sensor 110 umfasst eine Umgebungskamera 111, einen Tiefensensor 112, einen Gyroskopsensor 113, einen Beschleunigungssensor 114, einen Azimutsensor 115 und einen Positionssensor 116.
-
Die Umgebungskamera 111 ist z. B. eine monochrome Stereokamera und erfasst eine Szene vor dem mobilen Endgerät 100. Die Umgebungskamera 111 nimmt ein Bild mit einem Bildgebungselement, wie z. B. einem CMOS-Bildsensor (Complementary Metal Oxide Semiconductor) oder einem CCD-Bildsensor (Charge Coupled Device), auf. Die Umgebungskamera 111 führt eine photoelektrische Umwandlung des vom Bildgebungselement empfangenen Lichts und eine Analog/Digital-(A/D)-Wandlung des Ergebnisses der photoelektrischen Umwandlung durch, um ein Bild zu erzeugen. Die Umgebungskamera 111 gibt ein aufgenommenes Bild, das ein Stereobild ist, an den Controller 130 aus. Das von der Umgebungskamera 111 aufgenommene Bild wird zur Bestimmung der eigenen Position mit Hilfe der SLAM-Technologie (Simultaneous Localization and Mapping) verwendet.
Beachten Sie, dass die Umgebungskamera 111 eine Kamera mit einem Weitwinkel- oder Fischaugenobjektiv sein kann.
-
Der Tiefensensor 112 ist beispielsweise eine monochrome Stereokamera, ähnlich der Umgebungskamera 111, und erfasst eine Szene vor dem mobilen Endgerät 100. Der Tiefensensor 112 gibt ein aufgenommenes Bild, das ein Stereobild ist, an den Controller 130 aus. Das vom Tiefensensor 112 ausgegebene Bild wird zur Messung der Entfernung zu einem Objekt in Sichtlinienrichtung des Benutzers verwendet. Beachten Sie, dass als Tiefensensor 112 auch ein Time-of-Flight-(TOF)-Sensor verwendet werden kann.
-
Der Gyroskopsensor 113 ist ein Sensor, der die Ausrichtung des mobilen Endgerätes 100, d. h. die Ausrichtung des Benutzers, erfasst. Als Gyroskopsensor 113 kann zum Beispiel ein Vibrationsgyroskopsensor verwendet werden.
-
Der Beschleunigungssensor 114 ist ein Sensor, der die Beschleunigung in jeder Richtung des mobilen Endgerätes 100 erfasst. Als Beschleunigungssensor 114 kann zum Beispiel ein dreiachsiger Beschleunigungssensor, wie z. B. ein piezoresistiver Beschleunigungssensor oder ein kapazitiver Beschleunigungssensor, verwendet werden.
-
Der Azimutsensor 115 ist ein Sensor, der den Azimut des mobilen Endgerätes 100 erfasst. So kann beispielsweise ein magnetischer Sensor als Azimutsensor 115 verwendet werden. Der Gyroskopsensor 113, der Beschleunigungssensor 114 und der Azimutsensor 115 dienen gemeinsam als 9 Dof (Neun-Achsen-Sensor) zur Ausgabe der ersten Positionsinformationen an den Controller 130.
-
Der Positionssensor 116 ist ein Sensor, der die Position des mobilen Endgerätes 100, d. h. die Position des Benutzers, erfasst. Bei dem Positionssensor 116 handelt es sich beispielsweise um einen Global Positioning System-(GPS)-Empfänger, der auf der Grundlage eines empfangenen GPS-Signals zweite Positionsinformationen einschließlich Längengrad, Breitengrad und Höhe erzeugt. Der Positionssensor 116 gibt die so erzeugten zweiten Positionsinformationen an den Controller 16 aus. Beachten Sie, dass die zweiten Positionsinformationen z. B. für das Umschalten von Karten verwendet wird, die durch die Aufteilung der einzelnen Bereiche entstanden sind. Wenn keine Kartenumschaltung erforderlich ist, kann der Positionssensor 116 entfernt werden.
-
Der Speicher 120 wird durch ein Halbleiterspeicherelement, wie z. B. einen Direktzugriffsspeicher (RAM) oder einen Flash-Speicher, oder ein Speichergerät, wie z. B. eine Festplatte oder eine optische Platte, implementiert. Im Speicher 120 ist eine Umgebungskarte gespeichert, die zur Berechnung der Position des Benutzers verwendet wird. Bei der Umgebungskarte handelt es sich beispielsweise um eine dreidimensionale Karte mit einem Weltkoordinatensystem, die im Voraus mit Hilfe der SLAM-Technologie erstellt wurde. Außerdem speichert der Speicher 120 vorübergehend das aufgenommene Bild oder die vom Sensor 110 erfassten Positionsinformationen und speichert Informationen (Programm und Daten), die für die Verarbeitung im Controller 130 verwendet werden.
-
Der Controller 130 wird beispielsweise durch eine Zentraleinheit (CPU), eine Mikroprozessoreinheit (MPU) oder dergleichen implementiert, die ein in einer internen Speichervorrichtung gespeichertes Programm auf einem als Arbeitsbereich dienenden RAM ausführt. Alternativ kann der Controller 130 auch durch eine integrierte Schaltung, wie z. B. eine anwendungsspezifische integrierte Schaltung (ASIC) oder ein Field Programmable Gate Array (FPGA), implementiert werden.
-
Der Controller 130 umfasst einen Umgebungsinformationserfassungsteil 131, einen Positionsinformationsberechnungsteil 132, einen Anwendungsausführungsteil 133 und einen Ausgabecontroller 134 und implementiert oder führt die Funktion oder Aktion der Informationsverarbeitung aus, die im Folgenden beschrieben wird. Beachten Sie, dass die interne Struktur des Controllers 130 nicht auf die in 4 dargestellte Struktur beschränkt ist und eine andere Struktur aufweisen kann, solange die später zu beschreibende Informationsverarbeitung durchgeführt wird.
-
Der Umgebungsinformationserfassungsteil 131 berechnet nach Empfang des erfassten Bildes, das ein Stereobild ist, das vom Tiefensensor 112 eingegeben wurde, eine Entfernung (Tiefe) zu einem Objekt im Bild auf der Grundlage des erfassten Bildes. Der Umgebungsinformationserfassungsteil 131 erzeugt ein Entfernungsbild, das die so berechnete Entfernung (Tiefe) enthält. Der Umgebungsinformationserfassungsteil 131 gibt das so erzeugte Entfernungsbild an den Anwendungsausführungsteil 133 aus. Beachten Sie, dass der Umgebungsinformationserfassungsteil 131 die Entfernung (Tiefe) zum Objekt aus Sensorinformationen berechnen kann, die auf einer Methode, wie z. B. der Bewegungsparallaxe, TOF oder strukturiertem Licht, zusätzlich zum Stereobild basieren.
-
Das aufgenommene Bild, das ein Stereobild ist, wird von der Umgebungskamera 111 in den Positionsinformationsberechnungsteil 132 eingegeben. Außerdem werden in den Positionsinformationsberechnungsteil 132 die ersten Positionsinformationen vom Gyroskopsensor 113, dem Beschleunigungssensor 114 und dem Azimutsensor 115 eingegeben, und die zweiten Positionsinformationen werden vom Positionssensor 116 eingegeben. Der Positionsinformationsberechnungsteil 132 wählt eine im Speicher 120 gespeicherte Umgebungskarte auf der Grundlage der so erhaltenen zweiten Positionsinformationen aus. Der Positionsinformationsberechnungsteil 132 konsultiert die so ausgewählte Umgebungskarte und führt auf der Grundlage des erfassten Eingangsbildes eine Schätzung der eigenen Position in Übereinstimmung mit dem Kartenabgleich unter Verwendung von SLAM durch. Beachten Sie, dass gemäß der vorliegenden Ausführungsform nur eine begrenzte Anzahl von Umgebungskarten zur Verfügung steht, so dass die Position, an der eine Umgebungskarte in dem Gebiet vorhanden ist, bei der Schätzung der eigenen Position in Übereinstimmung mit dem Kartenabgleich geschätzt wird.
-
Der Positionsinformationsberechnungsteil 132 schätzt eine Entfernung und Richtung von der Position, die in Übereinstimmung mit dem Kartenabgleich auf der Grundlage der eingegebenen ersten Positionsinformationen geschätzt wurde, und berechnet Positionsinformationen über den Benutzer. Die Positionsinformationen des Benutzers umfassen Informationen über die Position des Benutzers in dem Gebiet und Richtungsinformationen, die angeben, in welche Richtung der Benutzer schaut. Der Positionsinformationsberechnungsteil 132 überträgt die so berechneten Positionsinformationen des Benutzers über den Kommunikationsteil 103 an die Informationsverarbeitungsvorrichtung 200. Außerdem gibt der Positionsinformationsberechnungsteil 132 die berechneten Positionsinformationen über den Benutzer an den Anwendungsausführungsteil 133 aus.
-
Der Anwendungsausführungsteil 133 führt eine Anwendung, wie z. B. ein Multiplayer-Spiel, aus. Das Entfernungsbild wird von dem Umgebungsinformationserfassungsteil 131 in den Anwendungsausführungsteil 133 eingegeben. Außerdem werden die Positionsinformationen des Benutzers vom Positionsinformationsberechnungsteil 132 in den Anwendungsausführungsteil 133 eingegeben.
-
Der Anwendungsausführungsteil 133 gibt an den Ausgabecontroller 134 Daten und Audioinformationen über das AR-Objekt aus, die auf der Grundlage des Befehls und der Daten, wie z. B. ein von der Informationsverarbeitungsvorrichtung 200 empfangenes Szenario, das Entfernungsbild und die Positionsinformationen über den Benutzer, erzeugt wurden. Beispielsweise bestimmt der Anwendungsausführungsteil 133 bei Empfang des Anzeigestartauslösers von der Informationsverarbeitungsvorrichtung 200 den Typ und die Anzeigeposition des AR-Objekts auf der Grundlage des Anzeigestartauslösers, des Entfernungsbildes und der Positionsinformationen über den Benutzer. Der Anwendungsausführungsteil 133 schätzt auf der Grundlage des Entfernungsbildes den Abstand zwischen dem Erscheinungsbereich E1, der der eingestellte positionsveränderliche Bereich ist, und dem Benutzer.
-
Der Anwendungsausführungsteil 133 bestimmt, ob die Position, die Ausrichtung und der Blickwinkel des Benutzers mit dem Erscheinungsbildbereich E1 kollidieren, der der eingestellte positionsveränderliche Bereich ist. Der Anwendungsausführungsteil 133 berechnet eine Position, die den Blickwinkel des Benutzers innerhalb des Erscheinungsbereichs E1 schneidet. Beachten Sie, dass der Blickwinkel des Benutzers hier voreingestellt ist. Der Anwendungsausführungsteil 133 bestimmt die so berechnete Position als Anzeigeposition des AR-Objekts. Außerdem bestimmt der Anwendungsausführungsteil 133 die Größe des AR-Objekts auf der Grundlage der geschätzten Entfernung.
-
Der Anwendungsausführungsteil 133 bewegt das AR-Objekt von der Anzeigeposition innerhalb des Erscheinungsbereichs E1 zur Zielposition. Zu diesem Zeitpunkt passt der Anwendungsausführungsteil 133 die Bewegungsgeschwindigkeit oder den Weg des AR-Objekts auf der Grundlage der Ankunftszeit an der Zielposition an und bewegt dann das AR-Objekt. Der Anwendungsausführungsteil 133 überträgt, nachdem das AR-Objekt zur Zielposition bewegt worden ist, die Benachrichtigung über den Abschluss der Bewegung über den Kommunikationsteil 103 an die Informationsverarbeitungsvorrichtung 200.
-
Der Anwendungsausführungsteil 133 startet nach dem Empfang der Benachrichtigung über den Zustandsübergang des AR-Objekts von der Informationsverarbeitungsvorrichtung 200 über den Kommunikationsteil 103 die Synchronisationsverarbeitung des AR-Objekts in der Zielposition auf der Grundlage der so empfangenen Benachrichtigung über den Zustandsübergang.
-
Der Ausgabecontroller 134 zeigt nach Empfang der Daten und der Audioinformationen über das AR-Objekt, die vom Anwendungsausführungsteil 133 eingegeben wurden, das AR-Objekt auf dem Display 101 an und gibt die Audioinformationen an den Lautsprecher 102 aus. Der Ausgabecontroller 134 zeigt die vom Anwendungsausführungsteil 133 eingegebenen Daten über das AR-Objekt auf dem Display 101 an und gibt die Audioinformationen an den Lautsprecher 102 aus, z. B. in einer Weise, die vom Fortschritt des Szenarios oder der Bewegung des AR-Objekts auf der Grundlage des Anzeigestartauslösers abhängt.
-
[1-4. Struktur der Informationsverarbeitungsvorrichtung gemäß der ersten Ausführungsform]
-
Als Nächstes wird die Struktur der Informationsverarbeitungsvorrichtung 200 unter Bezugnahme auf 6 beschrieben. 6 ist ein Diagramm, das ein Beispiel der Struktur der Informationsverarbeitungsvorrichtung gemäß der ersten Ausführungsform darstellt. Wie in 6 dargestellt, umfasst die Informationsverarbeitungsvorrichtung 200 einen Kommunikationsteil 201, einen Speicher 210 und einen Controller 220.
-
Der Kommunikationsteil 201 wird durch ein Kommunikationsmodul oder dergleichen implementiert, das an ein drahtloses LAN, wie z. B. Wi-Fi (eingetragenes Markenzeichen), angepasst ist. Der Kommunikationsteil 201 ist eine Kommunikationsschnittstelle, die für die Steuerung der Kommunikation von Informationen mit dem mobilen Endgerät 100 zuständig ist. Der Kommunikationsteil 201 empfängt die Positionsinformationen und die Benachrichtigung über den Abschluss der Bewegung vom mobilen Endgerät 100. Der Kommunikationsteil 201 gibt die so empfangenen Positionsinformationen und die Benachrichtigung über den Abschluss der Bewegung an den Controller 220 aus. Außerdem überträgt der Kommunikationsteil 201 den Auslöser für den Anzeigestart und die Benachrichtigung über den Zustandsübergang vom Controller 220 an das mobile Endgerät 100.
-
Der Speicher 210 wird beispielsweise durch ein Halbleiterspeicherelement, wie z. B. ein RAM oder einen Flash-Speicher, oder ein Speichergerät, wie z. B. eine Festplatte oder eine optische Platte, implementiert. Der Speicher 210 speichert das Szenario des Multiplayer-Spiels oder dergleichen sowie Befehle und Daten, die an den Fortschritt des Szenarios oder den Anwendungsstatus des mobilen Endgerätes 100 angepasst sind. Außerdem speichert der Speicher 210 Informationen (Programm und Daten), die für die Verarbeitung im Controller 220 verwendet werden.
-
Der Controller 220 wird beispielsweise durch eine CPU, eine MPU oder dergleichen implementiert, die ein in einer internen Speichervorrichtung gespeichertes Programm auf einem als Arbeitsbereich dienenden RAM ausführt. Alternativ kann der Controller 220 beispielsweise durch eine integrierte Schaltung, wie z. B. ein ASIC oder ein FPGA, implementiert werden. Der Controller 220 umfasst einen Bestimmungsteil 221 und einen Display-Controller 222 und implementiert oder führt die Funktion oder Aktion der Informationsverarbeitung aus, die im Folgenden beschrieben wird. Beachten Sie, dass die interne Struktur des Controllers 220 nicht auf die in 6 dargestellte Struktur beschränkt ist und eine andere Struktur aufweisen kann, solange die später zu beschreibende Informationsverarbeitung durchgeführt wird.
-
Der Bestimmungsteil 221 bestimmt nach dem Empfang der Positionsinformationen vom mobilen Endgerät 100 über den Kommunikationsteil 201, ob das AR-Objekt auf der Grundlage der so empfangenen Positionsinformationen angezeigt werden soll. Der Bestimmungsteil 221 weist, wenn er bestimmt, dass das AR-Objekt angezeigt werden soll, den Display-Controller 222 an, den Anzeigestartauslöser zu erzeugen. Der Bestimmungsteil 221 wiederholt, wenn er bestimmt, dass das AR-Objekt nicht angezeigt wird, die Bestimmung, ob das AR-Objekt auf der Grundlage der empfangenen Positionsinformationen angezeigt werden soll.
-
Außerdem bestimmt der Bestimmungsteil 221, ob sich das mobile Endgerät 100b (zweites mobiles Endgerät) in der Position des mobilen Endgerätes 100a (erstes mobiles Endgerät) befindet, für das die Bestimmung, ob das AR-Objekt angezeigt werden soll, vorgenommen wurde. Der Bestimmungsteil 221 weist, wenn er feststellt, dass sich das mobile Endgerät 100b in der Position des mobilen Endgerätes 100a befindet, den Display-Controller 222 an, den Anzeigestartauslöser auch für das mobile Endgerät 100b zu erzeugen. Das heißt, der Bestimmungsteil 221 weist, wenn er feststellt, dass mehrere mobile Endgeräte 100 das gleiche Ereignis im Szenario erleben, den Display-Controller 222 an, den Anzeigestartauslöser für jedes mobile Endgerät 100 zu erzeugen. Mit anderen Worten: Der Bestimmungsteil 221 startet die Bewegung des AR-Objekts für jedes mobile Endgerät 100 zu einem anderen Zeitpunkt.
-
Der Display-Controller 222 erzeugt nach Empfang der Anweisung zur Erzeugung des Anzeigestartauslösers vom Bestimmungsteil 221 den Anzeigestartauslöser, der den Typ (Figurentyp) des anzuzeigenden AR-Objekts, die Erscheinungsposition, die Zielposition und die Ankunftszeit an der Zielposition für jedes mobile Endgerät 100 enthält. Der Display-Controller 222 überträgt den so erzeugten Anzeigestartauslöser über den Kommunikationsteil 201 an das mobile Endgerät 100.
-
Nachdem die Benachrichtigung über den Abschluss der Bewegung von allen mobilen Endgeräten 100, an die der Anzeigestartauslöser gesendet wurde, über den Kommunikationsteil 201 empfangen worden ist, sendet der Display-Controller 222 die Benachrichtigung über den Zustandsübergang des AR-Objekts an alle mobilen Endgeräte 100, von denen die Benachrichtigung über den Abschluss der Bewegung empfangen worden ist. Die Benachrichtigung über den Zustandsübergang umfasst z. B. die Benachrichtigung über den Beginn der Synchronisation, die Position und den Zustand des AR-Objekts. Das heißt, auf jedem mobilen Endgerät 100, das die Benachrichtigung über den Zustandsübergang erhalten hat, wird das AR-Objekt in einer bestimmten Szene angezeigt, wobei die Position, die Bewegung und dergleichen synchronisiert sind.
-
[1-5. Informationsverarbeitungsablauf gemäß der ersten Ausführungsform]
-
7 ist ein Sequenzdiagramm, das einen Verarbeitungsablauf gemäß der ersten Ausführungsform darstellt. Beachten Sie, dass 7 ein Beispiel für einen Fall illustriert, in dem in den mobilen Endgeräten 100a, 100b der Benutzer U1, U2 die AR-Objekte, die sich asynchron zu bewegen begonnen haben, am Endpunkt synchronisiert aufhören, sich zu bewegen, und die nächste Szene mit den AR-Objekten miteinander synchronisiert angezeigt wird. Da die mobilen Endgeräte 100a, 100b auf die gleiche Weise funktionieren, werden die mobilen Endgeräte 100a, 100b im Folgenden gemeinsam als das mobile Endgerät 100 bezeichnet.
-
Der Umgebungsinformationserfassungsteil 131 des mobilen Endgerätes 100 erzeugt das Entfernungsbild auf der Grundlage der vom Tiefensensor 112 erfassten Bildeingabe und gibt das so erzeugte Entfernungsbild an den Anwendungsausführungsteil 133 aus. Außerdem wählt der Positionsinformationsberechnungsteil 132 eine im Speicher 120 gespeicherte Umgebungskarte auf der Grundlage der vom Positionssensor 116 eingegebenen zweiten Positionsinformationen aus. Der Positionsinformationsberechnungsteil 132 konsultiert die so ausgewählte Umgebungskarte und führt auf der Grundlage des von der Umgebungskamera 111 erfassten Bildes eine Schätzung der eigenen Position in Übereinstimmung mit dem Kartenabgleich durch. Der Positionsinformationsberechnungsteil 132 schätzt einen Abstand und eine Richtung von der Position, die in Übereinstimmung mit dem Kartenabgleich geschätzt wurde, basierend auf den ersten Positionsinformationen, die von dem Gyroskopsensor 113, dem Beschleunigungssensor 114 und dem Azimutsensor 115 eingegeben wurden, und berechnet die Positionsinformationen des Benutzers. Der Positionsinformationsberechnungsteil 132 beginnt mit der Übertragung der so berechneten Positionsdaten des Benutzers an die Informationsverarbeitungsvorrichtung 200 (Schritt S1) . Außerdem gibt der Positionsinformationsberechnungsteil 132 die berechneten Positionsinformationen über den Benutzer an den Anwendungsausführungsteil 133 aus.
-
Der Bestimmungsteil 221 der Informationsverarbeitungsvorrichtung 200 bestimmt bei Empfang der Positionsinformationen vom mobilen Endgerät 100, ob das AR-Objekt auf der Grundlage der so empfangenen Positionsinformationen angezeigt werden soll (Schritt S2). Der Bestimmungsteil 221 weist den Display-Controller 222 an, den Anzeigestartauslöser auf der Grundlage des Ergebnisses der Bestimmung, ob das AR-Objekt angezeigt werden soll, zu erzeugen.
-
Der Display-Controller 222 erzeugt nach Empfang der Anweisung zur Erzeugung des Anzeigestartauslösers vom Bestimmungsteil 221 den Anzeigestartauslöser für jedes mobile Endgerät 100. Der Display-Controller 222 überträgt den so erzeugten Anzeigestartauslöser an jedes mobile Endgerät 100 (Schritt S3).
-
Der Anwendungsausführungsteil 133 des mobilen Endgerätes 100 bestimmt bei Empfang des Anzeigestartauslösers von der Informationsverarbeitungsvorrichtung 200 den Typ und die Anzeigeposition des AR-Objekts auf der Grundlage des Anzeigestartauslösers, des Entfernungsbildes und der Positionsinformationen über den Benutzer (Schritt S4). Der Anwendungsausführungsteil 133 beginnt damit, das AR-Objekt zur Zielposition zu bewegen (Schritt S5). Der Anwendungsausführungsteil 133 überträgt nach dem Bewegen des AR-Objekts zur Zielposition die Benachrichtigung über den Abschluss der Bewegung an die Informationsverarbeitungsvorrichtung 200 (Schritt S6).
-
Nach Empfang der Benachrichtigung über die Beendigung der Bewegung von den mobilen Endgeräten 100 aller Benutzer, an die der Anzeigestartauslöser gesendet wurde, sendet der Display-Controller 222 der Informationsverarbeitungsvorrichtung 200 die Benachrichtigung über den Zustandsübergang des AR-Objekts an die mobilen Endgeräte 100, von denen die Benachrichtigung über die Beendigung der Bewegung empfangen wurde (Schritt S7). Beachten Sie, dass der Display-Controller 222 beispielsweise nach Empfang der Benachrichtigung über den Abschluss der Bewegung von den mobilen Endgeräten 100 der Mehrheit der Benutzer, an die der Anzeigestartauslöser gesendet wurde, die Benachrichtigung über den Zustandsübergang an die mobilen Endgeräte 100 senden kann, an die der Anzeigestartauslöser gesendet wurde.
-
Der Anwendungsausführungsteil 133 des mobilen Endgerätes 100 beginnt nach dem Empfang der Benachrichtigung über den Zustandsübergang des AR-Objekts von der Informationsverarbeitungsvorrichtung 200 mit der Synchronisationsverarbeitung des AR-Objekts an der Zielposition auf der Grundlage der so empfangenen Benachrichtigung über den Zustandsübergang (Schritt S8). Auf diese Weise kann jeder Benutzer eine bestimmte Szene auf die gleiche Weise erleben, selbst wenn das mobile Endgerät 100 eine Anzeigevorrichtung mit einem begrenzten Betrachtungswinkel ist.
-
[1-6. Effekte]
-
Wie oben beschrieben, kann selbst bei einem mobilen Endgerät 100, das eine Anzeigevorrichtung mit begrenztem Betrachtungswinkel ist, jeder Benutzer eine bestimmte Szene auf die gleiche Weise erleben. Das heißt, jeder Benutzer kann eine Multiplayer-Anwendung mit Hilfe der AR-Technologie erleben, ohne eine notwendige Szene zu verpassen, soweit dies möglich ist. Dies ermöglicht es außerdem, die Bewegungen der AR-Objekte, die asynchron zwischen den Benutzern gestartet wurden, auf natürliche Weise zu synchronisieren und an der Zielposition zu stoppen. Dies ermöglicht ferner, dass das AR-Objekt in Abhängigkeit von der aktuellen Position des Benutzers erscheint.
-
(2. Zweite Ausführungsform)
-
Unterdessen wird gemäß der ersten Ausführungsform ein bestimmtes Objekt, wie z. B. eine Tür im realen Raum, als Erscheinungsbereich festgelegt, aber es kann auch ein größerer Bereich als Erscheinungsbereich festgelegt werden, und ein solcher Fall wird als zweite Ausführungsform beschrieben. Beachten Sie, dass gemäß der zweiten Ausführungsform das mobile Endgerät 100 und die Informationsverarbeitungsvorrichtung 200 baugleich mit dem mobilen Endgerät 100 und der Informationsverarbeitungsvorrichtung 200 gemäß der ersten Ausführungsform sind, so dass auf eine Beschreibung der gemeinsamen Strukturen und Abläufe verzichtet wird.
-
[2-1. Beispiel des Erscheinungsbereichs gemäß der zweiten Ausführungsform]
-
8 ist ein Diagramm, das ein Beispiel einer Informationsverarbeitung gemäß der zweiten Ausführungsform darstellt. In dem in 8 dargestellten Beispiel erscheinen die AR-Objekte V3, V4 von einem Erscheinungsbereich E2, wenn sich die Benutzer U1, U2 einer bestimmten Stelle auf einer Straße innerhalb eines Gebiets nähern. Beachten Sie, dass das AR-Objekt V3 ein AR-Objekt ist, das auf dem mobilen Endgerät 100a des Benutzers U1 angezeigt wird, und dass das AR-Objekt V4 ein AR-Objekt ist, das auf dem mobilen Endgerät 100b des Benutzers U2 angezeigt wird.
-
Der Erscheinungsbereich E2 wird auf eine gesamte Wandfläche eines Gebäudes gesetzt, die einem Straßenblock im realen Raum entspricht. In diesem Fall passt die Informationsverarbeitungsvorrichtung 200 die Höhen der AR-Objekte V3, V4, den Startzeitpunkt, zu dem eine Animation erscheint, und die Ankunftszeit an der Zielposition in Abhängigkeit von den Positionen an, auf die die Benutzer U1, U2 schauen. Wie oben beschrieben, kann der Erscheinungsbereich E2 einen einstellbaren Erscheinungspositionsbereich haben, der größer ist als der Erscheinungsbereich E1 gemäß der ersten Ausführungsform. Darüber hinaus kann der Erscheinungsbereich z. B. auf einer Etage eines Straßenblocks im realen Raum in einer Weise festgelegt werden, die von einem Ort oder einem Szenario abhängt.
-
Mit anderen Worten: Gemäß der zweiten Ausführungsform ist die Ebene im realen Raum, auf der der Erscheinungsbereich festgelegt wird, speziell eine Wand oder ein Boden im realen Raum. Die Ebene im realen Raum kann als eine stationäre Ebene im realen Raum betrachtet werden, die zumindest eine bestimmte Fläche aufweist, die von einem Sensor, einschließlich des Tiefensensors 112 oder dergleichen, erfasst wird. Der Ort im realen Raum ist nicht auf eine glatte, d. h. flache Ebene beschränkt, sondern kann Unregelmäßigkeiten aufweisen. Alternativ kann die Ebene im realen Raum auch eine gekrümmte Ebene sein. Die Ebene im realen Raum gemäß der zweiten Ausführungsform ist ein Bereich, der vom Sensor stabil erfasst wird, so dass die Ebene in geeigneter Weise als ein Bereich verwendet werden kann, in dem das AR-Objekt platziert wird.
-
(3. Dritte Ausführungsform)
-
Außerdem kann der Erscheinungsbereich auf einen bestimmten Ort beschränkt werden, wenn das AR-Objekt an einem bestimmten Ort erscheinen soll, was als dritte Ausführungsform beschrieben wird. Beachten Sie, dass gemäß der dritten Ausführungsform das mobile Endgerät 100 und die Informationsverarbeitungsvorrichtung 200 in ihrer Struktur identisch mit dem mobilen Endgerät 100 und der Informationsverarbeitungsvorrichtung 200 gemäß der ersten Ausführungsform sind und daher keine Beschreibung der gemeinsamen Strukturen und Operationen gegeben wird.
-
[3-1. Beispiel des Erscheinungsbereichs gemäß der dritten Ausführungsform]
-
9 ist ein Diagramm, das ein Beispiel einer Informationsverarbeitung gemäß der dritten Ausführungsform darstellt. In dem in 9 dargestellten Beispiel erscheint, wenn sich der Benutzer einer Tür eines Gebäudes nähert, ein AR-Objekt V5 innerhalb eines Erscheinungsbereichs E3, der auf einer über der Tür angebrachten Beleuchtungsvorrichtung eingestellt ist. Der Erscheinungsbereich E3 ist auf einen bestimmten Ort, nämlich die Beleuchtungseinrichtung, beschränkt. In diesem Fall passt die Informationsverarbeitungsvorrichtung 200 den Startzeitpunkt, zu dem eine Animation erscheint, und die Wiedergabezeit der Animation an, ohne die Position des AR-Objekts V5 anzupassen. Um beispielsweise das AR-Objekt V5 auf den mobilen Endgeräten 100a, 100b der Benutzer U1, U2 anzuzeigen, beginnt die Informationsverarbeitungsvorrichtung 200, die Animation erscheinen zu lassen, wenn sich die Benutzer U1, U2 jeweils einer vorgegebenen Position relativ zum Erscheinungsbereich E3 nähern. Wenn es sich bei dem AR-Objekt V5 um einen Gegner im Multiplayer-Spiel handelt und eine Kampfstart-Animation erscheint, wird die Synchronisation zwischen den mobilen Endgeräten 100a, 100b gestartet. Wie oben beschrieben, können die Animationen, die asynchron in Abhängigkeit von der Position des Benutzers gestartet wurden, zu einem vorbestimmten Zeitpunkt synchronisiert werden, selbst wenn der Erscheinungsbereich begrenzt ist.
-
(4. Modifikationen von Ausführungsformen)
-
Die Verarbeitung gemäß jeder oben beschriebenen Ausführungsform kann in verschiedenen anderen Modi als den oben beschriebenen Ausführungsformen durchgeführt werden.
-
In jeder der oben beschriebenen Ausführungsformen wurde ein Beispiel beschrieben, bei dem das mobile Endgerät 100 einen Prozessor, wie z. B. den Controller 130, enthält. Das mobile Endgerät 100 kann beispielsweise in einen brillenartigen Schnittstellenteil, einen Rechenteil, der den Controller 130 enthält, und einen Bedienungsteil, der eine Eingabeoperation oder dergleichen vom Benutzer empfängt, unterteilt sein. Außerdem handelt es sich bei dem mobilen Endgerät 100 mit dem transparenten und in Sichtlinienrichtung des Benutzers gehaltenen Display 101 gemäß jeder Ausführungsform um eine so genannte AR-Brille. Das mobile Endgerät 100 kann ein Gerät sein, das mit dem als externes Display dienenden Display 101 kommuniziert und die Anzeigesteuerung auf dem Display 101 durchführt. Darüber hinaus kann das mobile Endgerät 100 z. B. ein Smartphone sein, das der Benutzer vor die Augen hält.
-
Zusätzlich können das Verarbeitungsverfahren, die spezifische Bezeichnung und die Informationen, einschließlich verschiedener Daten und Parameter, die oben und in den Zeichnungen dargestellt sind, nach Belieben geändert werden, sofern nicht anders angegeben. So sind beispielsweise die verschiedenen Arten von Informationen, die in den einzelnen Zeichnungen dargestellt sind, nicht auf die abgebildeten Informationen beschränkt.
-
Außerdem sind die einzelnen Komponenten der in den Zeichnungen dargestellten Geräte funktionell konzipiert und müssen nicht notwendigerweise physisch so konfiguriert sein wie in den Zeichnungen dargestellt. Das heißt, eine bestimmte Form der Verteilung und Integration jedes Gerätes ist nicht auf die dargestellte Form beschränkt, und alle oder ein Teil davon können funktionell oder physisch in einer beliebigen Einheit verteilt und integriert werden, und zwar in einer Weise, die von verschiedenen Lasten, Nutzungsbedingungen und dergleichen abhängt. Beispielsweise können, wie bei dem in 3 dargestellten mobilen Endgerät 300, die Funktionen des mobilen Endgerätes 100 und der Informationsverarbeitungsvorrichtung 200 integriert sein.
-
Außerdem können die oben beschriebenen Ausführungsformen und Modifikationen beliebig miteinander kombiniert werden, ohne dass die Verarbeitungsinhalte miteinander unvereinbar werden.
-
(5. Hardware-Struktur)
-
Die Informationsvorrichtung, wie z. B. das mobile Endgerät 100 oder die Informationsverarbeitungsvorrichtung 200 gemäß jeder oben beschriebenen Ausführungsform, wird durch einen Computer 1000 implementiert, der eine Struktur hat, wie sie z. B. in 10 dargestellt ist. Im Folgenden wird ein Beispiel anhand der Informationsverarbeitungsvorrichtung 200 gemäß der ersten Ausführungsform beschrieben. 10 ist ein Hardware-Strukturdiagramm, das ein Beispiel eines Computers darstellt, der die Funktion der Informationsverarbeitungsvorrichtung implementiert. Der Computer 1000 weist eine CPU 1100, einen Arbeitsspeicher (RAM) 1200, einen Nur-Lese-Speicher (ROM) 1300, ein Festplattenlaufwerk (HDD) 1400, eine Kommunikationsschnittstelle 1500 und eine E/A-Schnittstelle 1600 auf. Die Komponenten des Computers 1000 sind über einen Bus 1050 verbunden.
-
Die CPU 1100 arbeitet im Einklang mit einem im ROM 1300 oder auf der Festplatte (HDD) 1400 gespeicherten Programm, um die einzelnen Komponenten zu steuern. So lädt die CPU 1100 beispielsweise ein im ROM 1300 oder auf der Festplatte 1400 gespeichertes Programm in das RAM 1200 und führt die mit jedem der verschiedenen Programme verbundene Verarbeitung aus.
-
Der ROM 1300 speichert ein Boot-Programm, wie z. B. ein Basic Input Output System (BIOS), das von der CPU 1100 bei der Inbetriebnahme des Computers 1000 ausgeführt wird, ein Programm, das an die spezifische Hardware des Computers 1000 angepasst ist, und dergleichen.
-
Die Festplatte 1400 ist ein computerlesbares Aufzeichnungsmedium, auf dem ein von der CPU 1100 auszuführendes Programm, von dem Programm zu verwendende Daten und dergleichen auf nicht flüchtige Weise aufgezeichnet werden. Insbesondere ist die Festplatte 1400 ein Aufzeichnungsmedium, das ein Informationsverarbeitungsprogramm gemäß der vorliegenden Offenbarung aufzeichnet, was ein Beispiel für Programmdaten 1450 ist.
-
Die Kommunikationsschnittstelle 1500 ist eine Schnittstelle, über die der Computer 1000 eine Verbindung mit einem externen Netzwerk 1550 (beispielsweise dem Internet) herstellen kann. Beispielsweise empfängt die CPU 1100 Daten von einer anderen Vorrichtung oder überträgt von der CPU 1100 erzeugte Daten über die Kommunikationsschnittstelle 1500 zu einer anderen Vorrichtung.
-
Die E/A-Schnittstelle 1600 ist eine Schnittstelle, über die der Computer 1000 eine Verbindung mit einer E/A-Vorrichtung 1650 herstellen kann. Beispielsweise empfängt die CPU 1100 Daten von einer Eingabevorrichtung, wie z. B. einer Tastatur oder einer Maus, über die E/A-Schnittstelle 1600. Außerdem überträgt die CPU 1100 über die E/A-Schnittstelle 1600 Daten an eine Ausgabevorrichtung wie z. B. ein Display, einen Lautsprecher oder einen Drucker. Außerdem kann die E/A-Schnittstelle 1600 als Medienschnittstelle dienen, die ein auf einem vorbestimmten Aufzeichnungsmedium (Medium) aufgezeichnetes Programm oder dergleichen liest. Beispiele für ein solches Medium sind ein optisches Aufzeichnungsmedium wie eine Digital Versatile Disc (DVD) oder eine wiederbeschreibbare Phasenwechselplatte (PD), ein magneto-optisches Aufzeichnungsmedium wie eine magneto-optische (MO) Platte, ein Bandmedium, ein magnetisches Aufzeichnungsmedium, ein Halbleiterspeicher und dergleichen.
-
Wenn beispielsweise der Computer 1000 als Informationsverarbeitungsvorrichtung 200 gemäß der ersten Ausführungsform dient, führt die CPU 1100 des Computers 1000 das in den RAM 1200 geladene Informationsverarbeitungsprogramm aus, um die Funktion des Bestimmungsteils 221 und dergleichen zu implementieren.
-
Außerdem speichert die Festplatte 1400 das Informationsverarbeitungsprogramm gemäß der vorliegenden Offenbarung und Daten im Speicher 210. Dabei ist zu beachten, dass die CPU 1100 die Programmdaten 1450 von der Festplatte 1400 liest und das Programm ausführt. Alternativ, als weiteres Beispiel, kann die CPU 1100 solche Programme auch von einer anderen Vorrichtung über das externe Netzwerk 1550 abrufen.
-
[6. Effekte]
-
Die Informationsverarbeitungsvorrichtung 200 umfasst eine Steuervorrichtung (Controller 220). Die Steuervorrichtung bestimmt, ob sich ein erstes mobiles Endgerät (mobiles Endgerät 100a) in einer ersten Position in einem realen Raum befindet, und veranlasst, basierend auf der Bestimmung, dass sich das erste mobile Endgerät in der ersten Position befindet, dass das erste mobile Endgerät beginnt, ein virtuelles Objekt auf den realen Raum in einer Weise zu überlagern, die von der ersten Position abhängt, und bestimmt, ob sich ein zweites mobiles Endgerät (mobiles Endgerät 100b), das sich vom ersten mobilen Endgerät unterscheidet, in der ersten Position befindet, und veranlasst, basierend auf der Bestimmung, dass sich das zweite mobile Endgerät in der ersten Position befindet, dass das zweite mobile Endgerät beginnt, das virtuelle Objekt auf den realen Raum zu überlagern. Außerdem veranlasst die Steuervorrichtung das erste mobile Endgerät, eine erste Bewegung des virtuellen Objekts zu starten, und veranlasst das zweite mobile Endgerät, eine zweite Bewegung des virtuellen Objekts zu starten, die sich in Bezug auf mindestens entweder einen Anzeigestartzeitpunkt des virtuellen Objekts oder eine Anzeigestartposition des virtuellen Objekts unterscheidet, und veranlasst, dass die erste Bewegung und die zweite Bewegung in einer synchronisierten Weise enden.
-
Auf diese Weise kann die Informationsverarbeitungsvorrichtung 200 dafür sorgen, dass jeder Benutzer eine bestimmte Szene auf die gleiche Weise erlebt, selbst wenn die Anzeigevorrichtung einen eingeschränkten Betrachtungswinkel hat.
-
Die erste Bewegung des virtuellen Objekts entspricht einer Bewegung zu einer zweiten Position im realen Raum, die sich von der ersten Position unterscheidet.
-
Auf diese Weise kann die Informationsverarbeitungsvorrichtung 200 dafür sorgen, dass jeder Benutzer eine Multiplayer-Anwendung mit der AR-Technologie erlebt, ohne eine notwendige Szene so weit wie möglich zu verpassen.
-
Die zweite Bewegung des virtuellen Objekts entspricht einer Bewegung von einer Anzeigestartposition, die sich von einer Anzeigestartposition der ersten Bewegung unterscheidet, zur zweiten Position.
-
Auf diese Weise kann die Informationsverarbeitungsvorrichtung 200 die Bewegungen der virtuellen Objekte, die asynchron zwischen den Benutzern begonnen haben, auf natürliche Weise synchronisieren und an der Zielposition anhalten.
-
Das virtuelle Objekt entspricht einem Pfad, bei dem ein Bewegungspfad, der der ersten Bewegung entspricht, und ein Bewegungspfad, der der zweiten Bewegung entspricht, voneinander verschieden sind.
-
Auf diese Weise kann das Informationsverarbeitungsgerät 200 das virtuelle Objekt in Abhängigkeit von der aktuellen Position des jeweiligen Benutzers erscheinen lassen.
-
Die Steuervorrichtung veranlasst nach dem Ende der ersten Bewegung und der zweiten Bewegung das erste mobile Endgerät und das zweite mobile Endgerät, das virtuelle Objekt in einer synchronisierten Weise zu bewegen.
-
Auf diese Weise kann das Informationsverarbeitungsgerät 200 dafür sorgen, dass jeder Benutzer eine bestimmte Szene auf dieselbe Weise erlebt.
-
Die zweite Bewegung des virtuellen Objekts entspricht der Wiedergabe eines bewegten Bildes, das sich von der ersten Bewegung in mindestens einer der folgenden Eigenschaften unterscheidet: Wiedergabegeschwindigkeit, Anzahl der Wiederholungen und Länge.
-
Auf diese Weise kann die Informationsverarbeitungsvorrichtung 200 die Bewegungen der virtuellen Objekte, die asynchron zwischen den Benutzern begonnen haben, auf natürliche Weise synchronisieren und an der Zielposition anhalten.
-
Die Anzeigestartposition wird auf einer Ebene im realen Raum festgelegt.
-
Auf diese Weise kann das Informationsverarbeitungsgerät 200 das virtuelle Objekt in Abhängigkeit von der aktuellen Position des jeweiligen Benutzers erscheinen lassen.
-
Die Anzeigestartposition wird innerhalb eines Bereichs festgelegt, der einem Objekt im realen Raum entspricht.
-
Auf diese Weise kann das Informationsverarbeitungsgerät 200 das virtuelle Objekt in Abhängigkeit von der aktuellen Position des jeweiligen Benutzers aus einem Objekt im realen Raum erscheinen lassen.
-
Die erste Bewegung des virtuellen Objekts und die zweite Bewegung des virtuellen Objekts entsprechen jeweils der Anzeige eines Bildes in der Anzeigestartposition.
-
Auf diese Weise kann die Informationsverarbeitungsvorrichtung 200 das virtuelle Objekt, dessen Erscheinungsposition auf eine vorbestimmte Position im realen Raum begrenzt ist, für jeden Benutzer erscheinen lassen.
-
Beachten Sie, dass die hier beschriebenen Effekte nur Beispiele sind und nicht restriktiv ausgelegt werden, und dass auch andere Effekte bereitgestellt werden können.
-
Beachten Sie, dass die vorliegende Technologie die folgenden Konfigurationen annehmen kann.
- (1) Informationsverarbeitungsvorrichtung, die eine Steuervorrichtung umfasst, die für Folgendes ausgebildet ist:
- Feststellen, ob sich ein erstes mobiles Endgerät an einer ersten Position in einem realen Raum befindet und
- Steuern, basierend auf der Feststellung, dass sich das erste mobile Endgerät in der ersten Position befindet, des ersten mobilen Endgerätes, um zu beginnen, ein virtuelles Objekt auf den realen Raum in Reaktion auf die erste Position zu überlagern, und
- Feststellen, ob sich ein zweites mobiles Endgerät, das sich vom ersten mobilen Endgerät unterscheidet, in der ersten Position befindet und
- Steuern, basierend auf der Bestimmung, dass sich das zweite mobile Endgerät in der ersten Position befindet, des zweiten mobilen Endgerätes, um zu beginnen, das virtuelle Objekt auf den realen Raum zu überlagern, wobei
- die Steuervorrichtung Folgendes bewirkt:
- Veranlassen des ersten mobilen Endgerätes, eine erste Bewegung des virtuellen Objekts zu starten, und des zweiten mobilen Endgerätes, eine zweite Bewegung des virtuellen Objekts zu starten, die sich in Bezug auf mindestens entweder einen Anzeigestartzeitpunkt des virtuellen Objekts oder eine Anzeigestartposition des virtuellen Objekts unterscheidet, und
- Veranlassen, dass die erste Bewegung und die zweite Bewegung in einer synchronisierten Weise enden.
- (2) Informationsverarbeitungsvorrichtung gemäß (1), wobei
die erste Bewegung des virtuellen Objekts eine Bewegung zu einer zweiten Position im realen Raum ist, die sich von der ersten Position unterscheidet.
- (3) Informationsverarbeitungsvorrichtung gemäß (2), wobei
die zweite Bewegung des virtuellen Objekts eine Bewegung von einer Anzeigestartposition, die sich von einer Anzeigestartposition der ersten Bewegung unterscheidet, zur zweiten Position ist.
- (4) Informationsverarbeitungsvorrichtung gemäß (3), wobei
ein Bewegungspfad einem Pfad entspricht, bei dem ein Bewegungspfad, der der ersten Bewegung entspricht, und ein Bewegungspfad, der der zweiten Bewegung entspricht, voneinander verschiedene Pfade sind.
- (5) Informationsverarbeitungsvorrichtung gemäß (1), wobei
die Steuervorrichtung nach dem Ende der ersten Bewegung und der zweiten Bewegung das erste mobile Endgerät und das zweite mobile Endgerät veranlasst, das virtuelle Objekt in einer synchronisierten Weise zu bewegen.
- (6) Informationsverarbeitungsvorrichtung gemäß (2), wobei
die zweite Bewegung des virtuellen Objekts der Wiedergabe eines bewegten Bildes entspricht, das sich von der ersten Bewegung in mindestens einer der folgenden Eigenschaften unterscheidet: Wiedergabegeschwindigkeit, Anzahl der Wiederholungen und Länge.
- (7) Informationsverarbeitungsvorrichtung gemäß (1), wobei
die Anzeigestartposition auf einer Ebene im realen Raum festgelegt wird.
- (8) Informationsverarbeitungsvorrichtung gemäß (1), wobei
die Anzeigestartposition innerhalb eines Bereichs festgelegt wird, der einem Objekt im realen Raum entspricht.
- (9) Informationsverarbeitungsvorrichtung gemäß (1), wobei
die erste Bewegung des virtuellen Objekts und die zweite Bewegung des virtuellen Objekts die Anzeige eines Bildes in der Anzeigestartposition sind.
- (10) Informationsverarbeitungsverfahren, bei dem eine Steuervorrichtung veranlasst wird, die folgenden Prozesse durchzuführen:
- Feststellen, ob sich ein erstes mobiles Endgerät an einer ersten Position in einem realen Raum befindet und
- Steuern, basierend auf der Bestimmung, dass sich das erste mobile Endgerät in der spezifischen Position befindet, des ersten mobilen Endgerätes, um zu beginnen, ein virtuelles Objekt auf den realen Raum in Reaktion auf die erste Position zu überlagern, und
- Feststellen, ob sich ein zweites mobiles Endgerät, das sich vom ersten mobilen Endgerät unterscheidet, in der ersten Position befindet und
- Steuern, basierend auf der Bestimmung, dass sich das zweite mobile Endgerät in der ersten Position befindet, des zweiten mobilen Endgerätes, um zu beginnen, das virtuelle Objekt auf den realen Raum zu überlagern, wobei
- der von der Steuervorrichtung durchgeführte Prozess Folgendes umfasst:
- Veranlassen des ersten mobilen Endgerätes, eine erste Bewegung des virtuellen Objekts zu starten, und des zweiten mobilen Endgerätes, eine zweite Bewegung des virtuellen Objekts zu starten, die sich in Bezug auf mindestens entweder einen Anzeigestartzeitpunkt des virtuellen Objekts oder eine Anzeigestartposition des virtuellen Objekts unterscheidet, und
- Bewirken, dass die erste Bewegung und die zweite Bewegung in einer synchronisierten Weise enden.
- (11) Aufzeichnungsmedium, das ein Informationsverarbeitungsprogramm aufzeichnet, um eine Steuervorrichtung zu veranlassen, die folgenden Prozesse auszuführen:
- Feststellen, ob sich ein erstes mobiles Endgerät an einer ersten Position in einem realen Raum befindet und
- Steuern, basierend auf der Bestimmung, dass sich das erste mobile Endgerät in der spezifischen Position befindet, des ersten mobilen Endgerätes, um zu beginnen, ein virtuelles Objekt auf den realen Raum in Reaktion auf die erste Position zu überlagern, und
- Feststellen, ob sich ein zweites mobiles Endgerät, das sich vom ersten mobilen Endgerät unterscheidet, in der ersten Position befindet und
- Steuern, basierend auf der Bestimmung, dass sich das zweite mobile Endgerät in der ersten Position befindet, des zweiten mobilen Endgerätes, um zu beginnen, das virtuelle Objekt auf den realen Raum zu überlagern, wobei
- der von der Steuervorrichtung durchgeführte Prozess Folgendes umfasst:
- Veranlassen des ersten mobilen Endgerätes, eine erste Bewegung des virtuellen Objekts zu starten, und des zweiten mobilen Endgerätes, eine zweite Bewegung des virtuellen Objekts zu starten, die sich in Bezug auf mindestens entweder einen Anzeigestartzeitpunkt des virtuellen Objekts oder eine Anzeigestartposition des virtuellen Objekts unterscheidet, und
- Bewirken, dass die erste Bewegung und die zweite Bewegung in einer synchronisierten Weise enden.
-
Liste der Bezugszeichen
-
- 100, 100a, 100b
- MOBILES ENDGERÄT
- 101
- DISPLAY
- 103
- KOMMUNIKATIONSTEIL
- 110
- SENSOR
- 120
- MASSENSPEICHER
- 130
- CONTROLLER
- 131
- UMGEBUNGSINFORMATIONSERFASSUNGSTEIL
- 132
- POSITIONSINFORMATIONSBERECHNUNGSTEIL
- 133
- ANWENDUNGSAUSFÜHRUNGSTEIL
- 134
- AUSGABECONTROLLER
- 200
- INFORMATIONSVERARBEITUNGSVORRICHTUNG
- 201
- KOMMUNIKATIONSTEIL
- 210
- MASSENSPEICHER
- 220
- CONTROLLER
- 221
- BESTIMMUNGSTEIL
- 222
- DISPLAY-CONTROLLER
- A1, A2
- BLICKWINKEL
- E1 bis E3
- ERSCHEINUNGSBEREICH
- V1 bis V5
- AR-OBJEKT
- U1 bis U4
- BENUTZER
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
