-
HINTERGRUND
-
Mobile Verstärkte Realität (Mobile Augmented Reality, MAR) ist eine Technologie, die dafür verwendet werden kann, Spiele auf existierende Karten anzuwenden. Bei der MAR kann eine Karte oder ein Satellitenbild als ein Spielfeld verwendet werden, und andere Spieler, Hindernisse, Ziele und Gegner werden der Karte hinzugefügt. Navigationsgeräte und -anwendungen zeigen außerdem die Position eines Nutzers auf einer Karte unter Verwendung eines Symbol oder eines Icons. Geocaching und Schatzjagd-Spiele sind ebenfalls entwickelt worden, die Caches oder Hinweise an bestimmten Orten auf einer Karte zeigen.
-
Diese Techniken verwenden allesamt Karten, die von einem räumlich abgesetzten Kartografierungs-, Lokalisierungs- oder Bilderstellungs-Dienst abgerufen werden. In einigen Fällen zeigen die Karten reale Orte, die fotografiert oder kartiert wurden, während in anderen Fällen die Karten Karten von fiktiven Orten sein können. Die gespeicherten Karten sind nicht unbedingt aktuell und spiegeln nicht unbedingt reale Bedingungen wider. Dadurch kann die Darstellung der verstärkten Realität unrealistisch erscheinen, speziell für einen Nutzer, der sich an dem Ort befindet, der auf der Karte gezeigt wird.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Ausführungsformen der Erfindung sind beispielhaft und nicht zur Einschränkung in den Figuren der beiliegenden Zeichnungen veranschaulicht, wobei gleiche Bezugszahlen ähnliche Elemente bezeichnen.
-
1 ist ein Schaubild einer realen Szene aus einem räumlich abgesetzten Bildspeicher, die für AR-Darstellungen geeignet ist, gemäß einer Ausführungsform der Erfindung.
-
2 ist ein Schaubild der realen Szene von 1, die reale Objekte zeigt, die das empfangene Bild verstärken, gemäß einer Ausführungsform der Erfindung.
-
3 ist ein Schaubild der realen Szene von 1, die reale Objekte zeigt, die durch AR-Techniken verbessert werden, gemäß einer Ausführungsform der Erfindung.
-
4 ist ein Schaubild der realen Szene von 1, die virtuelle Objekte zeigt, die durch den Nutzer gesteuert werden, gemäß einer Ausführungsform der Erfindung.
-
5 ist ein Schaubild der realen Szene von 4, die virtuelle Objekte, die durch den Nutzer gesteuert werden, und eine Ansicht des Nutzers zeigt, gemäß einer Ausführungsform der Erfindung.
-
6 ist ein Prozessflussdiagramm des Verstärkens eines Archivbildes mit virtuellen Objekten gemäß einer Ausführungsform der Erfindung.
-
7A ist ein Schaubild einer realen Szene aus einem räumlich abgesetzten Bildspeicher, die mit einem virtuellen Objekt verstärkt ist, gemäß einer weiteren Ausführungsform der Erfindung.
-
7B ist ein Schaubild einer realen Szene aus einem räumlich abgesetzten Bildspeicher, die mit einem virtuellen Objekt und einem Avatar eines weiteren Nutzers verstärkt ist, gemäß einer weiteren Ausführungsform der Erfindung.
-
8 ist ein Blockschaubild eines Computersystems, das zum Implementieren von Prozessen der vorliegenden Offenbarung geeignet ist, gemäß einer Ausführungsform der Erfindung.
-
9 ist ein Blockschaubild einer alternativen Ansicht des Computersystems von 8, das zum Implementieren von Prozessen der vorliegenden Offenbarung geeignet ist, gemäß einer Ausführungsform der Erfindung.
-
DETAILLIERTE BESCHREIBUNG
-
Tragbare Geräte, wie zum Beispiel Mobiltelefone und tragbare Mediaplayer, bieten viele verschiedene Arten von Sensoren, die dafür verwendet werden können, Informationen über die Umgebung zu erfassen. Momentan gehören zu diesen Sensoren Positionsbestimmungssystem-Satellitenempfänger, Kameras, eine Uhr und ein Kompass. Weitere Sensoren werden sicher im Lauf der Zeit hinzukommen. Diese Sensoren erlauben es dem Gerät, sich ein Bild von seinem Umfeld zu verschaffen. Das Gerät kann außerdem in der Lage sein, auf andere lokale Informationen zuzugreifen, wie zum Beispiel Wetterverhältnisse, Fahrpläne und die Anwesenheit anderer Nutzer, die mit dem Nutzer kommunizieren.
-
Diese Daten von dem lokalen Gerät können dafür verwendet werden, eine aktualisierte Darstellung einer Karte oder eines Satellitenbildes zu erzeugen, die bzw. das zu einem früheren Zeitpunkt erstellt wurde. Die tatsächliche Karte selbst kann geändert werden, um die aktuellen Bedingungen widerzuspiegeln.
-
In einem Beispiel wird ein MAR-Spiel mit Satellitenbildern fesselnder gestaltet, indem die Nutzer die Möglichkeit erhalten, sich selbst und ihre lokale Umgebung, die auf einem Satellitenbild dargestellt ist, in der gleichen Weise zu sehen, sie sie zum Zeitpunkt des Spiels tatsächlich aussehen. Auch andere Spiele mit gespeicherten Bildern, die keine Satellitenbilder sind, können fesselnder gestaltet werden.
-
Gespeicherte Bilder oder Archivbilder oder andere gespeicherte Daten, die von einem anderen Ort geholt werden, wie zum Beispiel Satellitenbilder, können mit lokalen Sensordaten verstärkt werden, um eine neue Version des Bildes zu erzeugen, die aktuell aussieht. Es gibt eine Vielzahl von Verstärkungen, die verwendet werden können. Es können zum Beispiel Menschen, die sich tatsächlich an diesem Ort befinden, oder fahrende Fahrzeuge gezeigt werden. Die Ansicht dieser Menschen und Gegenstände kann im Vergleich zur Sensorversion modifiziert werden, um sie aus einer anderen Perspektive, der Perspektive des Archivbildes, zu zeigen.
-
In einem Beispiel können Satellitenbilder beispielsweise von Google EarthTM auf der Grundlage der GPS(Global Positioning System)-Position des Nutzers heruntergeladen werden. Das heruntergeladene Bild kann dann mit Sensordaten transformiert werden, die mit Hilfe des Smartphones eines Nutzers aufgenommen wurde. Die Satellitenbilder und lokalen Sensordaten können zusammengeführt werden, um eine realistische oder stilisierte Szene innerhalb eines Spiels zu erzeugen, die auf dem Telefon eines Nutzers angezeigt wird. Die Kamera des Telefons kann andere Menschen, die Farbe ihrer Kleidung, die Lichtverhältnisse, Wolken und Fahrzeuge in der Nähe aufnehmen. Infolge dessen kann der Nutzer innerhalb des Spiels praktisch von einem Satelliten herabzoomen, um eine Darstellung von sich selbst oder von Freunden, die ihre lokalen Daten an andere übermitteln, zu sehen.
-
1 ist ein Schaubild eines Beispiels eines Satellitenbildes, das von einer externen Quelle heruntergeladen wurde. Google Inc. stellt solche Bilder bereit, aber auch viele andere Internet-Quellen. Das Bild kann dann abgerufen werden, wenn es benötigt wird, oder es kann im Voraus abgerufen und dann aus einem lokalen Speicher ausgelesen werden. Für Spiele kann der Spieleanbieter die Bilder bereitstellen, oder er kann einen Link oder eine Verbindung mit einer alternativen Quelle von Bildern bereitstellen, die für das Spiel am besten geeignet sind. Dieses Bild zeigt die Westminster Bridge Road 12 nahe dem Zentrum von London in England und ihre Kreuzung mit der Victoria Embankment 14 nahe der Westminster-Abtei. Das Wasser der Themse 16 fließt unter der Brücke, mit dem Millennium Pier 18 auf einer Seite der Brücke und den Parlamentsgebäuden 20 auf der anderen Seite der Brücke. Dieses Bild zeigt die Bedingungen zu der Zeit, als das Satellitenbild aufgenommen wurde, nämlich am hellen Tage, und kann ein beliebiger Tag in jeder Jahreszeit innerhalb der letzten fünf oder auch zehn Jahre sein.
-
2 ist ein Schaubild des gleichen Satellitenbildes, wie in 1 gezeigt, mit einigen Aufwertungen. Zunächst wurde das Wasser der Themse mit Wellen verstärkt, um zu zeigen, dass es ein windiger Tag ist. Es können noch andere Aufwertungen der Umgebung vorgenommen werden, die sich nur schlecht in einem Schaubild zeigen lassen, wie zum Beispiel Licht oder Dunkelheit, um die Tageszeit zu zeigen, und Schatten entlang den Brückentürmen und anderen Bauten, Bäumen und sogar Menschen, um den Sonnenstand anzuzeigen. Die Jahreszeit kann durch grüne oder herbstbunte Blätter oder kahle Bäume angezeigt werden. Schnee oder Regen können auf der Erde oder in der Luft gezeigt werden, obgleich Schnee in diesem konkreten Beispiel – London – nicht gerade typisch ist.
-
In 2 wurde das Schaubild mit Tourbussen 24 verstärkten. Diese Busse können durch die Kamera des Smartphones des Nutzers oder ein anderes Gerät aufgenommen worden sein und dann als reale Objekte in der realen Szene gerendert worden sein. Sie können durch das Telefon aufgenommen worden sein und dann mit zusätzlichen Merkmalen, wie zum Beispiel Farben, Beschriftungen usw., als Objekte der Verstärkten Realität verstärkt worden sein. Alternativ können die Busse durch das lokale Gerät für einen Zweck eines Programms oder Displays generiert werden. In einem einfachen Beispiel kann der Tourbus auf dem Display erzeugt werden, um die Route zu zeigen, die ein Bus nehmen könnte. Das könnte dem Nutzer bei der Entscheidung helfen, ob er eine Tour mit dem Bus kauft. Außerdem sind die Busse mit eingeschalteten Scheinwerfern gezeigt, um anzuzeigen, dass es draußen dunkel ist oder wird. Ein Schiff 22 ist ebenfalls in das Schaubild aufgenommen worden. Das Schiff kann sich für das Spielen eines Spiels als nützlich erweisen, um Tourismus oder andere Informationen darzustellen, oder für alle sonstigen Zwecke.
-
Die Busse, Schiffe und das Wasser können auch um Toneffekte bereichert werden, die über Lautsprecher des lokalen Gerätes wiedergegeben werden. Die Töne können aus dem Speicher des Gerätes entnommen werden oder können über einen räumlich abgesetzten Server empfangen werden. Toneffekte können Wellen auf dem Wasser, Bus- und Schiffsmotoren, Reifengeräusche und Hupen und sogar Umgebungstöne enthalten, wie zum Beispiel flatternde Fahnen, verallgemeinerte Töne von laufenden und sprechenden Menschen usw.
-
3 ist ein Schaubild der gleichen Satellitenkarte, die weitere Verstärkungen zeigt. Die gleiche Szene ist ohne die Verstärkungen von 2 gezeigt, um die Zeichnung zu vereinfachen, aber es können auch alle im vorliegenden Text beschriebenen Verstärkungen kombiniert werden. Das Bild zeigt Beschriftungen für einige der Objekte auf der Karte. Dazu gehören ein Schild 34 auf der Straße, wie die Westminster Bridge Road, ein Schild 32 auf dem Millennium Pier und ein Schild 33 am Victoria Embankment und den Parlamentsgebäuden. Diese Beschriftungen können ein Teil des Archivbildes sein, oder sie können durch das lokale Gerät hinzugefügt werden.
-
Außerdem wurden Menschen 36 zu dem Bild hinzugefügt. Diese Menschen können durch das lokale Gerät oder durch Spielesoftware erzeugt werden. Außerdem können Menschen durch eine Kamera an dem Gerät beobachtet werden, und dann können Bilder, Avatare oder andere Darstellungen erzeugt werden, um die Archivbilder zu verstärken. Zusätzliche drei Menschen sind in den Figuren als Joe 38, Bob 39 und Sam 40 gekennzeichnet. Diese Menschen können in der gleichen Weise wie die anderen Menschen erzeugt werden. Sie können durch die Kamera an dem lokalen Gerät beobachtet, zu der Szene als ein Bild, als Avatare oder als eine sonstige Art der Darstellung hinzugefügt und dann mit einer Bezeichnung versehen werden. Das lokale Gerät kann sie mittels Gesichtserkennung, Nutzereingabe oder auf eine sonstige Art erkennen.
-
Als eine Alternative können diese identifizierten Menschen eine Nachricht von ihren eigenen Smartphones senden und so ihre Identität anzeigen. Diese könnte dann mit den beobachteten Menschen verlinkt werden. Die anderen Nutzer können ebenfalls Positionsinformationen senden, so dass das lokale Gerät sie zu dem Archivbild an der identifizierten Position hinzufügt.
-
Außerdem können die anderen Nutzer Avatare, Ausdrücke, Emoticons, Nachrichten oder sonstige Informationen senden, die das lokale Gerät zum Rendern und Beschriften der identifizierten Menschen 38, 39, 40 verwenden kann. Wenn die lokale Kamera diese Menschen sieht oder wenn die gesendete Position identifiziert wurde, so kann das System dann die Renderings an die entsprechende Position auf dem Bild einfügen. Zusätzliche reale oder beobachtete Menschen, Objekte und Gegenstände können ebenfalls hinzugefügt werden. Zum Beispiel können auch Charaktere der Verstärkten Realität zu dem Bild hinzugefügt werden, wie zum Beispiel Spielegegner, Ressourcen oder Ziele.
-
4 zeigt ein Schaubild des gleichen Archivbildes von 1, das mit virtuellen Spiele-Charakteren 42 verstärkt ist. In dem Schaubild von 4 werden virtuelle Objekte der Verstärkten Realität generiert und auf das archivierte Bild angewendet. Die Objekte werden aus einem Steuerungsfeld auf der linken Seite des Bildes ausgewählt. Der Nutzer wählt aus verschiedenen möglichen Charakteren 44, 46 aus, in diesem Fall einen Schirm tragende Akteure, und legt sie dann auf verschiedenen Objekten ab, wie zum Beispiel den Bussen 24, dem Schiff 22 oder verschiedenen Gebäuden. Das lokale Gerät kann die virtuellen Objekte 42 verstärken, indem es ihre Bewegungsbahn, ihre Aktion bei Ankunft auf verschiedenen Objekten und andere Effekte zeigt. Die Bewegungsbahn kann durch die tatsächlichen Witterungsverhältnisse oder durch virtuelle Bedingungen beeinflusst werden, die durch das Gerät generiert werden. Das lokale Gerät kann außerdem die virtuellen Objekte mit Toneffekten verstärken, die mit Fallen, Landen und Umherbewegen nach dem Landen verbunden sind.
-
5 zeigt ein zusätzliches Element des Spielens von Spielen in einem Schaubild auf der Basis des Schaubildes von 4. In dieser Ansicht sieht der Nutzer seine Hand 50 am Himmel über der Szene als ein Spiele-Element. In diesem Spiel legt der Nutzer Objekte auf der Brücke darunter ab. Der Nutzer kann sich tatsächlich auf der Brücke befinden, so dass die Kamera am Telefon des Nutzers die Busse detektiert hat. In einer anderen Variante könnte der Nutzer weiter herabzoomen und eine Darstellung von sich und den Menschen um sich herum sehen.
-
6 ist ein Prozessflussdiagramm des Verstärkens einer Archivkarte wie oben beschrieben gemäß einem Beispiel. Bei 61 werden lokale Sensordaten durch das Client-Gerät geholt. Diese Daten können Positionsinformationen, Daten über den Nutzer, Daten über andere Nutzer in der Nähe, Daten über Umgebungsbedingungen und Daten über umgebende Bauten, Objekte und Menschen. Sie können auch eine Kompassorientierung, Körperhaltung und andere Daten enthalten, die durch Sensoren an dem lokalen Gerät erfasst werden können.
-
Bei 62 wird auf einen Bildspeicher zugegriffen, um ein Archivbild zu erhalten. In einem Beispiel bestimmt das lokale Gerät seine Position mittels GPS oder lokalen Wi-Fi-Zugangspunkten und ruft dann ein Bild ab, das dieser Position entspricht. In einem weiteren Beispiel beobachtet das lokale Gerät Wahrzeichen an seiner Position und erhält ein entsprechendes Bild. In dem Beispiel von 1 sind die Westminster-Brücke und die Parlamentsgebäude beides eigenständige Bauten. Das lokale Gerät oder ein räumlich abgesetzter Server können Bilder von einem oder beiden dieser Bauwerke empfangen, identifiziert sie und sendet dann entsprechende Archivbilder für diese Position zurück. Der Nutzer kann ebenfalls Positionsinformationen oder korrekte Positionsinformationen zum Abrufen des Bildes eingeben.
-
Bei 63 wird das erhaltene Bild unter Verwendung von Daten von Sensoren auf dem lokalen Gerät verstärkt. Wie oben beschrieben, kann die Verstärkung Modifizierungen für Zeit, Datum, Jahreszeit, Witterungsverhältnisse und Standpunkt enthalten. Das Bild kann auch durch Hinzufügen realer Menschen und Objekte, die durch das lokale Gerät beobachtet werden, sowie virtueller Menschen und Objekte, die durch das Gerät generiert werden oder von einem anderen Nutzer oder einer anderen Software-Quelle an das Gerät geschickt wurden, verstärkt werden. Das Bild kann auch mit Tönen verstärkt werden. Es können noch weitere AR-Techniken verwendet werden, um Beschriftungen und Metadaten über das Bild oder eine Kamera-Ansicht des lokalen Gerätes bereitzustellen.
-
Bei 64 wird das verstärkte Archivbild auf dem lokalen Gerät gezeigt, und Töne werden über die Lautsprecher abgespielt. Das verstärkte Bild kann auch an die Geräte anderer Nutzer zum Anzeigen gesendet werden, so dass diese Nutzer ebenfalls das Bild sehen können. Dies kann eine interessante Zugabe für vielfältigste Arten von Spielen darstellen, einschließlich Geocaching und Schatzjagdspiele. Bei 65 interagiert der Nutzer mit dem verstärkten Bild, um zusätzliche Änderungen zu veranlassen. Einige Beispiele dieser Interaktion sind in den 4 und 5 gezeigt, aber es ist auch ein breites Spektrum anderer Interaktionen möglich.
-
7A zeigt ein weiteres Beispiel eines Archivbildes, das durch das lokale Gerät verstärkt wird. In diesem Beispiel wird eine Nachricht 72 von Bob an Jenna gesendet. Bob hat einen Hinweis auf seine Position an Jenna gesendet, und diese Position wurde verwendet, um ein Archivbild eines Stadtgebietes abzurufen, das Bobs Position enthält. Bobs Position wird durch einen Ballon 71 markiert. Der Ballon kann durch das lokale Gerät oder durch die Quelle des Bildes bereitgestellt werden. Wie in 1 ist das Bild ein Satellitenbild mit darübergelegten Straßen- und sonstigen Informationen. Die Darstellung von Bobs Position kann als ein Bild von Bob, ein Avatar, ein Pfeilsymbol oder auf sonstige Weise gerendert werden. Die tatsächliche Position der Standortdarstellung kann geändert werden, wenn Bob Informationen sendet, dass er sich bewegt hat, oder wenn die Kamera des lokalen Gerätes Bobs Position als in Bewegung erkennt.
-
Zusätzlich zu dem Archivbild und der Darstellung von Bob hat das lokale Gerät ein virtuelles Objekt 72 hinzugefügt, das als ein Papierflugzeug gezeigt ist. Es kann jedoch auch auf vielfältige andere Weise dargestellt werden. Das virtuelle Objekt in diesem Beispiel stellt eine Nachricht dar, es kann aber auch viele andere Objekte darstellen. Für das Spielen eines Spiels zum Beispiel kann das Objekt Informationen, zusätzliche Munition, eine Aufklärungssonde, eine Waffe oder ein Gehilfe sein. Das virtuelle Objekt ist so gezeigt, dass es sich über das verstärkte Bild von Jenna zu Bob bewegt. Als ein Flugzeug fliegt es über das Satellitenbild. Wenn die Nachricht als eine Person oder ein Landfahrzeug dargestellt wäre, so kann es so dargestellt werden, dass es sich entlang der Straßen auf dem Bild bewegt. Die Ansicht des Bildes kann geschwenkt, gezoomt oder gedreht werden, während sich das virtuelle Objekt bewegt, um seinen Fortschritt zu zeigen. Das Bild kann auch mit Toneffekten des Papierflugzeugs oder anderen Objekten verstärkt werden, während es sich bewegt.
-
In 7B wurde das Bild gezoomt, während sich die Nachricht ihrem Ziel nähert. In diesem Fall wird Bob unter Verwendung eines Avatars 73 dargestellt und ist so gezeigt, dass er zum Auffangen der Nachricht 72 bereit ist. Ein Toneffekt des Auffangens des Flugzeugs und einer Antwort-Bemerkung von Bob kann abgespielt werden, um anzuzeigen, dass Bob die Nachricht empfangen hat. Wie zuvor, kann Bob auf vielfältige Weise – von realistisch bis fantasievoll – dargestellt werden. Das Archivbild kann eine herangezoomte Satellitenkarte sein, oder – wie in diesem Beispiel – eine Fotografie eines gepflasterten Parkbereichs, der mit Bobs Position übereinstimmt. Die Fotografie kann von einer anderen Quelle kommen, wie zum Beispiel einer Website, die den Park beschreibt. Das Bild kann auch von Bobs eigenem Smartphone oder einem ähnlichen Gerät kommen. Bob kann einige Fotografien von seiner Position aufnehmen und sie an Jenna senden. Jennas Gerät kann diese dann um Bob und die Nachricht verstärkt anzeigen. Das Bild kann dann noch um weitere Charaktere oder Objekte – sowohl virtuell als auch real – bereichert werden.
-
Wie oben beschrieben, ermöglichen Ausführungsformen der vorliegenden Erfindung das Verstärken eines Satellitenbildes oder eines anderen gespeicherten Bildsatzes mit nahezu Echtzeitdaten, die durch ein Gerät erfasst werden, das sich beim Nutzer befindet. Diese Verstärkung kann jede beliebige Anzahl von realen oder virtuellen Objekten enthalten, die durch Icons oder Avatare oder realistischere Darstellungen dargestellt werden.
-
Lokale Sensoren am Gerät eines Nutzers werden verwendet, um das Satellitenbild mit einer beliebigen Anzahl von zusätzlichen Details zu aktualisieren. Dazu können die Farbe und Größe von Bäumen und Büschen und das Vorhandensein und die Position anderer umgebender Objekte gehören, wie zum Beispiel Autos, Busse, Gebäude usw. Die Identität anderer Menschen, die sich einklinken, um Informationen zu übermitteln, können angezeigt werden, wie auch GPS-Orte, die Neigung eines Gerätes, das ein Nutzer hält, und sonstige weitere Faktoren.
-
In der Nähe befindliche Menschen können als durch das lokale Gerät detektiert dargestellt und dann verwendet werden, um das Bild zu verstärken. Zusätzlich zu den gezeigten einfachen Darstellungen können die Darstellungen von Menschen aufgewertet werden, indem man Höhe, Größe und Kleidung, Gesten und Gesichtsausdrücke und andere Charakteristika zeigt. Dies kann von der Kamera des Gerätes oder anderen Sensoren kommen und kann mit Informationen kombiniert werden, die durch die Menschen selbst bereitgestellt werden. Nutzer an beiden Enden können auf Avataren dargestellt werden, die mit einer Darstellung von echtzeitnahen Ausdrücken und Gesten gezeigt sind.
-
Die Archivbilder können Satellitenkarten und lokale Fotografien sein, wie gezeigt, sowie andere Speicher von Karten- und Bilddaten. Beispielsweise können statt der Satellitenkarten oder zusammen mit ihnen auch Innenkarten oder -bilder von einem Gebäudeinneren verwendet werden. Diese können je nach dem Gebäude und der Art des Bildes von öffentlichen oder privaten Quellen stammen. Die Bilder können auch so verstärkt werden, dass sie ein Video der Position mittels Schwenk-, Zoom- und Neigeeffekten simulieren, und durch Bewegen der virtuellen und realen Objekte, die das Bild verstärken.
-
8 ist ein Blockschaubild einer Computerumgebung, die in der Lage ist, die oben besprochenen Operationen zu unterstützen. Die Module und Systeme können in unterschiedlichsten Hardware-Architekturen und Formfaktoren implementiert werden, wie zum Beispiel denen, die in 9 gezeigt sind.
-
Das Befehlsausführungsmodul 801 enthält eine zentrale Verarbeitungseinheit zum Cache-Speichern und Ausführen von Befehlen und zum Verteilen von Aufgaben zwischen den anderen gezeigten Modulen und Systemen. Es kann einen Instruktionsstapel, einen Cache-Speicher zum Speichern von Zwischen- und Endergebnissen und Massenspeicher zum Speichern von Anwendungen und Betriebssystemen enthalten. Das Befehlsausführungsmodul kann auch als eine zentrale Koordinations- und Aufgabenzuweisungseinheit für das System dienen.
-
Das Bildschirm-Rendering-Modul 821 zeichnet Objekte auf einem oder mehreren Bildschirmen des lokalen Gerätes, so dass der Nutzer sie sehen kann. Es kann dafür ausgelegt sein, die Daten von dem unten beschriebenen Virtuelle-Objekte-Verhaltensmodul 804 zu empfangen und das virtuelle Objekt und alle anderen Objekte auf dem entsprechenden einen oder mehreren Bildschirmen zu rendern. Somit würden die Daten von dem Virtuelle-Objekte-Verhaltensmodul beispielsweise die Position und die Dynamik des virtuellen Objekts und der zugehörigen Gesten und Objekte bestimmen, und das Bildschirm-Rendering-Modul würde das virtuelle Objekt und verknüpfte Objekte und die Umgebung entsprechend auf einem Bildschirm zeigen.
-
Das Benutzereingabe- und Gestenerkennungssystem 822 kann dafür ausgelegt sein, Benutzereingaben und Befehle zu erkennen, einschließlich Hand- und Armgesten eines Nutzers. Ein solches Modul kann dafür verwendet werden, Hände, Finger, Fingergesten, Handbewegungen und eine Position von Händen relativ zum Display zu erkennen. Zum Beispiel könnte das Objekt- und Gestenerkennungsmodul bestimmen, dass ein Nutzer eine Geste gemacht hat, um ein virtuelles Objekt auf das verstärkte Bild an verschiedenen Positionen fallenzulassen oder zu werfen. Das Benutzereingabe- und Gestenerkennungssystem kann mit einer Kamera oder Kameragruppierung, einem Mikrofon- oder einer Mikrofongruppierung, einem Touchscreen oder einer berührungsempfindlichen Oberfläche oder einem Zeigegerät oder einer Kombination dieser Dinge gekoppelt sein, um Gesten und Befehle des Nutzers zu detektieren.
-
Bei den Lokalen Sensoren 823 kann es sich um beliebige der oben erwähnten Sensoren handeln, die an dem lokalen Gerät angeboten werden oder verfügbar sein können. Dazu können jene gehören, die in der Regel an einem Smartphone verfügbar sind, wie zum Beispiel vorder- und rückseitige Kameras, Mikrofone, Positionsbestimmungssysteme, Wi-Fi- und UKW-Antennen, Beschleunigungsmesser und Kompasse. Diese Sensoren ermöglichen nicht nur das Erkennen der Position, sondern erlauben es dem lokalen Gerät auch, seine Orientierung und Bewegung beim Beobachten einer Szene zu bestimmen. Die lokalen Sensordaten werden in das Befehlsausführungsmodul eingespeist, um bei der Auswahl eines Archivbildes und zum Verstärken dieses Bildes verwendet zu werden.
-
Das Datenkommunikationsmodul 825 enthält die verdrahteten oder drahtlosen Datenschnittstellen, die es allen Geräten in dem System erlauben zu kommunizieren. Jedes Gerät kann mehrere Schnittstellen haben. In einem Beispiel kommuniziert das AR-Display über Wi-Fi, um detaillierte Parameter bezüglich AR-Charakteren zu senden. Es kommuniziert auch über Bluetooth, um Nutzerbefehle zu senden und Audio zu empfangen, das über die AR-Displayvorrichtung abgespielt wird. Es können alle geeigneten verdrahteten oder drahtlosen Gerätekommunikationsprotokolle verwendet werden.
-
Das Virtuelle-Objekte-Verhaltensmodul 804 ist dafür ausgelegt, Eingangssignale von den anderen Modulen zu empfangen und diese Eingangssignale auf das virtuelle Objekt anzuwenden, das generiert wurde und das auf dem Display gezeigt wird. So würde zum Beispiel das Benutzereingabe- und Gestenerkennungssystem eine Nutzergeste interpretieren, und durch Abbilden der erfassten Bewegungen der Hand eines Nutzers auf erkannte Bewegungen würde das Virtuelle-Objekte-Verhaltensmodul die Position und die Bewegungen des virtuellen Objekts den Nutzereingaben zuordnen, um Daten zu generieren, die die Bewegungen des virtuellen Objekts so lenken würden, dass sie den Nutzereingaben entsprechen.
-
Das Kombinierungsmodul 806 verändert das Archivbild, wie zum Beispiel eine Satellitenkarte oder ein anderes Bild, um Informationen hinzuzufügen, die durch die lokalen Sensoren 823 an dem Client-Gerät erfasst wurden. Dieses Modul kann sich auf dem Client-Gerät oder auf einem „Cloud”-Server befinden. Das Kombinierungsmodul verwendete Daten, die von dem Objekt- und Personenidentifikationsmodul 807 kommen, und fügt die Daten Bildern von der Bildquelle hinzu. Objekte und Menschen werden dem existierenden Bild hinzugefügt. Die Menschen können Avatardarstellungen oder realistischere Darstellungen sein.
-
Das Kombinierungsmodul 806 kann Heuristik zum Ändern der Satellitenkarten verwenden. Zum Beispiel erfasst das lokale Gerät in einem Spiel, das es erlaubt, Flugzeuge über Kopf entlang fliegen zu lassen, um zu versuchen, einen Avatar einer Person oder eines Charakters auf der Erde zu bombardieren, Informationen wie GPS-Position, Haarfarbe, Kleidung, Fahrzeuge in der Umgebung, Lichtverhältnisse und Bewölkung. Diese Informationen können dann dafür verwendet werden, Avatare der Spieler, umgebende Objekte und Umgebungsbedingungen zu erstellen, die auf der Satellitenkarte sichtbar sind. Zum Beispiel könnte ein Nutzer das virtuelle Flugzeug hinter eine reale Wolke steuern, die dem gespeicherten Satellitenbild hinzugefügt wurde.
-
Das Objekt- und Avatardarstellungsmodul 808 empfängt Informationen von dem Objekt- und Personenidentifikationsmodul 807 und stellt diese Informationen als Objekte und Avatare dar. Das Modul kann dafür verwendet werden, jedes reale Objekt als entweder eine realistische Darstellung des Objekts oder als einen Avatar darzustellen. Avatar-Informationen können von anderen Nutzern oder aus einer zentralen Datenbank von Avatar-Informationen erhalten werden.
-
Das Objekt- und Personenidentifikationsmodul verwendet empfangene Kameradaten zum Identifizieren bestimmter realer Objekte und Personen. Große Objekte, wie zum Beispiel Busse und Autos, können mit Bildbibliotheken verglichen werden, um das Objekt zu identifizieren. Menschen können mittels Gesichtserkennungstechniken identifiziert werden, oder durch Empfangen von Daten von einem Gerät, das mit der identifizierten Person durch ein privates, lokales oder Mobilfunknetz verbunden ist. Nachdem Objekte und Personen identifiziert wurden, können die Identitäten dann auf andere Daten angewendet und an das Objekt- und Avatardarstellungsmodul übermittelt werden, um geeignete Darstellungen der Objekte und Menschen zum Anzeigen zu generieren.
-
Das Positions- und Orientierungsmodul 803 verwendet die lokalen Sensoren 823 zum Bestimmen der Position und Orientierung des lokalen Gerätes. Diese Informationen werden dafür verwendet, ein Archivbild auszuwählen und eine geeignete Ansicht dieses Bildes bereitzustellen. Die Informationen können auch dafür verwendet werden, die Objekt- und Personenidentifikationen zu ergänzen. Wenn sich beispielsweise das Nutzergerät auf der Westminster-Brücke befindet und nach Osten ausgerichtet ist, dann befinden sich Objekte, die durch die Kamera beobachtet werden, auf der Brücke. Das Objekt- und Avatardarstellungsmodul 808, das diese Informationen verwendet, kann dann diese Objekte als auf der Brücke befindlich darstellen, und das Kombinierungsmodul kann diese Informationen verwenden, um das Bild durch Hinzufügen der Objekte zu der Ansicht der Brücke zu verstärken.
-
Das Spielemodul 802 stellt zusätzliche Interaktionen und Effekte bereit. Das Spielemodul kann virtuelle Charaktere und virtuelle Objekte generieren, um sie dem verstärkten Bild hinzuzufügen. Es kann auch eine beliebige Anzahl von Spiele-Effekten zu den virtuellen Objekten oder als virtuelle Interaktionen mit realen Objekten oder Avataren bereitstellen. Die Spiele beispielsweise der 4, 7A und 7B können alle durch das Spielemodul bereitgestellt werden.
-
Das 3D-Bild-Interaktion- und -Effekte-Modul 805 verfolgt Nutzer-Interaktionen mit realen und virtuellen Objekten in den verstärkten Bildern und bestimmt den Einfluss von Objekten in der z-Achse (zur Ebene des Bildschirm hin und von ihr weg). Es stellt zusätzliche Verarbeitungsressourcen bereit, um diese Effekte zusammen mit dem relativen Einfluss von Objekten aufeinander in drei Dimensionen bereitzustellen. Zum Beispiel kann ein Objekt, das durch eine Nutzergeste geworfen wird, durch das Wetter, durch virtuelle und reale Objekte und andere Faktoren im Vordergrund des verstärkten Bildes beeinflusst werden, zum Beispiel am Himmel, wenn sich das Objekt bewegt.
-
9 ist ein Blockschaubild eines Computersystems, wie zum Beispiel eines Personalcomputers, einer Spielekonsole, eines Smartphones oder eines tragbaren Spielegerätes. Das Computersystem 900 enthält einen Bus oder ein anderes Kommunikationsmittel 901 zum Übermitteln von Informationen und ein Verarbeitungsmittel, wie zum Beispiel einen Mikroprozessor 902, der mit dem Bus 901 gekoppelt ist, um Informationen zu verarbeiten. Das Computersystem kann mit einem Grafikprozessor 903 verstärkt werden, insbesondere zum Rendern von Grafik durch parallele Pipelines, und mit einem Physikprozessor 905 zum Berechnen der physikalischen Interaktionen, wie oben beschrieben. Diese Prozessoren können in den zentralen Prozessor 902 integriert werden oder können als ein oder mehrere separate Prozessoren bereitgestellt werden.
-
Das Computersystem 900 enthält des Weiteren einen Hauptspeicher 904, wie zum Beispiel einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Datenspeichervorrichtung, die mit dem Bus 901 gekoppelt ist, um Informationen und Instruktionen zu speichern, die durch den Prozessor 902 ausgeführt werden sollen. Der Hauptspeicher kann auch dafür verwendet werden, temporäre Variablen oder anderen Zwischeninformationen während der Ausführung von Instruktionen durch den Prozessor zu speichern. Das Computersystem kann auch einen nichtflüchtigen Speicher 906 enthalten, wie zum Beispiel einen Nurlesespeicher (ROM), oder eine andere statische Datenspeichervorrichtung, die mit dem Bus gekoppelt ist, um statische Informationen und Instruktionen für den Prozessor zu speichern.
-
Ein Massenspeicher 907, wie zum Beispiel eine Magnetdisk, eine optische Disk oder ein Festkörper-Array, und sein entsprechendes Laufwerk können ebenfalls mit dem Bus des Computersystems gekoppelt sein, um Informationen und Instruktionen zu speichern. Das Computersystem kann auch über den Bus mit einer Displayvorrichtung oder einem Monitor 921 gekoppelt sein, wie zum Beispiel einer Flüssigkristallanzeige (LCD) oder einem Organischen Leuchtdioden(OLED)-Array, um einem Nutzer Informationen anzuzeigen. Zum Beispiel können dem Nutzer auf der Displayvorrichtung – zusätzlich zu den verschiedenen oben besprochenen Ansichten und Nutzer-Interaktionen – grafische und Text-Hinweise zum Installationsstatus, zum Betriebsstatus und andere Informationen angezeigt werden.
-
In der Regel können Nutzereingabegeräte 922, wie zum Beispiel eine Tastatur mit alphanumerischen, Funktions- und anderen Tasten, mit dem Bus gekoppelt sein, um Informationen und Befehlsauswahlen an den Prozessor zu übermitteln. Zu weiteren Nutzereingabegeräten kann ein Cursorsteuerungseingabegerät gehören, wie zum Beispiel eine Maus, ein Trackball oder ein Trackpad, oder Cursorrichtungstasten können mit dem Bus gekoppelt sein, um Richtungsinformationen und Befehlsauswahlen an den Prozessor zu übermitteln und die Cursorbewegung auf dem Display 921 zu steuern.
-
Kamera- und Mikrofon-Arrays 923 sind mit dem Bus gekoppelt, um Gesten zu beobachten, Audio und Video aufzuzeichnen und visuelle und Audio-Befehle zu empfangen, wie oben angesprochen.
-
Kommunikationsschnittstellen 925 sind ebenfalls mit dem Bus 901 gekoppelt. Die Kommunikationsschnittstellen können ein Modem, eine Netzwerkschnittstellenkarte oder andere allgemein bekannte Schnittstellengeräte enthalten, wie zum Beispiel solche, die zum Koppeln mit dem Ethernet, Token Ring oder anderen Arten von physischen, verdrahteten oder drahtlosen Anbaukomponenten verwendet werden, um einen Kommunikationslink bereitzustellen, um beispielsweise ein Nah- oder ein Fernbereichsnetz (LAN oder WAN) zu unterstützen. In dieser Weise kann das Computersystem auch mit einer Anzahl von Peripheriegeräten, Clients, Steuerungsoberflächen, Konsolen oder Servern über eine herkömmliche Netzwerkinfrastruktur gekoppelt sein, einschließlich beispielsweise eines Intranets oder des Internets.
-
Es versteht sich, dass ein weniger oder besser ausgestattetes System als das oben beschriebene Beispiel für bestimmte Implementierungen bevorzugt sein kann. Darum variiert die Konfiguration der beispielhaften Systeme 800 und 900 von Implementierung zu Implementierung in Abhängigkeit von zahlreichen Faktoren, wie zum Beispiel Preisbeschränkungen, Leistungsanforderungen, technische Verbesserungen oder andere Umstände.
-
Ausführungsformen können als eines oder als eine Kombination von Folgendem implementiert werden: ein oder mehrere Mikrochips oder integrierte Schaltkreise, die unter Verwendung eines Parentboard miteinander verbunden sind, festverdrahtete Logik, Software, die durch eine Speichervorrichtung gespeichert und durch einen Mikroprozessor ausgeführt wird, Firmware, ein anwendungsspezifischer integrierter Schaltkreis (ASIC) und/oder ein feldprogrammierbares Gate-Array (FPGA). Der Begriff „Logik” kann beispielhaft Software oder Hardware und/oder Kombinationen von Software und Hardware enthalten.
-
Ausführungsformen können zum Beispiel als ein Computerprogrammprodukt bereitgestellt werden, das ein oder mehrere maschinenlesbare Medien enthalten kann, auf denen maschinenausführbare Instruktionen gespeichert sind, die, wenn sie durch eine oder mehrere Maschinen ausgeführt werden, wie zum Beispiel durch einen Computer, ein Netzwerk aus Computern oder durch andere elektronische Geräte, dazu führen können, dass die eine oder die mehreren Maschinen Operationen gemäß Ausführungsformen der vorliegenden Erfindung ausführen. Maschinenlesbare Medien können beispielsweise sein: Floppy-Disketten, optische Disks, CD-ROMs (Compact Disk-Nurlesespeicher) und magnet-optische Disks, ROMs (Nurlesespeicher), RAMs (Direktzugriffsspeicher), EPROMs (Löschbarer Programmierbarer Nurlesespeicher), EEPROMs (Elektrisch Löschbarer Programmierbarer Nurlesespeicher), magnetische oder optische Karten, Flash-Speicher oder andere Arten von Medien/maschinenlesbaren Medien, die zum Speicher maschinenausführbarer Instruktionen geeignet sind.
-
Darüber hinaus können Ausführungsformen als ein Computerprogrammprodukt heruntergeladen werden, wobei das Programm von einem räumlich abgesetzten Computer (zum Beispiel einem Server) mittels eines oder mehrerer Datensignale, die durch eine Trägerwelle oder ein anderes Ausbreitungsmedium verkörpert sind und/oder durch ein solches moduliert werden, über einen Kommunikationslink (zum Beispiel eine Modem- und/oder Netzwerkverbindung) zu einem anfordernden Computer (zum Beispiel einem Client) übertragen werden kann. Dementsprechend kann im Sinne des vorliegenden Textes ein maschinenlesbares Medium beispielsweise eine solche Trägerwelle umfassen.
-
Verweise auf „eine bestimmte Ausführungsform”, „eine Ausführungsform”, ein „Ausführungsbeispiel”, „verschiedene Ausführungsformen” usw. besagen, dass die auf diese Weise beschriebenen Ausführungsformen der Erfindung konkrete Merkmale, Strukturen oder Charakteristika enthalten können, aber nicht jede Ausführungsform unbedingt die speziellen Merkmale, Strukturen oder Charakteristika enthält. Des Weiteren können einige Ausführungsformen einige, alle oder gar keine der Merkmale haben, die für andere Ausführungsformen beschrieben sind.
-
In der folgenden Beschreibung und in den Ansprüchen kann der Begriff „gekoppelt” – zusammen mit seinen Ableitungen – verwendet werden. „Gekoppelt” wird verwendet, um anzuzeigen, dass zwei oder mehr Elemente miteinander zusammenwirken oder interagieren, aber es können sich physische oder elektrische Komponenten zwischen ihnen befinden oder auch nicht.
-
Im Sinne der Ansprüche bedeutet, sofern nichts anderes angegeben ist, die Verwendung der Ordnungsbegriffe „erster”, „zweiter”, „dritter” usw. zum Beschreiben eines gemeinsamen Elements lediglich, dass verschiedene Instanzen gleicher Elemente gemeint sind, und es soll nicht impliziert werden, dass die so beschriebenen Elemente in einer bestimmten Reihenfolge vorliegen müssen, weder zeitlich, noch räumlich, noch in ihrer Rangordnung noch in einer anderen Weise.
-
Die Zeichnungen und die vorausgegangene Beschreibung zeigen Beispiele von Ausführungsformen. Der Fachmann weiß, dass ein oder mehrere der beschriebenen Elemente ebenso gut zu einem einzelnen Funktionselement kombiniert werden können. Alternativ können bestimmte Elemente in mehrere Funktionselemente aufgeteilt werden. Elemente von einer bestimmten Ausführungsform können zu einer anderen Ausführungsform hinzugefügt werden. Zum Beispiel können die Reihenfolgen von im vorliegenden Text beschriebenen Prozessen geändert werden und sind nicht auf die im vorliegenden Text beschriebene Art und Weise beschränkt. Darüber hinaus brauchen die Aktionen von Flussdiagrammen nicht in der gezeigten Reihenfolge implementiert zu werden, und es brauchen auch nicht unbedingt alle Aktionen ausgeführt zu werden. Des Weiteren können Aktionen, die nicht von anderen Aktionen abhängig sind, parallel mit den anderen Aktionen ausgeführt werden. Der Geltungsbereich von Ausführungsformen wird keineswegs durch diese konkreten Beispiele beschränkt. Zahlreiche Variationen, ob ausdrücklich in der Spezifikation angegeben oder nicht, wie zum Beispiel Unterschiede in der Struktur, der Abmessung und den verwendeten Materialien, sind möglich. Der Geltungsbereich von Ausführungsformen ist mindestens so breit, wie in den folgenden Ansprüchen beschrieben.
