-
HINTERGRUND
-
Das Aufkommen kabelloser Datennetzwerke hat es Mobilgeräten wie tragbaren Computer und Smartphones erlaubt, Daten über einen Ort fast sofort einer Person, die sich an diesem Ort befindet, zur Verfügung zu stellen. Ein Mobilgerät kann seinen Ort über einen Webbrowser oder eine Anwendung melden und mit Informationen über Restaurants, Immobilienangebote, kulturelle Veranstaltungen und mehr versorgt werden. Dies erlaubt dem Nutzer, sofort über diesen Ort informiert zu werden. Einige Webseiten und Anwendungen erlauben dem Nutzer auch, mit der Information zu interagieren, um sich auf bestimmte Sorten von Informationen oder Informationen zu einem bestimmten Thema zu fokussieren. Um grafische Darstellungen zu erhalten, kann der Nutzer herein- und herauszoomen, die Ansicht von einer Übersicht zu einer Straßenansicht ändern oder von einer Straßenkarte zu einer bildhaften Ansicht.
-
Einige Webseiten und Anwendungen erlauben dem Nutzer, Informationen über das kabellose Datennetzwerk hochzuladen. Der Nutzer kann dann zu dem beitragen, was an Information zu dem Ort bereits zur Verfügung steht, wie zum Beispiel aktuelle Fotografien, Beschreibungen oder Kommentare. Diese Information kann mit der bereits bestehenden Information zusammengeführt werden, damit dem nächsten Nutzer mehr Information zur Verfügung steht.
-
Ein Beispiel für solche ortsbasierten Anwendungen sind astronomische Anwendungen. Solche Anwendungen empfangen den Ort des Nutzergeräts und die Jahreszeit und stellen dann Bilder zur Verfügung, die zeigen, wie der Nachthimmel zu dieser Zeit an diesem Ort aussehen sollte. Zusätzliche Information wie die Namen und Orte von Konstellationen und Planeten werden bereitgestellt. Wenn der Nutzer den Himmel betrachtet, kann er die erhaltenen Informationen auf dem Mobilgerät mit dem tatsächlichen Himmel vergleichen, um Objekte zu lokalisieren und zu verstehen. Eine solche Anwendung kann einer Person an einem fernen oder unvertrauten Ort erlauben, etwas über den Himmel zu lernen. Eine ähnliche Funktionalität kann auch mit feststehenden Desktop-Geräten und entsprechender Software erreicht werden.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Erfindungsgemäße Ausführungsformen werden exemplarisch und in keiner Weise einschränkend in den Figuren der begleitenden Zeichnungen dargestellt, in denen sich gleiche Bezugsnummern auf ähnliche Elemente beziehen.
-
1 zeigt ein Diagramm eines Nutzers, der eine verbesserte Informations-Ansicht des Nachthimmels genießt, indem er ein Brillendisplay entsprechend einer erfindungsgemäßen Ausführungsform trägt.
-
2 zeigt ein Diagramm einer verbesserten Informations-Ansicht eines Nachthimmels, wie er durch die Linse einer Brille entsprechend einer erfindungsgemäßen Ausführungsform aussieht.
-
3 zeigt ein Diagramm einer verbesserten Informations-Ansicht einer städtischen Landschaft, wie sie durch die Linse einer Brille entsprechend einer erfindungsgemäßen Ausführungsform aussieht.
-
4 zeigt ein Blockdiagramm eines Informationsübertragungssystems, das ein Brillendisplay entsprechend einer weiteren erfindungsgemäßen Ausführungsform beinhaltet.
-
5 zeigt ein Prozess-Flussdiagramm der zur Verfügung gestellten Information auf einem transparenten Display entsprechend einer erfindungsgemäßen Ausführungsform.
-
6 zeigt ein Blockdiagramm eines für die Umsetzungsprozesse der vorliegenden Veröffentlichung passenden Computersystems entsprechend einer erfindungsgemäßen Ausführungsform.
-
7 zeigt ein Blockdiagramm einer alternativen Ansicht des für die Umsetzungsprozesse der vorliegenden Veröffentlichung passenden Computersystems aus 6 entsprechend einer erfindungsgemäßen Ausführungsform.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Durch die Nutzung eines Brillensystems kann die Information in der selben Ansicht wie in der realen Welt präsentiert werden. Anstatt auf den Bildschirm eines Mobligeräts zu schauen und dann das Gesehene auf die reale Szene um sich herum anzuwenden, kann der Nutzer den Inhalt inmitten oder über der realen Szene sehen. Dies macht die Information nicht nur schneller verfügbar, es erlaubt auch die freie Benutzung der Hände und das Ausführen von Gesten.
-
In einer Ausführungsform wird die menschliche Sicht mit einer ”verstärkten Teleskop-Erfahrung” erweitert, die nicht die Benutzung der Hände erfordert, um den Nachthimmel zu betrachten. In einer solchen Ausführungsform wird unter Nutzung von Trägheitssensoren, Computersicht oder beidem eine realistische Visualisierung des Nachthimmels geschaffen, die akkurat mit der Sicht des Nutzers auf den wirklichen Nachthimmel übereinstimmt. Die Visualisierung wird mit Hilfe eines Verbesserte-Realitäts-Systems (AR) in Brillenform über die Sicht des Nutzers gelegt. Die Visualisierung erlaubt dem Nutzer zusätzliche Information zu erhalten, wie z. B. die Namen von Himmelskörpern, die Namen von Objekten, die zu klein sind oder zu weit weg, um sie mit dem bloßen Auge zu sehen, oder logische Entitäten wie Konstellationen, die als Überlagerung auf die Nachthimmelsicht gelegt werden.
-
1 zeigt ein Beispiel des Systems in Benutzung. Ein Benutzer 10 steht in Betrachtung des Nachthimmels 12, wo Sterne, Planeten, Kometen und vielleicht ein paar Flugzeuge sichtbar sind. Der Nutzer schaut durch die transparenten Linsen einer Brille 14, die mit einer Kamera 16 und einem Projektor 17 ausgestattet sind. Die Brille kann auch mit anderen Geräten ausgestattet sein, wie z. B. mit einem Positionsbestimmungssystem oder anderen nicht gezeigten Geräten. Die Kamera schaut in dieselbe Richtung wie der Nutzer, um dessen Sicht auf den Nachthimmel zu sehen. Der Projektor kann ein Bild vor den Nutzer projizieren, entweder auf die Linsen der Brille oder hinter die Linsen woanders hin. Obwohl der Begriff ”Projektor” benutzt wird, werden Bilder im Fall eines elektrochromischen oder transparenten OLED-Displays nicht projiziert, sondern vielmehr angezeigt, jedoch liegt einem solchen Anzeigesystem dasselbe Prinzip zugrunde wie einem Projektor.
-
Kamera und Projektor sind an ein Computersystem 18 gekoppelt, das in der vorliegenden Zeichnung als Smartphone oder kleines Tablet dargestellt ist, obwohl das System auch kleiner oder größer sein und in verschiedenen Formen vorliegen kann. Das Computersystem kann physisch an die Brille geheftet sein oder in sie integriert, als separates Gerät getragen werden wie gezeigt, oder ein von Hand getragenes separates Gerät sein. Das Computersystem kann durch ein oder mehrere Kabel an Kamera und Projektor gekoppelt sein wie gezeigt, oder kabellos unter Nutzung einer beliebigen Variante der kabellosen Kommunikation. Das dargestellte Computersystem umfasst Knöpfe und ein Display, das ein Touchscreen für zusätzliche Nutzereingaben sein kann. Die spezielle Nutzerschnittstelle kann an das Gerät und seine Applikationen angepasst werden.
-
Beispiele für ein Computersystem 18 können folgende Geräte ohne Einschränkung umfassen: Mobilgeräte, Personal Digital Assistants, mobile Computersysteme, Smartphones, Mobiltelefone, Handsets, Computer, PCs, Desktop-Computer, Laptops, Notebooks, Handheld-Computer, Tablets, Server, Serverfelder oder -farmen, Webserver, Netzwerkserver, Internetserver, Work Stations, Mini-Computer, Main Frame Computer, Supercomputer, Netzwerk-Anwendungen, Web-Anwendungen, verteilte Computersysteme, Multiprozessorsysteme, prozessorbasierte Systeme, Unterhaltungselektronik, programmierbare Unterhaltungselektronik, TV-Geräte, digitale TV-Geräte, Set Top Boxen, kabellose Zugangspunkte, Basisstationen, Teilnehmerstationen oder eine Kombination dieser.
-
Der Nutzer wird auch seine Hände 20 in Kamerasicht 16 haltend dargestellt. Der Nutzer kann mit seinen Händen gestikulieren und so dem Computersystem Befehle geben, während er die Kamera benutzt. Die Befehle können einen bestimmten Typ von Informationen auf das Display rufen. Auf dem Display herein- oder herauszoomen, über das Display in verschiedene Richtungen scannen oder bestimmte Objekte am Nachthimmel auswählen. Die Gesten werden von der Kamera beobachtet und dem Computersystem übermittelt, das als Resultat dessen Befehle ausführt; ein Audio- oder Videosignal kann übermittelt werden, wenn in der Brille oder im Computersystem Lautsprecher (nicht gezeigt) benutzt werden, oder wenn der Projektor genutzt wird.
-
2 zeigt ein Beispiel der Sicht durch ein linkes Brillenglas 22 der Brille aus dem Beispiel aus 1 der Beobachtung des Nachthimmels 12. Eine ähnliche Ansicht kann man durch das rechte Brillenglas sehen. Der Himmel 12 ist klar und gut sichtbar durch die transparente Linse auf dem Display. Damit der Nutzer besser versteht, was er sieht, hat das Computersystem Anmerkungen 24 erstellt, die eine Konstellation, Ursa Major, und einen Stern, Polaris, benennen. Diese werden auf dem Bildschirm neben dem entsprechenden Gegenstand dargestellt, wie er durch die Brille gesehen wird. Das Computersystem tut das, indem es die Kamerasicht mit der Sicht durch die Brille vergleicht und dann ein Bild auf die entsprechende Region projiziert. Zu den Anmerkungen werden Referenzlinien 26 angeboten, die zeigen, wie die Sterne der Konstellation miteinander verbunden sind. Diese werden der Sicht des tatsächlichen Himmels übergelagert, indem die Linien auf den entsprechenden Platz auf dem Brillenglas gelegt werden.
-
3 ist ein weiteres Beispiel der möglichen Nutzung des Systems mit einer anderen Ansicht. In diesem Beispiel schaut der Nutzer über eine Straße auf zwei real existierende Restaurants, Joes Restaurant 34 und Sams Restaurant 38. Das Computersystem hat, ähnlich wie beim Nachthimmel, die Position und Orientierung des Nutzers bestimmt und die beiden Restaurants, die der Nutzer anschaut, identifiziert. Das Computersystem hat dann Anmerkungen 36, 40 erstellt, die die Betrachtung der Restaurants durch den Nutzer für diesen erweitern. In diesem Beispiel sind die Anmerkungen kurze Bewertungen, wie ”Joes war großartig!” und ”Sams war die Bombe!” Auf den Befehl des Nutzers werden weitere Informationen bereitgestellt, wie Öffnungszeiten, Speisekarten, genauere Rezensionen, historische Informationen über die Restaurants, der Chef, die Gebäude, die Straße oder jede andere Art von Information. Das Computersystem kann auch Optionen aus sozialen Netzwerken bereitstellen.
-
Die 1–3 zeigen, dass die vorliegende Erfindung eine klare Sicht auf die reale Welt, wie zum Beispiel den Nachthimmel oder eine urbane Landschaft, erlaubt, während der Nutzer seine Hände und seinen Kopf frei bewegen kann, um die Sicht zu genießen und die Sichterweiterung steuern kann, indem er Gesten oder andere Kontrollmethoden benutzt. Das System kann mit Hilfe von Gesten, Sprachbefehlen oder jeden beliebigen Art von Befehlen gesteuert werden. Alternativ oder zusätzlich kann der Nutzer einige Befehle direkt auf dem Computersystem ausführen, ohne das Display des Computersystems zu benutzen. Das Computersystem kann einige oder sogar alle bereitgestellten Daten gespeichert haben.
-
Da das Computergerät ein kabelloses Datennetzwerk benutzt, kann es auch aktuelle oder zusätzliche Informationen von entfernten Servern und Diensten erhalten. Am Beispiel von sozialen Netzwerken kann der Nutzer im Zusammenhang mit seiner Sicht mit anderen kommunizieren. Nachdem er Polaris gesehen hat, könnte der Nutzer einem anderen eine Nachricht schicken wie ”Ich habe gerade Polaris gesehen, und er ist sehr klar heute Nacht.” In einem anderen Beispiel könnte der Nutzer eine Nachricht empfangen wie ”Lass uns bei Joe essen. Wir treffen uns um 8:00.”
-
In Bezug auf 4 ist die Brillensicht und das Verbesserungssystem detaillierter beschrieben. Wahrnehmungskomponenten erlauben eine Vielzahl verschiedener Inputs in das System 100. In einem Beispiel nutzt das System Trägheitssensoren 110 und Positionssensoren 112, um den Nutzer zu lokalisieren und die Richtung zu bestimmen, in die der Nutzer schaut. Die Trägheitssensoren können Beschleunigungsmesser, Gyroskope, Kompasse, Höhenmesser, etc. enthalten. Die Positionssensoren können ein Satelliten-Ortungssystem wie GPS (Global Positioning System) und andere Funk-Ortungssysteme wie WiFi-Sensoren, Mobilfunkturm-Ortungssensoren etc. enthalten.
-
Ein anderer Ansatz zur Positionsbestimmung ist die Nutzung der Kamera 114, um ein Bild des Nachthimmels aufzunehmen. Die Kamera kann von den Trägheits- und Positionssensoren oder, anstelle derer, von anderen Sensoren unterstützt werden. Die Kamera kann sichtbares Licht wahrnehmen, oder möglicherweise andere Teile des Spektrums, z. B. Infrarotlicht. Ein Computersystem zur Sichterkennung 116 kann dann das aufgenommene Bild nutzen, um die Position und Richtung des Nutzers zu bestimmen. Im dargestellten Beispiel sind all diese Wahrnehmungstechniken durch ein Sensorfusionssystem 118 kombiniert. Die beschriebenen Sensoren können jedoch auch unabhängig oder in anderer Kombination benutzt werden.
-
Das System hat auch eine astronomische Datenbank. Die Datenbank enthält Informationen über Himmelobjekte und Metadaten, möglicherweise mit Teleskopbildern, Zeichnungen und mythologischen Referenzen. Die Datenbank kann lokal gespeichert sein wie gezeigt, oder aus der Ferne über die Cloud abgerufen werden. Die Astronomie-Datenbank kann zum Rendern von Informationen auf dem Display genutzt werden wie oben beschrieben. Zusätzlich kann die Astronomie-Datenbank vom Computersystem zur Sichterkennung genutzt werden, um den Erkennungsprozess zu unterstützen. In einem Beispiel aligniert das Computer-Sichtsystem das Muster von Sternen in dem von der Kamera aufgenommen Bild mit Muster in der Datenbank. Für eine höhere Genauigkeit können mehrere Bilder aufgenommen und verglichen werden. Die übereinstimmenden Muster, die demselben Himmel entsprechen, können als Muster für die aktuelle Position des Nutzers ausgewählt werden. Das Computersystem zur Sichterkennung kann auch einen Kalender und eine Uhr nutzen, um die Gesamtzahl der Muster auf diejenigen zu begrenzen, die in einer bestimmten Nacht am Himmel zu sehen sind. Exakte Informationen über Tag und Uhrzeit können z. B. von einem Ortungssystem kommen, vom internen Speicher oder von einer entfernt liegenden Astronomie-Datenbank. Zudem kann es außer einer Astronomie-Datenbank andere Datenbanken geben, die Gastronomie-Informationen bereitstellen wie oben gezeigt, oder solche, die jede beliebige Information bereitstellen, die der Nutzer über einen Gegenstand, den er sieht, wünscht.
-
Das System kann eine Vielzahl verschiedener Wege erlauben, über die der Nutzer Steuerungseingaben ins System tätigen kann. In einem Beispiel kann die Kamera, die den Nachthimmel beobachtet, benutzt werden, um vom Nutzer gemachte Gesten zu erkennen. Wenn das ganze System nur an der Brille sitzt, reduziert der Gebrauch derselben Kamera Größe und Gewicht. Eine Brillenkamera, die in dieselbe Richtung schaut wie der Nutzer, kann auch Gesten des Nutzers beobachten, die dieser vor der Brille macht. Die Kamera 114 ist an ein Gestenerkennungssystem 122 gekoppelt, das die Gesten als Befehle an ein Benutzereingabesystem 124 gibt. Das Benutzereingabesystem kann auch andere Befehle empfangen. Die Befehle aus dem Benutzereingabesystem werden einem Renderingmodul 126 bereitgestellt, das den Betrieb des Systems steuert. Alternativ dazu, oder zusätzlich, können Schalter und Schieber (nicht gezeigt) im System angeboten werden, oder ein Mikrofon kann angeboten werden, um Sprachbefehle zu empfangen. Diese können auch zur Auswertung an das Benutzereingabesystem 124 und danach an das Renderingmodul gesendet werden.
-
Das Gesteneingabesystem kann für jede Funktion benutzt werden, die das System bietet. Das umfasst die Änderung des Modus und das Abrufen verschiedener Informationen über die gesehenen oder angezeigten Dinge. Es kann Befehle für verschiedene Typen der Erweiterung geben, z. B. kann man Objekte größer erscheinen lassen, als sie wirklich sind, um sie leichter zu sehen, oder Objekte zeichnen lassen, die zu schwach sind, um mit dem bloßen Auge gesehen zu werden.
-
In einer Ausführungsform kann es Befehle geben, um eine Zoom-Funktion zu steuern. Ein Nutzer kann auf ein bestimmtes Objekt deuten, z. B. den Planeten Mars, das weit entfernt oder schwer zu beobachten ist. Dieses Objekt ist in der Astronomie-Datenbank identifiziert, und ein gespeichertes Bild vom Mars wird von der Datenbank empfangen und als eine Überlappung auf das transparente Display projiziert. Der Nutzer, der nun das Objekt über seiner Sicht des realen Objekts sieht, kann dann in das projizierte Bild hinein- oder herauszoomen. Weil es eine große Auswahl an öffentlich zugänglichen Bildern vom Mars gibt, kann fast jede Detailstufe geboten werden, wenn der Nutzer in das Objekt hineinzoomt. Das Bild kann auch mit Informationen über die Oberfläche, die Umgebung, die Größe, mit historischen Notizen und jeder anderen Information über den Mars oder ein anderes gewähltes Objekt versehen sein. Dieselbe Zoomfunktion kann auch für eine städtische Umgebung bereitgestellt werden. Ein gespeichertes Bild von Joes Restaurant kann vom Speicher abgerufen werden und auf das transparente Display projiziert werden. Der Nutzer kann hereinzoomen und mit Hilfe weiterer gespeicherter Bilder sogar das Innere des Restaurants, einige Gerichte, gesellschaftliche Ereignisse aus der Vergangenheit etc. sehen.
-
Das Renderingmodul 126 bearbeitet die Daten vom Wahrnehmungs-Untersystem 118, vom Eingabesystem 124 und von der Datenbank 120. Es generiert eine virtuelle Ansicht des Nachthimmels für den Nutzer. Das Renderingmodul kann Bilddaten über die Ansicht des Nachthimmels auch direkt von der Kamera erhalten, die Bilddaten erweitern und sie dann dem Nutzer präsentieren. Als weitere Alternative kann das Renderingmodul Daten von der Datenbank über die direkte Sicht des Nutzers legen. Die Art der Darstellung kann in den Werkseinstellungen festgelegt oder vom Nutzer ausgewählt werden. Die Ansicht, ob nun eine gerenderte Ansicht, eine erweiterte Ansicht oder eine Überlagerung der direkten Sicht wird dann auf ein Brillendisplay geschickt. Während ein Brillendisplay 128 gezeigt wird, kann jedes beliebige transparente Display benutzt werden, z. B. ein Helmvisier, oder ein Smartphone oder Tablet mit einem transparenten Display. Das transparente Display kann in Form einer Brille oder als größeres Feld, das aus weiterer Entfernung betrachtet wird, gestaltet sein. Ein transparentes Display kann durch optische Projektionstechniken oder eine Displaytechnologie wie elektrochrome und OLED (Organic Light Emitting Diode) entstehen, die auf einem transparenten Feld gebildet werden können.
-
5 ist ein beispielhaftes Flussdiagramm für einige der oben beschriebenen Abläufe. In 5 beginnt der Prozess mit einem Nutzer, der zu einem Ort geht und das System aktiviert. Das System bestimmt dann die eigene Position bei 210. Dieses System umfasst das mobile transparente Display. Die Position des Systems kann auf verschiedene Arten und unter Nutzung verschiedener Arten von Ausrüstung bestimmt werden. Dies kann die Nutzung globaler oder lokaler Funkortungssysteme von Satelliten, Mobilfunknetzwerken, Datennetzwerken und anderen lokalen Ortungssystemen beinhalten. Der Nutzer kann seine Position auch angeben. Als weitere Alternative kann die Kamera des Systems genutzt werden, um ein Bild von Landmarken aufzunehmen, die dann mit einer Landmarkenbibliothek verglichen werden, um die Position des Systems zu bestimmen.
-
Das System bestimmt als nächstes die Richtung für das Display. Das kann mit Hilfe eines Kompass geschehen, der an das Display angeheftet ist, oder unter Nutzung eines Trägheits-Referenzsystems. Nach der Richtungsbestimmung kann beispielsweise ein Beschleunigungsmesser wahrnehmen, dass der Nutzer seinen Kopf nach rechts bewegt hat. Die Richtung kann dann basierend auf dieser Information nach rechts angepasst werden. Ein Beschleunigungsmesser kann auch benutzt werden, um zu bemerken, dass der Nutzer seinen Kopf nach oben bewegt hat, oder auch um zu bemerken, dass der Nutzer seinen Kopf zur einen oder anderen Seite geneigt hat. Die übergelagerte Information kann dann schnell angepasst werden, um die Bewegung des Nutzers zu kompensieren. Dementsprechend kann ein Drei-Achsen-System, drehen, neigen und rollen, in einer solchen Anwendung sinnvoll sein. Die Kamera kann auch benutzt werden, um die Richtung zu bestimmen. Wenn die Position des Nutzers beispielsweise bekannt ist, und die Kamera Joes Restaurant beobachtet, das rechts neben Sams Restaurant liegt, kann das System mit Hilfe eines Referenzbildes daraus sowohl die Richtung ableiten, in die der Nutzer schaut, als auch dessen Position.
-
Besser beschrieben an einer Ausführungsform: Die Richtung des Displays kann durch die Aufnahme eines Bildes der Sicht des Nutzers bestimmt werden. Dieses Bild kann dann lokal oder an einem entfernten Ort mit Referenzbildern der bestimmten Position verglichen werden. Die Referenzbilddatenbank kann mehrere Bilder haben, die verschiedenen Orten entsprechen, wobei jedes Referenzbild mit einer anderen Richtung verbunden ist. Im Fall des Nachthimmels erscheint dieser Nutzern, die sich innerhalb von ein paar hundert Kilometern voneinander entfernt befinden, gleich, weil die Sterne sehr weit entfernt sind. Wenn ein Betrachter den Himmel von links nach rechts oder von oben nach unten genau ansieht, verändert sich jedoch die Ansicht des Himmels. Für eine Straßenansicht, wie in 3, kann die Ansicht sich ändern, wenn der Betrachter sich zehn oder zwanzig Meter bewegt. Die Ansicht ändert sich auch, wenn der Betrachter nach links oder rechts schaut. Jedoch sind diese Veränderungen nicht so groß, und die Veränderungen durch Hoch- oder Herunterschauen sind nicht so interessant unter dem Aspekt, beispielsweise verschiedene Restaurants auf Straßenebene zu identifizieren. Sie können für andere Anwendungen interessant sein, z. B. für die Identifizierung von Skiwegen oder Bergen.
-
Mit Hilfe der Vergleichswerte wählt das System ein Referenzbild aus, das dem Bild der Kamera entspricht. Dies kann mit Hilfe einer Vielzahl existierender Tools zum Bildvergleich geschehen. Dieses Bild ist, wie oben erwähnt, mit einer bestimmten Richtung verknüpft, sodass die Richtung, die mit dem ausgewählten Referenzbild verknüpft ist, dann zur Bestimmung der Richtung des Displays benutzt werden kann.
-
In 214 werden die bestimmte Position und Richtung benutzt, um Informationen über die Umgebung des Displays einzuholen. Die 3 und 4 zeigen Beispiele für die Arten von Information, die eingeholt werden können. Es kann jedoch auch jede Art von Information bereitgestellt werden, die der Nutzer interessant finden könnte. Weil das System weiß, was der Nutzer durch das Display sieht, kann die gezeigte Information selektiert werden, sodass sie für das, was der Nutzer sieht, relevant ist. Andere Informationen wie E-Mails, Nachrichten, Börsenberichte, und News können auch gezeigt werden, aber diese sind nicht notwendigerweise an das gebunden, was der Nutzer sieht. Diese Verbindung zwischen der Information auf dem Display und der Ansicht durch das Display erweitert die Wahrnehmung des Nutzers der realen Welt.
-
In 216 wird die eingeholte Information auf dem transparenten Display über eine reale Szene gelegt. Wie oben erklärt und in den 2 und 3 gezeigt, wird die Ansicht einer realen Szene durch das transparente Display mit Hilfe zusätzlicher Information auf dem transparenten Display verbessert. Die Überlagerung kann annähernd oder allgemein sein. Im Beispiel von 3 müssen die Restaurantkritiken nicht unbedingt genau auf dem Display erscheinen. Jedoch sind im Beispiel von 3 die Linien, die die Sterne einer Konstellation miteinander verbinden, und die Namen der Sterne nützlicher, wenn sie nahe an den Positionen dieser Dinge stehen, wie der Nutzer sie sieht.
-
In einer Ausführungsform kann die Informationsüberlagerung in der Ansicht durch das Display mit Hilfe der Kamera registriert werden. Die Kamera ist in der Richtung der Ansicht auf dem transparenten Display ausgerichtet. Bei einem Smartphone oder Tablet wird dies Rückkamera genannt. Bei einem Brillenhelm wird dies Frontkamera genannt. Das Bild kann von einem Computersystem oder einem entfernten Dienst genutzt werden, um Referenzpunkte in der Ansicht zu bestimmen. Die Referenzpunkte können sich auf die bekannte Objekte in der Ansicht und die sie betreffenden Informationen beziehen. Die übergelagerte Information kann dann, wenn gewünscht, unter Berücksichtigung der Referenzpunkte genau positioniert werden Die Referenzpunkte können dem Bild auch Skalierung und Entfernung bereitstellen, sodass die relative Distanz zwischen Nutzer und Objekt bestimmt werden kann. Mit Hilfe dieser Information kann die Skalierung der übergelagerten Information auch angepasst werden.
-
In 218 steuert der Nutzer die Erfahrung mit Gesten. Die Kamera beobachtet die Gesten und interpretiert diese als Befehle zur Steuerung der Informationspräsentation auf dem transparenten Display. Eine große Bandbreite verschiedener Befehle kann benutzt werden, wie oben vorgeschlagen, und sie können gemeinsam mit Sprachbefehlen und anderen Teilen der Eingabe-/Ausgabe-Schnittstelle des Computersystems benutzt werden.
-
6 ist ein Blockdiagramm einer Computerumgebung, die die oben diskutierten Abläufe unterstützen kann. Die Module und Systeme können in einer Vielzahl verschiedener Hardwarearchitekturen implementiert sein und Faktoren bilden wie der in 7 gezeigte. Eingabe- und Ausgabesystem sind auf der rechten Seite der Figur gezeigt, und Computersysteme sind innerhalb der gepunkteten Linie gezeigt; die jeweilige physische Konfiguration der Komponenten kann angepasst werden, um verschiedenen Ausführungen gerecht zu werden.
-
Das Befehlsausführungsmodul 601 umfasst eine zentrale Prozessoreinheit, um Befehle zu speichern und auszuführen, und um Aufgaben unter anderen gezeigten Modulen und Systemen zu verteilen. Es kann einen Anleitungsblock, einen Cache-Speicher zur Lagerung von Zwischen- und Endergebnissen und einen Massenspeicher zur Lagerung von Anwendungen und Betriebssystemen umfassen. Das Befehlsausführungsmodul kann auch als zentrale Koordination und Aufgabenbesetzungseinheit für das System dienen.
-
Das Bildschirmrendermodul 621 zieht Objekte auf das transparente Display, damit der Nutzer sie sehen kann. Es kann angepasst werden, um die Daten vom Überlagerungserkennungsmodul 603 (weiter unten beschrieben) zu empfangen, und die erweiterte Information und beliebige andere Objekte auf den Brillenbildschirmen oder einem beliebigen anderen Bildschirm zu rendern. Demzufolge würden die Daten vom Überlagerungserkennungsmodul 603 die Position und Bewegungen der eingeholten Information bestimmen, und das Bildschirmrendermodul würde die Information und damit verbundene Objekte und Umgebungen entsprechend auf dem Bildschirm abbilden.
-
Das Objekt- und Gestenerkennungssystem 622 kann angepasst werden, um Arm- und Handgesten des Nutzers zu erkennen und zu verfolgen. Ein solches Modul kann benutzt werden, um Hände, Finger, Fingergesten, Handbewegungen und die Lokalisierung der Hände relativ zum Display und zu beobachteten Objekten in der realen Szene zu bestimmen. Zum Beispiel kann das Objekt- und Gestenerkennungssystem erkennen, dass ein Nutzer eine Körpergeste gemacht hat, um ein reales oder abgebildetes Objekt auszuwählen, oder dass der Nutzer eine Körpergeste gemacht hat, um auf ein abgebildetes Objekt zu reagieren. Das Objekt- und Gestenerkennungssystem kann an eine Kamera oder ein Kamerafeld, ein Mikrofon oder ein Mikrofonfeld, einen Touchscreen oder eine Touch-Oberfläche, oder ein Zeigegerät, oder eine Kombination dieser Dinge gekoppelt sein, um Gesten und Befehle des Nutzers zu erkennen.
-
Das Modul ”Relevante Richtung” 623 kann mit Kameras, Trägheitssensoren oder anderen Sensoren ausgestattet sein, die die Position und Richtung des transparenten Displays zu verfolgen, z. B. die Verfolgend der Bewegung des Kopfes des Nutzers. Die Information aus dem Modul ”Relevante Richtung” kann dem Überlagerungserkennungsmodul 603 bereitgestellt werden, um sicherzustellen, dass die Informationsanzeige angepasst ist, um Bewegungen des Kopfes des Nutzers und Veränderungen in der realen Szene zu kompensieren.
-
Das Positionsmodul 625 kann Umgebungssensoren, Kompasse, GPS(Global Positioning System)-Empfänger, Personal Area-Netzwerke und andere Arten von Sensoren gemeinsam mit Triangulation und anderen Techniken benutzen, um die Position des transparenten Displays und der ihm zugeordneten Geräte zu bestimmen. Sobald eine Position bestimmt ist, kann es benutzt werden, um relevante Informationen einzuholen.
-
Das Sensorfusionsmodul 604 ist angepasst, um Input von den Sensoren 623 und 625 zu empfangen, und diesen zu interpretieren, um Position, Richtung und jeden anderen gewünschten Aspekt der Position und Richtung des Systems zu bestimmen. Der Fusionssensor kann eine Ausgangsposition und -richtung erstellen und dann basierend auf den Daten, die er von Trägheitssensoren für Drehen, Neigen und Rollen des Displays empfängt, Anpassungen vornehmen. Diese Information kann durch ein Kommunikations-Bus 606 an das Überlagerungserkennungsmodul 603 oder Ähnliches gegeben werden, um die Information, die dem Bildschirmrendermodul 621 bereitgestellt wird, anzupassen.
-
Das Gesten-zu-Bildschirm-Synchronisationsmodul 608 empfängt die Gesteinsformation vom Objekt-und-Gesten-Erkennungssystem 622 und, in einigen Fällen, Sprachbefehle, um zu bestimmen, ob Gesten beobachtet wurden. Durch die Benutzung des Überlagerungserkennungsmoduls 603 werden die Befehle dann auf Objekte in der realen Szene oder auf Informationen bezogen, die vom System bereitgestellt werden, um die Geste und ihre Relation zu anderen vom Nutzer erfahrenen Objekten zu interpretieren. So verbindet dieses Modul z. B. einen Auswahlbefehl mit einem bestimmten Objekt in der realen Szene, um einen Befehl zu erstellen. Es verursacht dann z. B. die Nutzung einer Gestenbibliothek, um die Gesten zu interpretieren und als Befehle für das Befehlsausführungsmodul 601 bereitzustellen.
-
Die Informationsdatenbank 607, die externe Datenbanken oder Informationsdienste beinhalten oder mit solchen verbunden sein kann, ist durch das Kommunikations-Bus 606 an das Informationseinholungsmodul 602 gekoppelt, um Daten bereitzustellen, mit denen die reale Szene erweitert werden kann. Die Daten können von jedem beliebigen, oben beschriebenen Typ sein.
-
Das Überlagerungserkennungsmodul 603 (wie oben beschrieben) empfängt die Information vom Informationseinholungsmodul 602, aligniert es in die reale Szene, die von den Kameras beobachtet wird, und stellt die skalierte und registrierte Information dem Bildschirmrendermodul 621 zur Verfügung.
-
Das Informationseinholungsmodul 602 benutzt die bestimmte Positions- und Richtungsinformation, um Informationen von der Informationsdatenbank 607 einzuholen und dem Nutzer zur Verfügung zu stellen. Die Art der Information kann vom Nutzer vorsortiert sein, oder eine Anwendung sein, die vom Nutzer verändert wurde. Alternativ kann das Informationseinholungsmodul basierend auf der bestimmten Position und relevanten Richtung des Nutzers Information bestimmen, die es zur Verfügung stellen will. Für einen Nachthimmel können astronomische Informationen erhalten werden, während für eine nächtliche Straße in einer Stadt Informationen über die Gebäude erhalten werden können. Der Nutzer kann auch vorgegebene Informationen auswählen oder durch die Nutzung einer Anwendung oder Auswahl, die für einen bestimmten Informationstyp konfiguriert sind, das System starten.
-
Das Modul ”3-D-Bild-Interaktion und Effekte” 605 verfolgt die Interaktion des Nutzers in 3-D mit der realen Szene und generiert eine 3-D-Perspektive für die eingeholte Information. Zum Beispiel kann die Information über ein Restaurant in einer Entfernung erscheinen, die der Entfernung des Restaurants entspricht. Information über ein Objekt im Vordergrund kann vom Modul ”3-D-Bild-Interaktion und Effekte” 605 auf den Vordergrund des Displays gerendert werden. Für ein Brillenglasdisplay können 3-D-Effekte einfach und effektiv gerendert werden.
-
7 ist ein Blockdiagramm eines Computersystems, wie z. B. Personal Computer, tragbares Spielegerät, Smartphone oder Tablet. Eingabe- und Ausgabesystem sind auf der rechten Seite der Figur gezeigt, und Computersysteme sind innerhalb der gepunkteten Linie gezeigt; die jeweilige physische Konfiguration der Komponenten kann angepasst werden, um verschiedenen Ausführungen gerecht zu werden. Das Computersystem 700 umfasst ein Bus oder ein anderes Kommunikationsmittel 701 um Informationen zu kommunizieren, und einen Prozessor, wie z. B. einen Mikroprozessor 702, der mit dem Bus 701 gekoppelt ist, um Informationen zu verarbeiten. Das Computersystem kann um einen Grafikprozessor 703 erweitert sein, der auf das Rendern von Graphiken durch parallele Leitungen spezialisiert ist, und einen physischen Prozessor 705, um physische Interaktionen zu berechnen, und so die Präsentation von Informationen und Effekten zu verbessern. Diese Prozessoren können in den zentralen Prozessor 702 eingebaut sein oder als ein oder mehrere separate Prozessoren vorliegen.
-
Das Computersystem 700 umfasst weiterhin einen Hauptspeicher 704, sowie einen Random-Access-Speicher (RAM) oder ein anderes dynamisches Datenspeichergerät, das an das Bus 701 gekoppelt ist, um Informationen und Instruktionen zu speichern, die vom Prozessor 702 ausgeführt werden sollen. Der Hauptspeicher kann auch zum Speichern von temporären Variablen oder anderen Zwischeninformationen während der Ausführung der Anweisungen durch die Prozessoren verwendet werden. Das Computersystem kann auch einen nicht-unsteten Speicher 706, wie einen Read Only-Speicher (ROM), oder ein anderes statisches Speichergerät, das mit dem Bus verbunden ist, umfassen, um statische Informationen und Anweisungen für den Prozessor zu speichern.
-
Ein Massenspeicher 707, wie z. B. eine magnetische oder Optische Diskette oder eine Halbleiter-Sensor-Anordnung und das ihr zugeordnete Laufwerk, kann auch an das Bus des Computersystems gekoppelt sein, um Informationen und Anweisungen abzulegen. Das Computersystem kann auch über das Bus an ein Gerät mit transparentem Display oder einen Monitor 721 gekoppelt werden, wie ein Projektor, Liquid Crystal Display (LCD) oder Organic Light Emitting Diode (OLED), um einem Nutzer Informationen zur Verfügung zu stellen. Grafische und textförmige Anweisungen des Installationsstatus, Betriebsstatus und andere Informationen können dem Nutzer auf dem Anzeigegerät präsentiert werden, zusätzlich zu den verschiedenen Ansichten und Nutzer-Interaktionen, die oben beschrieben wurden.
-
Üblicherweise werden Benutzereingabegeräte 722, wie eine Tastatur mit Buchstaben und anderen Tasten, an das Bus gekoppelt, um Informationen und Befehle an den Prozessor zu leiten. Weitere Benutzereingabegeräte können ein Cursorsteuergerät umfassen wie Maus, Trackball, Touchpad oder Cursorpfeiltasten, und können mit dem Bus gekoppelt sein, um Richtungsinformationen und Befehle dem Prozessor zu übermitteln und die Cursorbewegung auf dem Display 721 zu steuern.
-
Kamera- und Mikrofonfelder 723 werden mit dem Bus gekoppelt, um Gesten zu beobachten, Audio und Video aufzuzeichnen und visuelle und audielle Befehle zu erhalten, wie oben beschrieben.
-
Kommunikationsschnittstellen 725 werden ebenfalls an das Bus 701 gekoppelt. Die Kommunikationsschnittstellen können ein Modem, eine Netzwerk-Schnittstellen-Karte oder andere bekannte Schnittstellengeräte umfassen, wie jene, die zur Kopplung ans Ethernet benutzt werden, Tokens oder andere Arten der physischen Anhänge mit oder ohne Kabel, die eine Kommunikationsverbindung zur Unterstützung eines lokalen oder großflächigen Netzwerks (LAN oder WAN) bieten sollen. Auf diese Art kann das Computersystem auch über die Netzwerkinfrastruktur oder eine periphere Anheftungsschnittstelle, einschließlich des Intranets und des Internets, an eine Vielzahl peripherer Geräte, andere Klienten, Server und Anzeigegeräte gekoppelt sein.
-
Weiterhin kann ein geringer oder mehr ausgestattetes System als das im oben beschriebenen Beispiel für bestimmte Implementationen bevorzugt werden. Deshalb variiert die Konfiguration der exemplarischen Systeme 600 und 700 je nach Implementation, abhängig von vielen Faktoren, wie Preisbeschränkung, Leistungsanforderungen, technischen Fortschritten oder anderen Umständen.
-
Ausführungsformen können als eine Form oder eine Kombination der Folgenden implementiert sein: ein oder mehrere Mikrochips oder integrierte Schaltungen, die mittels eines Motherboards verbunden sind, fest verdrahtete Logik, von einem Speichergerät gespeicherte und von einem Mikroprozessor ausgeführte Software, Firmware, ein anwendungsspezifischer integrierter Schaltkreis (application specific integrated circuit, ASIC) und/oder ein Field Programmable Gate Array (FPGA). Der Begriff ”Logik” kann beispielsweise Software oder Hardware und/oder Kombinationen von Software und Hardware beinhalten.
-
Ausführungsformen können beispielsweise als ein Computerprogramm-Produkt bereitgestellt sein, das ein oder mehr maschinenlesbare Medien mit darauf gespeicherten maschinenausführbaren Befehlen beinhalten kann, die, wenn sie von einer oder mehr Maschinen, wie z. B. einem Computer, einem Netzwerk von Computern oder anderen elektronischen Geräten ausgeführt werden, dazu führen können, dass die eine oder die mehreren Maschinen Operationen in Übereinstimmung mit Ausführungsformen der vorliegenden Erfindung ausführen. Ein maschinenlesbares Medium kann beinhalten, ist aber nicht beschränkt auf, Disketten, optische Disks, CD-ROMs (Compact Disc-Read Only Memories) und magnetooptische Disks, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (Erasable Programmable Read Only Memories), EEPROMs (Electrically Erasable Programmable Read Only Memories), magnetische oder optische Karten, Flash-Memory oder andere Art von Medien/maschinenlesbarem Medium, das zum Speichern maschinenausführbarer Befehle geeignet ist.
-
Beispielsweise können erfindungsgemäße Ausführungsformen als ein Computerprogramm heruntergeladen werden, das von einem entfernten Computer (z. B. einem Server) an einen anfragenden Computer (z. B. einem Client) mittels Datensignalen übertragen werden kann, die in einem Trägersignal oder anderem Ausbreitungsmedium über einen Kommunikationslink (z. B. ein Modem oder eine Netzwerkverbindung) ausgeführt werden. Entsprechend kann ein maschinenlesbares Medium eine solche Trägerwelle beinhalten, muss aber nicht.
-
Bezugnahmen auf ”eine Ausführungsform”, ”bestimmte Ausführungsformen”, ”verschiedene Ausführungsformen” usw. haben die Bedeutung, dass die derart beschriebene Ausführungsform(en) der Erfindung bestimmte Merkmale, Strukturen oder Eigenschaften umfassen können, aber dass nicht unbedingt jede Ausführungsform die besonderen Merkmale, Strukturen oder Eigenschaften umfassen muss. Weiter können einige Ausführungsformen einige, alle oder keine der Merkmale aufweisen, die für andere Ausführungsformen beschrieben sind.
-
In der folgenden Beschreibung und den Ansprüchen kann der Begriff ”gekoppelt” gemeinsam mit seinen Ableitungen verwendet sein. ”Gekoppelt” wird verwendet, um anzuzeigen, dass zwei oder mehr Elemente zusammenarbeiten oder interagieren, jedoch nicht unbedingt durch physische oder elektrische Komponenten dazwischen verbunden sind.
-
Wie in den Ansprüchen verwendet, zeigt die Verwendung der Ordnungsadjektive ”erste”, ”zweite”, ”dritte” usw. zur Beschreibung eines allgemeinen Elements nur an, dass unterschiedliche Fälle von ähnlichen Elementen bezeichnet werden, und dass sie nicht dazu beabsichtigt sind, anzudeuten, dass die so beschriebenen Elemente in einer gegebenen Sequenz, entweder zeitlich, räumlich, in der Rangfolge oder in irgendeiner anderen Weise sein müssen, es sei denn, es ist anderweitig angegeben.
-
Die folgenden Beispiele beziehen sich auf weitere Ausführungsformen. Genaue Angaben in den Beispielen können überall in einer oder mehreren Ausführungsformen verwendet werden. In einer Ausführungsform beinhaltet eine Methode die Bestimmung der Position eines mobilen transparenten Displays, die Bestimmung der Richtung des Displays, das Einholen von Information zur Umgebung des Displays mit Hilfe der bestimmten Position und Richtung, und die Überlagerung der eingeholten Informationen über eine Ansicht auf dem transparenten Display.
-
Weitere Ausführungsformen beinhalten die Methode, wobei eine Richtungsbestimmung die Bestimmung der Richtung, in die das Display ausgerichtet ist, beinhaltet, und daraus Rückschlüsse auf das zieht, was durch das transparente Display gesehen werden kann, und wobei eine Richtungsbestimmung die Nutzung eines Kompass beinhaltet, und wobei eine Richtungsbestimmung die Nutzung von Beschleunigungsmessern beinhaltet, und wobei eine Richtungsbestimmung die Nutzung einer Kamera beinhaltet, die in die Richtung der Ansicht auf dem transparenten Display ausgerichtet ist, und wobei eine Richtungsbestimmung die Bestimmung einer Neigung beinhaltet.
-
Weitere Ausführungsformen beinhalten die oben genannten Methoden, wobei eine Richtungsbestimmung den Vergleich eines Bildes von der Kamera mit einem Referenzbild an der bestimmten Position beinhaltet, wobei jedes Bild mit einer Richtung verbunden ist, und ein Referenzbild entsprechend dem Kamerabild ausgewählt wird, und die mit dem Referenzbild verbundene Richtung als bestimmte Richtung benutzt wird.
-
Weitere Ausführungsformen beinhalten die oben genannten Methoden, wobei die Überlagerung der Information die Nutzung einer Kamera beinhaltet, die in der Richtung der Ansicht auf dem transparenten Display ausgerichtet ist, um Referenzpunkte in der Ansicht zu bestimmen und die übergelagerte Information unter Berücksichtigung zu den Referenzpunkten zu positionieren, und wobei die Referenzpunkte als Sterne identifiziert werden und die Information eine den identifizierten Stern betreffende ist.
-
Weitere Ausführungsformen beinhalten die oben genannten Methoden und beinhalten auch die Beobachtung von Nutzergesten und die Interpretation der beobachteten Gesten als Befehle, um die Präsentation von Information auf dem transparenten Display zu steuern.
-
In zusätzlichen Ausführungsformen hat ein maschinenlesbares Medium Anweisungen gespeichert, die, wenn sie von der Maschine ausgeführt werden, diese dazu bringen, den Betrieb einer oder mehrerer der oben genannten Methoden auszuführen.
-
In einer weiteren Ausführungsform beinhaltet ein Apparat ein transparentes Display, ein Positionierungssystem, um die Position des Displays zu bestimmen, ein Orientierungssystem, um die Richtung des Displays zu bestimmen, und ein Computersystem, um die bestimmte Position und Richtung zu empfangen, um Informationen über Objekte einzuholen, die ein Nutzer durch das transparente Display sieht, und um Informationen auf das transparente Display über die Sicht des Nutzers zu projizieren.
-
Weitere Ausführungsformen beinhalten eine kabellose Kommunikationsschnittstelle, die an das Computersystem gekoppelt ist, um Richtung und Position an einen entfernten Server zu schicken und Informationen über Objekte vom entfernten Server zu erhalten. Zudem kann eine Kamera vorhanden sein, um reale Objekte in der Sicht des Displays zu beobachten, wobei das Computersystem Referenzpunkte an den von der Kamera beobachteten Objekten bestimmt, und die übergelagerte Information unter Berücksichtigung der Referenzpunkte positioniert. Die Kamera kann in die Richtung der Sicht des Nutzers durch das transparente Display ausgerichtet sein, um Nutzergesten zu beobachten, während das Computersystem die beobachteten Nutzergesten als Befehle interpretiert, um die Präsentation von Informationen auf dem transparenten Display zu steuern. Das transparente Display kann auf dem Kopf getragen werden und die Form einer Brille haben, die Informationen über die Brillengläser in die Sicht des Nutzers projiziert.
-
Die Zeichnungen und die vorstehende Beschreibung führen Beispiele von Ausführungsformen an. Für Fachleute ist es selbstverständlich, dass ein oder mehrere der beschriebenen Elemente sehr wohl zu einem einzelnen funktionalen Element kombiniert werden können. Alternativ können bestimmte Elemente in mehrere funktionale Elemente geteilt werden. Elemente aus einer Ausführungsform können einer weiteren Ausführungsform hinzugefügt werden. Beispielsweise können hierin beschriebene Reihenfolgen von Prozessen verändert werden und sind nicht auf die hierin beschriebene Art und Weise beschränkt. Außerdem müssen die Handlungen eines jeden Ablaufdiagramms weder in der gezeigten Reihenfolge implementiert sein, noch müssen alle Vorgänge unbedingt ausgeführt werden. Ebenfalls können diejenigen Vorgänge, die nicht von anderen Vorgängen abhängen, parallel mit den anderen Vorgängen ausgeführt werden. Der Umfang von Ausführungsformen wird durch diese speziellen Beispiele keineswegs begrenzt. Zahlreiche Variationen, entweder ausdrücklich in der Beschreibung gegeben oder nicht, wie z. B. Unterschiede in Struktur, Abmessung und Verwendung von Material, sind möglich. Der Umfang der Ausführungsformen ist zumindest so breit, wie von den folgenden Ansprüchen angegeben.
