DE202015009181U1

DE202015009181U1 - Überblendung zwischen Straßenansicht und Erdansicht

Info

Publication number: DE202015009181U1
Application number: DE202015009181.4U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2014-07-17
Filing date: 2015-07-08
Publication date: 2016-11-10
Anticipated expiration: 2025-07-09
Also published as: EP3170151A1; EP3170151B1; WO2016010784A1; US9418472B2; US20160019713A1; CN106462997B; CN106462997A; US9898857B2; US20160321837A1

Abstract

System, das Folgendes umfasst: ein Speicher; ein oder mehrere Computergeräte, worin jedes davon einen oder mehrere Prozessoren aufweisen, worin das eine oder die mehreren Computergeräte mit dem Speicher gekoppelt sind; worin ein oder mehrere Computergeräte konfiguriert sind, um: eine Vielzahl von Fragmenten für ein dreidimensionales (3D) Modell eines geographischen Standortes zu bestimmen, worin jedes Fragment der Vielzahl von Fragmenten einem Pixel eines gemischten Bildes entspricht und jedes Fragment eine Fragmentfarbe aus dem 3D-Modell hat; die geographisch-räumlichen Lokalisierungsdaten für jedes Fragment feststellen, basierend zumindest teilweise auf Breitengradinformationen, Längengradinformationen und Höheinformationen, die mit dem 3D-Modell verbunden sind; für jedes Fragment der Vielzahl von Fragmenten, eine Pixelfarbe und ein Bild zu identifizieren, basierend zumindest teilweise auf den geographisch-räumlichen Lokalisierungsdaten; ein Mischungsverhältnis zu bestimmen, das zumindest auf einer Position und einer Ausrichtung einer virtuellen Kamera basiert; und das gemischte Bild generiert, basierend zumindest auf dem Mischungsverhältnis, der Pixelfarbe und der Fragmentfarbe.

Description

VERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Patentanmeldung verweist auf den amerikanischen Patentantrag, registriert unter No. 14/333,678 , zur Anmeldung vorgelegt am 17. Juli 2014, dessen Offenbarung durch Bezugnahme hierin aufgenommen ist.
HINTERGRUND
Kartenapplikationen können Benutzern Bilder auf Straßenebene und Luftbilder von verschiedenen geografischen Regionen anzeigen. Zusätzlich zum Betrachten dieser Bilder können die Benutzer zwischen einem Bild auf Straßenebene und einem Luftbild (oder umgekehrt) wechseln oder eine Reihe von verbundenen oder getrennten Bilder auf Straßenebene anschauen. Allerdings machen es Kartenapplikationen den Benutzern schwierig, ein Gefühl des räumlichen Kontextes und der Richtung beim Anschauen der Bildern auf Straßenebene zu bewahren. Wenn beispielsweise der Reihe nach zwei oder mehrere Bilder auf Straßenebene angezeigt werden, die durch verhältnismäßig großen Abstände getrennt sind, kann es die Benutzer in Bezug auf das räumliche Bewusstsein der geographischen Region desorientieren. KURZFASSUNG
Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind dabei, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen. In einer Position umfasst und ermittelt das Verfahren zur Herstellung eines gemischten Bildes, mit dem einen oder der mehreren Computergeräte, eine Vielzahl von Fragmenten für ein dreidimensionales (3D) Modell eines geographischen Ortes, worin jedes Fragment der Vielzahl von Fragmenten einem Pixel des gemischten Bildes entspricht und jedes Fragment eine Fragmentfarbe aus dem 3D-Modell hat. Ferner umfasst das Verfahren das Ermitteln mit dem einen oder der mehreren Computergeräte, von weltraumgestützte Lokalisierungsdaten für jedes Fragment, basierend zumindest teilweise auf Breitengradinformationen, Längengradinformationen und Höheinformationen, die mit dem 3D-Modell verbunden sind, und für jedes Fragment der Vielzahl von Fragmenten, das Identifizieren einer Pixelfarbe und eines Bildes durch das eine oder die mehreren Computergeräte, und zwar basierend zumindest teilweise auf weltraumgestützten Daten. Darüber hinaus umfasst das Verfahren das Ermitteln, durch das eine oder die mehreren Computergeräte, eines Mischungsverhältnisses, das auf mindestens eine Position und eine Ausrichtung einer virtuellen Kamera basiert, und das Generieren, durch das eine oder die mehreren Computergeräte eines gemischten Bildes basierend auf zumindest dem Mischungsverhältnis, der Pixelfarbe und der Fragmentfarbe.
Das Verfahren basiert auf technischen Überlegungen, die das Ziel haben, die technische Aufgabe der Navigation mit der Kartenapplikation für einen Benutzer zu erleichtern, und zwar durch die Verbesserung des räumlichen Bewusstseins für den Benutzer in der Kartenapplikation. Das Verfahren erreicht dieses Ziel indem es einen technischen Weg zur Reduzierung der Farbenänderungen eines Objektes oder mehrerer Objekten, die von der Kartenapplikation angezeigt werden, liefert, wenn die Benutzeransicht in der Applikation dieses einen Objektes oder mehrerer dieser Objekte sich hin und her zwischen Straßenebene und Luftebene bewegen.
In einer anderen Position umfasst ein System einen Speicher und ein oder mehrere Computergeräte, wobei jedes der Computergeräte einen oder mehrere Prozessoren hat und wobei das eine oder die mehreren Computergeräte mit dem Speicher gekoppelt sind. Das eine Computergerät oder die mehreren Computergeräte sind so konfiguriert, um eine Vielzahl von Fragmenten für ein dreidimensionales (3D) Modell für einen geographischen Standort festzustellen. Jedes Fragment der Vielzahl von Fragmenten entspricht einem Pixel des gemischten Bildes und jedes Fragment hat eine Fragmentfarbe vom 3D Modell. Ferner ist das ein Computergerät beziehungsweise sind die mehreren Computergeräte so konfiguriert, dass sie die weltraumgestützten Lokalisierungsdaten für jedes Fragment feststellen, basierend zumindest teilweise auf Breitengradinformationen, Längengradinformationen und Höheinformationen in Zusammenhang mit dem 3D Modell. Für jedes Fragment der Vielzahl von Fragmenten ist das eine Computergerät beziehungsweise sind die mehreren Computergeräte so konfiguriert, dass sie eine Pixelfarbe und ein Bild identifizieren, basierend teilweise zumindest auf weltraumgestützten Lokalisierungsdaten, ein Mischungsverhältnis ermitteln, basierend teilweise zumindest auf eine Position und eine Ausrichtung einer virtuellen Kamera, und ein gemischtes Bild generieren, basierend mindestens auf dem Mischungsverhältnis, der Pixelfarbe und der Fragmentfarbe.
Das Verfahren basiert auf technischen Überlegungen, die das Ziel haben, die technische Aufgabe der Navigation mit der Kartenapplikation für einen Benutzer zu erleichtern, und zwar durch die Verbesserung des räumlichen Bewusstseins für den Benutzer in der Kartenapplikation. Das Verfahren erreicht dieses Ziel indem es die Farbenänderungen eines Objektes oder mehrerer Objekten, die von der Kartenapplikation angezeigt werden, reduziert, wenn die Benutzeransicht in der Applikation dieses einen Objektes oder mehrerer dieser Objekten sich hin und her zwischen Straßenebene und Luftebene bewegen.
In einer anderen Position, wenn ein nicht-transitorisches, greifbares, computerlesbares Medium, auf dem Anweisungen gespeichert sind, die von einem Computergerät oder von mehreren Computergeräten ausgeführt wird, um ein Verfahren zum Generieren eines gemischten Bildes durchzuführen, das eine Vielzahl von Fragmenten für ein dreidimensionales (3D) Modell des geographischen Standortes feststellt, wobei jedes Fragment der Vielzahl von Fragmenten einem Pixel des gemischten Bildes entspricht und jedes Fragment die Fragmentfarbe vom 3D-Modell. Ferner umfasst und ermittelt das Verfahren weltraumgestützte Lokalisierungsdaten für jedes Fragment, basierend zumindest teilweise auf Breitengradinformationen, Längengradinformationen und Höheinformationen in Zusammenhang mit dem 3D Modell und für jedes Fragment der Vielzahl von Fragmenten, indem es eine Pixelfarbe und ein Bild identifiziert, basierend zumindest teilweise auf weltraumgestützte Lokalisierungsdaten. Darüber hinaus umfasst und ermittelt das Verfahren ein Mischungsverhältnis basierend mindestens auf einer Position und einer Ausrichtung einer virtuellen Kamera und generiert das gemischte Bild basierend auf mindestens dem Mischungsverhältnis, der Pixelfarbe und der Fragmentfarbe.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine funktionelles Diagramm eines Systems in Übereinstimmung mit Positionen der Offenbarung.
2 ist ein Piktogramm eines Beispielsystems in Übereinstimmung mit Positionen der Offenbarung.
3 ist ein Übergangsbeispiel eines Bildes zum nächsten Bild in einem dreidimensionalen Modell in Übereinstimmung mit Positionen der Offenbarung.
4 ist ein Beispiel einer Beziehung zwischen einer virtuellen Kamera, einem Bild und einem dreidimensionalen Modell in Übereinstimmung mit Positionen der Offenbarung.
5A ist ein Beispiel von Pixeln in Zusammenhang mit einem Bild in Übereinstimmung mit Positionen der Offenbarung.
5B ist eine Beispielabbildung von Pixelprojektion, basierend auf einer Position und einer Ausrichtung einer virtuellen Kamera in Übereinstimmung mit Positionen der Offenbarung.
6 ist eine Beispielabbildung von gemischter Pixelprojektion in Übereinstimmung mit Positionen der Offenbarung.
7 ist eine Beispielabbildung von gemischter Pixelprojektion und eine Mischung von einer anderen Position und Ausrichtung einer virtuellen Kamera in Übereinstimmung mit Positionen der Offenbarung.
8 ist ein exemplarisches Flussdiagramm in Übereinstimmung mit Positionen der Offenbarung.
DETAILLIERTE BESCHREIBUNG
Überblick
Die vorliegende Offenbarung ist im Sinne der Übergänge zwischen Bildern auf Straßenebene und 3D Modellen der gleichen Fläche koordiniert. Ein Übergang kann das Wechseln von Straßenansichten aus einem Standort einer 3D-Modell-Ansicht und zu Straßenansichten aus einem zweiten Standort einschließen. Ein Benutzer kann beispielsweise auf einem Client-Computergerät eine Reihe von Bildern auf Straßenebene auf einem Client-Computergerät ansehen wollen (z. B. Smartphone, Tablet, Computer), von denen jede durch verschiedene Abstände getrennt sein kann. Um ein Gefühl des räumlichen Kontextes und der Richtung zu halten kann das Client-Computergerät die Anzeige eines Bildes auf Straßenebene zu einem anderen Bild auf Straßenebene transferieren, mittels einer intermediären Ansicht auf Luftebene des 3D Modells, das den räumlichen Kontext für beide Bilder ermöglicht. In diesem Sinne hat der Benutzer das Gefühl, dass eine virtuelle Kamera hinauf und hinweg von einem Bild auf Straßenebene zu einer Ansicht auf Luftebene übergeht, um sich weiterhin hinunter und zu einem zweiten Bild auf Straßenebene zu bewegen, als ob der Benutzer von einem Bild zum anderen „gesprungen” sei.
Bilder auf Straßenebene und 3D Modelle können beispielsweise einem Client von einem oder mehreren Server-Computergeräten geliefert werden. Ein Bild auf Straßenebene kann das Bild geographischer Objekten, Menschen und/oder Objekten, die mit einer Kamera in einem Winkel allgemein senkrecht zum Boden geschossen wurden, darstellen. Ein 3D Modell kann Informationen, wie beispielsweise Texturen, Formen, Farben usw., von Funktionen innerhalb des beinhalten. Das Client-Computergerät kann das 3D Modell und verbundene Informationen von einem oder von mehreren Server-Computergeräten vorab abrufen.
Um einen Übergang zwischen zwei Bildern auf Straßenebene zu ermöglichen, kann jedes Bild auf Straßenebene mit Hilfe des 3D Modells für eine Reihe von Positionen der virtuellen Kamera gemischt und so ein gemischtes Bild hergestellt werden. Wenn aneinander gereiht, können die verschiedenen gemischten Bilder angezeigt oder zur Verfügung gestellt werden, und zwar auf dem Client-Computergerät als Animation des Überganges zwischen den Bildern auf Straßenebene.
Für eine angegebene Position der virtuellen Kamera, um ein Bild auf Straßenebene mit einem 3D Modell der ausgewählten Fläche zu vermischen, kann das 3D Modell in individuelle Fragmente gerastert werden. Jedes Fragment kann eine aus dem 3D Modell abgeleiteten Fragmentfarbe besitzen. Darüber hinaus kann jedes Fragment einem Pixel der Anzeige des Client-Computergerätes entsprechen. Indem eine programmierbare Grafikverarbeitungseinheit (GPU) des Client-Computergeräts verwendet wird, können weltraumgestützte Lokalisierungsdaten (Breite, Länge und Höhe) für jedes Fragment festgestellt werden. In diesem Sinn können die weltraumgestützten Lokalisierungsdaten dazu verwendet werden, eine bestimmte Farbe zu identifizieren, die von einem Bild auf Straßenebene auf jedes Fragment von der gegebenen Position der virtuellen Kamera projiziert wird. Sobald die betreffenden Farben identifiziert werden, kann das Client-Computergerät diese vom Bild projizierten Farben mit den verbundenen Farben des 3D Modells vermischen. Jede Bezugnahme auf „Pixel” in der vorliegenden Offenbarung bezieht sich auf die Pixel eines Bildes, z. B., eines Bildes auf Straßenebene. Ferner bezieht sich jede Bezugnahme auf „Fragment” in der vorliegenden Offenbarung auf Fragmenten eines 3D Modells.
Für jede Position der virtuellen Kamera kann ein Mischungsverhältnis ermittelt werden. Jedes Mischungsverhältnis kann auf die Position der virtuellen Kamera in Bezug auf das Bild im Rahmen des 3d Modells basieren. Das Mischungsverhältnis kann andeuten, wie viel Farbe vom Bild dort im Verhältnis zur Farbe des dazugehörigen Fragments abgeleitet wurde. Wenn beispielsweise die Position der virtuellen Kamera und des Bildes auf Straßenebene übereinstimmend sind, kann die Farbe des Fragmentes gänzlich vom Bild auf Straßenebene abgeleitet werden. Je mehr sich die virtuelle Kamera vom Bild entfernt, desto genauer kann das Mischungsverhältnis des 3D Modells angepasst werden. Um ein anderes Beispiel anzugeben, kann das Mischungsverhältnis ferner von einer Verzerrung der Farbenprojektion des Bildes auf dem Fragment abhängen. Wenn beispielsweise die Positionen der virtuellen Kamera, des Fragmentes und des Bildes so sind, dass die Projektionen stark verzerrt sind, kann das Mischungsverhältnis so angepasst werden, dass sich die Farbe des damit verbundenen Fragmentes verstärkt.
Mischungsverhältnisse sind demzufolge dazu angewendet, die dem Bild auf Straßenebene entsprechenden Farben mit den Fragmenten des 3D Modells zu vermischen, um eine gemischtes Bild für jede angegebene Position der virtuellen Kamera zu generieren. In diesem Sinne kann jedem Fragment eine Farbe zugeordnet werden, indem ein Mischungsverhältnis verwendet wird, um ein gemischtes Bild zu verschaffen. Wiederum entspricht jedes gemischte Bild einem unterschiedlichen Standort der virtuellen Kamera. Die gemischten Bilder in ihrer Endversion können auf dem Client-Computergerät angezeigt werden, und zwar in Serien, als Animation, in Übereinstimmung mit den Positionen der virtuellen Kamera.
Die oben beschriebenen Funktionen ermöglichen dem Benutzer ein Gefühl des räumlichen Kontextes wenn von einem Bild auf Straßenebene zu einem anderen Bild auf Straßenebene gewechselt wird, durch das Anzeigen einer intermediären Luftansicht der benachbarten Flächen beider Bilder. Darüber hinaus reduziert die Technologie die visuelle Verzerrung des Überganges zwischen Straßenansicht und Ansicht auf Luftebene (und umgekehrt), aufgrund eines 3D Modells auf Luftebene, sowie aufgrund eines geographisch-räumlichen Standortes und der geometrischen Daten. Demzufolge erleichtert das Verfahren dem Benutzer die technische Aufgabe der Navigation mit der Kartenapplikation. Ein weiterer Vorteil ist, dass die Technologie auf einem Client-Computergerät implementiert werden kann.
Beispielsysteme
1 und 2 stellen ein mögliches System 100 dar, in dem die offengelegten Positionen implementiert werden können. In 1 schließt das System 100 die Client-Computergeräte 110, 130 und 160 ein. Wie bereits gezeigt, kann ein Client-Computergerät 110 oder sogar mehrere Client-Computergeräte einen oder mehrere Prozessoren 112, einen Speicher 114, einen Bildschirm 120 und weitere Komponente beinhalten, die typischerweise von Geschäften angeboten werden, die Computergeräte zum allgemeinen Gebrauch anbieten.
Obwohl 1 aus funktionellen Gründen jeden der Prozessoren 112 und dem Speicher 114 als einen einzigen Block darstellen, im Rahmen eines oder mehreren Client-Computergeräten 110, die auch als einen einzigen Block dargestellt werden, kann das System folgendes einschließen und das hiermit beschriebene Verfahren folgendes einbeziehen: vielfache Prozessoren, Speicher und Geräte, die in derselben physischen Gehäusekonstruktion oder woanders bewahrt werden können. Verschiedenartige Beispiele und Verfahren, die nachfolgend als eine einzige Komponente vorsehend (z. B, einen oder mehrere Prozessoren 112) dargelegt werden, können eine Vielfach von Komponenten einbeziehen (z. B., multiple Computergeräte, verteilt über ein Netzwerk von Computergeräten Computer, „Racks” usw., als Teil einer parallelen oder verteilten Implementierung; ferner, die vielfachen Funktionen die von den Ausführungsformen durchgeführt werden, können von unterschiedlichen Computergeräten zu unterschiedlichen Zeiten arbeiten, während die Last untereinander, unter den Computergeräten, geschoben wird). Gleichermaßen können verschiedene Beispiele und Verfahren, die nachfolgend so beschrieben sind, dass sie verschiedene Komponenten (z. B. Client-Computergeräte 110, 130 und 160) beinhalten, eine einzelne Komponente beinhalten (anstatt, dass beispielsweise das Client-Computergerät 130 eine nachstehend beschriebene Bestimmung ausführt, kann ein Client-Computergerät 130 die relevanten Daten zur Verarbeitung an ein oder mehrere Client-Computergeräte 110 senden und die Ergebnisse der Bestimmung für eine künftige Verarbeitung oder Anzeige empfangen).
Speicher 114 des einen oder der mehreren Client-Computergeräte 110 kann Informationen speichern, die von einem oder mehreren Prozessoren 112 abrufbar sind, einschließlich die Anleitungen 116, die vom Prozessor oder von den Prozessoren durchgeführt werden können. Speicher 114 kann auch die Daten 118 einschließen, die von einem oder mehreren Prozessoren 112 abgerufen, manipuliert oder gespeichert werden können. Speicher 114 und weitere Speicher, die nachstehend beschrieben sind, können jedwede Art von Speicherform darstellen, die Informationen speichern können, welche vom betreffenden Prozessor abrufbar sein können, wie beispielsweise eine Festplatte, ein Solid State Drive, eine Speicherkarte, RAM, ROM, DVD, ein Schreibspeicher oder ein Festspeicher. Darüber hinaus kann der Speicher einen verteilten Speichersystem einschließen, in dem Daten, wie beispielsweise Daten 118, in einer Vielzahl von unterschiedlichen Speichervorrichtungen gespeichert sind, die sich physikalisch am gleichen oder an unterschiedlichen geografischen Standorten befinden können.
Die Anleitungen 116 können eine beliebige Menge von Anweisungen sein, die durch den einen oder mehrere Prozessoren 112 oder durch andere Computergeräte ausgeführt werden. Diesbezüglich können die Begriffe „Anweisungen”, „Anwendung”, „Schritte” und „Programme” hierin austauschbar verwendet sein. Die Anweisungen können in Objektcodeformat zur sofortigen Verarbeitung durch den Prozessor oder in einer anderen Computergerätsprache, die Skripte oder Sammlungen von unabhängigen Quellcode-Modulen beinhaltet, die auf Anforderung interpretiert oder vorab kompiliert werden. Funktionen, Verfahren und Routinen der Anweisungen werden unten ausführlicher erklärt. Der eine oder die mehreren Prozessoren 112 können jeweils ein konventionellen Prozessor sein, wie beispielsweise eine im Handel erhältliche Zentraleinheit („CPU”) oder ein Grafikprozessor („GPU”). Alternativ können die Prozessoren eine dedizierte Komponente sein, wie beispielsweise eine anwendungsspezifische integrierte Schaltung („ASIC”), ein feldprogrammierbares Gate-Array („FPGA”) oder ein anderer Hardware-Prozessor.
Daten 118 können von einem oder mehreren Client-Computergeräten 110 in Übereinstimmung mit den Anweisungen 116 abgerufen, gespeichert oder geändert werden. So können beispielsweise, obwohl der hierin beschriebene Gegenstand nicht durch eine beliebige bestimmte Datenstruktur beschränkt ist, die Daten in Computerregistern, in einer relationalen Datenbank als Tabelle, die viele verschiedene Felder und Datensätze aufweist, oder XML-Dokumenten gespeichert werden. Die Daten können außerdem in einem beliebigen computergerätlesbaren Format wie, aber nicht beschränkt auf, Binärwerten, ASCII oder Unicode formatiert sein. Des Weiteren können die Daten beliebige Informationen umfassen, die ausreichend sind, um die relevanten Informationen zu identifizieren, wie Zahlen, beschreibenden Text, proprietäre Codes, Zeiger, Referenzen auf Daten, die in anderen Speichern wie anderen Netzwerkstandorten gespeichert sind, oder Informationen, die von einer Funktion verwendet werden, um die relevanten Daten zu berechnen, umfassen. Wie nachstehend bezüglich den 3–6 näher erläutert, können Daten 118 beispielsweise mindestens Turn-by-Turn-Anweisungen, Straßensegmente, Wegpunkte, Panoramabilder, verschiedenen Straßenabschnitten zugeordnet sind, Filterparameter usw. umfassen.
Bildschirm 120 und weitere nachfolgend beschriebene Anzeigen können jede Art von Display sein, wie beispielsweise ein Monitor mit einem Bildschirm, ein Touchscreen, ein Projektor oder ein Fernsehgerät. Der Bildschirm 120 des einen oder der mehreren Computergeräte 110 können elektronische Informationen für einen Benutzer via einer graphischen Benutzeroberfläche („GUI”) oder weiteren Arten von Benutzeroberflächen anzeigen. Wie beispielsweise nachfolgend besprochen wird, kann Bildschirm 120 elektronisch einen Web Browser anzeigen, einschließlich eine Kartenoberfläche mit Turn-by-Turn Anweisungen zwischen zwei geographischen Standorten, entsprechenden Straßensegmenten und Wegpunkten.
Darüber hinaus können sich die Client-Computergeräte 110, 130 und 160 an einem Knoten eines Netzwerkes 170 befinden und im Stande sein, direkt und indirekt mit weiteren Knoten des Netzwerkes 170 zu kommunizieren, wie beispielsweise mit einem oder mehreren Server-Computergeräten 140 und einem Speichersystem 150. Obwohl nur einige Computergeräte in 1 dargestellt sind, kann ein typisches System eine große Anzahl von verbundenen Computergeräten beinhalten, wobei jedes unterschiedliche Computergerät an einem anderen Knoten des Netzwerkes 170 sein kann. Das Netzwerk 170 und die nachfolgend beschriebenen dazwischen liegenden Knoten können verbunden werden, indem verschiedene Protokolle und Systeme verwendet werden, sodass das Netzwerk Teil des Internets, des World Wide Webs, von spezifischen Intranets, Wide Area Netzwerke oder lokalen Netzwerken werden kann. Das Netzwerk kann Standard-Kommunikationsprotokolle verwenden, wie beispielsweise Ethernet, Wi-Fi und HTTP-Protokolle, die an einer oder mehreren Gesellschaften proprietär sind und verschiedene Kombinationen davon. Obwohl bestimmte Vorteile erzielt werden, wenn Informationen wie oben beschrieben übertragen oder empfangen werden, sind andere Aspekte des hierin beschriebenen Gegenstands nicht auf eine bestimmte Art der Übertragung von Informationen beschränkt.
Ein oder mehrere Server-Computergeräte 140 können beispielsweise ein Webserver bedeuten, der die Kommunikation mit dem einen oder mehreren Client-Computergeräten 110 über das Netzwerk 170 ermöglichen kann. Wie nachstehend betreffend der 2 ausführlich besprochen, können die Client-Computergeräte 110, 130 und 160 Client-Computergeräte oder weitere Benutzer-Geräte sein und das eine oder die mehreren Server-Computergeräte 140 können Informationen zum Anzeigen bereitstellen, indem das Netzwerk 170 angewendet wird, im Sinne der Übertragung und Vorstellung von Informationen an einem Benutzer der Client-Computergeräte 110, 130 und 160.
Als ein anderes Beispiel kann Speichersystem 150 verschiedene Bilder speichern. Die Bilder können beispielsweise Panoramabilder auf Straßenebene, Fotografien, Bilder usw. sein. Als Beispiel kann das Bild geographischer Objekten, Menschen und/oder Objekten, die mit einer Kamera in einem Winkel allgemein senkrecht zum Boden geschossen wurden, darstellen. Somit kann das Bild auf Straßenebene verschiedene geografische Objekte darstellen, wie Gebäude, einen Gehweg, Straßen, Fahrzeuge, Menschen, Straßenlaternen, Schilder, Anzeigen, Bäume, Skulpturen, Gewässer, Fassaden, Sehenswürdigkeiten usw.
Einige der Bilder, die im Speichersystem 150 gespeichert sind, können auch mit Informationen verknüpft werden, die die Ausrichtung des betreffenden Bildes angeben. Wenn beispielsweise ein Bild auf Straßenebene eine typische Fotografie ist, dann soll die Ausrichtung dem Winkel der Kamera entsprechen. Wenn ein Bild auf Straßenebene ein 360° Panorama-Bild ist, wie ein 360° Panorama, das auf der geographischen Lage verbunden mit dem Bild zentriert ist, kann die Ausrichtung denjenigen Teil des Bildes anzeigen, der dem Blick gegen Norden von der Kameraposition entspricht, bei einem Winkel, der direkt parallel zum Boden ist. Ferner können die oben beschriebenen Bilder auch Metadaten enthalten, die selber die geographische Lage des Bildes einschließen können (z. B., GPS-Koordinaten), Tageszeit oder Zeit des Jahres, die Ausrichtung des Gerätes (z. B., den Winkel, den Nick-, den Roll- und/oder den Kompass-Punkt), Beschleunigungsinformationen, die Genauigkeit der GPS-Ortung, Statistiken zur GPS-Ortung (z. B., städtisch vs. ländlich vs. Wildnis) etc.
Das Speichersystem 150 kann auch 3D Modelle von verschiedenartigen geographischen Flächen speichern. Ein 3D Modell kann beispielsweise eine computergenerierte mathematische Darstellung eines bestimmten geografischen Gebietes darstellen. Das 3D-Modell kann als ein zweidimensionales Bild über 3D-Rendering für die Anzeige zur Verfügung gestellt werden oder kann bei der Computersimulation verwendet werden. Das 3D Modell kann auch manuell oder automatisch über 3D-Modellierungsprogramme generiert werden. Darüber hinaus kann das 3D-Modell verschiedene Texturen, Formen, Farben usw. der modellierten Funktionen aufweisen.
Das Speichersystem 150 kann ferner räumliche Lokalisierungsinformationen speichern, die mit dem 3D Modell und den dazugehörigen Fragmenten verbunden sind. Die weltraumgestützten Lokalisierungsdaten können dazu verwendet werden, um festzustellen, welche Fragmente des 3D-Modells zu welchen Pixels des einen Bildes auf Straßenebene entsprechen. Die weltraumgestützte Lokalisierungsdaten schließen mindestens Breitengradinformationen, Längengradinformationen und Höheinformationen ein, die dem 3D-Modell eines geographischen Standortes entsprechen.
Was Speicher 114 betrifft, kann das Speichersystem 150 jedwede Art von computergestützter Speicherform darstellen, die Informationen speichern kann, die von einem oder von mehreren Server-Computergeräten 140 abgerufen werden können, wie beispielsweise eine Festplatte, eine Speicherkarte, RAM, ROM, DVD, CD-ROM, einen Schreibspeicher und einen Festspeicher. Außerdem kann das Speichersystem 150 ein verteiltes Speichersystem beinhalten, in dem Daten auf einer Vielzahl von unterschiedlichen Speichermedien gespeichert sind, die sich physikalisch am gleichen oder an unterschiedlichen geografischen Standorten befinden können. Speichersystem 150 kann über das Netzwerk 170 an den Client-Computergeräten gekoppelt werden, wie in 1 gezeigt, und/oder kann direkt an einem Client-Computergerät verbunden oder in solch einem eingebaut werden, beispielsweise 110, 130 und 160 (nicht gezeigt). In diesem Sinne können Daten 118, die indem Speicher 114 gespeichert sind, vom Speichersystem 150 abgerufen werden.
Das eine oder die mehreren Computergeräte 110 können folgendes sein: ein persönliches Computergerät 210, wie beispielsweise ein Laptop, für die Nutzung seitens eines Benutzers 216 gedacht (gezeigt in 2). Das persönliche Computergerät 210 kann alle Komponenten haben, die in der Regel in Verbindung mit einem persönlichen Computergerät verwendet werden, wie beispielsweise eine CPU oder eine GPU, Daten zum Speichern und Anweisungen, eine Anzeige, wie Bildschirm 212 (z. B. ein Monitor mit einem Bildschirm, ein Touchscreen, ein Projektor, ein Fernseher oder ein anderes Gerät, das betriebsfähig ist, Informationen anzuzeigen), und die Benutzereingabevorrichtung 214 (zum Beispiel eine Maus, eine Tastatur, ein Touchscreen, ein Mikrofon usw.). Darüber hinaus kann das persönliche Computergerät 210 auch Komponenten zur Bestimmung seiner Position und Ausrichtung beinhalten (nicht gezeigt). Diese Komponenten können beispielsweise einen GPS-Empfänger beinhalten, um den Breitengrad, den Längengrad und/oder die Höhe zu bestimmen, sowie einen Beschleunigungsmesser, einen Gyroskop oder andere ähnliche Vorrichtungen.
In einem anderen Beispiel kann das Client-Computergerät 130 ein tragbares Computergerät 230 beinhalten, wie z. B. ein Head-Mounted-Computersystem zur Verwendung durch einen Benutzer 232 oder ein Computing-Armband, einen Computing-Ring oder eine Computing-Uhr usw. In einem weiteren Beispiel kann das Client-Computergerät 160 ein mobiles Computergerät 260 beinhalten, das zur Verwendung durch einen Benutzer 262 gedacht ist und das in der Lage ist, einen drahtlosen Datenaustausch mittels eines Servers über ein Netzwerk, wie das Internet, zu ermöglichen. Als Beispiel allein kann ein mobiles Computergerät 260 ein Mobiltelefon oder ein Gerät sein, wie beispielsweise ein WLAN-fähiges PDA, ein Tablet-PC oder ein Netbook, das die Fähigkeit besitzt, Informationen über das Internet zu erhalten.
Die Client-Computergeräte können so konfiguriert werden, dass sie mittels eines Betriebssystems operieren. Diesbezüglich können einige der Anweisungen, die während der hierin beschriebenen Operationen ausgeführt werden, durch das Betriebssystem bereitgestellt sein, wohingegen andere Anweisungen durch eine Anwendung, die auf der Vorrichtung installiert ist, bereitgestellt sein können. Die Client-Computergeräte 110, 130 und 160 in den 1 und 2 und weitere Computergeräte, in Übereinstimmung mit den hierin beschriebenen Systemen und Verfahren, können auch andere Vorrichtungen einschließen, die fähig sind, Anweisungen zu verarbeiten und Daten von Menschen zu Menschen und/oder zwischen Computern untereinander zu übertragen, einschließlich Netzwerk-Computern, denen die lokale Speicherfähigkeit fehlen, und Set-Top-Boxen für Fernsehgeräte.
Beispielverfahren
Zusätzlich zu den oben ausführlich beschriebenen Operationen, die in den Figuren dargestellt werden, werden jetzt verschiedene Operationen beschrieben. Die folgenden Operationen müssen nicht in der nachfolgend beschriebenen Reihenfolge durchgeführt werden. Vielmehr können verschiedene Schritte in einer anderen Reihenfolge oder gleichzeitig behandelt werden, und die Schritte können ebenfalls hinzugefügt oder weggelassen werden.
3 illustriert ein Übergangsbeispiel von einem ersten Bild auf Straßenebene zu einem zweiten Bild auf Straßenebene via eines 3D-Modells 300. Das 3D-Modell 300 kann beispielsweise mindestens zwei verschiedene Flächen 302 und 310 einschließen. Ein Zwischenraum 364 zwischen den Bereichen 302 und 310 stellt dar, dass die beiden Standorte durch eine bestimmte Distanz getrennt werden können, beispielsweise durch einen oder durch mehrere Blöcke oder durch eine oder durch mehrere Meilen. Der Zwischenraum 364 kann eine beliebige Größe haben. Das 3D-Modell kann beispielsweise den gesamten Planeten, umfassen, z. B. einen Übergang zwischen einem Bild in New York und einem Bild in Japan. Wie gezeigt, Fläche 302 kann die Gebäuden 312, 314, 316 und 318 einschließen. Ferner kann Fläche 310 die Gebäuden 320, 322, 324, 326, 328 und 330 einschließen. Die Flächen 302 und 310 können zudem, wie dargestellt, zahlreiche Parks und Picknickzonen beinhalten.
Standorte innerhalb des 3D Modells 300 können einer Vielzahl von Bildern zugewiesen sein, wie beispielsweise Bildern auf Straßenebene. Diese Bilder können für die Anzeige zur Verfügung gestellt werden, wenn das von einem Benutzer über ein Client-Computergerät, wie beispielsweise über ein Personalcomputergerät 210, über das tragbare Computergerät 230 oder über das mobile Computergerät 260, angefordert wird. Ein Benutzer kann beispielsweise anfordern, ein oder mehrere Bilder von einer Position 332 innerhalb der Fläche 302 zu betrachten. Die Bilder, die mit der Position 332 verknüpft sind, können eine Vielzahl von Bildern auf Straßenebene, zum Beispiel Panoramabilder, sein, zusammengenäht in einer allgemein kuppelförmigen oder kugelförmigen Konfiguration. In dieser Hinsicht kann der Benutzer übergangslos in der Lage sein, alle Bilder auf Straßenebene von der Position 332 mittels einer 360 Grad Drehung betrachten. Auf ähnlicher Weise können eine Vielzahl von Bilder auf Straßenebene auch in einer allgemein kuppelförmigen Konfiguration an Position 342 zusammengenäht werden, um dem Benutzer eine 360-Grad-Ansicht zur Verfügung zu stellen.
In einem Fall kann ein Benutzer einen Übergang von einem Bild auf Straßenebene zu einem anderen Bild auf Straßenebene, das sich bei einer bestimmten Entfernung befinden, anfordern. Um es nur beispielsweise zu erläutern, kann ein Bild auf Straßenebene 340 auf einem Client-Computergerät für die Anzeige zur Verfügung gestellt werden. Aus einer Position 332, kann das Bild auf Straßenebene 340 einige Teile des Gebäudes 316 und alle Teile des Gebäudes 318 erfassen. Anschließend kann der Benutzer anfordern, vom Bild auf Straßenebene 340 zu einem anderen Bild auf Straßenebene überzugehen. Das nächste Bild auf Straßenebene kann im gleichen Bereich sein oder kann sich in einem anderen Bereich befinden. Zum Beispiel kann ein Übergang vom Bild auf Straßenebene 340 zu einem Bild auf Straßenebene 350 an Position 342 in der Fläche 310 generiert werden.
Um einen Übergang von einem Bild auf Straßenebene zu einem zweiten Bild auf Straßenebene anzuzeigen kann ein oder mehrere Computergeräte eine intermediäre Luftaufnahme eines 3D-Modells rendern, damit einem Benutzer das Gefühl gegeben wird, dass er beim Übergang von einem Bild zum anderen „gesprungen sei”. Das 3D-Modell kann für die Anzeige als ein zweidimensionales Bild über 3D-Rendering bereit gestellt werden. Das 3D-Modell 300 kann beispielsweise dazu verwendet werden, dass es eine Luftaufnahme während einer Übergangsbahn 360 zwischen Bild auf Straßenebene 340 an Position 332 und Bild auf Straßenebene 350 an Position 342 liefert. Während des Überganges 360 kann eine virtuelle Kamera entlang dieser Bahn bewegt werden, und zwar kann sie von ihrer anfänglichen Position 332 bis zu einem Scheitelpunkt 362 der Übergangsbahn 360 im 3D-Modell 300 aufsteigen, um dann zur Position 342 in das Bild aus Straßenebene 350 herabzusteigen. Ein Bildschirm mit Anzeigefunktion eines Client-Computergerätes kann beispielsweise analog zu einem Film der Kamera sein. Mit anderen Worten kann die virtuelle Kamera die mathematische Transformation definieren, die 3D-Daten, die dem 3D-Modell zugeordnet sind, in Bilder auf dem Anzeigebildschirm konvertieren. Daher hat der Benutzer, aus der Sicht der virtuellen Kamera, das Gefühl, dass die virtuelle Kamera sich hin und her vom Bild auf Straßenebene 340 zu einer Luftaufnahme des 3D-Modells und anschließend nach unten zu Bild auf Straßenebene 350 bewegt, als ob der Benutzer zwischen den Bildern gesprungen sei.
Eine Übergangsbahn von einem Bild auf Straßenebene zu einem zweiten Bild auf Straßenebene kann variieren, abhängig zumindest vom Abstand zwischen den Bildern. Wenn beispielsweise die Bilder auf Straßenebene 340 und 350 ferner voneinander beabstandet sind, kann sich die Übergangsbahn 360 höher, in Zusammenhang mit dem 3D-Modell 300, wölben. Somit kann der höhere Bogen einem Benutzer eine bessere räumliche Wahrnehmung und Richtung zwischen den beiden Bildern auf Straßenebene ermöglichen.
Wenn ein Übergang von einem Bild auf Straßenebene zu einem anderen Bild auf Straßenebene durch eine Luftaufnahme des 3D Modells wiedergegeben wird, kann eine Reihe von gemischten Bildern, die unterschiedlichen Punkten entlang der Übergangsbahn entsprechen, die wiederum Standorten der virtuellen Kamera entsprechen, zur Anzeige aneinandergereiht werden. Demzufolge kann ein gemischtes Bild für jede Position (z. B. x, y, z) und Ausrichtung der virtuellen Kamera auf der Übergangsbahn 362 in Zusammenhang mit dem 3D-Modell 300 erzeugt werden. In einigen Fällen kann nur ein bestimmter Satz von Positionen und Ausrichtungen der virtuellen Kamera während des Überganges verwendet werden. In anderen Fällen können die gemischten Bilder in Intervallen entlang der Übergangsbahn geschossen werden, um die Wiedergabe des Übergangs zu generieren. In dieser Hinsicht können Hardware-Ressourcen im Client-Computergerät konserviert werden, die zum Anzeigen des Überganges konfiguriert wurden.
Um ein gemischtes Bild für eine gegebene Position und Ausrichtung der virtuellen Kamera zu erzeugen, kann das 3D-Modell 300 in Fragmente gerastert werden, die den Pixeln einer Anzeige eines Client-Computergerätes entsprechen. In dieser Hinsicht kann die Position und Ausrichtung der virtuellen Kamera in Zusammenhang zum 3D-Modell so verwendet werden, dass sie das 3D-Modell 300 auf die Pixels der Anzeige „projizieren”. Somit wird jedem Fragment Farbe und geographische Standortinformation vom 3D Modell zugeordnet.
4 ist ein Beispiel für eine Beziehung unter einer virtuellen Kamera 410 an Position und Ausrichtung 412, einem 3D-Modell 300 und dem Bild auf Straßenebene 340. Wie gezeigt, beinhaltet das 3D-Modell 402 mindestens Fragmente 430, 440, 450 und 460, die den Pixeln einer Anzeige eines Client-Computergerätes entsprechen, sei Position und Ausrichtung 412 der virtuellen Kamera 410 gegeben. Die Standortinformationen für jedes Fragment oder Pixel können aus der Projektion bestimmt werden. Beispielsweise Fragmente 430, 440, 450 und 460 können unterschiedlichen geographischen Koordinaten mit den jeweiligen Breitengrad, Längengrad und Höheninformation zugeordnet werden.
Unter Verwendung der Positionsinformationen für jedes Fragment, der Position und der Ausrichtung der virtuellen Kamera 410 und/oder der geographischen Ortsinformation eines Bildes auf Straßenebene, sich am nächsten zur Position der virtuellen Kamera befindend, kann ein oder mehrere Computergeräte bestimmen, welche Pixel des Bildes auf Straßenebene den Standorten der Fragmente entsprechen. Das kann dazu verwendet werden, um eine Farbe des Bildes auf Straßenebene, jedem Fragment entsprechend, zu identifizieren. In 4 kann die virtuelle Kamera 410 gegen Bild auf Straßenebene 340 gerichtet sein. Als solches ist die virtuelle Kamera 410 in solch einer Weise ausgerichtet, dass die Pixel des Bildes auf Straßenebene 340 auf die Fragmente 430, 440, 450 und 460 sowie auf andere benachbarte Fragmente projiziert werden. Somit kann jedes Fragment einer Farbe der Pixel des Bildes auf Straßenebene 340 zugeordnet werden.
5A ist eine Beispielabbildung der Pixel, die einem anzeigbaren Bild, wie beispielsweise einem Bild auf Straßenebene 340, zugeordnet ist. Wie gezeigt, kann das Bild auf Straßenebene 340 eine bestimmte Länge und eine bestimmte Breite haben. Zum Beispiel kann das Bild auf Straßenebene 340 ein Panoramabild sein. Darüber hinaus kann das Bild 340 bildlich durch eine Vielzahl von Gitterzellen 510 dargestellt werden, wobei jede Gitterzelle einen einzelnen Bildpunkt des Bildes darstellt, wie beispielsweise Pixel 512. Das Pixel 512, wie auch die anderen Pixel des Bildes 340, kann bestimmten Farben zugeordnet sein. Wie oben erwähnt, können die Farben den Fragmenten zugeordnet und mit der entsprechenden Farbe aus dem 3D-Modell gemischt werden.
5B ist eine beispielhafte Darstellung von Pixelprojektion, basierend auf einer Position und einer Ausrichtung der virtuellen Kamera 410. Beispielsweise kann das Bild auf Straßenebene 340 ein aus einer Vielzahl von Bildern auf Straßenebene sein, die derart miteinander in einer allgemein kuppelförmigen Konfiguration so zusammengenäht sind, dass ein Benutzer alle Bilder mittele einer 360 Grad Drehung betrachten könnte, sei eine bestimmte Position und Ausrichtung der virtuellen Kamera 410 gegeben. Wie gezeigt, kann das Bild auf Straßenebene 340 leicht gekrümmt sein. Des Weiteren kann die virtuelle Kamera 410 so positioniert sein, dass sie das Bild auf Straßenebene 340 sichtet, und auch mit Blickwinkeln 520, 530, 540 und 550 nach oben geneigt, verschiedene Pixel des Bildes auf Straßenebene 340 kreuzend. In einer Position können die Blickwinkel 520 und 550 die Grenzen der virtuellen Kamera 410 darstellen.
6 ist eine beispielhafte Darstellung von Pixelprojektion auf Fragmente aus einem 3D-Modell. Wie gezeigt, kann das Beispiel der Pixelprojektion von 5B auf einem 3D-Modell des Gebäudes 318 angewendet werden. Wenn beispielsweise die Blickwinkel 520, 530, 540 und 550 von der virtuellen Kamera 410 vollständig ausgefahren sind, können sie mit verschiedenen Fragmente des 3D-Modells des Gebäudes 318 ausgerichtet werden. In einem Fall gleichen die Blickwinkel 520, 530, 540 und 550 zumindest die Fragmente 420, 430, 440, 450 und 460 ein. Mithilfe der geographisch-räumlichen Standortdaten (z. B., Breitengrad, Längengrad und Höheninformation) der Fragmente und Ausrichtungsinformationen von der Position und der Ausrichtung der virtuellen Kamera 410, werden die vier abgedunkelten Pixel des Bildes auf Straßenebene 340 auf die Fragmente 420, 430, 440, 450 und 460 des 3D-Modells des Gebäudes 318 projiziert.
Ein Mischungsverhältnis zwischen den Farben, die mit den Fragmenten verbunden sind, kann aufgrund der Position und der Ausrichtung der virtuellen Kamera 410 bestimmt werden. In diesem Beispiel kann eine erhebliche Menge an Farbe vom Bild auf Straßenebene in die Fragmente 430, 440, 450 und 460 gemischt werden, aufgrund der virtuellen Kamera 410, die allgemein senkrecht im Verhältnis zum Bild auf Straßenebene 340 gerichtet ist, gemischt werden. Sobald die Farben entsprechend einem Mischungsverhältnis gemischt werden, kann eine endgültige Version des 3D-Modells zur Anzeige für den Benutzer zur Verfügung gestellt werden. In dieser Hinsicht kann ein gemischtes Bild für jede Position der virtuellen Kamera 410 auf der Übergangsbahn erzeugt werden.
Das Vermischen der Farben der Pixel und der entsprechenden Fragmente kann auf einem Mischungsverhältnis basieren. Das Mischungsverhältnis kann das Verhältnis zwischen der Menge der Farbe, die vom Bild auf Straßenebene entnommen wird, und der Farbe, die aus dem 3D-Modell abgeleitet wird, repräsentieren. Die quantitative Beziehung der Farben auf der Position kann von der Position, der Ausrichtung, dem Abstand und dem Blickwinkel der virtuellen Kamera in Bezug auf einem Bild auf Straßenebene abhängen.
Ein Blickwinkel von einer virtuellen Kamera kann ein Pixel bei einem betreffenden Winkel kreuzen. Dieser Schnittwinkel kann zumindest teilweise das Mischungsverhältnis an den entsprechenden Fragmenten bestimmen. Die Blickwinkel 520, 530, 540 und 550 der virtuellen Kamera 410 befinden sich beispielsweise allgemein senkrecht zu den Pixeln, die projiziert werden. Aufgrund dieser im Allgemeinen orthogonalen Ausrichtung und der Nähe der virtuellen Position und der Ausrichtung der Kamera 410 in Bezug auf dem Bild auf Straßenebene, kann das Mischungsverhältnis die Farben vom Bild auf Straßenebene 340 begünstigen. Somit, abhängig von der Position, Ausrichtung der virtuellen Kamera 410, ihrer Ausrichtung, der Ausrichtung des Blickwinkels und/oder der Entfernung zum Bild auf Straßenebene 340, können die Farben des Mischungsverhältnisses, die begünstigt werden können, variieren.
7 ist eine beispielhafte Darstellung von Pixelprojektion und eine Mischung von einer anderen Position und Ausrichtung der virtuellen Kamera 410. Dieses Beispiel veranschaulicht die letzte Hälfte der Übergangsbahn 360, die in 3 dargestellt ist. Ähnlich wie Fläche 302 beinhaltet die Fläche 310 3D-Modelle der Gebäude 320, 322, 324, 326, 328, 330, Bäume, Picknicktische, Straßen usw. Die Fläche 302 kann auch in Fragmente gerastert sein, die den Pixeln einer Anzeige eines Client-Computergerätes entsprechen. Wie gezeigt, wird die virtuelle Kamera 410 vom Scheitelpunkt 362 der Übergangsbahn 360 (nicht gezeigt) zur Position 342 absteigen, um den Übergang zu vollenden.
Aus der Position, der Ausrichtung und dem Abstand der virtuellen Kamera 410, wie in 7 dargestellt, erstrecken sich die Blickwinkel und durchschneiden das Bild auf Straßenebene 350 in verschiedenen Winkeln. Blickwinkel 720 durchschneidet beispielsweise das Bild auf Straßenebene 350 in einem allgemein nicht senkrechten, fast tangentialen Winkel, relativ zu einer Oberfläche des Bildes auf Straßenebene 350. Ferner sind die virtuelle Kamera 410 und das Bild auf Straßenebene 350 von einem großen Abstand getrennt. Basierend auf der Position, der Ausrichtung, dem Abstand und der Ausrichtung der Blickwinkel der virtuellen Kamera 410 in Bezug auf dem Bild auf Straßenebene 350, kann das Mischungsverhältnis die Farben aus den Fragmenten des 3D-Modells 300 der Fläche 310 begünstigen. In diesem Zusammenhang kann sich die Menge der Farbe aus einem Fragment des 3D-Modells 300 erhöhen, indem die virtuelle Kamera 410 weniger mit dem Bild auf Straßenebene 350 immer weniger übereinstimmend ist.
8 ist ein beispielhaftes Ablaufdiagramm 800 um ein gemischtes Bild zu erzeugen. Anhand des Beispiels in FIG. Nur 1, bei Block 810, ein oder mehrere Computergeräte, beispielsweise das Client-Datenverarbeitungsgerät 110, kann eine Vielzahl von Fragmenten für ein 3D-Modell eines geographischen Standortes, der im Speicher gespeichert ist, bestimmen, beispielsweise Speicher 114, Speicher 144, Speichersystem 150. Jedes Fragment der Vielzahl von Fragmenten kann einem Pixel des gemischten Bildes entsprechen und jedes Fragment kann ein Fragment Farbe haben. In Block 820 können das eine oder die mehreren Computergeräte 110 für jedes Fragment den geographisch-räumlichen Standort feststellen, basierend zumindest teilweise auf Breitengradinformationen, Längengradinformationen und Höheninformationen, die mit dem 3D-Modell verbunden sind. Indem der geographisch-räumlichen Standort verwendet wird, kann die Pixelfarbe, die jedem Fragment entspricht, identifiziert werden.
Somit, können bei Block 830 für jedes Fragment der Vielzahl von Fragmenten ein oder mehrere Computergeräte 110 eine Pixelfarbe und ein Bild identifizieren, basierend zumindest teilweise auf den Daten betreffend des geographisch-räumlichen Standortes in Block 830. Die identifizierte Pixelfarbe, die jedem Fragment entspricht, kann, basierend auf einem Mischungsverhältnis, mit der jeweiligen Fragmentfarbe gemischt werden. Wie oben ferner erwähnt, kann das Bild ein Bild auf Straßenebene, die mit dem 3D-Modell verknüpft ist, im Speicher abgelegt sein. In Block 840 können das eine oder die mehreren Computergeräte 110 das Mischungsverhältnis bestimmen. Wie oben erwähnt, kann das Mischungsverhältnis ein Verhältnis zwischen einer Menge der Pixelfarbe und einer Menge der Fragmentfarbe sein. Das Mischungsverhältnis kann von der Position, der Ausrichtung, der Entfernung usw. von einer virtuellen Kamera in Bezug auf einem Bild auf Straßenebene innerhalb des 3D-Modells abhängen.
In Block 850, können das eine oder die mehreren Computergeräte 110 das gemischte Bild generieren, basierend zumindest auf dem Mischungsverhältnis, der Pixelfarbe und der Fragmentfarbe. Das gemischte Bild kann für die Anzeige auf einem separaten Bildschirm zur Verfügung gestellt werden, oder auf einem oder mehreren Client-Computergeräten 110 oder auf anderen Client-Computergeräten, wie beispielsweise Client-Computergerät 130 und Client-Computergerät 160 des Netzwerkes 170. Ferner, wenn eine Anfrage auf einen Übergang von einem Bild bei Block 830 zu einem anderen Bild empfangen wird, können ein oder mehrere Client-Computergeräten 110 eine Reihe von gemischten Bilder entlang einer bestimmten Übergangsbahn zwischen den beiden Bildern generieren. Die gemischten Bilder können Teil einer Animation sein und ebenfalls im Speicher gespeichert werden.
Wenn nicht anders angegeben, sind die vorstehenden alternativen Beispiele nicht als nicht gegenseitig ausschließend zu verstehen, sondern können in verschiedenen Kombinationen implementiert werden, um einzigartige Vorteile zu erzielen. Auch wenn diese und andere Variationen und Kombinationen der oben beschriebenen Merkmale verwendet werden können, ohne von dem in den Ansprüchen definierten Gegenstand abzuweichen, ist die vorstehende Beschreibung der Ausführungsformen nur als Veranschaulichung und nicht als Einschränkung des in den Ansprüchen definierten Gegenstands anzusehen. Darüber hinaus darf die Angabe der hierin beschriebenen Beispiele und Klauseln, die mit Begriffen wie etwa „zum Beispiel”, „einschließlich” und dergleichen formuliert werden, nicht als Einschränkung des Gegenstands der Ansprüche auf diese spezifischen Beispiele interpretiert werden, da die Beispiele lediglich dazu dienen, eine der vielen möglichen Ausführungsformen zu veranschaulichen. Ferner können dieselben Referenznummern in unterschiedlichen Zeichnungen dieselben oder ähnliche Elemente identifizieren.
INDUSTRIELLE ANWENDBARKEIT
Die vorliegende Offenbarung kann so verwendet werden, dass sie Übergänge zwischen Bildern auf Straßenebene und 3D-Modellen aus dem gleichen Bereich zu liefern, wobei solche Übergänge einem Benutzer das Gefühl des räumlichen Kontextes ermöglichen und somit die technische Aufgabe der Navigation mit der Kartenapplikation für einen Benutzer erleichtert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 14/333678 [0001]

Claims

System, das Folgendes umfasst: ein Speicher; ein oder mehrere Computergeräte, worin jedes davon einen oder mehrere Prozessoren aufweisen, worin das eine oder die mehreren Computergeräte mit dem Speicher gekoppelt sind; worin ein oder mehrere Computergeräte konfiguriert sind, um: eine Vielzahl von Fragmenten für ein dreidimensionales (3D) Modell eines geographischen Standortes zu bestimmen, worin jedes Fragment der Vielzahl von Fragmenten einem Pixel eines gemischten Bildes entspricht und jedes Fragment eine Fragmentfarbe aus dem 3D-Modell hat; die geographisch-räumlichen Lokalisierungsdaten für jedes Fragment feststellen, basierend zumindest teilweise auf Breitengradinformationen, Längengradinformationen und Höheinformationen, die mit dem 3D-Modell verbunden sind; für jedes Fragment der Vielzahl von Fragmenten, eine Pixelfarbe und ein Bild zu identifizieren, basierend zumindest teilweise auf den geographisch-räumlichen Lokalisierungsdaten; ein Mischungsverhältnis zu bestimmen, das zumindest auf einer Position und einer Ausrichtung einer virtuellen Kamera basiert; und das gemischte Bild generiert, basierend zumindest auf dem Mischungsverhältnis, der Pixelfarbe und der Fragmentfarbe.
System nach Anspruch 1, worin ein oder mehrere Computergeräte ferner konfiguriert sind, um die Anzeige des gemischten Bildes zur Verfügung zu stellen.
System nach Anspruch 1, worin das Mischungsverhältnis auf mindestens einer der Position und der Ausrichtung der virtuellen Kamera relativ zum Bild basiert.
System nach Anspruch 1, worin das Pixel des gemischten Bildes einem Bildpunkt einer Anzeige entspricht.
System nach Anspruch 3, worin das Mischungsverhältnis ein Verhältnis einer Menge der Pixelfarbe auf einer Menge der Fragmentfarbe ist.
System nach Anspruch 5, worin sich die Menge der Pixelfarbe erhöht, wenn zumindest eine der Optionen – Position und Ausrichtung – der virtuellen Kamera mit dem Bild ausgerichtet ist.
System nach Anspruch 5, worin sich die Menge der Fragmentfarbe erhöht, wenn sich die virtuelle Kamera vom Bild wegbewegt wird oder wenn zumindest eine der Optionen – Position und Ausrichtung – der virtuellen Kamera nicht mit dem Bild ausgerichtet ist.
System nach Anspruch 1, worin das eine oder die mehreren Computergeräte ferner konfiguriert sind, um eine Anforderung zu empfangen, betreffend eines Überganges von einem Bild zum anderen zu empfangen.
System nach Anspruch 8, worin das eine oder die mehreren Computergeräte ferner konfiguriert sind, um die Anzeige einer Reihen von gemischten Bildern zur Verfügung zu stellen, die einer Übergangsbahn von einem Bild zum anderen ermöglicht.
Nicht-transitorisches, greifbares, computerlesbares Medium, auf dem Anweisungen gespeichert sind, von einem Computergerät oder von mehreren Computergeräten ausgeführt wird, um ein Verfahren zum Generieren eines gemischten Bildes durchzuführen, worin das Verfahren folgendes umfasst: eine Vielzahl von Fragmenten für ein dreidimensionales (3D) Modell eines geographischen Ortes feststellen, worin jedes Fragment der Vielzahl von Fragmenten einem Pixel des gemischten Bildes entspricht und jedes Fragment hat eine Fragmentfarbe aus dem 3D-Modell; die geographisch-räumlichen Lokalisierungsdaten für jedes Fragment feststellend, basierend zumindest teilweise auf Breitengradinformationen, Längengradinformationen und Höheinformationen, die mit dem 3D-Modell verbunden sind; für jedes Fragment der Vielzahl von Fragmenten, eine Pixelfarbe und ein Bild identifiziert, basierend zumindest teilweise auf weltraumgestützte Lokalisierungsdaten; Ermitteln eines Mischungsverhältnisses basierend auf mindestens einer Position und einer Ausrichtung einer virtuellen Kamera; und Erzeugen des gemischten Bildes basierend auf mindestens dem Mischungsverhältnis, der Pixelfarbe und der Fragmentfarbe.
Das nicht-transitorische, greifbare, computerlesbare Medium nach Anspruch 10, worin das Verfahren des Weiteren die Bereitstellung des gemischten Bildes für die Anzeige umfassend.