DE202010018498U1

DE202010018498U1 - Abgleich eines ungefähr lokalisierten Anfragebildes mit einem Referenzbildsatz

Info

Publication number: DE202010018498U1
Application number: DE202010018498.3U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2009-12-07
Filing date: 2010-12-07
Publication date: 2017-01-27
Anticipated expiration: 2020-12-08
Also published as: AU2010328337A1; CA2783014A1; EP2510495A2; US20140029798A1; WO2011071861A2; CA2783014C; US8768107B2; WO2011071861A8; AU2010328337B2; US20110135207A1; EP2510495A4; US8189964B2; WO2011071861A3; US20120114239A1; EP3547157A1

Abstract

Ein Bildverarbeitungsapparat, umfassend: Ein Front-End-Modul, das so konfiguriert ist, dass es eine Bildanfrage von einem Benutzergerät empfängt, wobei die Bildanfrage ein Bild von Interesse und Standortmetadaten für das Bild von Interesse umfasst und das Front-End-Modul ferner so konfiguriert ist, dass es die Standortmetadaten analysiert, um eine oder mehrere Zellen auszuwählen, die im Vergleich zu dem Bild von Interesse ausgewertet werden, wobei jede Zelle ein oder mehr mit ihr verbundene geolokalisierte Bilder und Indexdaten hat; und Ein Zellenübereinstimmungsmodul, das so konfiguriert ist, dass es das Bild von Interesse mit den Indexdaten der ausgewählten Zellen vergleicht und jegliche Übereinstimmungen aus den geolokalisierten Bildern der ausgewählten Zellen auf der Grundlage der verglichenen Indexdaten ermittelt.

Description

VERWEIS
Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind dabei, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Aspekte der Erfindung beziehen sich allgemein auf digitales Bildmaterial. Insbesondere werden Aspekte auf den Abgleich eines empfangenen Bildes mit Geolokalisierungsinformationen mit ausgewählten Referenzbildern gerichtet.
Beschreibung des Stands der Technik
Mobile Benutzergeräte wie Mobiltelefone und Personal Digital Assistants („PDAs”) enthalten neben anderen Merkmalen häufig digitale Kameras. Solche Geräte verbinden den Nutzen des drahtlosen Zuganges mit elektronischer Fotografie. Ein Benutzer kann Fotos von Freunden und Familie, Sonderzielen usw. aufnehmen und diese Bilder sofort teilen.
Bei diesen Bildern kann Bilderkennung angewandt werden. Zum Beispiel können Anwendungen wie mobile visuelle Suchprogramme diese Bilder in dem Versuch analysieren, Eigenschaften wie Sonderziele und Ähnliches zu erkennen. Jedoch kann die mobile visuelle Suche rechnerisch sehr intensiv und auch zeitraubend sein und je nach dem Gerät, welches das Bild erfasst, kann die Suche sich auf die mit dem Bild verbundenen unvollständigen oder ungenauen Standortinformationen verlassen. Aspekte der Erfindung gehen diese und andere Probleme an.
ZUSAMMENFASSUNG DER ERFINDUNG
In einer Ausführungsform wird ein Bildverarbeitungsverfahren bereitgestellt. Dieses Verfahren umfasst das Empfangen einer Bildanfrage von einem Benutzergerät, wobei die Bildanfrage ein Bild von Interesse sowie Standortsmetadaten für das Bild von Interesse umfasst; die Analyse der Standortmetadaten, um eine oder mehrere Zellen für die Auswertung im Vergleich zum Bild von Interesse auszuwählen, wobei jede Zelle über ein oder mehrere geolokalisierte Bilder und damit verbundene Indexdaten verfügt; für jede ausgewählte Zelle, den Vergleich des Bildes von Interesse mit den Indexdaten dieser Zelle; und Ermittlung jeglicher Übereinstimmungen aus den geolokalisierten Bildern der ausgewählten Zellen auf der Grundlage der verglichenen Indexdaten; und Bereitstellung der Übereinstimmungen.
In einer Alternative werden die Übereinstimmungen zusammen mit einer Zuverlässigkeitsanzeige für die Übereinstimmung bereitgestellt, die die Wahrscheinlichkeit oder Genauigkeit jeder Übereinstimmung angibt. Hier hängt ein Wert der Zuverlässigkeitsanzeige für die Übereinstimmung wünschenswerterweise von der Geolokalisierungsüberprüfung zwischen den Standortmetadaten und den Standortinformationen für die geolokalisierten Bilder der ausgewählten Zellen ab.
In einer anderen Alternative werden die aktualisierten Standortmetadaten für das Bild von Interesse dem Benutzergerät zusammen mit den Übereinstimmungen bereitgestellt. In einer weiteren Alternative werden die Indexdaten in einem Indexspeicherserver gespeichert und auf die Indexdaten für jede ausgewählte Zelle kann mit einem Schlüssel zugegriffen werden, der die eindeutige ID dieser Zelle darstellt.
In noch einer weiteren Alternative entsprechen die Indexdaten Eigenschaften der geolokalisierten Bilder. In einem Beispiel werden die Eigenschaften aus dem aus Ecken, Rändern oder Linien, Helligkeitsinformationen und Histogramminformationen bestehenden Satz ausgewählt. In einem anderen Beispiel werden die geolokalisierten Bilder in einer Bilddatenbank gespeichert und die Indexdaten werden in einer Zellendatenbank gespeichert. Und in einem weiteren Beispiel werden die Indexdaten in einem k-dimensionalen Baumformat gespeichert. Und in einem Beispiel hat jede Zelle eine eindeutige ID, die von den Geolokalisierungskoordinaten dieser Zelle abgeleitet wird.
In einer anderen Ausführungsform wird ein Bildverarbeitungsapparat bereitgestellt. Der Apparat umfasst ein Frontmodul und ein Zellenübereinstimmungsmodul. Das Frontmodul ist so konfiguriert, dass es eine Bildanfrage von einem Benutzergerät empfängt. Die Bildanfrage schließt ein Bild von Interesse und Standortmetadaten für das Bild von Interesse ein. Das Frontmodul ist ferner so konfiguriert, dass es die Standortmetadaten analysiert, um eine oder mehrere Zellen für die Auswertung im Vergleich zu dem Bild von Interesse auszuwählen. Mit jeder Zelle sind ein oder mehrere geolokalisierte Bilder und Indexdaten verbunden. Das Zellenübereinstimmungsmodul ist so konfiguriert, dass es das Bild von Interesse mit den Indexdaten der ausgewählten Zellen vergleicht und jegliche Übereinstimmungen aus den geolokalisierten Bildern der ausgewählten Zellen auf der Grundlage der verglichenen Indexdaten ermittelt.
In einem Beispiel umfasst das Zellenübereinstimmungsmodul eine Vielzahl von Zellenübereinstimmungsservern und es werden bestimmte der Zellenübereinstimmungsserver zugewiesen, um den Vergleich für entsprechende der ausgewählten Zellen durchzuführen. Hier können die Übereinstimmungen zusammen mit einer Zuverlässigkeitsanzeige für die Übereinstimmungen bereitgestellt werden, die die Wahrscheinlichkeit oder Genauigkeit jeder Übereinstimmung angibt. Alternativ kann der Apparat ferner ein indexiertes Modul umfassen, das so konfiguriert ist, dass es die Indexdaten einer jeden Zelle speichert. Hier hat jede Zelle wünschenswerterweise eine mit ihr verbundene eindeutige ID. In diesem Fall greift jeder vorgegebene Zellenübereinstimmungsserver auf die Indexdaten der entsprechenden Zelle aus dem indexierten Modul zu, wobei er einen Schlüssel verwendet, der die eindeutige ID dieser Zelle darstellt. Vorzugsweise wird die eindeutige ID für jede Zelle von den Geolokalisierungskoordinaten dieser Zelle abgeleitet.
In einer weiteren Alternative entsprechen die Indexdaten Eigenschaften der geolokalisierten Bilder. Und in diesem Fall werden die Eigenschaften wünschenswerterweise aus dem aus Ecken, Rändern oder Linien, Helligkeitsinformationen und Histogramminformationen bestehenden Satz ausgewählt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht ein Bild von Interesse.
2A–B veranschaulichen ein mobiles Benutzergerät gemäß Aspekten der Erfindung.
3A–B veranschaulichen Kamerawinkelparameter.
4 veranschaulicht einen Bilderfassungsprozess.
5 veranschaulicht ein Bilderfassungsszenario.
6 veranschaulicht ein Computersystem zur Verwendung mit Aspekten der Erfindung.
7 veranschaulicht Aspekte des Computersystems von 6.
8A–C veranschaulichen Zellenanordnungen gemäß Aspekten der Erfindung.
9 veranschaulicht ein Bildübereinstimmungssystem gemäß Aspekten der Erfindung.
AUSFÜHRLICHE BESCHREIBUNG
Aspekte, Merkmale und Vorteile der Erfindung werden ersichtlich, wenn sie unter Bezugnahme auf die folgende Beschreibung bevorzugter Ausführungsformen und beigefügten Figuren betrachtet wird. Dieselben Referenznummern in unterschiedlichen Zeichnungen können dieselben oder ähnliche Elemente identifizieren. Ferner ist die folgende Beschreibung nicht einschränkend; der Umfang der Erfindung wird durch die beigefügten Ansprüche und Äquivalente definiert.
Wie vorstehend angemerkt, können Benutzer von mobilen Geräten Fotos von Personen, Orten oder Sonderzielen aufnehmen. 1 ist ein beispielhaftes Bild 100, das von einem mobilen Benutzergerät erfasst werden kann. Ein Beispiel für ein Bild auf Straßenhöhe ist ein Bild von geografischen Objekten, Personen und/oder Objekten, das von einer Kamera in einem Winkel in der Regel senkrecht zum Boden oder in einer Position, in der sich die Kamera am oder in der Nähe des Bodens befindet, aufgenommen wurde. Sowohl die geographischen Objekte im Bild als auch die Kamera haben einen geographischen Standortbezug zueinander. Daher kann, wie in 1 gezeigt, das Bild auf Straßenhöhe 100 verschiedene geografische Objekte wie Gebäude 102 und 104, Gehweg 106, Straße 108, Fahrzeug 110 und Personen 112 darstellen. Es versteht sich, dass obwohl das Bild auf Straßenhöhe 100 zur besseren Verdeutlichung nur wenige Objekte zeigt, ein typisches Bild auf Straßenhöhe so viele Objekte wie möglich enthält, die mit geografischen Standorten (Straßenbeleuchtung, Schilder, Erhebungen, Bäume, Skulpturen, Wasserflächen, Schaufenster usw.) verbunden werden können, in so vielen Details, wie von einem Bilderfassungsgerät wie einer digitalen Kamera erfasst werden können.
Zusätzlich zu der Zuordnung zu geographischen Standorten sind Bilder wie das Bild auf Straßenhöhe 100 üblicherweise mit Informationen verbunden, die die Orientierung des Bildes anzeigen. Wenn die Straßenansicht beispielsweise eine übliche Fotografie enthält, kann die Ausrichtung einfach der Kamerawinkel sein, zum Beispiel als Winkel von 30° Ost vom geografischen Norden dargestellt werden kann und 2° vom Bodenniveau nach oben gerichtet ist. Sind Bilder auf Straßenhöhe Panoramabilder, wie auf den in den geographischen Standort zentrierten 360°-Panoramen, die mit dem Bild verbunden sind, kann die Ausrichtung darauf hindeuten, dass der Teil des Bildes, der einem nördlichen Blick von der Kameraposition aus entspricht mit einen Winkel direkt parallel zum Boden zeigt.
2A–B veranschaulichen ein mobiles Benutzergerät 200, das so konfiguriert ist, dass es Bilder erfasst. Wie in 2A gezeigt, kann das mobile Benutzergerät 200 ein PDA oder ein Mobiltelefon mit einer Touchscreen-Anzeige 202, einer universellen Taste 204, einem Lautsprecher 206 und einem Mikrofon 208 auf der Vorderseite sein. Die linke Seite schließt Volumentasten 210 ein. Die obere Seite schließt eine Antenne 212 und einen GPS-Empfänger 214 ein. Wie in 2B gezeigt, schließt die Rückseite eine Kamera 216 ein. Die Kamera kann in eine bestimmte Richtung (im Weiteren „Kamerawinkel) ausgerichtet werden. Und wie auf dem Bedienfeld von 2A gezeigt, kann eine Zoomtaste oder ein anderer Betätiger 218 verwendet werden, um ein Bild auf der Anzeige zu vergrößern oder zu verkleinern.
Bei der Kamera kann es sich um jegliches Gerät handeln, das in der Lage ist, Bilder von Objekten zu erfassen, wie digitale Fotokameras, digitale Videokameras und Bildsensoren (zum Beispiel CCD, CMOS oder sonstige). Bilder können in herkömmlichen Formaten, wie JPEG oder MPEG, gespeichert werden. Die Bilder können lokal in einem Speicher des Gerätes 200, wie in einem RAM oder auf einer Flash Card, gespeichert werden. Alternativ können die Bilder erfasst und in eine entfernte Datenbank hochgeladen werden.
Der Kamerawinkel kann dreidimensional ausgedrückt werden, wie durch die Achsen X, Y und Z in 2B und schematisch in 3A und 3B gezeigt. Aus Gründen der Übersichtlichkeit und nicht zur Beschränkung wird angenommen, dass der Kamerawinkel im Verhältnis zur Ausrichtung des Gerätes festgelegt ist. In dieser Hinsicht veranschaulicht 3A eine mögliche Neigung des Gerätes (wie zu sehen ist, wenn man auf die linke Seite des Gerätes blickt) im Verhältnis zum Boden, z. B. im Verhältnis zu der zur Richtung der Schwerkraft senkrechten Fläche.
3B veranschaulicht einen potenziellen Breiten-/Längengradwinkel des Gerätes (zu sehen, wenn man nach unten zur Oberseite des Gerätes blickt), z. B. die Kamerarichtung, in die die Kamera im Verhältnis zur Breite und Länge zeigt. Zusammen definieren die Neigung und der Breiten-/Längengradwinkel eine Kamerahaltung oder einen Standort und eine Ausrichtung. Das Rollen (Drehung um die Y-Achse von 2B), das Gieren/Azimut und/oder die Höhe können ebenfalls erfasst werden. Diese und andere bildbezogene Informationen können als nummerische Werte von einem Beschleunigungsmesser (nicht gezeigt) oder anderen Komponenten im Gerät 200 ausgegeben, von dem Prozessor des Gerätes verwendet und in dem Speicher des Gerätes gespeichert werden.
In einem Aspekt kann ein Benutzer das Clientgerät 200 mit der Kamera 216 so ausrichten, dass sie auf ein Objekt von Interesse blickt. In dieser Hinsicht kann der Benutzer, wie in 4 gezeigt, vor einem Objekt von Interesse stehen, wie vor einem Gebäude oder einem Denkmal und die Kamera 216 in eine Richtung 220 ausrichten, die auf einen Punkt 222 im Sonderziel zeigt.
Die Kamera 216 des Clientgerätes 200 kann verwendet werden, um dem Benutzer bei der Ausrichtung des Gerätes in die gewünschte Position auf das Objekt von Interesse, hier Gebäude 102, zu helfen. In dieser Hinsicht kann die Anzeige 202 auch ein Ziel, einen Scheibenmittelpunkt oder einen anderen Anzeiger anzeigen, um die genaue oder ungefähre Position des Objektes anzuzeigen, auf das das Gerät 200 gerichtet ist.
Sobald ein Bild erfasst wurde, kann der Benutzer wählen, das Bild mit anderen zu teilen. Oder alternativ kann der Benutzer nach mehr Informationen über ein Objekt im Bild suchen. Eine visuelle Suchanwendung kann eingesetzt werden, um Informationen über das Bild zu ermitteln. Dann können dem Benutzer die relevanten Informationen über das Bild bereitgestellt werden. In einem Fall, in dem das Bild an andere geschickt oder in einer externen Datenbank gespeichert wird, können die relevanten Informationen über das Bild auch mit dem Bild gespeichert oder indexiert werden. Jedoch geht es primär um die korrekte Analyse und Klassifizierung des Bildes.
Ein Aspekt stellt ein System und Verfahren bereit, um ein Bild mit Standortinformationen mit einer Datenbank von zuvor geolokalisierten Referenzbildern abzugleichen. Wie nachstehend detailliert erklärt wird, kann die Datenbank mit den Referenzbildern in geographische Zellen aufgespalten werden. Das empfangene Bild wird mit einer Untergruppe jener Zellen abgeglichen.
Wenn ein Benutzer unter Verwendung seines mobilen Gerätes ein Bild eines Objektes von Interesse wie von einem Gebäude (z. B. einem Schaufenster) aufnimmt, ist es wünschenswert, Informationen über dieses Gebäude schnell zu ermitteln. In dem Beispiel von 5 macht die Kamera des mobilen Benutzergerätes 200 ein Bild des Gebäudes 102.
Die GPS-Einheit des Gerätes 200 kann einen ungefähren Standort angeben, von dem aus das Bild aufgenommen wurde. Jedoch ist der GPS-Sensor des Gerätes möglicherweise nicht genau genug, um auf dem Niveau einzelner Gebäude eindeutig zuzuordnen. Außerdem gibt das Gerät vielleicht nicht immer eine Ausrichtung/Richtung an, die notwendig sein kann, um zu bestimmen, in welche Richtung die Kamera des Gerätes zeigt, bzw. zeichnet es diese eventuell nicht auf. Und selbst wenn die Ausrichtung/Richtung bereitgestellt wird, ist sie möglicherweise nicht sehr genau. So kann im Beispiel von 5 das falsche Gebäude ermittelt werden (z. B. Gebäude 104) oder es kann ein Hintergrundgebäude anstelle einer Person oder eines Objektes im Vordergrund identifiziert werden oder umgekehrt. Um solche Probleme zu überwinden, gleicht ein Aspekt der Erfindung die Fotografie mit einer Datenbank mit Referenzbildern ab. Ein System, das Bild- und/oder Kartendatenbanken enthält, kann eingesetzt werden. Wie in 6 gezeigt, stellt System 300 ein schematisches Diagramm dar, das verschiedene Computergeräte abbildet, die alleine oder in einer vernetzten Konfiguration gemäß Aspekten der Erfindung benutzt werden können. Diese Figur veranschaulicht zum Beispiel ein Computernetzwerk mit einer Vielzahl von Computern 302, 304 und 306 sowie mit anderen Arten von Geräten, z. B. mobile Benutzergeräte wie einen Laptop/Palmtop 308, ein Mobiltelefon 310 und ein PDA 312. Die mobilen Benutzergeräte können die vorstehend im Hinblick auf das mobile Benutzergerät 200 erörterten Komponenten einschließen. Verschiedene Geräte können über einen lokalen Bus oder eine direkte Verbindung 314 miteinander verbunden sein und/oder über ein Kommunikationsnetzwerk 316 wie ein LAN, WAN, das Internet usw. gekoppelt sein, das fest verdrahtet oder drahtlos sein kann.
Jedes Computergerät kann zum Beispiel Benutzereingabegeräte wie eine Tastatur 318 und eine Maus 320 und/oder verschiedene andere Arten von Eingabegeräten wie Eingabestifte, Joysticks, Tasten, Touchscreens usw. sowie ein Anzeigegerät 322 beinhalten, das zum Beispiel eine CRT, LCD, einen Plasmabildschirm-Monitor, ein TV-Gerät, einen Projektor usw. beinhalten könnte. Jeder Computer 302, 304, 306 und 308 kann ein PC, ein Server usw. sein. Nur als Beispiel kann der Computer 306 ein PC sein, während Computer 302 und 304 Server sein können. Datenbanken, wie die Bilddatenbank 324 und Kartendatenbank 326 sind für einen oder mehrere der Server oder andere Geräte zugänglich.
Wie in Diagramm 400 von 7 gezeigt, können die Geräte einen Prozessor 402, einen Speicher 404 und andere Komponenten enthalten, die typischerweise Teil eines Computers sind. Der Speicher 404 enthält Informationen, die durch den Prozessor 402 zugänglich sind, einschließlich Anweisungen 406, die vom Prozessor 402 ausgeführt werden können. Er beinhaltet zudem Daten 408, die der Prozessor abrufen, bearbeiten oder speichern kann. Der Speicher kann jeder beliebige Speichertyp sein, der vom Prozessor zugängliche Informationen speichern kann, wie Festplattenlaufwerke, Speicherkarten, ROM, RAM, DVD, CD-ROM, Bluray Disc, beschreibfähige und Nur-Lese-Speicher. Der Prozessor 402 kann ein beliebiger bekannter Prozessor sein, wie beispielsweise Prozessoren von Intel oder Advanced Micro Devices. Alternativ dazu kann der Prozessor ein speziell dafür vorgesehener Controller, wie etwa eine ASIC sein.
Die Anweisungen 406 können jeder beliebige Satz Anweisungen zur direkten (wie Maschinencode) oder indirekten (wie Scripts) Ausführung durch den Prozessor sein. In dieser Hinsicht können die Begriffe „Anweisungen”, „Schritte” und „Programme” hierin austauschbar verwendet werden. Die Anweisungen können im Objektcodeformat zur direkten Verarbeitung durch den Prozessor oder in jeder anderen Computersprache einschließlich Scripts und Sammlungen von unabhängigen Sourcecodemodulen gespeichert werden, die auf Anfrage interpretiert oder im Voraus erstellt werden können. Zum Beispiel können die Anweisungen 406 Bildverarbeitungsprogramme für die Analyse empfangener Bilder enthalten. Funktionen, Verfahren und Routinen der Anweisungen werden unten ausführlicher erklärt.
Die Daten 408 können vom Prozessor 402 gemäß den Anweisungen 406 abgerufen, gespeichert oder bearbeitet werden. Zwar sind die Systeme und Verfahren gemäß Aspekten der Erfindung nicht durch eine bestimmte Datenstruktur eingeschränkt, aber die Daten können beispielsweise in Computerregistern, in einer relationalen Datenbank als Tabelle mit einer Vielzahl von verschiedenen Feldern und Aufzeichnungen, XML-Dokumenten oder Flachdateien gespeichert werden. Die Daten können auch in jedem computerlesbaren Format formatiert werden. Als weiteres, nicht einschränkendes Beispiel können Bilddaten als aus Pixeln bestehende Bitmaps in komprimierten oder unkomprimierten, verlustfreien oder verlustbehafteten Formaten (z. B. JPEG), in vektorbasierten Formaten (z. B. SVG) oder Computeranweisungen zur Zeichnung von Grafiken gespeichert werden. Die Daten können alle Informationen umfassen, die zum Erkennen der relevanten Informationen dienen, wie Zahlen, beschreibende Texte, proprietäre Codes, Zeiger, Verweise zu in anderen Speichern abgelegten Daten (einschließlich anderer Netzstandorte) oder Informationen, die von einer Funktion zur Berechnung der relevanten Daten genutzt werden.
Obwohl in 7 Prozessor und Speicher funktional als in dem gleichen Block veranschaulicht werden, wird der Fachmann verstehen, dass Prozessor und Speicher in der Praxis mehrere Prozessoren und Speicher umfassen können, die in dem gleichen physischen Gehäuse untergebracht werden können oder nicht. Beispielsweise können einige der Anweisungen und Daten auf entfernbare CD-ROM oder DVD-ROM und andere in einem Nur-Lese-Computer-Chip gespeichert werden. Einige oder alle Anweisungen und Daten können an einem Standort gespeichert werden, der physisch vom Prozessor entfernt ist, zu dem der Prozessor aber trotzdem Zugang hat. Desgleichen kann der Prozessor eine Reihe von Prozessoren umfassen, die parallel betrieben werden können oder nicht.
In einem Aspekt ist Computer 302 ein Server, der mit einem oder mehreren mobilen Benutzergeräten 308, 310 oder 312 und einer Datenbank wie Bilddatenbank 324 oder Kartendatenbank 326 verbunden ist. Computer 302 kann beispielsweise ein Webserver oder ein Anwendungsserver sein. Jedes mobile Gerät kann ähnlich wie Speicher 302 wie vorstehend beschrieben mit einem Prozessor, einem Speicher und Anweisungen konfiguriert sein. Jedes mobile Benutzergerät kann auch einen drahtlosen Sendeempfänger (z. B. einen Mobiltelefonempfänger, Bluetooth, Modem vom Typ 802.11 oder WiFi) einschließen. Wie in 7 gezeigt, speichert/speichern die Datenbank(en) wünschenswerterweise Bilder 416, einschließlich beispielsweise den Standort und die Ausrichtung (falls bekannt) jeden Bildes und/oder Karten oder Zellen 418. Die Karten/Zellen können jeweils einen Index und eine eindeutige ID haben.
Zusätzlich zu einem Prozessor, einem Speicher, einer Anzeige und dergleichen verfügen die mobilen Benutzergeräte 308, 310 und 312 wünschenswerterweise auch über die Kamera 200, den GPS-Empfänger 214, einen Beschleunigungsmesser 410 und einen Sendeempfänger 412 für die Kommunikation mit einem Netz oder einzelnen entfernten Geräten. Ein Browser 414 oder eine andere Benutzeroberfläche kann in Verbindung mit der Anzeige und Benutzereingaben funktionieren.
Gemäß einem Aspekt der Erfindung wird das Bild mit einer Datenbank mit Bildern aus der ungefähren geographischen Region, in der das Foto gemacht wurde, abgeglichen, um festzustellen, ob ein Objekt von Interesse ein Platz wie ein Gebäude ist. Um den Abgleich lenkbar zu halten, können alle Standortinformationen (z. B. GPS-Koordinaten) verwendet werden, die von dem mobilen Benutzergerät empfangen wurden und die mit dem Bild verbunden sind. Daher können die GPS-Koordinaten des Gerätes als eine ungefähre Anleitung verwendet werden, um einen geeigneten Satz Bilder aus der Datenbank auszuwählen. Dann können diese Bilder mit dem Bild von dem Gerät des Benutzers abgeglichen werden.
Sobald das empfangene Bild mit einem bekannten Bild übereinstimmt, kann ein genauerer Standort mit dem empfangenen Bild verbunden werden. Oder alternativ können der Standort und die Ausrichtung des mobilen Benutzergerätes korrigiert werden. Dies kann durch eine Auflösung für die relative Haltung oder den relativen Standort und die Ausrichtung des empfangenen Bildes auf der Grundlage der Übereinstimmungen mit den Bildinformationen aus der Datenbank geschehen. Alternativ können die bekannte Position und Ausrichtung der Referenzbilder direkt verwendet werden. Diese Informationen können an dem Gerät selbst aktualisiert werden, sie können im Netz (z. B. durch Server 302) oder in beiden unterhalten werden. Außerdem ist es wahrscheinlich, dass der Benutzer an dem Sonderziel interessiert ist, wenn es eine starke Übereinstimmung mit einem Gebäude oder einem anderen Sonderziel gibt.
Die Bildverarbeitung kann in zwei Teile aufgespalten werden. Ein Teil ist die Erstellung eines Indexes. Der andere ist der Abgleich mit einem zuvor erstellten Index. 8A–C veranschaulichen eine Art, die Erstellung eines Indexes auszuführen. Zuerst kann eine Region 450 eine geographische Zelle 452 einschließen, wie in 8A gezeigt. Ein oder mehrere Bilder sind mit Zelle 452 verbunden. Wie hier verwendet, schließt eine „Zelle” einen begrenzten geografischen Bereich an einem Punkt der Erde ein. Zellen können unterschiedliche Größen haben. Zum Beispiel können Zellen in etwa die Größe von Dutzenden bis zu Hunderten von Metern auf jeder Seite haben. Je nach der Menge von verfügbaren Informationen kann die Region 450 in kleinere Zellen aufgespalten werden. Daher kann sie, wie in 8B gezeigt, vier Zellen 454 haben. Oder sie kann, wie in 8C gezeigt sechzehn Zellen 456 haben. In einem Beispiel kann es Dutzende oder Hunderte Bilder geben, die mit einer bestimmten Zelle verbunden sind.
Die Bilder jeder Zelle haben bestimmte Eigenschaften. Zum Beispiel kann jedes Bild mit Standortinformationen wie Breitengrad/Längengrad, Ausrichtung und Höhe verbunden sein. Das Bild schließt auch Bilddetails ein. Die Bilddetails können Ecken, Ränder oder Linien, Helligkeitsänderungen, Histogramme oder andere Bildfilterungsausgaben von bekannten Bildverarbeitungstechniken einschließen. Einige oder alle dieser Eigenschaften können aus den Bildern gewonnen und in einem Index für die betreffende Zelle gespeichert werden. Die Datenbank(en) kann/können die Bilder selbst in einem bekannten Bildformat wie JPEG speichern. Die Index- und Zelleninformationen können in jedem zweckdienlichen Format gespeichert werden. Ohne die Erfindung durch eine bestimmte Datenstruktur einzuschränken, können die Daten in Computerregistern, in einer relationalen Datenbank als Tabelle mit einer Vielzahl von verschiedenen Feldern und Aufzeichnungen, XML-Dokumenten oder Flachdateien gespeichert werden. Die indexierten Eigenschaften werden wünschenswerterweise in einer Form, die einen schnellen Vergleich mit Anfrageneigenschaften erlaubt, gespeichert, wie einem k-dimensionalen Baum (kd-Baum).
Jede Zelle hat vorzugsweise auch eine eindeutige ID, die mit ihr verbunden ist. Zum Beispiel kann die eindeutige ID von den Koordinaten der Zelle (z. B. der Breiten-/Längengrad der Mitte der Zelle) abgeleitet werden. Ein empfangenes Bild kann schnell mit einem bestimmten Index abgeglichen werden. Nur beispielshalber können die Indizes in eine Speicherdatenbank mit Schlüsselwerten geschrieben werden, in der der Schlüssel die eindeutige ID der Zelle ist. Hier ist der Wert der erstellte Index für die betreffende Zelle.
Die Datenbank kann auch die Richtung berücksichtigen, in die das Referenzbild blickt. Es können separate Kompassrichtungen verwendet werden. Hier kann für jede Richtung ein eigener Index erstellt werden.
9 veranschaulicht ein System 500 für die Durchführung der Bildabgleichung, sobald Indizes erstellt wurden. Das System 500 umfasst Module für die Handhabung der unterschiedlichen Aspekte des Bildabgleichs. Das System 500 schließt vorzugsweise ein erstes Modul ein, das als Modul mit einem Front-End-Server 502 gezeigt wird. Ein Zellenabgleichmodul kann einen oder mehrere Zellenabgleichserver 504 enthalten. Und ein indexiertes Modul enthält einen Indexspeicherserver, 506. Jeder dieser Server kann so konfiguriert sein, wie vorstehend bei Server 302, der in 6 und 7 gezeigt wird, beschrieben. Zwar wird dies nicht gezeigt, aber der Indexspeicherserver 506 kann an Bilddatenbank 324 und an Karten-/Zellendatenbank 326 gekoppelt sein. Zwar werden die Server als separate Geräte gezeigt, aber es ist möglich, eine einzige Maschine einzusetzen, die mehrere Unterprozessoren hat, die als separate Server fungieren.
Der Front-End-Server 502 empfängt eine Bild-/Abgleichanfrage, zum Beispiel von einer Anwendung oder Oberfläche auf dem mobilen Benutzergerät. Die Anfrage schließt ein Bild und entsprechende Metadaten über den geographischen Standort und die Ausrichtung des Bildes ein (falls vorhanden). Der Front-End-Server 502 verwendet die empfangenen Standortinformationen sowie eine Schätzung eines möglichen Fehlers in den Standortinformationen, um eine kleine Untergruppe Zellen zu bestimmen, die mit dem Bild abgeglichen werden.
Der Bildabgleich wird durch einen oder mehrere Zellenabgleichserver 504 durchgeführt. Der Abgleich mit Zellen kann durchgeführt werden, indem gleichzeitig viele Zellenabgleichserver 504 verwendet werden. Jedem Zellenabgleichserver 504 werden das empfangene Bild und der Schlüssel einer Zelle bereitgestellt, die er mit dem empfangenen Bild abgleichen soll. Ein bestimmter Zellenabgleichserver 504 fordert dann einen oder mehrere Indexspeicherserver 506 an, um auf die Indexdaten für die betreffende Zelle zuzugreifen.
Jeder Zellenabgleichserver 504 gleicht das empfangene Bild mit seinen jeweiligen Indexdaten ab. Eine oder mehrere Abgleichreferenzen (falls vorhanden) werden an den Front-End-Server 502 zurückgeschickt. Diese Resultate schließen vorzugsweise eine Zuverlässigkeitsanzeige für die Übereinstimmung ein. Außerdem kann der Zellenabgleichserver 504 die verbesserte/korrigierte Position und Ausrichtung für das empfangene Bild feststellen und zurückschicken.
Der Zellenabgleichserver 504 kann die Standort- und/oder die Ausrichtungssensoren des mobilen Benutzergerätes verwenden, um eine Geolokalisierungsüberprüfung mit allen Übereinstimmungen durchzuführen. Wenn ein Übereinstimmungsresultat einen Standort und eine Ausrichtung anzeigt, die sich sehr stark von denjenigen unterscheidet, die von den Sensoren des Gerätes gemeldet werden, kann die Übereinstimmungszuverlässigkeit zugewiesen werden, damit das Resultat dementsprechend gesenkt werden kann.
Der/die Indexspeicherserver(s) 506 empfangen den Schlüssel /die eindeutige ID und schicken alle verbundenen Daten zurück. Da der Index sehr groß sein kann (z. B. Hunderte oder Tausende Gigabytes Daten), können verschiedene Untergruppen Daten auf verschiedenen Computern oder in den verschiedenen Datenzentren gespeichert werden. Die korrekte Datenuntergruppe oder die Teilmenge (ein Bruchteil) für einen gegebenen Indexschlüssel kann mit einem Hashing-Schema festgestellt werden.
Der Front-End-Server 502 wird so konfiguriert, dass er die von den Zellenabgleichservern 504 zurückgeschickten Resultate sortiert. Der Front-End-Server kann für die von den Zellenabgleichservern bereitgestellten Übereinstimmungspunkte eine Schwelle festlegen. Das/die Resultat(e) mit der höchsten Korrelation und/oder Zuverlässigkeit wird (werden) als eine mögliche Übereinstimmung ermittelt.
Wie vorstehend erörtert, können die Resultate verwendet werden, um dem mobilen Benutzergerät die korrigierten Standortinformationen bereitzustellen. Sie können auch verwendet werden, um dem Gerät verbesserten Inhalt bereitzustellen. Zum Beispiel können Informationen über das Sonderziel im Bild bereitgestellt werden. Oder es kann zusätzlicher Inhalt betreffend nahe gelegene Gebäude und Attraktionen bereitgestellt werden, wie über eine lokale Auflistung oder eine Anwendung wie die Gelben Seiten. Die Resultate können auch in einer Augmented-Reality-Anwendung verwendet werden.
Obwohl Aspekte der Erfindung hierin mit Bezug auf bestimmte Ausführungsformen beschrieben wurde, versteht sich, dass diese Ausführungsformen lediglich die Grundsätze und Anwendungen der vorliegenden Erfindung darstellen. Es versteht sich daher, dass zahlreiche Modifizierungen an den darstellenden Ausführungsformen vorgenommen werden können und dass andere Anordnungen konzipiert werden können, ohne vom Erfindungsgedanken und Umfang der vorliegenden Erfindung, wie durch die hinzugefügten Ansprüche definiert, abzuweichen.
INDUSTRIELLE ANWENDBARKEIT
Die vorliegende Erfindung genießt eine breite industrielle Anwendbarkeit, einschließlich unter anderem für Datenverarbeitungssysteme in Computern.

Claims

Ein Bildverarbeitungsapparat, umfassend: Ein Front-End-Modul, das so konfiguriert ist, dass es eine Bildanfrage von einem Benutzergerät empfängt, wobei die Bildanfrage ein Bild von Interesse und Standortmetadaten für das Bild von Interesse umfasst und das Front-End-Modul ferner so konfiguriert ist, dass es die Standortmetadaten analysiert, um eine oder mehrere Zellen auszuwählen, die im Vergleich zu dem Bild von Interesse ausgewertet werden, wobei jede Zelle ein oder mehr mit ihr verbundene geolokalisierte Bilder und Indexdaten hat; und Ein Zellenübereinstimmungsmodul, das so konfiguriert ist, dass es das Bild von Interesse mit den Indexdaten der ausgewählten Zellen vergleicht und jegliche Übereinstimmungen aus den geolokalisierten Bildern der ausgewählten Zellen auf der Grundlage der verglichenen Indexdaten ermittelt.
Bildverarbeitungsapparat nach Anspruch 1, worin das Zellenübereinstimmungsmodul eine Vielzahl von Zellenübereinstimmungsservern umfasst und bestimmte der Zellenübereinstimmungsserver zugewiesen werden, um den Vergleich für entsprechende der ausgewählten Zellen durchzuführen.
Bildverarbeitungsapparat nach Anspruch 2, worin die Übereinstimmungen zusammen mit einer Zuverlässigkeitsanzeige für die Übereinstimmungen bereitgestellt werden, die die Wahrscheinlichkeit oder Genauigkeit jeder Übereinstimmung angibt.
Bildverarbeitungsapparat nach Anspruch 2, ferner ein indexiertes Modul umfassend, das so konfiguriert ist, dass es die Indexdaten einer jeden Zelle speichert.
Bildverarbeitungsapparat nach Anspruch 4, worin jede Zelle eine damit verbundene eindeutige ID hat und jeder vorgegebene Zellenübereinstimmungsserver auf die Indexdaten der entsprechenden Zelle aus dem indexierten Modul zugreift, wobei er einen Schlüssel verwendet, der die eindeutige ID dieser Zelle darstellt.
Bildverarbeitungsapparat nach Anspruch 5, worin die eindeutige ID einer jeden Zelle von den Geolokalisierungskoordinaten dieser Zelle abgeleitet wird.
Bildverarbeitungsapparat nach Anspruch 1, worin die Indexdaten Eigenschaften der geolokalisierten Bilder entsprechen.
Bildverarbeitungsapparat nach Anspruch 7, worin die Eigenschaften aus dem aus Ecken, Rändern oder Linien, Helligkeitsinformationen und Histogramminformationen bestehenden Satz ausgewählt werden.
Ein Speicher, auf dem computerlesbare Anweisungen eines Computerprogramms gespeichert sind, wobei die Anweisungen, wenn sie von einem Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren durchführt, wobei das Verfahren Folgendes umfasst: Empfangen einer Bildanfrage von einem Benutzergerät, wobei die Bildanfrage ein Bild von Interesse und Standortmetadaten für das Bild von Interesse einschließt; Analyse der Standortmetadaten für die Auswahl einer oder mehrerer Zellen, die im Vergleich mit einem Bild von Interesse auszuwerten sind, wobei mit jeder Zelle ein oder mehrere geolokalisierte Bilder und Indexdaten verbunden sind; für jede ausgewählte Zelle, der Vergleich des Bildes von Interesse mit den Indexdaten dieser Zelle; Ermittlung jeglicher Übereinstimmungen aus den geolokalisierten Bildern der ausgewählten Zellen auf der Grundlage der verglichenen Indexdaten; und Bereitstellung der Übereinstimmungen.
Speicher nach Anspruch 9, worin das Verfahren die Übereinstimmungen zusammen mit einer Zuverlässigkeitsanzeige für die Übereinstimmungen bereitstellt, die die Wahrscheinlichkeit oder Genauigkeit jeder Übereinstimmung angibt.