DE112015003263T5

DE112015003263T5 - Bildmodifikation

Info

Publication number: DE112015003263T5
Application number: DE112015003263.0T
Authority: DE
Inventors: Jacqueline Anne Lai; Bryan M. Klingner; Wenfeng Li; Michael Paul Rolig; Chunfeng Hao; Alena Repina; Robert William Christy; Andrew Vytas Kisielius
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2014-07-15
Filing date: 2015-07-09
Publication date: 2017-05-04
Also published as: GB2541589A; DE202015009139U1; GB2541589B; US9529803B2; WO2016010818A1; GB201620048D0; US20160019223A1

Abstract

Gemäß einem Aspekt wird eine Anfrage zum Ändern eines ersten Bilds 402 empfangen. Die Anfrage enthält einen Teilbereich des ersten Bilds, der zur Anzeige mit einem zweiten Bild 406 geliefert wird. Das zweite Bild ist verbunden mit dreidimensionalen (3D) Geometriedaten für ein Objekt, das in sowohl dem ersten als auch dem zweiten Bild gezeigt ist, und Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Eine Eingabe, die einen Bereich 612 des zweiten Bilds identifiziert, wird empfangen. Ein drittes Bild 806 wird basierend auf der Datumsinformation des dritten Bilds und des zweiten Bilds identifiziert. Das dritte Bild ist verbunden mit 3D Geometriedaten für das Objekt. Ein Bereich 814 des dritten Bilds wird basierend auf den 3D Geometriedaten des zweiten Bilds, den 3D Geometriedaten des zweiten Bilds und dem Bereich des zweiten Bilds bestimmt. Information, die den Bereich des dritten Bilds identifiziert, wird zur Anzeige mit dem dritten Bild geleifert.

Description

QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNGEN
Die vorliegende Erfindung ist eine Weiterführung der US-Patentanmeldung Nr. 14/331,928, eingereicht am 15. Juli 2015, deren Offenbarung hierin durch Bezugnahme hierdurch enthalten ist.
HINTERGRUND
Verschiedene Systeme können Anwender mit Bildern von unterschiedlichen Orten versorgen. Einige System versorgen Anwender mit Panoramabildern. Beispielsweise können Panoramabilder ein Bild oder eine Sammlung von Bildern mit einem Gesichtsfeld enthalten, das größer als das menschliche Auge ist, wie z. B. 180 Grad oder größer. Einige Panoramen bzw. Rundblicke können eine 360-Grad-Ansicht eines Ortes zur Verfügung stellen.
Bei einigen Beispielen können diese Systeme Anwender mit der Fähigkeit versehen, anzufragen, dass bestimmte der Bilder unscharf oder auf andere Weise verzerrt sind. Solche Anfragen können dann Gegenstand einer Überprüfung durch Bediener und eine manuelle Anwendung einer solchen Unschärfe bzw. eines solchen Verschwimmens bzw. Verzerrens sein.
ZUSMMENFASSUNG
Aspekte der Offenbarung stellen ein computerimplementiertes Verfahren zur Verfügung. Das Verfahren enthält ein Empfangen, durch eine oder mehrere Computervorrichtungen, einer Anfrage, ein erstes Bild zu ändern. Die Anfrage identifiziert wenigstens einen Teilbereich des ersten Bilds. Das Verfahren enthält auch ein Vorsehen bzw. Liefern zur Anzeige, durch die eine oder mehrere Computervorrichtungen, des Teilbereichs des ersten Bilds und eines zweiten Bilds. Das zweite Bild ist verbunden mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines Objekts, das in sowohl dem ersten Bild als auch dem zweiten Bild gezeigt ist, und mit Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Das Verfahren enthält ein Empfangen, durch die eine oder mehreren Computervorrichtungen, einer Eingabe, die einen Bereich des zweiten Bilds identifiziert, und ein Identifizieren, durch die eine oder mehreren Computervorrichtungen, eines dritten Bilds basierend auf Datumsinformation, die identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Das dritte Bild ist verbunden mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche des Objekts, das im dritten Bild gezeigt ist. Das Verfahren enthält auch ein Bestimmen, durch die eine oder mehreren Computervorrichtungen, eines Bereichs des dritten Bilds basierend auf den mit dem dritten Bild verbundenen dreidimensionalen Geometriedaten, den mit dem zweiten Bild verbundenen dreidimensionalen Geometriedaten und dem Bereich des zweiten Bilds, und das Verfahren enthält ein Liefern, durch die eine oder mehreren Computervorrichtungen, von Information, die den Bereich des dritten Bilds identifiziert, zur Anzeige mit dem dritten Bild.
Bei einem Beispiel enthält das Verfahren auch ein Liefern zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, eines Hinweises, dass das dritte Bild verfügbar ist. Bei einem anderen Beispiel enthält das Verfahren auch ein Liefern zur eine Anzeige des Hinweises in einem ersten Zustand, wenn das dritte Bild nicht durch einen Bediener angeschaut worden ist, und ein Liefern zur Anzeige des Hinweises in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, wenn das dritte Bild durch den Bediener angeschaut worden ist. Bei einem anderen Beispiel enthält das Verfahren auch ein Liefern einer Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, einer Karte, die eine erste Markierung enthält, die eine Stelle anzeigt, wo ein Bild nur für ein Datum verfügbar ist, und eine zweite Markierung, die eine zweite Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist. Bei diesem Beispiel enthält das Verfahren auch ein Liefern zur Anzeige der zweiten Markierung in einem ersten Zustand, wenn keine Bilder der Gruppe von Bildern durch einen Bediener angeschaut worden sind, und ein Liefern zur Anzeige des Hinweises in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, wenn wenigstens ein Bild der Gruppe von Bildern durch den Bediener bzw. die Bedienperson angeschaut worden ist. Bei einem anderen Beispiel enthält das Verfahren auch ein Empfangen einer Eingabe, die den Bereich des zweiten Bilds bestätigt und den Bereich des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds ändert. Bei diesem Beispiel wird ein Bestimmen des Bereichs des dritten Bilds durchgeführt, nachdem die Eingabe empfangen ist, die den Bereich des zweiten Bilds bestätigt. Bei einem anderen Beispiel enthält das Verfahren auch ein Empfangen einer Eingabe, die den Bereich des dritten Bilds bestätigt und den Bereich des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds ändert. Bei einem anderen Beispiel enthält das Verfahren auch ein automatisches Modifizieren von Bildpixeln entsprechend dem Bereich des dritten Bilds vor einem Liefern des dritten Bilds zur Anzeige.
Das Verfahren stellt dadurch eine technische Art eines Ermöglichens einer effizienten Modifikation von entsprechenden Teilbereichen von mehreren bzw. multiplen Bildern zur Verfügung. Detaillierter stellt das Verfahren ein technisches Mittel eines Ermöglichens einer effizienten Modifikation basierend auf einer Anfrage zum Ändern eines Teilbereichs eines ersten Bilds von entsprechenden Teilbereichen von einem oder mehreren weiteren Bildern zur Verfügung.
Beispielsweise ermöglicht das Verfahren eine effiziente Identifikation eines zweiten Bilds, das wahrscheinlich eine bildliche Darstellung von einem oder mehreren Objekten enthält, die im Teilbereich des ersten Bilds gefunden sind.
Darüber hinaus ermöglicht das Verfahren durch Liefern des Teilbereichs des ersten Bilds und des zweiten Bilds zur Anzeige einem Anwender, die technische Aufgabe eines Identifizierens eines Teilbereichs des zweiten Bilds einschließlich einer bildlichen Darstellung des einen oder der mehreren Objekte, die im Teilbereich des zweiten Bilds gezeigt sind, effizient zu managen und diese einzugeben. Als solches wird das Anzeigen der Teilbereiche des ersten Bilds und des zweiten Bilds durch technische Überlegungen bestimmt.
Weiterhin ermöglicht das Verfahren eine effiziente Identifikation eines dritten Bilds, das wahrscheinlich eine bildliche Darstellung des einen oder der mehreren Objekte enthält, die in den Teilbereichen des ersten und des zweiten Bilds gefunden sind. Beispielsweise wird dies teilweise ermöglicht bzw. erleichtert durch den Verfahrensschritt eines Identifizierens des dritten Bilds basierend auf Datumsinformation, die identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Detaillierter kann das Verfahren beispielsweise die dritten Bilder als ein Bild identifizieren, das während einer Zeitperiode aufgenommen ist, in welcher das zweite Bild aufgenommen ist, was bedeutet, dass es eine erhöhte Wahrscheinlichkeit gibt, dass das dritte Bild eine bildliche Darstellung derselben Objekte haben wird, die im zweiten Bild gezeigt sind.
Zusätzlich stellt das Verfahren ein effizientes Mittel einer Identifikation eines Teilbereichs des dritten Bilds einschließlich einer bildlichen Darstellung des einen oder der mehreren Objekte zur Verfügung, die in den Teilbereichen des ersten und des zweiten Bilds gezeigt sind.
Darüber hinaus wird bei verschiedenen Stufen des Verfahrens das Vorsehen von Elementen zur Anzeige durch technische Überlegungen bestimmt. Diese Überlegungen zielen ab auf ein Ermöglichen, dass der Anwender verschiedene Aufgaben effizient managt. Beispielsweise wird die technische Aufgabe des Anwenders, der ein drittes Bild für eine potentielle Modifikation auswählt, durch das liefern zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, einer Karte effizienter gemacht, die eine erste Markierung enthält, die eine Stelle anzeigt, wo ein Bild für nur ein Datum verfügbar ist, und eine zweite Markierung, die eine Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist. Weiterhin ermöglicht ein automatisches Modifizieren von Bildpixeln entsprechend dem Bereich des dritten Bilds vor einem Liefern des dritten Bilds zur Anzeige ein effizientes Mittel zur Modifikation der geeigneten Teilbereiche des dritten Bilds, dass der Anwender dann nur bestätigen muss, dass die richtigen Teilbereiche modifiziert worden sind.
Ein weiterer Aspekt der Offenbarung stellt ein System zur Verfügung, das eine oder mehrere Computervorrichtungen hat. Die eine oder mehreren Computervorrichtungen sind konfiguriert, um eine Anfrage zu empfangen, ein erstes Bild zu ändern, wobei die Anfrage wenigstens einen Teilbereich des ersten Bilds identifiziert, und eine Anzeige des Teilbereichs des ersten Bilds und eines zweiten Bilds zu liefern. Das zweite Bild ist verbunden mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines Objekts, das in sowohl dem ersten Bild als auch dem zweiten Bild gezeigt ist, und mit Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Die eine oder mehreren Computervorrichtungen sind auch konfiguriert, eine Eingabe zu empfangen, die einen Bereich des zweiten Bilds identifiziert, und ein drittes Bild basierend auf Datumsinformation zu identifizieren, die identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Das dritte Bild ist verbunden mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche des im dritten Bild gezeigten Objekts. Die eine oder mehreren Computervorrichtungen sind auch konfiguriert, einen Bereich des dritten Bilds basierend auf den mit dem dritten Bild verbundenen dreidimensionalen Geometriedaten, den mit dem zweiten Bild verbundenen dreidimensionalen Geometriedaten und dem Bereich des Bilds zu bestimmen, und der eine oder die mehreren Prozessoren sind auch konfiguriert, Information, die den Bereich des dritten Bilds identifiziert, zur Anzeige mit dem dritten Bild zu liefern.
Bei einem Beispiel sind die eine oder mehreren Computervorrichtungen auch konfiguriert, zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, einen Hinweis zu liefern, dass das dritte Bild verfügbar ist. Bei einem anderen Beispiel sind die eine oder mehreren Computervorrichtungen weiterhin konfiguriert, zur Anzeige den Hinweis in einem ersten Zustand zu liefern, wenn das dritte Bild durch eine Bedienperson nicht angeschaut worden ist, und zur Anzeige den Hinweis in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, zu liefern, wenn das dritte Bild durch die Bedienperson angeschaut worden ist. Bei einem anderen Beispiel sind die eine oder mehreren Computervorrichtungen auch konfiguriert, zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, eine Karte zu liefern, die eine erste Markierung enthält, die eine Stelle anzeigt, wo nur ein Bild für nur ein Datum verfügbar ist, und eine zweite Markierung, die eine zweite Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist. Bei einem anderen Beispiel sind die eine oder mehreren Computervorrichtungen auch konfiguriert, zur Anzeige die zweite Markierung in einem ersten Zustand zu liefern, wenn keine Bilder der Gruppe von Bildern durch eine Bedienperson angeschaut worden sind, und zur Anzeige den Hinweis in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, zu liefern, wenn wenigstens ein Bild der Gruppe von Bildern durch die Bedienperson angeschaut worden ist. Bei einem anderen Beispiel sind die eine oder mehreren Computervorrichtungen weiterhin konfiguriert, eine Eingabe zu empfangen, die den Bereich des zweiten Bilds bestätigt, den Bereich des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds zu ändern und das Bestimmen des Bereichs des dritten Bilds durchzuführen, nachdem die Eingabe empfangen ist, die den Bereich des zweiten Bilds bestätigt. Bei einem anderen Beispiel sind die eine oder mehreren Computervorrichtungen auch konfiguriert, eine Eingabe zu empfangen, die den Bereich des dritten Bilds bestätigt, und den Bereich des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds zu ändern. Bei einem anderen Beispiel sind die eine oder mehreren Computervorrichtungen auch konfiguriert, Bildpixel entsprechend dem Bereich des dritten Bilds vor einem Liefern des dritten Bilds zur Anzeige automatisch zu modifizieren.
Das System stellt dadurch eine technische Art eines Ermöglichens einer effizienten Modifikation von entsprechenden Teilbereichen von mehreren bzw. multiplen Bildern zur Verfügung. Detaillierter stellt das System ein technisches Mittel zum Ermöglichen einer effizienten Modifikation basierend auf einer Anfrage zum Ändern eines Teilbereichs eines ersten Bilds von entsprechenden Teilbereichen von einem oder mehreren weiteren Bildern zur Verfügung.
Beispielsweise ermöglicht das System eine effiziente Identifikation eines zweiten Bilds, das wahrscheinlich eine bildliche Darstellung von einem oder mehreren Objekten enthält, die im Teilbereich des ersten Bilds gefunden sind.
Darüber hinaus ermöglicht das System durch Liefern des Teilbereichs des ersten Bilds und des zweiten Bilds zur Anzeige einem Anwender, die technische Aufgabe eines Identifizierens eines Teilbereichs einschließlich einer bildlichen Darstellung des einen oder der mehreren Objekte, die im Teilbereich des ersten Bilds gezeigt sind, effizient zu managen und diese einzugeben. Als solches wird das Anzeigen des Teilbereichs des ersten Bilds und des zweiten Bilds durch technische Überlegungen bestimmt.
Weiterhin ermöglicht das System eine effiziente Identifikation des dritten Bilds, das wahrscheinlich eine bildliche Darstellung des einen oder der mehreren Objekte enthält, die in den Teilbereichen der ersten und zweiten Bilder gefunden sind. Beispielsweise wird dies teilweise erleichtert bzw. ermöglicht durch das System, das das dritte Bild basierend auf Datumsinformation identifiziert, die Identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Detaillierter kann das System beispielsweise das dritte Bild als ein Bild identifizieren, das während einer Zeitperiode aufgenommen ist, in welcher das zweite Bild aufgenommen wurde, was bedeutet, dass es eine erhöhte Wahrscheinlichkeit gibt, dass das dritte Bild eine bildliche Darstellung derselben Objekte haben wird, die im zweiten Bild gezeigt sind.
Zusätzlich stellt das System ein effizientes Mittel einer Identifikation eines Teilbereichs des dritten Bilds einschließlich einer bildlichen Darstellung des einen oder der mehreren Objekte, die in den Teilbereichen der ersten und zweiten Bilder gezeigt sind, zur Verfügung.
Darüber hinaus wird das Liefern von verschiedenen Elementen zur Anzeige durch das System durch technische Überlegungen bestimmt. Diese Überlegungen zielen ab auf ein Ermöglichen, dass der Anwender verschiedene technische Aufgaben effizient managt. Beispielsweise wird die technische Aufgabe des Anwenders, der ein drittes Bild für eine potentielle Modifikation auswählt, durch das Liefern zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, einer Karte effizienter gemacht, die eine erste Markierung enthält, die eine Stelle anzeigt, wo ein Bild für nun ein Datum verfügbar ist, und eine zweite Markierung, die ein zweite Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist. Weiterhin ermöglicht ein automatisches Modifizieren von Bildpixeln entsprechend dem Bereich des dritten Bilds vor einem Liefern des dritten Bilds zur Anzeige ein effizientes Mittel zur Modifikation der geeigneten Teilbereiche des dritten Bilds, da der Anwender dann nur bestätigen muss, dass die richtigen Teilbereiche modifiziert worden sind.
Ein weiterer Aspekt der Offenbarung stellt ein nichtflüchtiges computerlesbares Speichermedium zur Verfügung, auf welchem computerlesbare Anweisungen eines Programms gespeichert sind. Die Anweisungen veranlassen dann, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, dass der eine oder die mehreren Prozessoren ein Verfahren durchführen. Das Verfahren enthält ein Empfangen einer Anfrage, ein erstes Bild zu ändern. Die Anfrage identifiziert wenigstens einen Teilbereich des ersten Bilds. Das Verfahren enthält auch ein Bereitstellen bzw. Liefern des Teilbereichs des ersten Bilds und eines zweiten Bilds zur Anzeige. Das zweite Bild ist verbunden mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines Objekts, das in sowohl dem ersten Bild als auch dem zweiten Bild gezeigt ist, und mit Datumsinformation, die anzeigt, wann das zweite Bild erfasst wurde. Das Verfahren enthält ein Empfangen einer Eingabe, die einen Bereich des zweiten Bilds identifiziert, und ein Identifizieren, eines dritten Bilds basierend auf Datumsinformation, die Identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Das dritte Bild ist verbunden mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche des im dritten Bild gezeigten Objekts. Das Verfahren enthält auch ein Bestimmen eines Bereichs des dritten Bilds basierend auf den mit dem dritten Bild verbundenen dreidimensionalen Geometriedaten, den mit dem zweiten Bild verbundenen dreidimensionalen Geometriedaten und dem Bereich des zweiten Bilds und das Verfahren enthält ein Bereitstellen von Information, die den Bereich des dritten Bilds identifiziert, zur Anzeige mit dem dritten Bild.
Bei einem Beispiel enthält das Verfahren auch ein Bereitstellen bzw. Liefern zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, einer Karte, die eine erste Markierung enthält, die eine Stelle anzeigt, wo nur ein Bild für nur ein Datum verfügbar ist, und eine zweite Markierung, die eine zweite Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist. Bei einem anderen Beispiel enthält das Verfahren auch ein Empfangen einer Eingabe, die den Bereich des zweiten Bilds bestätigt, und ein Ändern des Bereichs des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds. Bei diesem Beispiel wird ein Bestimmen des Bereichs des dritten Bilds durchgeführt, nachdem die Eingabe empfangen ist, die den Bereich des zweiten Bilds bestätigt. Bei einem andern Beispiel enthält das Verfahren auch ein Empfangen einer Eingabe, die den Bereich des dritten Bilds bestätigt, und ein Ändern des Bereichs des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein funktionelles Diagramm eines beispielhaften Systems gemäß Aspekten der Offenbarung.
2 ist ein piktografisches Diagramm des beispielhaften Systems der 1.
3 ist ein beispielhaftes Diagramm von Bildsammelstellen gemäß Aspekten der Offenbarung.
4 ist ein beispielhaftes Bildschirmfoto gemäß Aspekten der Offenbarung.
5 ist ein beispielhaftes Diagramm von Identifizierenden Bildern gemäß Aspekten der Offenbarung.
6 ist ein beispielhaftes Bildschirmfoto gemäß Aspekten der Offenbarung.
7 ist eine detaillierte Ansicht von einigen der Merkmale des beispielhaften Bildschirmfotos der 6.
8 ist ein weiteres beispielhaftes Bildschirmfoto gemäß Aspekten der Offenbarung.
9 ist ein weiteres beispielhaftes Bildschirmfoto gemäß Aspekten der Offenbarung.
10 ist ein beispielhaftes Ablaufdiagramm gemäß Aspekten der Offenbarung.
DETAILLIERTE BESCHREIBUNG
ÜBERBLICK
Die Technologie bezieht sich auf ein Verzerren oder sonstiges Ändern von Bildern, wie beispielsweise Straßenniveaubildern, basierend auf Anwenderanfragen. Beispielsweise kann ein Anwender durch verschiedene Straßenniveaubilder browsen und eine Anfrage vorlegen bzw. einreichen, dass ein bestimmtes Objekt, wie beispielsweise ein Gebäude oder ein Fahrzeug, verzerrt wird, wenn es durch andere Anwender angeschaut wird. Um dies durchzuführen, kann der Anwender ein Bild in einen Viewport einstellen, so dass das Objekt im Zentrum des Viewports erscheint. Alternativ dazu kann der Anwender ein Bild einschließlich des Objekts auswählen, um das Objekt (ohne einen spezifischen Teilbereich eines Bilds zu identifizieren) anzuzeigen, das Objekt in einem Bild durch Ziehen eines Kastens oder einer Begrenzung um das Objekt markieren, das Objekt durch Bereitstellen einer Lokalisierung identifizieren, etc. Wenn die Anfrage einmal vorgelegt bzw. eingericht ist, kann die Anfrage zur Überprüfung durch eine Bedienperson in eine Warteschlange eingegeben werden. Die Bedienperson kann dann manuell Bilder des Objekts überprüfen und das zu verzerrende Objekt markieren. In dem Fall, in welchem es mehrere unterschiedliche Bilder desselben Objekts gibt, die zu unterschiedlichen Zeiten erfasst sind, kann das Objekt ebenso gut auch in diesen Bildern verzerrt werden. Als Ergebnis würden andere Anwender, die das verzerrte Bild anschauen, das Objekt nicht anschauen können.
Die oben beschriebenen Bilder können Straßenniveaupanoramabilder enthalten. Jedes dieser Panoramabilder kann durch eine Kameravorrichtung erfasst worden sein, die an ein Fahrzeug montiert ist, wenn das Fahrzeug eine Straße entlang gefahren wird. Wenn das Panoramabild erfasst ist, kann die Kameravorrichtung oder eine andere Vorrichtung Lokalisierungs- und Orientierungsinformation entsprechend einer zwei- oder dreidimensionalen (2D oder 3D) Lokalisierung des Panoramabilds identifizieren und assoziieren. Zusätzlich zu dem Bild und der Lokalisierung bzw. der Stelle kann jedes Bild auch mit 3D-Geometrieinformation entsprechend Punkten auf der Oberfläche von irgendwelchen Objekten in diesem Panoramabild verbunden bzw. assoziiert sein. Beispielsweise kann, wenn das Fahrzeug die Straße entlang gefahren wird, ein Laser verwendet werden, um Laserdaten- oder Lichtintensitätsinformation zu sammeln, die verwendet wird, um dreidimensionale Punkte auf der Oberfläche von Objekten zu bestimmen. Diese Objekte werden Objekten entsprechen, die in einem Panoramabild enthalten sind, das bei etwa derselben Stelle wie die Laserdaten erfasst wurde. Bei anderen Beispielen kann die 3D-Geometrie aus den gesammelten Bildern unter Verwendung von Bildverarbeitungstechniken abgeleitet werden, wie beispielsweise Structure from Motion oder anderen Computervisonsalgorithmen.
Wenn eine Anfrage einmal an der Spitze einer Warteschlange einer Bedienperson ist kann die Bedienperson das Referenzbild in der Anfrage anschauen. Die Bedienperson kann dann ein Bild für Irgendeinen gegebenen Zeitrahmen, wie beispielsweise Datum und Zeit für Sammlungen für die Bilder, auswählen und eine Liste von Bildern aus anderen zu überprüfenden Zeitrahmen anschauen. Information, die die Stellen von benachbarten zu überprüfenden Bildern anzeigt, kann auch beispielsweise unter Verwendung einer Kartenansicht angezeigt werden. Diese benachbarten Bilder sowie die Liste von Bildern aus anderen Zeitrahmen kann basierend auf einer Nähe zum Referenzbild ausgewählt werden. Beispielsweise können Bilder zur Überprüfung basierend auf einem 2D-Abstand von dem Referenzbild ausgewählt werden. Dieser Abstand kann irgendein vernünftiger Wert sein und kann basierend auf den Notwendigkeiten des Systems und des Typs einer bildhaften Darstellung, die erfasst wird, eingestellt werden.
Die Bedienperson kann dann das Objekt im Referenzbild der Anfrage identifizieren und einen Begrenzungskasten um das Objekt in einem entsprechenden zu verzerrenden Bild ziehen oder dieses auf andere Weise identifizieren. Wenn die Bedienperson einmal zufriedengestellt ist, kann sie den Begrenzungskasten unter Verwendung verschiedener Eigenschaften bzw. Features sichern. Nachdem der anfängliche Begrenzungskasten gesichert ist, kann das System irgendwelche Objekte innerhalb des Kastens automatisch verzerren oder auf andere Weise ändern.
Um das Verzerren oder Ändern auf andere Bilder des Objekts auszubreiten, kann die Bedienperson zu einer Ansicht eines zweiten Bilds schalten, wie beispielsweise eines Bilds, das verbunden ist mit dem entsprechenden Bild, das es während eines anderen Zeitrahmens gab. In Reaktion darauf kann das System einen vorgeschlagenen Begrenzungskasten basierend auf dem für das entsprechende Bild gezogenen Begrenzungskasten automatisch berechnen. Beispielsweise kann die 3D-Geometrie, die mit sowohl dem entsprechenden Bild als auch dem zweiten Bild verbunden ist, verwendet werden, um sich dem vorgeschlagenen Begrenzungskasten anzunähern. Diesbezüglich kann der Begrenzungskasten auf die 3D-Oberflächen des entsprechenden Bilds projiziert werden und die 3D-Stellen von dieser Projektion können verwendet werden, um einen vorgeschlagenen Begrenzungskasten im zweiten Bild zu ziehen. Die Bedienperson kann dann den vorgeschlagenen Begrenzungskasten einstellen, ersetzen oder auf andere Weise rekonfigurieren, bis sie zufriedengestellt ist, und die Änderungen sichern, so dass dieser Begrenzungskasten auch verzerrt oder auf andere Weise geändert werden wird.
Alternativ dazu kann, eher als dass er der Bedienperson als Vorschlag erscheint, der Begrenzungskasten tatsächlich bis zu irgendeinem der anderen zugehörigen Bilder ausgebreitet werden, so dass sie automatisch verzerrt oder geändert werden. Bei diesem Beispiel kann die Bedienperson die verzerrten Bereiche oder Begrenzungskästen (unverzerrt) überprüfen, um zu bestätigen, dass sie richtig sind, etc.
Um der Bedienperson zu helfen nachzuverfolgen, welche Bilder sie überprüft oder besucht hat (ob ein Begrenzungskasten für das Bild gesichert worden ist oder nicht), können verschiedene Indikatoren verwendet werden. Als erstes Beispiel kann zugehörige Bildinformation auf eine erste Weise angezeigt werden, wie beispielsweise blinkend oder fettgedruckt oder verblasst, bis die Bedienperson das Bild angeschaut hat, wonach sie auf eine zweite Weise angezeigt werden kann, wie beispielsweise nicht blinkend oder nicht fettgedruckt oder nicht verblasst. Zusätzlich kann die Karteninformation in einer ersten Farbe angezeigt werden, wenn ein Bild und seine zugehörigen Bilder nicht überprüft worden sind, und in einer zweiten Farbe, wenn das Bild und seine zugehörigen Bilder überprüft worden sind.
Zusätzlich können, da neue Bilder, die während neuer oder späterer Zeitrahmen erfasst werden, zu den Bildern hinzugefügt werden, die Anwendern verfügbar sind, die oben beschriebenen Merkmale auch verwendet werden, um ein Verzerren auf diese neuen Bilder auszubreiten. Andere Informationshinweise zum Unterstützen der Bedienperson können auch angezeigt werden, wie beispielsweise ein Pfeil, der die Orientierung eines Objekts, das verzerrt worden ist, relativ zu einem Satelliten oder einem Kartenabbild anzeigt.
Die oben beschriebenen Merkmale stellen ein technisches Werkzeug zur Verfügung, um zuzulassen, das seine Bedienperson die technische Aufgabe eines Identifizierens von Regionen schnell und auf einfache Weise durchführt, die in Bildern verzerrt oder auf andere Weise geändert werden sollten, die während unterschiedlicher Zeitrahmen erfasst wurden, oder vielmehr während unterschiedlicher Daten und Zeiten.
BEISPIELHAFTE SYSTEME
Die 1 und 2 enthalten ein beispielhaftes System 100, in welchem die hierin beschriebenen Merkmale implementiert sein können. Es sollte nicht als den Schutzumfang der Offenbarung oder Nützlichkeit der hierin beschriebenen Merkmale beschränkend angesehen werden. Bei diesem Beispiel kann das System 100 eine oder mehrere Computervorrichtungen 110, 120, 130 und 140, ein Speichersystem 150 sowie Sammelvorrichtungen 160 und 170 enthalten. Eine oder mehrere Computervorrichtungen 110 können einen oder mehrere Prozessoren 112, einen Speicher 114 und andere Komponenten, die typischerweise in Computervorrichtungen für allgemeine Anwendungen vorhanden sind. Der Speicher 114 der einen oder mehreren Computervorrichtungen 110 kann Information speichern, auf die durch einen oder mehrere Prozessoren 112 zugreifbar ist, einschließlich Anweisungen 16, die durch den einen oder die mehreren Prozessoren 112 ausgeführt werden können.
Der Speicher kann auch Daten 118 enthalten, die durch den Prozessor wiedergewonnen bzw. ausgelesen, manipuliert oder gespeichert werden können. Der Speicher kann von irgendeinem nichtflüchtigen Typ sein, der Information speichern kann, die durch den Prozessor zugreifbar ist, wie beispielsweise eine Festplatte, eine Speicherkarte, ROM, RAM, DVD, CD-ROM, beschreibbare und Nurlese-Speicher.
Die Anweisungen 116 können irgendeine Gruppe von Anweisungen sein, um durch den Prozessor direkt ausgeführt zu werden, wie beispielsweise Maschinencode, oder indirekt, wie beispielsweise Scripts. Diesbezüglich können die Ausdrücke ”Anweisungen”, ”Anwendung”, ”Schritte” und ”Programme” hierin austauschbar verwendet werden. Die Anweisungen können im Objektcodeformat zur direkten Verarbeitung durch den Prozessor gespeichert werden, oder in irgendeiner anderen Computervorrichtungssprache einschließlich Scripts oder Sammlungen von unabhängigen Quellcodemodulen, die auf eine Anforderung hin interpretiert oder im Voraus kompiliert werden. Funktionen, Verfahren und Routinen bzw. Programmabläufe der Anweisungen werden nachfolgend detaillierter erklärt.
Daten 118 können durch den Prozessor 112 gemäß den Anweisungen 116 wiedergewonnen, gespeichert oder modifiziert werden. Beispielsweise können, obwohl der hierin beschriebene Hauptgegenstand nicht durch irgendeine besondere Datenstruktur beschränkt ist, die Daten in Computerregistern, in einer Bezugsdatenbank als eine Tabelle mit vielen unterschiedlichen Feldern und Aufzeichnungen oder XML-Dokumenten gespeichert werden. Die Daten können auch in irgendeinem computervorrichtungslesbaren Format formatiert werden, wie beispielsweise, aber nicht darauf beschränkt, binären Werten, ASCII oder Unicode. Darüber hinaus können die Daten irgendeine Information umfassen, die ausreichend ist, um die relevante Information zu identifizieren, wie beispielsweise Zahlen, beschreibender Text, Eigentumscode, Zeiger, Referenzen auf Daten, die in anderen Speichern gespeichert sind, wie beispielsweise an anderen Netzwerkstellen, oder Information, die durch eine Funktion verwendet wird, um die relevanten Daten zu berechnen.
Der eine oder die mehreren Prozessoren 112 können irgendwelche herkömmlichen Prozessoren sein, wie beispielsweise eine auf dem Markt erhältliche CPU. Alternativ dazu kann der Prozessor eine bestimmte Komponente sein, wie beispielsweise ein ASIC oder ein anderer auf Hardware basierender Prozessor. Obwohl es nicht notwendig ist, können die eine oder mehreren Computervorrichtungen 110 spezialisierte Hardwarekomponenten enthalten, um spezifische Rechenprozesse schneller und effizienter durchzuführen, wie beispielsweise ein Decodieren von Video, ein Anpassen von Videoframes an Bilder, ein Verzerren von Videos, ein Codieren verzerrter Videos, etc.
Obwohl 1 den (die) Prozessor(en), den Speicher und andere Elements der Computervorrichtung 110 derart funktionell darstellt, dass sie innerhalb desselben Blocks sind, können der Prozessor, der Computer, die Computervorrichtung oder der Speicher tatsächlich mehrere Prozessoren, Computer, Computervorrichtungen oder Speicher umfassen, die innerhalb desselben physikalischen Gehäuses gelagert sein können oder nicht. Beispielsweise kann der Speicher eine Festplatte oder andere Speichermedien sein, die in einem oder mehreren Gehäusen angeordnet sind, die unterschiedlich von denjenigen der einen oder mehreren Computervorrichtungen 110 sind. Demgemäß werden Bezugnahmen auf einen Prozessor, einen Computer, eine Computervorrichtung oder einen Speicher derart verstanden werden, dass sie Bezugnahmen auf eine Sammlung von Prozessoren, Computern, Computervorrichtungen oder Speichern enthält, die parallel arbeiten können oder nicht. Beispielsweise können die Computervorrichtungen 110 Server-Computervorrichtungen enthalten, die als eine bezüglich der Belastung ausgeglichene Serverfarm arbeiten. Darüber hinausgehend können, obwohl einige nachfolgend beschriebene Funktionen derart angezeigt sind, dass sie auf einer einzelnen Computervorrichtung mit einem einzelnen Prozessor stattfinden, verschiedene Aspekte des hierin beschriebenen Hauptgegenstands durch beispielsweise eine Vielzahl von Computervorrichtungen implementiert werden, die Information über ein Netzwerk 180 kommunizieren.
Die eine oder mehreren Computervorrichtungen 110 können an verschiedenen Knoten eines Netzwerks 180 sein und zum direkten und indirekten Kommunizieren mit anderen Knoten des Netzwerks 180 fähig sein. Obwohl in den 1–2 nur einige wenige Computervorrichtungen gezeigt sind, sollte es erkannt werden, das ein typisches System eine große Anzahl von verbundenen Computervorrichtungen enthalten kann, wobei jede unterschiedliche Computervorrichtung (sowie Sammelvorrichtung) an einem unterschiedlichen Knoten des Netzwerks 180 ist. Das Netzwerk 180 und intervenierende Knoten, die hierin beschrieben sind, können unter Verwendung verschiedener Protokolle und Systeme miteinander verbunden sein, so dass das Netzwerk Teil des Internets, vom World Wide Web, von spezifischen Intranets, von Fernnetzen oder Lokalnetzen sein kann. Das Netzwerk kann Standardkommunikationsprotokolle verwenden, wie beispielsweise Ethernet, WiFi und HTTP, Protokolle, die Eigentum von einer oder mehreren Firmen sind, und verschieden Kombinationen des vorangehenden. Obwohl gewisse Vorteile erhalten werden, wenn Information gesendet oder empfangen wird, wie es oben angemerkt ist, sind andere Aspekte des hierin beschriebenen Hauptgegenstands nicht auf Irgendeine bestimmte Weise eines Sendens von Information beschränkt.
Als ein Beispiel können die eine oder mehreren Computervorrichtungen 110 einen oder mehrere Webserver enthalten, die mit dem Speichersystem 150 sowie den Computervorrichtungen 120, 130 und 140 über das Netzwerk kommunizieren können. Beispielsweise können die eine oder mehreren Computervorrichtungen 110 das Netzwerk 180 verwenden, um Information zu einem Anwender, wie beispielsweise einem Anwender 220, 230 oder 240, zu senden und auf einer Anzeige, wie beispielsweise Anzeigen 122, 132 oder 142, von Computervorrichtungen 120, 130 und 140 zu präsentieren. Diesbezüglich können die Computervorrichtungen 120, 130 und 140 als Client-Computervorrichtungen angesehen werden und können alle oder einige der nachfolgend beschriebenen Merkmale durchführen.
Jede der Client-Computervorrichtungen kann ähnlich bzw. gleich den Server-Computervorrichtungen 110 mit einem oder mehreren Prozessoren, einem Speicher und Anweisungen konfiguriert sein, wie es oben beschrieben ist. Jede Client-Computervorrichtung 120, 130 oder 140 kann eine Personalcomputervorrichtung sein, die zur Verwendung durch einen Anwender 220, 250, 250 beabsichtigt ist, und alle der Komponenten haben, die normalerweise in Verbindung mit einer Personalcomputervorrichtung verwendet werden, wie beispielsweise eine zentrale Verarbeitungseinheit (CPU), einen Speicher (z. B. RAM und interne Festplatten), der Daten und Anweisungen speichert, eine Anzeige, wie beispielsweise Anzeigen 122, 132 oder 142 (z. B. einen Monitor mit einem Bildschirm, einen Berührungsbildschirm, einem Projektor, einem Fernseher oder einer anderen Vorrichtung, die betreibbar ist, um Information anzuzeigen), und eine Anwendereingabevorrichtung 124 (z. B. eine Maus, eine Tastatur, ein Berührungsbildschirm oder ein Mikrofon). Die Client-Computervorrichtung kann auch eine Kamera zum Aufzeichnen von Videostreams, Lautsprecher, eine Netzwerkschnittstellenvorrichtung und alle der Komponenten, die zum Verbinden dieser Elemente miteinander verwendet werden, enthalten.
Obwohl die Client-Computervorrichtungen 120, 130 und 140 jeweils eine vollständige Personalcomputervorrichtung umfassen können, können sie alternativ dazu mobile Computervorrichtungen umfassen, die Daten mit einem Server über ein Netzwerk, wie beispielsweise das Internet, drahtlos austauschen können. Nur anhand eines Beispiels kann die Client-Computervorrichtung 120 ein Mobiltelefon oder eine Vorrichtung, wie beispielsweise ein wireless-fähiger PDA, ein Tablett-PC oder ein Netbook, die Information über das Internet erhalten kann. Bei einem anderen Beispiel kann die Client-Computervorrichtung 120 ein am Kopf angebrachtes Computersystem sein. Als Beispiel kann der Anwender Information unter Verwendung einer kleinen Tastatur, einer Folientastatur bzw. eines Tastenwahlblocks, eines Mikrofons, unter Verwendung visueller Signale mit einer Kamera oder eines Berührungsbildschirms eingeben.
Das Speichersystem 150 kann verschieden Typen von Information speichern. Wie es nachfolgend detaillierter beschrieben ist, kann das Speichersystem 150 Bilder speichern, wie beispielsweise diejenigen, die oben derart beschrieben sind, dass sie ein Gesichtsfeld haben, das größer als dasjenige des menschlichen Auges ist, wie z. B. 180 Grad oder größer. Diesbezüglich stellen hierin beschriebene beispielhafte Panoramabilder eine 360-Grad-Ansicht einer Stelle zur Verfügung, obwohl andere Typen von Bildern auch verwendet werden können. Zusätzlich kann jedes Panoramabild mit geografischer Lokalisierungs- bzw. Stelleninformation verbunden sein, die die Stelle anzeigt (wie beispielsweise Breitengrad oder Längengrad oder andere Stellenkoordinaten), und in einigen Fällen die Orientierung (die Fahrtrichtung bzw. den Kurs), bei welcher das Panoramabild erfasst wurde (z. B. welcher Teil des Panoramabilds in Richtung ”Norden” orientiert ist, etc.), sowie eine Zeitstempelinformation, die das Datum und die Zeit anzeigt, zu welcher das Panoramabild erfasst wurde.
Das Speichersystem 150 kann auch 3D-Geometriedaten speichern. Wie es oben erklärt und detaillierter beschrieben ist, können diese 3D-Daten Punkten auf der Oberfläche von irgendwelchen Objekten in der Vielzahl von Panoramabildern entsprechen. Die 3D-Geometriedaten können die Position (x, y, z) von Punkten relative zu einen bestimmten Koordinatensystem zur Verfügung stellen (z. B. relativ zu einer Position eines LIDAR-Systems, das die Geometriedaten erzeugte, oder eines globalen Positioniersystems (GPS), wie beispielsweise Breitengrad-, Längengrad- und Höhenlagenkoordinaten).
Das Speichersystem 150 kann auch Karteninformation speichern. Die Karteninformation kann eine auf einem Bild basierende Karte sein oder kann eine Vielzahl von Vektoren enthalten, die verwendet werden, um die Form, die Orientierung und andere Charakteristiken von Straßen zu identifizieren, die verwendet werden, um eine Karte anzuzeigen. Diesbezüglich können die Straßen in diskrete Straßensegmente aufgeteilt werden. Als Beispiel kann eine Sammlung von solchen Straßensegmenten (oder Vektoren) verwendet werden, um eine Karte anzuzeigen.
Wie beim Speicher 114 kann das Speichersystem 150 von irgendeinem Typ eines computerbasierten Speichers sein, der Information speichern kann, auf die durch den Server zugreifbar ist, wie beispielsweise eine Festplatte, eine Speicherkarte, ein ROM, ein RAM, eine DVD, ein CD-ROM, beschreibbare und Nurlese-Speicher. Zusätzlich kann das Speichersystem 150 ein verteiltes Speichersystem enthalten, wo Daten auf einer Vielzahl von unterschiedlichen Speichervorrichtungen gespeichert sind, die physikalisch an denselben oder unterschiedlichen Stellen bzw. Orten angeordnet sein können. Das Speichersystem 150 kann mit den Computervorrichtungen über das Netzwerk 180 verbunden sein, wie in 1 gezeigt ist, und/oder kann direkt mit irgendeiner der Computervorrichtungen 110–140 verbunden oder in diese eingebaut sein (nicht gezeigt).
Sammelvorrichtungen 160 und 170 können eine Computervorrichtung enthalten, die gleich bzw. ähnlich einer der Server-Computervorrichtungen oder Client-Computervorrichtungen mit einem Prozessor und einem Speicher, der Daten und Anweisungen speichert, konfiguriert sein (in 1 der Einfachheit halber nicht gezeigt). Die Sammelvorrichtung 160 und 170 kann auch alle oder einige der Bilder des Speichersystems 150 zur Verfügung stellen. Jede der Sammelvorrichtungen 160 und 170 kann eine Kamera oder eine andere Informationssammelvorrichtung enthalten. Beispielsweise kann die Sammelvorrichtung 160 eine an einem Fahrzeug montierte Kamera 162 enthalten. Wenn das Fahrzeug eine Straße entlang gefahren wird, kann die Kamera der Sammelvorrichtung 160 Panoramabilder erfassen. Diesbezüglich können alle oder einige der Panoramabilder des Speichersystems 150 als ”Straßenniveaubilder” angesehen werden. Als anderes Beispiel kann die Sammelvorrichtung 170 ein Kamera-Rig enthalten, das an einem Rucksack angebracht ist (z. B. für Fußpfade und andere Nichtstraßenbereiche), eine Smartphone-Kamera, eine bestimmte Kameravorrichtung, etc., womit eine Person spazieren geht, Fahrrad fährt oder sich auf andere Weise in einer Gegend herum bewegt, um Panoramabilder zu erfassen. Zusätzlich zu einem Erfassen von Bildern können die Sammelvorrichtungen und/oder kann die Kamera konfiguriert sein, um jedes Panoramabild mit einem Zeitstempel zu versehen, der das Datum und die Zeit anzeigt, zu welcher das Bild erfasst wurde. Die erfassten Panoramabilder und Zeitstempel können zu dem Speichersystem 150 hochgeladen oder heruntergeladen werden.
Jede der Sammelvorrichtungen 160 oder 170 kann ein Positionssystem 164 enthalten, um die relative oder absolute Position der Kamera auf einer Karte oder auf der Erde zu bestimmen, wenn ein Bild erfasst wird. Beispielsweise kann das Positionssystem 164 einen GPS-Empfänger enthalten, um die Breitengrad-, Längengrad- und/oder Höhenlagenposition der Vorrichtung zu bestimmen und eine 2D- oder 3D-Stelle zur Verfügung zu stellen, bei welcher jedes Panoramabild durch die Sammelvorrichtung erfasst wurde. Andere Lokalisierungssysteme, wie beispielsweise laserbasierte Lokalisierungssysteme, trägheitsunterstütztes GPS, Trilateration/Triangulation oder eine kamerabasierte Lokalisierung, können auch verwendet werden, um die Stelle bzw. Lokalisierung des Fahrzeugs zu identifizieren. Die Lokalisierung des Fahrzeugs kann eine absolute geografische Lokalisierung enthalten, wie beispielsweise einen Breitengrad, einen Längengrad und eine Höhenlage, sowie relative Lokalisierungsinformation, wie beispielsweise eine Lokalisierung relative zu anderen Autos direkt um es herum, was oft mit weniger Rauschen als eine absolute Lokalisierung bestimmt werden kann.
Das Positionierungssystem 164 kann auch andere Vorrichtung enthalten, die in Kommunikationsverbindung mit der Kamera oder der Sammelvorrichtung sind, wie beispielsweise ein Beschleunigungsmesser, ein Gyroskop oder eine andere Richtung/Geschwindigkeit-Detektionsvorrichtung, um die Orientierung der Kamera 162 zu bestimmen, wenn das Panoramabild erfasst wurde. Nur anhand eines Beispiels kann eine Beschleunigungsvorrichtung ihre Neigung, ihre Gierrate oder ihre Schlingerbewegung (oder Änderungen daran) relativ zu der Richtung der Schwerkraft oder einer Ebene senkrecht dazu bestimmen. Die Vorrichtung kann auch Erhöhungen oder Erniedrigungen bezüglich einer Geschwindigkeit und die Richtung von solchen Änderungen verfolgen.
Die Bereitstellung von Lokalisierungs- und Orientierungsdaten durch die Sammelvorrichtung, wie sie hierin dargelegt ist, kann mit den Panoramadaten verbunden werden, wenn sie erfasst und automatisch zu der Speichervorrichtung 150, anderen Computervorrichtungen und Kombination aus den vorangehenden geliefert bzw. bereitgestellt werden. Obwohl die Kamera 162 und das Positionssystem 164 innerhalb der Sammelvorrichtung 160 gezeigt sind, können diese Komponenten in demselben physikalischen Gehäuse enthalten sein oder nicht. Diesbezüglich kann das Positionssystem 164 eine von der Kamera 162 unterschiedliche Vorrichtung sein, so dass beide Komponenten die 2D- oder 3D-Lokalisierungsinformation und Orientierungsinformation und Panoramabilder zu der Sammelvorrichtung ausgeben, die dies Ausgaben verarbeitet, um die miteinander zu verbinden und sie zum Speichersystem 150 zu liefern.
Bei einigen Beispielen kann die Sammelvorrichtung 160 ein LIDAR-System 166 enthalten, das einen Laser zum Erzeugender oben beschriebenen 3d-Geometriedaten enthält. Beispielsweise kann, da ein Fahrzeug die Straße entlang gefahren wird, ein LIDAR-System verwendet werden, um Laserdaten zu sammeln, oder Lichtintensitätsinformation, welche in 3D-Punkte auf der Oberfläche von Objekten umgewandelt wird. Diese Objekte werden Objekten entsprechen, die in einem Panoramabild enthalten sind, das durch eine Kamera, wie beispielsweise die Kamera 162, bei nahezu derselben geografischen Lokalisierung bzw. Stelle wie die Laserdaten erfasst wurde.
BEISPIELHAFTE VERFAHREN
Vor einem Verarbeiten von Verzerrungsanfragen, wie sie oben diskutiert sind, müssen die Bilder des Speichersystems 150 (von welchen wenigstens einige Straßenniveaubilder sind) zuerst erfasst und gespeichert werden. Wie es oben angegeben ist, können diese Bilder durch eine an einem Fahrzeug (oder einer anderen Vorrichtung) montierte Kamera erfasst werden. Diesbezüglich können Bilder, wie beispielsweise Panorama- und Nicht-Panoramabilder in einer Sequenz bzw. Folge erfasst werden, wen die Kamera weiter bewegt wird. Jedes Bild kann mit 2D- oder 3D-Lokalisierungs- und Orientierungsinformation entsprechend der geografischen Lokalisierung bzw. Stelle verbunden werden, wo das Bild erfasst wurde, sowie einem Zeitstempel, der das Datum und die Zeit anzeigt, wann das Bild erfasst wurde. Beispielsweise kann, da eine Sammelvorrichtung, wie beispielsweise die Sammelvorrichtung 160, herum bewegt wird, wie beispielsweise durch Fahren eines Fahrzeugs eine Straße entlang, die Kamera 162 Panoramabilder erfassen. Gleichzeitig kann das Positionssystem 164 GPS oder andere Lokalisierungskoordinaten für jedes durch die Kamera 162 erfasstes Panoramabild zur Verfügung stellen. Wenn die Sammelvorrichtung 160 eine Reihe von Bildern an einem gegebenen Datum (beispielsweise am 1. Jan. 2013 oder am 1. Feb. 2013) erfasst, kann ein separater Zeitrahmen berücksichtigt werden.
3A ist ein beispielhaftes Diagramm 300 einer Ansicht aus der Vogelperspektive von einem Teilbereich einer Straße s302, die sechs Spuren 304, 306, 308, 312, 314 und 316 enthält. Die sechs Spuren sind durch doppelte Spurlinien 310 in zwei Abschnitte aufgeteilt. Diejenigen, die oberhalb der doppelten Spurlinien 310 erscheinen, sind nach Westen gehende Spuren, während diejenigen, die unterhalb sind, nach Osten gehend sind. Bei diesem Beispiel entsprechen die Kreise den 2D-Lokalisierungen (x, y) von Straßenniveaubildern. Diese Kreise oder Bilder sind in fünf unterschiedlichen Zeitrahmen 320–328 angeordnet. Wiederum kann jeder Zeitrahmen einem spezifischen Datum und einem Bereich von Zeiten entsprechen (beispielsweise dem 1. Juni 2013 von 10:00 vormittags bis zu 3:00 nachmittags, dem 1. Juni 2013, Juni 2013), zu welchen eine Sammelvorrichtung die Bilder von diesem Zeitrahmen erfasste. Bei diesem Beispiel erscheinen die Bilder der Zeitrahmen 320, 322 und 324 in den nach Westen gehenden Spuren 304, 306 und 308, während die Bilder der Zeitrahmen 326 und 328 in den nach Osten gehenden Spuren 312 und 314 (aber ohne 316) erscheinen. Hier sind die Bilder Straßenniveau-Panoramabilder. Das Straßenniveau-Panorama des Zeitrahmens 320 wurde durch die Kamera 162 der Sammelvorrichtung 160 gesammelt, da das Fahrzeug entlang der Spur 304 der Straße 302 gefahren wurde. Die Straßenniveau-Panoramabilder der Zeitrahmen 322–328 können durch dieselbe oder eine andere Sammelvorrichtung gesammelt worden sein, aber jedes der Bilder von jedem Zeitrahmen entspricht einem anderen Sammeldatum. Bei dem Beispiel der 3A treten die Bilder der anderen Zeitrahmen der Klarheit halber in anderen Zeitrahmen auf, aber die muss nicht notwendigerweise der Fall sein. Bilder von mehreren Zeitrahmen (z. B. 320, 322) können in derselben Spur (z. B. 306) erscheinen.
Da die Bilder während der unterschiedlichen Zeitrahmen gesammelt werden, können auch 3D-Geometriedaten entsprechend Objekten in diesen Bildern gesammelt werden. Beispielsweise kann, da die Sammelvorrichtung 160 die Straße 302 entlang gefahren wird, Das LIDAR-System 166 verwendet werden, um Laserdaten oder Lichtintensitätsinformation entsprechend den Oberflächen von Gebäuden 330–338 zu sammeln. Wie es oben angemerkt ist, wird diese Information in dreidimensionale Punkte auf der Oberfläche dieser Gebäude umgewandelt. Somit kann diese Information Objekte beschreiben, die in einem Bild enthalten sind, das bei nahezu derselben Lokalisierung bzw. Stelle wie die Laserdaten erfasst wurde, wie beispielsweise irgendeines der Straßenniveau-Panoramabilder der Zeitrahmen 320–328. Bei anderen Beispielen kann die 3D-Geometrie aus den gesammelten Bildern unter Verwendung von Bildverarbeitungstechniken, wie beispielweise Structure from Motion oder anderen Computervisionsalgorithmen, abgeleitet werden.
Obwohl es nicht erforderlich ist, kann jedes individuelle Bild oder jeder individuelle Zeitrahmen mit seinen eigenen 3D-Geometriedaten verbunden werden. Alternativ dazu können 3D-Geometriedaten aus einem Speicher unter Verwendung der 2D- oder 3D-Lokalisierungsinformation für ein Panoramabild wiedergewonnen bzw. ausgelesen werden.
Bei einigen Fällen kann aufgrund des Rauschens, das den GPS-Koordinaten inhärent ist, die Lokalisierungs- bzw. Stelleninformation für die Bilder auch verarbeitet werden, um Rauschen in den Originaldaten zu reduzieren. Beispielsweise können Laserdaten, die beispielsweise durch ein LIDAR-System erzeugt sind, verwendet werden, um die GPS-Koordinaten eines Bilds eines Zeitrahmens zu verschieben, zu bestätigen oder auf andere Weise zu korrigieren. Zusätzlich können die GPS-Koordinaten von jedem anderen Bild eines Zeitrahmens auch verschoben werden, so dass sie bei demselben relativen Abstand von den Linien entsprechend den 3D-Geometriedaten für die Bilder von diesem verschobenen Zeitrahmen bleiben. Diese verarbeitete (oder in einigen Fällen unverarbeitete) Lokalisierungs- und Orientierungsinformation kann die Lokalisierung bzw. Stelle des Panoramabilds genannt werden.
Wie es oben angemerkt ist, können diese gesammelten Bilder verarbeitet und zu Anwendern geliefert werden. Die Verarbeitung kann ein Verzerren von Teilbereichen von Bildern enthalten, die Gesichtern von Leuten, Nummernschilder, etc. entsprechen. Ein Anwender kann dann eine Anfrage für Bilder unter Verwendung seiner Client-Computervorrichtung zu einer oder mehreren Computervorrichtungen senden. In Reaktion darauf können die eine oder mehreren Computervorrichtungen eines oder mehrerer Bilder zur Client-Computervorrichtung zur Anzeige zum Anwender bereitstellen bzw. liefern.
Zusätzlich können, wie es oben angemerkt ist, Anwender auf die Bilder zugreifen und anfragen, dass das Bild verzerrt wird. Beispielseise kann der Anwender dann, wen nein Bild auf einer Client-Computervorrichtung des Anwenders angezeigt wird, versuchen, die Ansicht des Bilds auf ein bestimmtes Objekt oder bestimmte Objekte zu zentrieren, wie beispielsweise Gebäude oder Fahrzeuge, welches oder welche der Anwender gerne verzerrt hätte. Wenn der Anwender einmal mit dieser Ansicht zufrieden ist, kann er eine Option auswählen, um eine Anfrage einzureichen, das Bild zu verzerren. Diesbezüglich kann die Client-Computervorrichtung eine Anfrage, ein Bild zu verzerren, zu der einen oder den mehreren Computervorrichtungen senden, die das Bild (das hierin nachfolgend ”Referenzbild” genannt wird) und eine Ansicht von diesem Bild (die durch den Anwender gelieferte Ansicht) identifiziert oder identifizieren. Alternativ dazu kann der Anwender, eher als dass eine Ansicht eines Bilds durch Orientieren eines Bilds zu einer bestimmten Ansicht identifiziert wird, ein Bild einschließlich des Objekts einfach identifizieren, um das Objekt anzuzeigen (ohne ein Identifizieren eines spezifischen Teilbereichs eines Bilds), das Objekt in einem Bild durch Ziehen eines Kastens oder einer Begrenzung um das Bild markieren, das Objekt durch Liefern einer Lokalisierung identifizieren etc. Diesbezüglich kann eine Anfrage einen Unterteilbereich eines Teilbereichs eines Bilds, das gesamte Bild, eine bestimmte Ansicht oder Orientierung eines Bilds oder eine geografische Lokalisierung identifizieren.
Wenn Anfragen durch die eine oder mehreren Computervorrichtungen empfangen werden, können sie zu einer Client-Computervorrichtung einer menschlichen Bedienperson zur Überprüfung geliefert werden. Diesbezüglich kann jede solche Client-Computervorrichtung auf eine Warteschlange von Anfragen für die bestimmte menschliche Bedienperson von der einen oder den mehreren Computervorrichtungen zugreifen. Diese Anfragen können verarbeitet werden, wie es nachfolgend detaillierter beschrieben wird.
Beispielsweise kann dann, wenn eine Anfrage einmal an der Spitze einer Warteschlange einer Bedienperson ist, die Bedienperson eine Anwenderschnittstelle verwenden, um ein Referenzbild für die Anfrage anzuschauen. Beispielsweise ist 4 ein beispielhaftes Bildschirmfoto 400 einer Anwenderschnittstelle, die ein Anwender verwenden kann, um ein Referenzbild anzuschauen. Bei diesem Beispiel enthält die Anwenderschnittstelle eine Anzeige des Referenzbilds 402. Das Referenzbild 402 enthält auch einen Kasten 404 entsprechend einer Ansicht, einem Kasten, einer Begrenzung etc., die in der Anfrage enthalten sind. Wiederum kann, wie es oben angemerkt ist, wenn die Anfrage eine geografische Lokalisierung enthält, die geografische Lokalisierung verwendet werden, um beispielsweise ein Bild basierend auf einen Nähe der Lokalisierungsinformation des identifizierten Bilds und der geografischen Lokalisierung zu identifizieren. Bei diesem Beispiel kann das identifizierte Bild dem Referenzbild entsprechen und kein Kasten (wie beispielsweise ein Kasten 404) kann gezeigt sein. Gleichermaßen kann, wenn die Anfrage ein Bild (ohne eine Ansicht, einen Kasten, eine Begrenzung, etc.) identifiziert, dieses Bild dem Referenzbild entsprechen, aber kein Kasten (wie beispielsweise der Kasten 404) kann gezeigt sein.
Bei diesem Beispiel kann ein Bild 406 aus einem Zeitrahmen entsprechend dem Monat November von 2013 erfasst worden sein, wie es durch einen hervorgehobenen Kasten entsprechend 2013-11 der Gruppe von Verbindungen 412 gezeigt ist. Das Bild 406 kann ein Bild des Speichersystems 150 sein, das der Bedienperson angezeigt wird, im in Bezug zu dem Referenzbild 402 überprüft zu werden. Das Bild 406 kann tatsächlich eine anderes Bild als das Bild 402 sein oder eine andere Anzeige des Referenzbilds 402, das die Bedienperson verwenden kann, um zu identifizieren, welche Teilbereiche des Bilds 406 zu verzerren sind, und zwar unter Verwendung von einer oder mehreren Optionen einer Optionsliste 410, die nachfolgend in weiterem Detail diskutiert wird.
Die Bedienperson kann dann ein Bild für irgendeinen gegebenen Zeitrahmen auswählen und ein Liste von Bildern von anderen zu überprüfenden Zeitrahmen anschauen. Beispielsweise enthält das Bildschirmfoto 400 auch eine Gruppe von Verbindungen 412 entsprechend einer Liste von Bildern, die bei nahezu derselben Stelle wie das Referenzbild erfasst wurden, aber zu anderen Zeiten, oder vielmehr aus anderen Zeitrahmen, wie es oben beschrieben ist. Bei diesem Beispiel kann das Bild 406 im November 2013 erfasst worden sein, wie es durch die Gruppe von Bildern 412 angezeigt ist.
Information, die Lokalisierungen von benachbarten zu überprüfenden Bildern anzeigt, kann auch beispielsweise unter Verwendung einer Kartenansicht angezeigt werden. Beispielsweise enthält das Bildschirmfoto 400 eine Karte 408 mit einer Vielzahl von kreisen. Obwohl sie als Straßenkarte gezeigt ist, kann die Karte 408 ein Satellitenbild oder eine Kombination aus einem Satellitenbild und einer Straßenkarte enthalten. Jeder Kreis kann die Stelle bzw. Lokalisierung von einem oder mehreren Bildern darstellen, die zu der Stelle des Referenzbilds 402 benachbart ist, welche zur Überprüfung verfügbar sind oder durch die Bedienperson für die Anfrage überprüft werden können. Markierungen, die andere als Kreise sind, können auch verwendet werden, um die Stelle von benachbarten Bildern zu identifizieren, die zur Überprüfung verfügbar sind. Andere Informationshinweise zum Unterstützen der Bedienperson können auch angezeigt werden, wie beispielsweise ein Anhänger 414, der die Orientierung des Angezeigten des Bilds 406 anzeigt.
Bei einigen Beispielen kann die Karte zusätzliche Information über die Bilder zur Verfügung stellen, die zur Überprüfung verfügbar sind. Bei dem Beispiel der Karte 408 sind bestimmte Kreise als offen gezeigt, während andere als geschlossen gezeigt sind, um anzuzeigen, ob Bilder von mehreren Zeitrahmen verfügbar sind oder nicht. Beispielsweise kann ein offener Kreis anzeigen, dass mehr als ein Bild oder vielmehr Bilder aus mehr als einem unterschiedlichen Zeitrahmen zur Überprüfung für die Stelle des Kreises verfügbar sind. Gleichermaßen kann ein geschlossener Kreis anzeigen, dass nur ein einziges Bild zur Überprüfung für die Stelle des Kreises verfügbar ist.
Diese benachbarten Bilder sowie die Gruppe von Verbindungen für die Liste von Bildern aus unterschiedlichen Zeitrahmen können basierend auf eine Nähe zu der Stelle des Referenzbilds ausgewählt werden. Diesbezüglich können Bilder des Speichersystems 150 in einem benachbarten Bild und einer Liste von Bilder aus unterschiedlichen Zeitrahmen basierend auf einem 2D-Abstand von der Stelle des Referenzbilds enthalten sein.
5 ist ein weiteres beispielhaftes Diagramm der Straße 302 der 3. Bei diesem Beispiel kann ein Kreis 502 eines Zeitrahmens 326 der Stelle des Referenzbilds 402 entsprechen. Ein Kreis 504 kann somit einen festen Abstand 506 von der Stelle des Referenzbilds 402 darstellen. Wiederum kann der Abstand 506 irgendein vernünftiger Wert sein, wie beispielsweise 10, 50, 100 oder sogar 300 (oder mehr) Meter, und kann basierend auf den Notwendigkeiten des Systems und dem Typ bildhafter Darstellung, die erfasst wird, eingestellt werden. Diesbezüglich können Bilder mit Stellen bzw. Lokalisierungen innerhalb des Kreises 504 als benachbarte Bilder und/oder die Liste von Bildern aus unterschiedlichen Zeitrahmen ausgewählt werden. Beispielsweise können die Bilder des Zeitrahmens 326, die innerhalb des Kreises 504 sind, in den benachbarten Bildern enthalten sein, während eines oder mehrere der Bilder des Zeitrahmens 320, 322, 324 und 328, die innerhalb des Kreises 504 sind, in den Listen von Bildern aus unterschiedlichen Zeitrahmen für jedes der Bilder des Zeitrahmens 326, die innerhalb des Kreises 504 sind, enthalten sein können.
Wenn die Bilder des Speichersystems 150 Anfragen von Anwendern verfügbar gemacht werden, können die Bilder in ein oder mehrere räumliche Register eingegeben werden. Diese räumlichen Register können Datenbanken enthalten, die durch Verwenden eines Systems zum Aufteilen der Erde in Kästen mit verschieden Größen indiziert sind, wie beispielsweise Schneider 2 oder S2-Zellen. Bei einem Beispiel kann die Oberfläche der Erde auf einen Kubus mit sechs Flächen projiziert werden. Auf jeder sukzessiven Ebene sind Zellen auf der vorherigen Ebene in vier Unterzellen aufgeteilt. Die Bilder des Speichersystems 150 können auf einer bestimmten Ebene bzw. einem bestimmten Level indiziert werden, wie beispielsweise Level 17, auf welchem es 6·4^17 = 130 Billionen mögliche Zellen gibt.
Um Bilder um eine bestimmte Stelle anzuschauen, kann eine Liste von S2-Zellen, die sich mit einem Kreis, wie beispielsweise dem Kreis 504 des Beispiels der 5 schneiden, um diesen Punkt herum konstruiert werden. Alle der Bilder aus diesen S2-Zellen können überprüft werden, und diejenigen, die in den Kreis fallen, können zurückgebracht werden. Dies kann rechentechnisch vernünftig sein, weil S2-Zellen die Eigenschaft haben, dass im Raum benachbarte Zellen IDs haben, die in alphabetischer Reihenfolge benachbart sind, so dass die Datenbankauslesungen gut lokalisiert sind. Somit muss der Level bzw. die Ebene, auf welchem bzw. welcher die Bilder indiziert werden, basierend auf einem Kompromiss zwischen einem Lesen von mehreren deutlichen Zellen (kleineren Zellen) und einem Lesen von mehreren nicht passenden Kandidaten, wenn jede Zelle gelesen wird (größere Zellen), ausgewählt werden.
Die Bedienperson kann dann identifizieren, welchem Objekt oder welchen Objekten im Referenzbild der Anfrage, das oder die der Anwender, der die Anfrage einreichte, gerne verschwimmen lassen bzw. verzerren oder ändern würde, der Kasten entsprechend der in der Anfrage enthaltenen Ansicht (beispielsweise der Kasten 404) zugeteilt wird. Basierend darauf kann die Bedienperson beispielsweise unter Verwendung eines Mauszeigers oder eines Fingers oder eines Stifts und eines Berührungsbildschirms oder einer anderen Eingabe einen Begrenzungskasten oder eine andere Form um das Objekt oder die Objekte in dem Bild 406 ziehen. Dieser Begrenzungskasten kann einen Bereich darstellen, der verzerrt oder auf andere Weise geändert sein wird, wenn das Bild später zu Client-Vorrichtungen von Anwendern geliefert wird. Beispielsweise kann, wie es im Bildschirmfoto 600 der 6 gezeigt ist, eine Bedienperson einen Kasten 612 ziehen, der dem Objekt oder den Objekten entspricht, für das oder die die Bedienperson glaubt, dass es oder sie verzerrt oder auf andere Weise geändert werden sollte oder sollten, gegeben durch den Kasten 404 des Referenzbilds 402.
Wenn die Bedienperson einmal zufriedengestellt ist, kann sie den Begrenzungskasten sichern, so dass er verzerrt oder auf andere Weise geändert werden kann, wenn er später zu Client-Vorrichtungen von Anwendern geliefert wird. Diesbezüglich ist 7 ein Beispiel 700 der Optionsliste 410. Unter Verwendung dieser Optionen kann, wenn die Bedienperson einmal mit dem Begrenzungskasten zufrieden ist, sie eine Option 1 auswählen, um den Bereich des Begrenzungskastens zu verzerren und die Einreichungsoption auswählen, um den Bereich des Begrenzungskastens zu sichern.
Nachdem der anfängliche Begrenzungskasten ausgewählt worden ist, kann das System irgendwelche Objekte innerhalb des Begrenzungskastens automatisch verzerren oder auf andere Weise ändern. Das Verzerren oder Ändern des Bereichs innerhalb eines Begrenzungskastens kann irgendwelche bekannten Techniken verwenden, um die Farbwerte von allen oder einigen der Pixel innerhalb des Begrenzungskastens zu ändern.
Um das Verzerren oder Ändern auf andere Bilder des Objekts oder der Objekte auszubreiten, kann die Bedienperson eine der Gruppe von Verbindungen 412 auswählen, um ein Bild aus einem anderen Zeitrahmen zu überprüfen, wie beispielsweise ein Bild mit einer ähnlichen Lokalisierung wie das Bild 406. Geht man zurück zu der 6, kann die Bedienperson beispielsweise die Verbindung der Gruppe von Verbindungen entsprechend 2013-04 oder April 2013 auswählen, um ein Bild anzuschauen, das aus einem Zeitrahmen entsprechend dem Monat April von 2013 erfasst wurde. Wie es in 8 gezeigt ist, ist der Kasten entsprechend 2013-04 der Gruppe von Verbindungen nun als hervorgehoben gezeigt und ein neues Bild 806 wird der Bedienperson zur Überprüfung angezeigt.
Wenn die Bedienperson einmal eine Verbindung zu einem anderen Bild aus einem anderen Zeitrahmen ausgewählt hat, wie es oben diskutiert ist, können die Client-Computervorrichtung der Bedienperson oder die eine oder mehreren Server-Computervorrichtungen einen vorgeschlagenen Begrenzungskasten basierend auf einem zuvor gesicherten Begrenzungskasten automatisch berechnen. Beispielsweise kann die Computervorrichtung unter Verwendung der mit sowohl dem Bild 406 als dem Bild 806 verbundenen 3D-Geometrie sich dem vorgeschlagenen Begrenzungskasten nähern. Diesbezüglich kann der Begrenzungskasten auf die 3D-Oberflächen von Objekten von dem Bild 406 und projiziert werden und können die 3D-Lokalisierungen bzw. 3D-Stellen von dieser Projektion verwendet werden, um einen vorgeschlagenen Begrenzungskasten auf das Bild 806 zu projizieren.
Die Bedienperson kann dann den vorgeschlagenen Begrenzungskasten einstellen, ersetzen oder auf andere Weise rekonfigurieren, bis sie zufrieden ist, und die Änderungen sichern, so dass dieser Begrenzungskasten auch verzerrt oder auf andere Weise geändert werden wird. Alternativ dazu kann, eher als dass er der Bedienperson als Vorschlag erscheint, der Begrenzungskasten tatsächlich zu irgendeinem der anderen zugehörigen Bilder ausgebreitet werden, so dass sie automatisch verzerrt oder geändert werden. Bei diesem Beispiel kann die Bedienperson die verzerrten bzw. verschwommenen bzw. unscharfen Bereiche oder Begrenzungskästen (unverzerrt) überprüfen, um zu bestätigen, dass sie richtig sind, etc.
Bei einigen Fällen kann es sein, dass das Objekt oder die Objekte innerhalb eines für ein Bild von einem Zeitrahmen gesicherten Begrenzungskastens nicht in einem Bild derselben Stelle von einem anderen Zeitrahmen existiert. Beispielsweise kann ein Objekt in einem Begrenzungskasten zu einer Zeit N (als Beispiel 2013-04) nicht zu einer Zeit N-X (als Beispiel 2009-03) existieren. Beispielsweise können die Client-Computervorrichtung oder die eine oder mehreren Server-Computervorrichtungen das Bild unter Verwendung von Computervisionstechniken verarbeiten, um Objekte innerhalb eines gesicherten Begrenzungskasten zu identifizieren. Wenn die Objekte nicht innerhalb eines vorgeschlagenen Begrenzungskastens erscheinen, kann die Computervorrichtung nicht irgendeinen Begrenzungskasten vorschlagen, weil beispielsweise das Objekt zu der Zeit N nicht zu der Zeit N-X detektiert wird. Dies kann beispielsweise dann auftreten, wenn irgendjemand eine Verzerrung eines Zeichens auf einem Gebäude anfragt, das in 2010 gebaut wurde. Somit kann bei einigen Beispielen, nachdem ein erster Begrenzungskasten um ein Objekt für ein erstes Bild gesichert worden ist, die Computervorrichtung einen zweiten Begrenzungskasten in einem zweiten Bild bestimmen, das dem ersten Begrenzungskasten entspricht, und dann einen Teilbereich des zweiten Bilds innerhalb des zweiten Begrenzungskastens verarbeiten, um zu bestimmen, ob die Objekte innerhalb des ersten Begrenzungskastens innerhalb des zweiten Begrenzungskastens vorhanden sind. Wenn die Objekte vorhanden sind, kann die Computervorrichtung den zweiten Begrenzungskasten zum Verzerren oder Ändern automatisch sichern. Wenn nicht, kann die Computervorrichtung das zweite Bild zur Überprüfung durch die Bedienperson markieren.
Um der Bedienperson dabei zu helfen nachzuverfolgen, welche Bilder sie überprüft oder besucht hat (ob ein Begrenzungskasten für das Bild gesichert worden ist oder nicht), können verschiedene Indikatoren verwendet werden. Als erstes Beispiel können individuelle Verbindungen der Gruppe von Verbindungen auf eine erste Art angezeigt werden wie beispielsweise blinkend oder fettgedruckt oder verblasst, bis die Bedienperson das Bild für diese Verbindung angeschaut hat, wonach es auf eine zweite Art angezeigt werden kann, wie beispielsweise nicht blinkend oder nicht fettgedruckt oder nicht verblasst. Zusätzlich können die Kreise der Karte 408 in einer ersten Farbe angezeigt werden, wenn das eine oder die mehreren Bilder entsprechend dem Kreis nicht überprüft worden sind, und in einer zweiten Farbe, wenn das eine oder die mehreren Bilder entsprechen dem Kreis überprüft worden sind.
Zusätzlich können, da neue Bilder, die während neuer Zeitrahmen erfasst sind, zu den Bildern hinzugefügt werden, die Anwendern verfügbar sind, die oben beschriebenen Merkmale auch verwendet werden, um ein Verzerren zu diesen neuen Bildern auszubreiten. Beispielsweise ist ein Bildschirmfoto der 9 eine beispielhafte Anwenderschnittstelle zum Überprüfen von solchen neuen Bildern. Ein Bild 902 der Anwenderschnittstelle ist ein Bild, das bereits verzerrt oder geändert worden ist. Diesbezüglich können Kästen 904 Teilbereiche des Bilds 902 darstellen, die verzerrt oder auf andere Weise geändert sind. Ein Bild 906 kann ein neues Bild darstellen, das unter einer Überprüfung durch eine Bedienperson ist. Bei diesem Beispiel enthält das Bild 906 vorgeschlagene Begrenzungskästen 908, die durch die Client-Computervorrichtung der Bedienperson oder die eine oder mehreren Server-Computervorrichtungen 110 bestimmt sein können. Wie bei den obigen Beispielen der Bilder 406 und 806 kann die Computervorrichtung unter Verwendung der 3D-Geometrie, die mit sowohl dem Bild 902 als auch dem Bild 906 verbunden ist, sich den Stellen der vorgeschlagenen Begrenzungskästen 908 nähern. Diesbezüglich können die Bereich der Begrenzungskästen 904 auf die 3D-Oberflächen von Objekten von dem Bild 902 projiziert werden und können die 3D-Stellen von dieser Projektion verwendet werden, um einen vorgeschlagenen Begrenzungskasten auf das Bild 906 zu projizieren. Wiederum kann die Bedienperson die Stellen der vorgeschlagenen Begrenzungskästen einstellen, Begrenzungskästen hinzufügen oder entfernen, bis die Bedienperson zufrieden ist, und die Änderungen sichern, so dass dieser Begrenzungskasten auch verzerrt oder auf andere Weise geändert werden wird.
Wie bei den Beispielen der 4, 6 und 8 kann die Anwenderschnittstelle zum Überprüfen von solchen neuen Bildern eine Karte 910 enthalten, um den Anwender beim Überprüfen der neuen Bilder zu unterstützen. Wiederum kann die Karte 910, obwohl sie als Straßenkarte gezeigt ist, ein Satellitenbild oder eine Kombination aus einem Satellitenbild und einer Straßenkarte enthalten. Bei diesem Beispiel enthält die Karte 910 eine Vielzahl von Kreisen, wie beispielsweise Kreise 912 und 914, die neuen Bildern innerhalb eines festen Abstands (wieder 10, 20, 30 oder mehr Meter) der Stellen oder dem Bild 902 und/oder den Begrenzungskästen 904 des Bilds 902 entsprechen. Andere Informationshinweise zum Unterstützen der Bedienperson können auch angezeigt werden, wie beispielsweise ein Pfeil 916, der die Orientierung eines Objekts, das verzerrt worden ist, relativ zu der Karte 910 und/oder der Stelle des Bilds 902 anzeigt.
Ein Ablaufdiagramm 1000 der 10 ist ein Beispiel von einigen der oben beschriebenen Merkmale, die durch eine oder mehrere Computervorrichtungen, wie beispielsweise eine oder mehrere Server-Computervorrichtungen 110, oder eine oder mehrere Client-Computervorrichtungen 120, 130 und 140 durchgeführt werden können. Diesbezüglich empfangen bei einem Block 1002 die eine oder mehreren Computervorrichtungen eine Anfrage, ein erstes Bild zu ändern, wobei die Anfrage wenigstens einen Teilbereich des ersten Bilds identifiziert. Wiederum kann dieser wenigstens eine Teilbereich eine ganzes Bild oder einen Unterteilbereich eines Bilds enthalten, wie beispielsweise eine Ansicht, einen Kasten, eine Begrenzung, was oben beschriebene Beispiele sind. Alternativ dazu kann die Anfrage, eher als wenigstens einen Teilbereich eines Bilds zu identifizieren, einfach eine geografische Stelle identifizieren, die durch die eine oder mehreren Computervorrichtungen verwendet werden kann, um das erste Bild basierend auf einer zu dem ersten Bild gehörenden Stelle zu identifizieren.
Die eine oder mehreren Computervorrichtungen sorgen bei einem Block 1004 für eine Anzeige des Teilbereichs des ersten Bilds und eines zweiten Bilds. Das zweite Bild ist verbunden mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eine Objekts, das in sowohl dem ersten Bild als auch dem zweiten Bild gezeigt ist, und Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Die eine oder mehreren Computervorrichtungen empfangen bei einem Block 1006 eine Eingabe, die einen Bereich des zweiten Bilds identifiziert. Die eine oder mehreren Computervorrichtungen identifizieren bei einem Block 1008 auch ein drittes Bild basierend auf Datumsinformation, die identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde. Das dritte Bild ist verbunden mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche des Objekts, das im dritten Bild gezeigt ist. Die eine oder mehreren Computervorrichtungen bestimmen bei einem Block 1010 einen Bereich des dritten Bilds basierend auf den mit dem zweiten Bild verbundenen dreidimensionalen Geometriedaten, den mit dem zweiten Bild verbundenen dreidimensionalen Geometriedaten und dem Bereich des zweiten Bilds. Information, die den Bereich des dritten Bilds identifiziert, wird durch die eine oder mehreren Computervorrichtungen zur Anzeige mit dem dritten Bild bei einem Block 1012 geliefert.
Solange es nicht anders angegeben ist, sind die vorangehenden alternativen Beispiele nicht wechselseitig ausschließlich. Sie können in verschiedenen Kombinationen implementiert sein, um einzigartige Vorteile zu erreichen. Da diese und andere Variationen und Kombinationen der oben diskutierten Merkmale verwendet werden können, ohne von dem durch die Ansprüche definierten Hauptgegenstand abzuweichen, sollte die vorangehende Beschreibung der Ausführungsformen eher anhand einer Illustration genommen werden als anhand einer Beschränkung des durch die die Ansprüche definierten Hauptgegenstands. Als Beispiel müssen die vorangehenden Operationen nicht in der oben beschriebenen präzisen Reihenfolge durchgeführt werden. Vielmehr können verschiedene Schritte in einer unterschiedlichen Reihenfolge oder gleichzeitig gehandhabt werden. Schritte können auch weggelassen werden, solange nichts anderes angegeben ist. Zusätzlich sollten die Bereitstellung der hierin beschriebenen Beispiele sowie Abschnitte, die als ”wie beispielsweise”, ”einschließlich” und ähnliches ausgedrückt sind, nicht derart interpretiert werden, dass sie den Hauptgegenstand der Ansprüche auf die spezifischen Beispiele beschränken; vielmehr sollen die Beispiele nur eines von vielen möglichen Beispielen illustrieren. Weiterhin können dieselben Bezugszeichen in unterschiedlichen Zeichnungen dieselben oder ähnliche Elemente identifizieren.
INDUSTRIELLE ANWENDBARKEIT
Die vorliegende Offenbarung kann als technisches Werkzeug verwendet werden, um Bereiche bzw. Regionen in Bildern schnell und einfach zu identifizieren; die in Bildern verzerrt oder auf andere Weise geändert werden sollten, die während unterschiedlicher Zeitrahmen erfasst wurden, oder vielmehr während unterschiedlicher Daten und Zeiten.

Claims

Computerimplementiertes Verfahren, das folgendes aufweist: Empfangen, durch eine oder mehrere Computervorrichtungen, einer Anfrage, ein erstes Bild zu ändern, wobei die Anfrage wenigstens einen Teilbereich des ersten Bilds identifiziert; Sorgen für eine Anzeige, durch die eine oder mehreren Computervorrichtungen, des Teilbereichs des ersten Bilds und eines zweiten Bilds, wobei das zweite Bild verbunden ist mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines Objekts, das in sowohl dem ersten Bild als auch dem zweiten Bild gezeigt ist, und mit Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde; Empfangen, durch die eine oder mehreren Computervorrichtungen, einer Eingabe, die einen Bereich des zweiten Bilds identifiziert; Identifizieren, durch die eine oder mehreren Computervorrichtungen, eines dritten Bilds basierend auf Datumsinformation, die identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde, wobei das dritte Bild verbunden ist mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche des im dritten Bild gezeigten Objekts; Bestimmen, durch die eine oder mehreren Computervorrichtungen, eines Bereichs des dritten Bilds basierend auf den dreidimensionalen Geometriedaten, die verbunden sind mit dem dritten Bild, den dreidimensionalen Geometriedaten, die verbunden sind mit dem zweiten Bild, und dem Bereich des zweiten Bilds; Liefern, durch die eine oder mehreren Computervorrichtungen, von Information, die den Bereich des dritten Bilds identifiziert, zur Anzeige mit dem dritten Bild.
Verfahren nach Anspruch 1, das weiterhin ein Liefern zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, einer Anzeige, dass das dritte Bild verfügbar ist.
Verfahren nach Anspruch 2, das weiterhin folgendes aufweist: Liefern zur Anzeige des Hinweises in einem ersten Zustand, wenn das dritte Bild nicht durch eine Bedienperson angeschaut worden ist; und Liefern zur Anzeige des Hinweises in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, wenn das dritte Bild durch die Bedienperson angeschaut worden ist.
Verfahren nach einem der vorangehenden Ansprüche, das weiterhin eine Liefern zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, einer Karte einschließlich einer Markierung aufweist, die eine Stelle anzeigt, wo ein Bild für nu rein Datum verfügbar ist, und einer zweiten Markierung, die eine zweite Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist.
Verfahren nach Anspruch 4, das weiterhin folgendes aufweist: Liefern zur Anzeige der zweiten Markierung in einem ersten Zustand, wenn keine Bilder der Gruppe von Bildern durch eine Bedienperson angeschaut worden sind; und Liefern zur Anzeige des Hinweises in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, wenn wenigstens ein Bild der Gruppe von Bildern durch die Bedienperson angeschaut worden ist.
Verfahren nach einem der vorangehenden Ansprüche, das weiterhin folgendes aufweist: Empfangen einer Eingabe, die den Bereich des zweiten Bilds bestätigt; und Ändern des Bereichs des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds, wobei ein Bestimmen des Bereichs des dritten Bilds durchgeführt wird, nachdem die Eingabe, die den Bereich des zweiten Bilds bestätigt, empfangen ist.
Verfahren nach einem der Ansprüche 1 bis 5, das weiterhin folgendes aufweist: Empfangen einer Eingabe, die den Bereich des dritten Bilds bestätigt; und Ändern des Bereichs des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds.
Verfahren nach einem der Ansprüche 1 bis 6, das weiterhin ein automatisches Modifizieren von Bildpixeln entsprechend dem Bereich des dritten Bilds vor einem Liefern des dritten Bilds zur Anzeige aufweist.
System, das eine oder mehrere Computervorrichtungen aufweist, wobei die eine oder mehreren Computervorrichtungen konfiguriert sind, um die Verfahrensschritte nach irgendeinem der Ansprüche 1 bis 8 durchzuführen.
Nichtflüchtiges computerlesbares Speichermedium, auf welchem computerlesbare Anweisungen eines Programms gespeichert sind, wenn es durch einen Prozessor ausgeführt wird, um den Prozessor zu veranlassen, die Verfahrensschritte nach irgendeinem der Ansprüche 1 bis 8 durchzuführen.
Computerimplementiertes Verfahren, das folgendes aufweist: Empfangen, durch eine oder mehrere Computervorrichtungen, einer Anfrage, ein erstes Bild zu ändern, wobei die Anfrage wenigstens einen Teilbereich des ersten Bilds identifiziert; Liefern zur Anzeige, durch die eine oder mehreren Computervorrichtungen, des Teilbereichs des ersten Bilds und eines zweiten Bilds, wobei das zweite Bild verbunden ist mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines Objekts, das in sowohl dem ersten Bild aus auch dem zweiten Bild gezeigt ist, und mit Datumsinformation, die identifiziert, Wann das zweite Bild erfasst wurde; Empfangen, durch die eine oder mehreren Computervorrichtungen, einer Eingabe, die einen Bereich des zweiten Bilds Identifiziert; Identifizieren, durch die eine oder mehreren Computervorrichtungen, eines dritten Bilds basierend auf Datumsinformation, die identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde, wobei das dritte Bild verbunden ist mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines im dritten Bild gezeigten Objekts; Bestimmen, durch die eine oder mehreren Computervorrichtungen, eines Bereichs des dritten Bilds basierend auf den mit dem dritten Bild verbundenen dreidimensionalen Geometriedaten, den mit dem zweiten Bild verbundenen dreidimensionalen Geometriedaten und dem Bereich des zweiten Bilds; und Liefern, durch die eine oder mehreren Computervorrichtungen, von Information, die den Bereich des dritten Bilds identifiziert, zur Anzeige mit dem dritten Bild.
Verfahren nach Anspruch 11, das weiterhin ein Liefern zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, eines Hinweises aufweist, dass das dritte Bild verfügbar ist.
Verfahren nach Anspruch 11, das weiterhin folgendes aufweist: Liefern zur Anzeige des Hinweises in einem ersten Zustand, wenn das dritte Bild durch eine Bedienperson nicht angeschaut worden ist; und Liefern zur Anzeige des Hinweises in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, wenn das dritte Bild durch eine Bedienperson angeschaut worden ist.
Verfahren nach Anspruch 11, das weiterhin ein Liefern zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild, einer Karte einschließlich einer ersten Markierung aufweist, die eine Stelle anzeigt, wo ein Bild für nur ein Datum verfügbar ist, und einer zweiten Markierung, die eine zweite Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist.
Verfahren nach Anspruch 14, das weiterhin folgendes aufweist: Liefern zur Anzeige der zweiten Markierung in einem ersten Zustand, wenn keine Bilder der Gruppe von Bildern durch eine Bedienperson angeschaut worden sind; und Liefern zur Anzeige des Hinweises in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, wenn wenigstens ein Bild der Gruppe von Bildern durch die Bedienperson angeschaut worden ist.
Verfahren nach Anspruch 11, das weiterhin folgendes aufweist: Empfangen einer Eingabe, die den Bereich des zweiten Bilds bestätigt; und Ändern des Bereichs des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds, wobei ein Bestimmen des Bereichs des dritten Bilds durchgeführt wird, nachdem die Eingabe, die den Bereich des zweiten Bilds bestätigt, empfangen ist.
Verfahren nach Anspruch 11, das weiterhin folgendes aufweist: Empfangen einer Eingabe, die den Bereich des dritten Bilds bestätigt; und Ändern des Bereichs des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds.
Verfahren nach Anspruch 11, das weiterhin ein automatisches Modifizieren von Bildpixeln entsprechend dem Bereich des dritten Bilds vor einem Liefern des dritten Bilds zur Anzeige aufweist.
System, das eine oder mehrere Computervorrichtungen aufweist, wobei die eine oder mehreren Computervorrichtungen konfiguriert sind, um: eine Anfrage zum Ändern eines ersten Bilds zu empfange, wobei die Anfrage wenigstens einen Teilbereich des ersten Bilds identifiziert; den Teilbereich des ersten Bilds und ein zweites Bild zur Anzeige zu liefern, wobei das zweite Bild verbunden ist mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines Objekts, das in sowohl dem ersten Bild als auch dem zweiten Bild gezeigt ist, und mit Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde; eine Eingabe zu empfangen, die einen Bereich des zweiten Bilds identifiziert; ein drittes Bild basierend auf Datumsinformation, die identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde, zu identifizieren, wobei das dritte Bild verbunden ist mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche des im dritten Bild gezeigten Objekts; einen Bereich des dritten Bilds basierend auf den mit dem dritten Bild verbundenen dreidimensionalen Geometriedaten, den mit dem zweiten Bild verbundenen dreidimensionalen Geometriedaten und dem Bereich des zweiten Bilds zu bestimmen; und Information, die den Bereich des dritten Bilds identifiziert, zur Anzeige mit dem dritten Bild zu liefern.
System nach Anspruch 19, wobei die eine oder mehreren Computervorrichtungen weiterhin konfiguriert sind, um zur Anzeige, mit dem Teilbereich des ersten Bild und dem zweiten Bild, einen Hinweis zu liefern, dass das dritte Bild verfügbar ist.
System nach Anspruch 19, wobei die eine oder mehreren Computervorrichtungen weiterhin konfiguriert sind, um: den Hinweis in einem ersten Zustand zur Anzeige zu liefern, wenn das dritte Bild durch eine Bedienperson nicht angeschaut worden ist; und den Hinweis in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, zur Anzeige zu liefern, wenn das dritte Bild durch die Bedienperson angeschaut worden ist.
System nach Anspruch 19, wobei die eine oder mehreren Computervorrichtungen weiterhin konfiguriert sind, um zur Anzeige, mit dem Teilbereich des ersten Bilds und dem zweiten Bild eine Karte einschließlich einer ersten Markierung zu liefern, die eine Stelle anzeigt, wo nur ein Bild für nur ein Datum verfügbar ist, und einer zweiten Markierung, die eine zweite Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist.
System nach Anspruch 19, wobei die eine oder mehreren Computervorrichtungen weiterhin konfiguriert sind, um: die zweite Markierung in einem ersten Zustand zur Anzeige zu liefern, wenn keine Bilder der Gruppe von Bildern durch eine Bedienperson angeschaut worden sind; und den Hinweis in einem zweiten Zustand, der unterschiedlich vom ersten Zustand ist, zur Anzeige zu liefern, wenn wenigstens ein Bild der Gruppe von Bildern durch die Bedienperson angeschaut worden ist.
System nach Anspruch 19, wobei die eine oder mehreren Computervorrichtungen weiterhin konfiguriert sind, um: eine Eingabe zu empfangen, die den Bereich des zweiten Bilds bestätigt; den Bereich des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds zu ändern; und das Bestimmen des Bereichs des dritten Bilds durchzuführen, nachdem die Eingabe, die den Bereich des zweiten Bilds bestätigt, empfangen ist.
System nach Anspruch 19, wobei die eine oder mehreren Computervorrichtungen weiterhin konfiguriert sind, um: eine Eingabe zu empfangen, die den Bereich des dritten Bilds bestätigt; den Bereich des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds zu ändern.
System nach Anspruch 19, wobei die eine oder mehreren Computervorrichtungen weiterhin konfiguriert sind, um Bildpixel entsprechend dem Bereich des dritten Bilds vor einem Liefern des dritten Bilds zur Anzeige automatisch zu modifizieren.
Nichtflüchtiges computerlesbares Speichermedium, auf welchem computerlesbare Anweisungen eines Programms gespeichert sind, wobei die Anweisungen, wenn sie durch einen Prozessor ausgeführt werden, veranlassen, dass der Prozessor ein Verfahren durchführt, wobei das Verfahren folgendes aufweist: Empfangen einer Anfrage, ein erstes Bild zu ändern, wobei die Anfrage wenigstens einen Teilbereich des ersten Bilds identifiziert; Liefern zur Anzeige, des Teilbereichs des ersten Bilds und eines zweiten Bilds, wobei das zweite Bild verbunden ist mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines Objekts, das in sowohl dem ersten Bild als auch dem zweiten Bild gezeigt ist, und mit Datumsinformation, die identifiziert, Wann das zweite Bild erfasst wurde; Empfangen einer Eingabe, die einen Bereich des zweiten Bilds identifiziert; Identifizieren eines dritten Bilds basierend auf Datumsinformation, die identifiziert, wann das dritte Bild erfasst wurde, und der Datumsinformation, die identifiziert, wann das zweite Bild erfasst wurde, wobei das dritte Bild verbunden ist mit dreidimensionalen Geometriedaten entsprechend einer Oberfläche eines im dritten Bild gezeigten Objekts; Bestimmen eines Bereichs des dritten Bilds basierend auf den mit dem dritten Bild verbundenen dreidimensionalen Geometriedaten, den mit dem zweiten Bild verbundenen dreidimensionalen Geometriedaten und dem Bereich des zweiten Bilds; und Liefern von Information, die den Bereich des dritten Bilds identifiziert, zur Anzeige mit dem dritten Bild.
Medium nach Anspruch 28, wobei das Verfahren weiterhin ein Liefern zur Anzeige, mit dem Teilbereichs des ersten Bilds und dem zweiten Bild, einer Karte einschließlich einer ersten Markierung, die eine Stelle anzeigt, wo nur ein Bild für nur ein Datum verfügbar ist, und einer zweiten Markierung, die eine zweite Stelle anzeigt, wo eine Gruppe von Bildern für unterschiedliche Daten verfügbar ist.
Medium nach Anspruch 28, wobei das Verfahren weiterhin folgendes aufweist: Empfangen einer Eingabe, die den Bereich des zweiten Bilds bestätigt; Ändern des Bereichs des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds, und wobei ein Bestimmen des Bereichs des dritten Bilds durchgeführt wird, nachdem die Eingabe, die den Bereich des zweiten Bilds bestätigt, empfangen ist.
Medium nach Anspruch 28, wobei das Verfahren weiterhin folgendes aufweist: Empfangen einer Eingabe, die den Bereich des dritten Bilds bestätigt; Ändern des Bereichs des dritten Bilds durch Verzerren von Bildpixeln entsprechend dem Bereich des dritten Bilds.