-
QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
-
Diese Anwendung bezieht sich auf die US-Patentanmeldung 13/219.461, eingereicht am 26. August 2011, mit dem Titel „ERFASSEN UND VERARBEITEN ADAPTIVER BILDGEBUNG MIT BILDANALYSE-RÜCKMELDUNG”, und und auf die US-Patentanmeldung 13/219.500, eingereicht am 26. August 2011, mit dem Titel „NUTZUNG MENSCHLICHER INTELLIGENZAUFGABEN ZUR PRÄZISEN BILDANALYSE”, deren Veröffentlichung hiermit in ihrer Gänze als Referenz enthalten sind, sodass sie einen Bestandteil dieser technischen Daten bilden.
-
HINTERGRUND
-
Technisches Gebiet
-
Die veröffentlichten Darstellungen beziehen sich auf die Bereiche der Bilderfassung und -analyse räumlicher Bildgebungen. Die Ergebnisse der Analyse werden mit nicht-raumbezogenen Daten in Bezug gesetzt, wie z. B. Geschäftstätigkeiten.
-
Beschreibung des verwandten Gebietes
-
Satellitenbilderfassungen sind in der Kunstwelt sehr bekannt. Viele Unternehmen wie etwa DIGITAL GLOBE, GEOEYE oder SPOT IMAGE bieten kommerzielle Satellitenbilder an. Vorhandene Bildgebungssysteme erlauben zudem die Ermittlung von Polygonen, die Orte auf der Erde von Satelliten aus und anderen Bildern darstellen. Beispielsweise ermöglichen die Software-Tools geographischer Informationssysteme (GIS) Fachleuten Grundstücksgrenzen von Hand zu zeichnen und Kasterdaten auf der Basis von Bildern zu erstellen. Leider sind Polygone nicht für alle relevanten Ziele verfügbar. Aus diesem Grund ist es häufig erforderlich, neue Polygone zu erstellen.
-
Eine automatisierte Bildanalyse zur Ermittlung nicht-raumbezogener Merkmale ist ebenfalls weit verbreitet und enthält Beispiele wie Erkennung optischer Zeichen, Gesichtserkennung oder Gebäudeerkennung. Diese Systeme sind jedoch häufig ungenau und müssen meist für jede Anwendung einzeln mühevoll eingestellt, gelehrt und/oder neu konzipiert werden.
-
Es gibt Systeme, mit denen über das Internet verbundene Arbeitnehmer die Bildgebung und andere Computer- und Analysefunktionen durchführen (bekannt als „Human Intelligence Tasks” oder HITs), z. B. der Mechanical Turk (mechanische Türke) von AMAZON oder CROWDFLOWER. Zwar bietet der Einsatz menschlicher Arbeitskräfte eine bessere Anpassung unterschiedlicher Bilder und Anwendungen als viele automatisierte Systeme, jedoch sind sie fehleranfällig und langsamer in der Verarbeitung. Weiterhin sind spezielle Schulungen und auf einem lokalen Computer laufende Software-Tools erforderlich. Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind dabei, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt das Blockdiagramm des Systems, gemäß einer Ausführungsform.
-
2 beschreibt einen Entscheidungsfluss für eine Standortsuche, gemäß einer Ausführungsform.
-
3 beschreibt den Entscheidungsfluss für eine Bilderfassung, gemäß einer Ausführungsform.
-
4 beschreibt den Entscheidungsfluss für eine Bildanalyse unter Verwendung von HIT, gemäß einer Ausführungsform.
-
5 beschreibt einen Entscheidungsfluss für eine Schnittstellenverbindung mit einer Arbeitskraft gemäß einer Ausführungsform, die eine Bildanalyse durchführt,
-
6a–c veranschaulichen ein Beispiel des Klickschnittstellenbilds zur Zählung von Pkws auf einem Parkplatz, gemäß einer Ausführungsform.
-
7 zeigt einen Entscheidungsfluss zur statistischen Analyse, gemäß einer Ausführungsform.
-
Gleiche Referenzziffern beziehen sich in allen Zeichnungen auf die dazugehörigen Teile. Die Figuren bilden verschiedene Ausführungsformen der vorliegenden Erfindung lediglich zum Zwecke der Veranschaulichung ab. Fachleute werden anhand der nachfolgenden Diskussion leicht erkennen, dass alternative Ausführungsformen der hierin dargestellten Strukturen und Verfahren verwendet werden können, ohne von den hierin dargestellten Prinzipien abzuweichen.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die Figuren (FIGS.) und die nachfolgende Beschreibung beziehen sich nur zu Illustrationszwecken auf bevorzugte Ausführungsformen. Es ist anzumerken, dass durch die nachfolgende Diskussion alternative Ausführungsformen der hierin offenbarten Strukturen und Verfahren leicht als mögliche Alternativen erkannt werden können, die ohne Abweichung von den hier beanspruchten Prinzipien eingesetzt werden können.
-
Bezug wird nun im Detail auf mehrere Ausführungsformen genommen werden, von denen Beispiele in den beiligenden Figuren dargestellt sind. Es wird angemerkt, dass soweit dies praktisch möglich ist, ähnliche oder gleiche Referenzziffern in den Figuren verwendet werden können, die auf ähnliche oder gleiche Funktionalität hinweisen. Die Figuren bilden Ausführungsformen des veröffentlichten Systems (bzw. des Verfahrens) lediglich zum Zwecke der Veranschaulichung ab. Fachleute werden anhand der nachfolgenden Diskussion leicht erkennen, dass alternative Ausführungsformen der hierin dargestellten Strukturen und Verfahren verwendet werden können, ohne von den Prinzipien der hierin dargestellten Erfindung abzuweichen.
-
Konfigurationsüberblick
-
Beschrieben werden Systeme, Verfahren, Computerprogramme und Benutzerschnittstellen zur Bildstandortsuche, -erfassung, -analyse und Datenkorrelation unter Verwendung einer Verarbeitung durch eingebundene menschliche Arbeitskräfte („human-in-the-loop”), Human Intelligence Tasks (HIT) und/oder automatisierte Bildverarbeitung. Durch Bildanalyse ermittelte Ergebnisse werden mit nicht-raumbezogenen Informationen korreliert, die für Handel und Gewerbe nützlich sind. So können beispielsweise relevante Bereiche auf der Erde zur Zählung von Elementen (z. B. Pkw auf einem Geschäftsparkplatz zur Vorhersage der Geschäftsumsätze), Ereigniserfassung (z. B. Entladen eines Containerschiffes, oder Auswerten der Fertigstellung eines Bauprojekts) oder Quantifizierung von Elementen (z. B. Wasserpegel in einem Staubecken, die Fläche einer landwirtschaftlichen Nutzfläche) verwendet werden.
-
Die geographischen Koordinaten von Merkmalen auf der Erde, z. B. ein bestimmter Typ von Lager oder Verschiffungshafen oder Staubecken, werden Textbeschreibungen zugeordnet. Mithilfe dieser Zuordnungen wird ein Polygon von Interesse auf der Erdoberfläche bestimmt. Die Abmessungen und Koordinaten des Polygons von Interesse steuern ein Bilderfassungssystem. Das System findet entsprechende und zeitnahe Bilder in einer Bilddatenbank und/oder steuert Geräte, um neue Bilder des Gebiets zu erfassen. Stehen ein oder mehrere Bilder des relevanten Polygons zur Verfügung, können unterschiedliche Bildverbesserungstechniken durchgeführt werden. Bildverbesserungen werden durchgeführt, um die menschliche Wahrnehmung zu verbessern und um relevante Elemente besser vom Hintergrund abzuheben.
-
Anschließend werden die verbesserten Bilder menschlichen Arbeitskräften zur visuellen Analyse vorgelegt. Mit Netzwerken wie dem MECHANICAL TURK von AMAZON, werden die Bilder und die durchzuführende Aufgabe den Arbeitskräften über einen Webbrowser (z. B. FIREFOX) mit einer neuartigen aufgabenspezifischen Benutzeroberfläche (BO) vorgelegt. Diese BO unterstützt die Arbeitskräfte bei der Organisation und Durchführung der Aufgabe sowie beim Einreichen des Ergebnisses. Die sich daraus ergebenden Zählungen werden durch analytische und statistische Prozesse verarbeitet. Diese Prozesse integrieren die Ergebnisse vieler verschiedener Bilder und/oder viele Ergebnisse desselben Bilds, die von unterschiedlichen Arbeitskräften ermittelt wurden. Die Prozesse verwenden möglicherweise Filterfunktionen, um die Ergebnisdaten zu verbessern.
-
Verarbeitungsergebnisse werden mit nicht-raumbezogenen Daten korreliert, z. B. wirtschaftliche Aktivitätsdaten. Im Verlauf der Zeit können die Analyseergebnisse mithilfe dieser Korrelationen zur Vorhersage der nicht-raumbezogenen Daten verwendet werden. So könnten beispielsweise Ergebnisse eine Korrelation der Anzahl der auf dem Geschäftsparkplatz geparkten Pkw mit dem wöchentlichen Umsatz dieses Geschäfts aufzeigen. Diese Korrelation ermöglicht eine Umsatzprognose anhand der aktuellen Anzahl der Pkw.
-
In einigen Ausführungsformen dieses Systems werden Rückmeldungen von der Bilderfassung, der Bildanalyse und der nicht-raumbezogenen Korrelation zur Verbesserung der erhobenen Daten verwendet. So können Rückmeldungen beispielsweise zur Verfeinerung der Abmessungen der relevanten Polygone, der Qualität der Bildgebung und der Genauigkeit der Bildanalyse verwendet werden.
-
Bildgebungssystem
-
1 zeigt ein Blockdiagramm für ein Beispiel eines Bildgebungssystems 100, gemäß einer Ausführungsform. Die Eingabesteuerparameter 105 legen den Betrieb des Systems fest. Diese Parameter beinhalten nicht-raumbezogene Textbeschreibungen relevanter Gebiete auf der Erde. Beispiele für nicht-raumbezogene Beschreibungen sind unter anderem: „Parkplätze von Home Depot-Filialen in Kalifornien”, der „Hafen von Oakland” und „Crystal Springs Reservoir”. Weitere Steuerparameter können die zu erfassende Datenart (z. B. Pkws auf einem Parkplatz, Schiffe am Kai, Wasserfläche) beinhalten, die Uhrzeit- und Datumsbereiche der Bilderfassung, die Messhäufigkeit der abgeleiteten Daten oder Anforderung von Vertrauenswerten für abgeleitete Daten.
-
Das Standortsuchesubsystem 110 legt Polygone von Merkmalen von Interesse auf der Erde fest. Die geographischen Koordinaten von Merkmalen auf der Erde, z. B. ein bestimmter Typ von Lager oder Verschiffungshafen oder Staubecken, werden Textbeschreibungen zugeordnet. Die geographischen Koordinaten können beispielsweise aus geographischen Datenbanken oder früher aufgenommener Bildgebung des Standorts stammen. Die Textbeschreibungen können beispielsweise „Home Depot-Filialen in Kalifornien” lauten. Mithilfe dieser Zuordnungen wird ein Polygon von Interesse auf der Erdoberfläche bestimmt.
-
Das Standortsuchesubsystem 110 ist auch für den Empfang von Rückmeldungen 169 des nicht-raumbezogenen Korrelationssubsystems 140 konfiguriert. Dies kann auftreten, wenn das nicht-raumbezogene Korrelationssubsystem 140 ermittelt, dass zusätzliche Informationen vom Standortsuchesubsystem 110 erforderlich sind. Beispielsweise stellt das nicht-raumbezogene Korrelationssubsystem 140 fest, dass die Korrelation zwischen der Zählung an einem vorgegebenen Standort und die entsprechenden Wirtschaftsdaten widersprüchlich sind, was auf den Bedarf weiterer oder unterschiedlicher Daten hinweist, die durch das Standortsuchesubsystem 110 erfasst werden können. Die dem Standortsuchesubsystem 110 übermittelte Rückmeldung kann eine aktualisierte Suchposition enthalten, wodurch unterschiedliche Standorte gesucht werden, die für die Ergebniserfassung verwendet werden.
-
Die relevanten Polygone werden 115 zum Bilderfassungssubsystem 120 übermittelt. Das Bilderfassungssubsystem 120 bestimmt die Qualität und Eignung der Polygone auf Grundlage echter Bilder. So kann das Bilderfassungssubsystem 120 beispielsweise ermitteln, dass ein Polygon in Relation zu den echten Bildern vergrößert, verschoben oder verfeinert wurde. Diese Information über Polygon-Diskrepanz kann dem Standortsuchesubsystem 110 als Rückmeldung 167 übermittelt werden, um die Qualität und Eignung von Polygonen, die vom Standortsuchesubsystem 110 bestimmt wurden, zu verbessern.
-
Das Bilderfassungssubsystem 120 verwendet außerdem die raumbezogenen Informationen, welche die relevanten Polygone beschreiben sowie weitere Kontrollparameter, um ein Bild oder einen Bildersatz zu erfassen, die die Kontrollparameter für jedes relevante Polygon erfüllen. In einigen Fällen wird auf Bilddaten aus einem vorhandenen Bildarchiv 150 zugegriffen, wie etwa DIGITAL GLOBE, GEOEYE, USGS oder ISRO. Zusätzlich werden diese Bilder gegebenenfalls von sozialen Bildarchiven wie GOOGLE MAPS oder FLICKR bezogen. In anderen Fällen werden die Bilddaten von einem Bildsammelsubsystem 160, wie etwa einem Satelliten bzw. einem Satellitennetzwerk, einer Reihe von Sicherheitskameras oder anderen, zweckgebundenen Bilderfassungssystemen erhoben. Bilder können von einer der beiden oder beiden Bildarchiven 150 und Bildsammlung 160 abgerufen werden, abhängig davon, welche der Bilder am wirtschaftlichsten sind und sich am besten für die Aufgabe eignen.
-
In einigen Fällen werden Rückmeldeinformationen zur Qualität und Ausrichtung der Bilder 166 an das Bilderfassungssubsystem 120 zurück übermittelt. Auf Grundlage dieser Rückmeldung erfasst das Bilderfassungssubsystem 120 weitere Bilder. Das Bilderfassungssubsystem 110 ist zudem für den Empfang von Rückmeldungen 168 vom nicht-raumbezogenen Korrelationssubsystem 140 konfiguriert. Die Rückmeldungen können zur Veränderung der Erfassung von Bildern verwendet werden. So können die Rückmeldungen beispielsweise zur Änderung der Häufigkeit oder Tageszeit der Bilderfassung verwendet werden.
-
Die erfassten Bilder werden 125 an das Bildanalysesubsystem 130 gesendet. Das Bildanalysesubsystem 130 wertet die Bilder aus, verbessert die Bilder und bereitet sie vor, legt die Bilder den menschlichen Arbeitskräften über eine aufgabenspezifische Benutzeroberfläche vor, verarbeitet die Ergebnisse statistisch und übermittelt diese Ergebnisse 135 an das nicht-raumbezogene Korrelationssubsystem 140.
-
Das Bildanalysesubsystem 130 beinhaltet eine Anzahl von Verfahren zur Steigerung von Genauigkeit und Durchsatz bei der Bildanalyse. Die Fähigkeiten des Bildanalysesubsystems 130 werden mit Bezug auf das Beispiel einer Bildanalyse zur Zählung der Anzahl von Pkws auf einem Geschäftsparkplatz beschrieben. Die hier erläuterten Prinzipien sind jedoch nur allgemeiner Natur und lassen sich auf unterschiedliche Aufgaben der Bildanalyse anwenden. Die Bildverbesserung und -analyse kann mithilfe automatisierter Systeme und/oder in das System eingebundene menschliche Arbeitskräfte („human-in-the-loop”) durchgeführt werden. In einigen Fällen empfängt das Bildanalysesubsystem 130 Rückmeldeinformationen 165 zur Genauigkeit und Eignung der Ergebnisse vom nicht-raumbezogenen Korrelationssubsystem 140. In diesen Fällen werden die Daten modifiziert oder die Bildanalyse entsprechend der Rückmeldeinformationen erneut durchgeführt.
-
Das nicht-raumbezogene Korrelationssubsystem 140 empfängt Ergebnisdaten 135 vom Bildanalysesubsystem 130 und berechnet die zeitliche Korrelation zwischen diesen Daten und wirtschaftlich relevanten Daten. So kann zum Beispiel die Zahl von in einem Geschäftsparkplatz geparkten Pkw mit dem Wochenumsatz dieses Geschäfts korreliert werden. Oder, um ein weiteres Beispiel zu nennen, die Zeitdauer, die Schiffe zum Entladen benötigen, kann mit dem in einem Hafen umgeschlagenen Gütervolumen korreliert werden. Ein weiteres Beispiel ist die Wasserspiegelbreite in einem Staubecken, das mit dem Wert der angebauten landwirtschaftlichen Erzeugnissen in einem dahinter gelagerten Gebiet korreliert werden kann.
-
Das nicht-raumbezogene Korrelationssubsystem 140 sammelt Korrelationsdaten im Zeitverlauf. Die gesammelten Daten werden für die Prognose zukünftiger ökonomischer Messgrößen auf der Basis zuvor gesammelter Korrelationen zwischen Bildanalysedaten und Wirtschaftsdaten verwendet. So können zum Beispiel wöchentliche Verkaufsumsätze aufgrund der Anzahl in einem Geschäftsparkplatz geparkter Pkw vorhergesagt werden.
-
Standortsuche
-
Unter erneuter Bezugnahme auf 2 wird ein Beispiel der Schritte des Standortsuchsubsystems 110, gemäß einer Ausführungsform darstellt. Eingabekontrollparameter 105 werden aufgegliedert, um Standortinformationen zu erhalten, die einer Datenbank oder einer Website von Adressen 210 vorgelegt werden, um eine Liste von Standorten mit Straßenadressen zu erhalten. Beispiele für solche Datenbanken sind die Gelben Seiten sowie Geschäftslisten örtlicher Behörden. Beispiele von Websites sind unter anderem Unternehmenswebsites, Suchmaschinen wie GOOGLE (www.google.com), oder Bewertungsportale wie YELP (www.yelp.com). So wird die Standortinformationsanfrage „Home Depot-Filialen in Kalifornien” aufgegliedert und dem Abschnitt zur Filialsuche der Website von HOME DEPOT vorgelegt (www.homedepot.com). Von dieser Filialliste werden Filialidentifizierungsnummern und Anschriften in Kalifornien erstellt.
-
Eine geologische Datenbank wird angefragt 220 mit einer Liste von Anschriftstandorten. Zu geologischen Datenbanken und Websites zählen GOOGLE EARTH, OPEN STREET MAPS, INFO CHIMPS sowie die geologische Übersicht der USA. Von diesen geologischen Datenbanken werden die Längen- und Breitengradkoordinaten der einzelnen Standorte auf der Erde abgeleitet. In einigen Fällen umfassen die abgeleiteten Koordinaten einzelne Punkte auf der Erde und in anderen Fällen stellen die abgeleiteten Koordinaten zudem Polygone einschließlich der Längen- und Breitengrade der Standortgrenzen bereit. Für jeden einzelnen Standort werden Polygone ermittelt, wenn sie nicht von der geologischen Datenbank bereitgestellt wurden. Die Fälle, bei denen die Polygone direkt von der Datenbankanfrage 230 bereitgestellt werden, sind natürlich praktischer. Beispiel: Mit Open Street Map findet man die Home Depot-Filiale Nr. 639 mit der Anschrift 2 Colma Boulevard in Colma, Kalifornien mit einem um die Filiale und den Parkplatz gezeichneten Polygon. Die Eckpunkte dieses Polygons werden nach der Anfrage direkt bereitgestellt.
-
In anderen Fällen ist ein solches Polygon nicht verfügbar und wird stattdessen auf der Grundlage abgeleiteter Koordinaten unter Verwendung des Bilderfassungssubsystem 120 erhoben oder erstellt 240. In einigen Ausführungsformen bestimmt das Merkmal der auf den zu korrelierenden Daten durchgeführten Aufgabe die erwartete Größe und Form des Polygons. So kann zum Beispiel die Größe und Form eines Geschäftsparkplatzes mithilfe einer Vorlage geschätzt werden, wobei der Rand der Vorlage die Grenzen des Polygons bestimmt. In manchen Fällen genügt es, die Vorlage um den Mittelpunkt zu platzieren, um das Polygon zu erstellen. In anderen Ausführungsformen werden die Polygone von Hand mittels eines HIT oder durch Schätzen des Bereichs um einen zentralen Längen- und Breitengrad 240 erstellt.
-
Nachdem das Polygon vollständig ist, werden die Grenzen des Polygons mit einer Ortsbestimmung in einer Liste verknüpft. Das System iteriert über alle Standorte 250, bis die Liste vollständig ist. Die Liste wird zusammengestellt, mit den Eingabekontrollparametern 270 kombiniert und an das Bilderfassungssystem gesendet 115.
-
In einigen Fällen steuert die Rückmeldung vom Bilderfassungssubsystem 167 die Erstellung von Polygonen bei bestimmten Bildern. In 2 wird, obwohl 167 als Einfluss auf den Polygon-Erstellungsprozess 240 dargestellt wird, in einigen Umsetzungen als vollständiger Pass durch den gesamten Prozess konstruiert, sodass Rückmeldungen vom Bilderfassungssystem 120 direkt zum Standortsuchblock 110 weitergeleitet werden.
-
In einigen Fällen werden durch Rückmeldungen des nicht-raumbezogenen Korrelationssubsystem 169 neue relevante Bereiche erstellt, die in der Standortsuche enthalten sind. Um das Beispiel der Pkw-Zählung auf dem Geschäftsparkplatz zu nutzen, kann eine Zählung eines nahegelegenen Konkurrenzgeschäfts als Normalisierungsfaktor verwendet werden. In diesem Beispiel würde Rückmeldung 169 Anweisungen enthalten, den Parkplatz des Konkurrenzgeschäfts in die Liste der Standorte aufzunehmen.
-
Im Allgemeinen kann auf die Standortanschriften 210 und den geographischen Längen- und Breitengrad 220 unter Verwendung einer Anwendungsprogrammiererschnittstelle (API) einer Datenbank oder Website zugegriffen werden. Alternativ können Website-Daten mithilfe von Screenscraping-Tools wie KAPOW SOFTWARE (kapowsoftware.com) extrahiert werden.
-
Bilderfassung
-
3 zeigt die Schritte des Bilderfassungssubsystems 120, gemäß einer Ausführungsform. Anhand einer Liste relevanter Polygone 115 und einer Zeitigkeitsbeschränkung bestimmt das Bilderfassungssubsystem 120 für jedes Polygon, ob zeitnahe, angemessene und hochwertige Bilder in den Bildarchiven 310 vorhanden sind. Falls Bilder vorhanden sind, legt das System anschließend fest, welches Bild bzw. welche Bilder die einzelnen Polygone abdeckt 320 und greift dann auf diese Bilder im Bildarchiv 330 zu. In einigen Fällen kann ein Polygon sich über mehr als ein Bild erstrecken. Das System wiederholt 340, bis für jedes Polygon auf ein Bild zugegriffen wurde und bis alle Standorte über geeignete Bildgebung 390 verfügen, sodass die Oberflächen aller relevanter Polygone durch die erhaltene Bildgebung abgedeckt sind.
-
Falls im Bildarchiv 310 keine angemessenen Bilder für einen oder mehrere Polygone verfügbar sind, wird das Bildsammelsubsystem 350 eingesetzt, um diese Bilder zu sammeln. Falls die vorhandenen Bilder bezüglich Qualität oder Detailgenauigkeit nicht ausreichen, oder sie hinsichtlich der Zeitigkeitsbeschränkung nicht zeitnah genug sind, können auch neue Bilder gesammelt werden. Das Bildsammelsubsystem 350 steuert eine beliebige Anzahl von Bildgebungssystemen wie z. B. Satelliten, Sensornetzen, Sicherheitskameras, bewegliche Kamerasystem und andere mobile oder feststehende Bildgebungssysteme. Das Bildsammelsystem 350 wiederholt die Bildsammlung 360 bis auf alle erforderlichen Bilder zugegriffen wurde. In einigen Fällen werden vorhandene Bilder aus dem Bildarchiv 310 und neu gesammelte Bilder aus dem Bildsammelsubsystem 350 verwendet, um ein einzelnes Polygon abzudecken (in nicht dargestellt).
-
Bilder werden hinsichtlich des Winkelverzugs korrigiert 370 oder entzerrt, um der Oberflächentopologie gerecht zu werden. Bei einigen Polygonen werden mehrere Bilder aneinander geheftet und zusammengefügt und/oder zurechtgeschnitten, um den relevanten Polygon abzudecken. Das Bilderfassungssubsystem 320 beurteilt, ob der Ort durch das beschriebene Polygon und die verfügbaren Bilder korrekt dargestellt wird. In einigen Fällen wird der Standortsuche 380 eine Rückmeldung mit Vorschlägen zur Änderung der Polygonbeschreibung.
-
Rückmeldungen vom Bildanalysesubsystem 166 an das Bilderfassungssubsystem enthalten Informationen zur Bildqualität. Falls vorhandene Bilder beispielsweise nicht ausreichende Auflösung oder Informationsinhalte haben, um genaue abgeleitete Daten von dem Bild zu erstellen, gibt Rückmeldung 166 die Anweisung, dass ein neues Bild der Szene erfasst werden muss.
-
Rückmeldungen vom nicht-raumbezogenen Korrelationssubsystem 168 bietet Kontrollanweisungen bezüglich der Häufigkeit und/oder dem Zeitablauf, mit denen die Bilder zu erfassen sind. Das nicht-raumbezogene Korrelationssubsystem 140 stellt beispielsweise fest, dass Daten nicht häufig genug abgefragt wurden. Die Rückmeldung 168 teilt dem Bilderfassungssubsystem 120 mit, dass es Bilder für einen bestimmten Ort häufiger erfassen muss.
-
Bilder werden in den sichtbaren Wellenlängen erfasst. In einigen Fällen werden Bilder auch in den Nahinfrarot-(NIR) und den sichtbaren Wellenlängen erfasst, um bei der Bildanalyse die gewünschten Objekte gegenüber umgebender Vegetation deutlich erkennbar zu machen.
-
Bildanalyse
-
4 zeigt ein Blockdiagramm des Bildanalysesubsystem 130, gemäß einer Ausführungsform. Das Bildanalysesubsystem 130 verarbeitet Bilder, um eine räumliche Visualisierung des relevanten Polygons zu erstellen. Die räumliche Visualisierung ist für die HIT-Verarbeitung nützlich und nicht unbedingt die optisch ansprechendste Darstellung eines relevanten Polygons. Eine Bildverarbeitung kann Bildverbesserungen vom Typ Mehrfachbilder 410, räumlich 420 sowie Pixel 430 enthalten.
-
Mehrere Bilder 410 werden verwendet, wenn ein vorgegebenes Polygon von keinem Einzelbild abgedeckt wird. In einem solchen Fall werden mehrere Bilder mittels geographischer Daten und vom abgeleiteten Bildmarkierungen zusammengeheftet. Mehrfachbilder können auch eingesetzt werden, um Bilder zu korrigieren, die einen falschen Visualisierungswinkel haben. Für den Fall, dass die Auflösung eines Einzelbildes nicht hoch genug ist, können Mehrfachbilder zusätzlich mit Superauflösungstechniken kombiniert werden, um eine höhere Auflösung zu erhalten. Um festzustellen, welche Bilder ein relevantes Polygon darstellen sollen, kann ein einfaches Auswahlverfahren verwendet werden. In diesem einfachen Auswahlverfahren wird unter einer Anzahl von Bildern eines Ortes, die innerhalb eines vorgegebenen Zeitfensters gemacht wurden, das Bild ausgewählt, das sich am besten für die bevorstehende Aufgabe eignet. Die Auswahl kann auf einem oder mehreren Parametern basieren, wie etwa Auflösung, Kontrast, Polygonabdeckung, nicht vorhandene Wolken oder andere Wetterphänomene.
-
Außerdem kann die räumliche Bildverarbeitung 420 durchgeführt werden, um die Form, Farbe und Kontext der Objekte klarer herauszustellen, um den Arbeitskräften, die die Bilder betrachten, ihre Aufgabe zu erleichtern. Die räumliche Bildverarbeitung 420 enthält Filter zur Schärfung (z. B. unscharfe Maskierung), Rauschunterdrückung sowie Kontrastverstärkung, Farbkorrektur, Kontrastverstärkung und Schärfung. In einigen Fällen werden Bereiche in einem Bild außerhalb des relevanten Polygons verändert, um Arbeitskräften einen Bildkontext zur Verfügung zu stellen und ihn gleichzeitig davon abzuhalten, diesen Teil des Bilds zu analysieren.
-
Außerdem kann die Pixelverstärkungsbearbeitung 430 durchgeführt werden, um die Form, Farbe und Kontext von Objekten klarer hervorzuheben, um Arbeitskräften, die die Bilder betrachten, die Erfüllung ihrer Aufgabe zu vereinfachen. Die Pixelverstärkungsbearbeitung 420 führt unter anderem Farbzuordnung und Kontrasteinstellung durch. Die Pixelverstärkungsbearbeitung 420 kann z. B. Bilder verändern, sodass natürliche Vegetation (z. B. Bäume) und andere Objekte wie etwa künstliche Gebilde (z. B. Markisen) nicht mit Pkw verwechselt werden.
-
In einigen Fällen werden einige Teile eines Bildes, sogar in einem Polygon, verdunkelt oder undeutlich gemacht, um die Aufmerksamkeit auf den relevanten Bereich zu lenken. So kann beispielsweise der Bereich um einen Parkplatz mit Pkw herum verdunkelt werden. In einigen Fällen wird eine weitere Verarbeitung verwendet, um potenziell relevante Ziele stärker hervorzuheben. So werden beispielsweise konventionelle und spezialisierte Bildschärfungsalgorithmen verwendet, um den Kontrast zwischen Pkw und dem Asphalt oder dem Zementbürgersteig auf Parkplätzen stärker hervorzuheben, damit die Pkw-Ziele besser zu erkennen sind. In einigen Fällen können bereits durch eine einfache automatische Bildanalyse Objekte und Bereiche erkannt werden, die für die Aufgabe unwichtig sind. So kann zum Beispiel die grüne Farbe der Vegetation verstärkt werden, um sie besser von Fahrzeugen zu unterscheiden.
-
Das Bildanalysesubsystem 130 empfängt Rückmeldungen in Echtzeit und Nicht-Echtzeit 470, 165 zur Unterstützung bei der Bildverbesserung. Die Rückmeldungen können als Ergebnis einer von der statistischen Analyse 460 durchgeführten Genauigkeitsberechnung zur Verfügung gestellt werden und/oder auf Grundlage der Sichtkontrolleinstellung durch Arbeitskräfte 450.
-
In einigen Fällen ermöglichen die Sichtkontrollen 450 die Einstellung von Bildverbesserungsfunktionen z. B. vom Typ Mehrfachbilder 410, räumlich 420 oder Pixel 430. In einigen Fällen werden die Einstellungen für eine Arbeitskraft nur als bevorzugte Einstellungen für diese Arbeitskraft verwendet. In anderen Fällen wird eine Zusammenstellung der Einstellungen mehrerer Arbeitskräfte verwendet, um die bevorzugten Einstellungen für viele oder alle anderen Arbeitskräfte zu erstellen. In weiteren Fällen werden die Einstellungen für ein Bild oder einen Ort, oder eine Bildquelle oder einen bestimmten Bildtyp verwendet, um bevorzugte Einstellungen für dieses bestimmte Bild, Bildquelle oder diesen bestimmten Ort oder Bildtyp zu erstellen.
-
Die Sichtkontrollen 450 ermöglichen den Arbeitnehmern einfache Bildbearbeitungsschritte zur Änderung des Bilds anzuwenden, damit es den Anforderungen der Arbeitskraft zur Erfüllung der Aufgabe besser entspricht. Zulässige Veränderungen sind unter anderem die Änderung der Schärfe, Farbe und des Bildkontrasts sowie Bildvergrößerung und Schwenken des Bilds.
-
Die Arbeitskraftpräsentation 440 ist eine aufgabenspezifische Benutzeroberfläche, die Arbeitnehmer die Visualisierung analysierter Bilder und einen HIT-Toolsatz bietet, mit denen abgeleitete Daten schnell und wiederholbar erstellt werden können. Die Arbeitnehmerpräsentation 440 kann webbrowser-basiert sein. Die Arbeitnehmerpräsentation ermöglicht es Arbeitnehmern zudem, Bilder mit anderen Bildern zu vergleichen, um Veränderungen auf diesen Bildern zu erfassen oder um Standorte auf Karten aufzufinden. In dem Pkw-Zählbeispiel enthält die Arbeitnehmerpräsentation ein Klick-Markierungssystem, sodass der Arbeitnehmer erkennen kann, was bereits gezählt worden ist und was noch gezählt werden muss. Diese Markierungen können vom Arbeitnehmer gegebenenfalls entfernt oder korrigiert werden, bevor die Zählung zur statistischen Analyse 460 eingereicht wird.
-
Nachdem der Arbeitnehmer die HIT abgeschlossen hat, führt das statistische Analysesubsystem 460 Maßnahmen zur Qualitätskontrolle durch. Diese Maßnahmen vergleichen Statistiken hinsichtlich der von einer Anzahl unterschiedlicher Arbeitskräfte (z. B. 100) erzielten Ergebnisse zur Zählung desselben Bilds und/oder für eine Anzahl unterschiedlicher Bilder von derselben Arbeitskraft.
-
In einigen Fällen führt eine oder mehrere der Verbesserungsverarbeitungssubsysteme 410, 420, 430 und das statistische Analysesubsystem 460 eine Auswertung durch, um festzustellen, ob die analysierten Bilder zu akzeptablen Ergebnissen, die von den Arbeitskräften abgeleiteten wurden, führen. Die Ergebnisse dieser Auswertung werden als Rückmeldung 166 an das Bilderfassungsubsystem 120 geliefert.
-
Human Intelligence Task
-
5 zeigt ein Beispiel eines Arbeitnehmer-Aufgabenablaufs und Arbeitnehmerpräsentationsanforderungen, gemäß einer Ausführungsform. Auf hoher Ebene beginnt der Arbeitsablauf eines Arbeitnehmers im Allgemeinen mit dem Erhalt eines Satzes bearbeiteter Bilder zusammen mit einigen Arbeitsanweisungen. Der Arbeitnehmer führt die Aufgabe aus und klickt anschließend auf eine „Absenden”-Schaltfläche, um die abgeschlossene Aufgabe zurück an das System zu senden.
-
Die Bilder und Anweisungen werden den Arbeitskräften durch das HIT-System 510 vorgelegt. Ein HIT-System ist ein netzwerkbasiertes Verarbeitungssystem für verteilte Daten. Die Daten werden den Arbeitskräften über einen Web-Browser vorgelegt. Der Arbeitnehmer bearbeitet die Daten gemäß den Anweisungen und sendet eine Antwort zurück. Die Arbeitskräfte können überall auf der Welt arbeiten, wo Zugang zum Netzwerk besteht und mit jeder Art von Netzwerkgerät, einschließlich eines Browsers, arbeiten. Manchmal sind die Arbeitnehmer bei einem Unternehmen beschäftigt, die von Kunden mit der Aufgabe beauftragt werden. Andere Arbeitskräfte sind freiberuflich tätig und werden für alle von ihnen bearbeiteten Daten einzeln bezahlt. Ein Beispiel für diese Art von System ist der MECHANICAL TURK (mechanische Türke) von AMAZON (www.mturk.com).
-
Jede Aufgabe wird mehreren Arbeitskräften zugeordnet 520, wobei die Anzahl der Arbeitskräfte sich nach der gewünschten Genauigkeit richtet. Genauigkeit ist außerdem eine Funktion der Aufgabe, der Oberfläche, des Bilds und der Qualität der Arbeitskräfte. Hinsichtlich des Pkw-Zählbeispiels haben empirische Studien über mehrere Parkplatzbilder gezeigt, dass zur Ermittlung der korrekten Anzahl von Pkw bei einer Standardabweichung 25 Arbeitskräfte pro Bild erforderlich sind. Eine ähnliche empirische Analyse kann für andere Aufgaben, Oberflächen und Bilder durchgeführt werden, um die angemessene Anzahl von Arbeitskräften zu bestimmen, durch die die gewünschte Genauigkeit gewährleistet werden kann.
-
Die Oberfläche für das Zählsystem enthält spezifische Anweisungen für die Aufgabe, ein Klick-Markierungssystem, Sichtkontrollen sowie Korrekturbearbeitung. Für das Pkw-Zählbeispiel könnten die spezifischen Anweisungen folgendermaßen aussehen: „Ihnen wird eine Luftaufnahme eines Parkplatzes vorgelegt. Ihre Aufgabe ist, alle Pkws in dem Bild zu erfassen und zu zählen, indem Sie einmal in die Mitte jedes einzelnen Pkws klicken. Jeder Klick wird eine visuelle Markierung hinterlassen und die Gesamtzahl um eins erhöhen. Sollten Sie einen Fehler machen, können Sie den Klick entfernen, indem Sie auf ihn klicken, wenn der Cursor sich in die Abbildung einer Hand verwandelt. Bitte beachten Sie, dass die Gesamtzahl um eins verringert wird, wenn Sie eine Markierung entfernen. Für diese Aufgabe zählen Transporter, Lkws, Busse, Motorräder und Nutzfahrzeuge als Pkw. Achten Sie darauf, dass Sie keine Sträucher oder andere Nicht-Fahrzeuge als Pkw markieren.”
-
Die Klick-Oberfläche 530 legt eine visuelle Markierung auf einen Bildbereich, wenn eine Arbeitskraft auf diesen Bildbereich klickt. Diese Überlagerung wird „Klickkarte” genannt und im statistischen Analysesubsystem 460 verwendet. 6 zeigt ein Beispiel eines Klickschnittstellenbilds mit diesen Markierungen. Diese Markierungen zeigen, welche Objekte (z. B. Pkw) bereits gezählt wurden und welche noch zu zählen sind. 6a zeigt das Originalbild, bevor Markierungen daraufgelegt wurden. 6b zeigt eine Klickzählung während der Bearbeitung, bei der drei Markierungen hinzugefügt wurden. 6c zeigt mehrere, von unterschiedlichen Arbeitskräften stammende Klickzählungen, die zur Darstellung einer gebündelten Zählung überlagert wurden.
-
Die Klick-Schnittstelle 530 kann über zusätzliche eingebettete Eigenschaften verfügen. In einigen Fällen gehören zu diesen Eigenschaften bestimmte Regeln, welche das Verhalten zum Hinzufügen von Klickmarkierungen vorschreiben. Beispielsweise kann ein Mindestabstand der einzelnen Klickmarkierungen zueinander vorgeschrieben sein, der einem angemessenen Abstand der zu zählenden Objekte (z. B. Pkw) zueinander und der relativen Auflösung des Bilds entspricht. Die Klick-Schnittstelle kann zudem Messeigenschaften beinhalten, z. B. die Messung der Zeit zwischen den Klicks einer Arbeitskraft. Klickt der Arbeitnehmer auf einen Bereich und ändert anschließend seine bzw. ihre Meinung 560, ermöglicht die Klick-Schnittstelle die Löschung bzw. Entfernung der Markierungen. Ist der Arbeitnehmer zufrieden mit der Zählung 570, wird die Zahl an das System 580 gesendet und die Arbeitnehmerpräsentation legt der Arbeitskraft das nächste Bild zur Zählung vor.
-
Statistische Analyse
-
7 zeigt ein Ablaufdiagramm für die Durchführung einer statistischen Analyse von Ergebniszählungen und Klickkarten von allen Arbeitskräften, die ein bestimmtes Bild gezählt haben, gemäß einer Ausführungsform. Arbeitnehmerergebnisse ohne Klicks werden entfernt 710. Die übrigen Klickkarten mit mindestens einem Klick werden zusammengeführt 720 und als „Klickwolke” bezeichnet. Im Idealfall liegen Klickwolken über tatsächlichen Objekten eng beieinander. Jedoch kann durch schlechte Leistung der Arbeitnehmer oder Schwierigkeiten aufgrund schlechter Bildqualität auch nach der Bildbearbeitung dazu führen, dass Klickwolken hinsichtlich tatsächlicher Objekte weit auseinanderliegen. Sowohl der Schwerpunkt (oder das Zentroid) der einzelnen Klickwolken als auch die zweidimensionale Standardabweichung dieses Schwerpunkts werden bestimmt. In einem Fall wird der Schwerpunkt und seine Standardabweichung der einzelnen Klickwolken durch Anpassung einer zweidimensionalen Kernel-basierten Wahrscheinlichkeitsverteilungsfunktion 730 auf die Klickwolke bestimmt. Andere Methoden zur Schätzung der Wahrscheinlichkeitsverteilung, einschließlich eindimensionaler und dreidimensionaler Verteilungsfunktionen, wie etwa parametrische Methoden können auch auf Klickwolken angewendet werden. In einem spezifischen Beispiel kann der Kern eine Gaußsche Exponentialfunktion mit der Breite der Funktion proportional zur durchschnittlichen Größe des relevanten Objekts sein. Im Pkw-Zählbeispiel ist die Breite der Funktion proportional zur durchschnittlichen Größe eines Pkw. Statistische Regeln zur typischen Fahrzeuggeometrie verstärken physisch realistische Pkw-Standortschätzungen.
-
Die Verarbeitung (nicht dargestellt) kann außerdem die Bestimmung von mit bestimmten Arbeitnehmern verbundenen Vertrauensfaktoren enthalten, wobei die den Vertrauensfaktoren zugrundeliegenden Daten von zuvor durchgeführten Arbeiten dieser Arbeitskraft stammen. In einem Beispiel wird die Zeitdauer, die ein Arbeitnehmer mit einer Aufgabe verbringt, positiv mit einem höheren Vertrauensfaktor verbunden. In solchen Fällen können Vertrauensfaktoren verwendet werden, um den Beitrag der Klicks für die Bestimmung des Schwerpunkts und die Standardabweichung der Wahrscheinlichkeitsdichtefunktion zu gewichten.
-
In einigen Fällen werden weitere statistische Analysen wie etwa die Korrelation der Ergebnisse unterschiedlicher Arbeitnehmer für dieselbe Aufgabe zu einem einzelnen Vertrauenswert oder einer Varianzschätzung des endgültigen Ergebnisses der gezählten oder quantifizierten Aufgabe (z. B. der Varianz der Gesamtzahl der Pkw auf dem Parkplatz) zusammengefasst. In einigen Fällen, bei einem sehr niedrigen Vertrauenswert (z. B. bei sehr hoher Varianz) erfasst das System automatisch zusätzliche Bilder 166 oder weitere Arbeitskräfte für das Bild, um die daraus resultierenden abgeleiteten Daten zu verbessern.
-
Für jede eingerichtete Klickwolke wird die Anzahl der Klicks in der Standardabweichung gezählt und die besten N stärksten Spitzen in der Verteilung werden bestimmt 740. Welche N Spitzen als stärkste Spitzen bestimmt werden, kann auf verschiedene Arten festgelegt werden. In einem Fall wird die Zahl der stärksten Spitzen N aus der Anzahl der Klickwolken mit mindestens 25% der Gesamtzahl der Klicks innerhalb der Standardabweichung der Einrichtungsfunktion bestimmt. Für das Pkw-Zählbeispiel bedeutet dies, dass mindestens 25% der gesamten Klicks sich in einem Bereich befinden, der proportional zur Breite eines Pkw ist. In anderen Fällen wird die Anzahl der stärksten Spitzen N basierend auf Grenzwerten für Kriterien, wie die durchschnittliche, die mittlere oder Standardabweichung in der Anzahl der Klicks je relevantem Objekt berechnet. Die Anforderung für die N stärksten Spitzen kann durch Erhöhen oder Senken der oben genannten Kriteriumsgrenzwerten erreicht werden.
-
In einem Fall landen die besten N der stärksten Spitzen direkt in der endgültigen Zählung, sodass die endgültige Zählung gleich N ist.
-
Klick- und Zählstatistiken können zum Prüfen und Verbessern des Genauigkeitsgrads von automatisierten (ohne menschliche Einbindung) Bildanalysesystemen 750 verwendet werden. Die gefilterten Ergebnisse werden zum Vergleich mit den automatisierten Bildanalysesystemen (zur Auswertung und/oder Schulung) verwendet oder mit automatisierten Bildanalyseergebnissen kombiniert. Die gefilterten Ergebnisse können als Computerlernschulungen verwendet werden, um automatisierte Bildanalyseergebnisse anzuleiten und zu verbessern. In einigen Fällen werden automatische Bildanalyseergebnisse direkt als Endzählung verwendet, ohne sich auf HIT-Klickanalysen zu verlassen.
-
Klick- und Zählstatistiken können ebenfalls zur Verbesserung zukünftiger Ergebnisse 750 verwendet werden. Die Dichte von Klickwolken hilft dabei, Bilder und Teile von Bildern zu entdecken, bei denen die Zählungen der Arbeitskräfte auseinanderdriften. Klickwolken von mittlerer oder geringer Dichte für potenzielle Objekte sind fehlerverdächtig. Diese Information kann als Rückmeldung an die Bilderfassungs- oder Bildverstärkungsubssysteme zur Änderung gesendet werden. So kann beispielsweise das Bilderfassungs- oder Bildverstärkungssystem als Reaktion auf die Rückmeldung die Bilder verändern, die das Objekt enthalten, um den Kontrast des Objekts zu verstärken, sodass es eindeutiger zu erkennen ist.
-
Die Ergebnisse der Klickzählungen von den veränderten Bildern können mit den ursprünglichen Ergebnissen verglichen werden, um festzustellen, ob die Dichte der Klick-Clouds sich erhöht (Hinweis auf ein potenziell echtes Objekt) oder verringert hat (potenzieller Hinweis auf ein falsch positives Ergebnis). Die Auswirkung der Bildveränderungen auf Klickwolken mit hoher Dichte wird in einer Rückmeldungsschleife verwendet, um verschiedene Schritte der Bildverbesserung und -bearbeitung 165 zu kontrollieren. Werden die Klickwolken der veränderten Bilder bis zu dem Punkt gesättigt, an dem zuvor eigenständige Klickwolken miteinander verschmelzen, wird die Veränderung als zu stark eingestuft und eine Rückmeldung ausgegeben, um die Veränderungen zu verringern. Nimmt die Dichte aller Klickwolken dramatisch ab, wird die Veränderung ebenfalls als zu stark eingestuft und eine Rückmeldung ausgegeben, um die Veränderung zu verringern. Bleibt die Dichte der Klickwolken, mit Ausnahme der Klickwolken mittlerer Dichte, jedoch relativ unverändert, wird die Änderung beibehalten und hilft auf diese Weise, tatsächlich relevante Objekte vom Hintergrund abzuheben. Beispiele von Bildveränderungen sind unter anderem Schärfen, Auflösung, Kontrast und Farbveränderungen, um die Farbe, Form und Kontext von Objekten in einem Bild zu beeinflussen.
-
Ergebnisse mehrerer Bilder können zur Auswertung der Effektivität einzelner Arbeitskräfte verwendet werden. Tendenzen, einschließlich zu hoher und zu niedriger Zählungen einer bestimmten Arbeitskraft können in Relation zum Mittelwert, Mittel oder Modus einer Zählung relevanter Objekte für ein Bild bestimmt werden. Tendenzen für eine Arbeitskraft können verwendet werden, um zukünftige Zählungen zu normalisieren und somit die Tendenz der Arbeitskraft zu eliminieren. Die Ergebnisse können auch verwendet werden, um die Qualität eines bestimmten Bildes zu beurteilen. Die Qualität eines einzelnen Bilds kann über die Standardabweichung in den Klickwolken und die Gesamtzählung verglichen und quantifiziert werden.
-
Die Gewissheit, ob ein Objekt wirklich ein relevantes Objekt oder nur Teil des Hintergrunds ist, kann auf Grundlage der Zeitdauer zwischen einzelnen Klicks bestimmt und möglicherweise auf einer Pro-Arbeitskraft-Basis normalisiert werden. Objektgewissheit wird durch Vergleich der Zeitverteilungen der Klicks innerhalb einer Wolke mit der Dichte dieser Klickwolke bestätigt. Korreliert die Zeit zwischen den Klicks für die Dichte der Clouds einer bestimmten Aufgabe, für bestimmte Arbeitskräfte, Gruppen von Arbeitskräften, bestimmte Bilder oder Bildergruppen, dann werden Zeitverteilungen auch als Messgröße zur Zählgenauigkeit verwendet.
-
Nicht-raumbezogene Korrelation
-
Die Zählergebnisse der Bildanalyse werden auf unterschiedliche Weise genutzt. Die Auszählung (z. B. Pkw auf einem Geschäftsparkplatz) kann mit bedeutsamen, jedoch nicht notwendigerweise räumlichen Daten (z. B. wöchentlicher Umsatz im Geschäft) verglichen werden. Durch den Aufbau eines Korrelationsverlaufs zwischen den Auszählungen und nicht-raumbezogenen Daten können zukünftige Zählungen verwendet werden, um eine Prognose zukünftiger nicht-raumbezogener Daten zu erstellen. Alternativ können zukünftige, nicht-raumbezogene Daten für eine Vorhersage zukünftiger Zählungen verwendet werden. In einigen Fällen können Zählungen in das Auftreten von Ereignissen, oder andere Arten analoger Ergebnisse übersetzt werden, die keine spezifischen Zählungen sind. Diese Daten können anschließend mit nicht-raumbezogenen Daten verglichen werden, um zukünftige Ergebnisse oder nicht-raumbezogene Daten zu extrapolieren. Die Dichte von Klickwolken ist eine Messgröße der Genauigkeit oder Gewissheit für die Zählung. Diese Gewissheit kann in die Vorhersage für nicht-raumbezogener Daten als Vertrauensfaktor miteinbezogen werden, der an beliebige zukünftige Ergebnisse oder nicht-raumbezogene Daten angefügt werden kann.
-
Beispiele für die Verallgemeinerung
-
Zwar wurde in der Erläuterung oben das Beispiel der Zählung von Pkw auf einem Parkplatz verwendet, jedoch lässt sich das System auch für andere Aufgaben nutzen. Beispielsweise für die Zählung verschiedener Gegenstände auf Luftaufnahmen, wie etwa Schiffe in einem Hafen, Schiffscontainer, Lastzüge, Rohmaterialien oder Baumaterialien. Zu den Beispielen für Aufgaben zur Ereigniserfassung zählen das Erfassen vom Abriss oder Aufbau von Gebäuden, das Vorhandensein eines Objekts in einer relevanten Region oder eine bedeutende Veränderung in der Landschaft. In diesen Fällen sind die Formen, Größen und der Hintergrundkontrast natürlich anders als bei der Pkw-Zählung. Bei diesen Fällen ist die Entscheidung der HIT das Vorhandensein oder Fehlen eines Ereignisses. In einigen Ausführungsformen ist die Klickzähl-Schnittstelle sehr nützlich, die statistische Analyse wird jedoch geändert, um boolesche Zahlen anstelle ganzer Zahlen wiederzugeben.
-
Zu den Quantifizierungsaufgaben zählen unter anderem die Feststellung der Fläche von Wasservorräten, die Höhe von Objekten in Landschaften oder die Fläche von landschaftlichen Nutzflächen. Größe, Form und Kontrast unterscheiden sich von den oben genannten Aufgaben. Anstelle einer Klick-Schnittstelle wird ein Software-Tool zum Zeichnen von Polygonen bereitgestellt. Die statistische Analyse wird modifiziert, um anstelle von Klickzählungen die Polygonfläche und -form als Eingabe anzunehmen.
-
Wie hierin verwendet, bedeuten Verweise auf „eine Ausführungsform” oder „Ausführungsformen”, dass ein bestimmtes Element, Merkmal, eine Struktur oder eine Eigenschaft, das/die in Verbindung mit der Ausführungsform beschrieben wird, zumindest in einer Ausführungsform enthalten ist. Das Erscheinen der Formulierung „in einer Ausführungsform” an verschiedenen Orten in der Spezifikation bezieht sich nicht notwendigerweise immer auf dieselbe Ausführungsform.
-
Einige Ausführungsformen können mithilfe des Ausdrucks „gekoppelt” und „verbunden” zusammen mit deren Ableitungen beschrieben werden. Zum Beispiel können einige Ausführungsformen mithilfe des Begriffs „gekoppelt” beschrieben werden, um anzugeben, dass eines oder mehrere Elemente im direkten physischen oder elektrischen Kontakt sind. Der Begriff „gekoppelt” kann jedoch auch bedeuten, dass obwohl eines oder mehrere Elemente sich nicht im direkten Kontakt miteinander befinden, sie trotzdem noch miteinander zusammenarbeiten oder interagieren. Die Ausführungsformen sind in diesem Kontext nicht beschränkt.
-
Wie hierin verwendet, sollen die Begriffe „umfasst”, „umfassend”, „beinhaltet”, „enthält”, „hat”, „haben” und andere Varianten davon eine nicht ausschließliche Einbeziehung abdecken. Zum Beispiel ist ein Prozess, ein Verfahren, ein Artikel oder eine Vorrichtung, der/die eine Liste von Elementen umfasst, nicht notwendigerweise nur auf diese Elemente beschränkt, sondern kann andere Elemente beinhalten, die nicht ausdrücklich aufgelistet oder bei einem solchen Prozess, einem solchen Verfahren, einem solchen Artikel oder einer solchen Vorrichtung inhärent sind. Des Weiteren bezieht sich, sofern nichts Gegenteiliges angegeben, „oder” auf ein einschließendes und nicht auf ein ausschließendes Oder. Zum Beispiel ist eine Bedingung A oder B durch eines der folgenden erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden) und sowohl A als auch B sind wahr (oder vorhanden).
-
Außerdem wird „eine”, „einer” oder „eines” verwendet, um Elemente und Komponenten der Ausführungsformen hierin zu beschreiben. Das erfolgt lediglich aus praktischen Gründen und um eine allgemeine Vorstellung der Beschreibung zu vermitteln. Die Beschreibung sollte so gelesen werden, dass sie eines oder mindestens eines enthält, und der Singular umfasst auch den Plural, außer es ist offensichtlich anders gedacht.
-
Nach dem Lesen dieser Offenbarung, wird für Fachleute auf dem Gebiet klar, dass weitere alternative strukturelle und funktionale Konzepte für ein System und einen Prozess zur Bildbearbeitung und -analyse sowie die Korrelation von Analyseergebnissen mit nicht-raumbezogenen Informationen mittels der hierin offenbarten Prinzipien vorteilhaft für Gewerbe und Handel sind. Somit sollte, während bestimmte Ausführungsformen und Anwendungen veranschaulicht und beschrieben wurden, es selbstverständlich sein, dass die offenbarten Ausführungsformen nicht auf die genaue Konstruktion und Komponenten beschränkt sind, die hierin offenbart wurden. Verschiedene Modifikationen, Änderungen und Variationen, die für Fachleute auf dem Gebiet ersichtlich werden, können in der Anordnung, dem Betrieb und in den Einzelheiten der Verfahren und der Vorrichtung, die hierin offenbart werden, ohne Abweichung von der Idee und dem Umfang der angehängten Patentansprüche erfolgen.
-
Weitere Beispiele und Ausführungsformen
-
Gemäß des ersten Aspekts wird ein System zur Auswahl und Verarbeitung von Bildern zur Nutzung in Analyseaufgaben bereitgestellt. In einer Ausführungsform des ersten Aspekts besteht das System aus einem Standortsuchsubsystem, das konfiguriert ist, um eine Suchposition zu empfangen und auf Grundlage dieser erhaltenen Suchposition, mindestens eine abgeleitete Koordinate bestimmt. In einer Ausführungsform des ersten Aspekts besteht das System aus einem Bilderfassungssubsystem, das konfiguriert ist, um mindestens ein relevantes Polygon auf der Grundlage der abgeleiteten Koordinaten zu bestimmen und Bilder von mindestens einem relevanten Polygon abzurufen. In einer Ausführungsform des ersten Aspekts enthält das System ein Bildanalysesubsystem, das konfiguriert ist, um die abgerufenen Bilder auf der Grundlage von mindestens einer Bildverarbeitungsanweisung zu bearbeiten und mindestens ein relevantes Objekt vom Hintergrund des Bilds zu unterscheiden.
-
In einer Ausführungsform des ersten Aspekts ist das Standortsuchesubsystem konfiguriert, um auf Grundlage der erhaltenen Suchposition mindestens ein relevantes Polygon zu bestimmen. In einer Ausführungsform ist das Standortsuchesubsystem auf den Empfang von Rückmeldungen vom Bilderfassungssubsystem konfiguriert, wobei die Rückmeldung eine aktualisierte Suchposition umfasst. In einer weiteren Ausführungsform des ersten Aspekts wird eine Rückmeldung ausgegeben, die auf die Feststellung reagiert, dass mindestens ein Polygon sich über die erhaltenen Bilder hinaus erstreckt. In einer Ausführungsform des ersten Aspekts ist das Standortsuchesubsystem konfiguriert, um Rückmeldungen von einem nicht-raumbezogenen Korrelationssubsystem zu erhalten, die eine aktualisierte Suchposition umfassen. In einer weiteren Ausführungsform des ersten Aspekts wird eine Rückmeldung ausgegeben, die auf die Feststellung reagiert, dass mindestens ein Ergebnis des Bildanalysesubsystems mit mindestens einem der im nicht-raumbezogenen Korrelationssubsystem gespeicherten nicht-raumbezogenen Daten ausreichend nicht-korreliert.
-
In einer Ausführungsform des ersten Aspekts stammen die Bilder aus einer Datenbank. In einer Ausführungsform des ersten Aspekts stammen die Bilder aus einem Bildsatellit aus der Atmosphäre. In einer Ausführungsform des ersten Aspekts, werden als Reaktion auf die Feststellung, dass die erhaltenen Bilder unzureichend hinsichtlich mindestens einer Zeitigkeitsbeschränkung, einer Auflösung oder einer Qualität sind, neue Bilder eingeholt. In einer Ausführungsform des ersten Aspekts wird das Bilderfassungssubsystem konfiguriert, um erhaltene Bilder zu entzerren und hinsichtlich Winkelverzugs zu korrigieren. In einer Ausführungsform des ersten Aspekts umfasst das Einholen von Bildern der relevanten Polygone, Bilder so lange einzuholen, bis ein Gebiet aller relevanten Polygone von den eingeholten Bildern im Wesentlichen abgedeckt ist. In einer Ausführungsform des ersten Aspekts basiert die Bestimmung der relevanten Polygone auf einer erwarteten Aufgaben-Polygonform. In einer Ausführungsform des ersten Aspekts wird das Bilderfassungssubsystem für die Bestimmung eines Polygons auf Grundlage der abgeleiteten Koordinaten konfiguriert, dass es eine Polygonvorlage um die abgeleiteten Koordinaten zentriert, wobei die Polygonvorlage einen Rahmen enthält, und die Grenzen des Polygons auf Grundlage der Position des Rahmens der Vorlage geschätzt werden. In einer Ausführungsform des ersten Aspekts wird das Bilderfassungssubsystem für die Bestimmung eines Polygons auf Grundlage der abgeleiteten Koordinaten so konfiguriert, dass es HIT-Aufgabe zur Erstellung von Polygonen vorlegt und den Polygon als Ergebnis dieser Aufgabenstellung erhält.
-
In einer Ausführungsform des ersten Aspekts wird das Bilderfassungssubsystem so konfiguriert, dass es Rückmeldungen von einem nicht-raumbezogenen Korrelationssubsystem erhält, die mindestens eine Frequenz enthalten, mit der Bilder eingeholt werden sowie eine Zeitdauer, in der die Bilder einzuholen sind. In einer Ausführungsform des ersten Aspekts wird das Bilderfassungssubsystem so konfiguriert, dass es Rückmeldungen vom Bildanalysesubsystem erhält, die mindestens eine Ausrichtung von einem Bildgebungssatelliten in der Atmosphäre und eine Aufnahmeauflösung für diesen Bildgebungssatelliten umfassen. In einer Ausführungsform des ersten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es mindestens eine Form der relevanten Objekte, eine Farbe der relevanten Objekte und einen Kontext der relevanten Objekte verändert. In einer Ausführungsform des ersten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es mindestens einmal Mehrfachbilder zusammenheftet, eine räumliche Bildverbesserung und eine Pixelbildverbesserung durchführt.
-
In einer Ausführungsform des ersten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es Rückmeldungen von einem nicht-raumbezogenen Korrelationssubsystem erhält, die aktualisierte Bildbearbeitungsanweisungen umfassen. In einer weiteren Ausführungsform des ersten Aspekts wird eine Rückmeldung ausgegeben, die auf die Feststellung reagiert, dass die vorhandenen Bildbearbeitungsanweisungen sich negativ auf mindestens ein Ergebnis auswirken, das vom Bildanalysesubsystem erhalten wurde
-
In einer Ausführungsform des ersten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es Rückmeldungen von einer Arbeitnehmer-Schnittstelle erhält, die aktualisierte Bildbearbeitungsanweisungen umfassen. In einer weiteren Ausführungsform des ersten Aspekts ist die Arbeitnehmerschnittstelle zu konfiguriert, dass mindestens eine der folgenden Funktionen möglich ist: Schwenken, Bildvergrößerung, Farbverbesserung, Kontrastverstärkung. In einer weiteren Ausführungsform des ersten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es aktualisierte Bildbearbeitungsanweisungen von einer Vielzahl von Arbeitnehmerschnittstellen erhält, diese aktualisierten Anweisungen zusammenfasst und die zusammengefassten Bildbearbeitungsanweisungen auf die Vielzahl der Arbeitnehmerschnittstellen anwendet. In einer weiteren Ausführungsform des ersten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es aktualisierte Bildbearbeitungsanweisungen auf ein bestimmtes Bild, auf Bilder von einer bestimmten Position, auf Bilder von einer bestimmten Bildquelle oder auf Bilder von eines bestimmten Bildtyps anwendet.
-
In einer Ausführungsform des ersten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es aktualisierte Bildbearbeitungsanweisungen erstellt. In einer weiteren Ausführungsform des ersten Aspekts werden aktualisierte Bildbearbeitungsanweisungen erstellt, die auf die Feststellung reagiert, dass die vorhandenen Bildbearbeitungsanweisungen relevante Objekte nur unzureichend vom Hintergrund der Bilder abheben.
-
Gemäß eines zweiten Aspekts wird ein System zum Einholen von Informationen aus Bildern bereitgestellt. In einer Ausführungsform des zweiten Aspekts umfasst das System ein Bildanalysesubsystem, das konfiguriert ist, um einer Vielzahl von Arbeitnehmerschnittstellen Bilder vorzulegen, eine Vielzahl von Anwenderantworten hinsichtlich der Bilder zu empfangen und auf Grundlage der Anwenderantworten die Anzahl von mindestens einem, auf den Bildern vorhandenen, relevanten Objekt festzulegen. In einer Ausführungsform des zweiten Aspekts umfasst das System ein nicht-raumbezogenes Korrelationssubsystem, das konfiguriert ist, um die Anzahl der Objekte mit nicht-raumbezogenen Daten zu korrelieren und auf der Grundlage zukünftiger Zählungen und der Korrelation zwischen den nicht-raumbezogenen Daten und der Zählung, zukünftige, nicht-raumbezogene Daten vorherzusagen.
-
In einer Ausführungsform des zweiten Aspekts umfasst die Arbeitnehmerschnittstelle eine Benutzeroberfläche, die so konfiguriert ist, dass sie Bilder anzeigt, dem Benutzer erlaubt, mit einem Zeigegerät, das auf einem Bildschirm bewegt werden kann, zu klicken, an einer Klickposition einen Benutzerklick erhält, eine Markierung auf die Bilder an die Klickposition setzt, die Markierung auf einen zweiten Klick auf die Klickposition entfernt und die Markierung als Benutzerantwort absendet. In einer weiteren Ausführungsform des zweiten Aspekts ist die Benutzeroberfläche so konfiguriert, dass der Benutzer eine Vielzahl von Markierungen setzen kann, die einen Mindestabstand zueinander haben müssen. In einer weiteren Ausführungsform des zweiten Aspekts ist die Benutzeroberfläche konfiguriert, um die Zeitdauer zwischen den Klicks zu messen.
-
In einer Ausführungsform des zweiten Aspekts werden die Benutzerantworten in mindestens einer zweidimensionalen Klickwolke zusammengefasst, die auf mögliche Positionen relevanter Objekte in den Bildern verweisen. In einer weiteren Ausführungsform des zweiten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es jede zweidimensionale Klickwolke an eine zweidimensionale Wahrscheinlichkeitsverteilungsfunktion anpasst, um mindestens eine Spitze mit einem Zentrum zu erstellen sowie eine Zählung der relevanten Objekte auf Grundlage der Zählung der Spitzen zu bestimmen. In einer weiteren Ausführungsform des zweiten Aspekts ist die Wahrscheinlichkeitsdichtefunktion eine Gaußsche Exponentialfunktion, wobei die Breite der Funktion proportional zu der erwarteten Größe des relevanten Objekts ist. In einer weiteren Ausführungsform des zweiten Aspekts umfasst die Spitze einen Mindestanteil von Klicks mit einem maximalen Abstand zum Zentrum. In einer weiteren Ausführungsform des zweiten Aspekts beträgt der maximale Abstand mindestens die halbe erwartete Breite des relevanten Objekts, die halbe mittlere Breite des relevanten Objekts und die halbe durchschnittliche Breite eines relevanten Objekts. In einer weiteren Ausführungsform des zweiten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es die Klickwolke, die Spitze und die Zählung als Schulungsklassifikator für ein Computerlernprogramm verwendet. In einer weiteren Ausführungsform des zweiten Aspekts ist das Bildanalysesubsystem konfiguriert, um einen Vertrauenswert für die Zählung zu ermitteln. In einer weiteren Ausführungsform des zweiten Aspekts wird der Vertrauenswert auf Grundlage einer Messung der Zeit zwischen den Klicks aus den Benutzerantworten, welche die zweidimensionale Klickwolke bilden, ermittelt. In einer weiteren Ausführungsform des zweiten Aspekts umfasst der Vertrauenswert eine Benutzerzählung und der Wert wird auf Grundlage der Varianz zwischen Benutzerzählungen aller Benutzerzählungen ermittelt. In einer weiteren Ausführungsform des zweiten Aspekts wird der Vertrauenswert auf der Zeitdauer ermittelt, die für die Erstellung der Benutzerantworten benötigt wird. In einer weiteren Ausführungsform des zweiten Aspekts ist das Bildanalysesubsystem zur Änderung der Bilder konfiguriert, falls der Vertrauenswert unter einen bestimmten Grenzwert liegt. In einer weiteren Ausführungsform des zweiten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es die Dichte der Klicks in der Spitze verwendet, um die den Arbeitnehmerschnittstellen vorgelegten Bilder zu ändern. In einer weiteren Ausführungsform des zweiten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es die Zeitdauer zwischen den Klicks mit der Dichte der Klicks in der Spitze korreliert. In einer weiteren Ausführungsform des zweiten Aspekts ist das Bildanalysesubsystem so konfiguriert, dass es Benutzerantworten und entweder die Zählung oder die zweidimensionale Klickwolke verwendet, um eine zu hohe oder zu niedrige Zählung eines Benutzers mit einer der Benutzerantworten zu ermitteln.
-
In einer Ausführungsform des zweiten Aspekts ist das nicht-raumbezogene Korrelationssubsystem konfiguriert, um eine zukünftige Zahl auf Grundlage zukünftiger nicht-raumbezogenen Daten und der Korrelation zwischen den nicht-raumbezogenen Daten und der Zählung, vorherzusagen.
-
Gemäß des dritten Aspekts wird ein System zur Schätzung nicht-raumbezogener Daten aus Luftaufnahmen bereitgestellt. In einer Ausführungsform des dritten Aspekts umfasst das System ein Standortsuchsubsystem, das konfiguriert ist, um eine empfangene Standortanfrage in mindestens eine abgeleitete Koordinate zu konvertieren. In einer Ausführungsform des dritten Aspekts umfasst das System ein Bilderfassungssubsystem, das konfiguriert ist, um Bilder eines relevanten Polygons auf Grundlage der abgeleiteten Koordinaten einzuholen. In einer Ausführungsform des dritten Aspekts umfasst das System ein Bildanalysesubsystem, das konfiguriert ist, die eingeholten Bilder zu bearbeiten, um mindestens ein relevantes Objekt von dem Hintergrund des Bilds abzuheben und Ergebnisse auf Grundlage der relevanten Objekte zu erhalten. In einer Ausführungsform des dritten Aspekts umfasst das System ein nicht-raumbezogenes Korrelationsubsystem, das konfiguriert ist, um eine Korrelation zwischen nicht-raumbezogenen Daten und den Ergebnissen zu ermitteln.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- www.google.com [0031]
- www.yelp.com [0031]
- www.homedepot.com [0031]
- www.mturk.com [0056]
