DE102014108255A1

DE102014108255A1 - Georeferenzierung von Bilddaten

Info

Publication number: DE102014108255A1
Application number: DE102014108255.9A
Authority: DE
Inventors: Gellért Sándor Máttyus; Friedrich Fraundorfer
Original assignee: Tu Muenchen Inst fur Photogrammetrie und Kartographie; Tu Muenchen Institut fur Photogrammetrie und Kartographie Lehrstuhl fur Methodik Der Fernerkundung; Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Tu Muenchen Inst fur Photogrammetrie und Kartographie; Tu Muenchen Institut fur Photogrammetrie und Kartographie Lehrstuhl fur Methodik Der Fernerkundung; Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2014-06-12
Filing date: 2014-06-12
Publication date: 2015-12-17

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Georeferenzierung von Bilddaten. Das vorgeschlagene Verfahren umfasst folgende Schritte: Erfassen einer Zeitreihe BDt von Bilddaten BD(t) der Erdoberfläche, in denen jeweils ein Teil eines Straßenverkehrsnetzes mit Fahrzeugen darauf abgebildet ist, wobei sich zeitlich aufeinanderfolgende Bilddaten BD(t) der Zeitreihe BDt hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes überlappen; aus den Bilddaten BD(t) Erzeugen rektifizierter Bilddaten BD*(t); Registrieren der Bilddaten BD*(t) zur Erzeugung eines zusammengesetzten Bilddatensatzes BDZ*, in dem der in den Bilddaten BD*(t) abgebildete Teil der Erdoberfläche mit dem zugehörigen Teil des Straßenverkehrsnetzes abgebildet ist, in dem Bilddatensatz BDZ* jeweils Tracken fahrender Fahrzeuge und Ermitteln von Einzel-Trajektorien der fahrenden Fahrzeuge; Registrieren der ermittelten Einzel-Trajektorien mit dem Bilddatensatz BDZ* zur Erzeugung eines die Einzel-Trajektorien enthaltenden rektifizierten Bilddatensatzes BDZT*; Registrieren des Bilddatensatzes BDZT* mit einer bereitgestellten digitalen Karte des Straßenverkehrsnetzes, die auch den in dem Bilddatensatz BDZT* abgebildeten Teil des Straßenverkehrsnetzes umfasst und eine Georeferenzierung aufweist, anhand einer Korrespondenz der in dem Bilddatensatz BDZT* ein Trajektorienmuster bildenden Einzel-Trajektorien mit dem Straßenverkehrsnetz; und Übertragen der Georeferenzierung der digitalen Karte auf den gesamten mit der digitalen Karte registrierten Bilddatensatz BDZT* zur Erzeugung eines georeferenzierten und rektifizierten Bilddatensatzes GOBDZT*.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Georeferenzierung von Bilddaten. Die Bilddaten sind vorliegend bevorzugt Luftaufnahmen (Luftbilddaten) oder Satellitenaufnahmen (Satellitenbilddaten) eines Oberflächenbereichs der Erde, wobei der Oberflächenbereich eine oder mehrere Straßen für Straßenfahrzeuge (PKW, LKW, etc.) aufweist. Unter dem Begriff „Georeferenzierung“ (auch genannt: „Geokodierung“, „Geotagging“ oder „Verortung“) ist vorliegend die Zuweisung raumbezogener Informationen, der sogenannten „Georeferenz“, zu einem Bilddatensatz zu verstehen. Den Pixeln eines Bilddatensatzes können so bspw. geodätische Koordinaten zugewiesen werden.
Die Erfindung findet beispielsweise Anwendung in der Computerkartografie, der Fernerkundung und bei Geoinformationssystemen.
Zur Georeferenzierung von aufgenommenen Bilddaten müssen bisher die 3D-Position und die Lage des Bilddaten aufnehmenden Systems zum Zeitpunkt der Bildaufnahme bekannt sein. Diese Informationen können bspw. von einem Satellitennavigationssystem (bspw. GPS, GLONASS, Galileo, etc.) zusammen mit Lageerfassungssystem (bspw. einer sogenannten „Inertial Measurement Unit“, IMU) bereitgestellt werden. Basierend auf diesen Informationen werden die Bilddaten dann bspw. auf ein digitales Geländemodell der in den Bilddaten erfassten Erdoberfläche projiziert.
Alternativ können zur Georeferenzierung von aufgenommenen Bilddaten in den Bilddaten abgebildete Referenzpunkte/Referenzobjekte identifiziert werden, deren Koordinaten bekannt sind. Die Koordinaten der Referenzpunkte/Referenzobjekte müssen hierzu natürlich vorher ermittelt werden. Hierzu können in dem entsprechenden Bereich der Erdoberfläche bspw. künstliche Referenzpunkte/Referenzobjekte angeordnet werden, deren Koordinaten hochgenau vermessen sind und bereitgestellt werden. Die Georeferenzierung der Bilddaten erfolgt dann mittels der in den Bilddaten abgebildeten und identifizierten Referenzpunkte/Referenzobjekte.
Bei der ersten Alternative benötigt man hochgenaue Positions- und Lagedaten zum Zeitpunkt der Aufnahme. Die hierzu erforderlichen Sensoren und Vorrichtungen sind teuer, erfordern ein entsprechendes Einbauvolumen, und weisen ein nicht unerhebliches Gewicht auf. Zudem ist eine entsprechend aktuelle Kalibrierung der Sensoren erforderlich.
Bei der zweiten Alternative müssen zunächst die Koordinaten der Referenzpunkte/Referenzobjekte hochgenau ermittelt werden. Weiterhin ist das automatische Auffinden der Referenzpunkte/Referenzobjekte in den aufgenommenen Bilddaten nicht immer einfach und stellt eine Fehlerquelle dar.
Die Aufgabe der Erfindung ist es, ein Verfahren zur Georeferenzierung von Bilddaten anzugeben, das gegenüber dem Stand der Technik einfach und kostengünstig ist.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
Ein erster Aspekt der Aufgabe ist mit einem Verfahren zur Georeferenzierung von Bilddaten gelöst, das folgende Schritte umfasst. In einem ersten Schritt erfolgt ein Erfassen einer Zeitreihe BD_t von Bilddaten BD(t) der Erdoberfläche, in denen jeweils ein Teil eines Straßenverkehrsnetzes mit Fahrzeugen darauf abgebildet ist, wobei sich zeitlich aufeinanderfolgende Bilddaten BD(t) der Zeitreihe BD_t hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes überlappen. Die zu einer Zeit t erfassten Bilddaten BD(t) repräsentieren eine entsprechende Bildaufnahme. Die Zeitreihe BD_t besteht somit aus eine Reihe nacheinander aufgenommener Bildaufnahmen, vorzugsweise aus Bilddaten BD(t) = BD(t₀), BD(t₀ + ∆t), BD(t₀ + 2*∆t), BD(t₀ + 3*∆t), ..., BD(t₀ + n*∆t), d.h. aus n Bildaufnahmen, die jeweils in einem zeitlich konstanten Abstand ∆t aufgenommen werden. Natürlich kann der zeitliche Abstand ∆t einzelner Bildaufnahmen der Zeitreihe BD_t auch variieren. Vorteilhaft sind die Bilddaten BD(t) Luftbilddaten oder Satellitenbilddaten.
In einem zweiten Schritt erfolgt aus den Bilddaten BD(t) ein Erzeugen rektifizierter Bilddaten BD*(t). Unter dem Begriff „rektifizieren“ wird vorliegend die Eliminierung geometrischer Verzerrungen in den Bilddaten verstanden. Solche Verzerrungen entstehen vorliegend insbesondere durch eine nichtlineare Bildprojektion des Kameraobjektivs. Vorzugsweise erfolgt dabei eine sogenannte Orthorektifizierung der Bilddaten BD(t), so dass alle Bilddaten derart transformiert (entzerrt) werden, dass die Geometrie der Bilddaten annähernd überall einer Karte vorgegebenen Maßstabs in orthogonaler Grundrissprojektion entspricht. Nach Durchführung dieses Schrittes liegt also eine Zeitreihe BD_t* rektifizierter Bildaufnahmen BD*(t) = BD(t₀)*, BD(t₀ + ∆t)*, BD(t₀ + 2*∆t)*, BD(t₀ + 3*∆t)*, ..., BD(t₀ + n*∆t)* vor. Diese Bildaufnahmen lassen sich einfach überlagern (registrieren) und zu einem Gesamtbild (Mosaik) zusammensetzen.
In einem dritten Schritt erfolgt ein Registrieren der Bilddaten BD*(t) zur Erzeugung eines zusammengesetzten Bilddatensatzes BD_Z*, d.h. eines Mosaikbildes, in dem der in den Bilddaten BD*(t) abgebildete Teil der Erdoberfläche mit dem zugehörigen Teil des Straßenverkehrsnetzes abgebildet ist. Der Begriff „registrieren“ wird vorliegend wie in der Bilddatenverarbeitung üblich verstanden.
Der zweite Schritt und der dritte Schritt können vorteilhaft durch ein sogenanntes „Struction from Motion(SFM)“-Verfahren integriert ausgeführt werden. Bei dem SFM-Verfahren werden aus dem einzeln Bildern BD(t) Passpunkte zwischen den Bildern berechnet und mit diesen Passpunkten werden relative Kameraposition, Aufnahmerichtungen, interne Kameraparameter (z.B. Brennweite, radial Verzerrung) und die 3D-Punkte der Erdoberfläche berechnet.
In einem vierten Schritt erfolgt in dem Bilddatensatz BD_Z* oder in den rektifizierten Bilddaten BD*(t) ein Erkennen und Tracken darin abgebildeter fahrender Fahrzeuge und ein Ermitteln von Einzel-Trajektorien der fahrenden Fahrzeuge. Für stehende Fahrzeuge ergibt sich keine Trajektorie. Sie werden aber vorteilhaft ebenfalls in den Bilddaten BD(t)* bzw. im Bilddatensatz BD_Z* ermittelt und können ggf. in einem weiteren Verfahrensschritt der Verifikation erkannter Straßen dienen. Die ermittelten Trajektorien werden vorliegend derart interpretiert, als dass sie Straßenabschnitte des Straßenverkehrsnetzes repräsentieren. Insofern fungieren die erkannten, insbesondere die erkannten fahrenden Fahrzeuge als Detektoren für Straßen. Zum Erkennen von Fahrzeugen in den Bilddaten BD*(t) bzw. im Bilddatensatz BD_Z* kann beispielsweise ein Viola-Jones Objekterkennungsalgorithmus mit AdaBoost verwendet werden. Für das Tracking der Fahrzeuge werden die Bewegungen der Fahrzeuge vorteilhaft modelliert, vorzugsweise mit einem linearen Modell unter der Verwendung einer Kalman-Filterung. Vorteilhaft werden die ermittelten Trajektorien gefiltert, bspw. kann ein solcher Filter kurze Trajektorien für die weitere Berücksichtigung aussondern.
In einem fünften Schritt erfolgt ein Registrieren / Matchen der ermittelten Einzel-Trajektorien mit dem Bilddatensatz BD_Z* zur Erzeugung eines die Einzel-Trajektorien enthaltenden rektifizierten und registrierten Bilddatensatzes BD_ZT*.
In einem sechsten Schritt erfolgt ein Registrieren des Bilddatensatzes BD_ZT* mit einer bereitgestellten digitalen Karte des Straßenverkehrsnetzes, die auch den in dem Bilddatensatz BD_ZT* abgebildeten Teil des Straßenverkehrsnetzes umfasst und eine Georeferenzierung aufweist, anhand einer Korrespondenz der in dem Bilddatensatz BD_ZT* ein Trajektorienmuster bildenden Einzel-Trajektorien mit dem Straßenverkehrsnetz. Die digitale Straßenkarte umfasst bevorzugt auch Angaben zu Geländehöhen. Hierzu wird vorteilhaft ein geometrisches Hashing-Verfahren, insbesondere ein „Polyline“-basiertes geometrisches Hashing-Verfahren (engl. PLBGHashing = „Polyline based geometric Hashing“) verwendet. Geometrisches Hashing ist ein effizientes Verfahren zum Registrieren / Matching geometrischer Strukturen mit einem Datensatz, der solche Strukturen aufweist, und weist eine polynomielle Laufzeit niedriger Ordnung auf.
Vorzugsweise erfolgt das Registrieren des Bilddatensatzes BD_ZT* mit der digitalen Karte in einem zweistufigen Verfahren, bei dem in einer ersten Stufe eine Grob-Registrierung mittels eines geometrischen Hashing-Verfahrens erfolgt, und in einer zweiten Stufe nur noch für einen Teilbereich der digitalen Karte, der sich aus der Grob-Registrierung ergibt, eine abstandsbasierte Feinregistrierung erfolgt.
In einem siebten Schritt erfolgt ein Übertragen der Georeferenzierung der digitalen Karte auf den gesamten mit der digitalen Karte registrierten Bilddatensatz BD_ZT* zur Erzeugung eines georeferenzierten und rektifizierten Bilddatensatzes GOBD_ZT*.
Das vorgeschlagene Verfahren benötigt zur Georeferenzierung der aufgenommenen Zeitreihe BD_t von Bilddaten BD(t) also lediglich eine digitale Karte des in den Bilddaten abgebildeten Straßenverkehrsnetzes mit einer entsprechenden Georeferenzierung.
Derartige digitale Karten des Straßenverkehrsnetzes sind heute mit ausreichender Genauigkeit der zugehörigen Georeferenzierung für das auf Erdoberfläche vorhandene Straßenverkehrsnetz leicht verfügbar und werden zudem auch stets aktualisiert. Die Georeferenzierung erfolgt durch ein Matching / Registrieren des ermittelten Bilddatensatzes BD_ZT* mit der Karte des Straßenverkehrsnetzes. Das Verfahren basiert mithin ausschließlich auf den vorgeschlagenen Bildverarbeitungsschritten und ist damit unabhängig von Positionssensoren und Lagesensoren oder der Ermittlung einzelner Referenzpunkte / Referenzobjekte.
Das vorgeschlagene Verfahren wird vorteilhaft automatisch ausgeführt und eignet sich daher insbesondere für die zeitaktuelle Georeferenzierung von aufgenommenen Bilddaten BD(t). Der mit dem vorgeschlagenen Verfahren georeferenzierte Bilddatensatz GOBD_ZT* kann bspw. zu Navigationszwecken autonom gesteuerter Luftfahrzeuge genutzt werden. Dabei wird auf Basis des georeferenzierten Bilddatensatzes GOBD_ZT* und den Bilddaten BD(t) die Position des Luftfahrzeugs ermittelt. Diese Position kann auch als Up-date oder zur Verifikation anderer Positionsermittlungssysteme des Luftfahrzeugs dienen.
Die aufeinanderfolgenden Bilddaten BD(t) der Zeitreihe BD_t überlappen sich hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes je nach Anforderung und Anwendung vorteilhaft mehr als 50 % oder 60 % oder 65 % oder 70 % oder 75 % oder 80 % oder 85% oder 90 %.
Eine Weiterbildung des vorgeschlagenen Verfahrens zeichnet sich dadurch aus, dass in dem Bilddatensatz BD_ZT* abgebildete Straßenabschnitte segmentiert werden, und das Registrieren des Bilddatensatzes BD_ZT* mit der bereitgestellten digitalen Karte, unter Berücksichtigung des in dem Bilddatensatz BD_ZT* enthaltenen Trajektorienmusters und der segmentierten Straßenabschnitte erfolgt. Die Segmentierung der Straßenabschnitte erfolgt bevorzugt anhand eines pixelorientierten oder kantenorientierten oder regionenorientierten Segmentierungsverfahrens oder einer Kombination daraus. Zur Plausibilisierung, dass es sich bei den segmentierten Objekten tatsächlich um Straßen handelt, kann zudem deren geometrische Form berücksichtigt werden. Straßen sind bevorzugt länger als breit.
In einer bevorzugten Weiterbildung erfolgt das Segmentieren der in dem Bilddatensatz BD_ZT* abgebildete Straßenabschnitte unter Berücksichtigung der ermittelten Einzel-Trajektorien. Das bedeutet im einfachsten Fall, dass zunächst nur Bereiche des Bilddatensatzes BD_ZT* entlang von ermittelten Trajektorien als Straßen segmentiert werden. Mit diesem Vorgehen werden also nur Straßenabschnitte segmentiert, die zumindest eine innerhalb des Straßenabschnitts und längs des Straßenabschnitts verlaufende Trajektorie aufweisen. Straßenabschnitte für die keine Trajektorie ermittelt werden konnte, bspw. weil sich im Zeitraum der Aufnahmen der Zeitreihe BD_t auf dem betreffenden Straßenabschnitt kein Fahrzeug bewegt hat, werden zunächst nicht segmentiert. Allerdings sind die somit ermittelten Straßenabschnitte mit hoher Wahrscheinlichkeit Straßen, da die Ergebnisse des Segmentierungsverfahrens dadurch verifiziert sind, dass eben sichergestellt ist, dass sich Fahrzeug auf diesen Flächen tatsächlich bewegt haben. Wobei unterstellt wird, dass sich Fahrzeuge immer auf Straßen bewegen.
Dies trifft natürlich nicht immer zu. So kann es vorkommen, dass Fahrzeuge auf einem größeren Parkplatz (bspw. eine als Parkplatz ausgewiesene Wiese) fahren und somit sich nicht auf Fahrstraßen im eigentlichen Sinn bewegen. In solchen Fällen ist davon auszugehen, dass diese Fahrzeuge Trajektorien erzeugen, die aufgrund der langsameren Geschwindigkeit kürzer sind als vergleichbare Trajektorien von Fahrzeugen die auf einer Straße fahren. Weiterhin ist davon auszugehen, dass häufige Richtungswechsel in kurzer Zeiterfolgen bspw. um zu rangieren etc. Um solche ermittelte Trajektorien zu Ermittlung von Straßenabschnitten im Bilddatensatzes BD_ZT* auszuschließen, wird vorgeschlagen, die ermittelten Trajektorien nach entsprechend vorgegebenen Kriterien zu filtern. Beispielsweise können so Trajektorien von der weiteren Berücksichtigung ausgeschlossen werden, die auf eine langsame Bewegung mit häufiger Änderung der Bewegungsrichtung hindeuten. Weitere oder andere Filter für die zu berücksichtigenden Trajektorien sind entsprechend der Aufgabenstellung zu wählen.
Eine vorteilhafte Weiterbildung des vorgeschlagenen Verfahrens zeichnet sich dadurch aus, dass für jeden Bilddatensatz BD(t) bzw. BD*(t), d.h. jede Bildaufnahme der Zeitreihe BD_t bzw. BD_t* eine 2D-/3D-Position P(t) und eine 2D-/3D-Ausrichtung A(t) eines die Bilddaten BD(t) erfassenden Sensors ermittelt wird. Dies erfolgt unter Berücksichtung von Parametern, die den Sensor beschreiben. Basierend auf der ermittelten 2D-/3D-Position P(t) und der 2D-/3D-Ausrichtung A(t) wird in einer Weiterbildung auf Basis des georeferenzierten und rektifizierten Bilddatensatzes GOBD_ZT* die 2D-/3D-Positionen P(t) und/oder 2D-/3D-Ausrichtungen A(t) jeweils als georeferenzierte 2D-/3D-Positionen P*(t) und/oder 3D-Ausrichtungen A*(t) ermittelt. Diese georeferenzierten 2D-/3D-Positionen P*(t) und 3D-Ausrichtungen A*(t) können bspw. zu Navigationszwecken bereitgestellt werden. Zudem kann aus den ermittelten 2D-/3D-Positionen P(t) oder P*(t) eine Trajektorie des die Bilddaten BD(t) erfassenden Sensors ermittelt werden.
Die Aufgabe der Erfindung ist weiterhin gelöst durch ein Computersystem, mit einer Datenverarbeitungsvorrichtung, wobei die Datenverarbeitungsvorrichtung derart ausgestaltet ist, dass ein Verfahren, wie vorstehend beschrieben, ausgeführt wird.
Zudem wird die Aufgabe der Erfindung gelöst durch ein digitales Speichermedium mit elektronisch auslesbaren Steuersignalen, wobei die Steuersignale so mit einem programmierbaren Computersystem zusammenwirken können, dass ein Verfahren, wie vorstehend beschrieben, ausgeführt wird.
Ferner wird die Aufgabe der Erfindung gelöst durch ein Computer-Programm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wie vorstehend beschrieben, wenn der Programmcode auf einer Datenverarbeitungsvorrichtung ausgeführt wird.
Schließlich betrifft die Erfindung ein Computer-Programm mit Programmcodes zur Durchführung des Verfahrens, wie vorstehend beschrieben, wenn das Programm auf einer Datenverarbeitungsvorrichtung abläuft. Dazu kann die Datenverarbeitungsvorrichtung als ein beliebiges aus dem Stand der Technik bekanntes Computersystem ausgestaltet sein.
Ein weiterer Aspekt der Aufgabe wird durch eine Vorrichtung zur Georeferenzierung von Bilddaten gelöst. Die Vorrichtung ermöglicht insbesondere die Ausführung eines Verfahrens wie es vorstehend beschrieben wurde. Die vorgeschlagene Vorrichtung umfasst zumindest ein erstes Mittel, mit dem eine Zeitreihe BD_t von Bilddaten BD(t) der Erdoberfläche bereitgestellt wird, in denen jeweils ein Teil eines Straßenverkehrsnetzes mit Fahrzeugen darauf abgebildet ist, wobei sich zeitlich aufeinanderfolgende Bilddaten BD(t) der Zeitreihe BD_t hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes überlappen, ein zweites Mittel, mit dem aus den Bilddaten BD(t) rektifizierte Bilddaten BD*(t) erzeugt werden, ein drittes Mittel, mit dem die Bilddaten BD*(t) zur Erzeugung eines zusammengesetzten Bilddatensatzes BD_Z*, in dem der in den Bilddaten BD*(t) abgebildete Teil der Erdoberfläche mit dem zugehörigen Teil des Straßenverkehrsnetzes abgebildet ist, registriert werden; ein viertes Mittel, mit dem in dem Bilddatensatz BD_Z* fahrende Fahrzeuge getrackt, und Einzel-Trajektorien der fahrenden Fahrzeuge ermittelt werden, ein fünftes Mittel, mit dem die Einzel-Trajektorien mit dem Bilddatensatz BD_Z* zur Erzeugung eines die Einzel-Trajektorien enthaltenden rektifizierten Bilddatensatzes BD_ZT* registriert werden, ein sechstes Mittel, mit dem der Bilddatensatz BD_ZT* mit einer bereitgestellten digitalen Karte des Straßenverkehrsnetzes, die auch den in dem Bilddatensatz BD_ZT* abgebildeten Teil des Straßenverkehrsnetzes umfasst und eine Georeferenzierung aufweist, anhand einer Korrespondenz der in dem Bilddatensatz BD_ZT* ein Trajektorienmuster bildenden Einzel-Trajektorien mit dem Straßenverkehrsnetz registriert werden, und ein siebtes Mittel, mit dem die Georeferenzierung der digitalen Karte auf den gesamten mit der digitalen Karte registrierten Bilddatensatz BD_ZT* zur Erzeugung eines georeferenzierten und rektifizierten Bilddatensatzes GHOBD_ZT* übertragen wird.
Weitere Ausgestaltungen ergeben sich durch eine analoge und sinngemäße Übertragung der vorstehend zu dem vorgeschlagenen Verfahren gemachten Ausführungen auf die vorgeschlagene Vorrichtung.
Die Erfindung ermöglicht insbesondere ein automatisches Erstellen sogenannter georeferenzierter Orthofotos aus Luft- oder Satellitenbildern, die mit einer Kamera aufgenommen wurden unter Verwendung lediglich einer digitalen Straßenkarte. Zusätzliche Sensoren, wie bspw. ein GPS und eine IMU sind nicht erforderlich, so dass auf Basis der vorliegenden Erfindung billigere und leichtere Luftkamerasysteme oder Fernerkundungssatelliten hergestellt werden können. Die Erfindung ermöglicht weiterhin auch eine Ermittlung der Position des den Sensor tragenden Systems (Luftfahrzeug/ Satellit) für die Zeitpunkte der Bildaufnahmen. s zeigen:
1 zeigt einen schematisierten Ablauf des vorgeschlagenen Verfahrens in einer Ausführungsform, und
2 zeigt einen schematisierten Aufbau der vorgeschlagenen Vorrichtung in einer Ausführungsform.
1 zeigt einen schematisierten Ablauf des vorgeschlagenen Verfahrens zur Georeferenzierung von Bilddaten in einer Ausführungsform. Das Verfahren umfasst folgende Schritte. In einem ersten Schritt 101 erfolgt ein Erfassen einer Zeitreihe BD_t von Bilddaten BD(t) der Erdoberfläche, in denen jeweils ein Teil eines Straßenverkehrsnetzes mit Fahrzeugen darauf abgebildet ist, wobei sich zeitlich aufeinanderfolgende Bilddaten BD(t) der Zeitreihe BD_t hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes überlappen. In einem zweiten Schritt 102 erfolgt aus den Bilddaten BD(t) ein Erzeugen rektifizierter Bilddaten BD*(t). In einem Schritt 103 erfolgt ein Registrieren der Bilddaten BD*(t) zur Erzeugung eines zusammengesetzten Bilddatensatzes BD_Z*, in dem der in den Bilddaten BD*(t) abgebildete Teil der Erdoberfläche mit dem zugehörigen Teil des Straßenverkehrsnetzes abgebildet ist. In einem Schritt 104 erfolgt in dem Bilddatensatz BD_Z* jeweils ein Tracken fahrender Fahrzeuge und ein Ermitteln von Einzel-Trajektorien der fahrenden Fahrzeuge. In einem Schritt 105 erfolgt ein Registrieren der ermittelten Einzel-Trajektorien mit dem Bilddatensatz BD_Z* zur Erzeugung eines die Einzel-Trajektorien enthaltenden rektifizierten Bilddatensatzes BD_ZT*. In einem Schritt 106 erfolgt ein Registrieren des Bilddatensatzes BD_ZT* mit einer bereitgestellten digitalen Karte des Straßenverkehrsnetzes, die auch den in dem Bilddatensatz BD_ZT* abgebildeten Teil des Straßenverkehrsnetzes umfasst und eine Georeferenzierung aufweist, anhand einer Korrespondenz der in dem Bilddatensatz BD_ZT* ein Trajektorienmuster bildenden Einzel-Trajektorien mit dem Straßenverkehrsnetz. In einem Schritt 107 erfolgt ein Übertragen der Georeferenzierung der digitalen Karte auf den gesamten mit der digitalen Karte registrierten Bilddatensatz BD_ZT* zur Erzeugung eines georeferenzierten und rektifizierten Bilddatensatzes GOBD_ZT*.
2 zeigt einen schematisierten Aufbau der vorgeschlagenen Vorrichtung zur Georeferenzierung von Bilddaten in einer Ausführungsform. Die Vorrichtung umfasst ein erstes Mittel 201, mit dem eine Zeitreihe BD_t von Bilddaten BD(t) der Erdoberfläche bereitgestellt wird, in denen jeweils ein Teil eines Straßenverkehrsnetzes mit Fahrzeugen darauf abgebildet ist, wobei sich zeitlich aufeinanderfolgende Bilddaten BD(t) der Zeitreihe BD_t hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes überlappen, ein zweites Mittel 202, mit dem aus den Bilddaten BD(t) rektifizierte und registrierte Bilddaten BD*(t) erzeugt werden, ein drittes Mittel 203, mit dem die Bilddaten BD*(t) zur Erzeugung eines zusammengesetzten Bilddatensatzes BD_Z*, in dem der in den Bilddaten BD*(t) abgebildete Teil der Erdoberfläche mit dem zugehörigen Teil des Straßenverkehrsnetzes abgebildet ist, registriert werden, ein viertes Mittel 204, mit dem in dem Bilddatensatz BD_Z* fahrende Fahrzeuge getrackt, und Einzel-Trajektorien der fahrenden Fahrzeuge ermittelt werden, ein fünftes Mittel 205, mit dem die Einzel-Trajektorien mit dem Bilddatensatz BD_Z* zur Erzeugung eines die Einzel-Trajektorien enthaltenden rektifizierten Bilddatensatzes BD_ZT* registriert werden, ein sechstes Mittel 206, mit dem der Bilddatensatz BD_ZT* mit einer bereitgestellten digitalen Karte des Straßenverkehrsnetzes, die auch den in dem Bilddatensatz BD_ZT* abgebildeten Teil des Straßenverkehrsnetzes umfasst und eine Georeferenzierung aufweist, anhand einer Korrespondenz der in dem Bilddatensatz BD_ZT* ein Trajektorienmuster bildenden Einzel-Trajektorien mit dem Straßenverkehrsnetz registriert werden, und ein siebtes Mittel 207, mit dem die Georeferenzierung der digitalen Karte auf den gesamten mit der digitalen Karte registrierten Bilddatensatz BD_ZT* zur Erzeugung eines georeferenzierten und rektifizierten Bilddatensatzes GHOBD_ZT* übertragen wird.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.
Bezugszeichenliste

101–107: Verfahrensschritte
201: erstes Mittel
202: zweites Mittel
203: drittes Mittel
204: viertes Mittel
205: fünftes Mittel
206: sechstes Mittel
207: siebtes Mittel

Claims

Verfahren zur Georeferenzierung von Bilddaten, mit folgenden Schritten: – Erfassen einer Zeitreihe BD_t von Bilddaten BD(t) der Erdoberfläche, in denen jeweils ein Teil eines Straßenverkehrsnetzes mit Fahrzeugen darauf abgebildet ist, wobei sich zeitlich aufeinanderfolgende Bilddaten BD(t) der Zeitreihe BD_t hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes überlappen, – aus den Bilddaten BD(t) Erzeugen rektifizierter Bilddaten BD*(t), – Registrieren der Bilddaten BD*(t) zur Erzeugung eines zusammengesetzten Bilddatensatzes BD_Z*, in dem der in den Bilddaten BD*(t) abgebildete Teil der Erdoberfläche mit dem zugehörigen Teil des Straßenverkehrsnetzes abgebildet ist, – in dem Bilddatensatz BD_Z* jeweils Tracken fahrender Fahrzeuge und Ermitteln von Einzel-Trajektorien der fahrenden Fahrzeuge, – Registrieren der ermittelten Einzel-Trajektorien mit dem Bilddatensatz BD_Z* zur Erzeugung eines die Einzel-Trajektorien enthaltenden rektifizierten Bilddatensatzes BD_ZT*, – Registrieren des Bilddatensatzes BD_ZT* mit einer bereitgestellten digitalen Karte des Straßenverkehrsnetzes, die auch den in dem Bilddatensatz BD_ZT* abgebildeten Teil des Straßenverkehrsnetzes umfasst und eine Georeferenzierung aufweist, anhand einer Korrespondenz der in dem Bilddatensatz BD_ZT* ein Trajektorienmuster bildenden Einzel-Trajektorien mit dem Straßenverkehrsnetz, und – Übertragen der Georeferenzierung der digitalen Karte auf den gesamten mit der digitalen Karte registrierten Bilddatensatz BD_ZT* zur Erzeugung eines georeferenzierten und rektifizierten Bilddatensatzes GOBD_ZT*.
Verfahren nach Anspruch 1, bei dem die aufeinanderfolgenden Bilddaten BD(t) der Zeitreihe BD_t hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes mehr als 50 % oder 60 % oder 65 % oder 70 % oder 75 % oder 80 % oder 85% oder 90 % überlappen.
Verfahren nach Anspruch 1 oder 2, bei dem die Bilddaten BD(t) Luftbilddaten oder Satellitenbilddaten sind.
Verfahren nach einem der Ansprüche 1 bis 3, bei dem in dem Bilddatensatz BD_ZT* abgebildete Straßenabschnitte segmentiert werden, und das Registrieren des Bilddatensatzes BD_ZT* mit der bereitgestellten digitalen Karte, unter Berücksichtigung des in dem Bilddatensatz BD_ZT* enthaltenen Trajektorienmusters und der segmentierten Straßenabschnitte erfolgt.
Verfahren nach Anspruch 4, bei dem in dem Bilddatensatz BD_ZT* abgebildete Straßenabschnitte unter Berücksichtigung der ermittelten Einzel-Trajektorien segmentiert werden.
Verfahren nach einem der Ansprüche 1 bis 5, bei dem für jeden Bilddatensatz BD(t) oder BD*(t) der Zeitreihe eine 2D-/3D-Position P(t) und/oder 2D-/3D-Ausrichtung A(t) eines die Bilddaten BD(t) erfassenden Sensors ermittelt wird.
Verfahren nach Anspruch 6, bei dem auf Basis des georeferenzierten und rektifizierten Bilddatensatzes GOBD_ZT* die 2D-/3D-Positionen P(t) und/oder 2D-/3D-Ausrichtungen A(t) jeweils als georeferenzierte 2D-/3D-Positionen P*(t) und/oder 3D-Ausrichtungen A*(t) ermittelt werden.
Verfahren nach Anspruch 7, bei dem aus den ermittelten 2D-/3D-Positionen P(t) oder P*(t) eine Trajektorie des die Bilddaten BD(t) erfassenden Sensors ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 8, bei dem das Registrieren des Bilddatensatzes BD_ZT* mit der digitalen Karte in einem zweistufigen Verfahren erfolgt, bei dem in einer ersten Stufe eine Grob-Registrierung mittels eines geometrischen Hashing-Verfahrens erfolgt, und in einer zweiten Stufe nur noch für einen Teilbereich der digitalen Karte, der sich aus der Grob-Registrierung ergibt, eine abstandsbasierte Feinregistrierung erfolgt.
Vorrichtung zur Georeferenzierung von Bilddaten, und zur Ausführung eines Verfahrens gemäß einem der vorstehenden Ansprüche, umfassend: – ein erstes Mittel, mit dem eine Zeitreihe BD_t von Bilddaten BD(t) der Erdoberfläche bereitgestellt wird, in denen jeweils ein Teil eines Straßenverkehrsnetzes mit Fahrzeugen darauf abgebildet ist, wobei sich zeitlich aufeinanderfolgende Bilddaten BD(t) der Zeitreihe BD_t hinsichtlich des darin abgebildeten Teils des Straßenverkehrsnetzes überlappen, – ein zweites Mittel, mit dem aus den Bilddaten BD(t) rektifizierte Bilddaten BD*(t) erzeugt werden, – ein drittes Mittel, mit dem die Bilddaten BD*(t) zur Erzeugung eines zusammengesetzten Bilddatensatzes BD_Z*, in dem der in den Bilddaten BD*(t) abgebildete Teil der Erdoberfläche mit dem zugehörigen Teil des Straßenverkehrsnetzes abgebildet ist, registriert werden, – ein viertes Mittel, mit dem in dem Bilddatensatz BD_Z* fahrende Fahrzeuge getrackt, und Einzel-Trajektorien der fahrenden Fahrzeuge ermittelt werden, – ein fünftes Mittel, mit dem die Einzel-Trajektorien mit dem Bilddatensatz BD_Z* zur Erzeugung eines die Einzel-Trajektorien enthaltenden rektifizierten Bilddatensatzes BD_ZT* registriert werden, – ein sechstes Mittel, mit dem der Bilddatensatz BD_ZT* mit einer bereitgestellten digitalen Karte des Straßenverkehrsnetzes, die auch den in dem Bilddatensatz BD_ZT* abgebildeten Teil des Straßenverkehrsnetzes umfasst und eine Georeferenzierung aufweist, anhand einer Korrespondenz der in dem Bilddatensatz BD_ZT* ein Trajektorienmuster bildenden Einzel-Trajektorien mit dem Straßenverkehrsnetz registriert werden, und – ein siebtes Mittel, mit dem die Georeferenzierung der digitalen Karte auf den gesamten mit der digitalen Karte registrierten Bilddatensatz BD_ZT* zur Erzeugung eines georeferenzierten und rektifizierten Bilddatensatzes GHOBD_ZT* übertragen wird.