DE102012221667A1 - Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten - Google Patents

Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten Download PDF

Info

Publication number
DE102012221667A1
DE102012221667A1 DE102012221667.7A DE102012221667A DE102012221667A1 DE 102012221667 A1 DE102012221667 A1 DE 102012221667A1 DE 102012221667 A DE102012221667 A DE 102012221667A DE 102012221667 A1 DE102012221667 A1 DE 102012221667A1
Authority
DE
Germany
Prior art keywords
image data
pixel
image
values
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102012221667.7A
Other languages
English (en)
Inventor
Hans-Hermann Vajen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority to DE102012221667.7A priority Critical patent/DE102012221667A1/de
Priority to US14/092,162 priority patent/US9224192B2/en
Publication of DE102012221667A1 publication Critical patent/DE102012221667A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Abstract

Die Erfindung betrifft die Verarbeitung von Fernerkundungsdaten, wobei durch Fernerkundung gewonnene erste Bilddaten (11, 12) unter Verwendung von durch Fernerkundung gewonnenen zweiten digitalen Bilddaten, die im Vergleich zu den ersten Bilddaten örtlich feiner aufgelöste Bilddaten (13) sind, verarbeitet werden, wobei die örtliche Auflösung der ersten digitalen Bilddaten zumindest für einen Teilbereich des gemeinsamen Erfassungsbereichs vorläufig, ohne Verwendung von Bildwerten der zweiten digitalen Bilddaten derart verfeinert wird (21), dass die örtliche Auflösung der vorläufig verfeinerten ersten Bilddaten der örtlichen Auflösung der zweiten digitalen Bilddaten entspricht und dass jedem Pixel der zweiten digitalen Bilddaten ein Pixel der vorläufig verfeinerten ersten digitalen Bilddaten entspricht, wobei für eine Vielzahl von Pixeln der zweiten digitalen Bilddaten in dem Teilbereich des gemeinsamen Erfassungsbereichs jeweils ein Gewichtswert für das Pixel ermittelt wird (23), der einem Gewicht eines Bildwertes des Pixels im Verhältnis des Bildwertes des Pixels zu Bildwerten von Umgebungs-Pixeln in einer örtlichen Umgebung des Pixels entspricht, wobei abhängig davon, wie groß der Unterschied des Bildwerts des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel ist, vor oder bei der Ermittlung des Gewichtswertes eine Glättung des örtlichen Verlaufs der Bildwerte im Bereich des Pixels und seiner Umgebung durchgeführt wird, sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert und bei kleineren Werten des Unterschieds nicht, und wobei jedes Pixel der vorläufig verfeinerten ersten digitalen Bilddaten, das einem Pixel der Vielzahl von Pixeln der zweiten digitalen Bilddaten entspricht, mit dem Gewichtswert des entsprechenden Pixels der zweiten digitalen Bilddaten gewichtet wird und auf diese Weise verfeinerte erste Bilddaten erhalten werden, die unter Verwendung von Informationen über die feiner aufgelösten zweiten digitalen Bilddaten erhalten wurden.

Description

  • Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Verarbeiten von Fernerkundungsdaten. Die Erfindung betrifft insbesondere Fernerkundungs-Bilddaten von Objekten an der Erdoberfläche und/oder der Atmosphäre, wobei die Bilddaten von Fernerkundungssatelliten, Flugzeugen oder anderen fliegenden Objekten (z.B. Ballone) aus gewonnen werden.
  • In den letzten Jahren wurden verstärkt Satellitensysteme mit Sensorpaketen bestückt, bei denen mehrere örtlich grob auflösende erste Sensoren (wegen der mehreren verschiedenen Spektralbereiche auch multispektrale Sensoren genannt) mit einem örtlich feiner auflösenden zweiten, panchromatischen Sensor ergänzt wurden, wobei die multispektralen Sensoren für einfallende Strahlung in jeweils einem schmaleren Spektralbereich (Wellenlängenbereich) empfindlicher sind als der panchromatische Sensor. Dieser Trend folgt einerseits aus der Tatsache, dass viele Anwendungen für Satellitendaten eine hohe spektrale Auflösung bei einer feinen örtlichen Auflösung benötigen, andererseits aber die Übertragungsmenge bei der Übertragung von Fernerkundungsdaten von einem Satelliten zur Bodenstation begrenzt ist. Insbesondere in den Bereichen der Geologie, der Landnutzungskartierung und/oder der Aktualisierung von Karten, z. B. für die Land- und Forstwirtschaft, werden die Daten für Anwendungen genutzt, die unter dem Begriff „change detection“ subsumiert werden. Ein anderes Gebiet betrifft die Überwachung von Naturkatastrophen.
  • Typischerweise werden die Daten (Bilddaten) der Multispektralbänder in der Fernerkundung zur Ableitung der thematischen Information (z.B. der Eigenschaften der reflektierenden Oberfläche) genutzt, wogegen die Daten des panchromatischen Kanals zur Gewinnung räumlicher Informationen genutzt werden. Ziel ist es, auch die thematischen Informationen mit möglichst hoher, mindestens der örtlichen Auflösung der panchromatischen Daten entsprechender Auflösung für eine Weiterverarbeitung zur Verfügung zu haben. Zu dieser Verfeinerung der örtlichen Auflösung der multispektralen Daten können die panchromatischen Bilddaten verwendet werden, da sie in der Regel zum gleichen Zeitpunkt aufgenommen wurden und die gleichen Fernerkundungsobjekte abbilden.
  • Bei den Messdaten der Multispektralbänder und des panchromatischen Bandes bzw. der Kanäle handelt es sich um digitale Bilddaten. Die Fernerkundungsbilder sind heutzutage meistens digitale Messdaten von strahlungsmessenden Sensoren in verschiedenen Spektralbereichen, wobei die Bilder zweidimensional sind. Man bezeichnet die Anordnung der Bildelemente (Pixel) auch als Bildmatrix oder Bild–Array. Jede Einzelmessung eines Sensorelementes der bildgebenden Vorrichtung produziert eine Teilfläche bzw. einen kleinen, nahezu punktförmigen Teilbereich des Bildes. Die Teilfläche wird in der Regel als quadratisch angesehen, so dass die Kantenlänge der Teilfläche, die auch als Auflösung bezeichnet wird, aus der Quadratwurzel der Teilflächengröße berechnet werden kann. Die untersuchten Teilflächen können in den verschiedenen Spektralbereichen aber auch eine unterschiedliche Kantenlänge aufweisen.
  • Die Einzelmessungen, die zur Bildung einer Bildmatrix ausgeführt werden müssen, können entweder seriell (das heißt nacheinander) und/oder parallel (das heißt gleichzeitig) erfolgen. Die Art der Entstehung der Bildmatrizen ist für das Verfahren der Verfeinerung der örtlichen Auflösung von untergeordneter Bedeutung. Ferner wird üblicherweise nicht nur eine Bildmatrix aufgenommen sondern fortlaufend Bildmatrizen aufgenommen. Vorzugsweise werden daher die Bilddaten der multispektralen Kanäle für jeden Aufnahmezeitpunkt bzw. jede Bildmatrix verfeinert.
  • Es ist der Trend zu verzeichnen, dass die zu messenden Teilflächen immer kleiner werden, d.h. die räumliche Auflösung immer besser werden, dass die untersuchten Gesamtflächen immer größer werden, d.h. die Gesamtzahl der Teilflächen (Pixel) auch immer größer werden, und dass die Anzahl der untersuchten Spektralbereiche auch steigt. Die dabei angestrebte Verfeinerung der örtlichen Auflösung der multispektralen Kanäle bedingt einen exponentiellen Anstieg der zu verarbeitenden Datenmenge. In vielen Fällen wird verlangt, die Daten mit der Geschwindigkeit (Rate) zu verarbeiten, mit der sie auch registriert (d.h. digital gespeichert) werden. Man spricht in diesem Fall von einer Verarbeitung in Echtzeit.
  • Eine vorteilhafte Anwendung der verfeinerten multispektralen Bilddaten ist z.B. das Katastrophenmanagement, z.B. im Fall von großflächigen Waldbränden, Vulkanausbrüchen, Tsunamis und Erdbeben. In diesem Fall stellt die Verarbeitung verfeinert aufgelöster multispektraler Daten einen wesentlichen Vorteil gegenüber der Verwendung geringer aufgelöster Daten dar.
  • Die digitalen Bilddaten müssen nicht zwangsläufig, wie oben erwähnt, unmittelbar aus digitalen Kameras gewonnen werden. Vielmehr ist es ebenfalls möglich, zumindest für einen Teil der multispektralen Kanäle andere Fernerkundungsverfahren zu nutzen, wie z.B. Radarsysteme mit der Möglichkeit der Erzeugung örtlich fein aufgelöster Daten, die jedoch wie auch bei Kameras in der Form von digitalen Bilddaten mit in Zeilen und Spalten angeordneten Pixeln abgespeichert werden können. Im Falle von Satelliten müssen die fein und grob aufgelösten digitalen Bilddaten auch nicht zwangsläufig von Sensoren nur eines Satelliten gewonnen werden. Z. B. kann zusätzlich ein Sensor eines weiteren Satelliten und/oder ein Radarsystem genutzt werden.
  • Es sind verschiedene Verfahren zur Verfeinerung der Auflösung von multispektralen digitalen Bilddaten bekannt. Dabei handelt es sich um statistische Verfahren, Verfahren, die auf Farbraumtransformationen beruhen, oder um Verfahren, die auf physikalischen Betrachtungen basieren. Ziel aller Verfeinerungsverfahren ist es, Messwerte (Pixel) an Bildorten vorherzusagen, an denen tatsächlich nicht gemessen wurde. Aus dem multispektralen Kanal liegen lediglich Pixel vor, die jeweils einem größeren örtlichen Bereich entsprechen. Ferner liegen die örtlich feiner aufgelösten Bildinformationen aus dem panchromatischen Kanal lediglich mit einer geringeren spektralen Auflösung vor. Das Ergebnis der Verfeinerung der multispektralen Bilddaten kann daher nur mit einer bestimmten Wahrscheinlichkeit richtig sein, nicht aber mit letzter Sicherheit.
  • Z.B. aus EP 1 626 256 A1 ist ein Verfahren zum Verarbeiten multispektraler Fernerkundungsdaten bekannt. In einem örtlichen Bereich oder Teilbereich der panchromatischen Messdaten wird eine örtliche Verteilung einer in den panchromatischen Messdaten erfassten Strahldichte eines Reflexionsgrades oder einer äquivalenten Strahlungsgröße ermittelt und, unter Berücksichtigung einer Bilanz von zumindest einem Teil der durch die Messdaten erfassten Strahlungsenergie oder einer Bilanz einer der Strahlungsenergie äquivalenten Größe, auf einen entsprechenden örtlichen Bereich oder Teilbereich der multispektralen Messdaten übertragen, so dass die örtliche Auflösung der multispektralen Messdaten verfeinert wird. Trotz der Berücksichtigung der Bilanz der Strahlungsenergie ist auch bei diesem Verfahren das Ergebnis der Verfeinerung nur mit einer bestimmten Wahrscheinlichkeit richtig, d.h. entspricht den tatsächlichen Verhältnissen bei direkter verfeinerter Messung nur mit der bestimmten Wahrscheinlichkeit.
  • Die verschiedenen bekannten Verfahren unterscheiden sich nicht nur durch die ihnen zugrunde liegenden Verfahrensprinzipien, sondern auch durch unterschiedlichen Ressourcenbedarf an Arbeitsspeicher und Prozessorleistung eines Datenprozessors oder Datenprozessorsystems. Außerdem gibt es Verfahren, die sich besser oder schlechter praktisch durch digitale Datenprozessoren realisieren lassen. Da es sich bei den Bilddaten um digitale Bilddaten handelt, ist die für die Verfeinerung benötigte Datenverarbeitungszeit ein wesentliches Kriterium dafür, ob sich das Verfahren für die Bereitstellung der verfeinerten Daten in Echtzeit eignet oder nicht.
  • Einige bekannte Verfahren nutzen für die Verfeinerung so genannte Wavelet-Transformationen, die Methode der Hauptkomponentenanalyse oder andere Transformationen, die zu inkonsistenten, nicht farberhaltenden Ergebnissen führen. Andere bekannte Verfahren benötigen zur Verfeinerung der multispektralen Daten so genannte klassifizierte Bilddaten. Dies erfordert eine umfangreiche Vorverarbeitung von Daten unter Verwendung von zusätzlichen Daten zur Klassifizierung.
  • Die Veröffentlichung von J. G. Liu „Smoothing Filter-based Intensity Modulation: a spectral preserve image fusion technique for improving spatial details", veröffentlicht in Int. J. Remote Sensing, 2000, vol. 21, no. 18, Seiten 3461–3472 beschreibt eine Datenfusions-Technik, um räumlich niedriger aufgelöste multispektrale Bilder mit räumlich höher aufgelösten panchromatischen Bildern zu integrieren. Es wird eine Pixel Block Intensitäts-Modulations (PBIM)-Technik zu einer Glättungsfilter-basierten Intensitäts-Modulations(SFMI)-Technik weiterentwickelt. Für jedes Pixel des höher aufgelösten Bildes wird ein lokaler Mittelwert unter Verwendung eines glättenden Faltungs-Filters berechnet. Die Filter-Kerngröße wird basierend auf dem Auflösungsverhältnis zwischen den höher und niedriger aufgelösten Bildern entschieden.
  • Um die feiner und gröber aufgelösten Bilddaten miteinander fusionieren zu können, sollten die Daten möglichst co-registriert sein, d.h. es sollte über den gesamten erfassten Abbildungsbereich exakt bekannt sein, welcher Ort in dem einen Bild welchem Ort in dem anderen Bild entspricht. Da eine exakte Co-Registrierung in der Praxis aber häufig nicht gelingt, schlägt Liu in seiner Veröffentlichung vor, die Größe des Filterkerns anhand einer statistischen Korrelationsanalyse der verschiedenen Bilder zu wählen. Eine Verschmierung von nicht ganz miteinander übereinstimmenden Kanten wird durch Vergrößerung des Filterkerns verringert, d.h. das resultierende Bild wird an den Kanten von abgebildeten Strukturen geschärft. Andererseits führt eine zu große Kerngröße laut Liu zu einer Kantenverbesserung, die nicht unbedingt gewünscht ist. Die Kanten werden scheinbar schärfer, entsprechen aber wegen des stärken Glättungseffekts nicht mehr der Realität. Insbesondere wird die Histogrammfunktion des ursprünglichen, nicht verfeinerten Bildes durch die Glättung in dem verfeinert aufgelösten Bild verändert. In lokalen Bereichen findet durch die Glättung eine Veränderung des Integrals der Bildwerte über den lokalen Bereich statt.
  • Außerdem erhöht die Anwendung eines Glättungsfilters den Rechenaufwand für die Datenfusion. Dies steht im Widerspruch zu der Forderung, dass die Daten möglichst in Echtzeit am Ort ihrer Gewinnung (z.B. in einem Satelliten) hinsichtlich ihrer Auflösung verfeinert und zu einer entfernten Empfangsstation insbesondere auf der Planetenoberfläche übertragen werden oder die Auflösungsverbesserung in Echtzeit unmittelbar beim Datenempfang auf der Planetenoberfläche erfolgt. Fallen mehr neue Bilddaten durch die laufende Beobachtung der Planetenoberfläche an als verfeinert werden können, ist eine Übertragung in Echtzeit nicht mehr möglich.
  • Es ist eine Aufgabe der vorliegenden Erfindung ein Verfahren und eine Vorrichtung zum Verarbeiten von Fernerkundungsdaten anzugeben, die unter Verwendung von Bilddaten eines Messkanals mit örtlich feiner aufgelösten Bilddaten eine Verfeinerung der örtlichen Auflösung der ersten Bilddaten bei geringem Aufwand für die Datenverarbeitung, insbesondere in Echtzeit ermöglichen. Dabei sollen außerdem verfeinerte Bilddaten erhalten werden, in denen Kanten von abgebildeten Strukturen bei nicht exakter Co-Registrierung der gröber und feiner aufgelösten Bilddaten scharf sind. Ferner ist es eine Aufgabe der vorliegenden Erfindung, ein entsprechendes Computerprogramm zur Ausführung des Verfahrens anzugeben.
  • In der Literatur wurde die Fusion von Bildern als ihre Verknüpfung nach einer bestimmten Vorschrift bezeichnet. Das heißt, dass jedes Bildelement (Pixel) des einen Bildes nach dieser Vorschrift mit einem Bildelement des anderen verknüpft wird. Beide Bildelemente sind (zum Beispiel über eine Adressierungsvorschrift) genau zuzuordnen. Diese Zuordnung ist z.B. gegeben, wenn beide Bilder exakt co-registriert sind und sich somit die zu verknüpfenden Bildelemente an identischen Adressen finden lassen. In der Praxis stellt man zunächst diese Co-Registrierung her und fusioniert die Daten in einem zweiten Schritt. Auch die Auflösungsverbesserung eines grob aufgelösten Bildes mittels eines feiner aufgelösten ist daher eine Bildfusion (Datenfusion). In der Erdbeobachtung wird die Auflösungsverbesserung entweder mit Daten eines Sensorsystems, die Bilddaten in mehreren Kanälen unterschiedlicher räumlicher Auflösung liefern, oder mit Daten unterschiedlicher Sensoren, deren Bilddaten eine unterschiedliche räumliche Auflösung haben, durchgeführt.
  • Die vorliegende Erfindung basiert auf dem Grundgedanken, dass das Verfahren der Verfeinerung der örtlichen Auflösung innerhalb eines zu verfeinernden Bildes, das unter Verwendung eines zumindest teilweise den gleichen örtlichen Abbildungsbereich betreffenden feiner aufgelösten Bildes verarbeitet wird, variiert, d.h. das Verfahren wird bei der Verfeinerung desselben Bildes für örtliche Teilbereiche des Bildes anders ausgeführt als für andere örtliche Teilbereiche des Bildes. Wie das Verfahren ausgeführt wird, wird vorzugsweise aus der örtlichen Abhängigkeit der Bildwerte (z.B. Grauwerte oder Farbwerte) in örtlichen Teilbereichen des feiner aufgelösten Bildes (z.B. durch die panchromatischen Bilddaten definierten Bildes) ermittelt. Insbesondere wird eine zusätzliche Glättung der örtlichen Veränderung der Bildwerte in einem Teilbereich des Bildes vorgenommen, wenn der Gradient der Bildwerte groß ist (d.h. sich die Bildwerte über kleine örtliche Bereiche oder kurze Entfernungen stark ändern). Dies ist insbesondere an Kanten von durch das Bild erfassten Strukturen, d.h. an Kanten der Bildstrukturen, der Fall. An solchen Kanten können sich die Bildwerte abrupt von einem Pixel zu seinem Nachbarpixel ändern, während z.B. beide Pixel jeweils zu einem örtlichen Teilbereich des gröber aufgelösten Bildes gehören, in denen die Bildwerte nur geringe Unterschiede aufweisen. Insbesondere ist es auch möglich, den örtlichen Verlauf der Bildwerte um so stärker zu glätten, je größer der Gradient der Bildwerte in einem örtlichen Teilbereich, insbesondere am Ort des jeweiligen zu verfeinernden Pixels der gröber aufgelösten Bilddaten ist.
  • Diese Glättung wird vorzugsweise lediglich zur Bestimmung oder bei der Bestimmung von Gewichtswerten vorgenommen, die das Gewicht eines Bildwertes eines Pixels im Verhältnis des Bildwertes des Pixels zu Bildwerten von Umgebungs-Pixeln in einer definierten, insbesondere vorgegebenen örtlichen Umgebung des Pixels entsprechen. Hat das Pixel z.B. einen kleinen Grauwert im Vergleich zu den Grauwerten seiner Umgebungs-Pixel, ist das Gewicht des Bildwertes des Pixels gering. Ist der Verlauf der Bildwerte in der Umgebung, einschließlich dem Pixel, konstant, ist das Gewicht des Bildwertes des Pixels durchschnittlich. Ein entsprechender Gewichtswert kann in diesem Fall z.B. 1 sein. Der Gewichtswert kann insbesondere nahe 1 liegen, wenn der Verlauf der Bildwerte in der Umgebung zwar nicht konstant ist, jedoch der Bildwert des Pixels einen hohen Anteil an der Gesamtsumme der Bildwerte in der Umgebung hat. Umgekehrt kann der Gewichtswert klein sein, wenn der Bildwert des Pixels einen geringen Anteil an der Gesamtsumme der Bildwerte in seiner Umgebung hat.
  • Es wird bevorzugt, zum Zweck der Ermittlung des Gewichtswertes keine Glättung des örtlichen Verlaufs der Bildwerte im Bereich des Pixels und seiner Umgebung durchzuführen, wenn der örtliche Verlauf der Bildwerte in der Umgebung, einschließlich des Pixels, konstant ist, wenn der Verlauf nahezu konstant ist oder wenn der Unterschied des Bildwertes des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel größer/gleich oder größer als ein vorgegebener Grenzwert ist. Die in dem vorangegangenen Satz mit "oder" verknüpften Fälle sind verschiedene Ausprägungen des Verfahrens. Die Betrachtung der Unterschiede der Bildwerte bzw. der Analyse, ob der örtliche Verlauf der Bildwerte konstant ist, annähernd konstant ist oder größere Gradienten aufweist, bezieht sich vorzugsweise auf die feiner aufgelösten Bilddaten, die zur Verfeinerung der gröber aufgelösten Bilddaten verwendet werden. Aus den feiner aufgelösten Bilddaten kann die Information über den örtlichen Verlauf der Bildwerte mit höherer örtlicher Genauigkeit ermittelt werden.
  • Insbesondere kann entsprechend der Bildmatrix der feiner aufgelösten Bilddaten oder entsprechend eines Teilbereichs oder mehrerer Teilbereiche dieser Bildmatrix eine Matrix von Gewichtswerten ermittelt werden, die für die Verfeinerung der gröber aufgelösten Bilddaten verwendet wird. Dabei wird jeder Gewichtswert der Gewichtswert-Matrix zur Bildung eines entsprechenden Bildwertes der verfeinert aufgelösten Bilddaten verwendet. Z.B. können aus den gröber aufgelösten Bilddaten zunächst vorläufig verfeinerte Bilddaten gebildet werden, die insbesondere die gleiche örtliche Auflösung wie die feiner aufgelösten Bilddaten haben. In einem weiteren Verfahrensschritt können dann die Gewichtswerte aus der Gewichtswert-Matrix dazu verwendet werden, um aus den vorläufig verfeinerten Bilddaten die endgültig verfeinerten Bilddaten zu bilden. Vorzugsweise entspricht dabei jeder Gewichtswert aus der Gewichtswert-Matrix einem Bildwert aus der Matrix der vorläufig verfeinerten Bilddaten.
  • Insbesondere bei der Bildung der zuvor erwähnten Gewichtswert-Matrix wird das oben beschriebene Prinzip angewendet, wonach die Gewichtswerte abhängig von dem örtlichen Verlauf der Bildwerte in einer Umgebung des jeweiligen Pixels, dem der Gewichtswert zugeordnet werden soll, in unterschiedlicher Weise ermittelt wird. Jedenfalls in Umgebungen bzw. örtlichen Bereichen, in denen der Gradient der Bildwerte groß ist (z.B. an Kanten von Bildstrukturen) wird zum Zweck der Bildung des Gewichtswertes eine Glättung vorgenommen. Dagegen wird insbesondere in Umgebungen oder örtlichen Teilbereichen, in denen der Gradient der Bildwerte 0 oder nahezu 0 ist (also die Bildwerte in dem örtlichen Teilbereich konstant sind) ohne Glättung zum Zweck der Bestimmung der Gewichtswerte gebildet. Wenn eine Glättung zum Zweck der Bestimmung von Gewichtswerten in einem Teilbereich der Bilddaten nicht vorgenommen wird, schließt dies nicht aus, dass in einem vorangegangenen Schritt der Vorbereitung der Bilddaten für die Datenfusion eine Glättung über die gesamten Bilddaten vorgenommen wird, z.B. um den Effekt statistischer Ausreißer zu dämpfen. Eine solche Glättung ist jedoch in der Regel mit einfachen Mitteln, d.h. bei geringem Rechenaufwand, möglich. Würde dagegen jeweils bei der Bildung der Gewichtswerte jedes einzelnen Pixels eine Glättung vorgenommen, würde dies den Rechenaufwand erheblich erhöhen.
  • Die Erfindung hat daher den Vorteil, dass im Bereich großer Gradienten der Bildwerte eine Glättung vorgenommen werden kann und wird, sodass insbesondere die in der Veröffentlichung von Liu beschriebenen Effekte der Kantenverschmierung vermieden werden können. Gleichzeitig wird die Glättung nur in dem erforderlichen Umfang durchgeführt und insbesondere nicht in Teilbereichen des Bildes, in denen die Bildwerte konstant oder nahezu konstant sind. Daher wird Rechenaufwand vermieden und kann insbesondere eine Verarbeitung der Bilddaten in Echtzeit erfolgen, wenn eine Verarbeitung in Echtzeit bei Glättung zum Zweck der Bildung der Gewichtswerte in sämtlichen Bildbereichen nicht möglich wäre.
  • Insbesondere wird Folgendes vorgeschlagen: Ein Verfahren zum Verarbeiten von Fernerkundungsdaten, wobei erste digitale Bilddaten, die durch Fernerkundung gewonnen werden oder gewonnen wurden und die Bilddaten zumindest eines ersten Messkanals sind, unter Verwendung von zweiten digitalen Bilddaten, die von einem mit den ersten Bilddaten gemeinsamen Erfassungsbereich durch Fernerkundung gewonnen werden oder gewonnen wurden und die im Vergleich zu den ersten Bilddaten örtlich feiner aufgelöste Bilddaten zumindest eines zweiten Messkanals sind, verarbeitet werden, wobei
    • a) die örtliche Auflösung der ersten digitalen Bilddaten zumindest für einen Teilbereich des gemeinsamen Erfassungsbereichs vorläufig, ohne Verwendung von Bildwerten der zweiten digitalen Bilddaten, insbesondere durch Interpolation zwischen Pixeln der ersten digitalen Bilddaten, derart verfeinert wird, dass die örtliche Auflösung der vorläufig verfeinerten ersten Bilddaten der örtlichen Auflösung der zweiten digitalen Bilddaten entspricht und dass jedem Pixel der zweiten digitalen Bilddaten ein Pixel der vorläufig verfeinerten ersten digitalen Bilddaten entspricht,
    • b) für eine Vielzahl von Pixeln der zweiten digitalen Bilddaten in dem Teilbereich des gemeinsamen Erfassungsbereichs, insbesondere für jedes Pixel der zweiten digitalen Bilddaten in dem Teilbereich, jeweils ein Gewichtswert für das Pixel ermittelt wird, der einem Gewicht eines Bildwertes des Pixels im Verhältnis des Bildwertes des Pixels zu Bildwerten von Umgebungs-Pixeln in einer örtlichen Umgebung des Pixels entspricht,
    • c) abhängig davon, wie groß der Unterschied des Bildwerts des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel ist, vor oder bei der Ermittlung des Gewichtswertes eine Glättung des örtlichen Verlaufs der Bildwerte im Bereich des Pixels und seiner Umgebung durchgeführt wird, sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert und bei kleineren Werten des Unterschieds nicht, oder sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer stärkeren Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert als bei kleineren Werten des Unterschieds,
    • d) jedes Pixel der vorläufig verfeinerten ersten digitalen Bilddaten, das einem Pixel der Vielzahl von Pixeln der zweiten digitalen Bilddaten entspricht, mit dem Gewichtswert des entsprechenden Pixels der zweiten digitalen Bilddaten gewichtet wird und auf diese Weise verfeinerte erste Bilddaten erhalten werden, die unter Verwendung von Informationen über die feiner aufgelösten zweiten digitalen Bilddaten erhalten wurden.
  • Insbesondere kann das Verfahren zum Verarbeiten von Fernerkundungsdaten zumindest eines der folgenden Merkmale oder eine beliebige Kombination der folgenden Merkmale aufweisen, wonach
    • – die örtliche Auflösung der ersten digitalen Bilddaten zumindest in einem örtlichen Teilbereich durch Interpolation zwischen Pixeln der ersten digitalen Bilddaten verfeinert wird,
    • – für jedes Pixel der zweiten digitalen Bilddaten ein Mittelwert der Pixel in einer örtlichen Umgebung des Pixels berechnet wird und der Quotient des Pixels und des Mittelwertes gebildet wird,
    • – jedes Pixel der ersten digitalen Bilddaten mit dem – bezogen auf den Ort – entsprechenden Gewichtswert oder Quotienten multipliziert wird und auf diese Weise (nicht nur vorläufig) verfeinerte erste Bilddaten erhalten werden, die Informationen über die feiner aufgelösten zweiten digitalen Bilddaten enthalten.
  • Dabei wird der Quotient als Gewichtswert gebildet, und zwar abhängig von dem Unterschied des Bildwertes des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel zu bilden.
  • Allgemein gilt, dass die (insbesondere abhängig von der Frage, ob es sich um ein Flächenpixel oder um ein Konturpixel handelt) anzuwendenden Methoden der Gewichtswert-Bildung vom Benutzer festgelegt werden können oder automatisch nach Analyse der Bildeigenschaften festgelegt werden können.
  • Folgt man der Einteilung der Methoden in der Veröffentlichung von Liu, die zwischen SFIM-(smooth filter intensity modulation) und PBIM-(pixel block intensity modulation)Verfahren unterscheidet, so können z. B. diese beiden Methoden auf dieselben Bilder angewendet werden, d.h. beide Methoden werden während eines Verfahrens der Verfeinerung der örtlichen Auflösung angewandt. Insbesondere kann in Bildbereichen, die konstante oder nahezu konstante Bildwerte (das heißt so genannte Flächenpixel) aufweisen, die PBIM-Methode angewandt werden. Ferner kann in Bildbereichen mit großen Gradienten des Bildwertes als Funktion des Ortes die SFIM-Methode angewendet werden. Ebenso ist eine Verwendung der einen oder der anderen Methode in Kombination mit jeweils einer anderen Methode möglich. Ferner ist es möglich, nicht nur zwei Umgebungsgrößen für die Bildung der Gewichtswerte zu verwenden, sondern mehrere Umgebungsgröße zu verwenden und die Umgebungsgröße in Abhängigkeit der Bildeigenschaften auszuwählen.
  • In vielen Fällen ist zumindest ein erster Spektralbereich, in dem einfallende Strahlung durch die ersten digitalen Bilddaten erfasst wird und der dem ersten Messkanal oder einem der ersten Messkanäle zugeordnet ist, schmaler als ein zweiter Spektralbereich, in dem einfallende Strahlung durch die zweiten digitalen Bilddaten erfasst wird. Dies ist jedoch keine zwingende Voraussetzung für das hier vorgestellte Verfahren. Ist dies der Fall, kann der erste Spektralbereich oder können die ersten Spektralbereiche vollständig in dem zweiten Spektralbereich enthalten sein. Auch dies ist jedoch nicht zwingend. Z. B. können die Spektralbereiche auch keine Überlappung aufweisen.
  • Bei den zweiten digitalen Bilddaten handelt es sich insbesondere um so genannte panchromatische Bilddaten. Unter panchromatisch wird verstanden, dass der entsprechende Messkanal des panchromatischen Sensors die einfallende elektromagnetische Strahlung in einem breiten Spektralbereich detektiert. Die Breite des Spektralbereiches umfasst in vielen Fällen den vom menschlichen Auge wahrgenommenen Bereich der elektromagnetischen Strahlung und wird häufig um den nahen Infrarotbereich (bis ca. 1100 nm Wellenlänge) erweitert. Breit ist der Spektralbereich im Verhältnis zu den spektralen Messbereichen zumindest eines Sensors und vorzugsweise einer Mehrzahl von so genannten multispektralen Sensoren, der bzw. die die ersten digitalen Bilddaten erfasst/erfassen. Im Fall eines einzigen Spektralbereichs, in dem die ersten digitalen Bilddaten erfasst werden, handelt es sich zwar nicht um multispektrale Bilddaten im eigentlichen Sinne. Dennoch wird im Folgenden von multispektralen Bilddaten gesprochen, da dies ein eingeführter Fachbegriff ist. Der spektrale Messbereich des panchromatischen Sensors umfasst dabei vorzugsweise zumindest einen Spektralbereich des oder der multispektralen Sensoren. Dabei können sich die spektralen Messbereiche der multispektralen Sensoren überlappen und/oder innerhalb des spektralen Messbereichs des panchromatischen Sensors Lücken vorhanden sein, in denen keiner der multispektralen Sensoren Strahlung detektieren kann. Vorzugsweise erstreckt sich keiner der spektralen Messbereiche der multispektralen Sensoren über die Grenzen des spektralen Messbereichs des panchromatischen Sensors hinaus. Zwar kann z. B. ein Satellit auch weitere Sensoren aufweisen, deren spektrale Messbereiche sich über den Bereich des panchromatischen Sensors hinaus erstrecken oder außerhalb davon liegen. Diese multispektralen Sensoren werden vorzugsweise jedoch nicht bei der Verfeinerung der örtlichen Auflösung mit berücksichtigt.
  • Unter einem Kanal bzw. einem Messkanal werden auf einen einzigen durchgehenden Spektralbereich bezogene Messwerte verstanden, die sich insbesondere mit fortschreitender Zeit ändern können. Die Messwerte können einem zeitlich konstanten, von einem Messsensor erfassten Raumwinkelbereich entsprechen (wobei sich die Ausrichtung des Raumwinkelbereichs mit der Zeit ändern kann) und/oder können räumlich in eine Anzahl von Bildelementen (Pixeln) untergliedert sein bzw. ein aus den Bildelementen zusammengesetztes Bild ergeben.
  • Voraussetzung für die Verfeinerung ist eine gemeinsame Registrierung (Co-Registrierung) der ersten und der zweiten Bilddaten. Unter einer gemeinsamen Registrierung wird verstanden, dass bekannt ist, welcher Ort in den ersten Bilddaten welchem Ort in den zweiten Bilddaten entspricht. Die gemeinsame Registrierung sollte möglichst exakt sein, da es sonst bei der Verfeinerung der Bilddaten zu einer Verfälschung kommen kann. Für die Co-Registrierung können an sich bekannte Verfahren eingesetzt werden, auf die hier nicht näher eingegangen wird. Z.B. können für die Co-Registrierung charakteristische Bildteile in den ersten Bildern einerseits und den zweiten Bildern andererseits herangezogen werden. Eine Kalibrierung der Sensoren, die die ersten und die zweiten Bilddaten erzeugen oder eine Kalibrierung der erzeugten Bilddaten ist nicht für die Ausführung der Verfeinerung erforderlich. Eine solche Kalibrierung kann auch nach der Verfeinerung durchgeführt werden. Durch die Kalibrierung wird insbesondere erreicht, dass den jeweiligen Bildwerten der Pixel die spektrale Strahlungsflussdichte der auf das Sensorelement einfallenden Strahlung zugeordnet werden kann.
  • Insbesondere ist die Verfeinerung der ersten Bilddaten zumindest in drei Verfahrensschritten möglich, wobei zwei dieser drei Verfahrensschritte parallel zueinander ausgeführt werden können, da sie lediglich eine Art der Bilddaten betreffen. Zum Beispiel verarbeitet der im Folgenden als vierter Verfahrensschritt bezeichnete Schritt lediglich erste Bilddaten und der im Folgenden als fünfter Schritt bezeichnete Verfahrensschritt lediglich zweite Bilddaten. Erst der im Folgenden als sechster Verfahrensschritt bezeichnete Schritt benötigt das Ergebnis oder zumindest Teilergebnisse des vierten und fünften Verfahrensschrittes. Diese Schritte werden lediglich deshalb als vierter, fünfter und sechster Verfahrensschritt bezeichnet, weil vor diesen Verfahrensschritten optional noch ein oder mehrere andere Verfahrensschritte ausgeführt werden können. Insbesondere wenn mehrere erste Bilder aus verschiedenen Messkanälen parallel und/oder unter Nutzung der Ergebnisse derselben Ausführung des fünften Verfahrensschritts verfeinert aufgelöst werden sollen, kann jeweils ein vierter Verfahrensschritt für jede der ersten Bilddaten und/oder kann jeweils ein sechster Verfahrensschritt für jede der ersten Bilddaten ausgeführt werden.
  • Als erster Verfahrensschritt können die örtlich niedriger aufgelösten Bilddaten aufbereitet werden. Insbesondere können in diesem Schritt markante Objektgrenzen von den durch die Fernerkundung erfassten Objekten detektiert werden. Dieser Schritt sollte immer dann ausgeführt werden, wenn eine unzureichende Co-Registrierung der niedriger und höher bzw. gröber und feiner aufgelösten Bilddaten vorliegt, die somit die Qualität der Datenfusion beeinträchtigt. Insbesondere für den Fall, dass mehrere gröber aufgelöste erste (zum Beispiel multispektrale) Bilder, das heißt die entsprechenden Bilddaten, jeweils mit denselben feiner aufgelösten (zum Beispiel panchromatischen) zweiten Bilddaten fusioniert werden sollen, werden vorzugsweise für die Detektion der markanten Objektgrenzen die dafür am besten geeigneten ersten Bilddaten genutzt, insbesondere wenn die multispektralen Bilddaten untereinander (zum Beispiel weil sie Kanälen desselben Sensors entsprechen) bereits eine sehr gute Co-Registrierung untereinander aufweisen. Zusätzlich oder alternativ kann in diesem ersten Verfahrensschritt eine Kontrastverbesserung der Bildkontraste in den ersten Bilddaten, eine Rauschminderung der ersten Bilddaten und/oder eine Filterung der ersten Bilddaten stattfinden.
  • Als zweiter Verfahrensschritt, der zusätzlich zu dem ersten Verfahrensschritt und/oder zusätzlich zu dem dritten Verfahrensschritt oder auch ohne den ersten und dritten Verfahrensschritt ausgeführt werden kann, können die örtlich feiner aufgelösten, zweiten Bilddaten aufbereitet werden. Insbesondere können in diesem Schritt markante Objektgrenzen von durch die Fernerkundung erfassten Objekten detektiert werden. Dieser Schritt sollte immer dann ausgeführt werden, wenn eine unzureichende Co-Registrierung der gröber und feiner aufgelösten Bilddaten vorliegt, die somit die Qualität der Datenfusion beeinträchtigt. Zusätzlich oder alternativ kann in diesem zweiten Verfahrensschritt eine Kontrastverbesserung der Bildkontraste in den zweiten Bilddaten, eine Rauschminderung der zweiten Bilddaten und/oder eine Filterung der zweiten Bilddaten stattfinden.
  • In dem dritten Verfahrensschritt, der insbesondere nach dem ersten und nach dem zweiten Verfahrensschritt ausgeführt wird, wenn jeweils in den vorangegangenen Verfahrensschritten markante Objektgrenzen detektiert wurden, kann die Co-Registrierung der ersten und zweiten Bilddaten auf Basis der detektieren markanten Objektgrenzen verbessert werden. Insbesondere werden dazu die Koordinaten identischer Punkte der in den vorangegangenen Verfahrensschritten erkannten, markanten Objektgrenzen verglichen. Für jeden der identifizierten Punkte, die in ihrer Lage möglichst gleich verteilt über die Fläche der Bilder sein sollten, wird die Verschiebung ermittelt. Diese Punkte sind insbesondere die Grundlage dafür, die Verschiebung für alle Bildpunkte zu interpolieren und/oder zu optimieren und dadurch die Co-Registrierung zu verbessern.
  • In dem dritten Verfahrensschritt kann alternativ oder zusätzlich zu der Verbesserung der Co-Registrierung für Pixel in den zweiten Bilddaten, insbesondere für alle Pixel in den zweiten Bilddaten, für die ein entsprechendes Pixel in den verfeinerten ersten Bilddaten erzeugt werden soll, ermittelt werden, wie groß der Unterschied des Bildwerts des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel ist. Allgemeiner formuliert kann in den dritten Verfahrensschritt für die Pixel in den zweiten Bilddaten die Information ermittelt werden, auf deren Basis bestimmt wird, in welcher Verfahrensweise der Gewichtswert für das jeweilige Pixel bestimmt wird. Einer expliziten Bestimmung der Verfahrensweise bedarf es nicht, wenn die ermittelte Information es ermöglicht, die jeweilige zugeordnete Verfahrensweise unmittelbar auszuführen. Zum Beispiel kann die ermittelte Information darin bestehen, dass das jeweilige Pixel entweder ein so genanntes Blockpixel (das heißt Teil eines Blocks, d.h. Umgebung von Pixeln mit konstanten Bildwerten oder nahezu konstanten Bildwerten, das auch als Flächenpixel bezeichnet werden kann) oder ein Kantenpixel (das auch als Konturpixel bezeichnet werden kann) an einer Kante (das heißt Rand) einer Bildstruktur oder eines Bildobjekts ist und daher Umgebungs-Pixel in der Umgebung des Pixels stark von dem Bildwert des Pixels abweichende Bildwerte haben. Grundsätzlich ist es auch möglich, dass die ermittelte Information weitere, sich von dem Zustand des „Blockpixels“ und des „Kantenpixels“ unterscheidende Zustände hat, zum Beispiel den Zustand eines „Gradientenpixels“ in einer Umgebung hat, in dem sich die Bildwerte mit nahezu konstantem Gradienten verändern.
  • Insbesondere in einem der ersten bis dritten Verfahrensschritte oder in einem zusätzlichen Verfahrensschritt können der zweite Kanal und/oder der zumindest eine erste Kanal vor der Verfeinerung der Auflösung oder danach kalibriert und optional auch einer Sonnenstands- und/oder Atmosphärenkorrektur unterworfen werden. Die feiner aufgelösten Fernerkundungsdaten können quantitativ ausgewertet und/oder auf andere Weise weiterverarbeitet werden.
  • Die ersten und zweiten Bilddaten enthalten Bildinformationen von zumindest einem gemeinsamen Erfassungsbereich, das heißt zumindest ein Teil des erfassten örtlichen Bereiches der zweiten Bilddaten ist auch in den ersten Bilddaten abgebildet und umgekehrt. Insbesondere enthalten beide Messdaten eine nahezu kongruente Darstellung von Objekten auf der Erd- oder Planetenoberfläche in verschiedenen Maßstäben.
  • Der vierte Verfahrensschritt, der gleichzeitig mit dem fünften Verfahrensschritt ausgeführt werden kann, wobei die vierten und fünften Verfahrensschritte auch nacheinander ausgeführt werden können, hat eine vorläufige Verfeinerung der örtlichen Auflösung der ersten Bilddaten zum Ziel. Diese vorläufige Verfeinerung kann auch als geometrische Transformation bezeichnet werden. In dem vierten Verfahrensschritt kann insbesondere durch Interpolation zumindest in einem örtlichen Teilbereich der ersten Bilddaten zwischen den vorhandenen Pixeln eine Verfeinerung bewirkt werden, d.h. es werden zwischen den vorhandenen Pixeln weitere Pixel generiert. Dadurch wird eine örtliche Auflösung der ersten Bilddaten erzeugt, die der örtlichen Auflösung der zweiten Bilddaten entspricht. Daher hat nach dem Interpolieren jedes Pixel der zweiten Bilddaten ein entsprechendes Pixel in den ersten Bilddaten, zumindest in dem örtlichen Teilbereich, in dem interpoliert wurde. Die vorläufige Verfeinerung der örtlichen Auflösung kann separat für verschiedene erste Bilddaten durchgeführt werden, z.B. separat für drei oder vier verschiedene Spektralbereiche, in denen erste Bilddaten aufgezeichnet wurden. Insbesondere in diesem Fall können die Interpolationen für die einzelnen spektralen Bereiche separat und zeitlich parallel ausgeführt werden.
  • An Rändern der ersten Bilddaten oder des zu interpolierenden örtlichen Bereichs der ersten Bilddaten kann außerdem eine Extrapolation stattfinden. Damit können z.B. neue Randpixel des vorläufig verfeinert aufgelösten Bereichs der ersten Bilddaten erzeugt werden.
  • In einem besonders einfachen Fall wird die Interpolation dadurch ausgeführt, dass einem neu zu erzeugenden Pixel zwischen mehreren anderen existierenden Pixeln der Wert des nächsten benachbarten Pixels zugewiesen wird. In einem anderen Fall wird den neu zu erzeugenden Pixeln ein Wert zugewiesen, der sich aus den gewichteten Werten mehrerer Nachbarpixel errechnet. Z.B. kann das Gewicht von dem Abstand zu dem benachbarten Pixel, welches bereits existiert, abhängen. Dieses ist z.B. der Fall bei Anwendung des Verfahrens der bilinearen Interpolation, bei dem es sich um ein anerkanntes Standardverfahren der digitalen Bildverarbeitung handelt. Es können jedoch auch komplexere Interpolationsmodelle angewendet werden. In allen Fällen jedoch besteht keine genaue Kenntnis darüber, welchen Wert das neu zu generierende Pixel erhalten hätte, wenn es z.B. mit Hilfe eines entsprechend feiner aufgelösten Arrays von strahlungsempfindlichen Sensorelementen generiert worden wäre.
  • Der fünfte Verfahrensschritt hat zum Ziel, die Information der feiner aufgelösten zweiten Bilddaten für die Anwendung auf die ersten Bilddaten vorzubereiten. Dabei muss diese Vorbereitung, d.h. die Ausführung des fünften Verfahrensschrittes bei mehreren verschiedenen ersten Bilddatensätzen insgesamt nur einmal ausgeführt werden. Das Ergebnis des fünften Verfahrensschrittes ist in gleicher Weise für alle verschiedenen Spektralbereiche der ersten Bilddaten verwendbar. In dem fünften Verfahrensschritt, der gleichzeitig mit dem vierten Verfahrensschritt ausgeführt werden kann oder danach ausgeführt werden kann, wird für jedes Pixel der zweiten Bilddaten, für das ein Gewichtswert zu bestimmen ist, der Gewichtswert (insbesondere durch Quotientenbildung aus einem Mittelwert) in Bezug auf alle Pixel in einer örtlichen Umgebung des Pixels berechnet. Somit entsteht ein Feld (Matrix) von Gerichtswerten, in dem die Gewichtswerte in Spalten und Reihen angeordnet sind, wobei jeder Gewichtswert das Gewicht des – bezogen auf den Ort in dem zweiten Bild – entsprechenden Pixel-Wertes zu den Bildwerten in seiner Umgebung ausdrückt. In der Regel, bei nicht zu kleinen Umgebungen und nicht zu starken Schwankungen der Bildwerte der Pixel, wird insbesondere im Fall des Quotienten der Wert des Quotienten nahe dem Wert 1 liegen.
  • Es wird bevorzugt, dass der Gewichtswert genau dann auf Basis einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung ermittelt wird, wenn der Unterschied des Bildwerts des Pixels der zweiten Bilddaten zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel größer/gleich oder größer als ein vorgegebener Grenzwert ist.
  • Durch Verwendung eines vorgegebenen Grenzwertes kann auf einfache Weise bestimmt und unterschieden werden, für welche Pixel eine zusätzliche Glättung der Ermittlung des Gewichtswertes durchzuführen ist.
  • Insbesondere wird bei der Ermittlung des Gewichtswerts für jedes Pixel der vorläufig verfeinerten ersten Bilddaten ein Mittelwert der Bildwerte des entsprechenden Pixels der zweiten Bilddaten und dessen Umgebungs-Pixel in der örtlichen Umgebung des Pixels ermittelt. Vorzugsweise wird durch Teilung des Bildwertes des Pixels durch den zugeordneten Mittelwert der Quotient als der Gewichtswert des Pixels bestimmt.
  • Die Bildung eines Mittelwertes und die anschließende Quotientenbildung stellen eine einfache und sachgemäße Ermittlung des Gewichtswertes dar.
  • Insbesondere wird der Mittelwert der Bildwerte in einem örtlichen Bereich der zweiten Bilddaten ermittelt, der dem örtlichen Bereich des entsprechenden, noch nicht verfeinerten Pixels der ersten Bilddaten entspricht, wenn der Unterschied des Bildwerts des Pixels der zweiten Bilddaten zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel kleiner oder kleiner/gleich als ein vorgegebener Grenzwert ist.
  • Insbesondere wird der Mittelwert der Bildwerte in einem örtlichen Bereich der zweiten Bilddaten ermittelt, der größer als der örtliche Bereich des entsprechenden, noch nicht verfeinerten Pixels der ersten Bilddaten ist und der den örtlichen Bereich des entsprechenden Pixels der ersten Bilddaten enthält, wenn der Unterschied des Bildwerts des Pixels der zweiten Bilddaten zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel größer/gleich oder größer als ein vorgegebener Grenzwert ist.
  • In dem sechsten Verfahrensschritt wird der Bildwert jedes Pixels der vorläufig verfeinerten ersten digitalen Bilddaten mit dem – bezogen auf den Ort – entsprechenden Gewichtswert des entsprechenden Pixels der zweiten digitalen Bilddaten gewichtet (insbesondere mit dem Quotienten aus dem fünften Verfahrensschritt multipliziert) und werden auf diese Weise verfeinerte erste Bilddaten erhalten. Bei diesen verfeinerten Bilddaten handelt es sich nicht mehr um lediglich vorläufig verfeinerte Bilddaten, sondern um solche Bilddaten, die Informationen über die feiner aufgelösten zweiten digitalen Bilddaten enthalten. Dieser sechste Verfahrensschritt kann als Datenfusion bezeichnet werden.
  • Wie bereits erwähnt, lässt sich das gesamte Verfahren sehr gut parallelisieren, d.h. sehr viele Verfahrensschritte und Teilberechnungen können zeitlich parallel zu anderen Verfahrensschritten ausgeführt werden. Insbesondere kann so sehr effektiv auf die heutzutage zur Verfügung stehenden Ressourcen von Parallelprozessoren bzw. Multiprozessorsystemen zugegriffen werden. Dabei lässt sich nicht nur der vierte Verfahrensschritt zeitlich parallel zu dem fünften Verfahrensschritt ausführen. Alternativ oder zusätzlich können auch innerhalb der vierten und fünften Verfahrensschritte, Berechnungen parallel ausgeführt werden. Die Parallelisierung innerhalb des vierten Verfahrensschrittes hängt zum Beispiel von der Art der Interpolation ab. Wird z.B. lediglich linear zwischen mehreren nächstbenachbarten existierenden Pixeln interpoliert, kann diese Interpolation separat für alle Zwischenräume zwischen existierenden Pixeln ausgeführt werden und somit parallelisiert werden. Bei dem fünften Verfahrensschritt kann die Berechnung jedes Mittelwertes der Pixel in einer örtlichen Umgebung parallel ausgeführt werden. Auch die Multiplikation des jeweiligen Mittelwertes mit dem zugehörigen Pixel, das in der Regel in der Mitte der örtlichen Umgebung liegt, kann parallel zu den entsprechenden Multiplikationen für andere Pixel ausgeführt werden.
  • Das Verfahren lässt sich aber nicht nur auf einfache Weise parallelisieren, z.B. für eine so genannte SIMD(Single Instruction Multi Data)-Architektur lauffähig ausgestalten, sondern ist insgesamt bezüglich des Aufwandes für die Berechnung der Verfeinerung sehr einfach. Dennoch wird die wesentliche für die Verfeinerung der ersten Bilddaten in den zweiten Bilddaten zur Verfügung stehende Information genutzt.
  • Das Verfahren lässt sich daher auf einfache Weise in spezieller Hardware, die für die Verfeinerungsoperationen speziell ausgestaltet ist, umsetzen. Z.B. kann es sich bei einer solchen speziellen Hardware um ein FPGA (Field Progammable Gate Array) handeln. Ferner basiert die Verfeinerung auf der Verwendung der in den fein aufgelösten zweiten Bilddaten vorhandenen hoch aufgelösten geometrischen Informationen als Modell. Insbesondere wird wegen der verfahrensinhärenten Erhaltung der Messsignalpegel keine zusätzliche Qualitätskontrolle benötigt.
  • Prinzipiell können mit dem Verfahren beliebige Verhältnisse zwischen den örtlichen Auflösungen der ersten Bilddaten einerseits und der zweiten Bilddaten andererseits gehandhabt werden. Insbesondere kann die Größe der örtlichen Umgebung, in der im fünften Verfahrensschritt der jeweilige Gewichtswert (z. B. Mittelwert) gebildet wird, auch von dem Verhältnis der örtlichen Auflösungen der ersten und der zweiten digitalen Bilddaten abhängen. Die örtliche Umgebung kann in diesem Fall umso größer gewählt, je größer das Verhältnis der örtlichen Auflösungen der ersten und der zweiten Bilddaten ist. Insbesondere ist die Kantenlänge der Umgebungsgröße für die Mittelwertbildung größer oder gleich dem Auflösungsverhältnis, multipliziert mit der Kantenlänge eines Pixels der gröber aufgelösten Bilddaten. Dieses gilt für ganzzahlige und analog auch für nicht ganzzahlige Auflösungsverhältnisse. Alternativ oder zusätzlich kann die örtliche Umgebung für die Bildung des Gewichtswertes von dem Gradienten der Bildwerte abhängen.
  • Ganzzahlige, insbesondere gerade Vielfache der örtlichen Auflösung der ersten und der zweiten Bilddaten werden bevorzugt, auch wenn andere, nicht ganzzahlige Verhältnisse vorkommen können. Es wird besonders bevorzugt, dass der Gewichtswert für Pixel, die nicht am Rand des Bildes oder des örtlichen Teilbereichs liegen, in dem verfeinert wird, in einer Umgebung des jeweiligen Pixels berechnet wird, die in Zeilen- und Spaltenrichtung jeweils eine Anzahl von Pixeln hat, die gleich dem ganzzahligen Vielfachen der örtlichen Auflösung ist, falls das Auflösungsverhältnis eine ungerade ganze Zahl ist, oder gleich dem ganzzahligen Vielfachen der örtlichen Auflösung plus 1 beträgt, falls das Auflösungsverhältnis eine gerade ganze Zahl ist. Ist das Verhältnis der örtlichen Auflösung der ersten und der zweiten Bilddaten beispielsweise 2:1 beträgt die Zeilen- und Spaltenlänge der örtlichen Umgebung 3. Im Fall des Auflösungsverhältnisses von 3:1 ist die Zeilen- und Spaltenlänge für die Berechnung des Gewichtswertes vordefinierten örtlichen Bereichs vorzugsweise 4.
  • Die Gewichtswerte, insbesondere die durch Bildung des Verhältnis zwischen dem Bildwert des Pixels und dem Mittelwert in seiner Umgebung erhaltenen Quotienten, werden vorzugsweise gespeichert, und zwar nicht nur zu dem Zweck, die Gewichtswerte zur Bildung der nicht nur vorläufig verfeinerten ersten Bilddaten anzuwenden. Vielmehr können die Gewichtswerte für zusätzliche Datenverarbeitungsschritte herangezogen werden. Der Grund dafür liegt darin, dass durch die Art der Berechnung der Gewichtswerte, Kontraste an Kanten, Ecken und linearen Strukturen des durch die Bilddaten erfassten Bildobjektes besonders gut hervorheben. Ein solcher weiterer Verarbeitungsschritt kann z.B. die Überprüfung sein, ob sich bestimmte erwartete Strukturen in dem Bild befinden, beispielsweise zur Erkennung der Bildobjekte in Klassen wie "Wald", "Wasser", "Felder". Auch kann die Berechnung der Gewichtswerte vor dem Beginn des eigentlichen Verfahrens der Verfeinerung der örtlichen Auflösung der ersten Bilddaten ausgeführt werden, um eine Co-Registrierung der ersten und der zweiten Bilddaten zu erreichen und/oder zu verbessern. Wie bereits erwähnt können für die Co-Registrierung so genannte charakteristische (markante) Strukturen oder so genannte Passpunkte verwendet werden. Wenn die Gewichtswerte bereits vor dem Beginn des eigentlichen Verfeinerungsverfahrens bestimmt worden sind, müssen sie nicht während der Ausführung der Verfahrensschritte zur Verfeinerung erneut ausgeführt werden. Der sechste Verfahrensschritt zur Bildung der nicht nur vorläufig verfeinerten ersten Bilddaten hat dann lediglich die Anwendung der Gewichtswerte auf den jeweiligen Bildwert des Pixels (zum Beispiel Multiplikation der Quotienten mit dem jeweiligen Bildwert des Pixels) zum Inhalt.
  • Im Fall farbiger Bilddaten, wenn also jedes Pixel nicht nur einen Grauwert aufweist, sondern eine Mehrzahl von Farbwerten (z.B. im RGB-Raum) oder einen einzigen Farbwert, z.B. als Bitfolge, bleibt der auf den Betrachter wirkende Farbeindruck durch die Verfeinerung mit sehr großer Wahrscheinlichkeit erhalten, insbesondere wenn die ersten und zweiten Bilddaten synchron und/oder mit einem identischen Bilderzeugungsverfahren erzeugt wurden.
  • Ferner kann durch eine Umkehrung des Verfahrens eine Datenkompression erzielt werden, d.h. eine Reduzierung der Datenmenge. Dies wirkt sich z.B. beim Übertragen von Fernerkundungsdaten, etwa von einem Satelliten zur Bodenstation, günstig aus.
  • Ferner kann die Datenverarbeitungseinrichtung, die zur Verfeinerung der örtlichen Auflösung der ersten Bilddaten dient, außerdem auch für andere Datenverarbeitungen eingesetzt werden, z.B. für die Kalibration der Fernerkundungsdaten. Die kalibrierten Werte sind in der Regel eine lineare Funktion des Grauwertes. Die Berechnung der spektralen Strahlungsflussdichte spSFD aus den Grauwerten (dc – digital counts) der in den meisten Fällen optischen Bilddaten folgt insbesondere einer linearen Funktion: spSFD = gain(Bd)·dc + offset(Bd)
  • Die Größen gain(Bd) und offset(Bd) sind in der Regel gerätespezifische, vom Spektralband abhängige Konstanten und werden typischerweise schon vor dem Start definiert. Die Größe gain(Bd) entspricht einem Verstärkungsfaktor für das gemessene Signal. Sein Wert kann optional ferngesteuert geändert werden. Es gibt auch Sensoren, für die kein offset-Wert angegeben wird, d.h. der Grauwert „0“ entspricht dem Fall, dass keine Strahlung auf den Sensor trifft. Mit der beschriebenen Datenverarbeitungseinrichtung ist es auch möglich, Bilddaten mit einem konstanten Faktor zu multiplizieren und einen konstanten Wert zu addieren. Auf diese Weise können die Bilddaten kalibriert werden.
  • Unter einem örtlichen Teilbereich von digitalen Bilddaten, der verfeinert werden soll, wird ein Teil des gesamten örtlichen Erfassungsbereichs des jeweiligen Messkanals verstanden. Dabei ist der örtliche Teilbereich insbesondere auf den Ort eines Messsensors bezogen. Unter der Voraussetzung, dass alle auf den Messsensor einfallende und erfasste Strahlung nahezu parallel zueinander einfällt (also keine Querstrahlung berücksichtigt werden muss), ist der örtliche Teilbereich eindeutig einem Teilbereich des insgesamt erfassten Raumwinkelbereichs des Messsensors zugeordnet. Es werden jedoch von der Erfindung auch Fälle umfasst, bei denen Querstrahlung vorkommen kann und ggf. entsprechende Korrekturen vorgenommen werden.
  • Im Allgemeinen decken die Spektralbereiche der ersten (insbesondere multispektralen) Kanäle nicht den gesamten Spektralbereich des zweiten (insbesondere panchromatischen) Kanals ab. Aus den ersten Kanälen sind also nicht für alle Teil-Spektralbereiche des zweiten Kanals Messwerte vorhanden. Außerdem kann es Überlappungen der Spektralbereiche der ersten Kanäle geben. Ferner müssen die Spektralbereiche der ersten und der zweiten Kanäle einander nicht überlappen. Das hier vorgeschlagene Verfahren erlaubt es in einfacher Weise, jeden ersten Kanal unabhängig von den anderen Kanälen zu verfeinern. Dabei können für jeden ersten Kanal die gleichen Quotienten (auch Gewichte genannt) der entsprechenden Pixel des zweiten Kanals verwendet werden. Die Gewichte müssen daher für jedes Pixel des zweiten Kanals und für jeden Zeitpunkt der Bilddaten nur einmal berechnet werden.
  • Die Erfindung umfasst auch eine Vorrichtung zum Verarbeiten von Fernerkundungsdaten, wobei die Vorrichtung ausgestaltet ist, durch Fernerkundung gewonnene erste digitale Bilddaten zumindest eines ersten Messkanals unter Verwendung von zweiten digitalen Bilddaten, die von einem mit den ersten Bilddaten gemeinsamen Erfassungsbereich durch Fernerkundung gewonnen werden oder gewonnen wurden und die im Vergleich zu den ersten Bilddaten örtlich feiner aufgelöste Bilddaten zumindest eines zweiten Messkanals sind, zu verarbeiten und wobei die Vorrichtung das Folgende aufweist:
    • – eine Verarbeitungseinrichtung, die ausgestaltet ist, die örtliche Auflösung der ersten digitalen Bilddaten zumindest für einen Teilbereich des gemeinsamen Erfassungsbereichs vorläufig, unter Verwendung von Bildwerten der ersten digitalen Bilddaten, nicht aber der zweiten digitalen Bilddaten derart zu verfeinern, dass die örtliche Auflösung der vorläufig verfeinerten ersten Bilddaten der örtlichen Auflösung der zweiten digitalen Bilddaten entspricht und dass jedem Pixel der zweiten digitalen Bilddaten ein Pixel der vorläufig verfeinerten ersten digitalen Bilddaten entspricht,
    • – eine Gewichtswert-Bildungseinrichtung, die ausgestaltet ist, für eine Vielzahl von Pixeln der zweiten digitalen Bilddaten in dem Teilbereich des gemeinsamen örtlichen Abbildungsbereichs, insbesondere für jedes Pixel der zweiten digitalen Bilddaten in dem Teilbereich, jeweils einen Gewichtswert für das Pixel zu ermitteln, der einem Gewicht eines Bildwertes des Pixels im Verhältnis des Bildwertes des Pixels zu Bildwerten von Umgebungs-Pixeln in einer örtlichen Umgebung des Pixels entspricht, wobei die Gewichtswert-Bildungseinrichtung abhängig davon, wie groß der Unterschied des Bildwerts des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel ist, vor oder bei der Ermittlung des Gewichtswertes eine Glättung des örtlichen Verlaufs der Bildwerte im Bereich des Pixels und seiner Umgebung durchführt, sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert und bei kleineren Werten des Unterschieds nicht, oder sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer stärkeren Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert als bei kleineren Werten des Unterschieds,
    • – eine Gewichtungseinrichtung, die ausgestaltet ist, jedes Pixel der vorläufig verfeinerten ersten digitalen Bilddaten, das einem Pixel der Vielzahl von Pixeln der zweiten digitalen Bilddaten entspricht, mit dem Gewichtswert des entsprechenden Pixels der zweiten digitalen Bilddaten zu gewichten und auf diese Weise unter Verwendung von Informationen über die feiner aufgelösten zweiten digitalen Bilddaten verfeinerte erste Bilddaten zu bilden.
  • Vorteile, mögliche Weiterbildungen und Varianten der Vorrichtung entsprechen den bereits genannten Vorteilen, möglichen Weiterbildungen und Varianten des Verfahrens.
  • Insbesondere kann die Vorrichtung zum Verarbeiten von Fernerkundungsdaten eines der folgenden Merkmale oder eine beliebige Kombination der folgenden Merkmale aufweisen:
    • – eine Interpolationseinrichtung, die ausgestaltet ist, die örtliche Auflösung der ersten digitalen Bilddaten zumindest in einem örtlichen Teilbereich durch Interpolation zwischen Pixeln der ersten digitalen Bilddaten derart zu verfeinern, dass sie der örtlichen Auflösung der zweiten digitalen Bilddaten entspricht, sodass jedem Pixel der zweiten digitalen Bilddaten ein Pixel der ersten digitalen Bilddaten entspricht,
    • – eine Quotientenbildungseinrichtung, die ausgestaltet ist, für jedes Pixel der zweiten digitalen Bilddaten einen Mittelwert der Pixel in einer örtlichen Umgebung des Pixels zu berechnen und den Quotienten des Pixels und des Mittelwertes zu bilden, und
    • – eine Multiplikationseinrichtung, die ausgestaltet ist, jedes Pixel der ersten digitalen Bilddaten mit dem – bezogen auf den Ort – entsprechenden Quotienten zu multiplizieren und auf diese Weise verfeinerte erste Bilddaten bereitzustellen, die Informationen über die feiner aufgelösten zweiten digitalen Bilddaten enthalten.
  • Dabei weist die Quotientenbildungseinrichtung die Gewichtswert-Bildungseinrichtung auf, bzw. ist eine Ausgestaltung der Gewichtswert-Bildungseinrichtung. Die Quotientenbildungseinrichtung hat die an anderen Stellen dieser Beschreibung beschriebene Eigenschaft, den Quotienten und damit den Gewichtswert abhängig von dem Unterschied des Bildwertes des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel zu bilden.
  • Die Vorrichtung kann so ausgestaltet sein, dass die Interpolationseinrichtung und die Quotientenbildungseinrichtung gleichzeitig mit den einander entsprechenden ersten und zweiten digitalen Bilddaten betrieben wird, d.h. die Interpolationseinrichtung die ersten Bilddaten interpoliert, während die Quotientenbildungseinrichtung die Quotienten für die zweiten Bilddaten berechnet.
  • Außerdem kann die Vorrichtung eine Festlegungseinrichtung aufweisen, die ausgestaltet ist, die Größe der örtlichen Umgebung festzulegen, in der die Quotientenbildungseinrichtung den Mittelwert der Pixel der zweiten digitalen Bilddaten ermittelt, wobei die Festlegungseinrichtung außerdem ausgestaltet ist, die Umgebung umso größer zu wählen, je größer das Verhältnis der örtlichen Auflösungen der ersten und zweiten digitalen Bilddaten ist. Zusätzlich kann die Festlegungseinrichtung festlegen, wie groß die Umgebung sein soll, die zur Mittelwertbildung genutzt wird, und/oder wie der Mittelwert bestimmt wird (z. B. gleitend oder in Rasterschritten, deren Größe durch das Auflösungsverhältnis bestimmt ist).
  • Auch kann die Gewichtswert-Bildungseinrichtung ausgestaltet sein, den Gewichtswert genau dann auf Basis einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung zu ermitteln, wenn der Unterschied des Bildwerts des Pixels der zweiten Bilddaten zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel größer/gleich oder größer als ein vorgegebener Grenzwert ist.
  • Ferner umfasst die Erfindung ein Computerprogramm zum Verarbeiten von Fernerkundungsdaten. Das Computerprogramm ist ausgestaltet, das Verfahren in einer der beschriebenen Ausführungsformen oder Varianten auszuführen. Das Computerprogramm kann auf einem computerlesbaren Datenträger gespeichert und/oder zur Ausführung in einem Arbeitsspeicher eines Computers oder Computersystems geladen sein.
  • Auch gehört zu dem Umfang der Erfindung ein Datenträger oder ein Computersystem, auf dem eine Datenstruktur gespeichert ist, die nach einem Laden in einen Arbeits- und/oder Hauptspeicher eines Computers oder Computer-Netzwerkes das Computerprogramm ausführt.
  • Das erfindungsgemäße Verfahren kann durch Verwendung von Hardware und/oder Software durchgeführt werden.
  • Ausführungsbeispiele der Erfindung werden nun unter Bezugnahme auf die beigefügte Zeichnung beschrieben. Dabei wird auf panchromatische und multispektrale Daten Bezug genommen. Dieses Beispiel kann aber auch auf den allgemeinen Fall der ersten, gröber aufgelösten Bilddaten und der zweiten, feiner aufgelösten Bilddaten verallgemeinert werden.
  • Die einzelnen Figuren der Zeichnung zeigen:
  • 1 ein einfaches Flussdiagramm zur Erläuterung der Verfahrensschritte gemäß einer bevorzugten Ausführungsform,
  • 2 schematisch einen örtlichen Teil-Bildbereich, für den sowohl panchromatische als auch multispektrale Bilddaten vorliegen,
  • 3 eine Darstellung von vier Pixeln M1 bis M4, wobei die Erzeugung eines zusätzlichen, interpolierten Pixels P mittels einer bilinearen Interpolation erkennbar ist,
  • 4 eine Anordnung mit einem Planeten und einem Satelliten, der zwei multispektrale und einen panchromatischen Sensor aufweist, wobei z. B. in einer Bodenstation auf dem Planeten eine Verfeinerung der örtlichen Auflösung der multispektralen Bilddaten durchgeführt wird, die verfeinerten Bilddaten ausgewertet werden und ein Ergebnis der Auswertung zur Verfügung gestellt wird,
  • 5 ein Histogramm eines multispektralen digitalen Bilddatensatzes vor der Verfeinerung der örtlichen Auflösung,
  • 6 ein Histogramm der multispektralen Bilddaten nach der Verfeinerung der örtlichen Auflösung,
  • 7 einen Teil einer Grauwert-Matrix realer panchromatischer Fernerkundungs-Bilddaten,
  • 8 die aus dem fünften Verfahrensschritt resultierende entsprechende Matrix der Quotienten,
  • 9 eine entsprechende Teilmatrix der multispektralen Bilddaten, die den panchromatischen Bilddaten entspricht, für die in 7 Bildwerte angegeben sind,
  • 10 eine Teilmatrix der vorläufig, durch Ausführung des vierten Verfahrensschrittes verfeinerten multispektralen Bilddaten, d.h. der durch eine Interpolation der Bilddaten aus 8 erhaltenen verfeinerten multispektralen Daten,
  • 11 eine Bilddatenmatrix der verfeinerten multispektralen Bilddaten von 9, wobei die Zeilen und Spalten in 11 den Zeilen und Spalten der Bilddaten des panchromatischen Kanals gemäß 7 entsprechen,
  • 12 eine Vorrichtung zur Verfeinerung der örtlichen Auflösung multispektraler Fernerkundungsdaten, wobei N + 1 Prozessoren vorgesehen sind, die parallel, d.h. gleichzeitig, arbeiten,
  • 13 ähnlich wie in 2 schematisch einen örtlichen Teil-Bildbereich, für den sowohl feiner aufgelöste als auch gröber aufgelösten Bilddaten vorliegen, um ein Beispiel für die Bildung eines Gewichtswertes im Fall exakt co-registrierter Bilddaten zu erläutern,
  • 14 ähnlich wie in 13 schematisch einen örtlichen Teil-Bildbereich, für den sowohl feiner aufgelöste als auch gröber aufgelösten Bilddaten vorliegen, um ein Beispiel für die Bildung eines Gewichtswertes im Fall nicht exakt coregistrierter, um ein Pixel der feiner aufgelösten Bilddaten verschobener Bilddaten zu erläutern, und
  • 15–16 Matrizen von Bildwerten und zugehörige Matrizen mit zugeordneten Gewichtswerten zur Darstellung des Einflusses einer unzureichenden Co-Registrierung auf die Bestimmung der Gewichtswerte.
  • 1 zeigt einen Datensatz 1 der sowohl panchromatische als auch multispektrale Bilddaten aufweist. In einem ersten Verfahrensschritt V1 werden die multispektralen Bilddaten aufbereitet. Insbesondere werden markante Objektgrenzen für eine Verbesserung der Co-Registrierung der multispektralen Bilddaten mit den panchromatischen Bilddaten identifiziert. Weitere Möglichkeiten für die in dem Verfahrensschritt durchgeführten Operationen wurden bereits genannt.
  • In einem zweiten Verfahrensschritt V2 werden die panchromatischen Bilddaten aufbereitet. Insbesondere werden markante Objektgrenzen für eine Verbesserung der Co-Registrierung der panchromatischen Bilddaten mit den multispektralen Bilddaten identifiziert. Weitere Möglichkeiten für die in dem Verfahrensschritt durchgeführten Operationen wurden bereits genannt.
  • In einem dritten Verfahrensschritt V3 wird die Co-Registrierung der multispektralen und der panchromatischen Bilddaten insbesondere anhand der identifizierten markanten Objektgrenzen verbessert. Alternativ oder zusätzlich wird in dem dritten Verfahrensschritt V3 ermittelt, ob die Pixel so genannte Flächenpixel (Blockpixel) in Umgebungen mit nahezu konstanten Bildwerten oder Konturpixel (Randpixel) in Umgebungen mit großen Werten des Gradienten der Bildwerte sind. Die Pixel werden entsprechend markiert.
  • Die multispektralen Bilddaten werden in einem vierten Verfahrensschritt V4 derart durch Interpolation vorhandener Pixel vorläufig verfeinert, dass durch die durch die Interpolation erzeugten neuen Pixel die grob aufgelösten multispektralen Pixel ersetzt werden und somit vorläufig verfeinerte multispektrale Bilddaten generiert werden, deren örtliche Auflösung mit der der panchromatischen Bilddaten identisch ist.
  • Dieser Verfahrensschritt kann, wie in 1 durch mit punktierten Linien dargestellten Blöcken angedeutet ist, parallel für mehrere Spektralkanäle des niedrig aufgelösten Bildes durchgeführt werden. Sollte sich im ersten Verfahrensschritt V1 herausstellen, dass in dem räumlich niedrig aufgelösten Bild die einzelnen Spektralkanäle untereinander schlecht co-registriert sind, dann sollten die Verschiebungen untereinander in diesem Verfahrensschritt bei einem Resampling berücksichtigt werden.
  • In einem parallel zu dem Schritt V4 ausgeführten fünften Verfahrensschritt V5 werden durch Mittelwertbildung jeweils in einer Umgebung der Pixel der panchromatischen Bilddaten und durch Quotientenbildung des Bildwertes des jeweiligen Pixels mit dem Mittelwert in der Umgebung Gewichtsfaktoren erzeugt. Abhängig davon, ob das jeweilige Pixel der panchromatischen Bilddaten ein Flächenpixel oder ein Konturpixel ist, wird die Umgebung zur Bildung des Mittelwertes der Bildwerte unterschiedlich groß gewählt. Insbesondere wird im Fall eines Blockpixels die Umgebung so groß gewählt, dass sie genau gleich oder annähernd gleich der Fläche des zugeordneten Pixels in den ursprünglichen, noch nicht vorläufig verfeinerten ersten Bilddaten ist. Dagegen wird im Fall eines Konturpixels die Umgebung so groß gewählt, dass sie größer als die Fläche des zugeordneten Pixels in den ursprünglichen, noch nicht vorläufig verfeinerten ersten Bilddaten ist. In dem fünften Verfahrensschritt V5 können insbesondere die im dritten Verfahrensschritt V3 ermittelten Verschiebungen bezüglich der Co-Registrierung der ersten und zweiten Bilddaten korrigiert werden.
  • Allgemeiner formuliert, nicht nur bezogen auf das konkrete Ausführungsbeispiel von 1, dient der fünfte Verfahrensschritt V5, der sich in seinem Ausführungsstrang dem dritten anschließt und der vor der eigentlichen Datenfusion ausgeführt werden muss, der Festlegung der Gewichtswerte, mit dem die Bildpunkte des räumlich niedrig aufgelösten Bildes gewichtet werden, nachdem dieses zum Beispiel durch Resampling einschließlich einer Co-Registrierung mit dem räumlich hoch aufgelösten Bild deckungsgleich gemacht wurde. Die Festlegung der Gewichtswerte erhält im Hinblick auf eine Auswertung dieser Bilder deren radiometrischen Eigenschaften nahezu vollständig, d.h. der Verlauf der zweidimensionalen Bildfunktion des räumlich niedrig aufgelösten Bildes wird durch dessen Resampling nicht geändert. Dieser Bedingung unterliegen auch mögliche Bildverbesserungen in den Verfahrensschritten V1 und V2.
  • In dem sechsten Verfahrensschritt V6, der auf den vierten und den parallel dazu ausgeführten fünften Verfahrensschritt folgt, findet eine Datenfusion statt, indem die Gewichtswerte, insbesondere die Quotienten, mit den entsprechenden Bildwerten der Pixel der multispektralen Bilddaten multipliziert werden. Als Ergebnis des sechsten Verfahrensschrittes V6 erhält man verfeinert aufgelöste multispektrale Bilddaten 2.
  • Unter Bezugnahme auf 2 werden nun Beispiele von Verfahrensschritten während der Verfeinerung der örtlichen Auflösung der multispektralen Bilddaten erläutert. Das Beispiel entspricht dem Fall eines Konturpixels.
  • 2 zeigt schematisch insgesamt neun Pixel von multispektralen Bilddaten, die durch quadratische Bereiche dargestellt sind, welche von durchgezogenen Linien begrenzt werden. Außerdem sind in 2 kleinere Quadrate erkennbar, die durch gestrichelte Linien abgegrenzt sind. Diese Quadrate entsprechen Pixeln von feiner aufgelösten panchromatischen Bilddaten. In jedem Pixel der multispektralen Bilddaten befinden sich vier Pixel der panchromatischen Bilddaten, d.h. das Auflösungsverhältnis zwischen den multispektralen Bilddaten und den panchromatischen Bilddaten beträgt 2:1. Am Beispiel des Pixels P3 der multispektralen Bilddaten, das links unten in 2 dargestellt ist, sind die vier panchromatischen Bildpixel durch M1, M2, M3, M4 bezeichnet
  • In dem vierten Verfahrensschritt zur Verfeinerung der örtlichen Auflösung der multispektralen Bilddaten wird eine Interpolation durchgeführt, so dass auch die multispektralen Bilddaten in der feineren örtlichen Auflösung der panchromatischen Bilddaten vorliegen. Auf ein Beispiel für die Interpolation wird noch näher eingegangen.
  • Die Mittelwertbildung in den panchromatischen Bilddaten findet jeweils für zwei Beispiele von einzelnen Pixeln P1, P2 der panchromatischen Bilddaten in einer 3 × 3-Umgebung statt, d.h. in einer Umgebung mit sowohl in Spaltenrichtung als auch Zeilenrichtung von 3 Pixeln um das zentrale Pixel statt. In der Praxis würde der Mittelwert insbesondere für jedes der Pixel in dem dargestellten örtlichen Bereich gebildet. In 2 sind zwei solcher 3 × 3-Umgebungen in 2 durch schräge Linien schraffiert. Das zentrale Pixel in der weiter links oben dargestellten Umgebung ist mit P1, das zentrale Pixel in der rechts unten dargestellten Umgebung ist mit P2 bezeichnet. Zur Mittelwertbildung wird die Summe der neun Pixel in der Umgebung gebildet und durch die Anzahl der Pixel dividiert. Allgemeiner formuliert werden für die Bildung des Mittelwertes die Bildwerte der Pixel in der Umgebung addiert und durch die Anzahl der Pixel dividiert.
  • Anschließend wird der Quotient für das zentrale Pixel gebildet, indem sein Bildwert durch den Mittelwert dividiert wird. Handelt es sich bei dem zentralen Pixel um ein Randpixel, liegt das Pixel nicht zentral in der Umgebung, die zur Mittelwertbildung herangezogen wird.
  • Für die Verfeinerung der Bilddaten ist die Quotientenbildung ein wesentlicher Verfahrensschritt, damit die geometrischen Informationen der zweiten feiner aufgelösten Bilddaten auf die ersten grob aufgelösten Bilddaten übertragen werden können. Bei exakter Co-Registrierung der ersten und der zweiten Bilddaten kann die Mittelwert- und Quotientenbildung durch eine Zuordnung der Pixel der groben (ersten) und der feinen (zweiten) Bilddaten erfolgen. Bei einem Auflösungsverhältnis von 2:1 wird (wie in 2 dargestellt) z. B. aus 9 Pixeln der fein aufgelösten Bilddaten der Mittelwert bestimmt (SFIM-Methode), wenn es sich bei dem zentralen Pixel um ein Konturpixel handelt, und wird aus 4 Pixeln der fein aufgelösten Bilddaten der Mittelwert bestimmt (PBIM-Methode), wenn es sich bspw. wie bei P3 um ein Flächenpixel handelt. Alternativ kann für die Konturpixel auch eine größere Umgebung für die Mittelwertbildung gewählt werden.
  • Da man in der Praxis im Allgemeinen nicht von einer exakten (absolut genauen) Co-Registrierung ausgehen kann, kann der Mittelwert, der zur Berechnung der Koeffizienten herangezogen wird, im Fall von Konturpixeln optional nicht durch eine fixe Zuordnung der Punkte der zweiten Bilddaten zu denen der ersten Bilddaten berechnet werden, sondern durch eine gleitendes Fenster in den zweiten Bilddaten. Dadurch wird in den verfeinerten Bilddaten eine Unschärfe verursacht. Diese Vorgehensweise führt aber zu besseren Ergebnissen bei nicht exakter Co-Registrierung als eine fixe Zuordnung der Pixel.
  • 3 zeigt ein Beispiel für eine bilineare Interpolation zum Zwecke der Bildung der vorläufigen verfeinerten multispektralen Bilddaten. An den Ecken des in 3 mit gestrichelten Linien dargestellten Quadrats (die gestrichelten Linien sind die Linien der Spalten und Reihen der multispektralen Pixel) befinden sich die existierenden multispektralen Pixel M1, M2, M3 und M4. Die Zeilenrichtung ist mit einem nach rechts weisenden Pfeil der Länge x dargestellt. Die Spaltenrichtung ist mit einem nach unten weisenden Pfeil der Länge y dargestellt. Bei der bilinearen Interpolation zur Erzeugung eines interpolierten multispektralen Bildpunktes P werden zunächst rechnerisch Bildpunkte Po und Pu erzeugt, die auf den Zeilen-Verbindungslinien zwischen den oberen existierenden Bildpunkten M1, M2 bzw. den unteren existierenden Bildpunkten M3, M4 liegen. Hierzu werden folgende Berechnungsformeln verwendet: Po = (1 – x)·M1 + x·M2 Pu = (1 – x)·M3 + x·M4
  • Dabei sind die Werte x und der in der folgenden Formel verwendete Wert y Werte zwischen 0 und 1, d.h. der interpolierte Wert kann nur zwischen den vier existierenden multispektralen Pixeln liegen, die bei der Interpolation berücksichtigt werden. Aus den Punkten Po und Pu wird nun der interpolierte Punkt P ermittelt nach folgender Gleichung: P = (1 – y)·Po + y·Pu
  • Prinzipiell ist es auch möglich, Werte außerhalb der Fläche zu extrapolieren, die durch die Punkte M1, M2, M3 und M4 gebildet wird. Dies kann an den Bildrändern in vorteilhafter Weise genutzt werden, wenn keine Nachbarpunkte vorhanden sind, um innerhalb einer von vier Punkten gebildeten Fläche zu interpolieren.
  • 4 zeigt einen Planeten 10, z.B. die Erde. Von einem Beobachtungsgebiet auf der Oberfläche des Planeten 10 wird elektromagnetische Strahlung emittiert und/oder reflektiert, die von drei Sensoren 11, 12, 13 eines Satelliten 15 empfangen und in jeweils zweidimensionale digitale Bilddaten umgewandelt wird. Insbesondere kann die Erfassung der Bilder des Beobachtungsgebietes fortlaufend erfolgen.
  • Der Sensor 13 ist ein panchromatischer Sensor, der einen größeren Spektralbereich an elektromagnetischer Strahlung erfasst als die beiden multispektralen Sensoren 11, 12. Die örtliche Auflösung der panchromatischen Bilddaten ist jedoch feiner als die der multispektralen Bilddaten. Die von den Sensoren 11, 12, 13 erfassten Bilder werden in Form der zweidimensionalen digitalen Bilddaten zu einem Datenspeicher 17 einer Auswertungseinrichtung 18 übertragen.
  • Von einer Datenverarbeitungseinrichtung 19, z.B. einem FPGA, der Auswertungseinrichtung 18 werden die panchromatischen und multispektralen digitalen Bilddaten verarbeitet, um die örtliche Auflösung der beiden verschiedenen multispektralen Bilddaten zu verfeinern. Dies erfolgt fortlaufend in Echtzeit. Z.B. beginnt die Verfeinerung eines zu einem bestimmten Zeitpunkt von einem multispektralen Sensor 11, 12 aufgenommen Bildes, sobald das Bild in dem Datenspeicher 17 gespeichert ist und somit von der Datenverarbeitungseinrichtung 19 ausgelesen werden kann.
  • Die Datenverarbeitungseinrichtung 19 weist eine Interpolationseinrichtung 21 auf, die den oben beschriebenen vierten Verfahrensschritt der Interpolation zwischen Pixeln der multispektralen digitalen Bilddaten ausführt. Ferner weist die Datenverarbeitungseinrichtung eine Quotientenbildungseinrichtung 23 auf, die den oben beschriebenen fünften Verfahrensschritt ausführt. Die von der Gewichtswert-Bildungseinrichtung berechneten Gewichtswerte und die vorläufig verfeinerten multispektralen Bilddaten werden einer Einrichtung 25 zugeführt, die den oben beschriebenen sechsten Verfahrensschritt ausführt. In der Praxis können die Einrichtungen 21, 23 und 25 verschiedene Bereiche derselben Datenverarbeitungseinrichtung sein oder z.B. durch verschiedene Programmteile desselben Computerprogramms implementiert sein. Insbesondere kann die Datenverarbeitungseinrichtung 19 außerdem eine Einrichtung aufweisen, die ausgestaltet ist, die Co-Registrierung der ersten und zweiten Bilddaten zu verbessern, zum Beispiel auf Basis von detektierten markanten Objektgrenzen in beiden Bilddaten-Sätzen. In diesem Fall weist die Datenverarbeitungseinrichtung 19 daher auch eine Einrichtung auf, die die markanten Objektgrenzen detektiert. Zum Beispiel kann diese Einrichtung, wie an anderer Stelle in dieser Beschreibung erläutert wird, zwischen so genannten Konturpixeln und Flächenpixeln unterscheiden.
  • Am Ausgang der Einrichtung 25 liegen die verfeinert aufgelösten multispektralen Bilddaten vor und werden zu einer Einrichtung 27 übertragen, die anhand der verfeinerten Daten eine Datenauswertung vornimmt und ein Ergebnis der Auswertung zur Verfügung stellt und z. B. zu einer Empfängereinrichtung 29 überträgt. Die Auswertungseinrichtung 18 ist z. B. Teil einer Bodenstation auf der Oberfläche des Planeten 10. Die Einrichtung 27 kann sich auch an anderer Stelle befinden und z. B. Teil der Empfängereinrichtung 29 sein.
  • 5 und 6 zeigen Histogramme eines multispektralen Bilddatensatzes, d.h. eines zu einem bestimmten Zeitpunkt aufgenommenen Bildes, vor und nach der Verfeinerung der örtlichen Auflösung gemäß dem Verfahren der vorliegenden Erfindung. Obwohl das Verfahren keinen Verfahrensschritt zur Qualitätskontrolle beinhaltet, entstehen keine wesentlichen Veränderungen des Farbeindruckes und wird die Bilanz der auf einen kleinen Teilbereich des Sensors einfallenden Strahlungsenergie allenfalls unwesentlich verändert. Es ist keine Qualitätskontrolle notwendig, weil die Messsignale an den Orten, an denen sie gemessen werden konnten, annähernd erhalten bleiben. Dass keine Qualitätskontrolle notwendig ist, wird durch die Histogramme gemäß 5 und 6 belegt. Auf der horizontalen Achse der Histogramme sind in aufsteigender Reihenfolge die Grauwerte des Bandes aufgetragen. Die vertikale Achse zeigt die Häufigkeit (hier die absolute) an, mit denen die einzelnen Grauwerte in der betrachteten Bildmatrix vertreten sind.
  • Man erkennt, dass sowohl in der 5 als auch in 6 die absolute Häufigkeit zwischen den Grauwerten 200 bis 350 steil auf ein Maximum ansteigt. Auch der daraufhin bis zu einem lokalen Minimum beim Grauwert 500 abfallende Verlauf ist nahezu identisch. Der folgende Verlauf der Histogrammfunktion ist bei höheren Grauwerten geringfügig anders. Insgesamt ist der Verlauf der Histogrammfunktionen jedoch sehr ähnlich. Das Histogramm des verfeinerten Bildes sieht geringfügig anders aus, weil die Interpolation nicht für ganzzahlige Adresswerte gerechnet wird. Es entstehen als Ergebnis der Interpolation nichtganzzahlige Grauwerte und die Mittelwertbildung für Konturpixel bedingt eine Glättung (d. h. einer Tiefpassfilterung) der zweiten, fein aufgelösten Bilddaten. Die Lage der Maxima bleibt aber erhalten. Dies ist ein Indiz für eine Erhaltung des Farbeindrucks. Auch das Flächenintegral der Histogrammfunktion ist ein solches Indiz. Wie das Beispiel von 5 und 6 zeigt, bleibt auch Flächenintegral bei der Verfeinerung erhalten. Dieser Erhalt der Fläche ist einer Energieerhaltung gleichzusetzen, d.h. die verfeinerten Bilddaten entsprechen einer Aufnahme von Bilddaten mit gleicher einfallender Strahlungsenergie wie die tatsächlich aufgezeichneten Bilddaten. Generell, nicht nur bezogen auf das anhand von 5 und 6 erläuterte Ausführungsbeispiel werden bei der Ausführung des erfindungsgemäßen Verfahrens zur Verfeinerung der örtlichen Auflösung die folgenden Kriterien eingehalten:
    • 1. Die Abhängigkeit der Bildwerte (zum Beispiel der Strahlungsintensität oder des Reflexionsgrades) als Funktion des Ortes wird bei der vorläufigen Verfeinerung der ersten Bilddaten und vorzugsweise auch nach der endgültigen Verfeinerung derart weitgehend erhalten, dass in einer lokalen Umgebung, insbesondere in der lokalen Umgebung jedes einzelnen Pixels der noch nicht verfeinerten Bilddaten, die Histogrammfunktion annähernd unverändert bleibt. Wie gezeigt können durch die endgültige Verfeinerung geringfügige Unterschiede in der Histogrammfunktion entstehen.
    • 2. Daraus folgt, dass auch das räumliche Integral der Bildwerte über die lokale Umgebung annähernd unverändert bleibt.
    • 3. Ferner folgt daraus, dass auch das Differenzial der örtlichen Abhängigkeit der Bildwerte in der lokalen Umgebung annähernd unverändert bleibt.
  • 7 stellt eine Grauwertmatrix dar, die einem realen panchromatischen Bild eines Satellitensensors entnommen ist. 7 zeigt die Grauwerte der Zeilen 4.224 bis 4.233 und der Spalten 6.636 bis 6.643. In 7 sind die Zahlenwerte der Spalten 6.639–6.641 und der Zeilen 4229–4231 umrahmt. Der zentrale Bildpunkt dieser 3×3 Matrix, bei dem es sich um ein Konturpixel handelt, steht in Spalte 6.640 und Zeile 4230 und hat den Wert 45. Nach der Mittelwertbildung ergibt sich an diesem Punkt ein Quotient mit dem Betrag 0.7143 (8).
  • 8 zeigt die entsprechende Ergebnismatrix nach Ausführung des oben erläuterten fünften Verfahrensschrittes, bei dem zunächst in einer Umgebung (hier von 3×3 Pixeln) für jedes Zentralpixel der Mittelwert und anschließend der Quotient des Bildwertes (hier Grauwertes) und des Mittelwertes gebildet wird. Die Umgebung von 3×3 Bildpunkten wurde gewählt, da das Auflösungsverhältnis der multispektralen und panchromatischen Bilddaten 2:1 beträgt und da es sich nahezu bei allen Pixeln um Konturpixel handelt. Lediglich wenige Pixel sind Flächenpixel (zum Beispiel an der Position in Spalte 6638 und Zeile 4228 und auch an der Position in Spalte 6636 und Zeile 4228). Für diese Flächenpixel wurde jeweils eine Umgebung von 2 × 2 Bildpunkten für die Mittelwertbildung gewählt.
  • Man erkennt aus 8, dass die Quotienten alle im Bereich von 0,72 bis 1,15 liegen. Zu erwähnen ist dabei, dass es sich bei den Werten in den am weitesten links und rechts in 7 liegenden Spalten und bei den am weitesten oben und unten in 7 liegenden Zeilen nicht um Randpixel handelt, da die Tabelle lediglich einen Ausschnitt der Gesamt-Bildmatrix darstellt.
  • Da für jedes Konturpixel der Mittelwert in einer eigenen Umgebung berechnet wird, die größer ist als die Fläche des entsprechenden niedrig aufgelösten, noch nicht vorläufig verfeinerten Pixels der ersten Bilddaten, kann dies als Glättung von Bildwerten bezeichnet werden. Die Verfahrensweise der Glättung reagiert auf scharfe Kontraste, z.B. Hell-Dunkel-Übergänge mit scharfen Rand, unempfindlich. Insbesondere werden durch die Verfeinerung im Fall nicht exakt co-registrierter panchromatischer und multispektraler Bilddaten keine künstlichen Grauwertdifferenzen erzeugt, die nicht vorhandene Objektgrenzen vortäuschen.
  • 9 zeigt eine Bilddatenmatrix der multispektralen Bilddaten, die den panchromatischen Bilddaten entsprechen, für die in 7 ein Teilbereich, nämlich die Zeilen 4.224 bis 4.233 und die Spalten 6.636 bis 6.643 dargestellt sind. Da das Auflösungsverhältnis der multispektralen Bilddaten und der panchromatischen Bilddaten 2:1 beträgt, entspricht der Ort der Zeilen und Spalten in 9, wenn er mit dem Faktor 2 multipliziert wird, dem Ort der Zeilen und Spalten in 7. Durch das Ergebnis der Verfeinerung (Ausführung der oben beschriebenen Verfahrensschritte V4 bis V6) entsteht die Bildmatrix, deren Teilbereich in 11 dargestellt ist. In 11 sind demnach wieder die Zeilen 4.224 bis 4.233 und die Spalten 6.636 bis 6.643 zu erkennen. Die rechteckige Linie in 9 umrahmt dabei den örtlichen Bereich in den noch nicht verfeinerten multispektralen Bilddaten, der durch die Verfeinerung zu dem in 11 dargestellten Bereich geworden ist. Selbstverständlich tragen zu den Bildwerten, die am Rand des in 11 dargestellten Teilbereichs erkennbar sind, auch noch weitere der ursprünglichen Bildwerte der multispektralen Daten bei. Diese weiteren Bildwerte werden bei der Interpolation (im vorliegenden Beispiel eine bilineare Interpolation, wie anhand von 3 erläutert) in Verfahrensschritt 1 herangezogen.
  • In 9 ist zusätzlich der Punkt M in Spalte 3320 und Zeile 2115 mit dem Wert 33 markiert. Dieser korrespondiert mit dem markierten Zentralwert in den 7 und 8, ist aber Element der gröber aufgelösten Bilddaten. Für die bilineare Interpolation zur Berechnung der Zwischenwerte werden die Nachbarn rechts und unten mit den Werten 29, 31 und 31 genutzt. Dies ist durch gestrichelte Linien angedeutet, ähnlich der Darstellung in 3.
  • 10 stellt den Zustand der vorläufig verfeinerten multispektralen Bilddaten dar, der nach Ausführung des ersten Verfahrensschrittes erhalten wird. Die markierten Elemente in den Spalten 6.640–6.641 und den Zeilen 4.230–4231 ersetzen dabei nach der Interpolation den Bildpunkt M {3320; 2115} mit dem Bildwert 33 in 9. Diese Bildpunkte repräsentieren die interpolierte Bildfunktion an den Orten {x; y} = {0,25; 0,25}, {0,75; 0,25}, {0,25; 0,75} und {0,75; 0,75}, wobei der Punkt M dem Ort {0;0} entspricht. Die Werte der vorläufig verfeinerten groben Bilddaten werden nach dem in 3 gezeigten Schema ermittelt. Es ist zu erkennen, dass, bedingt durch die Interpolation an nicht ganzzahligen Stellen in der Bildmatrix, die Originalwerte aus der 9 nicht auftreten. Dieses ist eine Ursache für das geringfügig veränderte Aussehen des Histogramms (s.o.).
  • Das in 11 dargestellte Endergebnis wird somit durch die Multiplikation der Elemente der Matrix in 8 mit jeweils dem entsprechenden Element (bezüglich der Zeilenposition und Spaltenposition entsprechend) in 10 erhalten.
  • 12 zeigt eine Vorrichtung zum Verfeinern der örtlichen Auflösung von multispektralen Fernerkundungsdaten, die N + 1 parallele Prozessoren 430, ...43n, d.h. parallele Datenverarbeitungseinrichtungen aufweist. Z.B. kann jeder Prozessor durch ein FPGA realisiert werden. Jeder Prozessor (sechseckig berandete Fläche) ist mit einem Programmspeicher 420, ...42n und mit einem Datenspeicher 410, ...41n verbunden. Die fünf Punkte etwa in der Mitte von 12 deuten an, dass nicht alle N + 1 Prozessoren 430, ...43n dargestellt sind, sondern lediglich der Prozessor 430 links im Bild und der Prozessor 43n rechts im Bild. Oberhalb jedes Prozessors 430, ...43n ist ein Datenpuffer 440, ...44n durch einen rechteckigen Bereich dargestellt.
  • Die Zahl N ist eine ganzzahlige positive Zahl, die gleich der Anzahl der gleichzeitig bzw. parallel zu verarbeitenden multispektralen Kanäle ist, d.h. der Anzahl der multispektralen Bilddaten in verschiedenen Frequenzbereichen entspricht. Mit der in 12 dargestellten Vorrichtung können die für die Verfeinerung der örtlichen Auflösung der multispektralen Fernerkundungsdaten auszuführenden Verfahrensschritte gemäß der Erfindung nacheinander oder aber zeitlich parallel zueinander durchgeführt werden. Bei der zeitlich parallelen Ausführung sind die zu verfeinernden multispektralen Bilddaten der einzelnen Kanäle in diesem Ausführungsbeispiel in den Datenspeichern 1 bis N abgespeichert. Der jeweils zugeordnete Prozessor 43 greift auf die Bilddaten zu und führt den Verfahrensschritt 1 aus, mit dem die Daten vorläufig durch Interpolation verfeinert werden. Um die Datenverarbeitung der Prozessoren 43 zu steuern, ist in dem jeweils zugeordneten Programmspeicher 42 ein Programm abgelegt. Als Ergebnis der vorläufigen Verfeinerung gibt der Prozessor 431, ...43n die vorläufig verfeinerten Daten an den zugeordneten Datenpuffer 441, ...44n aus. Entsprechend, jedoch bezüglich der panchromatischen Bilddaten wird der Prozessor 430 betrieben. Er greift auf den Datenspeicher 410 zu, in dem die panchromatischen Bilddaten abgelegt sind. Gemäß dem in dem Programmspeicher 420 abgelegten Programm berechnet der Prozessor 430 daraus die Quotienten gemäß dem oben beschriebenen Verfahrensschritt V5. Als Ergebnis gibt der Prozessor 430 die Matrix der berechneten Quotienten an den Datenpuffer 440 aus, wo diese Matrix abgespeichert wird. Die Aufteilung der Verarbeitung der Kanäle und damit der Bilddaten auf die N + 1 in Fig. Z2 gezeigten Verarbeitungs-Stränge kann anders als oben beschrieben erfolgen.
  • Wie durch den großen von links nach rechts weisenden Pfeil 45 oben in 12 angedeutet ist, wird durch weitere nicht näher dargestellte Verarbeitungseinrichtungen aus den in den Datenpuffern 441 bis 44n abgelegten Daten die jeweilige Matrix der verfeinerten multispektralen Fernerkundungsdaten berechnet. Dabei wird jeweils dieselbe Quotientenmatrix aus Datenpuffer 440 verwendet, die mit der vorläufig verfeinerten Matrix der multispektralen Bilddaten multipliziert wird, indem lediglich die einander hinsichtlich der Zeilen- und Spaltenposition entsprechenden Matrixelemente miteinander multipliziert werden. In dem beschriebenen Fall ist der Datenstrom ein Strom der verfeinerten multispektralen Fernerkundungsdaten, der zu einem Empfänger übertragen werden soll. Die 12 kann jedoch auch als Darstellung der Verarbeitung des von den jeweiligen Sensoren eingehenden Datenstroms verstanden werden. In diesem Fall werden in den Datenpuffern 441 bis 44n die jeweiligen noch nicht verfeinerten multispektralen Fernerkundungsdaten abgelegt, damit die Prozessoren 431 bis 43n darauf zugreifen können. In Datenpuffer 440 werden die panchromatischen Daten abgelegt. Die Funktion der Prozessoren 430 bis 43n ist dieselbe wie oben beschrieben, wobei sie jedoch auf die Datenpuffer 440 bis 44n zugreifen und nicht auf die unten in 12 dargestellten Datenspeicher 410 bis 41n. Die von den Prozessoren 43 in Verfahrensschritt 1 bzw. 2 berechneten Daten werden zunächst in dem zugeordneten Datenspeicher 41 unten in 12 abgelegt. Ebenfalls durch die Prozessoren 431 bis 43n können die in dem Speicher 410 von dem Prozessor 430 abgelegten Quotienten durch Multiplikation mit den in den Datenspeichern 411 bis 41n abgelegten vorläufig verfeinerten multispektralen Daten verknüpft werden und über den Datenpuffer 441 bis 44n wieder in den Datenstrom eingefügt werden. Insbesondere können mit den N + 1 Prozessoren auch die optionalen Verfahrensschritte durchgeführt werden, bspw. die Verbesserung der Co-Registrierung, die Kantendetektion, die Unterscheidung von Kontur- und Flächenpixeln und/oder die Glättungen.
  • Mit der in 12 dargestellten Vorrichtung können auch noch andere Datenverarbeitungsverfahren zur Verarbeitung von panchromatischen und multispektralen Fernerkundungsdaten sehr effektiv ausgeführt werden, z.B. Helligkeits- und Kontraständerungen sowie Kalibrierung der Daten. Auch diese Operationen benötigen lediglich einen Verfahrensschritt. Bei der Darstellung der Vorrichtung in 12 wird der Einfachheit der Darstellung wegen auf weitere Vorrichtungsbestandteile, wie z.B. Energieversorgung, Dekodierer zur Dekodierung von Daten, Dekommutatoren, Datenbussysteme, Register, Zustandsanzeigen, Ein- und Ausgabesysteme, die in an sich bekannter Weise bei Datenverarbeitungssystemen vorkommen können, verzichtet.
  • Die erfindungsgemäße Verfeinerung der multispektralen Bilddaten kann z.B. in bilddatenbasierten Kriseninformations- und Beratungssystemen, die entsprechende Fernerkundungsdaten nutzen, in geografischen Informationssystemen, in Bildverarbeitungssystemen für andere Zwecke und auch allgemein bei der Verarbeitung von Satellitendaten eingesetzt werden.
  • In Bezug auf 13 und 14 weist das räumlich gröber aufgelöste Bild M die Anzahl von S Spalten und Z Zeilen, während das räumlich feiner aufgelöste Bild P die Anzahl von I Spalten und J Zeilen hat. Es gilt für einen gleich großen Erfassungsbereich, dass S kleiner als I ist und dass Z kleiner als J ist. Ohne Einschränkung der Allgemeinheit sind die Quotienten v1 = I/S und v2 = J/Z zum Beispiel gleich (v = v1 = v2) und ganzzahlig. Für die Durchführung des Verfahrens der Verfeinerung der gröber aufgelösten Bilddaten ist dies jedoch keine Bedingung.
  • Ein Resampling (zum Beispiel durch lineare Interpolation) des Bildes M führt zu einem vorläufig verfeinerten Bild M’, das wie auch das räumlich feiner aufgelöste Bild P die Anzahl von I Spalten und J Zeilen hat und dessen Erfassungsbereich im Idealfall exakt kongruent mit dem von P ist. Die Bilder M’ und P sind dann co-registriert.
  • Anhand von 13 und 14 wird ein Ausführungsbeispiel beschrieben, wie die für die Auflösungsverbesserung genutzte Gewichtswerte-Matrix ermittelt werden kann. Gezeigt werden hier zwei Ansätze für die Berechnung der Intensitätsmodulation des Ergebnisses der Bildfusion. Die beiden Ansätze sind in der oben erwähnten Veröffentlichung von Liu erwähnt. Bei dem einen Ansatz bzw. Verfahren handelt es sich um das von Liu als „Pixel Block Intensity Modulation“ (PBIM) bezeichnete Verfahren. Dieser Ansatz wird anhand von 13 erläutert. Bei dem anderen Ansatz bzw. Verfahren handelt es sich um das von Liu als „Smoothing Filter-based Intensity Modulation“ (SFIM) bezeichnete Verfahren. Dieser Ansatz wird anhand von 14 erläutert.
  • Das Beispiel von 13. zeigt einen Erfassungsbereich, in dem 2 × 2 Bildelemente des niedrig aufgelösten Bildes M und 4 × 4 Bildelemente des hoch aufgelösten Bildes P liegen. In diesem Fall ist das Verhältnis der Auflösungen v = 2. In 13 sind die Pixel des niedrig aufgelösten Bildes durch die vier unterschiedlich schraffierten Bereiche dargestellt. Die gepunkteten Linien deuten das Raster des hoch aufgelösten Bildes an. Vier Pixel pij des Bildes P bzw. m'ij des Bildes M’ entsprechen einem Pixel mZS des Bildes M. Die jeweils vier Pixel des Bildes P bzw. des Bildes M‘ bilden einen Pixelblock (eine Umgebung), aus dem die vier Gewichtswerte wij für diesen Block bestimmt werden:
    Figure DE102012221667A1_0002
    ist dabei der Mittelwert der Bildwerte über die n·m Umgebung (das heißt die n mal m Pixel der höher aufgelösten Bilddaten), wobei n und m positive ganze Zahlen sind. Im Fall der 13 gilt n = m = 2.
  • Im Fall der 14 liegt ein Fehler der Co-Registrierung der höher aufgelösten Bilddaten P und der niedrige aufgelösten Bilddaten M vor. Es handelt sich um eine Verschiebung des höher aufgelösten Bildes P in Zeilenrichtung um ein Pixel des höher aufgelösten Bildes P. In diesem Fall werden die Gewichtswerte wij entsprechend der SFIM wie folgt ermittelt:
    Figure DE102012221667A1_0003
    ρ ist dabei der Mittelwert der Bildwerte über eine n·n Umgebung, wobei n eine positive ganze Zahl ist. Im Fall der 14, in der n = 3 gilt, ist die Umgebung im Vergleich zur BIM-Methode um ein Pixel in Zeilenrichtung und um ein Pixel in Spaltenrichtung vergrößert (das heißt in diesem Fall hat die Umgebung neun Pixel der höher aufgelösten Bilddaten).
  • Im Gegensatz zu Veröffentlichung von Liu geht das hier vorgeschlagene Verfahren von Folgenden aus:
    • – PBIM ist nicht nur anwendbar auf mehrkanalige und unterschiedlich aufgelöste Bilder eines Sensorsystems,
    • – SFIM ist ebenfalls anwendbar auf mehrkanalige und unterschiedlich aufgelöste Bilder eines Sensorsystems,
    • – beide Methoden können für ein und denselben Bilddatensatz auch gleichzeitig zur Bestimmung der Gewichtswerte-Matrix zur Anwendung kommen.
  • Im Folgenden wird anhand der 15 und 16 der Einfluss einer unzureichenden Co-Registrierung auf die Bestimmung der Gewichtswerte im Fall der Anwendung der PBIM-Methode erläutert. Dargestellt ist links in den beiden Figuren ein beliebiger Pixelblock aus dem höher aufgelösten Bild. Das Auflösungsverhältnis v beträgt in dem Beispiel 4. In 15 hat der Pixelblock einen durchschnittlichen Grauwert von 94,375. Die entsprechende, durch PBIM erhaltene Gewichtswerte-Matrix ist rechts dargestellt. Ist dieser Pixelblock infolge unzureichender Co-Registrierung nur um ein Pixel in Zeilenrichtung gegenüber dem niedriger aufgelösten Bild verschoben (16), beträgt der durchschnittliche Grauwert lediglich 71,875 und ergeben sich daher andere Gewichtswerte wij der Gewichtswerte-Matrix. Das Ergebnisbild E, dessen Bildelemente eij sich aus eij = wij·m'ij berechnen, wird fehlerhaft und eine Objektgrenze (hier erkennbar am Grauwertsprung von 10 auf 100) erscheint in dem Ergebnisbild E an der falschen Stelle.
  • Daher wird einerseits vorgeschlagen, die Co-Registrierung zu überprüfen und – wenn erforderlich – zu verbessern. Andererseits wird vorgeschlagen, für Konturpixel eine zusätzliche Glättung für die Zwecke der Berechnung der Gewichtswerte durchzuführen, wie es z. B. bei der SFIM Methode der Fall ist.
  • Die Größe des Effektes ist abhängig von der Größe der Grauwertdifferenzen im Pixelblock, d.h. an Objektgrenzen im Bild ist er deutlich sichtbar, in homogenen Bereichen (nahezu gleiche oder gleiche Grauwerte) dagegen nicht. Der Effekt lässt sich mindern durch die Anwendung des SFIM-Verfahrens bei der Bestimmung der Gewichtswerte-Matrix, nämlich an Objektgrenzen. In homogenen Bildbereichen führen beide Verfahren zu gleichen Gewichtswerten. Dies eröffnet die Möglichkeit, beide Verfahren (oder jeweils gleichwertige Verfahren) zur Berechnung der Gewichtswerte-Matrix zum Zweck der Verfeinerung der örtlichen Auflösung und somit zur Bild-Fusion zu nutzen, nämlich das SFIM-Verfahren an Objektgrenzen und das PBIM-Verfahren in den homogenen Bildbereichen (z. B. im Bereich von Objekten mit nahezu gleichem bzw. gleichem Bildwert, z. D. Grauwert).
  • Im Folgenden wird ein Beispiel dafür erläutert, wie sich Objektgrenzen und damit Konturpixel in digitalen Bildern ermitteln lassen. Hierzu wird die Gewichtswerte-Matrix W genutzt, wenn die Gewichtswerte gemäß dem SFIM Verfahren berechnet werden. Haben deren Elemente wij eine Betrag von ungefähr gleich 1,0, liegen die entsprechenden Bildelemente pij des höher aufgelösten Bildes P in einer insbesondere quadratischen n×n Pixel großen (wobei die ganze positive Zahl n in Zeilen Richtung und Spaltenrichtung in der Regel um eins größer als das Auflösungsverhältnis v ist), nahezu homogenen Umgebung. Weichen die Beträge wesentlich von 1,0 ab, sind die entsprechenden Bildelemente Teil einer Objektgrenze. Die Größe der Abweichung von 1,0 kann als Schwellwert oder Grenzwert angesehen werden und ist vorzugsweise einstellbar, das heißt individuell für die Durchführung des Verfahrens vorgebbar. Durch die somit mögliche Unterscheidung der Objektgrenzen von homogenen Bereichen können diese einer gesonderten numerischen Behandlung unterzogen werden, die nicht die Anwendung des PBIM Verfahrens oder des SFIM Verfahrens beinhalten müssen.
  • Ist eine erkannte homogene Fläche größer als ein durch das Verhältnis der räumlichen Auflösungen definierter Pixelblock im höher aufgelösten Bild, kann für diese größere homogene Fläche ein konstanter, für alle Pixel der Fläche identischer Gewichtswert bestimmt werden. Das bedeutet, dass der Mittelwert bzw. der Gewichtswert in homogenen Flächen nicht nur in einer n·m – Umgebung (siehe oben zu 13) berechnet werden kann, sondern auch in einer größeren, unregelmäßigen Fläche, die durch ein Polygon von Kantenpixeln umrandet wird.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • EP 1626256 A1 [0010]
  • Zitierte Nicht-Patentliteratur
    • J. G. Liu „Smoothing Filter-based Intensity Modulation: a spectral preserve image fusion technique for improving spatial details”, veröffentlicht in Int. J. Remote Sensing, 2000, vol. 21, no. 18, Seiten 3461–3472 [0013]

Claims (10)

  1. Verfahren zum Verarbeiten von Fernerkundungsdaten, wobei erste digitale Bilddaten, die durch Fernerkundung gewonnen werden oder gewonnen wurden und die Bilddaten zumindest eines ersten Messkanals (11, 12) sind, unter Verwendung von zweiten digitalen Bilddaten, die von einem mit den ersten Bilddaten gemeinsamen Erfassungsbereich durch Fernerkundung gewonnen werden oder gewonnen wurden und die im Vergleich zu den ersten Bilddaten örtlich feiner aufgelöste Bilddaten zumindest eines zweiten Messkanals (13) sind, verarbeitet werden, wobei a) die örtliche Auflösung der ersten digitalen Bilddaten zumindest für einen Teilbereich des gemeinsamen Erfassungsbereichs vorläufig, ohne Verwendung von Bildwerten der zweiten digitalen Bilddaten derart verfeinert wird (21), dass die örtliche Auflösung der vorläufig verfeinerten ersten Bilddaten der örtlichen Auflösung der zweiten digitalen Bilddaten entspricht und dass jedem Pixel der zweiten digitalen Bilddaten ein Pixel der vorläufig verfeinerten ersten digitalen Bilddaten entspricht, b) für eine Vielzahl von Pixeln der zweiten digitalen Bilddaten in dem Teilbereich des gemeinsamen Erfassungsbereichs, jeweils ein Gewichtswert für das Pixel ermittelt wird (23), der einem Gewicht eines Bildwertes des Pixels im Verhältnis des Bildwertes des Pixels zu Bildwerten von Umgebungs-Pixeln in einer örtlichen Umgebung des Pixels entspricht, c) abhängig davon, wie groß der Unterschied des Bildwerts des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel ist, vor oder bei der Ermittlung des Gewichtswertes eine Glättung des örtlichen Verlaufs der Bildwerte im Bereich des Pixels und seiner Umgebung durchgeführt wird, sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert und bei kleineren Werten des Unterschieds nicht, oder sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer stärkeren Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert als bei kleineren Werten des Unterschieds, d) jedes Pixel der vorläufig verfeinerten ersten digitalen Bilddaten, das einem Pixel der Vielzahl von Pixeln der zweiten digitalen Bilddaten entspricht, mit dem Gewichtswert des entsprechenden Pixels der zweiten digitalen Bilddaten gewichtet wird und auf diese Weise verfeinerte erste Bilddaten erhalten werden, die unter Verwendung von Informationen über die feiner aufgelösten zweiten digitalen Bilddaten erhalten wurden.
  2. Verfahren nach dem vorhergehenden Anspruch, wobei der Gewichtswert genau dann auf Basis einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung ermittelt wird, wenn der Unterschied des Bildwerts des Pixels der zweiten Bilddaten zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel größer/gleich oder größer als ein vorgegebener Grenzwert ist.
  3. Verfahren nach Anspruch 1 oder 2, wobei bei der Ermittlung des Gewichtswerts für jedes Pixel der vorläufig verfeinerten ersten Bilddaten ein Mittelwert der Bildwerte des entsprechenden Pixels der zweiten Bilddaten und dessen Umgebungs-Pixel in der örtlichen Umgebung des Pixels ermittelt wird.
  4. Verfahren nach Anspruch 3, wobei der Mittelwert der Bildwerte in einem örtlichen Bereich der zweiten Bilddaten ermittelt wird, der dem örtlichen Bereich des entsprechenden, noch nicht verfeinerten Pixels der ersten Bilddaten entspricht, wenn der Unterschied des Bildwerts des Pixels der zweiten Bilddaten zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel kleiner oder kleiner/gleich als ein vorgegebener Grenzwert ist.
  5. Verfahren nach Anspruch 3 oder 4, wobei der Mittelwert der Bildwerte in einem örtlichen Bereich der zweiten Bilddaten ermittelt wird, der größer als der örtliche Bereich des entsprechenden, noch nicht verfeinerten Pixels der ersten Bilddaten ist und der den örtlichen Bereich des entsprechenden Pixels der ersten Bilddaten enthält, wenn der Unterschied des Bildwerts des Pixels der zweiten Bilddaten zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel größer/gleich oder größer als ein vorgegebener Grenzwert ist.
  6. Verfahren nach einem der Ansprüche 1 bis 6, wobei der Gewichtswert für zumindest einen Teil der Pixel durch Bildung des Quotienten des Bildwertes des Pixels und eines Mittelwertes des Bildwertes des Pixels und der Bildwerte der Umgebungs-Pixel in der örtlichen Umgebung des Pixels ermittelt wird.
  7. Vorrichtung zum Verarbeiten von Fernerkundungsdaten, wobei die Vorrichtung ausgestaltet ist, durch eine Fernerkundung gewonnene erste digitale Bilddaten zumindest eines ersten Messkanals (11, 12) unter Verwendung von zweiten digitalen Bilddaten, die von einem mit den ersten Bilddaten gemeinsamen Erfassungsbereich durch Fernerkundung gewonnen werden oder gewonnen wurden und die im Vergleich zu den ersten Bilddaten örtlich feiner aufgelöste Bilddaten zumindest eines zweiten Messkanals (13) sind, zu verarbeiten und wobei die Vorrichtung das Folgende aufweist: – eine Verarbeitungseinrichtung (21), die ausgestaltet ist, die örtliche Auflösung der ersten digitalen Bilddaten zumindest für einen Teilbereich des gemeinsamen Erfassungsbereichs vorläufig, unter Verwendung von Bildwerten der ersten digitalen Bilddaten, nicht aber der zweiten digitalen Bilddaten derart zu verfeinern, dass die örtliche Auflösung der vorläufig verfeinerten ersten Bilddaten der örtlichen Auflösung der zweiten digitalen Bilddaten entspricht und dass jedem Pixel der zweiten digitalen Bilddaten ein Pixel der vorläufig verfeinerten ersten digitalen Bilddaten entspricht, – eine Gewichtswert-Bildungseinrichtung (23), die ausgestaltet ist, für eine Vielzahl von Pixeln der zweiten digitalen Bilddaten in dem Teilbereich des gemeinsamen Erfassungsbereichs, jeweils einen Gewichtswert für das Pixel zu ermitteln, der einem Gewicht eines Bildwertes des Pixels im Verhältnis des Bildwertes des Pixels zu Bildwerten von Umgebungs-Pixeln in einer örtlichen Umgebung des Pixels entspricht, wobei die Gewichtswert-Bildungseinrichtung (23) abhängig davon, wie groß der Unterschied des Bildwerts des Pixels zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel ist, vor oder bei der Ermittlung des Gewichtswertes eine Glättung des örtlichen Verlaufs der Bildwerte im Bereich des Pixels und seiner Umgebung durchführt, sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert und bei kleineren Werten des Unterschieds nicht, oder sodass der Gewichtswert bei größeren Werten des Unterschieds auf einer stärkeren Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung basiert als bei kleineren Werten des Unterschieds, – eine Gewichtungseinrichtung (25), die ausgestaltet ist, jedes Pixel der vorläufig verfeinerten ersten digitalen Bilddaten, das einem Pixel der Vielzahl von Pixeln der zweiten digitalen Bilddaten entspricht, mit dem Gewichtswert des entsprechenden Pixels der zweiten digitalen Bilddaten zu gewichten und auf diese Weise unter Verwendung von Informationen über die feiner aufgelösten zweiten digitalen Bilddaten verfeinerte erste Bilddaten zu bilden.
  8. Vorrichtung nach Anspruch 7, wobei die Gewichtswert-Bildungseinrichtung (23) ausgestaltet ist, den Gewichtswert genau dann auf Basis einer zusätzlichen Glättung von Bildwerten im Bereich des Pixels und seiner Umgebung zu ermitteln, wenn der Unterschied des Bildwerts des Pixels der zweiten Bilddaten zu den Bildwerten der Umgebungs-Pixel und/oder zu dem oder den Bildwerten eines Teils der Umgebungs-Pixel größer/gleich oder größer als ein vorgegebener Grenzwert ist.
  9. Computerprogramm zum Verarbeiten von Fernerkundungsdaten, das ausgestaltet ist, das Verfahren gemäß einem der Ansprüche 1 bis 6 auszuführen.
  10. Computersystem, auf dem eine Datenstruktur gespeichert ist, die nach einem Laden in einen Arbeits- und/oder Hauptspeicher eines Computers oder Computer-Netzwerkes des Computersystems das Computerprogramm nach Anspruch 9 ausführt.
DE102012221667.7A 2012-11-27 2012-11-27 Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten Ceased DE102012221667A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102012221667.7A DE102012221667A1 (de) 2012-11-27 2012-11-27 Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
US14/092,162 US9224192B2 (en) 2012-11-27 2013-11-27 Device and method for the processing of remote sensing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012221667.7A DE102012221667A1 (de) 2012-11-27 2012-11-27 Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten

Publications (1)

Publication Number Publication Date
DE102012221667A1 true DE102012221667A1 (de) 2014-05-28

Family

ID=50679055

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012221667.7A Ceased DE102012221667A1 (de) 2012-11-27 2012-11-27 Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten

Country Status (2)

Country Link
US (1) US9224192B2 (de)
DE (1) DE102012221667A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934788A (zh) * 2019-03-22 2019-06-25 鲁东大学 一种基于标准遥感图像的遥感图像缺失数据修复方法
CN112288666A (zh) * 2020-10-28 2021-01-29 维沃移动通信有限公司 图像处理方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9944414B2 (en) * 2014-06-30 2018-04-17 Echostar Satellite Services Llc Satellite telemetry, tracking and control data tracking and archiving system
FR3043823B1 (fr) * 2015-11-12 2017-12-22 Sagem Defense Securite Procede de decamouflage d'un objet
WO2017183186A1 (ja) * 2016-04-22 2017-10-26 三菱電機株式会社 レーダ信号処理装置及びレーダ信号処理方法
US20180307729A1 (en) * 2017-04-24 2018-10-25 Here Global B.V. Method and apparatus for detecting a quality weather provider, weather station, or weather report
CN107742280A (zh) * 2017-11-02 2018-02-27 浙江大华技术股份有限公司 一种图像锐化方法及装置
DE102018207265A1 (de) * 2018-05-09 2019-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Korrelation thermischer satellitenbilddaten zur generierung räumlich hochaufgelöster wärmekarten
CN110246108B (zh) * 2018-11-21 2023-06-20 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质
CN112465714B (zh) * 2020-11-24 2024-05-07 航天科工(北京)空间信息应用股份有限公司 多时相遥感影像处理方法和装置及设备
CN113283412B (zh) * 2021-07-26 2021-09-21 广州乐盈信息科技股份有限公司 一种光学卫星遥感影像在轨实时流式处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1626256A1 (de) 2004-08-11 2006-02-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfeinerung der örtlichen Auflösung multispektraler Fernerkundungsdaten

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
US8078009B2 (en) * 2008-07-08 2011-12-13 Harris Corporation Optical flow registration of panchromatic/multi-spectral image pairs
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US9020256B2 (en) * 2011-04-22 2015-04-28 Exelis Inc. System and method for combining color information with spatial information in multispectral images
US8693771B2 (en) * 2011-11-18 2014-04-08 Mitsubishi Electric Research Laboratories, Inc. Method for pan-sharpening panchromatic and multispectral images using dictionaries

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1626256A1 (de) 2004-08-11 2006-02-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfeinerung der örtlichen Auflösung multispektraler Fernerkundungsdaten

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
J. G. Liu "Smoothing Filter-based Intensity Modulation: a spectral preserve image fusion technique for improving spatial details", veröffentlicht in Int. J. Remote Sensing, 2000, vol. 21, no. 18, Seiten 3461-3472
LIM, J. S.: Image Enhancement. In: EKSTROM: Digital Image Processing Techniques. Academic Press, 1984, Seite 33-41.
LIM, J. S.: Image Enhancement. In: EKSTROM: Digital Image Processing Techniques. Academic Press, 1984, Seite 33-41. *
LIU, J. G.: Smoothing Filter-based Intensity Modulation: a spectral preserve image fusion technique for improving spatial details. Int. J. Remote Sensing, 2000, vol. 21, no. 18, Seiten 3461-3472. *
LIU, J. G.: Smoothing Filter-based Intensity Modulation: a spectral preserve image fusion technique for improving spatial details. Int. J. Remote Sensing, 2000, vol. 21, no. 18, Seiten 3461–3472.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934788A (zh) * 2019-03-22 2019-06-25 鲁东大学 一种基于标准遥感图像的遥感图像缺失数据修复方法
CN112288666A (zh) * 2020-10-28 2021-01-29 维沃移动通信有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
US9224192B2 (en) 2015-12-29
US20140146996A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
DE102012221667A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
DE112019002547B4 (de) System und verfahren zum bestimmen eines standortes zur platzierung eines pakets
DE602005004694T2 (de) Verfahren und Vorrichtung für lokal adaptive Bildverarbeitungsfilter
EP1637838B1 (de) Verarbeitung von Fernerkundungsdaten
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE10354752B4 (de) Verfahren und Vorrichtung zur automatischen Entzerrung von einkanaligen oder mehrkanaligen Bildern
DE112016001040T5 (de) Verfahren und System zur Echtzeit-Rauschbeseitung und -Bildverbesserung von Bildern mit hohem Dynamikumfang
DE102008062121A1 (de) Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen
DE102018113992A1 (de) Verfahren und Gerät zum Erfassen einer Fahrspur
DE112017007695T5 (de) Facettenaugen-bildaufnahmevorrichtung, bildverarbeitungsverfahren, programm und aufzeichnungsmedium
DE102013000301A1 (de) Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter
DE102020118241A1 (de) Videotiefenschätzung auf der grundlage der temporalen aufmerksamkeit
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
WO2014108130A1 (de) Verfahren zur bestimmung von tiefenkarten aus stereobildern mit verbesserter tiefenauflösung in einem bereich
DE112021000243T5 (de) Bestimmung von kulturpflanzentyp und/oder aussaattermin
DE202013012443U1 (de) Zusammenführung dreidimensionaler Modelle auf Basis des Konfidenzmaßes
CN110018529A (zh) 降雨测量方法、装置、计算机设备和存储介质
DE69814482T2 (de) Verfahren und Vorrichtung zur Darstellung von Oberflächen aus volumetrischen Daten
DE102015120967A1 (de) Verfahren und Vorrichtung zur Bildkorrektur
DE102022119259A1 (de) Weissabgleich und Farbkorrektur für Fahrzeuginnenkamera
EP3635677A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE102019133515B3 (de) Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems
DE60206927T2 (de) Verfahren zur verarbeitung von numerischen bildern, insbesondere satellitenbildern
DE102004024595B3 (de) Verfahren und Vorrichtung zum Feststellen einer Nutzbarkeit von Fernerkundungsdaten
DE102016104043A1 (de) Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01C0011060000

Ipc: G06T0005500000

R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final