DE102008038527A1 - Verfahren zur Auswertung von Bildern mit einer Multispektralkamera oder einem SAR-Radar sowie Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes - Google Patents

Verfahren zur Auswertung von Bildern mit einer Multispektralkamera oder einem SAR-Radar sowie Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes Download PDF

Info

Publication number
DE102008038527A1
DE102008038527A1 DE102008038527A DE102008038527A DE102008038527A1 DE 102008038527 A1 DE102008038527 A1 DE 102008038527A1 DE 102008038527 A DE102008038527 A DE 102008038527A DE 102008038527 A DE102008038527 A DE 102008038527A DE 102008038527 A1 DE102008038527 A1 DE 102008038527A1
Authority
DE
Germany
Prior art keywords
target
image
images
elements
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008038527A
Other languages
English (en)
Inventor
Hans Pongratz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
EADS Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Deutschland GmbH filed Critical EADS Deutschland GmbH
Priority to DE102008038527A priority Critical patent/DE102008038527A1/de
Publication of DE102008038527A1 publication Critical patent/DE102008038527A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/295Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • G01S13/9027Pattern recognition for feature extraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • G01S7/412Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30212Military

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Auswertung von Zielelementen in Bildern einer Multispektralkamera oder eines SAR Gerätes sowie ein Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes.

Description

  • Die Erfindung betrifft ein Verfahren zur Auswertung von Zielelementen in Bildern einer Multispektralkamera oder eines SAR Gerätes nach Anspruch 1 und ein Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes.
  • Im Bereich der militärischen Aufklärung beispielsweise werden mittels Sensoren Szenarien insbesondere in einem Gelände erfasst werden, die nach dem Vorhandensein von Einrichtungen, Fahrzeugen, Infrastruktur-Merkmalen und dergleichen untersucht werden sollen. Hierzu werden mittels Überwachungskameras oder SAR eine große Anzahl von Bilder zur Verfügung gestellt, welche unter vorbestimmten Zeitbedingungen zu bewerten sind. Die zu erkennenden Objekte haben beliebig Abmessungen und können eine diese charakterisierende Struktur mit einer mehr oder weniger großen Komplexität aufweisen.
  • Mit bekannten Systemen ist eine Boden-Aufklärung und -Entdeckung und anhaltende Boden-Überwachung großer Areale (z. B. 100 km bis 1000 km Grenzgebiet mit einigen Kilometern Tiefe) aus der Luft von Personen-, Tragtier-, und Fahrzeug-Zielobjekten möglich. Hierzu werden üblicherweise Multispektral-Stereo-Kameras und SAR Geräte verwendet, welche an den Fluggeräten montiert die Daten im Flug aufzeichnen. Die Daten werden nach dem Flug am Boden ausgewertet, was im allgemeinen Stunden bis Tage dauert, bis die Aufklärungs- und Entdeckungsergebnisse vorliegen. Eine Sofortüberwachung ist damit nicht möglich. Andererseits werden Videokameras, teilweise auch mit Entdeckungshilfen ausgestattet, zur permanenten Überwachung kleinerer Areale aus der Luft eingesetzt, wobei die Zielsuche und Lagebeurteilung dem Beobachter überlassen bleibt, und die Daten einfach für spätere Nachbearbeitung aufgezeichnet werden. Zur Überwachung großer Areale ist dieses Verfahren nicht geeignet wegen des extrem hohen Geräte- und Personal-Aufwandes dafür.
  • Aus DE 10 2005 009 626 A1 ist eine Kamera zum Verfolgen von Objekten bekannt. Bei dieser Kamera werden Zielobjekte durch Vergleich des aufgenommenen Bildes mit einer Datenbank identifiziert. Ein ähnliches Verfahren zur Zielerkennung ist aus DE 199 55 919 C1 bekannt. Diese Verfahren haben den Nachteil, dass die Erkennung von Zielen lange Auswertungszeiten erfordert.
  • Vergleichbare Verfahren zur Erkennung stationärer Bodenziele durch Vergleich des aufgenommenen Bildes mit einer Datenbank sind für SAR Geräte bekannt.
  • Für den Fall der Multispektralkamera ist aus DE 10 2006 060 612 eine Multispektralkamera, oder auch eine Stereo-Multispektralkamera mit einer Multispektralbildauswertung bekannt, welche in der Lage ist, beim Überflug über ein großes Areal in Echtzeit ganze Zielobjekte, oder charakteristische Teilelemente von Zielobjekten, auch bei geringem Kontrast zum Hintergrund, zu entdecken und zu klassifizieren. Weiterhin ist ein Verfahren zum Betreiben einer solchen Kamera angegeben.
  • Eine Multispektralkamera ist zur Überwachung von Zielobjekten mit einer digitalen Bildsensoreinheit zur Aufnahme von Bildern und zur Erzeugung von digitalen Multispektralbilddaten und einer Verarbeitungseinheit zum Verarbeiten der von der Bildsensoreinheit an die Verarbeitungseinheit übergebenen Multispektralbilddaten vorgesehen, bei der die Verarbeitungseinheit eine Berechnungseinheit zur Berechnung eines Farbhistogramms im HSV-Farbraum für jeden Bildpixel eines digitalen Bildes, und einen Klassifikator zur Erkennung des Grenzüberganges an Hand der Farbe der Objektkante und an Hand des Profils des Farbüberganges relativ zum Eintrittspunkt in das Zielobjektes, aufweist, und damit zwischen Zielobjekten, oder charakteristische Teilelemente von Zielobjekten, und dem Zielobjekthintergrund unterscheidet.
  • Die Bildverarbeitungseinheit erstellt nun ein Zielobjekt-Verzeichnis zu jedem Bild mit Angabe der Position, der Signatur, des Typs, und des Farbmusters der gesuchten und gefundenen und klassifizierten Zielobjektelemente.
  • Damit erfolgt die Verarbeitung der Bilddaten direkt in der Kamera, so dass nicht der gesamte Datenstrom in voller Auflösung an eine externe Verarbeitungseinheit, z. B. eine Bodenstation übermittelt werden muss. Es werden lediglich die detektierten und klassifizierten Zielobjekte, oder Zielobjektelemente, an die Bodenstation übermittelt.
  • Bei einer Multispektralkamera werden eine Normierung und Optimierung der Helligkeitswerte und der Farbkontrastwerte der einzelnen Bildpunkte jedes Bildes vorgenommen, wobei ein bei optimalen Bedingungen vorher aufgenommenes Referenzbild des abgebildeten Areals als Bezugswert verwendet wird, auf den die kennzeichnenden Bildstatistikwerte der einzelnen Farbkanäle des neu aufgenommenen Bildes an das Referenzbild angepasst werden.
  • Weiterhin werden bei der Multispektralkamera und bei einem SAR Gerät, in Zielgebieten, die keine Ziele in enger Nachbarschaft (Abstand kleiner als Objektgröße) aufweisen, eine Korrektur des Navigationsfehlers zwischen alter und neuer Aufnahme vorgenommen, indem für klar erkennbare unveränderliche Referenzziele, die für jede Bildgruppe am Boden als Missionsvorbereitung vermessen werden, in altem und neuem Bild die Objektmitte bestimmt wird. Wenn diese Werte für einige Ziele berechnet werden und der Mittelwert der Bildverschiebung über jeweils einige Objekte gebildet wird, kann die Bildverlagerung bis auf ein Pixel genau berechnet werden, und damit altes und neues Bild auf deckungsgleiche geodätische Lage korrigiert werden.
  • Ein Nachteil dieses Verfahrens mit der Multispektralkamera ist, dass die Klassifizierung verhältnismäßig grob ist, und dadurch eine große Zahl an uninteressanten Zielen oder Falschzielen gemeldet werden, die die Kapazität der nach geschalteten Bearbeitungsstufen übersteigt und damit das Überwachungssystem durch Überlastung lahm legt.
  • Im Falle des SAR Gerätes werden beim Überflug über ein großes Areal in Echtzeit SAR Bilder in hoher Auflösung (0.5 bis 1 m) aufgezeichnet. Dazu sind automatische Zielerkennungsverfahren bekannt, die in Gebieten mit wenigen Falschzielen und geringen Bodenstörechos ganze Zielobjekte, oder charakteristische Teilelemente von Zielobjekten, aus den Bildern detektieren und klassifizieren können.
  • Die Bildverarbeitungseinheit des SAR-Geräts erstellt nun ein Zielobjekt-Verzeichnis zu jedem Bild mit Angabe der Position, des Intensitätsprofils, gekennzeichnet durch den Verlauf, den Mittelwert, und die Standardabweichung der Intensität längs des Schnittes durch das Zielobjekt, und des Radarrückstrahlquerschnittes des gesuchten und gefundenen und klassifizierten einzelnen Zielobjektelementes, das jedes für sich ein Radar reflektierendes Echoelement des realen Gesamtzielobjektechos darstellt. Bezüglich der Echoelemente ist anzumerken, dass diese immer innerhalb der realen Objektumrisse liegen müssen, sie sich aber in der Echostärke und der Lage innerhalb des Umrisses abhängig von der Betrachtungsrichtung sehr stark, um Größenordnungen, verändern können. Die Gesamtsumme der Echostärke des Gesamtobjektes ändert sich aber wesentlich weniger und ist bei Wiederholungsmessungen aus ungefähr derselben Richtung weitgehend konstant und vorhersagbar.
  • Ein Nachteil dieses SAR-gestützten Verfahrens ist, dass die Klassifizierung verhältnismäßig grob ist, und dadurch eine große Zahl an uninteressanten Zielen oder Falschzielen gemeldet werden, die die Kapazität der nach geschalteten Bearbeitungsstufen übersteigt und damit das Überwachungssystem durch Überlastung Zahm legt.
  • Zusammengefasst ist also der Nachteil der genannten Einrichtungen, dass bei der Befliegung großer Areale noch eine unvorhersehbar große Anzahl an Falschzielen oder Falschzielelementen gefunden werden kann, die den Verkehr zur Bodenstation und den Betrieb in der Luft stark belasten, oder überlasten können, was den bestimmungsgemäßen Betrieb der Überwachungseinrichtung in der Luft und am Boden durch Überlastung in Frage stellen kann.
  • Aufgabe der Erfindung ist es, ein Verfahren anzugeben, das die Nachteile des Stands der Technik beseitigt.
  • Diese Aufgabe wird mit den Merkmalen der Ansprüche 1 und 5 gelöst. Vorteilhafte Ausführungen sind Gegenstand von Unteransprüchen.
  • Gemäß der Erfindung werden zur Auswertung von Zielelementen in Bildern einer Multispektralkamera oder eines SAR Gerätes folgende Verfahrensschritte durchgeführt:
    • – aus mehreren Zielelementen werden Cluster gebildet, dadurch, dass zu jedem Zielelement eine Liste aller kompatiblen Nachbarzielelemente angegeben wird, Zielobjekthypothesen werden gebildet dadurch, dass Zielelemente, die dieselben Nachbarelemente in einer Liste aufweisen, jeweils in einer Zielobjekthypothese zusammengefasst werden und
    • – ”neue”, ”verschwundene” und ”wieder gefundene” Zielobjekten werden dadurch ermittelt, dass zeitlich von einander versetzt aufgenommener Bildern miteinander verglichen werden, derart dass von der Position eines Zielelements in einem ersten Bild eine Liste der kompatiblen Zielelemente im vorgebbaren Umkreis im zweiten Bild erstellt wird und überprüft wird, ob aus den Listen eine kompatible Zielobjekthypothese im zweiten Bild zu der bestehenden Ausgangszielobjekthypothese des untersuchten Zielelements im ersten Bild erstellt werden kann, wobei ein Zielobjekt als ”neu”, ”verschwunden” und ”wieder gefunden” eingestuft wird, wenn die Überprüfung fehlschlägt.
  • Gemäß einem anderen Aspekt der Erfindung werden zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes folgende Verfahrensschritte durchgeführt:
    • – bei den Bildern der Stereo-Multispektralkamera wird eine Normierung und Optimierung der Helligkeitswerte und der Farbkontrastwerte der einzelnen Bildpunkte jedes Bildes vorgenommen, wobei ein bei optimalen Bedingungen vorher aufgenommenes Referenzbild des abgebildeten Areals als Bezugswert verwendet wird und auf die kennzeichnenden Bildstatistikwerte der einzelnen Farbkanäle des Referenzbildes angepasst wird und
    • – bei den Bildern der Stereo-Multispektralkamera und des SAR Gerätes wird eine Korrektur des Navigationsfehlers zwischen zeitlich versetzten Aufnahmen vorgenommen, indem für unveränderliche Referenzziele, die für jede Bildgruppe am Boden als Missionsvorbereitung zuvor vermessen werden, in den zeitlich versetzten Bildern jeweils die Objektmitte bestimmt wird und über vorgebbare Objekte der Mittelwert der Bildverschiebung berechnet wird, wodurch die zeitlich versetzen Aufnahmen auf deckungsgleiche geodätische Lage korrigiert werden,
    • – für alle Zielelemente des einen Stereobildes wird das je nach Höhe des Zieles über Grund um den Betrachtungswinkel perspektivisch verschobene Dach des Zielelementes in dem zweiten Stereobild des Stereobildpaares gesucht und die perspektivische Verschiebung im Bild gemessen und anschließend aus der Verschiebung mit dem Stereobetrachtungswinkel zwischen den beiden Bildern die Höhe des Zielelementdaches über Grund berechnet,
    • – aus der zuvor ermittelten Höhe des Zielelementes und der Breite des Zielelementes und dem vermuteten Material erfolgt eine Abschätzung eines Radarrückstrahlquerschnitt für das Zielelement, welcher in ein Radarzielverzeichnis für das Referenz-Multispektralbild zusammen mit der Position und der Multispektralzielklasse des Zielelementes eingetragen wird zur Erzeugung eines geschätzten Referenz-Radarbildes, aus welchem mit benachbarten, miteinander kompatiblen Zielelementen Zielobjekthypothesen gebildet werden,
    • – durch Vergleichen der geschätzten Referenz-Radarbilder und der SAR-Bilder werden Ziele gesucht, wobei Ziele als neu eingestuft werden, wenn sie ausschließlich im SAR-Bild gefunden werden und
    • – als neu eingestufte Ziele werden ausgegeben.
  • Dadurch wird das der Erfindung zugrunde liegende Problem der Systemüberlastung durch eine große Zahl von Zielelementen, die bei zeitlich aufeinander folgenden Bildaufnahmen bei nur geringfügig abweichender Aufnahmeposition verschieden aussehen können, und damit nicht mehr genau genug klassifizierbar sind, um eine große Zahl von Falschalarme zu vermeiden, gelöst.
  • Gemäß dem erfindungsgemäßen Verfahren werden Zielobjekthypothesen gebildet, wobei aus mehreren miteinander kompatiblen Zielelementen Cluster bildet werden, die dann als Zielobjekthypothesen in nachfolgenden Verfahrensschritten verwendet werden.
  • Dadurch wird die Zahl der Falschalarme verringert. Es ist möglich, dass nicht mehr jedes mögliche erkannte Ziel angezeigt wird, sondern z. B. nur neue Ziele, die in zeitlich vorangegangenen Bildern nicht enthalten waren und somit einen „Neues Ziel gefunden” Alarm auslösen.
  • Diese Alarm auslösenden Ziele werden von stabilen Zielobjekthypothesen generiert. Stabile Zeitobjekthypothesen bedeutet dabei, dass die Zielobjekthypothesen unabhängig von der Beobachtungsrichtung sind und aus den Zielelementen, die mit einem gesuchten Objekttyp kompatibel sind und die in einem vorgebbaren Umkreis um das Ausgangszielelement liegen, wobei der Umkreis mit der Umrissgröße des Zielelements kompatibel ist, ein Cluster als Zielobjekthypothese gebildet wird. Dieses Cluster ist bei Zielobjekten in zeitlich aufeinander folgenden Bildern vorhanden und zwar an derselben Stelle mit denselben Eigenschaften. Dabei kann die Umrissgröße erhalten bleiben. Bei Multispektralbildern kann die Farbe erhalten bleiben. Bei SAR Bildern kann die Gesamtsumme des Radarrückstrahlquerschnittes erhalten bleiben.
  • Zweckmäßig wird die Klassifikation der Objekthypothesen dadurch verbessert, dass die Zusammensetzung der Cluster nach den vorkommenden Zielelementen nachklassifiziert und damit genauer klassifiziert wird.
  • „Neu” aufgetauchte Ziele können folgendermaßen gesucht werden: In einem ersten Schritt kann gegebenenfalls die Position eines Zielelements um den Navigationsfehler zwischen altem und neuem Bild korrigiert werden. In einem zweiten Schritt wird von der Position des Ausgangszielelementes im neuen Bild eine Liste der kompatiblen Zielelemente im Objektumkreis im alten Bild, also im zeitlich vorangehenden Bild, erstellt wird und versucht aus den Einzellisten eine kompatible Objekthypothese im alten Bild zu der bestehenden Ausgangsobjekthypothese im neuen Bild zu erstellen. Wenn dies nicht gelingt, gilt die Ausgangshypothese als „Neues Objekt” bestätigt.
  • „Verschwundene” Ziele können folgendermaßen gesucht werden: In einem ersten Schritt kann gegebenenfalls die Position eines Zielelements um den Navigationsfehler zwischen altem und neuem Bild korrigiert werden. In einem zweiten Schritt wird von der Position des Ausgangszielelementes in einem zeitlich vorangehenden Bild (= alten Bild) eine Liste der kompatiblen Zielelemente im Objektumkreis im neuen Bild, also im zeitlich nachfolgenden Bild, erstellt wird und versucht aus den Einzellisten eine kompatible Objekthypothese im neuen Bild zu der bestehenden Ausgangsobjekthypothese im neuen Bild zu erstellen. Wenn dies nicht gelingt, gilt die Ausgangshypothese als „Verschwundenes Objekt” bestätigt.
  • „Wieder gefunden im neuen Bild” Ziele können folgendermaßen gesucht werden: In einem ersten Schritt kann gegebenenfalls die Position eines Zielelements um den Navigationsfehler zwischen altem und neuem Bild korrigiert werden. In einem zweiten Schritt wird von der Position des Ausgangszielelementes im neuen Bild eine Liste der kompatiblen Zielelemente im Objektumkreis im alten Bild, also im zeitlich vorangehenden Bild, erstellt wird und versucht aus den Einzellisten eine kompatible Objekthypothese im alten Bild zu der bestehenden Ausgangsobjekthypothese im neuen Bild zu erstellen. Wenn dies nicht gelingt, gilt die Ausgangshypothese als „Wieder gefunden im neuen Bild Objekt” bestätigt.
  • „Wieder gefunden im alten Bild” Ziele können folgendermaßen gesucht werden: In einem ersten Schritt kann gegebenenfalls die Position eines Zielelements um den Navigationsfehler zwischen altem und neuem Bild korrigiert werden. In einem zweiten Schritt wird von der Position des Ausgangszielelementes in einem zeitlich vorangehenden Bild (= alten Bild) eine Liste der kompatiblen Zielelemente im Objektumkreis im neuen Bild, also im zeitlich nachfolgenden Bild, erstellt wird und versucht aus den Einzellisten eine kompatible Objekthypothese im neuen Bild zu der bestehenden Ausgangsobjekthypothese im neuen Bild zu erstellen. Wenn dies nicht gelingt, gilt die Ausgangshypothese als „Wieder gefunden im alten Bild Objekt” bestätigt.
  • Die Objekttypen „Neu”, „Verschwunden” und ”Wiedergefunden” können dem Bedienpersonal mit dem zugrundeliegenden Bild als Hintergrund als Bearbeitungsergebnis präsentiert.
  • Ein Vorteil der Erfindung ist, dass damit eine Überlastung des Systems durch Falschziele oder irrelevante Ziele, die schon früher geortet wurden, wirksam verhindert wird, und so der menschliche Luftbildauswerter an dem Überwachungssystem nur bei neu gefundenen, interessierenden Zielen alarmiert und informiert wird. Dadurch wird eine effiziente Überwachung großer Gebiete durch eine kleine Anzahl von Überwachungseinheiten ermöglicht.
  • Ein weiterer Vorteil der Erfindung ist, dass die Anforderungen an das Aufsuchen und Klassifizieren von Zielen viel geringer sein können, also eine große Anzahl von Falschzielen in der ersten Bearbeitungsstufe vor der Change Detection die Systemfunktion nicht beeinträchtigt, da die schon früher vorhandenen (vorheriger Überflug) Falschziele wieder erkannt und ausgeschieden werden können und durch die sichere Erkennung von neu aufgetauchten Zielen nur noch gewollte Alarme ausgelöst werden, und dadurch eine Systemüberlastung nicht mehr auftritt.
  • Mit den Merkmalen des unabhängigen Anspruchs 5 ist es möglich, z. B. im Nacht- und Altwetter-Betrieb durch eine Bildobjekt-Fusion von alten (= zeitlich vorangehende) Multispektralaufnahmen (die bei guter Sicht aufgenommen wurden), die die neu hinzugekommenen Zielobjekte noch nicht enthalten, mit neu aufgenommenen SAR-Bildern, die auch die neuen Zielobjekte enthalten, Zielobjekte zu entdecken.
  • Dazu werden die Ziele in den alten Multispektralaufnahmen in eine inhaltliche Form gebracht, die mit den Zielen aus den SAR-Aufnahmen kompatibel sind, das heißt die Multispektralziele erhalten statt einer Farbangabe einen Radarrückstrahlquerschnittswert. Dieser Radarrückstrahlquerschnitt wird dadurch berechnet, dass durch eine Stereovermessung des Stereo-Multispektral-Bildpaares für jedes Zielelement die Höhe und seine Breite in Richtung der Radar-Beobachtungsrichtung berechnet wird, woraus mit dem Radar-Reflektionskoeffizient der Zielelementoberfläche und dem aus der Zielklasse ableitbaren Antennen-Richtfaktor des Zielelementes eine Abschätzung des Radarrückstrahlquerschnittes des Zielelementes berechnet wird.
  • Damit wird ein kombinierten Einsatz einer Stereo-Multispektral-Kamera zur Aufnahme hochauflösender (typisch 0,1 bis 0.2 m Auflösung) Stereo-Referenzaufnahmen des Zielgebietes bei Tag, mit einem weniger hoch auflösenden (typisch 0.5 bis 1 m) SAR Gerät zum Aufnehmen der eigentlichen Überwachungsaufnahmen bei Nacht und schlechter Sicht, ermöglicht. Aus einer anschließenden fusionierten Auswertung der Multispektralbilder mit den SAR-Bildern können mehr und genauere Informationen über vorhandene Ziele gewonnen, als dies mit einer Auswertung der SAR-Bilder alleine möglich wäre.
  • Die fusionierte Bildauswertung erfolgt dabei gemäß folgender Schritte:
    • – bei den Bildern der Stereo-Multispektralkamera wird eine Normierung und Optimierung der Helligkeitswerte und der Farbkontrastwerte der einzelnen Bildpunkte jedes Bildes vorgenommen, wobei ein bei optimalen Bedingungen vorher aufgenommenes Referenzbild des abgebildeten Areals als Bezugswert verwendet wird und auf die kennzeichnenden Bildstatistikwerte der einzelnen Farbkanäle des Referenzbildes angepasst wird und es wird eine Korrektur des Navigationsfehlers zwischen zeitlich versetzten Aufnahmen vorgenommen wird, indem für unveränderliche Referenzziele, die für jede Bildgruppe am Boden als Missionsvorbereitung zuvor vermessen werden, in den zeitlich versetzten Bildern jeweils die Objektmitte bestimmt wird und über vorgebbare Objekte der Mittelwert der Bildverschiebung berechnet wird, wodurch die zeitlich versetzen Aufnahmen auf deckungsgleiche geodätische Lage korrigiert werden,
    • – für alle Zielelemente des einen Stereobildes wird das je nach Höhe des Zieles über Grund um den Betrachtungswinkel perspektivisch verschobene Dach des Zielelementes in dem zweiten Stereobild des Stereobildpaares gesucht und die perspektivische Verschiebung im Bild gemessen und anschließend aus der Verschiebung mit dem Stereobetrachtungswinkel zwischen den beiden Bildern die Höhe des Zielelementdaches über Grund berechnet,
    • – aus der zuvor ermittelten Höhe des Zielelementes und der Breite des Zielelementes und dem vermuteten Material (z. B. Metall, Stein, Holz) erfolgt für das Zielelement eine Abschätzung eines Radarrückstrahlquerschnitts, den ein SAR-Gerät für das Zielelement messen könnte, wenn es ungefähr senkrecht auf die Seitenfläche des Zielelementes blickt, wobei der abgeschätzte Radarrückstrahlquerschnitt in ein Radarzielverzeichnis für das Referenz-Multispektralbild zusammen mit der Position und der Multispektralzielklasse des Zielelementes eingetragen wird zur Erzeugung eines geschätzten Referenz-Radarbildes, aus welchem mit benachbarten, miteinander kompatiblen Zielelementen Zielobjekthypothesen gebildet werden
    • – Werden die SAR-Bilder des Zielgebietes unter dem oben genannten Betrachtungswinkel aufgenommen, dann können für diese aus den Referenz-Stereo-Multispektral-Bildern abgeschätzten „Referenz-Radarbildern” aus benachbarten, miteinander kompatiblen Zielelementen Zielobjekthypothesen (Cluster aus kompatiblen Zielelementen) gebildet werden für „Referenz-Radar-Zielobjekthypothesen”,
    • – Diese „Referenz-Radarbilder” können nun als „Alte SAR-Bilder” verwendet werden, um zusammen mit den „Neuen SAR-Bildern” entsprechend der Merkmale des Anspruchs 1 durch Change Detection eine Suche nach „Im Neuen Bild wieder gefundenen Alten Zielen” auszuführen, und diese im Bild zu markieren,
    • – Diese „Referenz-Radarbilder” können auch als „Alte SAR-Bilder” verwendet, um zusammen mit den „Neuen SAR-Bildern” durch Change Detection in der Umgekehrten Richtung eine Suche nach „Im Alten Bild wieder gefundenen Neuen Zielen” auszuführen, und diese im Bild zu markieren,
    • – Zielobjekthypothesen (Cluster), die in beiden Fällen gefunden werden, können als bestätigte stationäre Objekte ausgesondert werden, und als bekannte Objekte ausgeschieden werden, und belasten die weitere Auswertung nicht mit Falschalarmen.
    • – In SAR-Bildern werden an Objekten mit sehr großem Radarrückstrahlquerschnitt durch Sättigungseffekte Falschziele mit demselben Umriss, aber geringerer Intensität als das echte Ziel in einer z. B. kreuzförmigen Anordnung über dem echten Ziel abgebildet. Diese Falschziele in kreuzförmiger Anordnung können als falsche „Neu gefundene Ziele” zurückgewiesen werden, wenn ein Ziel hoher Intensität in der Kreuzmitte gefunden wird,
    • – Nur tatsächlich „Neue Objekte”, die durch Change Detection bei der Korrelation von den aus den Referenz-Stereo-Multispektral-Bildern abgeschätzten „Alten SAR-Bildern” nach den „Neuen SAR-Bildern” als „Im Alten Bild NICHT wieder gefundene Neue Ziele” erkannt werden, werden als Alarme gemeldet.
  • Ein weiterer Vorteil der Erfindung ist, dass damit mit dem SAR-Gerät auch Ziele geortet werden können, die sonst von der Vielzahl von Falschzielen nicht getrennt werden könnten, und daher nicht entdeckt würden. Durch eine Aussonderung von Falschzielen, die aus den früher aufgenommenen Multispektralbildern bekannt sind, kann somit die Auswertung der neu aufgenommenen SAR-Bilder nach „Neu Aufgetauchten Zielen” verbessert werden.
  • Ein weiterer Vorteil der Erfindung ist, dass ein Nacht- und Allwetterbetrieb des Überwachungssystems mit besseren Leistungen als mit einem SAR-Gerät allein ermöglicht wird.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - DE 102005009626 A1 [0004]
    • - DE 19955919 C1 [0004]
    • - DE 102006060612 [0006]

Claims (7)

  1. Verfahren zur Auswertung von Zielelementen in Bildern einer Multispektralkamera oder eines SAR Gerätes, wobei aus mehreren Zielelementen Cluster gebildet werden, dadurch, dass zu jedem Zielelement eine Liste aller kompatiblen Nachbarzielelemente angegeben wird, wobei Zielobjekthypothesen gebildet werden dadurch, dass Zielelemente, die dieselben Nachbarelemente in einer Liste aufweisen, jeweils in einer Zielobjekthypothese zusammengefasst werden, wobei ”neu”, ”verschwundene” und ”wieder gefundene” Zielobjekten dadurch ermittelt werden, dass zeitlich von einander versetzt aufgenommener Bildern miteinander verglichen werden, derart dass von der Position eines Zielelements in einem ersten Bild eine Liste der kompatiblen Zielelemente im vorgebbaren Umkreis im zweiten Bild erstellt wird und überprüft wird, ob aus den Listen eine kompatible Zielobjekthypothese im zweiten Bild zu der bestehenden Ausgangszielobjekthypothese des untersuchten Zielelements im ersten Bild erstellt werden kann, wobei ein Zielobjekt als ”neu”, ”verschwunden” und ”wieder gefunden” eingestuft wird, wenn die Überprüfung fehlschlägt.
  2. Verfahren nach Anspruch 1, wobei für jedes Bild der Multispektralkamera ein Zielobjekt-Verzeichnis erstellt wird mit Angabe der Position, der Signatur, des Typs und des Farbmusters von gesuchten, gefundenen und klassifizierten Zielen.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für jedes Bild des SAR-Gerätes ein Zielobjekt-Verzeichnis erstellt wird mit Angabe der Position, des Intensitätsprofils und des Radarrückstrahlquerschnittes von gesuchten, gefundenen und klassifizierten Zielen.
  4. Verfahren nach einem der vorangehenden Ansprüchen, wobei zur Überwachung und Kontrolle eines Gebietes auch die ”verschwundenen” und ”wieder gefundenen” Zielobjekten angezeigt werden.
  5. Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes, wobei bei den Bildern der Stereo-Multispektralkamera eine Normierung und Optimierung der Helligkeitswerte und der Farbkontrastwerte der einzelnen Bildpunkte jedes Bildes vorgenommen wird, wobei ein bei optimalen Bedingungen vorher aufgenommenes Referenzbild des abgebildeten Areals als Bezugswert verwendet wird und auf die kennzeichnenden Bildstatistikwerte der einzelnen Farbkanäle des Referenzbildes angepasst wird und wobei bei den Bildern der Stereo-Multispektralkamera und des SAR Gerätes eine Korrektur des Navigationsfehlers zwischen zeitlich versetzten Aufnahmen vorgenommen wird, indem für unveränderliche Referenzziele, die für jede Bildgruppe am Boden als Missionsvorbereitung zuvor vermessen werden, in den zeitlich versetzten Bildern jeweils die Objektmitte bestimmt wird und über vorgebbare Objekte der Mittelwert der Bildverschiebung berechnet wird, wodurch die zeitlich versetzen Aufnahmen auf deckungsgleiche geodätische Lage korrigiert werden, wobei für alle Zielelemente des einen Stereobildes das je nach Höhe des Zieles über Grund um den Betrachtungswinkel perspektivisch verschobene Dach des Zielelementes in dem zweiten Stereobild des Stereobildpaares gesucht und die perspektivische Verschiebung im Bild gemessen wird und anschließend aus der Verschiebung mit dem Stereobetrachtungswinkel zwischen den beiden Bildern die Höhe des Zielelementdaches über Grund berechnet wird, wobei aus der zuvor ermittelten Höhe des Zielelementes und der Breite des Zielelementes und dem vermuteten Material eine Abschätzung eines Radarrückstrahlquerschnitt für das Zielelement erfolgt, welcher in ein Radarzielverzeichnis für das Referenz-Multispektralbild zusammen mit der Position und der Multispektralzielklasse des Zielelementes eingetragen wird zur Erzeugung eines geschätzten Referenz-Radarbildes, aus welchem mit benachbarten, miteinander kompatiblen Zielelementen Zielobjekthypothesen gebildet werden, wobei durch Vergleichen der geschätzten Referenz-Radarbilder und der SAR-Bilder Ziele gesucht werden, wobei Ziele als neu eingestuft werden, wenn sie ausschließlich im SAR-Bild gefunden werden und wobei als neu eingestufte Ziele ausgegeben werden.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für jedes Bild der Multispektralkamera ein Zielobjekt-Verzeichnis erstellt wird mit Angabe der Position, der Signatur, des Typs und des Farbmusters von gesuchten, gefundenen und klassifizierten Zielen.
  7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für jedes Bild des SAR-Gerätes ein Zielobjekt-Verzeichnis erstellt wird mit Angabe der Position, des Intensitätsprofils und des Radarrückstrahlquerschnittes von gesuchten, gefundenen und klassifizierten Zielen.
DE102008038527A 2008-08-20 2008-08-20 Verfahren zur Auswertung von Bildern mit einer Multispektralkamera oder einem SAR-Radar sowie Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes Withdrawn DE102008038527A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008038527A DE102008038527A1 (de) 2008-08-20 2008-08-20 Verfahren zur Auswertung von Bildern mit einer Multispektralkamera oder einem SAR-Radar sowie Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008038527A DE102008038527A1 (de) 2008-08-20 2008-08-20 Verfahren zur Auswertung von Bildern mit einer Multispektralkamera oder einem SAR-Radar sowie Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes

Publications (1)

Publication Number Publication Date
DE102008038527A1 true DE102008038527A1 (de) 2010-02-25

Family

ID=41566608

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008038527A Withdrawn DE102008038527A1 (de) 2008-08-20 2008-08-20 Verfahren zur Auswertung von Bildern mit einer Multispektralkamera oder einem SAR-Radar sowie Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes

Country Status (1)

Country Link
DE (1) DE102008038527A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537122A (zh) * 2018-03-07 2018-09-14 中国科学院西安光学精密机械研究所 包含气象参数的图像融合采集系统及图像存储方法
CN109959900A (zh) * 2017-12-21 2019-07-02 波音公司 轻型雷达系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19955919C1 (de) 1999-11-20 2001-05-31 Daimler Chrysler Ag Verfahren zur Erkennung von Objekten in Bildern auf der Bildpixelebene
DE102005009626A1 (de) 2005-02-24 2006-08-31 Universität Tübingen Kamera zum Verfolgen von Objekten
DE102006060612A1 (de) 2006-12-21 2008-06-26 Eads Deutschland Gmbh Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19955919C1 (de) 1999-11-20 2001-05-31 Daimler Chrysler Ag Verfahren zur Erkennung von Objekten in Bildern auf der Bildpixelebene
DE102005009626A1 (de) 2005-02-24 2006-08-31 Universität Tübingen Kamera zum Verfolgen von Objekten
DE102006060612A1 (de) 2006-12-21 2008-06-26 Eads Deutschland Gmbh Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109959900A (zh) * 2017-12-21 2019-07-02 波音公司 轻型雷达系统
CN108537122A (zh) * 2018-03-07 2018-09-14 中国科学院西安光学精密机械研究所 包含气象参数的图像融合采集系统及图像存储方法
CN108537122B (zh) * 2018-03-07 2023-08-22 中国科学院西安光学精密机械研究所 包含气象参数的图像融合采集系统及图像存储方法

Similar Documents

Publication Publication Date Title
DE102013104443B4 (de) Verkehrsüberwachungssystem zur Geschwindigkeitsmessung und Zuordnung von bewegten Fahrzeugen bei einem Mehrziel-Aufnahmemodul
DE102014206704B4 (de) Aktualisierung der kalibrierung einer verkehrskamera unter verwendung einer szenenanalyse
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
DE102004018813A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102018108027A1 (de) Objekterfassungsvorrichtung
EP2690459B1 (de) Vorrichtung und Verfahren zum Identifizieren und Dokumentieren mindestens eines ein Strahlungsfeld durchfahrenden Objektes
DE102016210632A1 (de) Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
DE102015211874A1 (de) Objekterkennungsvorrichtung
EP2387017B1 (de) Verfahren und Vorrichtung zur Erfassung von Verkehrsdaten aus digitalen Luftbildsequenzen
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102020210749A1 (de) Verfahren zur Ausführung durch ein Sensorsystem für eine Verkehrsinfrastruktureinrichtung und Sensorsystem
DE102011078746A1 (de) Abstands- und Typenbestimmung von Flugzeugen während des Andockens an das Gate
DE102018213268A1 (de) Verfahren zur anwendung in einem fahrzeug
DE102015211871A1 (de) Objekterkennungsvorrichtung
DE102012020093A1 (de) Anordnung zur Ortung, Erfassung und Überwachung von Eisbergen sowie Verfahren zur Bestimmung eines von treibenden Eisbergen ausgehenden Gefährdungspotentials für stationäre oder schwimmende Meeresbauwerke
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
EP3614299A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102008038527A1 (de) Verfahren zur Auswertung von Bildern mit einer Multispektralkamera oder einem SAR-Radar sowie Verfahren zur Fusionierung von Bildern einer Stereo-Multispektralkamera und eines SAR Gerätes
DE102009020709A1 (de) Verfahren und Vorrichtung zur Überwachung und Detektion von Zuständen der Luft und Bewuchs in Waldgebieten mit selbstlernenden Analyseverfahren zur Generierung von Alarmwahrscheinlichkeiten
WO2020038984A1 (de) Verfahren und anordnung zum erkennen von koronaentladungen einer anlage mit betriebsmitteln
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
DE102006060612B4 (de) Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu
DE102019220616B4 (de) Verfahren zur simultanen lokalisierung und abbildung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R120 Application withdrawn or ip right abandoned
R120 Application withdrawn or ip right abandoned

Effective date: 20111212