DE102014105567A1 - Verfahren zur Verfolgung von Objekten unter Verwendung hyperspektraler Bilder - Google Patents

Verfahren zur Verfolgung von Objekten unter Verwendung hyperspektraler Bilder Download PDF

Info

Publication number
DE102014105567A1
DE102014105567A1 DE102014105567.5A DE102014105567A DE102014105567A1 DE 102014105567 A1 DE102014105567 A1 DE 102014105567A1 DE 102014105567 A DE102014105567 A DE 102014105567A DE 102014105567 A1 DE102014105567 A1 DE 102014105567A1
Authority
DE
Germany
Prior art keywords
frame
pixel groups
correlating
objects
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102014105567.5A
Other languages
English (en)
Inventor
Eric Daniel Buehler
Stefano Angelo Mario Lassini
Konrad Robert Kuczynski
Richard Shawn Kelly
Benjamin Thomas Occhipinti
Matthew Schafer
Rebecca Smith
Thomas Baby Sebastian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Aviation Systems LLC
Original Assignee
GE Aviation Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Aviation Systems LLC filed Critical GE Aviation Systems LLC
Publication of DE102014105567A1 publication Critical patent/DE102014105567A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

Ein Verfahren zur Bewegungsverfolgung wenigstens eines Objektes von einer Gruppe sich bewegender Objekte unter Anwendung hyperspektraler Bildgebung beinhaltet unter anderem die Schritte: Gewinnen einer Serie von hyperspektralen Einzelbildern; Vergleichen jedes Einzelbildes in der Serie mit einer Vorlage, um Bildveränderungen zwischen den Einzelbildern zu ermitteln; Identifizieren einer Pixelgruppe in jedem Einzelbild, die den Änderungen zugeordnet ist; Identifizieren von Änderungen als Bewegung der sich bewegenden Objekte; Korrelieren der Pixelgruppen von Einzelbild zu Einzelbild, um wenigstens einen Parameter der Bewegung der Objekte räumlich zu ermitteln; und Korrelieren der Pixelgruppen mit einem dem wenigstens einem Objekt zugeordneten Spektralreflexionsprofil, wobei die Spur des wenigstens einen Objektes von den Spuren anderer sich bewegender Objekte unterscheidbar ist.

Description

  • HINTERGRUND DER ERFINDUNG
  • Hyperspektral-Kameras sind in der Lage, hyperspektrale Einzelbilder oder Datenwürfel mit Videobildraten zu erfassen. Diese Kameras erfassen Bilder mit hoher räumlicher und spektraler Auflösung. In Kombination mit auf Computerbilderkennung und spektrale Analyse bezogenen Techniken haben sich Betreiber von hyperspektralen Kameras mit Überwachungsanwendungen in Bezug auf Detektion, Verfolgung und Identifikation von abgebildeten Objekten befasst.
  • KURZBESCHREIBUNG DER ERFINDUNG
  • Ein Aspekt der Erfindung betrifft ein Verfahren zur Bewegungsverfolgung wenigstens eines Objektes von einer Gruppe sich bewegender Objekte unter Anwendung hyperspektraler Bildgebung. Das Verfahren beinhaltet die Gewinnung einer Serie von hyperspektralen Einzelbildern; den Vergleich jedes Einzelbildes in der Serie mit einer Vorlage, um Bildveränderungen zwischen den Einzelbildern zu ermitteln; die Identifizierung einer Pixelgruppe in jedem Einzelbild, die den Änderungen zugeordnet ist; die Identifizierung von Änderungen als Bewegung der sich bewegenden Objekte; die Korrelation der Pixelgruppen von Einzelbild zu Einzelbild, um wenigstens einen Parameter der Bewegung der Objekte räumlich zu ermitteln; und die Korrelation der Pixelgruppen mit einem dem wenigstens einem Objekt zugeordneten Spektralreflexionsprofil, wobei die Spur des wenigstens einen Objektes von den Spuren anderer sich bewegender Objekte unterscheidbar ist.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • In den Zeichnungen ist bzw. stellt dar:
  • 1 ein Flussdiagramm, das ein Verfahren zur Bewegungsverfolgung wenigstens eines Objektes von einer Gruppe sich bewegender Objekte unter Anwendung hyperspektraler Bildgebung gemäß einer Ausführungsform der Erfindung darstellt;
  • 2 ein Szenario, in welchem eine hyperspektrales Bildgebungssystem zwei Objekte gemäß einer Ausführungsform der Erfindung detektiert und verfolgt hat.
  • BESCHREIBUNG VON AUSFÜHRUNGSFORMEN DER ERFINDUNG
  • In dem Hintergrund und der nachfolgenden Beschreibung werden für die Zwecke der Erläuterung zahlreiche spezifische Details für ein umfassendes Verständnisses der hierin beschriebenen Technologie dargestellt. Es wird für den Fachmann jedoch ersichtlich sein, dass die exemplarischen Ausführungsformen ohne diese spezifischen Details ausgeführt werden können. In weiteren Fällen werden Strukturen und Vorrichtungen in schematischer Form dargestellt, um die Beschreibung der exemplarischen Ausführungsformen zu erleichtern.
  • Die exemplarischen Ausführungsformen werden unter Bezugnahme auf die Zeichnungen beschrieben. Diese Zeichnungen veranschaulichen bestimmte Details spezifischer Ausführungsformen, die ein Modul, ein Verfahren oder ein hierin beschriebenes Computerprogrammprodukt implementieren. Jedoch sollten die Zeichnungen nicht als irgendwelche Einschränkungen vorgebend betrachtet werden, die in den Zeichnungen vorhanden sein können. Das Verfahren und das Computerprogrammprodukt können auf jedem maschinenlesbaren Medium zum Erreichen ihrer Operationen bereitgestellt werden. Die Ausführungsformen können unter Verwendung eines vorhandenen Computerprozessors oder durch einen speziellen Computerprozessor implementiert werden, der für diesen oder einen anderen Zweck enthalten ist, oder durch ein drahtgebundenes System implementiert werden.
  • Wie vorstehend angemerkt, können hierin beschriebene Ausführungsformen ein Computerprogrammprodukt enthalten, das ein maschinenlesbares Medium für den Transport aufweist oder maschinenausführbare Instruktionen oder Datenstrukturen darauf gespeichert hat. Derartige maschinenlesbare Medien können beliebige verfügbare Medien sein, auf welche durch einen Allzweck- oder Spezialzweck-Computer oder eine andere Maschine mit einem Prozessor zugegriffen werden kann. Beispielsweise können derartige maschinenlesbare Medien einen RAM, ROM, EPROM, EEPROM, CD-ROM oder anderen optischen Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder irgendein anderes Medium aufweisen, das zum Transportieren oder Speichern von gewünschten Programmcode in der Form von maschinenausführbaren Instruktionen oder Datenstrukturen verwendet werden kann, und auf das von einem Allzweck- oder Spezialzweck-Computer oder einer anderen Maschine mit einem Prozessor zugegriffen werden kann. Wenn Information über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder drahtgebunden, drahtlos oder über eine Kombination von drahtgebunden oder drahtlos) an eine Maschine übertragen oder geliefert wird, betrachtet die Maschine korrekterweise die Verbindung als ein maschinenlesbares Medium. Somit wird jede derartige Verbindung korrekterweise als ein maschinenlesbares Medium bezeichnet. Kombinationen der Vorstehenden sind ebenfalls in dem Schutzumfang maschinenlesbarer Medien beinhaltet. Maschinenausführbare Instruktionen umfassen beispielsweise Instruktionen und Daten, welche einen Allzweck-Computer, Spezialzweck-Computer oder Spezialzweck-Verarbeitungsmaschinen veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen auszuführen.
  • Ausführungsformen werden im allgemeinen Kontext von Verfahrensschritten beschrieben, die in einer Ausführungsform durch ein Programmprodukt implementiert sein können, das maschinenausführbare Instruktionen, wie z.B. Programmcode beispielsweise in der Form von Programmmodulen enthält, die von Maschinen in vernetzten Umgebungen ausgeführt werden. Im Allgemeinen enthalten Programmmodule Routinen, Programme, Objekte, Komponenten, Datenstrukturen usw., die die technische Auswirkung einer Durchführung spezieller Aufgaben haben oder spezielle abstrakte Datentypen implementieren. Maschinenausführbare Instruktionen, zugeordnete Datenstrukturen und Programmmodule stellen Beispiele von Programmcode zur Ausführung von Schritten des hierin beschriebenen Verfahrens dar. Die spezielle Ablauffolge derartiger ausführbarer Instruktionen oder zugeordneter Datenstrukturen repräsentieren Beispiele entsprechender Handlungen zum Implementieren der in derartigen Schritten beschriebenen Funktionen.
  • Ausführungsformen können in einer vernetzten Umgebung unter Anwendung logischer Verbindungen mit einem oder mehreren entfernten Computern mit Prozessoren ausgeführt werden. Logische Verbindungen können ein lokales Netzwerk (LAN) und ein Weitbereichsnetzwerk (WAN) beinhalten, die hier im Rahmen eines Beispiels und nicht einer Einschränkung präsentiert werden. Derartige Vernetzungsumgebungen sind in Büro- oder Unternehmens-Computernetzwerken, internen Netzen und dem Internet allgemein üblich und können eine große Vielfalt unterschiedlicher Kommunikationsprotokolle verwenden. Der Fachmann wird erkennen, dass derartige Netzwerk-Computerumgebungen typischerweise viele Arten von Computersystemkonfigurationen einschließlich Personal Computer, Handgeräten, Multiprozessor-Systemen, Mikroprozessor-basierende oder programmierbare Verbraucherelektronik, Netzwerk-PCs, Mini-Computer, Groß-Computer und dergleichen umfassen.
  • Ausführungsformen können auch in verteilten Computerumgebungen ausgeführt werden, in welchen Aufgaben durch lokale und entfernte Verarbeitungsvorrichtungen ausgeführt werden, die (entweder durch drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen) über ein Kommunikationsnetzwerk verbunden sind. In einer verteilten Computerumgebung können sich Programmmodule sowohl in lokalen als auch entfernten Speichervorrichtungen befinden.
  • Ein exemplarisches System zur Implementation der gesamten oder von Teilen der exemplarischen Ausführungsformen könnte ein Allzweck-Computervorrichtung in der Form eines Computers mit einer Verarbeitungseinheit, einem Systemspeicher und einem Systembus, der die verschiedenen Systemkomponenten einschließlich des Systemspeichers mit der Verarbeitungseinheit verbindet, enthalten. Der Systemspeicher kann einen Nur-Lese-Speicher (ROM), Arbeitsspeicher (RAM) enthalten. Der Computer kann auch ein magnetisches Festplattenlaufwerk enthalten, um von einer magnetischen Festplatte zu lesen und darauf zu schreiben, ein Magnetplattenlaufwerk zum Lesen von oder zum Schreiben auf einer entfernbaren magnetischen Platte, und ein optisches Plattenlaufwerk zum Lesen von oder Schreiben auf einer entfernbaren optischen Platte, wie z.B. einer CD-ROM oder ein anderes optisches Medium. Die Laufwerke und deren zugeordneten maschinenlesbaren Medien stellen einen nicht-flüchtigen Speicher für maschinenausführbare Instruktionen, Datenstrukturen, Programmmodule und andere Daten für den Computer bereit.
  • Technische Auswirkungen des in den Ausführungsformen beschriebenen Verfahrens beinhalten die Erhöhung der Nutzbarkeit und der Leistung von Fernbildgebungssystemen zur Objektdetektion und Verfolgung. Das Verfahren verringert Fehler in der herkömmlichen räumlichen Verfolgung aufgrund von Verdeckungen, Fleckverschmelzung, Einzelbildausfall, Objektüberschneidung und anderer Probleme in Verbindung mit Einzelbild-Unterscheidungstechniken, die Grauwertbildkontrast-basierende Detektionsverfahren anwenden. Das Verfahren verbessert auch autonome Objektverfolgungssysteme, indem es Basisautonomination, Wiedererfassung und Zielsuchfähigkeiten bereitstellt.
  • 1 ist ein Flussdiagramm, das ein Verfahren zur Bewegungsverfolgung von einem oder mehreren Objekten in einer Gruppe von Objekten gemäß einer Ausführungsform der Erfindung darstellt, die eine Vereinigung spektraler und räumlicher Information nutzt, die in hyperspektralen Bildern enthalten ist. Zu Beginn kann es bei dem Schritt 100 im Verlauf des Betriebs einer mit einer hyperspektralen Kamera ausgerüsteten Plattform erforderlich sein, das Bild für die Zwecke der Detektion, Verfolgung und Identifikation von Objekten zu verarbeiten.
  • Bei dem Schritt 110 kann die Hyperspektral-Kamera eine Serie von hyperspektralen Einzelbildern gewinnen. Ein Prozessor an Bord der Plattform kann die Verarbeitung der Einzelbilder durchführen oder kann die Übertragung der Bilder an eine entfernte Stelle zur Verarbeitung durch einen zweiten Prozessor oder ein Verarbeitungssystem (kollektiv als "ein Prozessor" bezeichnet) anweisen. Zu Beginn kann der Prozessor Veränderungen in den hyperspektralen Einzelbildern durch räumliche Analysetechniken ermitteln. Gemäß Darstellung in 1 kann der Prozessor bei 112 eine Ablauffolge von Schritten 114, 118 an den hyperspektralen Einzelbildern mit einem Ziel der Ermittlung von Änderungen in den Bildern durch Vergleichen mit einer Vorlage 115 durchführen. Der Prozessor kann zuerst einen Vergleich von Einzelbild zu Einzelbild bei dem Schritt 114 der Bilder unter Verwendung herkömmlicher räumlicher Analyse oder Bildverarbeitungstechniken durchführen. Durch die Durchführung eines direkten Vergleichs der räumlichen Eigenschaften der Einzelbilder kann der Prozessor Eigenschaften der Bilder bezüglich Kalibrierung und Ausrichtung der Bilder ermitteln oder kann Eigenschaften der abgebildeten Szene bezüglich abgebildeten Objekten in Bewegung ermitteln. Bezüglich Kalibrierung und Ausrichtung kann der Prozessor eine Reihe allgemein bekannter Bildverarbeitungstechniken durchführen, die Rauschfilterung, Kantendetektion, Bildausrichtung, Homographie und Ausrichtung von Einzelbild zu Einzelbild betreffen können, jedoch nicht darauf beschränkt sind. Der Prozessor kann weitere Bildverarbeitungstechniken bezüglich der Detektion von Objekten in den Einzelbildern auf der Basis von Bildeigenschaften, wie z.B. Kontrast, Auflösung und Helligkeit, anwenden.
  • Teilweise auf der Basis des Vergleichs von Einzelbild zu Einzelbild bei dem Schritt 114 kann der Prozessor Bildveränderungen zwischen den Einzelbildern bei dem Schritt 118 ermitteln. Der Prozessor kann die Einzelbilder und die als Differenzen zwischen den Einzelbildern identifizierten Merkmale mit Bezugszielvorlagen 115 bekannter Ziele vergleichen, die in einer Vorlagendatenbank 116 gespeichert sein können. Die Bezugszielvorlagen 115 können zuvor festgelegte Deskriptoren sein, die die räumlichen Eigenschaften eines hyperspektralen Bildes eines interessierenden Realwelt-Objektes repräsentieren. Beispielsweise kann eine Vorlage 115 einen Satz von Pixeln enthalten, die die erwartete Form eines von dem System abgebildeten Objektes demonstrieren. Alternativ kann eine Vorlage 115 aus einem Satz von Vektoren bestehen, die zur Darstellung einer speziellen Zerlegung der erwarteten Form eines Objektes, beispielsweise als das Ausgangssignal einer Hauptkomponentenanalyse oder einer Wavelet-Transformation gespeichert sind. Unabhängig von dem speziellen Format des räumlichen Deskriptors in den Vorlagen 115 kann der Prozessor eine Korrelation oder Abgleichoperation bei dem Schritt 118 durchführen, um eine frühere Kenntnis bezüglich Objekten zu nutzen, die in einer Vorlage 115 codiert sind, um weitere Änderungen in den Einzelbildern zu ermitteln.
  • Der Prozessor kann vom Schritt 118 aus detektierte Änderungen in den Einzelbildern ausgeben, die sowohl von einem Vergleich von Einzelbild zu Einzelbild bei dem Schritt 114 als auch einer Vorlage 115 abgeleitet sind. Mit einem Ziel, zu verfolgende potentielle Objekte zu identifizieren, gibt der Prozessor bei dem Schritt 118 Pixelgruppen in den Einzelbildern aus. In einer Ausführungsform der Erfindung kann der Prozessor die Ausgabe an einen Schritt 120 anweisen, um eine Pixelgruppe in jedem den detektierten Änderungen zugeordneten Einzelbild zu identifizieren. In einer weiteren Ausführungsform kann der Prozessor direkt die Ausgabe mittels eines Steuerungsablaufes 132 an einen Schritt 128 anweisen, um die Pixelgruppen zur spektralen Charakterisierung der Objekte zu korrelieren.
  • Bei dem Schritt 120 kann der Prozessor eine Pixelgruppe in jedem Einzelbild identifizieren, das den bei dem Schritt 118 ausgegebenen detektierten Änderungen zugeordnet ist. Der Prozessor kann eine Serie von Funktionen und Berechnungen an den individuellen Einzelbildern ausführen, um Pixel in jedem Einzelbild in eine Pixelgruppe zu verbinden, zu vereinen und/oder zu sammeln, die detektierten Änderungen in den Einzelbildern zugeordnet sind, die sowohl aus dem Vergleich von Einzelbild zu Einzelbild beim Schritt 114 und den Vorlagen 115 abgeleitet sind. Dann kann der Prozessor bei dem Schritt 122 eine Bewegung von sich bewegenden Objekten in der Serie der Einzelbilder auf der Basis der detektierten Änderungen in den Einzelbildern und der Pixelgruppe in jedem Einzelbild, das den detektierten Veränderungen zugeordnet ist, identifizieren. Nach der Detektion und Identifizierung sich bewegender Objekte in der Serie hyperspektraler Einzelbilder kann der Prozessor ferner die Pixelgruppen über die Einzelbilder hinweg korrelieren, um die Bewegung der identifizierten detektierten Objekte bei dem Schritt 124 räumlich zu charakterisieren. Der Prozessor kann die Bewegung auf der Basis bekannter Bildverarbeitungs- und Computererkennungstechniken parametrisieren, um eine Eigenschaft, wie z.B. Geschwindigkeit oder Beschleunigung, zu ermitteln. Die Parametrisierung der Bewegung kann dann als eine zusätzliche Information für anschließende Verfolgungsbemühungen verwendet werden. Beispielsweise kann der Prozessor eines Verfolgungssystems mit früherer Information, die die Geschwindigkeit eines verfolgten Objektes genauer beschreibt, zusätzliche Transformationen anwenden, wenn die Vergleiche von Einzelbild zu Einzelbild und die räumliche Vorlagenübereinstimmung verarbeitet werden, um die erwartete Lage des Objektes in den hyperspektralen Einzelbildern zu berücksichtigen.
  • Bei dem Schritt 128 kann der Prozessor die Korrelation der Pixelgruppen zu einem Spektralreflexionsprofil 125 ermitteln, das in einer Spektralreflexionsprofildatenbank 126 gespeichert ist. Das Spektralreflexionsprofil 125 kann im Voraus ermittelt werden und kann die spektralen Eigenschaften eines hyperspektralen Bildes eines interessierenden Realwelt-Objektes beschreiben. Ferner kann das Spektralreflexionsprofil 125 aus vielen spektralen Reflexionssignaturen zusammengesetzt sein. Daher kann die spektrale Reflexionsdatenbank 126 sowohl die spektralen Reflexionssignaturen eines interessierenden Realwelt-Objektes als auch die räumlichen Beziehungen zwischen diesen beschreiben.
  • Um die Pixelgruppe mit einem in der Spektralreflexionsprofildatenbank 126 beschriebenen Objekt zu korrelieren oder abzugleichen, kann der Prozessor ermitteln, ob die räumliche Verteilung der Pixelgruppe für jede Signatur der räumlichen Verteilung von Signaturen in einem Spektralreflexionsprofil 125 ähnlich ist. Da die Datenbank 126 Spektralreflexionsprofile mehrere Profile 125 bezüglich mehrerer Objekte haben kann, kann der die Pixelgruppen mit einem Spektralreflexionsprofil 125 korrelierende Prozessor einen hyperspektralen Suchalgorithmus einsetzen, um die Pixelgruppe mit einem speziellen Reflexionsprofil 125 abzugleichen.
  • Eine Anzahl von hyperspektralen Suchalgorithmen wurde bereits entwickelt und bei der Verarbeitung von hyperspektralen Bildern für den Zweck der Objektdetektion eingesetzt. Typischerweise nutzen auf der Basis allgemein bekannter statistischer Konzepte hyperspektrale Suchalgorithmen statistische Eigenschaften von Kandidatenobjekten in den Bildern. Beispielsweise ist der Mahalanobis-Abstand ein statistisches Ähnlichkeitsmaß, das oft bei hyperspektralen Pixelsignaturen angewendet wird. Der Mahalanobis-Abstand misst die Signaturähnlichkeit durch Prüfen der Signatur gegenüber einem mittleren und Standardabweichung von einer bekannten Klasse von Signaturen. Ähnlichkeitsmesswerte können Elemente bekannter Spektralanalyse-Detektionstechniken, wie z.B. Spectral Angle Mapping (SAM), Spectral Information Distance (SID), Zero Mean Differential Area (ZMDA) oder den Bhattacharyya-Abstand beinhalten. Der Prozessor kann weitere Ähnlichkeitsmaße abhängig von der Implementation einsetzen.
  • Obwohl die Spektralreflexionsprofile 125 bevorzugt in der Datenbank 126 Spektralreflexionsprofile gemäß Darstellung in 1 gespeichert sein und daraus ausgelesen werden können, können andere Quellen von Spektralreflexionsprofilen 125 zur Verwendung als ein Bezug die hyperspektralen Einzelbilder selbst beinhalten. Beispielsweise kann der Prozessor eine zusätzliche Verarbeitungsfähigkeit enthalten, wodurch Pixelgruppen automatisch als interessierende Objektbilder ermittelt werden können. Alternativ kann ein Betreiber des Systems, das hyperspektrale Bilder sammelt, manuell Pixelgruppen auf einer Anzeigeeinrichtung auswählen und die entsprechenden Spektralreflexionssignaturen als ein Spektralreflexionsprofil 125 eines interessierenden Objektes identifizieren.
  • Wie vorstehend beschrieben, kann der Prozessor den Schritt 128 zum Korrelieren der Pixelgruppe integrieren, um Objekte an einer oder mehreren Stellen abhängig von der Implementation der vorliegenden Erfindung spektral zu charakterisieren. Gemäß Darstellung in 1 demonstriert der Hauptsteuerungsablauf des Verfahrens, das der Schritt 128 zum Korrelieren der Pixelgruppe zur spektralen Kennzeichnung von Objekten dem Schritt 124 folgen kann, um die Pixelgruppe von Einzelbild zu Einzelbild zu korrelieren, um die Bewegung der Objekte räumlich zu charakterisieren. Zusätzliche Steuerungsabläufe 132 und 134 zeigen, dass der Schritt 128 zum Korrelieren der Pixelgruppe zur spektralen Charakterisierung von Objekten direkt dem Schritt 118 folgen kann, um Bildveränderungen zwischen den hyperspektralen Einzelbildern zu ermitteln. Abhängig von der Implementation kann der Schritt 128 entweder dem Schritt 118 oder dem Schritt 124 folgen oder kann sowohl dem Schritt 118 als auch 124 folgen.
  • In einer Ausführungsform der Erfindung führt der Prozessor nur den Schritt 128 der Korrelation der Pixelgruppe zur spektralen Charakterisierung des Objektes aus, wenn der im Schritt 124 ermittelte Bewegungsparameter kleiner als ein vorbestimmter Schwellenwert ist. Beispielsweise kann der Prozessor kein detektiertes Objekt, das sich mit einer Geschwindigkeit größer als 5 m/s bewegt, spektral charakterisieren. Indem nur Objekte spektral charakterisiert werden, die verlangsamt oder angehalten worden sind, kann der Prozessor die Bilder effizient verarbeiten und die Spur typischerweise schwierig zu verfolgender Objekte mit räumlichen Verfolgungsmethoden halten. Der zusätzliche Schritt spektraler Korrelation kann bei Spurverknüpfung und Spurbestätigung unterstützen, was zu einer Reduzierung von falsch positiven und anderen für standardmäßige räumliche Verfolgungsverfahren übliche Verfolgungsfehlern führt.
  • Es gibt viele Szenarios, in welchen ein Objekt schwierig zu erfassen sein kann oder die Spur auf der Basis räumlicher Verfolgungstechniken zu halten sein kann. Derartige Szenarien können enthalten: ein verfolgtes Objekt wird durch ein anderes Objekt verdeckt; oder ein verfolgtes Objekt teilt sich in mehrere getrennte Objekte auf. Es gibt weitere Szenarien und diese sollten nicht als einschränkend betrachtet werden.
  • 2 veranschaulicht ein Beispielszenario bei 300, wobei das Verfahren zur Bewegungsverfolgung eines Objektes unter einer Gruppe sich bewegender Objekte mit hyperspektralen Bildern gemäß einer Ausführungsform der Erfindung ein Fahrzeug 310 detektiert und verfolgt, das mit angenähert derselben Geschwindigkeit wie ein zweites Fahrzeug 312 auf derselben Straße fährt. Der das Verfahren in 1 implementierende Prozessor verarbeitet eine Serie hyperspektraler Einzelbilder und verfolgt die zwei ähnlichen Modellfahrzeuge. Wenn beispielsweise das Fahrzeug 310 und 312 unterschiedliche Farben haben, sorgt die spektrale Korrelation für einen deutlichen Unterschied zwischen den zwei ähnlich geformten und sich bewegenden Fahrzeugen. Unter der Annahme, dass die zwei Fahrzeuge nahe nebeneinander und mit angenähert derselben Geschwindigkeit fahren, kann ein rein auf räumlicher Analyse basierendes Verfolgungssystem irritiert werden, wenn die zwei Fahrzeuge 310, 312 getrennte Wege fahren, wenn beispielsweise das Fahrzeug 310 anhält und das Fahrzeug 312 weiterfährt. Das auf dem Verfahren von 1 basierende Verfolgungssystem verfolgt jedoch das Fahrzeug 310 weiter. Im Wesentlichen kann die Vereinigung der räumlichen Verfolgungstechniken mit der spektralen Charakterisierung der Pixelgruppen auf der Basis des Spektralreflexionsprofils 125 eine robuste Verfolgung eines sich bewegenden Objektes bei Vorhandensein von irritierenden Elementen ermöglichen. Außerdem ermöglicht die zusätzliche spektrale Information und Verarbeitung die Weiterverfolgung der Spur des Fahrzeugs 310, selbst wenn das Fahrzeug 310 anhält.
  • Wenn die Fahrzeuge 310, 312 weiter auf der Straße fahren, kann das Verfolgungssystem die Spur der Fahrzeuge verlieren, wenn beispielsweise die Fahrzeuge der Sicht des Verfolgungssystems entzogen werden, sobald sie den in 2 dargestellten Baum passieren. Da aber das Spektralreflexionsprofil 125 eines Objektes über der Zeit konstant ist, kann die Spur wieder aufgenommen werden, sobald das Fahrzeug 310 in das nicht verdeckte Sichtfeld des Verfolgungssystems eintaucht. Hier ermöglicht das Spektralreflexionsprofil 125 eine robuste Verfolgung eines sich bewegenden Objektes selbst dann, wenn Verdeckungen im Abdeckungsbereich vorhanden sind.
  • Diese Beschreibung nutzt Beispiele, um die Erfindung einschließlich ihrer besten Ausführungsart offenzulegen und um auch jedem Fachmann zu ermöglichen, die Erfindung einschließlich der Herstellung und Nutzung aller Elemente und Systeme und der Durchführung aller einbezogenen Verfahren in die Praxis umzusetzen. Der patentfähige Schutzumfang der Erfindung ist durch die Ansprüche definiert und kann weitere Beispiele umfassen, die für den Fachmann ersichtlich sind. Derartige weitere Beispiele sollen in dem Schutzumfang der Erfindung enthalten sein, sofern sie strukturelle Elemente besitzen, die sich nicht von dem Wortlaut der Ansprüche unterscheiden, oder wenn sie äquivalente strukturelle Elemente mit unwesentlichen Änderungen gegenüber dem Wortlaut der Ansprüche enthalten.
  • Ein Verfahren zur Bewegungsverfolgung wenigstens eines Objektes von einer Gruppe sich bewegender Objekte unter Anwendung hyperspektraler Bildgebung beinhaltet unter anderem die Schritte: Gewinnen einer Serie von hyperspektralen Einzelbildern; Vergleichen jedes Einzelbildes in der Serie mit einer Vorlage, um Bildveränderungen zwischen den Einzelbildern zu ermitteln; Identifizieren einer Pixelgruppe in jedem Einzelbild, die den Änderungen zugeordnet ist; Identifizieren von Änderungen als Bewegung der sich bewegenden Objekte; Korrelieren der Pixelgruppen von Einzelbild zu Einzelbild, um wenigstens einen Parameter der Bewegung der Objekte räumlich zu ermitteln; und Korrelieren der Pixelgruppen mit einem dem wenigstens einem Objekt zugeordneten Spektralreflexionsprofil, wobei die Spur des wenigstens einen Objektes von den Spuren anderer sich bewegender Objekte unterscheidbar ist.

Claims (9)

  1. Verfahren zur Bewegungsverfolgung wenigstens eines Objektes von einer Gruppe sich bewegender Objekte unter Anwendung hyperspektraler Bildgebung mit den Schritten: Gewinnen einer Serie von hyperspektralen Einzelbildern; Vergleichen jedes Einzelbildes in der Serie mit einer Vorlage, um Bildveränderungen zwischen Einzelbildern zu ermitteln; Identifizieren einer Pixelgruppe in jedem Einzelbild, die den Änderungen zugeordnet ist; Identifizieren von Änderungen als Bewegung der sich bewegenden Objekte; Korrelieren der Pixelgruppen von Einzelbild zu Einzelbild, um wenigstens einen Parameter der Bewegung der Objekte räumlich zu ermitteln; und Korrelieren der Pixelgruppen mit einem dem wenigstens einem Objekt zugeordneten Spektralreflexionsprofil, wobei die Spur des wenigstens einen Objektes von den Spuren anderer sich bewegender Objekte unterscheidbar ist.
  2. Verfahren nach Anspruch 1, wobei der Schritt der Korrelation der Pixelgruppen mit einem Spektralreflexionsprofil als der nächste Schritt nach dem Vergleich jedes Einzelbildes in der Serie mit einer Vorlage durchgeführt wird.
  3. Verfahren nach Anspruch 1, wobei der Schritt der Korrelation der Pixelgruppen mit einem Spektralreflexionsprofil als der nächste Schritt nach der Korrelation der Pixelgruppen von Einzelbild zu Einzelbild durchgeführt wird, um wenigstens einen Bewegungsparameter des Objektes räumlich zu ermitteln.
  4. Verfahren nach Anspruch 1, wobei der Schritt der Korrelation der Pixelgruppen mit einem Spektralreflexionsprofil als der nächste Schritt nach dem Schritt des Vergleichs jedes Einzelbildes in der Serie mit einer Vorlage und als der nächste Schritt nach der Korrelation der Pixelgruppen von Einzelbild zu Einzelbild durchgeführt wird, um wenigstens einen Bewegungsparameter des Objektes räumlich zu ermitteln.
  5. Verfahren nach Anspruch 1, wobei der Schritt der Korrelation der Pixelgruppen mit einem Spektralreflexionsprofil nur durchgeführt wird, wenn der Wert des wenigstens einen Parameters der Bewegung der Objekte kleiner als ein vorbestimmter Schwellenwert ist.
  6. Verfahren nach Anspruch 1, wobei der wenigstens eine Bewegungsparameter des Objektes Geschwindigkeit ist.
  7. Verfahren nach Anspruch 1, wobei der wenigstens eine Bewegungsparameter des Objektes Beschleunigung ist.
  8. Verfahren nach Anspruch 1, wobei das Spektralreflexionsprofil in einer Datenbank von Spektralreflexionsprofilen gespeichert ist und daraus ausgelesen wird.
  9. Verfahren nach Anspruch 1, wobei das Spektralreflexionsprofil aus einer Pixelgruppe in der Serie hyperspektraler Einzelbilder abgeleitet wird.
DE102014105567.5A 2013-04-19 2014-04-17 Verfahren zur Verfolgung von Objekten unter Verwendung hyperspektraler Bilder Ceased DE102014105567A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/866,086 2013-04-19
US13/866,086 US9430846B2 (en) 2013-04-19 2013-04-19 Method of tracking objects using hyperspectral imagery

Publications (1)

Publication Number Publication Date
DE102014105567A1 true DE102014105567A1 (de) 2014-10-23

Family

ID=50844987

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014105567.5A Ceased DE102014105567A1 (de) 2013-04-19 2014-04-17 Verfahren zur Verfolgung von Objekten unter Verwendung hyperspektraler Bilder

Country Status (7)

Country Link
US (1) US9430846B2 (de)
JP (1) JP5859594B2 (de)
CN (1) CN104112281B (de)
CA (1) CA2845958C (de)
DE (1) DE102014105567A1 (de)
FR (1) FR3004835B1 (de)
GB (1) GB2516142B (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9256786B2 (en) * 2013-10-15 2016-02-09 Ge Aviation Systems Llc Method of identification from a spatial and spectral object model
CN107480618A (zh) * 2017-08-02 2017-12-15 深圳微品时代网络技术有限公司 一种大数据平台的数据分析方法
CN109712169A (zh) * 2018-11-15 2019-05-03 上海卫星工程研究所 基于高光谱的动目标运动轨迹预测方法及自主跟踪方法
EP3667617A1 (de) * 2018-12-14 2020-06-17 Koninklijke Philips N.V. Bildgebungssystem und bildgebungsverfahren

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL97328A (en) 1991-02-22 1996-07-23 Applied Spectral Imaging Ltd Method and apparatus for spectral analysis of images
US7339149B1 (en) 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
US5424543A (en) 1993-04-19 1995-06-13 Surface Optics Corporation Imaging spectroradiometer
US5568186A (en) 1993-11-15 1996-10-22 The United States Of America As Represented By The Secretary Of The Army Focal plane filtered multispectral multidetector imager
US5479015A (en) 1994-08-18 1995-12-26 Grumman Aerospace Corporation Multi-image detector assembly
JPH0943058A (ja) 1995-05-23 1997-02-14 Olympus Optical Co Ltd 色分類装置及び色むら検査装置
US5790188A (en) 1995-09-07 1998-08-04 Flight Landata, Inc. Computer controlled, 3-CCD camera, airborne, variable interference filter imaging spectrometer system
US5894323A (en) 1996-03-22 1999-04-13 Tasc, Inc, Airborne imaging system using global positioning system (GPS) and inertial measurement unit (IMU) data
US6192322B1 (en) 1996-04-19 2001-02-20 Raytheon Company Moving object and transient event detection using rotation strip aperture image measurements
DE69841107D1 (de) 1997-07-12 2009-10-08 Roper Ind Inc Multispektraler zweidimensionaler bildgebeuder spekteometer
JPH1139589A (ja) 1997-07-18 1999-02-12 Fuji Electric Co Ltd 交通監視装置および交通監視方法
US6160902A (en) 1997-10-10 2000-12-12 Case Corporation Method for monitoring nitrogen status using a multi-spectral imaging system
US5986758A (en) 1998-08-18 1999-11-16 The United States Of America As Represented By The Secretary Of The Air Force Diffractive optic image spectrometer (DOIS)
US7136525B1 (en) 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
JP3603737B2 (ja) 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
US6466961B1 (en) 2000-08-16 2002-10-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for adapative spectral, spatial and temporal sensing for imaging applications
US20030123056A1 (en) 2001-01-08 2003-07-03 Barnes Donald Michael Apparatus having precision hyperspectral imaging array with active photonic excitation targeting capabilities and associated methods
IL149016A0 (en) 2002-04-07 2004-03-28 Green Vision Systems Ltd Green Method and device for real time high speed high resolution spectral imaging
US6831688B2 (en) 2002-04-08 2004-12-14 Recon/Optical, Inc. Multispectral or hyperspectral imaging system and method for tactical reconnaissance
US7391388B2 (en) 2002-10-28 2008-06-24 Raytheon Company Segmented spectrum imaging system and method
US7499836B1 (en) 2003-01-07 2009-03-03 Solid State Scientific Corporation Apparatus for and methods of detecting combustion ignition
US7212652B1 (en) 2003-07-07 2007-05-01 The United States Of America As Represented By The Secretary Of The Navy Method for tracking targets with hyper-spectral data
US7135682B1 (en) 2004-08-05 2006-11-14 University Of Hawai'i Uncooled long-wave infrared hyperspectral imaging
SE0402576D0 (sv) 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US7415164B2 (en) 2005-01-05 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. Modeling scenes in videos using spectral similarity
US7349076B2 (en) 2005-01-14 2008-03-25 The Institute For Technology Development Video tracking-based real-time hyperspectral data acquisition
US7505608B2 (en) 2005-04-15 2009-03-17 The Boeing Company Methods and apparatus for adaptive foreground background analysis
US7274454B2 (en) 2005-12-23 2007-09-25 Eastman Kodak Company Imaging system with programmable spectral switch
US7342658B2 (en) 2005-12-28 2008-03-11 Eastman Kodak Company Programmable spectral imaging system
US7796833B2 (en) * 2006-02-16 2010-09-14 Cet, Llc Method for spectral data classification and detection in diverse lighting conditions
US8594770B2 (en) 2006-06-29 2013-11-26 Accuvein, Inc. Multispectral detection and presentation of an object's characteristics
US20080049228A1 (en) 2006-08-28 2008-02-28 Novaspectra, Inc. Fabry-perot interferometer array
GB0619616D0 (en) 2006-10-05 2006-11-15 Oti Ophthalmic Technologies Optical imaging apparatus with spectral detector
JP4991356B2 (ja) 2007-03-20 2012-08-01 株式会社東芝 画像処理装置、画像処理方法および画像処理用プログラム
US7501636B1 (en) 2007-09-20 2009-03-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nanotunneling junction-based hyperspectal polarimetric photodetector and detection method
CA2721662C (en) 2008-04-16 2016-06-07 Elbit Systems Ltd. Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions
US20120140981A1 (en) * 2008-07-17 2012-06-07 Chemlmage Corporation System and Method for Combining Visible and Hyperspectral Imaging with Pattern Recognition Techniques for Improved Detection of Threats
US8189860B2 (en) 2008-11-07 2012-05-29 Micro Usa, Inc. Systems and methods of using spatial/spectral/temporal imaging for hidden or buried explosive detection
US8295548B2 (en) * 2009-06-22 2012-10-23 The Johns Hopkins University Systems and methods for remote tagging and tracking of objects using hyperspectral video sensors
EP2458553B1 (de) * 2009-07-22 2018-11-21 Omron Corporation Überwachungskamera-endgerät
IL204089A (en) 2010-02-21 2014-06-30 Elbit Systems Ltd A method and system for detection and tracking based on frequency multiplicity and multiplicity
CA2792050C (en) 2010-03-02 2017-08-15 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment
US8687055B2 (en) 2010-03-16 2014-04-01 Eli Margalith Spectral imaging of moving objects with a stare down camera
US20120062697A1 (en) 2010-06-09 2012-03-15 Chemimage Corporation Hyperspectral imaging sensor for tracking moving targets
US9147260B2 (en) 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
US9025024B2 (en) * 2011-09-28 2015-05-05 Xerox Corporation System and method for object identification and tracking
CN102393913B (zh) 2011-10-31 2017-04-05 北京航空航天大学 一种基于光谱指纹特征的弱小目标精确跟踪方法
US8611603B2 (en) * 2012-02-14 2013-12-17 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for object tracking via hyperspectral imagery
US9122929B2 (en) 2012-08-17 2015-09-01 Ge Aviation Systems, Llc Method of identifying a tracked object for use in processing hyperspectral data
US20140313325A1 (en) 2013-04-18 2014-10-23 Ge Aviation Systems Llc Method of generating a spatial and spectral object model

Also Published As

Publication number Publication date
JP5859594B2 (ja) 2016-02-10
GB2516142B (en) 2017-08-09
FR3004835B1 (fr) 2018-01-05
CN104112281B (zh) 2017-04-12
JP2014211874A (ja) 2014-11-13
CA2845958C (en) 2017-04-11
GB201406715D0 (en) 2014-05-28
CN104112281A (zh) 2014-10-22
US20140314272A1 (en) 2014-10-23
CA2845958A1 (en) 2014-10-19
FR3004835A1 (fr) 2014-10-24
US9430846B2 (en) 2016-08-30
GB2516142A (en) 2015-01-14

Similar Documents

Publication Publication Date Title
DE102018006765B4 (de) Verfahren und system(e) für das management von frachtfahrzeugen
DE102013205810B4 (de) System und verfahren zum einschätzen von verfügbaren parkplätzen zum parken auf der strasse mit mehreren plätzen
DE102011117585B4 (de) Systeme und Verfahren zum Verfolgen von Objekten
CN110334569B (zh) 客流量进出识别方法、装置、设备及存储介质
DE102015206178A1 (de) Ein Videoverfolgungsbasiertes Verfahren zur automatischen Reihung von Fahrzeugen in Drivethrough-Anwendungen
CN109446917B (zh) 一种基于级联霍夫变换的消失点检测方法
DE102016200553A1 (de) Computer-vision-gestützte prozesserkennung
DE102013217569A1 (de) Videoverfolgung zur videobasierten geschwindigkeitskontrolle
EP4137901A1 (de) Auf tiefenlernen basierendes echtzeit-prozessüberwachungssystem und verfahren dafür
WO2019201565A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
DE102017208718A1 (de) Verfahren zur Erkennung von Objekten in einem Bild einer Kamera
DE102014105567A1 (de) Verfahren zur Verfolgung von Objekten unter Verwendung hyperspektraler Bilder
CN104573680A (zh) 图像检测方法、图像检测装置以及交通违法检测系统
DE102022102934A1 (de) Ereignisbasierte fahrzeugposenschätzung unter verwendung monochromatischer bildgebung
DE112015003988T5 (de) Freiraumerkennungsvorrichtungsvorrichtung und Freiraumerkennungsverfahren
EP3659113B1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
DE102018006764B4 (de) Verfahren und system(e) für das management von frachtfahrzeugen
CN103366598B (zh) 一种车辆停靠到位检测系统及检测方法
DE102017221381A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
DE112018007442B4 (de) Datensynchronisationsvorrichtung, datensynchronisationsverfahren und datensynchronisationsprogramm
DE102017207958B4 (de) Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zum Betreiben einer Recheneinrichtung sowie System
DE102019132012A1 (de) Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche
DE102014009646B4 (de) Fahrspur-Erkennungssystem und einen Beschlagsensor verwendendes Verfahren
DE102020128399A1 (de) Hierarchische systeme und verfahren zur automatischen behältertyperkennung aus bildern
DE102009039568A1 (de) Verfahren und Vorrichtung zur Erkennung von Objekten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final