DE102006060612A1

DE102006060612A1 - Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu

Info

Publication number: DE102006060612A1
Application number: DE102006060612A
Authority: DE
Inventors: Hans Pongratz
Original assignee: EADS Deutschland GmbH
Current assignee: Airbus Defence and Space GmbH
Priority date: 2006-12-21
Filing date: 2006-12-21
Publication date: 2008-06-26
Anticipated expiration: 2026-12-22
Also published as: DE102006060612B4

Abstract

Die Erfindung betrifft ein Verfahren zur Auswertung von Bildern in einer Multispektralkamera, gekennzeichnet durch folgende Schritte: - Übertragen von digitalen Multispektralbilddaten von einer Bildsensoreinheit zu einer Verarbeitungseinheit der Aufnahmevorrichtung, - Erzeugen eines Farbhistogramms im HSV-Farbraum für jeden Bildpunkt eines von der Bildsensoreinheit erzeugten digitalen Multispektralbildes, - Skalierung der Helligkeitswerte der einzelnen Bildpunkte, - datenbankgestützte Ermittlung und Markierung der Übergangspunkte zwischen einem Zielobjekt und dem Hintergrund. Die Erfindung ferner betrifft eine Multispektralkamera zur Überwachung von Zielobjekten mit einer digitalen Bildsensoreinheit zur Aufnahme von Bildern und zur Erzeugung von digitalen Multispektralbilddaten und einer Verarbeitungseinheit zum Verarbeiten der von der Bildsensoreinheit an die Verarbeitungseinheit übergebenen Multispektralbilddaten, wobei die Verarbeitungseinheit eine Berechnungseinheit zur Berechnung eines Farbhistogramms im HSV-Farbraum für jeden Bildpixel eines digitalen Bildes und einen Klassifikator zur datenbankgestützten Erkennung von Grenzen zwischen Zielobjekten und Zielobjekthintergrund umfasst.

Description

Die Erfindung betrifft ein Verfahren zur Überwachung von Zielobjekten gemäß den Merkmalen des Anspruchs 1 und eine Multispektralkamera gemäß den Merkmalen des Anspruchs 17.
Im Bereich der militärischen Aufklärung beispielsweise werden mittels Sensoren Szenarien insbesondere in einem Gelände erfasst, die nach dem Vorhandensein von Einrichtungen, Fahrzeugen, Infrastruktur-Merkmalen und dergleichen untersucht werden sollen. Hierzu werden mittels Überwachungskameras eine große Anzahl von Bilder zur Verfügung gestellt, welche unter vorbestimmten Zeitbedingungen zu bewerten sind. Die zu erkennenden Objekte haben beliebige Abmessungen und können eine diese charakterisierende Struktur mit einer mehr oder weniger grossen Komplexität aufweisen.
Mit bekannten Systemen ist eine Boden-Aufklärung und -Entdeckung und anhaltende Boden-Überwachung großer Areale (z. B. 100 km bis 1000 km Grenzgebiet mit einigen Kilometern Tiefe) aus der Luft von Personen-, Tragtier-, und Fahrzeug-Zielobjekten möglich. Hierzu werden üblicherweise Multispektral-Stereo-Kameras verwendet, welche an Fluggeräten montiert die Daten im Flug aufzeichnen. Die Daten werden nach dem Flug am Boden ausgewertet, was im allgemeinen Stunden bis Tage dauert, bis die Aufklärungs- und Entdeckungsergebnisse vorliegen. Eine Sofortüberwachung ist damit nicht möglich. Andererseits werden Videokameras, teilweise auch mit Entdeckungshilfen ausgestattet, zur permanenten Überwachung kleinerer Areale aus der Luft eingesetzt, wobei die Zielsuche und Lagebeurteilung dem Beobachter überlassen bleibt, und die Daten einfach für spätere Nachbearbeitung aufge zeichnet werden. Zur Überwachung großer Areale ist dieses Verfahren nicht geeignet wegen des extrem hohen Aufwandes dafür.
Aus DE 10 2005 009 626 A1 ist eine Kamera zum Verfolgen von Objekten bekannt. Bei dieser Kamera werden Zielobjekte durch Vergleich des aufgenommenen Bildes mit einer Datenbank identifiziert. Ein ähnliches Verfahren zur Zielerkennung ist aus DE 199 55 919 C1 bekannt. Diese Verfahren haben den Nachteil, dass die Erkennung von Zielen sehr langsam vor sich geht.
Es ist Aufgabe der Erfindung, ein Verfahren anzugeben, mit welchem eine Überwachung von Zielobjekten während des Überflugs eines zu beobachtenden Gebiets möglich ist. Eine weitere Aufgabe besteht in der Bereitstellung einer Multispektralkamera, welche in der Lage ist, beim Überflug über ein großes Aeral in Echtzeit Zielobjekte mit geringem Kontrast zum Hintergrund zu entdecken und zu klassifizieren.
Erfindungsgemäß ist hierzu eine Multispektralkamera zur Überwachung von Zielobjekten mit einer digitalen Bildsensoreinheit zur Aufnahme von Bildern und zur Erzeugung von digitalen Multispektralbilddaten und einer Verarbeitungseinheit zum Verarbeiten der von der Bildsensoreinheit an die Verarbeitungseinheit übergebenen Multispektralbilddaten vorgesehen, bei der die Verarbeitungseinheit eine Berechnungseinheit zur Berechnung eines Farbhistogramms im HSV-Farbraum für jeden Bildpixel eines digitalen Bildes und einen Klassifikator zur datenbankgestützten Erkennung von Grenzen zwischen Zielobjekten und Zielobjekthintergrund umfasst.
Erfindungsgemäß erfolgt die Verarbeitung der Bilddaten somit direkt in der Kamera, so dass nicht der gesamte Datenstrom in voller Auflösung an eine externe Verarbeitungseinheit, z. B. eine Bodenstation übermittelt werden muss. Gemäß der Erfindung werden lediglich die detektierten Zielobjekte an die Bodenstation übermittelt.
In einer Weiterbildung der Erfindung ist die Multispektralkamera eine Multispektral-Stereokamera, und eine Berechnungseinheit zur Bestimmung der Höhe eines Zielobjektes aus zwei mit einem Stereowinkel aufgenommenen Multispektralbildern ist vorhanden.
Liegen von demselben Zielgebiet zwei Aufnahmen mit einem verwertbaren Stereowinkel (Winkel der Bildachsen der beiden Bilder) vor, so kann erfindungsgemäß von den gefundenen stationären Zielobjekten eine Höhenmessung vorgenommen werden.
Das der Erfindung zugrundeliegende Problem wird auch durch ein Verfahren zum Auswerten von Bildern in einer Multispektralkamera gelöst, bei dem folgende Schritte vorgesehen sind:

– Übertragen von digitalen Multispektralbilddaten von einer Bildsensoreinheit zu einer Verarbeitungseinheit der Aufnahmevorrichtung,
– Erzeugen eines Farbhistogramms im HSV-Farbraum für jeden Bildpunkt eines von der Bildsensoreinheit erzeugten digitalen Multispektralbildes,
– Skalierung der Helligkeitswerte der einzelnen Bildpunkte,
– datenbankgestützten Ermittlung und Markierung der Übergangspunkte zwischen einem Zielobjekt und dem Hintergrund.

Die Erfindung bietet einen Lösungsansatz zur Bilderfassung durch eine schmalbandige Multispektral-(Blau, Grün, Rot, Nahes-Infrarot)-Luftbildkamera und zur automatischen Echtzeitbildauswertung, Zielobjekt-Klassifizierung und -Erkennung, und zum gegebenenfalls Anlegen einer Zielobjekt-Trackliste zur Zielverfolgung an Bord im Fluge. Die automatische Bildauswertung gemäß dem erfindungsgemäßen Verfahren beruht auf der Zielklassifizierung vor einem bestimmten zugehörigen Hintergrund unter Ausnutzung der besonderen Informationsgehalte von Stereo-Multispektral-Aufnahmen. Dabei werden Ziele mit geringem Kontrast aus einem Hintergrund mit vielen potentiellen Falschzielen mit sehr geringer Falschalarmrate und hoher Zuverlässigkeit entdeckt, klassifiziert und erkannt, und bewegte Ziele werden als Bewegtziele erkannt und ihr Geschwindigkeitsvektor gemessen, und von den gefundenen Zielen wird eine Zielobjekt-Trackliste angelegt mit Ziel-Signatur, -Position, und -Geschwindigkeitsvektor zur weiteren Zielverfolgung. Die Auswertung im Flug erlaubt auch eine signifikante Datenreduktion der an die Bodenstation zu übermittelnden Daten.
Üblicherweise erzeugt eine Multispektralkamera Bilder mit Bilddaten im RGB Format. Gemäß der Erfindung werden die Bilddaten aus dem RGB Format in das HSV (Farbton, Farbsättigung, Helligkeit) Format umgesetzt, in dem alle weiteren Berechnungen durchgeführt werden.
Die Erfindung wird im Weiteren anhand von Figuren näher erläutert. Es zeigen:
1a die Darstellung einer Helligkeits- und Modulationsanhebung in hellen Bildpartien,
1b die Darstellung einer Helligkeits- und Modulationsanhebung in dunklen Bildpartien,
2 die Darstellung eines Klassifikators für die Entdeckung von im Wesentlichen einfarbigen Zielobjekten,
3 die Darstellung eines Klassifikators für die Entdeckung von getarnten Zielobjekten.
In Weiterbildung der Erfindung wird die Helligkeitsverteilung im Kamerabild in dunklen und hellen Bildpartien in Richtung einer einheitlichen Modulationstiefe verbessert (1a, 1b), so dass helle und dunkle Bildpartien gleich gut eingesehen werden können. Das geschieht in geeigneter Weise dadurch, dass jeweils für einen vorgebbaren Abschnitt einer Zeile, z. B. 30 Bildpunkte, der lokale Mittelwert MW der Helligkeit und die Standardabweichung ST der Helligkeit berechnet werden und dann der Helligkeitswert mit dem Quotienten aus dem Mittelwert plus der Standardabweichung geteilt durch den Mittelwert skaliert wird. Dies resultiert in einer Aufhellung dunkler Bildpartien und in einer Intensivierung der resultierenden Farben, durch die kleinere Farbdifferenzen sichtbar gemacht werden.
Entdeckung von einfarbigen Zielobjekten
Variante 1
Zur Erkennung von im Wesentlichen einfarbigen Zielobjekten werden in einer ersten Weiterbildung der Erfindung die verbesserten Bilder von einem Farbklassifikator (1. Farbklassifikator) zeilenweise oder spaltenweise untersucht (2). Dabei wird geprüft, ob an dem betrachteten Bildpunkt BP in einem zu untersuchenden Bild, wobei mit dem Bezugszeichen 8 die Zeile/Spalte des zu untersuchenden Bildes angegeben ist, jeweils ein Übergang von einer Hintergrundfarbe und einer Hintergrundtextur zu einer Zielobjektfarbe und Zielobjekttextur vorhanden ist.
Hierzu werden in einer ersten Ausgestaltung des Farbklassifikators für die gesuchten Zielobjekte zunächst eine Zielobjektreferenzfarbtabelle der zulässigen Zielobjektfarben und Zielobjekttexturen angelegt. Ebenso wird für alle zulässigen Hintergründe, vor denen Zielobjekte gesucht werden können, eine Hintergrundreferenzfarbtabelle angelegt.
Unter dem Begriff Klassifikatorfenster 2 wird im Weiteren der Bildausschnitt aus dem Kamerabild verstanden.
Die Farbe eines Ziels oder des Hintergrunds ist dabei gekennzeichnet durch Mittelwerte von Farbton, Farbsättigung, und Helligkeit über einem Klassifikatorfenster 2. Die Textur eines Ziels oder des Hintergrunds ist gekennzeichnet durch die Standardabweichungen von Farbton, Farbsättigung, durch die Helligkeit sowie durch den Helligkeitsverlauf (Zu- oder Abnahme). Über die Textur des Hintergrunds können z. B. Strasse, Wiese, oder befahrbare Oberflächen erkannt werden. Über die Textur des Zielobjekts lassen sich z. B. Lackfarbe von Fahrzeugen erkennen.
Zweckmäßig wird in einem Bereich 4 vor und einem Bereich 5 nach jedem betrachteten Bildpunkt BP in Richtung 1 einer Zeile/Spalte jeweils für ein Bildfenster 2 (Klassifikatorfenster), das in seiner Größe auf die Größe der gesuchten Zielobjekte angepasst ist, untersucht, ob die vorgebbaren Bedingungen für den gesuchten Hintergrund-Zielobjekt Übergang erfüllt sind, z. B. weisen Hintergrundfarbe und Zielobjektfarbe oder Hintergrundtextur und Zielobjekttextur einen vorgebbaren Unterschied auf. Wenn dies der Fall ist wird der Hintergrund-zu-Ziel-Übergang in das Bild 8 eingetragen. Derselbe Vorgang wird dann zweckmäßig auf Ziel-zu-Hintergrundübergänge angewendet und ebenfalls in das Bild 8 eingetragen.
Bei komplexer Farbgebung entstehen bei diesem Verfahrenschritt aber noch viele Fehlalarme. Die Fehlalarme können zweckmäßig dadurch stark reduziert werden, das nur zusammengehörige Hintergrund-zu-Ziel und darauf direkt folgende Ziel-zu-Hintergrund Übergänge, die nicht durch weitere Übergänge getrennt sind, als gültiges Paar gewertet und für die weitere Berechnung weiterverwendet werden. Dieser Farbklassifikator ist anwendbar auf Ziele, die einen ausreichenden Farb- oder Textur-Kontrast gegenüber dem Hintergrund haben.
Die Lage des vom Klassifikator bestimmten Übergangs stimmt auf Grund der statistischen Natur des Prozesses, der nur Mittelwerte und Standardabweichungen berücksichtigt, nicht genau mit der optisch wahrnehmbaren Grenze des Zielobjektes überein, sondern liegt üblicherweise davor oder dahinter bzw. darüber oder darunter. Für die genaue Festlegung der Position und Umrisse des Zielobjektes wird zweckmäßig längs der Zeile/Spalte 15 Bildpunkte vor und nach dem gefundenen Übergang in einem Abstand von z. B. 3 Bildpunkten eine Klassifikation der vorgefundenen Farbe (HSV-Wert) nach zulässigen, vordefinierten Zielfarben und Hintergrundfarben einer festen Farbpalette vorgenommen. Dies geschieht dadurch, dass jeweils die normierte Summe der Abstandsquadrate der HSV-Werte von den einzelnen Farben der Farbpalette zu der untersuchten Farbe berechnet werden, und die untersuchte Farbe der Zielobjekt-Palettenfarbe mit dem kleinsten Abstandsquadrat zugeordnet und damit klassifiziert wird, und die Position des untersuchten positiv-klassifizierten Bildpunktes als neue Position des betrachteten Hintergrund-Ziel-Überganges behandelt wird. Damit wird erreicht, dass in den meisten Fällen die Zielobjektmarkierung innerhalb des Umrisses des Objektes zu liegen kommt und einer zulässigen Zielobjektreferenzfarbe zugeordnet wird, und eine tatsächliche Position innerhalb des Objektes für weitere Untersuchungen zur Verfügung steht.
Variante 2
In einer zweiten Ausgestaltung des Farbklassifikators (2. Farbklassifikator) werden die Zielobjekt- und Hintergrundreferenzfarbtabellen speziell für die gerade betrachtete Zeile/Spalte jeweils aus einem Referenzumrissbild eines spezifischen gesuchten Zielobjekttyps (z. B. PKW, LKW, Tragtier, Personengruppe) in einer spezifischen gesuchten Referenzfarbgebung bzw. Referenztextur angelegt.
In den weiteren Verfahrensschritten arbeitet der 2. Farbklassifikator wie der 1. Farbklassifikator um mögliche Zielobjekte in dem zu untersuchenden Bild zu finden und zu lokalisieren. Abweichend vom 1. Farbklassifikator wird beim 2. Farbklassifikator in einem Durchgang nach Hintergrund-zu-Ziel-Übergängen, Ziel-zu-Ziel-Übergängen, und Ziel-zu-Hintergrund-Übergängen gleichzeitig gesucht und jeweils die Position des ersten angetroffenen möglichen Zieles in Zeilen-/Spaltenrichtung festgehalten, wobei die gefundene Positionsangabe aufgrund der statistischen Natur des Klassifikationsvorganges üblicherweise neben der genauen Mitte des tatsächlichen Zielobjektes liegt.
Eine möglichst genaue Messung der Lage der Mitte des Zielobjektes längs der Zeile wird nun dadurch erreicht, dass von der Ausgangsposition jeweils eine Klassifikatorfensterbreite vor und nach dieser Position der Ausschnitt der Messzeile/-spalte, der innerhalb des Klassifikatorfensters in dem Referenzumrissbild des gesuchten Zielobjekttyps in der gesuchten Zielobjektfarbe liegt, ausgewählt wird und die Abstandssumme über alle HSV-Farbwerte (Farbton, Farbsättigung, Helligkeit) und Standardabweichungen (von Farbton, Farbsättigung, Helligkeit) aufsummiert wird. Anschließend werden die Gesamtabstandssummen für alle getesteten Positionen verglichen und die Position mit der kleinsten Abstandssumme als wahrscheinlichste Zielposition gewertet. Da hierbei eine vollständige Korrelation des Referenzobjektstreifens auf den gefundenen Zielobjektstreifen stattfindet, ist der Zielsuchprozess des 2. Farbklassifikators viel selektiver und genauer als der 1. Farbklassifikator. Der 2. Farbklassifikator erfordert aber auch einen höheren Rechenaufwand.
Entdeckung von getarnten Zielobjekten
Variante 1
Zur Erkennung von getarnten Zielobjekten wird der 1. Farbklassifikator modifiziert, im weiteren auch als 1. Tarnfarbenklassifikator bezeichnet. Dieser Tarnfarbenklassifikator arbeitet mit zwei hintereinander angeordneten zweidimensionalen Fenstern 2, 3, welche längs einer Zeile/Spalte in Richtung 1 über das Kamerabild gezogen werden. Auf dem führenden Abtastfenster 2 (Klassifikatorfenster) liegt ein Referenzmuster 4 des Tarnfarbenmusters, das alle wesentlichen Elemente des Musters enthält. Die Abmessung des Abtastfensters 2 in beide Richtungen beträgt zweckmäßig die drei bis vierfachen mittlere Fleckengröße.
Unter einer Fleckengröße versteht man üblicherweise die Größe einer unregelmäßig geformten Fläche aus der ein Tarnfarbenmuster besteht. Tarnfarbenmuster setzen sich im allgemeinen aus unregelmäßig geformten Flächen zusammen, die in der Fläche auf die Größe der Vegetationselemente, vor denen als Hintergrund das zu tarnende Objekt nicht mehr unterscheidbar sein soll, und in ihrer Farbgebung auf die Farbgebung des Hintergrunds abgestimmt sind. Somit umfasst das Abtastfenster 2 alle wesentlichen Elemente des Musters.
Für jeden einzelnen Bildpunkt 6 des Referenzmusters 4 im Abtastfenster 2 wird gegen jeden Bildpunkt 6b des zu testenden Zielobjektfensters 7 (Ausschnitt aus dem Kamerabild) jeweils die Abstandsquadratsumme der HSV-Werte berechnet und diesem Referenzpunkt der kleinste Wert als Abstand zugeordnet. Die Summe aller Abstände aller Referenzpunkte ist dann der Gesamtabstand dieser Objektfensterlage von dem Zielobjektmuster.
Auf dem nachfolgenden Abtastfenster 3 liegt das Referenzmuster 5 des Hintergrundfarbenmusters, das den geringsten Abstand zu dem vorgefundenen Zielobjektmuster aufweist. Dieses Muster wird dann im folgenden als Hintergrundreferenzmuster verwendet, das dem tatsächlichen Hintergrund am nächsten kommt. Die Abmessung des Referenzmusterfenster 3 beträgt zweckmäßig die drei- bis sechs-fachen mittleren Fleckengröße in beiden Richtungen. Somit umfasst das Referenzmusterfenster 5 alle wesentlichen Elemente des Hintergrundmusters.
Für jeden einzelnen Bildpunkt 6 des Referenzmusters 5 wird gegen jeden Bildpunkt 6b des zu testenden Hintergrundfensters 7a des Kamerabildes jeweils die Abstandsquadratsumme der HSV-Werte berechnet und diesem Referenzpunkt der kleinste Wert als Abstand zugeordnet. Die Summe aller Abstände aller Referenzpunkte ist dann der Gesamtabstand dieser Objektfensterlage von dem Hintergrundmuster. Die Zielobjektfensterlage längs des Suchpfades bei der gilt, dass der Abstand des Zielreferenzmusters zum Zielobjektfenster kleiner ist als der Abstand des Hintergrundreferenzmusters zum Zielobjektfenster und der Abstand des Zielreferenzmusters zum Hintergrundfenster größer ist als der Abstand des Hintergrundreferenzmusters zum Hintergrundfenster, wird als wahrscheinlichste Lage des getarnten Objektes gewertet. Zusätzlich muss der Abstand des Zielreferenzmusters zum Zielobjektfenster kleiner sein als eine vorab ermittelte Abstandsschranke, damit das an dieser Stelle gefundene Objekt als gültiges positiv klassifiziertes Zielobjekt gewertet werden kann.
Diese Untersuchung wird dann längs des Suchpfades für alle zu suchenden Zielobjektreferenzmuster ausgeführt und damit nach diesen Mustern gesucht.
Die absolute Lage des Zielobjektes kann damit nicht genauer als die halbe Fenstergröße bestimmt werden, die relative Lage z. B. bei zwei Folgebildern, die in kurzem Abstand aufgenommen wurden, ist aber mit einigen Bildpunkten genau genug für eine Stereohöhe über Hintergrund Vermessung des gefundenen Zieles mit einer Genauigkeit von einigen Bildpunktbreiten.
Variante 2
Zur Erkennung von spezifischen gesuchten Zielobjekttypen (z. B. PKW, LKW, Tragtier, Personengruppe, frischer Erdhügel, Hütte) wird der 2. Farbklassifikator modifiziert, im weiteren auch als 2. Tarnfarbenklassifikator bezeichnet. Hierzu wird ein Klassifikator eingesetzt, der mit zwei hintereinander angeordneten längs der Zeile/Spalte gezogenen, zweidimensionalen Fenstern arbeitet, dessen Abmessungen längs und quer zur Zeile/Spalte gleich der Klassifikatorfensterbreite des 2. Farbklassifikators sind. Auf dem führenden Fenster (Klassifikatorfenster) liegt ein Referenzmuster des gesuchten Tarnfarbenmusters, das wie beim 2. Farbklassifikator beschrieben vorab in einer Referenztabelle angelegt wird, um das Zielobjekt zu charakterisieren, und das groß genug ist, um alle wesentlichen Elemente des Musters und die detaillierten Umrisse des von dem Fenster erfassten Objektteiles zu enthalten. Dies ist bei der drei bis vierfachen mittleren Fleckengröße in beiden Richtungen gegeben, das heißt das Objekt kann mit drei aneinanderliegenden Fenstern in seinen charakterisierenden Umrissen erfasst werden.
Anschließend wird für jeden einzelnen Bildpunkt des gesuchten Referenzmusters gegen jeden Bildpunkt des getesteten Zielobjektfensters jeweils die Abstandsquadratsumme der HSV-Werte berechnet und diesem Referenzpunkt der kleinste Wert als Abstand zugeordnet. Die Summe aller Abstände aller Referenzpunkte ist dann der Gesamtabstand dieser Objektfensterlage von dem Zielobjektmuster. Ausgehend von der mit dem 2. Farbklassifikator gemessenen Objektlage wird nun für das Zielobjektfenster in kleineren Unterfeldern 9 in einem Abstand von einem drittel der Fenstergröße um die Ausgangslage herum in allen 8 Positionen, in denen sich die kleineren Fenster um das mittlere Fenster der 3 × 3 Anordnung gruppieren die Abstandssumme wie oben beschrieben bestimmt. Die Position der Testgruppierung mit der absolut geringsten Abstandssumme wird dann als wahrscheinlichste wahre Position des gefundenen Bildobjektes gewertet und aufgezeichnet für die spätere Verwertung.
Die Klassifizierung des Zielobjektes kann in Variante 1 und Variante 2 noch weiter verfeinert werden. Hierzu wird das Zielobjektabtastfenster 2 in z. B. neun Teilfenster in einer 3 × 3 Anordnung aufgespaltet. Für diese Teilfenster werden wieder die Abstandssummen zu den korrespondierenden Teilfenster im Klassifikatorfenster berechnet. Dieser Vorgang wird nun, mit jeweils um eine Fensterbreite der Teilfenster längs des Umfanges versetzte Teilfenster wiederholt, bis alle acht möglichen Drehlagen erfasst sind. Bei der Drehung bildet das mittlere Fenster die Drehachse z, um die sich die anderen 8 Teilfenster drehen. In jeder Drehlage werden diese 8 Teilfenster 9 jeweils um eine Position in oder entgegen Uhrzeigersinn verschoben.
Die Drehlage mit der kleinsten Abstandssumme wird als wahrscheinlichste wahre Drehlage des gefundenen Zielobjektes gewertet und aufgezeichnet. Dieser Vorgang wird für jeden der zu suchenden Objektformtyp für jede der 4 möglichen Orientierungen wiederholt, d. h. bei 4 Objektformtypen z. B. PKW, LKW, Tragtier, Personengruppe bei 4 Orientierungen muss der Vorgang 16 mal wiederholt werden.
Die genannten 4 Orientierungen a, b, c, d ergeben sich bei einem Fenster in einer 3 × 3 Anordnung von Teilfenstern aus einer Anordnung wie sie in 3 dargestellt ist.
Der Objektformtyp mit dem geringsten Gesamtabstand wird als wahrscheinlichster Objektformtyp gewertet und aufgezeichnet, zusammen mit dem Objektformtyp (z. B. PKW, LKW, Tragtier, Personengruppe) des verwendeten Referenzobjektes, dem Farbmustertyp (einfarbig, Tarnfarbenmuster), und der mittleren Objektfarbe in ihren sechs kennzeichnenden Werten (Mittelwerte und Standardabweichungen), und der Orientierung im Raum, repräsentiert durch die gemessene Drehlage.
Bestimmung von Signaturen
Die in den beschriebenen Varianten der Farbklassifikatoren und Tarnfarbenklassifikatoren beschriebenen Verfahren können einerseits flächendeckend zur Suche nach Objekten mit bekannten Referenzmustern eingesetzt werden.
Andererseits können die Verfahren auch auf bereits erkannte Zielobjekte angewendet werden, um diese nach bekannten Zielobjektreferenzmustern zu klassifizieren. Mit dieser gefundenen Klassifizierung kann das tatsächlich vorgefundene Zielobjektmuster um die gefundene Zielposition aufgezeichnet werden, um eine kennzeichnende Signatur dieses spezifischen Zielobjektes zu erhalten. Mit Hilfe dieser Signatur kann das Zielobjekt in einer späteren Luftbildaufnahme desselben Gebietes bei einer inzwischen erfolgten Ortsveränderung gegenüber der ersten Aufnahme wiedergefunden werden, und das betreffende Objekt als bewegtes Objekt eingestuft werden, sowie Bewegungsrichtung und Geschwindigkeit des Zielobjektes gegenüber dem Hintergrund vermessen werden. Dazu werden alle Zielobjekte, die in der ersten Stereoaufnahme gefunden und mit ihrer Signatur aufgezeichnet wurden, in der (um maximal eine halbe Bildbreite verschobenen) zweiten Stereoaufnahme an derselben Stelle per Korrelation gesucht und festgestellt, welche Objekte wiedergefunden wurden, also stationär sind, und welche Objekte nicht mehr am alten Ort sind, sich also bewegt haben müssen. Diese mutmaßlich bewegten Objekte werden in der zweiten Stereoaufnahme in einem Umkreis, den das gesuchte Objekt zwischen den beiden Aufnahmezeiten erreicht haben könnte (unter Zuhilfenahme von realistischen Bewegungsgleichungen), an Hand der Zielobjektliste für die zweite Stereoaufnahme gesucht (durch Signaturvergleich mit Übereinstimmung). Wird das Objekt dabei gefunden, so kann aus der Ortsdifferenz und dem Zeitintervall die Geschwindigkeit und die Bewegungsrichtung des Objektes berechnet werden. Diese Ergebnisse ermöglichen es, die Zielobjektlisten aller Aufnahmen in einem Gesamtobjektdatensatz zusammenzufassen, und aus diesem durch Spurbildung der Bewegung der bewegten Objekte einen Gesamt-Trackdatensatz des beobachteten Gebietes anlegen, der durch wiederholten Überflug über das Gebiet auch zeitlich beliebig lange fortgeführt und aufrechterhalten werden kann. Wenn der Trackdatensatz über längere Zeit aufrechterhalten werden kann entsteht so ein vollständiges Verzeichnis der Objekte mit ihrer detaillierten Signatur, sowie ein Lagebild und ein Bewegungsprofil bezüglich der gefundenen Zielobjekte in dem beobachteten Gebiet.
Automatische Zielerkennung
Die gefundenen tatsächlichen Zielsignaturen und die gefundene Zielklassifizierung können in einem Nachbearbeitungsschritt am Boden zu der an Bord-Auswertung in der Luft dazu verwendet werden, die Referenzzielobjektmuster dahingehend zu verbessern, dass z. B. mit Hilfe eines Gradientensuchverfahrens das Referenzzielobjektmuster solange verändert wird, bis die Gesamtabstandssumme des Referenzzielobjektmusters zu allen positiv klassifizierten gefundenen tatsächlichen Zielobjektmustern einen Minimalwert erreicht. Der Maximalwert der dabei beobachteten, noch positiv klassifizierten Abstände zum neuen Referenzmuster wird dabei als Abstandsschranke festgehalten, die für eine erfolgreiche Klassifizierung nicht überschritten werden darf. Dieses errechnete neue Referenzmuster wird dann im folgenden als generalisiertes Zielobjektreferenzmuster mit der ermittelten Abstandsschranke für diese Klasse verwendet. Damit können die Zielobjektreferenzmuster durch Erfahrung aus der Auswertung der tatsächlich gefundenen Zielobjekte verbessert werden und machen das System in diesem Sinne lernfähig.
Eine weitere Anwendung ist, die vorhandenen Referenzzielobjektmuster durch Einfügen neuer Muster zu ergänzen, wenn erkannt wird, dass sich die gefundenen Zielobjekte in zwei Gruppen mit kleineren zulässigen Abstandsschranken aufspalten lassen, die dann als Klassifikatoreinstellung selektiver klassifizieren als die ursprünglichen.
Die gefundenen Zielobjekte, die immer noch einen Anteil an Falschzielen enthalten, können im weiteren mit einem Verfahren zur automatischen Zielerkennung (ATR) über die Objektform nach gelernten Referenzformen untersucht werden. Dieses ATR-Verfahren können üblicherweise nur einfarbige Helligkeitsbilder (Grauwertmuster) verwerten.
In einer Weiterbildung der Erfindung wird das ATR-Verfahren modifiziert, um auch mehrfarbige, z. B. drei oder vier Farbachsen umfassende multispektrale Farbräume, und daraus zusammengesetzte komplexe Farbmuster zu erkennen.
Dies geschieht zweckmäßig dadurch, dass statt dem Helligkeitswert die normierte Abstandssumme über alle Spektralfarben des Farbraumes von einer passend gewählten Zielobjektreferenzfarbe invertiert (d. h. der auf eins normierte Wert von eins subtrahiert wird) als Helligkeitswert eingesetzt wird. Dadurch kann das ATR-Verfahren komplexe Farbmuster erkennen und trennen, die sich alleine in ihren Helligkeitswerten überhaupt nicht unterscheiden und damit nach den Helligkeitswerten alleine nicht trennbar sind.
Höhenbestimmung
Liegen von demselben Zielgebiet zwei Aufnahmen mit einem verwertbaren Stereowinkel (Winkel der Bildachsen der beiden Bilder) vor, so kann in einer Weiterbildung der Erfindung von den gefundenen stationären Zielobjekten eine Höhenmessung vorgenommen werden, wenn einer der berechneten Zieldurchmesser in Richtung der erwarteten Stereoverschiebung des untersuchten Objektes liegt. Dazu wird ein Bereich längs der Zeile/Spalte in dem ersten Bild, der das Objekt vollständig überdeckt, Bildpunkt für Bildpunkt über das das zweite Bild geschoben, und für jede Position die Summe der Abstandsquadrate in HSV für das Fenster im 1. Bild und im 2. Bild berechnet. Die Position mit der geringsten Abstandssumme ist dann die wahrscheinlichste Position des Objektes in dem 2. Bild. Unter Berücksichtigung des Stereowinkels kann daraus die gemessene Höhe des Objektes über dem Hintergrund berechnet werden.
Dies kann bei Verwendung einer Linescanner-Kamera oder einer nicht-stabilisierten Full-frame-Kamera bereits mit den nicht rektifizierten Rohdaten ausgeführt werden. Damit wird zweckmäßig erreicht, dass eine Stereohöhe über Hintergrund Vermessung der interessierenden Ziel-Objekte bereits im Flug direkt nach der Aufnahme mit Bordmitteln erzielt werden kann, und nicht erst nach dem Flug am Boden nach der zeitaufwendigen Rektifizierungsrechnung. Dadurch kann direkt nach der Aufnahme das Bildmaterial nach Zielen abgesucht werden, die eine gemessene Höhe haben, und man kann damit Falschziele, die keine ausreichende Höhe haben, aus der weiteren Bearbeitung ausschließen. Dadurch kann die Stereohöhenvermessung von Zielobjekten auch in laufenden Überwachungsflügen zur sofortigen Bildauswertung eingesetzt werden, was die Wirksamkeit der Überwachung wesentlich verbessern kann, ohne den Aufwand übermäßig zu steigern, z. B. können so getarnte Ziele leichter erkannt werden oder flache Abbildungen von Objekten von echten höhebehafteten Objekten unterschieden werden.

Claims

Verfahren zur Auswertung von Bilder in einer Multispektralkamera, gekennzeichnet, durch folgende Schritte: Übertragen von digitalen Multispektralbilddaten von einer Bildsensoreinheit zu einer Verarbeitungseinheit der Aufnahmevorrichtung, Erzeugen eines Farbhistogramms im HSV-Farbraum für jeden Bildpunkt eines von der Bildsensoreinheit erzeugten digitalen Multispektralbildes, Skalierung der Helligkeitswerte der einzelnen Bildpunkte, datenbankgestützte Ermittlung und Markierung der Übergangspunkte zwischen einem Zielobjekt und dem Hintergrund.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt des Erzeugens eines Farbhistogramms für jeden Bildpunkt das Berechnen des Mittelwerts des Farbtons, der Farbsättigung und der Helligkeit des jeweiligen Bildpunktes sowie die Berechnung der jeweiligen statistischen Standardabweichung enthält.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schritt Skalierung der Helligkeitswerte der einzelnen Bildpunkte das Berechnen eines Mittelwerts und seiner Standardabweichung der Helligkeit einer vorgebbaren Anzahl von zusammenhängenden Bildpunkten einer Zeile/Spalte sowie eines Skalierungsfaktors, welcher sich aus dem Quotienten der Summe des Mittelwertes mit der Standardabweichung und des Mittelwertes berechnet, enthält, wobei der Skalierungsfaktor nur auf diejenigen Bildpunkte angewendet wird, welche in die jeweilige Mittelwertbildung eingegangen sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt Ermittlung von Zielobjekten die Berechnung eines Satz von Differenzwerten der Farbe und Textur des zu untersuchenden Bildpunktes und der mittleren Farbe und Textur einer Anzahl von bezüglich des zu untersuchenden Bildpunktes in der gleichen Zeile/Spalte jeweils vor/darüber und dahinter/darunter direkt benachbarter Bildpunkte, wobei die Farbe gekennzeichnet ist durch die Mittelwerte von Farbton, Farbsättigung und Helligkeit und die Textur gekennzeichnet ist durch die Standardabweichungen von Farbton, Farbsättigung und Helligkeit, und das Vergleichen der Sätze von Differenzwerten der einzelnen Bildpunkte mit vorgebbaren Referenzsätzen von Zielobjektfarben, -texturen und Hintergrundfarben, -texturen enthält, wobei ein Bildpunkt als ein Übergangs-Bildpunkt zwischen Hintergrund und Zielobjekt markiert wird, wenn die Differenzwerte einem Referenzsatz für ein Hintergrund-Ziel-Übergang entsprechen und ein Bildpunkt als ein Übergangs-Bildpunkt zwischen Zielobjekt und Hintergrund markiert wird, wenn die Differenzwerte einem Referenzsatz für ein Ziel-Hintergrund-Übergang entsprechen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt Ermittlung von Zielobjekten das zeilen-/spaltenweise Verschieben zweier in einer Zeile/Spalte angeordneten durch eine vorgebbare Anzahl von Bildpunkten beabstandeten zweidimensionalen Abtastfensters (2, 3) über das digitale Multispektralbild (8), wobei das Zielobjekt-Abtastfenster (2) ein vorgebbares Referenzbild (4) eines Farbenmusters eines Zielobjektes und das Hintergrund-Abtastfenster (3) ein vorgebbares Referenzmuster (5) eines Farbenmusters eines Hintergrundes enthält, das Berechnen eines Satzes von Abstandsquadratsummen der HSV-Werte jedes Bildpunktes des Zielobjekt-/Hintergrund-Abtastfensters (2, 3) zu jedem Bildpunkt eines der Größe entsprechenden Zielobjekt-/Hintergrundfensters (7, 7a) auf dem digitalen Multispektralbild (8), wobei dem Bildpunkt des Zielobjekt-/Hintergrund-Abtastfensters (2, 3) der jeweils kleinste Wert des Satzes von Abstandsquadratsummen zugewiesen wird, das Berechnen des Gesamtabstandes des Zielobjekt-/Hintergrundfensters (7, 7a) zu dem Zielobjekt-/Hintergrund-Abtastfenster (2, 3) aus der Summe der Einzelabstände der einzelnen Bildpunkte, enthält, wobei die Lage des Zielobjekt-/Hintergrundfensters (7, 7a) auf dem digitalen Multispektralbild (8) als Lage eines Zielobjektes definiert wird, wenn der Abstand des Zielobjekt-Abtastfensters (2) zum Zielobjektfenster (7) kleiner ist als der Abstand des Hintergrund-Abtastfensters (3) zum Zielobjektfenster (7) und der Abstand des Zielobjekt-Abtastfensters (2) zum Hintergrundfenster (7a) größer ist als der Abstand des Hintergrund-Abtastfensters (3) zum Hintergrundfenster (7a) und der Abstand des Zielobjekt-Abtastfensters (2) zum Zielobjektfenster (7) kleiner ist als ein vorgebbarer Schwellwert.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Zielobjekt-/Hintergrundabtastfenster (2, 3) und die zugehörigen Farbmuster (4, 5) des Zielobjektes und des Hintergrundes in eine vorgebbare Anzahl von Teilfenster unterteilt werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Orientierung (a, b, c, d) eines Zielobjekts bestimmt wird durch die Drehung des in mehrere Teilfenster unterteilte Zielobjektfensters (2) mit dem zugehörigen Farbmuster (4) um eine Drehachse z
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Schritt Ermittlung von Zielobjekten die Untersuchung aufeinander folgender Übergangs-Bildpunkte enthält, wobei auf ein zwischen zwei Übergangs-Bildpunkten befindliches Zielobjekt entschieden wird, wenn in einer Zeile/Spalte ein Ziel-Hintergrund-Übergang direkt auf einen Hintergrund-Ziel-Übergang ohne dazwischenliegende Übergänge folgt.
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass der Schritt Ermittlung von Zielobjekten eine Klassifikation der Übergangs- Bildpunkte enthält, wobei entlang der Zeile/Spalte eine vorgebbare Anzahl von zu untersuchenden Bildpunkten vor/über und nach/unter einem ermittelten Übergangs-Bildpunkt eine Klassifikation der Farbe des Übergangs-Bildpunktes nach Farben eines vorgebbaren Farbensatzes von Zielobjekt- und Hintergrundübergängen durchgeführt wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass der Schritt Klassifikation von Übergangs-Bildpunkten die Berechnung der normierten Abstandsquadrate der HSV-Werte der einzelnen Farben des vorgebbaren Farbensatzes zu dem HSV-Wert jedes zu untersuchenden Bildpunktes enthält, wobei jedem zu untersuchenden Bildpunkt jeweils das niedrigste normierte Abstandsquadrat zugeordnet wird und wobei derjenige Bildpunkt als neuer Übergangs-Bildpunkt markiert wird, dessen normiertes Abstandsquadrat am geringsten ist.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass mittels zweier unter einem vorgebbaren Stereowinkel aufgenommener Multispektralbilder die Höhe eines Zielobjektes bestimmt wird ohne vorher eine Rektifizierung des Bildes vorzunehmen.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass mittels zweier unter einem vorgebbaren Stereowinkel aufgenommener Multispektralbilder die Geschwindigkeit und die Bewegungsrichtung eines Zielobjektes berechnet wird ohne vorher eine Rektifizierung des Bildes vorzunehmen.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass der Schritt der Höhenbestimmung eines Zielobjekts den Schritt enthält, dass ein Bereich im ersten Multispektralbild, welcher das Zielobjekt vollständig beinhaltet, längs der Zeile/Spalte im ersten Multispektralbild über das zweite Multispektral bild Bildpunkt für Bildpunkt geschoben und für jede Position unter voller Ausnutzung des Spektralkontrastes die Summe der Abstandsquadrate zwischen den HSV-Werten im ersten Multispektralbild zu den HSV-Werten im zweiten Multispektralbild berechnet wird, wobei die Position mit der geringsten Abstandsquadratsumme als die wahrscheinlichste Position des Zielobjekts im zweiten Multispektralbild angenommen wird.
Verfahren nach einem der vorangehenden Ansprüche 4–13, dadurch gekennzeichnet, dass jedes ermittelte Zielobjekt mit einem Verfahren zur automatischen Zielerkennung über die Objektform nach gelernten Referenzmustern untersucht wird.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass für jeden Bildpunkt des ermittelten Zielobjektes die normierte Abstandsumme zu einem vorgebbaren multidimensionalen und multispektralen Farbraum berechnet, diese Abstandssumme von einer vorgebbaren Zielobjektreferenzfarbe subtrahiert und dieses Ergebnis als Helligkeitswert für den Bildpunkt verwendet wird.
Verfahren nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass das Verfahren zur automatische Zielerkennung mittels eines neuronalen Netzwerkes durchgeführt wird.
Multispektralkamera zur Überwachung von Zielobjekten mit einer digitalen Bildsensoreinheit zur Aufnahme von Bildern und zur Erzeugung von digitalen Multispektralbilddaten und einer Verarbeitungseinheit zum Verarbeiten der von der Bildsensoreinheit an die Verarbeitungseinheit übergebenen Multispektralbilddaten, dadurch gekennzeichnet, dass die Verarbeitungseinheit eine Berechnungseinheit zur Berechnung eines Farbhistogramms im HSV-Farbraum für jeden Bildpixel eines digitalen Bildes und ei nen Klassifikator zur datenbankgestützten Erkennung von Grenzen zwischen Zielobjekten und Zielobjekthintergrund umfasst.
Multispektralkamera nach Anspruch 17, dadurch gekennzeichnet, dass zur datenbankgestützten Erkennung von Grenzen zwischen Zielobjekten und Zielobjekthintergrund eine Zielobjektreferenzfarbtabelle und eine Hintergrundreferenzfarbtabelle vorhanden ist.
Multispektralkamera nach Anspruch 17, dadurch gekennzeichnet, dass die Multispektralkamera eine Multispektral-Stereokamera ist, und eine Berechnungseinheit zur Bestimmung der Höhe eines Zielobjektes aus zwei mit einem Stereowinkel aufgenommenen Multispektralbildern vorhanden ist.