-
Die
vorliegende Erfindung betrifft ein Verfahren zum dynamischen Verfolgen
der Entwicklung von verformbaren Milieus und zur Vorhersage ihrer
Entwicklung.
-
In
Bereichen wie der Flugverkehrkontrolle ist es von Bedeutung, dass
nicht nur die Flugbahnen von Luftfahrzeugen im Hinblick auf ihre
Kontrolle verfolgt werden, sondern dass auch die Witterungsverhältnisse
im Aktionsradius der diese Kontrolle erlaubenden Instrumente bekannt
sind und insbesondere, dass Wolkenformationen, die für die Insassen
der Luftfahrzeuge gefährlich
oder einfach nur unangenehm sein können, erkannt und lokalisiert
werden. Hierzu werden im allgemeinen Wetter-Radare eingesetzt, deren
Echobilder nach Unterdrückung
der von festen Hindernissen hervorgerufenen Echos am Display der
Steuerzentrale angezeigt werden. Die menschliche Interpretation
derartiger Bilder ist oft komplex, und mit diesen Bildern können keine
Vorhersagen der Entwicklung dieser Wolkenformationen gemacht werden.
Außerdem
muss ein Flugverkehrlotse die Witterungsverhältnisse und deren Entwicklung
kennen, um den Kurs der Flugzeuge, mit deren Kontrolle er beauftragt
ist, optimieren zu können
und um die eventuellen, vom Kommandanten zur Umgehung von Wolkenformationen,
die er für
gefährlich hält, beschlossenen
Kursänderungen
zu verstehen. Aus dem in IEEE International Conference on Image Processing – I.C.I.P.
96, Lausanne (Schweiz) im September 1996 unter dem Titel „Motion
Based Segmentation and Tracking of Dynamic Radar Clutter" veröffentlichten
Artikel von F. BARBARESCO, S. BONNEY, J. LAMBERT und B. MONNIER
ist ein Verfahren zur Verarbeitung derartiger Bilder durch modellbasierte
Bestimmung aktiver Konturen bekannt, das jedoch zwei Nachteile aufweist:
es fordert eine zu hohe Berechnungszeit und es bearbeitet keine
komplexen Deformationen (sondern nur solche, die durch ein affines
Deformationsmodell approximiert werden können).
-
Gegenstand
der vorliegenden Erfindung ist ein Verfahren zum dynamischen Verfolgen
der Entwicklung von verformbaren Milieus, mit dem es möglich ist,
dieses Verfolgen durchzuführen
und relativ zuverlässige
Vorhersagen zur Entwicklung ihrer Deformation zu machen, ohne dass
dazu eine zu hohe Berechnungszeit erforderlich ist.
-
Das
erfindungsgemäße Verfahren
zum dynamischen Verfolgen von verformbaren Milieus besteht darin,
auf der Basis von mindestens zwei zeitlich beabstandeten Bildern,
die durch zumindest einen Aufnehmer erhalten werden, für jedes
Bild das Skelett von jeder unterscheidbaren Einheit dieses Milieus
zu erstellen und eine Zuordnung der Skelette der betreffenden Bilder
zueinander durchzuführen.
-
Zur
Durchführung
der Zuordnung werden die Skelette der verarbeiteten Bilder vektorisiert,
die Vektoren dieser Skelette paarweise untersucht, und es wird versucht,
jedes Mal zwei Vektoren zu paaren, die die im Wesentlichen gleichen
geometrischen Eigenschaften besitzen. Auf der Basis dieser gepaarten
Skelette können
die Skelette der Einheiten und gegebenenfalls die entsprechenden
Einheiten rekonstruiert werden.
-
Vorteilhafterweise
wird vor der Erstellung der Skelette eine Bildvorverarbeitung durchgeführt, wobei
diese Vorverarbeitung Prozesse wie Filterung (Frequenzfilterung
und/oder morphologische Filterung), Filterung bezüglich Grenzwert,
Eliminierung von für
das gestellte Problem uninteressanten Bildbestandteilen umfassen
kann. Zur Erleichterung der Verarbeitung können die Skelette vorteilhafterweise durch
Vektorisierung (Verdünnung
und/oder Ermittlung von Punkten, an denen die für die Skelette repräsentativen
Kurven eine Krümmung
aufweisen, die größer ist
als ein vorgegebener Wert mit anschließender Linearisierung) und/oder
Eliminierung von Artefakten oder insignifikanten Mustern vereinfacht werden.
-
Gemäß einem
Aspekt der Erfindung wird eine Kartographie der Verschiebungsvektoren
für zumindest
einen interessanten Bereich der bearbeiteten Bilder erstellt.
-
Gemäß einem
weiteren Aspekt der Erfindung wird auf der Basis der Verschiebungsvektoren und
auf der Basis des Skelettes ein Vorhersagebild rekonstruiert. Eine
weitere Möglichkeit
der Vorhersagebildrekonstruktion besteht darin, auf der Basis der Verschiebungsvektoren
der Skelette die Verschiebung jedes einzelnen Bildpixels zu berechnen
und auf der Basis der neuen Vorhersagestellen die Pixel des Vorhersagebildes
zu rekonstruieren.
-
Gemäß einem
weiteren Aspekt des erfindungsgemäßen Verfahrens werden zumindest
einem Teil der Pixel von mehreren zeitlich beabstandeten Bildern
Attribute zugeordnet, die Eigenschaften der entsprechenden Bereiche
bestimmt und damit die Information zur Entwicklung der Bereiche
und/oder ihrer Art verfeinert. Diese Attribute sind insbesondere: die
Entwicklung der Oberfläche
oder des Volumens der verformbaren Milieus, ihre Dichte, die lokale
Variation der Dichte im Innern dieser Milieus.
-
Die
vorliegende Erfindung wird nachfolgend anhand der Beschreibung einer
nur als Beispiel und nicht einschränkend geltenden Ausführungsform
unter Zuhilfenahme der beigefügten
Zeichnung näher erläutert. Es
zeigen:
-
1 ein
vereinfachtes Schema eines Wetter-Radar-Anzeigebildschirmes, auf dem die
erfindungsgemäß erstellten
Skelette von mehreren Wolkenformationen dargestellt sind,
-
2 schematische
Ansichten der erfindungsgemäßen Zuordnungen
der zeitlich verschobenen Radarbildskelette zueinander, und zwar
für ver- schiedene
Fälle der
Entwicklung der Wolkenformationen.
-
Die
Erfindung wird im Folgenden im Hinblick auf die Anwendung bei Wetter-Radaren
ausführlich erläutert. Die
Erfindung ist dabei selbstverständlich nicht
nur auf diese eine Anwendung beschränkt und kann in zahlreichen
weiteren Bereichen zur Durchführung
des dynamischen Verfolgens von verformbaren Milieus eingesetzt werden,
für die
Daten (zum Beispiel: Signalformen, Bilder ...), die durch zumindest
einen Aufnehmer erhalten werden, zur Verfügung stehen können, und
deren Entwicklung gegebenenfalls vorhergesagt werden soll. Unter „verformbarem
Milieu" versteht
man hier ein Ensemble von Partikeln und/oder Gruppen von Partikeln
und/oder Ensembles von Gegenständen
und/oder von Organismen, die gasförmig und/oder flüssig und/oder
fest sein können,
wobei sich diese Elemente zeitlich ungleich entwickeln, mit Deformationsgradienten,
die sich zeitlich und/oder von Ensemble zu Ensemble variieren können.
-
Unter
den verschiedenen weiteren Bereichen, in denen die Erfindung zur
Anwendung kommt, seien genannt:
- – die Raumbeobachtung:
Verfolgen der natürlichen
und/oder durch den Menschen hervorgerufenen Phänomene, wie zum Beispiel Überschwemmungen,
Schneedecke, Desertifikation der kulturfähigen Böden bzw. deren Bebauung, Verschmutzung
der Flüsse
und Meere (durch Kohlenwasserstoffe, ...), ...
- – die
Ozeanografie: Verfolgen der Entwicklung des Temperaturgradienten
der Ozeane (Fronten, Wirbel, Unterwasserströmungen, ...) auf Infrarot-Raumbildern
oder mit nahem Ultraviolett (aufgrund des Phytoplanktons). Die erzielten
Informationen sind interessant für
die Meeresmeteorologie sowie für
die Modellisierung der Aussendung von Sonarwellen (U-Boot-Kommunikation
und -Ortung, ...),
- – der
medizinische Bereich: zur Verarbeitung von medizinischen Bildern
(MRI, Tomographie, ...) zum Verfolgen von Pathologien: Untersuchen
der Herzdynamik, Verfolgen der zerebralen Aktivität, Verfolgen
der Tumorentwicklung, ...
- – Mechanik
der Fluide: Verfolgen der Spiralen (durch Färbung) von instationären Strömungen wie
sie entlang einer Wand oder beim Einspritzen von Kraftstoff in einen
Brennraum auftreten, ...
-
1 zeigt
die Konturen von einigen Wolkenformationen 1, wie sie mit
Hilfe eines Wetter-Radars erfasst und an einem Bildschirm, zum Beispiel einem
Bildschirm einer Luftverkehr-Kontrollstation angezeigt werden. Das
dabei angezeigte Bild wurde in an sich bekannter Weise vorbearbeitet,
um gegebenenfalls unerwünschte
(auf das Relief, die Dünung,
feste Hindernisse zurückzuführende)
Bodenechos zu unterdrücken.
-
Für jede Wolkenformation
wurde ein entsprechendes Skelett 2 erstellt. Selbstverständlich werden dabei
Wolkenformationen 3 von vernachlässigbarer Radarreflexionsintensität, die zu
dem betrachteten Zeitpunkt kein Risiko darstellen können, ignoriert.
Die Berechnung der Skelette der geschlossenen Konturen ist an sich
bekannt: es kann zum Beispiel ein Algorithmus von Danielson (siehe
den in der Zeitschrift Computer Graphics & Image processing, Band 14, Seiten
227–248,
1980 veröffentlichen
Artikel „Euclidean
Distance Mapping")
oder ein Algorithmus der letzten Erosion (mathematische Morphologie)
hinzugezogen werden.
-
Man
beachte, dass die oben erwähnten
Bilder zweidimensional sind. Selbstverständlich ist es jedoch möglich, zur
Erzielung von dreidimensionalen Informationen zum Beispiel eine
Folge von parallel zueinander liegenden zweidimensionalen Bildern (die
die Wolkenmassen in „Scheiben" zerlegen) zu untersuchen
oder Skelette in 3D zu verarbeiten.
-
Dieser
erste Schritt kann dazu eingesetzt werden, um die auf ein Bild bezogenen
Daten zu komprimieren. Hierfür
genügt
es, wenn die Skelette der einzelnen Einheiten des Bildes wie oben
beschrieben erstellt und die auf diese Skelette bezogenen Informationen
beibehalten werden. Natürlich
hat eine derartige Kompression einen bestimmten Datenverlust zur
Folge.
-
Im
Folgenden wird der zweite Schritt des erfindungsgemäßen Verfahrens
beschrieben, nämlich die
Zuordnung der erhaltenen Skelette zueinander bei aufeinanderfolgenden
Bildern ein- und desselben Bereichs des Raums.
-
2 zeigt
drei derartige aufeinanderfolgende, mit 4, 5 und 6 gekennzeichnete
Bilder, die sich auf Wolkenphänomene
beziehen, die jeweils von einem Wetter-Radar zu den Zeitpunkten
t–Δt, t, t +Δt (t = Zeitpunkt,
der angesetzt wird, um die aktuelle Situation zu analysieren) erfasst
werden. Im vorliegenden Fall entspricht der Zeitraum Δt einigen
Minuten, zum Beispiel 5 Minuten. Selbstverständlich kann je nach beobachteten
Phänomenen
und je nach Anwendungsbereich des Verfahrens in Abhängigkeit der
Entwicklungsgeschwindigkeit der betreffenden Phänomene und der geforderten
Auflösung
auch ein anderer Zeitraum gewählt
werden.
-
In
Bild 5 bezüglich
Zeitpunkt t sind die Konturen von zwei Wolkenformationen 7, 8 dargestellt. Hieraus
ist ersichtlich, dass in dem einige Minuten vor dem Zeitpunkt t,
d. h. zum Zeitpunkt t–Δt erstellten
Bild 4, die Formationen 7 und 8 auch
sichtbar, jedoch näher
beieinander sind als zum Zeitpunkt t, und etwas kleinere Abmessungen
aufweisen als die gleichen Formationen zum Zeitpunkt t.
-
Zur
Durchführung
des erfindungsgemäßen Verfahrens
werden zunächst
die jeweiligen Skelette 9, 10 der Formationen 7, 8 für den Zeitpunkt
t–Δt und 11, 12 für den Zeitpunkt
t erstellt. Anschließend
wird die „Zuordnung" dieser Skelette
zueinander vorgenommen. Hierzu werden wie in 2 didaktisch
dargestellt, die entsprechenden Enden 9 bis 12 durch Vektoren 13 bis 16 verbunden,
wobei die Bilder 4 und 5 nebeneinander angeordnet
sind und sich Bild 5 rechts neben Bild 4 befindet.
Dabei verbindet der Vektor 13 das „obere" Ende des Skelettes 9 mit demjenigen
des Skelettes 11, der Vektor 14 das „untere" Ende des Skelettes 9 mit
demjenigen des Skelettes 11, wobei bei den Skeletten 10 und 12 auf
die gleiche Art und Weise verfahren wird, um die Vektoren 15 und 16 zu
erhalten. Das Beispiel von 2 ist stark vereinfacht,
da die Skelette 9 bis 12 nahezu geradlinig sind,
wobei natürlich
bei Skeletten mit komplexeren Formen auf ähnliche Weise verfahren wird,
indem die entsprechenden charakteristischen Punkte der Skelette
(Enden und Verbindungspunkte von Skelettsegmenten) durch eine größere Anzahl
von Vektoren verbunden werden. Die Einzelheiten der Durchführung dieser
Zuordnung sind an sich bekannt, zum Beispiel durch den Artikel von
S. LEGOUPIL et al., „Matching
of Curvilinear Structures: Application to the Identification of
Cortical Sulci on 3D magnetic Resonance Brain Image", Pattern Recognition in
Practice IV, E.S. Gelsema & L.N.
Kanal, pp. 185–195,
Elsevier Science B.V., 1994.
-
Zur
Erstellung des Skelettes des Zeitpunktes t +Δt (von Bild 6, rechts
neben Bild 5 angeordnet) wird jeder Vektor 13 bis 16 jeweils
um sich selbst verlängert.
Somit erhält
man die Vektoren 17 bis 20. Durch Verbinden der
Enden der Vektoren 17 und 18 erhält man das
Skelett 21, und durch Verbinden der Enden der Vektoren 19 und 20 erhält man das
Skelett 22. Im Fall der 2 weichen
die Vektoren 13 und 14 geringfügig nach rechts ab, wie auch
die Vektoren 15, 16, wodurch die Skelette 11, 12 jeweils
geringfügig länger sind
als die Skelette 9, 10. Daraus ergibt sich, dass
die Skelette 21, 22 jeweils größer sind als Skelette 11, 12 und
dass die entsprechenden Wolkenformationen folglich von (t–Δt) bis (t)
und von (t) bis (t +Δt)
größer werden.
Selbstverständlich
ist das Bild 6 nur eine zum Zeitpunkt (t) berechnete Vorhersage und
kann gegebenenfalls mit Hilfe der zum Zeitpunkt (t +Δt) durchgeführten Messungen
korrigiert werden, um Vorhersagen für den Zeitpunkt (t +2Δt) berechnen zu
können.
-
Das
Bild 6 von 2 wurde für das oben beschriebene Beispiel
durch lineare Extrapolation erhalten, doch sind natürlich auch
andere, nicht lineare Arten von Extrapolationen möglich, insbesondere wenn
festgestellt wird, dass sich die Vorhersagebilder von den gemessenen
Bildern aufgrund eines Entwicklungsgradienten der Größe der Skelette
und Deformationen stark voneinander unterscheiden, und natürlich können bei
Auftreten starker Entwicklungsgradienten die Zeitintervalle Δt verringert
und bei Variation der Gradienten die Extrapolation adaptiv angepasst
werden.
-
In
anderen Fällen
ist es möglich,
dass Wolkenbildungen verschwinden (oder dass die Amplitude ihres
Radarechos vernachlässigbar
wird). Ihre Darstellungen auf den Bildern verschwinden auch, wodurch
gegebenenfalls die Vorhersagen hinsichtlich der benachbarten Bereiche
korrigiert werden können.
Umgekehrt können
Wolkenformationen erscheinen, und sobald die Amplitude ihres Radarechos
einen versuchsweise bestimmten Wert übersteigt, kann das entsprechende
Skelett erstellt und in Abhängigkeit
von der Entwicklung dieser Wolkenmassen geändert werden.
-
Selbstverständlich können die
im Hinblick auf die Erstellung der Skelette zu verarbeitenden Bilder
verschiedene geeignete Vorverarbeitungsprozesse durchlaufen. Unter
diesen Vorverarbeitungsprozessen seien genannt: Filterung bezüglich Grenzwert
und Frequenzfilterung und/oder morphologische Filterung zur Eliminierung
der Störgeräusche wie
sie zum Beispiel durch das Grundrauschen hervorgerufen werden, Elimination
von für
das gestellte Problem uninteressanten Bildbestandteilen (insbesondere
Elimination der statischen Bestandteile der Bilder).
-
Die
erhaltenen Skelette können
durch Vektorisierung (Verdünnung,
Ermittlung von Punkten mit starker Krümmung des Skelettes, Linearisierung) vereinfacht
werden, und insignifikante Muster oder einzelne Artefakte können eliminiert
werden.
-
Auf
der Basis dieser so erhaltenen Skelette können, falls erforderlich, auf
einfache und an sich bekannte Weise die entsprechenden Konturen
der Wolkenformationen erstellt werden. Oben wurde beschrieben wie
ein Vorhersagebild auf der Basis der Vorhersageskelette rekonstruiert
wird. Eine weitere Möglichkeit
besteht darin, das Feld von Verschiebungsvektoren (wie zum Beispiel
die Vektoren 17 bis 20 der 2) zu benutzen
und diese Verschiebungsvektoren auf alle Pixel des Bildes (oder
zumindest auf alle Pixel der Bereiche, in denen sich Wolkenformationen
entwickeln können)
anzuwenden. Das Vorhersagebild wird dann dadurch rekonstruiert,
indem die Pixel an ihrer neuen, von diesen Vektoren bestimmten Stelle
platziert werden.
-
Die
oben beschriebenen Vorgänge
können selbstverständlich auch
in drei Dimensionen (3D) durchgeführt werden. In diesem Fall
wird entweder der beobachtete Raum in parallel zueinander liegende
und senkrecht zur Beobachtungsrichtung verlaufende „Scheiben" eingeteilt, oder
die vom Radar abgegebenen Daten sind in 3D-Form (für einzelne
Felder Abstand und verschiedene Höhenwinkel gemachte Aufnahmen).
-
Auf
diese Weise wird mit dem erfindungsgemäßen Verfahren die Forminformation
(Form der Wolken im oben beschriebenen Beispiel) komprimiert (zur
Kodierung der Skelette sind weniger Daten erforderlich als bei den
bekannten Verfahren), wodurch die Bilder schneller verarbeitet werden
können.
Die Verschiebungen und Deformationen der Wolken können auf
einfachere Weise analysiert und extrapoliert werden bei gleichzeitig
zuverlässigeren
Vorhersagen. Die Darstellung in Form einer polygonalen Approximation
des Skelettes (insbesondere des Skelettrumpfes) ist stationärer als
bei der Darstellung in Form einer polygonalen Approximation der
Konturen. Diese Vorteile kommen auch den Anwendungsbereichen, von
denen einige oben erwähnt
wurden, zugute.