DE69328886T2 - Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten - Google Patents

Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten

Info

Publication number
DE69328886T2
DE69328886T2 DE69328886T DE69328886T DE69328886T2 DE 69328886 T2 DE69328886 T2 DE 69328886T2 DE 69328886 T DE69328886 T DE 69328886T DE 69328886 T DE69328886 T DE 69328886T DE 69328886 T2 DE69328886 T2 DE 69328886T2
Authority
DE
Germany
Prior art keywords
image
pixel
contours
convolution
tracking method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69328886T
Other languages
English (en)
Other versions
DE69328886D1 (de
Inventor
Patrick Garrec
Veronique Reboux
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thomson CSF SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson CSF SA filed Critical Thomson CSF SA
Application granted granted Critical
Publication of DE69328886D1 publication Critical patent/DE69328886D1/de
Publication of DE69328886T2 publication Critical patent/DE69328886T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

  • Die vorliegende Erfindung betrifft ein Verfolgungsverfahren, welches von Bildern verformbarer Elemente und/oder stark verrauschten Konturen ausgeht.
  • Ein besonderer Anwendungsbereich der Erfindung besteht in der Verfolgung meteorologischer Störungen anhand von Bildern, die beispielsweise von einem Radarschirm stammen. Wolken sind verformbare Elemente, deren Form sich zeitlich im Verhältnis zu den Geschwindigkeiten vorhandener Bildverarbeitungen langsam verändert und deren Geschwindigkeit und Beschleunigung im wesentlichen bekannt sind. Die Formveränderung der Wolken erschwert die Wiedererkennung ein und derselben Wolke von einem Bild zum nächsten, wobei diese Schwierigkeit noch größer ist, wenn die Geschwindigkeit einer Wolke berechnet werden soll. Andererseits sind die Konturen von Wolken im allgemeinen sehr verrauscht und, um sämtliche Informationen entnehmen zu können, ist es wichtig, diese Konturen soweit wie möglich zu verfeinern.
  • Ein Dokument Patent Abstracts of Japan, Bd. 15, Nr. 268 (P-1224) vom 8. Juli 1991 sowie JP-A-3089190 (SHIMADZU CORPO- RATION) beschreiben ein Bildverarbeitungsverfahren, das ermöglicht, die Richtigkeit einer Sofortdiagnose zu verbessern.
  • Das Ziel der vorliegenden Erfindung ist es, ein Verfahren zu schaffen, das ermöglicht, in einfacher Weise geschlossene und sehr feine Konturen von Objekten zu extrahieren, um eine Wiedererkennung der Form der Objekte von einem Bild zum nächsten ausführen zu können und um daraus auf ihre Geschwindigkeiten zurückzuschließen.
  • Genauer betrifft die Erfindung ein Verfahren zur Verfolgung von formveränderlichen Elementen und/oder stark verrauschten Konturen, wie durch den Anspruch 1 definiert ist.
  • Das Verfahren ist besonders geeignet zur Verfolgung von Objekten, die bezüglich zweier aufeinanderfolgender Bilderfassungen langsam formveränderlich sind (für Wolken hängt dies von der Rotationsbewegung der Radarantenne ab).
  • Die Erfindung wird besser verständlich anhand der folgenden Beschreibung, die auf die beigefügten Figuren Bezug nimmt.
  • Fig. 1 ist allgemeines Blockschaltbild des Verfahrens gemäß der Erfindung.
  • Fig. 2 ist ein Blockschaltbild der Vorverarbeitung 1 von Fig. 1.
  • Fig. 3 ist ein weiteres mögliches Blockschaltbild der Vorverarbeitung.
  • Fig. 4 zeigt die Schritte, die zur Extraktion der Konturen auszuführen sind.
  • Fig. 5 zeigt die Reihenfolge, in welcher jedes Pixel einer Kontur gemäß der Erfindung getestet werden soll.
  • Fig. 1 zeigt ein Blockschaltbild des Verfahrens gemäß der Erfindung; ein Blockschaltbild, in dem die Hauptschritte des Verfahrens gemäß der Erfindung dargestellt worden sind. Jeder Schritt wird nachfolgend mit Bezug auf weitere Figuren im einzelnen ausgeführt:
  • Nach Fig. 1 besteht die Eingangsgröße, auf welche das Verfahren gemäß der Erfindung angewandt wird, aus einem Bild von N Zeilen und M Spalten, das aus einer Anzahl N · M von Elementarpunkten oder Pixeln gebildet ist. Das Bild enthält Objekte, die vorzugsweise langsam formveränderlich sind, typisch Wolken, von denen bestimmte Parameter gewonnen werden sollen, wie später genau ausgeführt werden wird. Es wird vorausgesetzt, daß das Bild von einem Schwarzweißbildschirm, beispielsweise von einem Radarschirm, stammt. Um den verschiedenen Graustufen Rechnung zu tragen, sind die Pixel über Q mögliche Stufen von Leuchtdichtewerten, die von schwarz (Stufe 0) bis weiß (Stufe Q-1) reichen, codiert. In diesem unverarbeitetem Bild sind die Pixel, die sich im Inneren von Wolken befinden, weiß, während diejenigen, die von Wolken entfernt sind, schwarz sind. Zwischen diesen beiden Extremen stehen die mit Werten zwischen 0 und Q-1 codierten Leuchtdichtewerte insbesondere für die Pixel, die sich nahe der Konturen der Wolken befinden oder zu diesen gehören, für verschiedene Graustufen.
  • Der erste Schritt des Verfahrens gemäß der Erfindung besteht darin, in diesem unbearbeiteten Bild eine Vorverarbeitung 1 zur Formgebung des Bildes auszuführen. Das Ziel dieser Vorverarbeitung besteht darin, die Wolken (in weiß) so gut wie möglich vor dem Himmel (in schwarz) hervorzuheben. Wenn sich auf einen Schwellenvergleich des unbearbeiteten Bildes beschränkt wird, um ein binäres Bild mit den beiden Leuchtdichtewerten 0 und Q-1 zu erhalten, werden die Wolken weiß und mit Konturen erscheinen, die aufgrund des Rauschens sehr unregelmäßig sind. Nun ist es aber, um die weitere Bearbeitung zu ermöglichen, wesentlich, unter anderem eine Glättung der Konturen so auszuführen, daß die Form der Wolken bestmöglich approximiert wird. Diese Approximation ist nämlich für die Phase der Wiedererkennung der Wolkenformen von einem Bild zum nächsten von größter Wichtigkeit. Im weiteren Verlauf (Beschreibung der Fig. 2) wird sichtbar werden, daß die Anmelderin sich dafür entschieden hat, eine Reihe von Schritten auszuführen, die dazu dienen, die Konturen der Wolken zu erodieren und dann zu dilatieren, derart, daß das Gesamtergebnis eine Glättung der Konturen ergibt.
  • Nach Abschluß dieser Vorverarbeitung 1 ist das Bild immer noch aus N · M Pixeln zusammengesetzt, deren Leuchtdichtewerte jedoch auf zwei Stufen, der Stufe 0 und der Stufe Q-1, liegen. Alle Wolken des Bildes, deren Konturen gemäß der Erfindung geglättet worden sind, sind beispielsweise weiß vor einem schwarzen Himmel.
  • Unter Berücksichtigung der von der Anmelderin ausgewählten Parameter, aus denen die verschiedenen Informationen (Wiedererkennung der Form, Geschwindigkeit der Wolke) abgleitet werden, ist es notwendig, die Extraktion der Konturen Ck anhand des aus der Vorverarbeitung 1 hervorgegangenen Bildes vorzunehmen. Es handelt sich um den zweiten Schritt des Verfahrens gemäß der Erfindung, der in Fig. 1 mit 2 bezeichnet ist. Dabei muß noch, um die Durchführbarkeit der weiteren Verarbeitung zu sichern, die Extraktion 2 der Konturen Ck gemäß der Erfindung den Erhalt geschlossener Konturen gewährleisten. Im folgenden wird nämlich ersichtlich, daß das Prinzip der Erfindung auf der Gleichsetzung eines langsam formveränderlichen Objekts mit einem formstabilen Objekt beruht, wobei die Gleichsetzung ermöglichen wird, zur Berechnung der Geschwindigkeit der Wolken Berechnungsverfahren anzuwenden, die typisch für die Kinematik formstabiler Objekte sind. Außerdem ermöglicht die Extraktion 2 der Konturen Ck gemäß der Erfindung vorteilhaft Konturen Ck zu erzielen, deren Stärke ein Pixel nicht überschreitet. Diese auf ihr Minimum reduzierte Stärke ermöglicht in optimaler Weise, die Verarbeitungszeit der nachfolgenden Schritte zu verringern. Das nach Abschluß der Extraktion 2 der Konturen Ck erzielte Bild ist erneut ein binäres Bild, in dem die Leuchtdichtestufe (Q-1) vorzugsweise den Pixeln der gewonnen Konturen zugewiesen ist, während die Leuchtdichtestufe 0 allen übrigen Pixeln zugewiesen ist.
  • Der dritte Schritt des Verfahrens gemäß der Erfindung besteht in der Extraktion 3 kennzeichnender Parameter jeder Kontur Ck. Unter kennzeichnenden Parametern werden die Parameter verstanden, die ermöglichen, zum einen ein einfaches Kriterium zur Wiedererkennung der Formen der Wolken von einem Bild zum nächsten und zum anderen ein einfaches Verfahren zur Berechnung der Geschwindigkeit jeder Wolke zu erhalten. Wie zuvor erwähnt worden ist, erlauben die vorangegangenen Schritte, die Wolke einem formstabilen Objekt gleichzusetzen. Nun besteht aber für formstabile Objekte ein einfaches Kriterium zur Wiedererkennung im Vergleich des Umfangs dieser Objekte von einem Bild zum anderen. Ebenso leitet sich die Berechnung der Geschwindigkeit eines formstabilen Objekts leicht aus der Berechnung der Lageveränderung des Schwerpunktes dieses Objekts ab. Die beiden vom Anmelder gewählten kennzeichnenden Parameter sind also der Umfang Pk und der Schwerpunkt Gk einer Kontur Ck. Nachfolgend wird die Extraktion dieser beiden Parameter aus dem nach der Extraktion 2 der Konturen Ck erhaltenen Bildes genauer ausgeführt werden.
  • Nach Abschluß des dritten Schrittes sind demnach die Umfänge Pk und die Schwerpunkte Gk sämtlicher im Bild vorhandener Konturen Ck bekannt.
  • Der folgende Schritt besteht in der Wiedererkennung 4 der Konturen von einem Bild zum nächsten. Noch immer unter der Bedingung der Gleichsetzung einer Wolke mit einem formstabilen Objekt können die Umfänge Pk des gerade in der Verarbeitung befindlichen Bildes als wenig verschieden von den zu den gleichen Konturen, die bei der Verarbeitung des vorherigen Bildes gefunden worden sind, gehörenden Umfängen Pk' betrachtet werden. Da es wenig wahrscheinlich ist, daß zwei verschiedene Wolken den gleichen Umfang besitzen, genügt ein einfacher Vergleich der Umfänge Pk mit den Umfängen Pk' und der Schwerpunkte Gk mit Gk', um eine Kontur wiederzuerkennen.
  • Der letzte, in Fig. 1 mit 5 bezeichnete Schritt der Verarbeitung besteht demnach darin, für jedes Umfangspaar (Pk, Pk'), das der gleichen Kontur Ck entspricht, die Lageveränderung des Schwerpunktes von Ck zu bestimmen, um von der Position Gk' zu der Position Gk zu gelangen. Aus dieser Lageveränderung wird leicht die Geschwindigkeit dieses Schwerpunktes abgeleitet und folglich die Geschwindigkeit der Wolke bestimmt.
  • Jetzt werden nacheinander die verschiedenen Schritte des Verfahrens gemäß der Erfindung ausführlich dargestellt.
  • Die Fig. 2 stellt die Vorverarbeitung 1 zur Formgebung des Bildes im einzelnen dar.
  • Der erste Schritt besteht aus einem Schwellenvergleich 11 des unbearbeiteten, aus N · M Pixeln bestehenden Bildes, die mit Q Leuchtdichtestufen, beispielsweise zwischen 0 und Q-1 codiert sind. Dieser Schwellenvergleich 11 besteht darin, sämtliche Pixel, deren Leuchtdichtecode größer als ein vorgegebener Schwellenwert S ist, auf (Q-1) und alle übrigen Pixel auf 0 zu setzen. Ist der Schwellenwert S passend gewählt, beispielsweise in der Größenordnung von Q/2, wird eine Bildumsetzung der Wolken, die weiß vor einem schwarzen Hintergrund dargestellt werden, erzielt. Die Konturen dieser Wolken sind jedoch sehr unregelmäßig und ermöglichen keine einfache Wiedererkennung der Wolken von einem Bild zum anderen. Das Verfahren gemäß der Erfindung schlägt deshalb vor, eine Glättung 12 der Konturen auszuführen, wobei diese Glättung eine erste Phase der Erosion 13 des Bildes, die von einer zweiten Phase der Dilatation gefolgt wird, umfaßt. Die Erosionsphase 13 bezieht ihre Bezeichnung aus der Tatsache, daß sie ermöglicht, isolierte weiße Pixel zu beseitigen. Sie besteht darin, ein quadratisches Fenster ungeraden Ausmaßes (eines Ausmaßes, das einer ungeraden Zahl von Pixeln entspricht) über das Bild zu führen und die Leuchtdichte des im Fenster mittigen Pixels durch das Ergebnis zu ersetzen, das durch Ausführen einer logischen UND- Verknüpfung zwischen diesem mittigen Pixel und seinen Nachbarn erhalten worden ist.
  • Die Phase der Dilatation 14 ist zu der vorhergehenden Phase in der Hinsicht dual, als sie ermöglicht, isolierte schwarze Pixel zu beseitigen. Unter Verwendung des gleichen Fensters wie zuvor wird diesmal eine logische ODER-Verknüpfung zwischen dem mittigen Pixel und seinen Nachbarn ausgeführt.
  • Die durch diese Aufeinanderfolge von Erosion und Dilatation erzielte Glättung der Konturen verformt das Objekt ein wenig. Jedoch ist die Bearbeitung für sämtliche Bilder identisch und erlaubt, das Rauschen beträchtlich zu reduzieren.
  • Die Untersuchungen des Anmelders haben gezeigt, daß anders vorgegangen werden könnte, um die Glättung 12 auszuführen. Diese in Fig. 3 dargestellte Variante besteht darin, die Faltung des sich aus dem Schwellenvergleich 11 ergebenden Bildes (Fig. 2) mit einer besonderen Filtermatrix auszuführen, die eine Mittelung der Leuchtdichten realisiert.
  • Nachstehend wird an das Prinzip der Bildfaltung erinnert - um die Berechnungen zu vereinfachen, mit einer quadratischen Matrix der Ordnung 3.
  • Gegeben sei die Matrix
  • L(i, j) sei die codierte Leuchtdichte des in der durch die ganze Zahl i angegebenen Zeile und der durch die ganze Zahl j angegebenen Spalte liegenden Pixels.
  • Für jedes Pixel (i, j) wird der folgende Ausdruck berechnet:
  • a · L(i - 1, j - 1) + b · L(i - 1, j) + c · L(i - 1, j + 1) + + d · L(i, j - 1) + e · L(i, j) + f · L(i, j + 1) + (1) + g · L(i + 1, j - 1) + h · L(i + 1, j + 1) + k · L(i + 1, j + 1)
  • Die voranstehende Summe wird modulo Q gebildet. Das im Intervall [0, Q-1] liegende Ergebnis kann als ein Leuchtdichtewert L'(i, j) angesehen werden, der dem Pixel (i, j) zugeordnet wird.
  • Die gemäß der Erfindung verwendete besondere Matrix ist eine quadratische unitäre Matrix der Ordnung P, wobei P eine ungerade ganze Zahl kleiner als die ganzen Zahlen N und M ist.
  • Die Anwendung der Beziehung 1 läuft in diesem Fall darauf hinaus, die Leuchtdichte L(i, j) des Pixels (i, j) durch die Leuchtdichte L'(i, j), die den Mittelwert der Leuchtdichten der dem Pixel (i, j) benachbarten Pixel darstellt, zu ersetzen.
  • Die Anmelderin hat gezeigt, daß die Aufeinanderfolge der folgenden Schritte, nämlich:
  • - einer ersten Faltung 121 des aus dem Schwellenvergleich 11 hervorgegangenen Bildes mit einer quadratischen unitären Matrix;
  • - eines ersten Schwellenvergleiches 122 des gefalteten Bildes mit einem Schwellenwert, der vorzugsweise gleich Q/2 ist;
  • - einer ersten Videoinversion 123 des Bildes;
  • - einer zweiten Faltung 121' des invertierten Bildes mit der gleichen quadratischen unitären Matrix;
  • - eines zweiten Schwellenvergleiches 122' des gefalteten Bildes mit einem Schwellenwert, der im wesentlichen gleich Q/2 ist; und
  • - einer zweiten Videoinversion 123' vollständig die Glättung 12, welche die Phasen Erosion 13 und Dilatation 14 umfaßt, realisierte.
  • Bei jeder der beiden vorangegangenen Faltungen 121, 121' ist es ratsam, darauf zu achten, daß die Leuchtdichte L(i, j) nicht durch die Leuchtdichte L'(i, j) ersetzt wird, solange das Pixel (i, j) zur Faltung anderer Pixel verwendet wird. Dies würde nämlich die Ergebnisse verfälschen. Folglich muß parallel zur Faltung 124 eines Pixels (i, j) eine Speicherung 125 der Leuchtdichten L'(i, j) erfolgen. Das Ersetzen 126 der Leuchtdichten erfolgt entweder dann, wenn das gesamte Bild gefaltet worden ist, oder vorzugsweise dann, wenn das Pixel (i, j) nicht mehr zur Faltung benutzt wird.
  • Nach Abschluß der Vorverarbeitung 1 liegt ein Bild vor, das schwarze Pixel (0), die zum Himmel gehören, oder weiße Pixel (Q-1), die zu Wolken (einschließlich Konturen) gehören, enthält. Die Konturen haben gemäß der Erfindung eine Glättung erfahren. Nach Fig. 1 wird das erhaltene Bild einem Schritt zur Extraktion 2 der Konturen der Objekte unterworfen, dessen Einzelheiten in Fig. 4 schematisch dargestellt sind:
  • Herkömmlich wird zur Extraktion der Objektkonturen in einem Bild eine sogenannte Laplace-Matrix verwendet. Diese Matrix wird verwendet, um das Innere von Objekten freizuräumen und lediglich ihre Konturen auf dem Bildschirm zu erhalten. Sie beruht auf dem Prinzip der Laplace-Filter, das darin besteht, die zweite Ableitung des Bildes zu berechnen. Es gibt eine große Zahl an Laplace-Matrizen und die Auswahl einer speziellen Matrix hat die Anmelderin dazu geführt, die Eigenschaften eines Pixels einer Kontur genauer zu untersuchen:
  • Damit ein Pixel (i, j) einer Kontur angehört, ist es notwendig und hinreichend, daß die beiden folgenden Bedingungen gleichzeitig erfüllt sind:
  • - Die Leuchtdichte L(i, j) dieses Pixels ist mit Q-1 codiert.
  • - Wenigstens eines seiner vier benachbarten, in der gleiche Zeile i und in der gleichen Spalte j genommenen Pixel besitzt eine mit 0 codierte Leuchtdichte.
  • Nur die vier wie zuvor definierten benachbarten Pixel müssen betrachtet werden. Der Anmelder hat nämlich bemerkt, das die Betrachtung der acht möglichen Nachbarn eines Pixels dazu führen könnte, daß Pixel fälschlich als zu einer Kontur gehörend klassifiziert werden.
  • Die Wahl der Laplace-Matrix leitet sich aus den vorangehenden Beobachtungen ab: Da die Nachbarn eines mittigen Pixels, die sich nicht in der gleichen Zeile oder in der gleichen Spalte befinden, nicht von Interesse sind, sind an den entsprechenden Stellen die Koeffizienten null zu setzen.
  • Die übrigen Koeffizienten sind so gewählt, daß sie die Beiträge der betreffenden Pixel gewichten. Somit ist die besondere, gemäß der Erfindung gewählte Laplace-Matrix eine quadratische Matrix der Ordnung 3, deren Koeffizienten bis auf einen Multiplikationsfaktor α
  • sind.
  • Mit Bezug auf Fig. 4 besteht die Extraktion 2 der Konturen also darin, eine Faltung 21 des Bildes mit der gewählten Laplace- Matrix auszuführen. Wie zuvor ist es ratsam, parallel zur Faltung 211 eines vorgegebenen Pixels (i, j) eine Speicherung 212 des resultierenden Wertes L'(i, j) vorzunehmen und die Ersetzung 213 des Leuchtdichtewertes erst dann auszuführen, wenn das Pixel (i, j) nicht mehr für die Faltung weiterer Pixel gebraucht wird. Andererseits haben die Pixel, die sich am Rand des Bildes befinden, selbstverständlich keine Nachbarn. Um die Faltung auf diese speziellen Pixel anwenden zu können, sieht das Verfahren gemäß der Erfindung vor, fiktive Nachbarn zu generieren, deren Leuchtdichtewert 0 ist. Dies erlaubt den Erhalt einer geschlossenen Kontur selbst an den Bildrändern zu gewährleisten, was für die Fortsetzung der Verarbeitung unerläßlich ist.
  • Je nach entsprechendem Pixel des Bildes, ergeben sich folgende Resultate der Faltung 21:
  • - Ein Pixel (i, j) der Kontur ist durch seine Leuchtdichte L(i, j), die Q-1 beträgt, sowie durch einen, zwei, drei oder vier nicht beleuchtete Nachbarn (Leuchtdichte 0) gekennzeichnet. Die Leuchtdichten L'(i, j) werden dann entsprechend Q-1, Q-2, Q-3 oder Q-4;
  • - Ein im Inneren einer Wolke gelegenes Pixel (i, j) ist durch seine Leuchtdichte L(i, j) gekennzeichnet, die wie diejenige seiner vier Nachbarn Q-1 beträgt. Die Leuchtdichte L'(i, j) wird demzufolge immer gleich 0;
  • - Ein außerhalb einer Wolke gelegenes Pixel (i, j) ist durch seine Leuchtdichte L(i, j), die 0 beträgt, sowie durch einen, zwei, drei oder vier nicht beleuchtete Nachbarn (Leuchtdichte 0) gekennzeichnet. Die Leuchtdichten L'(i, j) werden demzufolge entsprechend 3, 2, 1 oder 0.
  • Das erhoffte Ergebnis, nämlich alle im Inneren von Wolken gelegenen Pixel 0 zu setzen und die übrigen im wesentlichen unverändert zu lassen, wurde völlig erreicht.
  • Das nach der Faltung 21 erhaltene Bild enthält Pixel, deren Leuchtdichten der Gruppe {Q-1, Q-2, Q-3, Q-4} angehören sowie weitere Pixel, deren Leuchtdichten der Gruppe {0, 1, 2, 3} angehören. Das Verfahren gemäß der Erfindung schlägt vor, einen Schwellenvergleich 22 dieses Bildes mit einer Schwelle, die beispielsweise auf Q/2 festgelegt ist, auszuführen, damit nur die Konturen erleuchtet werden, und zwar mit einem Leuchtdichtewert von Q-1.
  • Nach Fig. 1 besteht der dritte Schritt des Verfahrens gemäß der Erfindung in der Extraktion 3 kennzeichnender Parameter jeder Kontur Ck des Bildes. Wie zuvor erläutert worden ist, sind diese kennzeichnenden Parameter zum einen die Umfänge Pk und zum anderen die Schwerpunkte Gk der Konturen Ck.
  • Die Ablesung der Konturen erfolgt, indem für jedes Objekt die Punkte der Konturen, d. h. die einzigen Punkte des aus der Verarbeitung 2 hervorgegangenen Bildes, deren Leuchtdichte nicht 0 ist, durchgegangen werden. Das Verfahren gemäß der Erfindung sieht vor, jedes Pixel der Konturen zu testen, wobei für jedes Pixel jene seiner acht Nachbarn gesucht werden, die erleuchtet sind. Um dies auszuführen, werden die acht Nachbarn in einer festgelegten Reihenfolge, wie etwa derjenigen, die in Fig. 5 schematisch dargestellt ist, betrachtet. Diese Reihenfolge sollte auf die Abtastung des Schirms abgestimmt sein, d. h. im Beispiel von Fig. 5, in welchem das getestete Pixel das mittige Pixel ist und die Reihenfolge der mit 1 bis 8 bezifferten Reihenfolge entspricht, von oben nach unten und von links nach rechts erfolgen. Diese Suche erfolgt rekursiv, d. h. sobald auf einen erleuchteten Nachbarn getroffen wird, wird eine völlig gleiche Suche für diesen Nachbar begonnen. Die Rekursivität gebietet, besonders darauf zu achten, daß nicht einige zu Konturen gehörende Punkt vergessen werden oder aber mehrmals über den gleichen Punkt gegangen wird. Außerdem sollte leicht von einer Kontur zur nächsten übergegangen werden können.
  • Die Untersuchungen der Anmelderin haben gezeigt, daß es notwendig ist, jedem Pixel der Konturen eine Zustandsvariable zuzuordnen, die sich in den folgenden vier Zuständen befinden kann:
  • - Zustand 0: nicht getestetes Pixel;
  • - Zustand 1: Pixel, das der Kontur des getesteten Pixels zugehört, jedoch noch nicht getestet worden ist;
  • - Zustand 2: Pixel, das der Kontur des getesteten Pixels zugehört und dem Test unterzogen worden ist;
  • - Zustand 3: Pixel, das einer vorhergehenden Kontur zugehört (also bereits getestet ist).
  • Sämtliche Pixel einer gleichen Kontur sind bestimmt, wenn bei einer schrittweisen räumlichen Ausdehnung der Tests keine weiteren erleuchteten Nachbarn gefunden werden. Da ihre Zustandsvariable im Zustand 2 ist, genügt es, sie zu zählen, um den Umfang der Kontur zu erfahren.
  • Was die Schwerpunkte Gk anbelangt, ihre Abszissen- und ihre Ordinatenwerte werden in herkömmlicher Weise berechnet, indem der Mittelwert der Abszissenwerte bzw. der Mittelwert der Ordinatenwerte der Pixel der Kontur, die zuvor, beispielsweise zum Zeitpunkt der Hervorhebung der Konturen, gespeichert worden sind, gebildet wird.
  • Nach Fig. 1 erfolgt die Wiedererkennung 4 der Konturen Ck durch einen Vergleich der kennzeichnenden Parameter Pk und Gk des gerade zu verarbeitenden Bildes mit den kennzeichnenden Parametern Pk' und Gk' des zuvor verarbeiteten Bildes. Eine Kontur wird als ein gleiches Objekt repräsentierend angesehen, wenn sie den beiden folgenden Bedingungen genügt:
  • - Die Schwerpunkte Gk und Gk' liegen nahe beieinander, d. h. der Abstand GkGk' ist kleiner als ein vom Anwender vorgeschriebener maximaler Abstand;
  • - Die Umfänge Pk und Pk' sind nahezu gleich, d. h. ihr Unterschied ist kleiner als ein zuvor festgelegter Schwellenwert.
  • - Die Geschwindigkeit Vk einer wiedererkannten Kontur Ck wird dann aus der Berechnung der Lageveränderung des Schwerpunktes abgeleitet. Dies ist nur aufgrund der vorangehenden Bearbeitungen möglich; da nämlich die Konturen einer Glättung unter worfen worden sind, ist sicher, daß, wenn sich der Schwerpunkt verschiebt, diese Verschiebung repräsentativ für eine Ortsveränderung des Objekts ist.
  • Die Durchführung des Verfahrens gemäß der Erfindung erfolgt aufgrund der hohen Verarbeitungsgeschwindigkeiten sehr vorteilhaft mittels Rechner.

Claims (10)

1. Verfahren zur Verfolgung von verformbaren Elementen und/oder stark verrauschten Konturen anhand von Bildern, die aus einer ganzen Zahl N von Zeilen und einer ganzen Zahl M von Spalten und aus einer Anzahl N · M von Pixeln, die gemäß einer ganzen Zahl Q von Leuchtdichtewerten codiert sind, aufgebaut sind, wobei das Verfahren darin besteht:
- in jedem Bild eine Vorverarbeitung (1) zur Formgebung des Bildes auszuführen, um die Konturen zu glätten;
- in jedem vorverarbeiteten Bild geschlossene Konturen zu extrahieren (2), deren Dicken ein Pixel nicht übersteigen;
- für jede geschlossene Kontur signifikante Parameter der Konturen zu extrahieren (3);
- von einem Bild zum nächsten die erhaltenen Parameter zu vergleichen, um so die Form eines Elements zu erkennen (4), und dann daraus seine Geschwindigkeit abzuleiten (5), dadurch gekennzeichnet, daß die Extraktion (2) der Konturen besteht aus:
- einer Faltung (21) des aus der Vorverarbeitung (1) sich ergebenden Bildes mit einer Matrix aus Laplace-Koeffizienten
bis auf einen Multiplikationsfaktor α,
- einem Schwellenvergleich (22) des gefalteten Bildes mit einem Schwellenwert, der im wesentlichen gleich Q/2 ist, wobei die Faltung (21) besteht aus:
- einer Faltung (211) eines Pixels i, j mit Leuchtdichte L(i, j) mit der Laplace-Matrix;
- einer Speicherung (211) des Ergebnisses L'(i, j) der Faltung;
- einer Ersetzung (213) von L(i, j) durch L'(i, j), sobald das Pixel i, j nicht mehr in den Faltungen verwendet wird.
2. Verfolgungsverfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Vorverarbeitung (1) zur Formgebung des Bildes besteht aus:
- einem Schwellenvergleich (11) des Bildes mit einem vorgegebenen Schwellenwert, der ermöglicht, sämtliche Pixel, deren Leuchtdichtecode größer als ein vorgegebener Schwellenwert ist, auf 0 zu setzen, und sämtliche anderen Pixel auf (Q - 1) zusetzen, um so ein binäres Bild zu erhalten;
- wenigstens einer Folge aus einer Erosion (13) und einer Dilatation (14) des binären Bildes, was eine Glättung der Konturen ergibt.
3. Verfolgungsverfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Folge aus einer Erosion (13) und einer Dilatation (14) des binären Bildes ausgeführt wird durch:
- eine erste Faltung (121) des binären Bildes mit einer unitären Matrix der Dimension P, wobei P eine ungerade ganze Zahl kleiner als die ganzen Zahlen N und M ist;
- einen ersten Schwellenvergleich (122) des gefalteten Bildes mit einem Schwellenwert, der im wesentlichen gleich Q/2 ist;
- eine erste Videoinversion (123) des schwellenverglichenen Bildes;
- eine zweite Faltung (121') des invertierten Bildes mit der unitären Matrix;
- einen zweiten Schwellenvergleich (122') des zweiten gefalteten Bildes mit einem Schwellenwert, der im wesentlichen gleich Q/2 ist; und
- eine zweite Videoinversion (123').
4. Verfolgungsverfahren nach Anspruch 3, dadurch gekennzeichnet, daß die erste und die zweite Faltung bestehen aus:
- einer Faltung (124) eines Pixels i, j mit Leuchtdichte L(i, j) mit der unitären Matrix;
- einer Speicherung (125) des Ergebnisses L'(i, j) der Faltung;
- einer Ersetzung (126) der Leuchtdichte L(i, j) durch die Leuchtdichte L'(i, j), sobald das Pixel i, j in den Faltungen nicht mehr verwendet wird.
5. Verfolgungsverfahren nach irgendeinem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die signifikanten Parameter der Konturen durch den Umfang Pk und den Schwerpunkt Gk jeder Kontur Ck gebildet sind.
6. Verfolgungsverfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Extraktion der Umfänge Pk der Konturen Ck darin besteht:
- rekursiv jedes Pixel der Konturen Ck zu testen, indem in einer bestimmten Reihenfolge jene seiner acht Nachbarn gesucht werden, die erleuchtet sind;
- jedem Pixel eine Zustandsvariable zuzuordnen, die sich in den vier folgenden Zuständen befinden kann:
- Zustand 0: nicht getestetes Pixel;
- Zustand 1: Pixel, das der Kontur des getesteten Pixels zugehört, jedoch noch nicht getestet worden ist;
- Zustand 2: Pixel, das der Kontur des getesteten Pixels zugehört und dem Test unterzogen worden ist;
- Zustand 3: Pixel, das einer vorhergehenden Kontur zugehört,
- sämtliche Pixel zu zählen, für die die Zustandsvariable im Zustand 2 ist, wenn der Test beendet worden ist.
7. Verfolgungsverfahren nach Anspruch 6, dadurch gekennzeichnet, daß die vorgegebene Reihenfolge der Abtastung des Schirms entspricht.
8. Verfolgungsverfahren nach irgendeinem der Ansprüche 5 bis 7, dadurch gekennzeichnet, daß die Schwerpunkte Gk durch ihre Abszissen und ihre Ordinaten bestimmt werden, indem der Mittelwert der Abszissen und der Mittelwert der Ordinaten der Pixel der Konturen Ck gebildet werden.
9. Verfolgungsverfahren nach Anspruch 8, dadurch gekennzeichnet, daß die Form eines Elements erkannt (4) wird, wenn für zwei nacheinander verarbeitete Bilder die beiden gefundenen Umfänge Pk' und Pk nahezu gleich sind und wenn die beiden Schwerpunkte Gk' und Gk nahe beieinander liegen.
10. Verfolgungsverfahren nach Anspruch 9, dadurch gekennzeichnet, daß die Geschwindigkeit eines Elements aus der Schwerpunktverschiebung vom Punkt Gk' zum Punkt Gk abgeleitet wird.
DE69328886T 1992-04-21 1993-04-16 Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten Expired - Fee Related DE69328886T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9204831A FR2690262B1 (fr) 1992-04-21 1992-04-21 Procede de pistage a partir d'images d'elements deformables et/ou aux contours fortement bruites.

Publications (2)

Publication Number Publication Date
DE69328886D1 DE69328886D1 (de) 2000-07-27
DE69328886T2 true DE69328886T2 (de) 2001-01-04

Family

ID=9429046

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69328886T Expired - Fee Related DE69328886T2 (de) 1992-04-21 1993-04-16 Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten

Country Status (4)

Country Link
EP (1) EP0567377B1 (de)
DE (1) DE69328886T2 (de)
DK (1) DK0567377T3 (de)
FR (1) FR2690262B1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10258794A1 (de) * 2002-12-16 2004-06-24 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5356630A (en) * 1989-02-22 1994-10-18 Massachusetts Institute Of Technology Delivery system for controlled release of bioactive factors

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2538653B1 (fr) * 1982-05-28 1989-03-31 Thomson Csf Procede d'estimation des translations subies par des objets representes dans une sequence d'images et dispositif mettant en oeuvre ce procede

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10258794A1 (de) * 2002-12-16 2004-06-24 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten

Also Published As

Publication number Publication date
DK0567377T3 (da) 2000-11-06
FR2690262B1 (fr) 1996-12-20
EP0567377B1 (de) 2000-06-21
EP0567377A1 (de) 1993-10-27
DE69328886D1 (de) 2000-07-27
FR2690262A1 (fr) 1993-10-22

Similar Documents

Publication Publication Date Title
DE69524235T2 (de) Verfahren und vorrichtung zur global-zu-lokal-block-bewegungsschätzung
DE69937530T2 (de) Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen
DE60012649T2 (de) Beseitigung von chromarauschen aus digitalbildern durch verwendung veränderlich geformter pixelnachbarschaftsbereiche
DE69427801T2 (de) Verfahren und Gerät zur Bestimmung von Bewegungsvektorfelden durch die Unterdrückung lokaler Abweichungen
DE3712639A1 (de) Verfahren und einrichtung zum abbilden von volumendaten
DE102010053458B4 (de) Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera
DE102006051919B4 (de) Verfahren zum Bereitstellen eines 3D-Röntgenbilddatensatzes des Herzens eines Patienten
DE3742196C2 (de)
DE4311972A1 (de) Verfahren zur Detektion von Änderungen in Bewegtbildern
DE4224568C2 (de) Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes
DE102004004641A1 (de) Dreidimensionale Reprojektions- und Rückprojektionsverfahren und Algorithmen zum Durchführen derselben
DE102007013570A1 (de) Verfahren zur Rauschverminderung in digitalen Bildern mit lokal unterschiedlichem und gerichtetem Rauschen
DE69225264T2 (de) Minimaldifferenz-Prozessor
DE102005021001A1 (de) Bildbasiertes Verfahren zum Detektieren und Entfernen von kleinen Fragmenten in segmentierten dreidimensionalen Volumina
EP1437685A2 (de) Verfahren zum Segmentieren einer dreidimensionalen Struktur
DE69802269T2 (de) Vorrichtung und verfahren zum vergleichen von pixelblöcken
DE60023837T2 (de) Vorrichtung und verfahren zur filterung
DE69802255T2 (de) Verfahren und Gerät zur Einführung von Referenzstörungen in Videosignalen
DE69328886T2 (de) Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten
DE102021101468A1 (de) Verfahren zur Erzeugung valider Entfernungsdaten für eine Lichtlaufzeitkamera
DE69231836T2 (de) Nichtganze Bildelementekompression für Vorwärts-Infrarotsensoren der zweiten Generation
WO2010028718A2 (de) Verfahren zur bildverarbeitung von stereobildern
DE102010018142A1 (de) Verfahren zur Aufnahme eines Bildes
DE102008048257B4 (de) Verfahren zur Detektion eines Blockrasters
DE112020006088T5 (de) Computerimplementiertes verfahren zum umwandeln eines eingangsbildes in ein ausgangsbild basierend auf einem referenzbild

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee