DE69328886T2 - Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten - Google Patents
Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten KantenInfo
- Publication number
- DE69328886T2 DE69328886T2 DE69328886T DE69328886T DE69328886T2 DE 69328886 T2 DE69328886 T2 DE 69328886T2 DE 69328886 T DE69328886 T DE 69328886T DE 69328886 T DE69328886 T DE 69328886T DE 69328886 T2 DE69328886 T2 DE 69328886T2
- Authority
- DE
- Germany
- Prior art keywords
- image
- pixel
- contours
- convolution
- tracking method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 32
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000005484 gravity Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 230000010339 dilation Effects 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000007493 shaping process Methods 0.000 claims description 2
- 235000019557 luminance Nutrition 0.000 description 35
- 238000012545 processing Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
- Die vorliegende Erfindung betrifft ein Verfolgungsverfahren, welches von Bildern verformbarer Elemente und/oder stark verrauschten Konturen ausgeht.
- Ein besonderer Anwendungsbereich der Erfindung besteht in der Verfolgung meteorologischer Störungen anhand von Bildern, die beispielsweise von einem Radarschirm stammen. Wolken sind verformbare Elemente, deren Form sich zeitlich im Verhältnis zu den Geschwindigkeiten vorhandener Bildverarbeitungen langsam verändert und deren Geschwindigkeit und Beschleunigung im wesentlichen bekannt sind. Die Formveränderung der Wolken erschwert die Wiedererkennung ein und derselben Wolke von einem Bild zum nächsten, wobei diese Schwierigkeit noch größer ist, wenn die Geschwindigkeit einer Wolke berechnet werden soll. Andererseits sind die Konturen von Wolken im allgemeinen sehr verrauscht und, um sämtliche Informationen entnehmen zu können, ist es wichtig, diese Konturen soweit wie möglich zu verfeinern.
- Ein Dokument Patent Abstracts of Japan, Bd. 15, Nr. 268 (P-1224) vom 8. Juli 1991 sowie JP-A-3089190 (SHIMADZU CORPO- RATION) beschreiben ein Bildverarbeitungsverfahren, das ermöglicht, die Richtigkeit einer Sofortdiagnose zu verbessern.
- Das Ziel der vorliegenden Erfindung ist es, ein Verfahren zu schaffen, das ermöglicht, in einfacher Weise geschlossene und sehr feine Konturen von Objekten zu extrahieren, um eine Wiedererkennung der Form der Objekte von einem Bild zum nächsten ausführen zu können und um daraus auf ihre Geschwindigkeiten zurückzuschließen.
- Genauer betrifft die Erfindung ein Verfahren zur Verfolgung von formveränderlichen Elementen und/oder stark verrauschten Konturen, wie durch den Anspruch 1 definiert ist.
- Das Verfahren ist besonders geeignet zur Verfolgung von Objekten, die bezüglich zweier aufeinanderfolgender Bilderfassungen langsam formveränderlich sind (für Wolken hängt dies von der Rotationsbewegung der Radarantenne ab).
- Die Erfindung wird besser verständlich anhand der folgenden Beschreibung, die auf die beigefügten Figuren Bezug nimmt.
- Fig. 1 ist allgemeines Blockschaltbild des Verfahrens gemäß der Erfindung.
- Fig. 2 ist ein Blockschaltbild der Vorverarbeitung 1 von Fig. 1.
- Fig. 3 ist ein weiteres mögliches Blockschaltbild der Vorverarbeitung.
- Fig. 4 zeigt die Schritte, die zur Extraktion der Konturen auszuführen sind.
- Fig. 5 zeigt die Reihenfolge, in welcher jedes Pixel einer Kontur gemäß der Erfindung getestet werden soll.
- Fig. 1 zeigt ein Blockschaltbild des Verfahrens gemäß der Erfindung; ein Blockschaltbild, in dem die Hauptschritte des Verfahrens gemäß der Erfindung dargestellt worden sind. Jeder Schritt wird nachfolgend mit Bezug auf weitere Figuren im einzelnen ausgeführt:
- Nach Fig. 1 besteht die Eingangsgröße, auf welche das Verfahren gemäß der Erfindung angewandt wird, aus einem Bild von N Zeilen und M Spalten, das aus einer Anzahl N · M von Elementarpunkten oder Pixeln gebildet ist. Das Bild enthält Objekte, die vorzugsweise langsam formveränderlich sind, typisch Wolken, von denen bestimmte Parameter gewonnen werden sollen, wie später genau ausgeführt werden wird. Es wird vorausgesetzt, daß das Bild von einem Schwarzweißbildschirm, beispielsweise von einem Radarschirm, stammt. Um den verschiedenen Graustufen Rechnung zu tragen, sind die Pixel über Q mögliche Stufen von Leuchtdichtewerten, die von schwarz (Stufe 0) bis weiß (Stufe Q-1) reichen, codiert. In diesem unverarbeitetem Bild sind die Pixel, die sich im Inneren von Wolken befinden, weiß, während diejenigen, die von Wolken entfernt sind, schwarz sind. Zwischen diesen beiden Extremen stehen die mit Werten zwischen 0 und Q-1 codierten Leuchtdichtewerte insbesondere für die Pixel, die sich nahe der Konturen der Wolken befinden oder zu diesen gehören, für verschiedene Graustufen.
- Der erste Schritt des Verfahrens gemäß der Erfindung besteht darin, in diesem unbearbeiteten Bild eine Vorverarbeitung 1 zur Formgebung des Bildes auszuführen. Das Ziel dieser Vorverarbeitung besteht darin, die Wolken (in weiß) so gut wie möglich vor dem Himmel (in schwarz) hervorzuheben. Wenn sich auf einen Schwellenvergleich des unbearbeiteten Bildes beschränkt wird, um ein binäres Bild mit den beiden Leuchtdichtewerten 0 und Q-1 zu erhalten, werden die Wolken weiß und mit Konturen erscheinen, die aufgrund des Rauschens sehr unregelmäßig sind. Nun ist es aber, um die weitere Bearbeitung zu ermöglichen, wesentlich, unter anderem eine Glättung der Konturen so auszuführen, daß die Form der Wolken bestmöglich approximiert wird. Diese Approximation ist nämlich für die Phase der Wiedererkennung der Wolkenformen von einem Bild zum nächsten von größter Wichtigkeit. Im weiteren Verlauf (Beschreibung der Fig. 2) wird sichtbar werden, daß die Anmelderin sich dafür entschieden hat, eine Reihe von Schritten auszuführen, die dazu dienen, die Konturen der Wolken zu erodieren und dann zu dilatieren, derart, daß das Gesamtergebnis eine Glättung der Konturen ergibt.
- Nach Abschluß dieser Vorverarbeitung 1 ist das Bild immer noch aus N · M Pixeln zusammengesetzt, deren Leuchtdichtewerte jedoch auf zwei Stufen, der Stufe 0 und der Stufe Q-1, liegen. Alle Wolken des Bildes, deren Konturen gemäß der Erfindung geglättet worden sind, sind beispielsweise weiß vor einem schwarzen Himmel.
- Unter Berücksichtigung der von der Anmelderin ausgewählten Parameter, aus denen die verschiedenen Informationen (Wiedererkennung der Form, Geschwindigkeit der Wolke) abgleitet werden, ist es notwendig, die Extraktion der Konturen Ck anhand des aus der Vorverarbeitung 1 hervorgegangenen Bildes vorzunehmen. Es handelt sich um den zweiten Schritt des Verfahrens gemäß der Erfindung, der in Fig. 1 mit 2 bezeichnet ist. Dabei muß noch, um die Durchführbarkeit der weiteren Verarbeitung zu sichern, die Extraktion 2 der Konturen Ck gemäß der Erfindung den Erhalt geschlossener Konturen gewährleisten. Im folgenden wird nämlich ersichtlich, daß das Prinzip der Erfindung auf der Gleichsetzung eines langsam formveränderlichen Objekts mit einem formstabilen Objekt beruht, wobei die Gleichsetzung ermöglichen wird, zur Berechnung der Geschwindigkeit der Wolken Berechnungsverfahren anzuwenden, die typisch für die Kinematik formstabiler Objekte sind. Außerdem ermöglicht die Extraktion 2 der Konturen Ck gemäß der Erfindung vorteilhaft Konturen Ck zu erzielen, deren Stärke ein Pixel nicht überschreitet. Diese auf ihr Minimum reduzierte Stärke ermöglicht in optimaler Weise, die Verarbeitungszeit der nachfolgenden Schritte zu verringern. Das nach Abschluß der Extraktion 2 der Konturen Ck erzielte Bild ist erneut ein binäres Bild, in dem die Leuchtdichtestufe (Q-1) vorzugsweise den Pixeln der gewonnen Konturen zugewiesen ist, während die Leuchtdichtestufe 0 allen übrigen Pixeln zugewiesen ist.
- Der dritte Schritt des Verfahrens gemäß der Erfindung besteht in der Extraktion 3 kennzeichnender Parameter jeder Kontur Ck. Unter kennzeichnenden Parametern werden die Parameter verstanden, die ermöglichen, zum einen ein einfaches Kriterium zur Wiedererkennung der Formen der Wolken von einem Bild zum nächsten und zum anderen ein einfaches Verfahren zur Berechnung der Geschwindigkeit jeder Wolke zu erhalten. Wie zuvor erwähnt worden ist, erlauben die vorangegangenen Schritte, die Wolke einem formstabilen Objekt gleichzusetzen. Nun besteht aber für formstabile Objekte ein einfaches Kriterium zur Wiedererkennung im Vergleich des Umfangs dieser Objekte von einem Bild zum anderen. Ebenso leitet sich die Berechnung der Geschwindigkeit eines formstabilen Objekts leicht aus der Berechnung der Lageveränderung des Schwerpunktes dieses Objekts ab. Die beiden vom Anmelder gewählten kennzeichnenden Parameter sind also der Umfang Pk und der Schwerpunkt Gk einer Kontur Ck. Nachfolgend wird die Extraktion dieser beiden Parameter aus dem nach der Extraktion 2 der Konturen Ck erhaltenen Bildes genauer ausgeführt werden.
- Nach Abschluß des dritten Schrittes sind demnach die Umfänge Pk und die Schwerpunkte Gk sämtlicher im Bild vorhandener Konturen Ck bekannt.
- Der folgende Schritt besteht in der Wiedererkennung 4 der Konturen von einem Bild zum nächsten. Noch immer unter der Bedingung der Gleichsetzung einer Wolke mit einem formstabilen Objekt können die Umfänge Pk des gerade in der Verarbeitung befindlichen Bildes als wenig verschieden von den zu den gleichen Konturen, die bei der Verarbeitung des vorherigen Bildes gefunden worden sind, gehörenden Umfängen Pk' betrachtet werden. Da es wenig wahrscheinlich ist, daß zwei verschiedene Wolken den gleichen Umfang besitzen, genügt ein einfacher Vergleich der Umfänge Pk mit den Umfängen Pk' und der Schwerpunkte Gk mit Gk', um eine Kontur wiederzuerkennen.
- Der letzte, in Fig. 1 mit 5 bezeichnete Schritt der Verarbeitung besteht demnach darin, für jedes Umfangspaar (Pk, Pk'), das der gleichen Kontur Ck entspricht, die Lageveränderung des Schwerpunktes von Ck zu bestimmen, um von der Position Gk' zu der Position Gk zu gelangen. Aus dieser Lageveränderung wird leicht die Geschwindigkeit dieses Schwerpunktes abgeleitet und folglich die Geschwindigkeit der Wolke bestimmt.
- Jetzt werden nacheinander die verschiedenen Schritte des Verfahrens gemäß der Erfindung ausführlich dargestellt.
- Die Fig. 2 stellt die Vorverarbeitung 1 zur Formgebung des Bildes im einzelnen dar.
- Der erste Schritt besteht aus einem Schwellenvergleich 11 des unbearbeiteten, aus N · M Pixeln bestehenden Bildes, die mit Q Leuchtdichtestufen, beispielsweise zwischen 0 und Q-1 codiert sind. Dieser Schwellenvergleich 11 besteht darin, sämtliche Pixel, deren Leuchtdichtecode größer als ein vorgegebener Schwellenwert S ist, auf (Q-1) und alle übrigen Pixel auf 0 zu setzen. Ist der Schwellenwert S passend gewählt, beispielsweise in der Größenordnung von Q/2, wird eine Bildumsetzung der Wolken, die weiß vor einem schwarzen Hintergrund dargestellt werden, erzielt. Die Konturen dieser Wolken sind jedoch sehr unregelmäßig und ermöglichen keine einfache Wiedererkennung der Wolken von einem Bild zum anderen. Das Verfahren gemäß der Erfindung schlägt deshalb vor, eine Glättung 12 der Konturen auszuführen, wobei diese Glättung eine erste Phase der Erosion 13 des Bildes, die von einer zweiten Phase der Dilatation gefolgt wird, umfaßt. Die Erosionsphase 13 bezieht ihre Bezeichnung aus der Tatsache, daß sie ermöglicht, isolierte weiße Pixel zu beseitigen. Sie besteht darin, ein quadratisches Fenster ungeraden Ausmaßes (eines Ausmaßes, das einer ungeraden Zahl von Pixeln entspricht) über das Bild zu führen und die Leuchtdichte des im Fenster mittigen Pixels durch das Ergebnis zu ersetzen, das durch Ausführen einer logischen UND- Verknüpfung zwischen diesem mittigen Pixel und seinen Nachbarn erhalten worden ist.
- Die Phase der Dilatation 14 ist zu der vorhergehenden Phase in der Hinsicht dual, als sie ermöglicht, isolierte schwarze Pixel zu beseitigen. Unter Verwendung des gleichen Fensters wie zuvor wird diesmal eine logische ODER-Verknüpfung zwischen dem mittigen Pixel und seinen Nachbarn ausgeführt.
- Die durch diese Aufeinanderfolge von Erosion und Dilatation erzielte Glättung der Konturen verformt das Objekt ein wenig. Jedoch ist die Bearbeitung für sämtliche Bilder identisch und erlaubt, das Rauschen beträchtlich zu reduzieren.
- Die Untersuchungen des Anmelders haben gezeigt, daß anders vorgegangen werden könnte, um die Glättung 12 auszuführen. Diese in Fig. 3 dargestellte Variante besteht darin, die Faltung des sich aus dem Schwellenvergleich 11 ergebenden Bildes (Fig. 2) mit einer besonderen Filtermatrix auszuführen, die eine Mittelung der Leuchtdichten realisiert.
- Nachstehend wird an das Prinzip der Bildfaltung erinnert - um die Berechnungen zu vereinfachen, mit einer quadratischen Matrix der Ordnung 3.
- Gegeben sei die Matrix
- L(i, j) sei die codierte Leuchtdichte des in der durch die ganze Zahl i angegebenen Zeile und der durch die ganze Zahl j angegebenen Spalte liegenden Pixels.
- Für jedes Pixel (i, j) wird der folgende Ausdruck berechnet:
- a · L(i - 1, j - 1) + b · L(i - 1, j) + c · L(i - 1, j + 1) + + d · L(i, j - 1) + e · L(i, j) + f · L(i, j + 1) + (1) + g · L(i + 1, j - 1) + h · L(i + 1, j + 1) + k · L(i + 1, j + 1)
- Die voranstehende Summe wird modulo Q gebildet. Das im Intervall [0, Q-1] liegende Ergebnis kann als ein Leuchtdichtewert L'(i, j) angesehen werden, der dem Pixel (i, j) zugeordnet wird.
- Die gemäß der Erfindung verwendete besondere Matrix ist eine quadratische unitäre Matrix der Ordnung P, wobei P eine ungerade ganze Zahl kleiner als die ganzen Zahlen N und M ist.
- Die Anwendung der Beziehung 1 läuft in diesem Fall darauf hinaus, die Leuchtdichte L(i, j) des Pixels (i, j) durch die Leuchtdichte L'(i, j), die den Mittelwert der Leuchtdichten der dem Pixel (i, j) benachbarten Pixel darstellt, zu ersetzen.
- Die Anmelderin hat gezeigt, daß die Aufeinanderfolge der folgenden Schritte, nämlich:
- - einer ersten Faltung 121 des aus dem Schwellenvergleich 11 hervorgegangenen Bildes mit einer quadratischen unitären Matrix;
- - eines ersten Schwellenvergleiches 122 des gefalteten Bildes mit einem Schwellenwert, der vorzugsweise gleich Q/2 ist;
- - einer ersten Videoinversion 123 des Bildes;
- - einer zweiten Faltung 121' des invertierten Bildes mit der gleichen quadratischen unitären Matrix;
- - eines zweiten Schwellenvergleiches 122' des gefalteten Bildes mit einem Schwellenwert, der im wesentlichen gleich Q/2 ist; und
- - einer zweiten Videoinversion 123' vollständig die Glättung 12, welche die Phasen Erosion 13 und Dilatation 14 umfaßt, realisierte.
- Bei jeder der beiden vorangegangenen Faltungen 121, 121' ist es ratsam, darauf zu achten, daß die Leuchtdichte L(i, j) nicht durch die Leuchtdichte L'(i, j) ersetzt wird, solange das Pixel (i, j) zur Faltung anderer Pixel verwendet wird. Dies würde nämlich die Ergebnisse verfälschen. Folglich muß parallel zur Faltung 124 eines Pixels (i, j) eine Speicherung 125 der Leuchtdichten L'(i, j) erfolgen. Das Ersetzen 126 der Leuchtdichten erfolgt entweder dann, wenn das gesamte Bild gefaltet worden ist, oder vorzugsweise dann, wenn das Pixel (i, j) nicht mehr zur Faltung benutzt wird.
- Nach Abschluß der Vorverarbeitung 1 liegt ein Bild vor, das schwarze Pixel (0), die zum Himmel gehören, oder weiße Pixel (Q-1), die zu Wolken (einschließlich Konturen) gehören, enthält. Die Konturen haben gemäß der Erfindung eine Glättung erfahren. Nach Fig. 1 wird das erhaltene Bild einem Schritt zur Extraktion 2 der Konturen der Objekte unterworfen, dessen Einzelheiten in Fig. 4 schematisch dargestellt sind:
- Herkömmlich wird zur Extraktion der Objektkonturen in einem Bild eine sogenannte Laplace-Matrix verwendet. Diese Matrix wird verwendet, um das Innere von Objekten freizuräumen und lediglich ihre Konturen auf dem Bildschirm zu erhalten. Sie beruht auf dem Prinzip der Laplace-Filter, das darin besteht, die zweite Ableitung des Bildes zu berechnen. Es gibt eine große Zahl an Laplace-Matrizen und die Auswahl einer speziellen Matrix hat die Anmelderin dazu geführt, die Eigenschaften eines Pixels einer Kontur genauer zu untersuchen:
- Damit ein Pixel (i, j) einer Kontur angehört, ist es notwendig und hinreichend, daß die beiden folgenden Bedingungen gleichzeitig erfüllt sind:
- - Die Leuchtdichte L(i, j) dieses Pixels ist mit Q-1 codiert.
- - Wenigstens eines seiner vier benachbarten, in der gleiche Zeile i und in der gleichen Spalte j genommenen Pixel besitzt eine mit 0 codierte Leuchtdichte.
- Nur die vier wie zuvor definierten benachbarten Pixel müssen betrachtet werden. Der Anmelder hat nämlich bemerkt, das die Betrachtung der acht möglichen Nachbarn eines Pixels dazu führen könnte, daß Pixel fälschlich als zu einer Kontur gehörend klassifiziert werden.
- Die Wahl der Laplace-Matrix leitet sich aus den vorangehenden Beobachtungen ab: Da die Nachbarn eines mittigen Pixels, die sich nicht in der gleichen Zeile oder in der gleichen Spalte befinden, nicht von Interesse sind, sind an den entsprechenden Stellen die Koeffizienten null zu setzen.
- Die übrigen Koeffizienten sind so gewählt, daß sie die Beiträge der betreffenden Pixel gewichten. Somit ist die besondere, gemäß der Erfindung gewählte Laplace-Matrix eine quadratische Matrix der Ordnung 3, deren Koeffizienten bis auf einen Multiplikationsfaktor α
- sind.
- Mit Bezug auf Fig. 4 besteht die Extraktion 2 der Konturen also darin, eine Faltung 21 des Bildes mit der gewählten Laplace- Matrix auszuführen. Wie zuvor ist es ratsam, parallel zur Faltung 211 eines vorgegebenen Pixels (i, j) eine Speicherung 212 des resultierenden Wertes L'(i, j) vorzunehmen und die Ersetzung 213 des Leuchtdichtewertes erst dann auszuführen, wenn das Pixel (i, j) nicht mehr für die Faltung weiterer Pixel gebraucht wird. Andererseits haben die Pixel, die sich am Rand des Bildes befinden, selbstverständlich keine Nachbarn. Um die Faltung auf diese speziellen Pixel anwenden zu können, sieht das Verfahren gemäß der Erfindung vor, fiktive Nachbarn zu generieren, deren Leuchtdichtewert 0 ist. Dies erlaubt den Erhalt einer geschlossenen Kontur selbst an den Bildrändern zu gewährleisten, was für die Fortsetzung der Verarbeitung unerläßlich ist.
- Je nach entsprechendem Pixel des Bildes, ergeben sich folgende Resultate der Faltung 21:
- - Ein Pixel (i, j) der Kontur ist durch seine Leuchtdichte L(i, j), die Q-1 beträgt, sowie durch einen, zwei, drei oder vier nicht beleuchtete Nachbarn (Leuchtdichte 0) gekennzeichnet. Die Leuchtdichten L'(i, j) werden dann entsprechend Q-1, Q-2, Q-3 oder Q-4;
- - Ein im Inneren einer Wolke gelegenes Pixel (i, j) ist durch seine Leuchtdichte L(i, j) gekennzeichnet, die wie diejenige seiner vier Nachbarn Q-1 beträgt. Die Leuchtdichte L'(i, j) wird demzufolge immer gleich 0;
- - Ein außerhalb einer Wolke gelegenes Pixel (i, j) ist durch seine Leuchtdichte L(i, j), die 0 beträgt, sowie durch einen, zwei, drei oder vier nicht beleuchtete Nachbarn (Leuchtdichte 0) gekennzeichnet. Die Leuchtdichten L'(i, j) werden demzufolge entsprechend 3, 2, 1 oder 0.
- Das erhoffte Ergebnis, nämlich alle im Inneren von Wolken gelegenen Pixel 0 zu setzen und die übrigen im wesentlichen unverändert zu lassen, wurde völlig erreicht.
- Das nach der Faltung 21 erhaltene Bild enthält Pixel, deren Leuchtdichten der Gruppe {Q-1, Q-2, Q-3, Q-4} angehören sowie weitere Pixel, deren Leuchtdichten der Gruppe {0, 1, 2, 3} angehören. Das Verfahren gemäß der Erfindung schlägt vor, einen Schwellenvergleich 22 dieses Bildes mit einer Schwelle, die beispielsweise auf Q/2 festgelegt ist, auszuführen, damit nur die Konturen erleuchtet werden, und zwar mit einem Leuchtdichtewert von Q-1.
- Nach Fig. 1 besteht der dritte Schritt des Verfahrens gemäß der Erfindung in der Extraktion 3 kennzeichnender Parameter jeder Kontur Ck des Bildes. Wie zuvor erläutert worden ist, sind diese kennzeichnenden Parameter zum einen die Umfänge Pk und zum anderen die Schwerpunkte Gk der Konturen Ck.
- Die Ablesung der Konturen erfolgt, indem für jedes Objekt die Punkte der Konturen, d. h. die einzigen Punkte des aus der Verarbeitung 2 hervorgegangenen Bildes, deren Leuchtdichte nicht 0 ist, durchgegangen werden. Das Verfahren gemäß der Erfindung sieht vor, jedes Pixel der Konturen zu testen, wobei für jedes Pixel jene seiner acht Nachbarn gesucht werden, die erleuchtet sind. Um dies auszuführen, werden die acht Nachbarn in einer festgelegten Reihenfolge, wie etwa derjenigen, die in Fig. 5 schematisch dargestellt ist, betrachtet. Diese Reihenfolge sollte auf die Abtastung des Schirms abgestimmt sein, d. h. im Beispiel von Fig. 5, in welchem das getestete Pixel das mittige Pixel ist und die Reihenfolge der mit 1 bis 8 bezifferten Reihenfolge entspricht, von oben nach unten und von links nach rechts erfolgen. Diese Suche erfolgt rekursiv, d. h. sobald auf einen erleuchteten Nachbarn getroffen wird, wird eine völlig gleiche Suche für diesen Nachbar begonnen. Die Rekursivität gebietet, besonders darauf zu achten, daß nicht einige zu Konturen gehörende Punkt vergessen werden oder aber mehrmals über den gleichen Punkt gegangen wird. Außerdem sollte leicht von einer Kontur zur nächsten übergegangen werden können.
- Die Untersuchungen der Anmelderin haben gezeigt, daß es notwendig ist, jedem Pixel der Konturen eine Zustandsvariable zuzuordnen, die sich in den folgenden vier Zuständen befinden kann:
- - Zustand 0: nicht getestetes Pixel;
- - Zustand 1: Pixel, das der Kontur des getesteten Pixels zugehört, jedoch noch nicht getestet worden ist;
- - Zustand 2: Pixel, das der Kontur des getesteten Pixels zugehört und dem Test unterzogen worden ist;
- - Zustand 3: Pixel, das einer vorhergehenden Kontur zugehört (also bereits getestet ist).
- Sämtliche Pixel einer gleichen Kontur sind bestimmt, wenn bei einer schrittweisen räumlichen Ausdehnung der Tests keine weiteren erleuchteten Nachbarn gefunden werden. Da ihre Zustandsvariable im Zustand 2 ist, genügt es, sie zu zählen, um den Umfang der Kontur zu erfahren.
- Was die Schwerpunkte Gk anbelangt, ihre Abszissen- und ihre Ordinatenwerte werden in herkömmlicher Weise berechnet, indem der Mittelwert der Abszissenwerte bzw. der Mittelwert der Ordinatenwerte der Pixel der Kontur, die zuvor, beispielsweise zum Zeitpunkt der Hervorhebung der Konturen, gespeichert worden sind, gebildet wird.
- Nach Fig. 1 erfolgt die Wiedererkennung 4 der Konturen Ck durch einen Vergleich der kennzeichnenden Parameter Pk und Gk des gerade zu verarbeitenden Bildes mit den kennzeichnenden Parametern Pk' und Gk' des zuvor verarbeiteten Bildes. Eine Kontur wird als ein gleiches Objekt repräsentierend angesehen, wenn sie den beiden folgenden Bedingungen genügt:
- - Die Schwerpunkte Gk und Gk' liegen nahe beieinander, d. h. der Abstand GkGk' ist kleiner als ein vom Anwender vorgeschriebener maximaler Abstand;
- - Die Umfänge Pk und Pk' sind nahezu gleich, d. h. ihr Unterschied ist kleiner als ein zuvor festgelegter Schwellenwert.
- - Die Geschwindigkeit Vk einer wiedererkannten Kontur Ck wird dann aus der Berechnung der Lageveränderung des Schwerpunktes abgeleitet. Dies ist nur aufgrund der vorangehenden Bearbeitungen möglich; da nämlich die Konturen einer Glättung unter worfen worden sind, ist sicher, daß, wenn sich der Schwerpunkt verschiebt, diese Verschiebung repräsentativ für eine Ortsveränderung des Objekts ist.
- Die Durchführung des Verfahrens gemäß der Erfindung erfolgt aufgrund der hohen Verarbeitungsgeschwindigkeiten sehr vorteilhaft mittels Rechner.
Claims (10)
1. Verfahren zur Verfolgung von verformbaren Elementen
und/oder stark verrauschten Konturen anhand von Bildern, die
aus einer ganzen Zahl N von Zeilen und einer ganzen Zahl M von
Spalten und aus einer Anzahl N · M von Pixeln, die gemäß einer
ganzen Zahl Q von Leuchtdichtewerten codiert sind, aufgebaut
sind, wobei das Verfahren darin besteht:
- in jedem Bild eine Vorverarbeitung (1) zur Formgebung
des Bildes auszuführen, um die Konturen zu glätten;
- in jedem vorverarbeiteten Bild geschlossene Konturen zu
extrahieren (2), deren Dicken ein Pixel nicht übersteigen;
- für jede geschlossene Kontur signifikante Parameter der
Konturen zu extrahieren (3);
- von einem Bild zum nächsten die erhaltenen Parameter zu
vergleichen, um so die Form eines Elements zu erkennen (4), und
dann daraus seine Geschwindigkeit abzuleiten (5), dadurch
gekennzeichnet, daß die Extraktion (2) der Konturen besteht
aus:
- einer Faltung (21) des aus der Vorverarbeitung (1) sich
ergebenden Bildes mit einer Matrix aus Laplace-Koeffizienten
bis auf einen Multiplikationsfaktor α,
- einem Schwellenvergleich (22) des gefalteten Bildes mit
einem Schwellenwert, der im wesentlichen gleich Q/2 ist, wobei
die Faltung (21) besteht aus:
- einer Faltung (211) eines Pixels i, j mit Leuchtdichte
L(i, j) mit der Laplace-Matrix;
- einer Speicherung (211) des Ergebnisses L'(i, j) der
Faltung;
- einer Ersetzung (213) von L(i, j) durch L'(i, j),
sobald das Pixel i, j nicht mehr in den Faltungen verwendet
wird.
2. Verfolgungsverfahren nach Anspruch 1, dadurch
gekennzeichnet, daß die Vorverarbeitung (1) zur Formgebung des Bildes
besteht aus:
- einem Schwellenvergleich (11) des Bildes mit einem
vorgegebenen Schwellenwert, der ermöglicht, sämtliche Pixel,
deren Leuchtdichtecode größer als ein vorgegebener
Schwellenwert ist, auf 0 zu setzen, und sämtliche anderen Pixel auf
(Q - 1) zusetzen, um so ein binäres Bild zu erhalten;
- wenigstens einer Folge aus einer Erosion (13) und einer
Dilatation (14) des binären Bildes, was eine Glättung der
Konturen ergibt.
3. Verfolgungsverfahren nach Anspruch 2, dadurch
gekennzeichnet, daß die Folge aus einer Erosion (13) und einer
Dilatation (14) des binären Bildes ausgeführt wird durch:
- eine erste Faltung (121) des binären Bildes mit einer
unitären Matrix der Dimension P, wobei P eine ungerade ganze
Zahl kleiner als die ganzen Zahlen N und M ist;
- einen ersten Schwellenvergleich (122) des gefalteten
Bildes mit einem Schwellenwert, der im wesentlichen gleich Q/2
ist;
- eine erste Videoinversion (123) des
schwellenverglichenen Bildes;
- eine zweite Faltung (121') des invertierten Bildes mit
der unitären Matrix;
- einen zweiten Schwellenvergleich (122') des zweiten
gefalteten Bildes mit einem Schwellenwert, der im wesentlichen
gleich Q/2 ist; und
- eine zweite Videoinversion (123').
4. Verfolgungsverfahren nach Anspruch 3, dadurch
gekennzeichnet, daß die erste und die zweite Faltung bestehen aus:
- einer Faltung (124) eines Pixels i, j mit Leuchtdichte
L(i, j) mit der unitären Matrix;
- einer Speicherung (125) des Ergebnisses L'(i, j) der
Faltung;
- einer Ersetzung (126) der Leuchtdichte L(i, j) durch
die Leuchtdichte L'(i, j), sobald das Pixel i, j in den
Faltungen nicht mehr verwendet wird.
5. Verfolgungsverfahren nach irgendeinem der vorangehenden
Ansprüche, dadurch gekennzeichnet, daß die signifikanten
Parameter der Konturen durch den Umfang Pk und den Schwerpunkt
Gk jeder Kontur Ck gebildet sind.
6. Verfolgungsverfahren nach Anspruch 5, dadurch
gekennzeichnet, daß die Extraktion der Umfänge Pk der Konturen Ck
darin besteht:
- rekursiv jedes Pixel der Konturen Ck zu testen, indem
in einer bestimmten Reihenfolge jene seiner acht Nachbarn
gesucht werden, die erleuchtet sind;
- jedem Pixel eine Zustandsvariable zuzuordnen, die sich
in den vier folgenden Zuständen befinden kann:
- Zustand 0: nicht getestetes Pixel;
- Zustand 1: Pixel, das der Kontur des getesteten
Pixels zugehört, jedoch noch nicht getestet worden
ist;
- Zustand 2: Pixel, das der Kontur des getesteten
Pixels zugehört und dem Test unterzogen worden ist;
- Zustand 3: Pixel, das einer vorhergehenden Kontur
zugehört,
- sämtliche Pixel zu zählen, für die die Zustandsvariable
im Zustand 2 ist, wenn der Test beendet worden ist.
7. Verfolgungsverfahren nach Anspruch 6, dadurch
gekennzeichnet, daß die vorgegebene Reihenfolge der Abtastung des
Schirms entspricht.
8. Verfolgungsverfahren nach irgendeinem der Ansprüche 5
bis 7, dadurch gekennzeichnet, daß die Schwerpunkte Gk durch
ihre Abszissen und ihre Ordinaten bestimmt werden, indem der
Mittelwert der Abszissen und der Mittelwert der Ordinaten der
Pixel der Konturen Ck gebildet werden.
9. Verfolgungsverfahren nach Anspruch 8, dadurch
gekennzeichnet, daß die Form eines Elements erkannt (4) wird, wenn
für zwei nacheinander verarbeitete Bilder die beiden gefundenen
Umfänge Pk' und Pk nahezu gleich sind und wenn die beiden
Schwerpunkte Gk' und Gk nahe beieinander liegen.
10. Verfolgungsverfahren nach Anspruch 9, dadurch
gekennzeichnet, daß die Geschwindigkeit eines Elements aus der
Schwerpunktverschiebung vom Punkt Gk' zum Punkt Gk abgeleitet
wird.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9204831A FR2690262B1 (fr) | 1992-04-21 | 1992-04-21 | Procede de pistage a partir d'images d'elements deformables et/ou aux contours fortement bruites. |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69328886D1 DE69328886D1 (de) | 2000-07-27 |
DE69328886T2 true DE69328886T2 (de) | 2001-01-04 |
Family
ID=9429046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69328886T Expired - Fee Related DE69328886T2 (de) | 1992-04-21 | 1993-04-16 | Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP0567377B1 (de) |
DE (1) | DE69328886T2 (de) |
DK (1) | DK0567377T3 (de) |
FR (1) | FR2690262B1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10258794A1 (de) * | 2002-12-16 | 2004-06-24 | Ibeo Automobile Sensor Gmbh | Verfahren zur Erkennung und Verfolgung von Objekten |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5356630A (en) * | 1989-02-22 | 1994-10-18 | Massachusetts Institute Of Technology | Delivery system for controlled release of bioactive factors |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2538653B1 (fr) * | 1982-05-28 | 1989-03-31 | Thomson Csf | Procede d'estimation des translations subies par des objets representes dans une sequence d'images et dispositif mettant en oeuvre ce procede |
-
1992
- 1992-04-21 FR FR9204831A patent/FR2690262B1/fr not_active Expired - Fee Related
-
1993
- 1993-04-16 EP EP93400996A patent/EP0567377B1/de not_active Expired - Lifetime
- 1993-04-16 DE DE69328886T patent/DE69328886T2/de not_active Expired - Fee Related
- 1993-04-16 DK DK93400996T patent/DK0567377T3/da active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10258794A1 (de) * | 2002-12-16 | 2004-06-24 | Ibeo Automobile Sensor Gmbh | Verfahren zur Erkennung und Verfolgung von Objekten |
Also Published As
Publication number | Publication date |
---|---|
DK0567377T3 (da) | 2000-11-06 |
FR2690262B1 (fr) | 1996-12-20 |
EP0567377B1 (de) | 2000-06-21 |
EP0567377A1 (de) | 1993-10-27 |
DE69328886D1 (de) | 2000-07-27 |
FR2690262A1 (fr) | 1993-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69524235T2 (de) | Verfahren und vorrichtung zur global-zu-lokal-block-bewegungsschätzung | |
DE69937530T2 (de) | Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen | |
DE60012649T2 (de) | Beseitigung von chromarauschen aus digitalbildern durch verwendung veränderlich geformter pixelnachbarschaftsbereiche | |
DE69427801T2 (de) | Verfahren und Gerät zur Bestimmung von Bewegungsvektorfelden durch die Unterdrückung lokaler Abweichungen | |
DE3712639A1 (de) | Verfahren und einrichtung zum abbilden von volumendaten | |
DE102010053458B4 (de) | Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera | |
DE102006051919B4 (de) | Verfahren zum Bereitstellen eines 3D-Röntgenbilddatensatzes des Herzens eines Patienten | |
DE3742196C2 (de) | ||
DE4311972A1 (de) | Verfahren zur Detektion von Änderungen in Bewegtbildern | |
DE4224568C2 (de) | Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes | |
DE102004004641A1 (de) | Dreidimensionale Reprojektions- und Rückprojektionsverfahren und Algorithmen zum Durchführen derselben | |
DE102007013570A1 (de) | Verfahren zur Rauschverminderung in digitalen Bildern mit lokal unterschiedlichem und gerichtetem Rauschen | |
DE69225264T2 (de) | Minimaldifferenz-Prozessor | |
DE102005021001A1 (de) | Bildbasiertes Verfahren zum Detektieren und Entfernen von kleinen Fragmenten in segmentierten dreidimensionalen Volumina | |
EP1437685A2 (de) | Verfahren zum Segmentieren einer dreidimensionalen Struktur | |
DE69802269T2 (de) | Vorrichtung und verfahren zum vergleichen von pixelblöcken | |
DE60023837T2 (de) | Vorrichtung und verfahren zur filterung | |
DE69802255T2 (de) | Verfahren und Gerät zur Einführung von Referenzstörungen in Videosignalen | |
DE69328886T2 (de) | Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten | |
DE102021101468A1 (de) | Verfahren zur Erzeugung valider Entfernungsdaten für eine Lichtlaufzeitkamera | |
DE69231836T2 (de) | Nichtganze Bildelementekompression für Vorwärts-Infrarotsensoren der zweiten Generation | |
WO2010028718A2 (de) | Verfahren zur bildverarbeitung von stereobildern | |
DE102010018142A1 (de) | Verfahren zur Aufnahme eines Bildes | |
DE102008048257B4 (de) | Verfahren zur Detektion eines Blockrasters | |
DE112020006088T5 (de) | Computerimplementiertes verfahren zum umwandeln eines eingangsbildes in ein ausgangsbild basierend auf einem referenzbild |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |