DE69302272T2 - Korelationssignalverarbeitung. - Google Patents

Description

• Diese Erfindung betrifft eine Korrelationssignalverarbeitung und gemäß dem wichtigsten Beispiel die Verarbeitung korrelierter Oberflächen, die bei der Abschätzung der Bewegung innerhalb einer Folge von Videobildern verwendet werden.
• Indem die offenbare bzw. scheinbare Bewegung in Folgen von Videobildern gemessen wird, ist es möglich, die Verarbeitung zu verbessern, die auf derartige Folgen angewendet werden kann. Ein besonders gutes Verfahren zur Bewegungsabschätzung ist in der GB 2 188 510 offenbart; auf dieses Verfahren kann als Phasenkorrelation Bezug genommen werden. Kurz gesagt, wird eine Korrelationsoberfläche durch das Phasenkorrelieren zweier Bilder erhalten, die in ausgewählter Weise in die x- und y-Richtung ausgelenkt bzw. verschoben werden. Maxima in der Korrelationsoberfläche können als zu Verschiebungen bzw. Auslenkungen von Objekten in einer Beziehung stehend von einem Videobild zu dem nächsten erkannt werden. Sobald diese Bewegungsvektoren erkannt worden sind, ist es bei einer weiteren Verarbeitung möglich, jedes Bildelement dem angemessenen Bewegungsvektor zuzuordnen.
• Es kann gezeigt werden, daß ein kritischer Faktor bei der Bewegungsabschätzung und der weiteren Verarbeitung, der auf die Bewegungsvektoren bezogen ist, die Genauigkeit ist, mit der Peaks bzw. Spitzen in der Korrelationsoberfläche erkannt werden können. Eine Korrelationsoberfläche wird abgetastet werden und angemessene Schritte werden gemacht, um einen Abtastpunkt zu erkennen, der "hoher" ist als seine unmittelbaren Nachbarn". Die Lokalisierung der Spitze bzw. des Peaks mit einer Genauigkeit von einem Abtastungsintervall ist jedoch nicht ausreichend, und eine weitere Verarbeitung ist erforderlich, um die Spitze bzw. den Peak bei Unterabtastintervallen zu lokalisieren bzw. diesen zuzuordnen.
• Die GB 2 188 510 schlägt eine Annäherung vor, bei der Korrelationspeaks bzw. -spitzen in einer x-, y-Korrelationsoberfläche (in dem Bereich eines angenommenen Maximums) erkannt werden können, indem sie an die Oberfläche eine quadratische Funktion von x und eine quadratische Funktion von y angepaßt werden. Maxima in der x- und der y-Funktion können dann algebraisch bestimmt werden. Der Punkt, der die Koordinaten xmax und ymax hat, wird als eine Spitze bzw. ein Peak in der Oberfläche aufgefaßt.
• Es ist in der Praxis herausgefunden worden, daß diese Annäherung einen Grund für bemerkenswerte bzw. hervorstechende Fehler geben kann. Es wird angenommen, daß dies auftritt, weil Peaks bzw. Spitzen in "wirklichen" Korrelationsoberflächen wiederholt nicht sowohl horizontal als auch vertikal symmetrisch sind, so daß die Annahmen, die hinter der getrennten bzw. trennbaren quadratischen Annäherung sind, zusammenbrechen. Um ein Beispiel aus der Anwendung zu geben, könnte, falls ein Objekt bzw. Gegenstand diagonal in einem Videofeld bzw. -bereich bewegt wird, die Kameraintegration das Objekt in der Richtung der Bewegung verschmieren, während die Auflösung normal zu dem Bewegungsvektor unbeeinträchtigt bleibt. Dies kann umgekehrt einen Grund für einen Korrelationspeak bzw. eine Korrelationsspitze geben, die in der Richtung der Bewegung gedehnt ist. Kantenartige Merkmale in Bildern können auch einen Grund für die Verlängerung von Korrelationspeaks bzw. Korrelationsspitzen geben.
• Es ist eine Aufgabe dieser Erfindung, ein verbessertes Verfahren zur Lokalisierung eines Maximums in einer abgetasteten Korrelationsoberfläche zur Verfügung zu stellen.
• Nach einem Gesichtspunkt besteht die vorliegende Erfindung in einem Verfahren zum Lokalisieren eines stationären Wertes auf die Genauigkeit eines Unterabtastintervalls in einer abgetasteten Korrelationsoberfläche S(x,y), mit dem Schritt der Lokalisierung eines Abtastpunktes x,y angrenzend zu bzw. in der Nachbarschaft zu einem stationären Wert und ist durch die Schritte charakterisiert: eine quadratische Funktion Z(x,y) wird über x,y entwickelt, wobei Z(x,y) ax² + by² + cxy + dx + ey + f ist; die linearen Koeffizienten von Z(x,y), die einen minimierten Fehler zwischen S(x,y) und Z(x,y) darstellen, werden bestimmt; und x- und y-Koordinaten des stationären Wertes von den linearen Koeffizienten werden berechnet.
• Nach einem weiteren Gesichtspunkt besteht die Erfindung aus einer Vorrichtung zum Lokalisieren eines stationären Wertes in einer abgetasteten Korrelationsoberfläche S(x,y) auf eine Genauigkeit eines Unterabtastintervalls, wobei diese Mittel zum Erzeugen eines rastergescannten Abtastsignals aus der Korrelationsoberfläche, eine parallele Anordnung von Ortsfrequenz-Filtern (100-105) bzw. räumlichen Filtern, die jeweils das Abtastsignal empfangen, und eine arithmetische Einrichtung aufweisen, die die Ausgänge der Filter empfängt und Koordinaten aus einem angenommenen stationären Wert auf eine Genauigkeit eines Unterabtastintervalls aus den linearen Koeffizienten von Z(x,y) = ax² + by² + cxy + dx + ey + f erhält, die einen minimierten Fehler zwischen S(x,y) und Z(x,y) darstellen.
• Die Erfindung wird nun im Wege eines Beispiels unter Bezugnahme auf die beigefügten Darstellungen beschrieben, in welchen:
• Fig. 1 ein Blockdiagramm einer Peak-Ermittlungsvorrichtung gemäß der vorliegenden Erfindung ist;
• Fig. 2 ein Blockdiagramm einer abgewandelten Peak- bzw. Spitzen-Ermittlungsvorrichtung gemäß der vorliegenden Erfindung ist; und
• Fig. 3 ein Blockdiagramm ist, das eine Form einer Korrelation darstellt, die im besonderen zur Verwendung mit der vorliegenden Erfindung geeignet ist.
• Gemäß dieser Erfindung wird eine zweidimensionale quadratische Funktion an eine abgetastete Korrelationsfunktion angepaßt. Die zweidimensionale quadratische Funktion wird ausgewählt, weil sie das allgemeinste mehrdimensionale Polynom ist, das ein einziges allgemeines Maximum hat. Die quadratische Oberfläche, die einem bestimmten Abtastpunkt in der Korrelationsoberfläche entspricht, wird durch eine letzte mittlere quadratische Anpassung auf den Abtastpunkt und die acht unmittelbaren Nachbarn bestimmt. Die Korrelationsfunktion S(x,y) wird durch eine zweidimensionale quadratische Funktion (Z(x,y) angenähert, die bestimmt ist als
• Z(x,y) = ax² + by² + cxy + dx + ey + f (1)
• Der Fehler zwischen der Annäherung und der korrekten Korrelationsoberfläche ist gegeben durch:
• Dies kann in der Form einer Matrix geschrieben werden, d.h.
• Fehler = e.er ; e = s-z & z=M.c (3)
• wobei
• Es kann gezeigt werden, daß der Fehler im Hinblick auf den Koeffizientenvektor 0 minimiert ist, indem die Gleichungen gelöst werden
• c = (MrM)&supmin;¹Mrs (5)
• Es sollte zur Kenntnis genommen werden, daß neun Abtastpunkte einer Korrelationsoberfläche verwendet werden, um nur sechs Koeffizienten zu ermitteln bzw. zu erhalten. Das bedeutet, daß die gleichzeitigen bzw. simultanen Gleichungen nicht auf eine geradlinige algebraische Weise gelöst werden können. Jedoch kann durch Durchführung einer letzten mittleren quadratischen Annäherung bzw. Fit in der beschriebenen Weise die Rauschempfindlichkeit bzw. Störungsempfindlichkeit der Peak- bzw. Spitzenermittlungsprozedur bemerkenswert bzw. wesentlich verringert werden.
• Sobald der Vektor 0 bestimmt worden ist, sind die Koordinaten xmax und ymax gegeben durch
• xmax = ce - 2bd/4ab - c² & ymax = ed - 2ae/4ab - c² (6)
• Untersuchungen sind durchgeführt worden, um die Genauigkeit der Peak- bzw. Spitzenermittlung nach der vorliegenden Erfindung um die Annäherung nach dem Stand der Technik in der GB 2 188 510 und anderswo zu vergleichen. Getrennt von der separierbaren quadratischen Annäherung, die in der GB 2 188 510 angeregt wird, sind andere Funktionen, die vorgeschlagen worden sind, getrennte x- und y-invertierte "V"-Funktionen, sin(x)/x- und sin(y)/y-Funktionen und eine "Gravitationszentrum"Näherung. Zum Zwecke dieser Untersuchung sind zwei Formen von Korrelationspeaks bzw. -spitzen vorausgesetzt worden. Peak 1 ist ein zirkularsymmetrischer Peak, der ungefähr vier Abtastungen breit ist und definiert ist durch
• Peak&sub1; (x,y) = exp (-0,6(x&sub2;+y&sub2;)) (7)
• Man bemerke, daß die verwendeten Koordinaten relativ zu dem Zentrum des Peaks bzw. der Spitze sind, und die Einheiten Abtastintervalle sind. Der Peak&sub2; ist in einer Richtung viermal breiter als in rechten Winkeln und ist bei 45º orientiert bzw. ausgerichtet. Er ist definiert durch Peak&sub2; (x,y) = exp {-0,6(0,53x²-0,94xy+0,53y²)} (8)
• Beide Spitzen bzw. Peaks waren mit gleichem Abstand zwischen vier Abtastplätzen zentriert. Messungen des Peakortes bzw. der Lokalisierung des Peaks wurden durch Annähern jeder der oben beschriebenen Funktionen und anschließend unter Verwendung eines Verfahrens gemäß der vorliegenden Erfindung vorgenommen. Die Ergebnisse werden unten herausgestellt, in denen auf das Verfahren gemäß der vorliegenden Erfindung als "nicht-trennbares bzw. nicht-separierbares Polynom" Bezug genommen wird. Peak-Örtlichkeit bzw. -Lokalisierung Technik Peak 1 Meßfehler (Abtastungen) Peak 2 Meßfehler (Abtastungen) trennbar quadratisch trennbar invertiert "V" trennbare sin(x)/x Gravitationszentrum nicht-trennbares Polynom
• Die gegebenen Fehler treffen nur für eine Koordinate zu und die Fehlergrößer ist Wurzel 2 mal größer. Es kann aus der Überprüfung ersehen werden, daß sämtliche Techniken vernünftig mit einem zirkularsymmetrischen Peak arbeiten. Tatsächlich stellt die Annäherung von trennbaren Funktionen ein identisch korrektes Ergebnis zur Verfügung. Es ergibt sich bei dem Verfahren gemäß dieser Erfindung ein Fehler, der nicht Null ist, jedoch von einer geringen Größenordnung ist. Beim Peak&sub2; ergibt sich jedoch in jedem der vier Annähee rungen nach dem Stand der Technik ein Abtastfehler, der die Größenordnung eines halben Abtastintervalis aufweist. Ein Fehler dieser Größenordnung ist dazu geeignet, zu einer wahrnehmbaren Verzerrung in einem aufeinanderfolgend verarbeiteten Videobild zu führen. Im Gegensatz dazu stellt das Verfahren gemäß der vorliegenden Erfindung einen Fehler von näherungsweise einem Zehntel eines Abtastintervalls zur Verfügung.
• Es ist durch den Erfinder dieser Erfindung beobachtet worden, daß eine Lösung der Gleichung (5) unter Verwendung sehr einfacher Hardware zur Verfügung gestellt werden kann.
• Wird wieder Gleichung (5) betrachtet, kann es erkannt werden, daß der Vektor C durch Multiplizieren des Abtastvektors S mit einem gleichbleibenden sechsreihigen und neunspaltigen Matrix berechnet wird. Mit einer rastergescannten Korrelationsoberfläche kann diese Berechnung unter Verwendung einer parallelen Anordnung von Filtern durchgeführt werden, jeweils einer für die Koeffizienten der quadratischen Funktion. Diese Filteranordnung wird in Fig. 1 gezeigt. Es wird zu erkennen sein, daß die Rasterscan-Korrelationsoberfläche parallel zu fünf Filtern 100 bis 105 entsprechend den Koeffizienten a, b, c, d und e zugeführt wird bzw. an dieser angelegt wird. Da die Konstante f in den Verhältnissen bzw. Gleichungen für xmax und ymax nicht auftaucht, ist es nicht nötig, einen sechsten Filter, der dem Koeffizienten f entspricht, zur Verfügung zu stellen. Jeder dieser Filter ist ein 3 x 3 Raumfilter bzw. Ortsfrequenzfilter und es wird zu erkennen sein, daß angemessene Verzögerungen eingestellt werden, um es zu ermöglichen, drei benachbarte Scanlinien bzw. -zeilen zu verarbeiten. Die Filteröffnungen lauten wie folgt:
• Die Filterausgänge, die die Koeffizienten a, b, c, d und e darstellen, werden zu einer arithmetischen Einheit 102 mitgenommen, die die in Gleichung (6) gezeigte Berechnung durchführt, um Ausgänge xmax und ymax zu erhalten.
• Es wird zu erkennen sein, daß die Ausgänge xmax und ymax nur in dem Bereich eines Peaks bzw. einer Spitze in der Oberfläche sinnvoll sind und eine anfängliche Verarbeitung erforderlich ist, um das Maximum mit einer Genauigkeit von einem Abtastintervall zu lokalisieren.
• Es kann angemessen sein, die beiden Schritte des Lokalisierens eines Peaks bzw. einer Spitze und des anschließenden Bestimmens der Stelle bzw. des Platzes des Peaks zu einer Sub-Bildelementgenauigkeit zu kombinieren und es wird in dieser Hinsicht auf Fig. 2 Bezug genommen.
• Es ist zunächst erforderlich, die Kennzeichen zum Erfassen bzw. Detektieren eines Peaks bzw. einer Spitze einzurichten. Die einfache Näherung nach einer Abtastung zu schauen bzw. zu suchen, die "höher" ist als ihre unmittelbaren acht Nachbarn, wird in der Praxis als ein Verhältnis gültiger Peaks nicht aufweisend erkannt. Um die gemäß der vorliegenden Erfindung ausgewählte Näherung zu beschreiben, werden die Abtastpunkte über einen verarbeiteten Abtastpunkt P benannt mit:
• Diese sind gruppiert zu [A B C D] und [E F G H] und ein Peak bzw. eine Spitze wird erfaßt, falls
• P größer oder gleich ist zu jedem von [A B C D] und P größer ist als jedes [E F G H] .
• Um dieses Verfahren durchzuführen, wird die gescannte bzw. abgetastete Korrelationsoberfläche zu einem ersten Eingang 200 eines Peak-Detektors 203 und durch jeweilige Verzögerungen 204, 205 jedes (von 64 Bildelementen) zu einem zweiten Eingang 201 und einem dritten Eingang 202 geleitet. Die Eingänge empfangen dementsprechend die Signale ABC, DPE bzw. FGH. Falls ein Peak erfaßt wird, wird die Amplitude in einem Peak- bzw. Spitzenspeicher 206 mit der Stromabtastung gespeichert, die über eine weitere Verzögerung verfügbar wird.
• Ein Prozessor 208 für Unterbildelemente umfaßt die 3 x 3-Filter, die oben beschrieben sind, und gibt die Unterbildelement-Versätze xVersatz und yVersatz aus, die an den X/Y- Zwischenspeicher weitergeleitet werden. Der Zwischenspeicher wird so kontrolliert, daß er die Grob- und Fein-x,y-Koordinaten zum Beispiel der vier höchsten Peaks bzw. Spitzen behält, die über einen FIFO 210 verfügbar gemacht werden.
• Eine Abänderung der vorliegenden Erfindung wird vorgeschlagen, die den Fehler beim Bestimmen des Ortes eines Maximums noch weiter verringern sollte. Folglich wird es angenommen, daß ein Faktor, der zu einem Restfehler bei dem Verfahren gemäß dieser Erfindung führt, ist, daß die Erfindung bemüht ist, eine quadratische Funktion an eine Oberfläche anzupassen, die von einer höheren Ordnung sein kann. Um die Auswirkungen dieses Problems auszuräumen oder zu verringern, ist es vorgeschlagen wird, die Korrelationsfunktion in einer solchen Weise zu modifizieren bzw. zu verändem, daß die Peaks oder Spitzen durch quadratische Funktionen bestimmt sind. Bezugnehmend auf Fig. 3 erfordert die Phasenkorrelationsverarbeitung nach dem Stand der Technik eine schnelle Vorwärts-Fourier-Transformations(FFT)-Einheit 300, eine Frequenz-Gebietsverarbeitungseinheit 302 und eine inverse FFT 303. Es wird bei einer Abänderung der vorliegenden Erfindung vorgeschlagen, ein Guass'sches Fenster 304 vor dem inversen FFT-Block 303 einzusetzen. Da die Fourier- Transformation einer gauss'schen Funktion natürlich eine gauss'sche Funktion ist, erzielt dies das Ergebnis, eine Korrelationsoberfläche zur Verfügung zu stellen, die Peaks bzw. Spitzen einer gauss'schen Form aufweist. Die Korrelationsfunktion wird dann durch eine logarithmische Einheit 305 hindurchgeleitet, bevor sie zu dem Peak- bzw. Spitzenaufspürblock 306 gelangt, welche genauso sein kann, wie oben beschrieben. Als ein Ergebnis der Aufnahme des Logarithmus der logischen Funktion ist die Korrelationsoberfläche, in der Peaks bzw. Spitze gesucht werden, von quadratischer Natur.
• Das gauss'sche Fenster 304 kann die Gestalt eines Vervielfachers annehmen, der vervielfachte Koeffizienten von einem ROM empfängt. Die logarithmische Einheit 305 kann eine Tabelle aufweisen.
• Es sollte erkannt werden, daß, während diese Erfindung beschrieben worden ist, wobei Beispiele von Phasenkorrelationsoberflächen genommen wurden, sie auch gleichermaßen für andere Korrelationsoberflächen anwendbar ist, wie etwa kreuzkorrelierte Oberflächen. Die Erfindung ist besonders vorteilhaft bei Bewegungsabschätzungen, wird aber in anderen Videosignalverarbeitungstechniken oder in der Tat anderen Signalverarbeitungstechniken eine Anwendung finden. Während es üblich sein wird, nach Maxima in einer Korrelationsoberfläche zu suchen, ist die Erfindung allgemein zur Lokalisierung stationärer Werte anwendbar.

Claims (8)

1. Verfahren zum Lokalisieren eines stationären Wertes in einer abgetasteten Korrelationsoberfläche S(x,y) auf Unterabtastintervall-Genauigkeit, mit dem Schritt des Lokalisierens eines Abtastpunktes x,y benachbart zu einem stationären Wert, und gekennzeichnet durch die folgenden Schritte: um x,y wird eine quadratische Funktion Z(x,y) entwickelt, wobei

Z(x,y) = ax² + by² + cxy + dx + ey + f;

die linearen Koeffizienten von Z(x,y), die einen mmimierten Fehler zwischen S(x,y) und Z(x,y) darstellen, werden bestimmt; und x- und y-Koordinaten des stationären Wertes werden aus den linearen Koeffizienten berechnet.

2. Verfahren nach Anspruch 1, in dem die linearen Koeffizienten von Z(x,y), die einen minimierten Fehler zwischen S(x,y) und Z(x,y) darstellen, werden bestimmt, in Entsprechung mit:

c = (MrM)&supmin;¹Mrs

wobei

3. Verfahren nach einem der Ansprüche 1 oder 2, in dem die x- und y-Koordinaten des stationären Wertes berechnet werden, in Übereinstimmung mit

x = ce - 2bd/4ab - c² & y = ed - 2ae/4ab - c²

4. Vorrichtung zum Lokalisieren eines stationären Wertes in einer abgetasteten Korrelationsoberfläche S(x,y) bis auf eine Unterabtastintervall-Genauigkeit; mit Mitteln zum Erzeugen eines rastergescannten Abtastsignals von der Korrelationsoberfläche; mit einer parallelen Anordnung räumlicher Filter bzw. Ortsfrequenzfilter (100-105), die jeweils das Abtastsignal empfangen, und mit einer arithmetischen Einrichtung (120), die die Ausgänge der Filter empfängt und Koordinaten von einem angenommenen stationären Wert bis auf Unterabtastintervall-Genauigkeit aus den linearen Koeffizienten von Z(x,y) ax² + by² + cxy + dx + ey + f erhält, die einen minimierten Fehler zwischen S(x,y) und Z(x,y) darstellen.

5. Vorrichtung gemäß Anspruch 4, in der die parallele Anordnung von Ortsfrequenzfiltern bzw. Raumfiltern fünf Filter (100-105) entsprechend jeweils den linearen Koeffizienten a, b, c, d und e aufweist.

6. Vorrichtung nach Anspruch 5, in der jeder der Filter eine öffnung von drei Abtast- bzw. Scanzeilen oder -linien und drei Abtastungen bzw. Probenahmen aufweist.

7. Vorrichtung nach Anspruch 6, in der die Öffnungen der jeweiligen Filter wie folgt lauten:

8. Vorrichtung gemäß einem der Ansprüche 4 bis 8 mit einer Peak- bzw. Spitzendetektoreinrichtung (203); mit einem Sub- Bildelementstellungsprozessor (208), der die parallele Anordnung von Ortsfrequenzfiltern bzw. Raumfiltern aufweist; mit Scanlinien-Verzögerungsmitteln (204, 205), die drei Scanlinien bzw. -zeilen parallel zu der Peak- bzw. Spitzendetektoreinrichtung und dem Sub-Bildelementprozessor zur Verfügung stellt; und mit Mitteln (206, 207, 209) zum integralen bzw. gemeinsamen Bestimmen von x- und y-Werten, die einem Peak bzw. einer Spitze entsprechen, die in der Peakbzw. Spitzendetektoreinrichtung erfaßt worden ist und die die Werte mit x- und y-Verstellungs- bzw. -Verschiebungswerten in eine Beziehung setzen oder kombinieren, die durch den Sub-Bildelement-Stellungsprozessor zur Verfügung gestellt sind, um eine Sub-Abtastintervall-Genauigkeit bzw. Unterabtastintervall-Genauigkeit der x- und y-Werte zur Verfügung zu stellen, die einem Peak bzw. einer Spitze entsprechen.