DE68922689T2 - Bild-Bewegungsmessung. - Google Patents

Description

• Die Erfindung betrifft ein Verfahren der Bild-Bewegungsmessung mit dem Schritt der Korrelation von zwei Bildern zum Bestimmen der Korrelation abhängig von Verschiebung dabei zum Bestimmen eines oder mehrerer Spitzenkorrelationswerte entsprechend jeweiliger Bewegungsvektoren. Die Erfindung bezieht sich ebenfalls auf ein Gerät zur Verwendung mit dem erwähnten Verfahren.
• Ein obiges Verfahren ist in GB-A-2 188 510 (entsprechend WO-A8705769) beschrieben, das sich insbesondere auf die Erzeugung von Bewegungsvektoren für Fernsehbilder bezieht. Im Bereich des Hochauflösungsfernsehens (HDTV) werden derartige Bewegungsvektoren mit einem Fernsehsignal übertragen und zum Erzeugen einer vergrößerten Anzeige auf einen Empfänger durch Beihilfe bei der Erzeugung zusätzlicher Zeilen zu denen im empfangenen Signal oder zum Erzeugen zusätzlicher Felder zwischen denen im empfangenen Signal verwendet. Derartige Bewegungsvektoren werden als Ergebnis der Korrelation zwischen zwei Bildern erzeugt, und bei einem Fernsehsignal wird es bevorzugt, wenn ihre Stelle mit Unterbildelementgenauigkeit identifizierbar ist.
• Der Erfindung liegt die Aufgabe zugrunde, ein Verfähren oben erwähnter Art anzugeben und ein Gerät zu schaffen, in dem die Stelle auf verhältnismäßig einfache Weise identifizierbar ist. Zu diesem Zweck gibt die Erfindung nach einem ersten Merkmal ein Verfahren der Bild-Bewegungsmessung nach Anspurch 1 an. Ein derartiges Verfahren bietet den Vorteil, daß es wenige sehr einfache Vergleiche durchführt, die mit vorangehenden Verfahren erforderlichen intensiven Berechnungsbearbeitungen ersetzen. Ein Gerät für die Bild-Bewegungsmessungnach einem zweiten Merkmal der Erfindung ist in Anspruch 4 beschrieben. Vorteilhafte Ausführungsbeispiele sind in den Unteransprüchen definiert. Das erfindungsgemäße Ausführungsbeispiel nach Anspruch 2 bietet die bevorzugte Unterbildelementgenauigkeit. Wenn die Erfindung mit Fernsehsignalen benutzt wird, ist sie außerdem nach Anspruch 3 gekennzeichnet.
• Obige und weitere Eigenschaften der Erfindung werden nachstehend anhand der Zeichnung näher erläutert. Es zeigen
• Fig. 1 eine Korrelationsoberfläche desselben Gebiets aus benachbarten Halbbildern eines Fernsehbildes,
• Fig. 2 eine Draufsicht auf einen Teil der Fig. 1,
• Fig. 3 und 4 je einen Querschnitt durch Fig. 2, und
• Fig. 5 ein Blockschaltbild eines Geräts zur Verwendung mit der Erfindung.
• In Fig. 1 ist eine Korrelationsoberfläche dargestellt, die durch die Korrelation desselben Gebiets in zwei benachbarten Fernsehhalbbildern erhalten wurde. Es sei dabei angenommen, daß jedes Gebiet 32 Bildelemente x 32 Zeilen groß ist, und also die Verschiebung in den X und Y Richtungen nach Fig. 1 von -16 nach +16 Abtastpositionen laufen, wobei die Abtastungen jeweils um ein Bildelement auseinander liegen.
• In der Praxis erscheint Fig. 1 nicht als eine ununterbrochene Korrelationsoberfläche, sondern als eine Reihe diskreter Abtastungen vorgegebener Größen, die jeweils um ein Bildelement auseinander liegen. Die Korrelationsoberfläche kann mit Hilfe einer Phasenkorrelation nach der Beschreibung in der oben erwähnten britischen Patentanmeldung oder im Artikel "Video-rate Image Correlation Processor" von J.J. Pearson, D.C. Hines Jr., S. Golosman und C.D. Kuglin, SPIE Vol. 119, Applications of Digital Image Processing (IOCC 1977) oder mit jedem anderen geeigneten Verfahren beschrieben wird, wie z.B. optimale Anpassung der entsprechenden Gebiete. Nullverschiebung bedeutet Bewegungsabwesenheit und die von der Nullverschiebungsposition weiter entfernt liegenden Spitzen geben sich ändernde Bewegungsgrade der Komponenten im Gebiet an. Obgleich die Abtastungen mit Intervallen von jeweils einem Bildelement auseinander erzeugt werden, wird es bevorzugt, wenn die Positionen der auftretenden Spitzen mit Unterbildelementgenauigkeit bestimmbar sind. Die Art und Weise dieser Bestimmung wird nachstehend anhand der Fig. 2 näher erläutert.
• Wie bereits anhand der Fig. 1 beschrieben wurde, erzeugt die Korrelationsoberfläche tatsächlich eine Reihe diskreter Abtastungen an Punkten mit einem Zwischenraum von jeweils einem Bildelement. Also kann eine Spitze nicht mit einer georteten Abtastung höchster Größe zusammenfallen. Zum genaueren Definieren der Koordinaten einer Spitze wird die Korrelationsoberfläche zunächst zur Bestimmung eines Punkts mit der Abtastung höchster Größe geprüft. Dies ist in Fig. 2 als der Punkt P dargestellt, und diese Figur ist eine Draufsicht auf einen Teil der Korrelationsoberfläche. Nachdem der Abtastpunkt P gefunden ist, werden die acht Abtastpunkte A bis H, die den Punkt P um jeweils ein Bildelement auseinander umgeben, herangezogen und es werden die relativen Zeilengradienten in Verknüpfung mit dem Punkt P mit jedem der umgebenden Punkte A bis H gefunden. Der Umgebungspunkt, durch den die Zeile mit dem steilsten Gradienten durchgeht, wird gewählt und seine Größe festgestellt. Es sei dabei angenommen, daß dieser Abtastpunkt der Punkt D ist. Daraus wird es klar sein, daß die der Abtastung P zugeordnete Spitze in dem schraffierten Dreieck sich befinden muß, dessen Scheitelpunkt im Punkt P liegt, und zusätzlich im gestrichelten Rechteck, dessen jeweilige Seiten sich in einem Abstand von einem Halbbilelementintervall aus den Punkten B, D, F und H befinden. Zwei Stellen für die auftretende Spitze sind in Fig. 3 und 4 dargestellt, die Querschnittsansichten des Teiles der Korrelationsoberfläche entlang einer Ebene durch die Abtastpunkte H, P und D sind. In Fig. 3 befindet sich die Spitze K näher bei den Koordinaten des Abtastpunkts P, während in Fig. 4 die Spitze K sich näher bei den Koordinaten des Halbbildelementintervalls als die des Abtastpunkts P befindet. Der Größenunterschied d1 zwischen der Größe der Abtastung im Punkt P und der Größe der Abtastung im Punkt D wird dabei bestimmt. Die Abtastung auf einer geraden oder direkten Linie vom Punkt D bis vorbei Punkt P wird dabei herangezogen, der in diesem Fall der Punkt H ist, und der Unterschied d2 zwischen der Größe der Abtastung in diesem Punkt und der im Punkt P bestimmt. Die Unterschiede d1 und d2 werden dabei miteinander verglichen. Gefunden wurde, daß, wenn d2 größer als eine Hälfte von d1 ist, die Spitze K sich nahe bei den Koordinaten für den Abtastpunkt P befindet, während, wenn d2 kleiner als eine Hälfte von d1 ist, die Spitze sich näher bei der halben Abtastintervallkoordinate als die für den Punkt P befindet. Dies ist genauer ersichtlich aus Fig. 3 und 4.
• In Fig. 3 und 4 ist eine Skale von Einheiten an der linken Seite jeder Figur eingetragen. Aus Fig. 3 ist ersichtlich, daß der Unterschied d1 8 Einheiten beträgt, während der Unterschied d2 6 Einheiten beträgt. Also ist d2 größer als 0,5 d1 und dementsprechend befindet sich die Spitze K neben dem Abtastpunkt P. Bei der Anwendung der halben Bildelementgenauigkeit werden die geeigneten Koordinaten die des Abtastpunkts P sein. In Fig. 4 beträgt der Unterschied d1 wiederum 8 Einheiten, aber der Unterschied d2 ist auf 2 Einheiten reduziert, wobei d2 weniger als 0,5 d1 beträgt. Dies entspricht obiger Beschreibung darin, daß die Spitze K sich näher bei dem halben Bildelementintervall (gestrichelte Linie) zwischen den Abtastpunkten P und H als zum Abtastpunkt P selbst befindet. Also sind bei der halben Bildgenauigkeit die geeigneten Koordinaten für die Spitze K in Fig. 4 die für die gestrichelte Linie zwischen den Abtastpunkten P und H.
• In der obigen Beschreibung handelt es sich um die Ortung des Abtastpunkts maximaler Größe zum Orten der Hauptspitze in einer Korrelationsoberfläche für ein vorgegebenes Gebiet. Dieser Vorgang wird dabei für andere (kleinere) Spitzen in der Korrelationsoberfläche durch Ortung örtlicher Abtastpunkte maximaler Größe wiederholt, die derartigen Spitzen zugeordnet sind.
• In Fig. 5 ist ein Blockschaltbild des Geräts zur Durchführung des obigen Verfahrens dargestellt. Ein derartiges Gerät befindet sich im allgemeinen bei der Signalverarbeitungsausrüstung an der Übertragungsseite bei Fernsehsignalen, aber es ist ebenfalls möglich, obgleich weniger wirtschaftlich, daß ein derartiges Gerät sich innerhalb des Fernsehempfangsgeräts befindet. In Fig. 5 bezeichnet die Bezugsziffer 1 eine Eingangsklemme, an die ein Leuchtdichtesignal Halbbild für Halbbild oder Gebiet für Gebiet angelegt wird. Dieses Leuchtdichtesignal gelangt an einen Bildspeicher 2, in dem das Leuchtdichtesignal um eine Halbbildperiode verzögert wird, und dieses verzögerte Leuchtdichteausgangssignal gelangt an eine Berbeitungsstufe 3, in der es einer zweidimensionalen Fourier-Transformation unterworfen wird. Das Leuchtdichtesignal an der Eingangsklemme 1 gelangt ebenfalls direkt an eine zweite Bearbeitungsstufe 4, in der das unverzögerte Leuchtdichtesignal ebenfalls eine zweidimensionale Fourier- Transformation erfährt. Die daraus entstehende transformierte Information gelangt an eine Phasensubtrahiereinrichtung 5, die den Phasendifferenz zwischen ihren zwei Eingängen feststellt und diesen Differenz einer dritten Bearbeitungsstufe 6 zuführt, deren Ausgangssignal die invertierte Fourier-Transformation ist. Dieses Ausgangssignal ist die Korrelationsfunktion nach der Veranschaulichung der typischen Korrelationoberfläche nach Fig. 1, jedoch in diskreter Korrelationsabtastform nach der Beschreibung im Zusammenhang mit dieser Figur.
• Die Korrelationsabtastungen aus der Bearbeitungsstufe 6 gelangen an eine Stellenbestimmungseinrichtung 7 für die größten Abtastungen, die die Stelle oder die Stellen für einen oder für mehrere Abtastpunkte mit einer Größe über einem bestimmten Wert angibt. Diese Stellen gelangen an eine Spitzenstellenbestimmungsseinrichtung 8, die Abtastungen maximaler Größe in Verknüpfung mit verschiedenen Spitzen aufsucht. Eine derartige Abtastung kann die mit P in Fig. 2 angegebene Abtastung sein. Die Stelle der untersuchten Abtastung P gelangt an eine Stellenbestimmungseinrichtung 9 für den steilsten Gradienten zusammen mit den Korrelationsabtastungen aus der Bearbeitungsstufe 6, und jede der acht Abtastungen um die in Punkt P herum werden untersucht, um festzustellen, welcher der Gradienten von diesen Abtastpunkten nach dem Punkt P am steilsten ist. In Fig. 2 sei angenommen, daß dieser steilste Gradient durch den Abtastpunkt D geht, und der Ausgang des Wählers 9 für den steilsten Gradienten identifiziert dieser Punkt und in größen Unterschied (d1) zwischen den Abtastungen an den Punkten P und D. Das Ausgangssignal der Spitzenstellenbestimmungseinrichtung 8 und die Korrelationsabtastungen aus der Bearbeitungsstufe 6 gelangen ebenfälls an einen gegenüberliegenden Abtastpunktwähler 10, der ebenfalls die Identität des von der Stellenbestimmungseinrichtung 9 für den steifsten Gradienten gewählten Abtastpunkt empfängt. Der Wähler 10 wählt den Abtastpunkt kolinear mit den Punkten P und D, jedoch im Abstand vom Punkt D (in Fig. 2 ist dies der Abtastpunkt H) und erzeugt an seinem Ausgang den größen Unterschied (d2) zwischen den Abtastungen an den Punkten P und H. Dieses Ergebnis wird zusammen mit der gleichen Information bezüglich des Unterschieds d1 an einen größen Verhältniszähler 11 gelegt, der die oben beschriebenen Vergleichsvorgänge durchführt, um festzustellen, ob der Unterschied d2 größer oder kleiner ist als 0,5 d1. Die Ergebnisse dieses Vergleichs, der ein Hinweis auf die wirkliche Spitzenposition ist, gelangt an einen Hochauflösungsvektorrechner 12, der ebenfalls die Stelle der untersuchten Abtastung P aus der Spitzenstellungsbestimmungseinrichtung 8 empfängt. Der Rechner 12 berechnet mit Unterbildelementgenauigkeit den Bewegungsvektor für die dem Abtastpunkt P zugeordnete Spitze aus der gelieferten Information, wobei der Bewegungsvektor mit höherer Auflösung sich an einem Ausgang 13 befindet. Der Vorgang wird für andere Spitzen im Bild oder im Bereich wiederholt.
• In einer Abwandlung des beschriebenen Geräts anhand der Fig. 5 und des oben beschriebenen Verfahrens können der gegenüberliegende Abtastpunktdetektor 10 und der Größenverhältniszähler 11 durch eine gegenüberliegende Gradientenbestimmungseinrichtung und durch einen Gradientenverhältnisrechner ersetzt werden. Die gegenüberliegende Gradientenbestimmungseinrichtung bestimmt dabei den Gradienten zwischen dem gegenüberliegenden Abtastpunkt H und dem größten Abtastpunkt P, und der Gradientenverhältnisrechner vergleicht dabei den Gradienten für die Punkte H-P mit dem für die Punkte D-P, die aus der Stellenbestimmungseinrichtung 9 für den steilsten Gradienten abgeleitet werden. Wenn der Gradient für die Punkte H-P größer ist als die Hälfte des Gradienten für die Punkte D-P, liegt die aufgetretene Spitze näher beim Abtastpunkt P als den halben Bildelementpunkt. Wenn jedoch der Gradient für die Punkte H-P kleiner ist als die Hälfte des Gradienten für die Punkte D-P, befindet sich die aufgetretene Spitze näher beim halben Bildelementpunkt als der Abtastpunkt P. Dies ist aus den Kettenverbindungslinien in Fig. 3 und 4 ersichtlich. Es wird klar sein, daß diese betreffenden Gradienten proportional den größen Unterschieden d1 und d2 sind.
• Obgleich in der obigen Beschreibung das Verfahren mit Geräteeinheiten durchgeführt wird, die spezifizierte Funktionen haben, wird man sich vergegenwärtigen können, daß das Verfahren mit einem Mikrocomputer unter geeigneter Software- Steuerung durchführbar ist.
• Die Ansprüche beziehen sich auf Größenunterschiede zwischen zwei Abtastpunkten, aber jede andere Menge (beispielsweise ein Gradient) proportional einem derartigen Unteschied ist ebenfalls verwendbar.

Claims (4)

1. Verfahren zur Bild-Bewegungsmessung mit dem Schritt zur Korrelation von zwei Bildern zur Bestimmung der Korrelation abhängig von der Verschiebung dabei zum Bestimmen eines oder mehrerer Spitzenkorrelationswerte entsprechend betreffender Bewegungsvektoren, wobei das Verfahren durch folgende Schritte gekennzeichnet ist:

i) das Orten eines Abtastpunkts (P) eines maximalen Korrelationswerts in der Korrelationsfünktion in der Verknüpfung mit einem Spitzen korrelationswert,

ii) das Bestimmen eines zweiten Abtastpunkts (D), der dem steifsten Gradienten zwischen dem umgebenden (A-H) und dem maximalen Wert (P) der Abtastpunkte zugeordnet ist, aus den Abtastpunkten A-H), iii) das Bestimmen eines ersten größen Unterschieds (d1) zwischen dem des maximalen Abtastpunkts (P) und dem des zweiten Abtastpunkts (D),

iv) das Bestimmen eines zweiten größen Unterschieds (d2) zwischen dem des maximalen Abtastpunkts (P) und dem eines dritten (H) der umgebenden Abtastpunkte (A-H), der mit den maximalen (P) und den minimalen (D) Abtastpunkten kolinear ist, aber vom zweiten Abtastpunkt (D) im Abstand liegt, und

v) den Vergleich der Ergebnisse (d1, d2) aus den Schritten (iii) und (iv) zum Bestimmen der Stelle (K) des Spitzenkorrelationswerts in Verknüpfung mit dem Abtastpunkt (P) des maximalen Korrelationswerts auf Unterbildelementgenauigkeit.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Abtastpunkte (A-H) um ein Bildelement auseinanderliegen, und daß der zweite Unterschied (d2) größer ist als eine Hälfte des ersten Unterschieds (d1), wobei davon ausgegangen wird, daß der erste Spitzenkorrelationswert (K) mit dem Abtastpunkt (P) des maximalen Korrelationwerts zusammenfällt, während, wenn der zweite Unterschied (d2) kleiner als eine Hälfte des ersten Unterschieds (d1) ist, davon ausgegangen wird daß der Spitzenkorrelationswert (K) sich auf der Linie (HPD) halbwegs zwischen dem Abtastpunkt (P) des maximalen Korrelationswerts und dem dritten Abtastpunkt (H) befindet.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die zwei Bilder benachbarte Halbbilder eines Fernsehsignals sind, wobei jedes Halbbild in eine Anzahl von Gebieten unterteilt wird, wobei Korrelation zwischen entsprechenden Gebieten der benachbarten Halbbilder erfolgt.

4. Gerät für die Bild-Bewegungsmessung mit folgenden Elementen:

Mitteln (1-6) zum Erzeugen einer abgetasteten Korrelationsoberfläche aus zwei Bildern zur Bestimmung der Korrelation abhängig von der Verschiebung, wobei die Korrelationsfunktion wenigstens einen Abtastpunkt (P) des maximalen Korrelationswerts enthält, und

dadurch gekennzeichnet, daß das Gerät außerdem folgende Elemente enthält:

Mittel (7) zum Orten des Abtastpunkts (P) mit dem maximalen Korrelationswert,

Mittel (8, 9) zum Untersuchen der Abtastpunkte (A-H) in der Korrelationsfunktion direkt in der Umgebung des maximalen Abtastpunkts (P) zum Bestimmen eines zweiten Abtastpunkts (D), der dem steilsten Gradienten zwischen den umgebenden (A-H) Abtastpunkten und dem Abtastpunkt mit dem maximalen Wert (P) zugeordnet ist, und zum Bestimmen eines ersten Größenunterschieds (d1) zwischen dem des maximalen Abtastpunkts (P) und dem des zweiten Abtastpunkts (D),

Mittel (10) zum Bestimmen eines zweiten Größenunterschieds (d2) zwischen dem des maximalen Abtastpunkts (P) und dem eines dritten (H) der umgebenden Abtastpunkte (A-H), die dem maximalen Abtastpunkt (P) und dem zweiten (D) Abtastpunkt kolinear ist, aber sich im Abstand vom zweiten Abtastpunkt (D) befindet, und

Mittel (11, 12) zum Vergleichen der beiden auf diese Weise erzeugten Ergebnisse (d1, d2) zum Bestimmen der Stelle des Spitzenkorrelationswert (K) in der Korrelationsfunktion in Verknüpfung mit dem maximalen Abtastpunkt (P) auf Unterbildelementgenauigkeit.