DE4221320A1

DE4221320A1 - Bewegungsvektor-erfassungsvorrichtung

Info

Publication number: DE4221320A1
Application number: DE19924221320
Authority: DE
Inventors: Mitsuharu Ohki
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-06-28
Filing date: 1992-06-29
Publication date: 1993-01-14
Also published as: GB2257326A; US5361104A; GB9213643D0; GB2257326B; JP3123130B2; JPH0591492A

Description

Die Erfindung bezieht sich auf eine Bewegungsvektor-Erfas sungsvorrichtung zur Ermittlung des Bewegungsvektors (die Größe der Bewegung) eines sich bewegenden Bildes.

Die Erfassung eines Bewegungsvektors eines sich bewegenden Bildes in der konventionellen Praxis wird nachstehend er läutert.

Eine Vielzahl von repräsentativen Punkten (Pixel) Pk, mit k = 0, 1, 2 . . . wird für ein Bild G_-1 festgelegt, welches einem laufenden Teilbild G₀ um ein Teilbild vorangeht. Bezogen auf Fig. 14 bedeutet dies, daß eine Vielzahl von repräsentativen Punkten Pk, mit k = 0, 1, 2, . . . 15, für das Bild G festgelegt ist, welches dem laufenden Bild um ein Teilbild vorangeht. Die Pixel des Bildes G₀ des lau fenden Teilbildes, das durch (x, y) = (n, m) von den re präsentativen Punkten Pk um ein Teilbild zuvor angezeigt ist, sind Ank, mk. Mit (n, m) sind Vektoren bezeichnet, mit x ist die Horizontal- oder Querrichtung bezeichnet, und mit y ist die Vertikal- oder Längsrichtung bezeichnet. Der Rest bzw. das Residium S(n, m) in den Vektoren (n, m) ist durch Formel 1 definiert.

Gemäß Fig. 14 ist ein Suchbereich SE, der durch einen Q-Pixel und R-Pixel umfassenden Bereich gekennzeichnet ist (der Bereich ist durch Q·R definiert), für jeden repräsen tativen Punkt Pk festgelegt, und der Rest S(n, m) wird für jeden der Vektoren (n, m) im Suchbereich SE entsprechend der Gleichung bzw. Formel (1) berechnet. Ein durch Berech nen des Vektors (n_min, m_min) erhaltener Wert, der den klein sten Restwert S(n, m) liefert, wird als Bewegungsvektor be zeichnet. Da das um ein Teilbild vor dem laufenden Teilbild vorhandene Bild und das Bild des laufenden Teilbildes in einem sich bewegenden Bild angemessen als um den Vektor (n_min, m_min) verschoben vorstellbar ist, wird dieser Vektor als Bewegungsvektor bezeichnet.

In Fig. 15 ist eine Anordnung einer konventionellen Be wegungsvektor-Erfassungsvorrichtung gezeigt.

In dieser Figur werden durch Rasterabtastung erzeugte Bild daten einem Eingangsanschluß 101 zugeführt. Während der Zeitspanne, innerhalb der Bilddaten eines Teilbildes vor dem laufenden Teilbild dem Eingangsanschluß 101 zugeführt werden, werden Daten der repräsentativen Punkte Pk (k = 0, 1, 2, . . .) in einem für repräsentative Punkte vorgesehene Speicher 102 gespeichert. Während der Zeitspanne, während der die Bilddaten des laufenden Teilbildes dem Eingangs anschluß 101 zugeführt werden, werden dann die Restwerte S(n, m) in folgender Weise berechnet.

Mit der in Fig. 15 dargestellten Vorrichtung werden dann, wenn Daten eines Pixels Ai, j des laufenden Teilbildes dem Eingangsanschluß 101 zugeführt sind, Daten des repräsenta tiven Punktes Pk, die den Daten von Ai, j enthaltenden Suchbereich SE entsprechen, aus den Daten des repräsen tativen Punktes Pk, die in dem Speicher 2 gespeichert sind, ausgelesen, und entsprechend der Formel:

|A*, * -P*|

wird eine Verarbeitungsoperation mittels einer Subtrahiereinrichtung 103 und einer Absolutwert-Einheit 104 ausgeführt. Da der Zweck der Formel |A*, * -P*| darin liegt, einen Partialterm des Restwertes S(n, m) zu ermitteln, ist es notwendig, die Ergebnisse der Berechnung durch die obige Formel kumulativ zu summieren, um den Rest S(n, m) zu ermitteln.

Zu diesem Zweck ist ein Rest-Speicher 106 in der Anordnung gemäß Fig. 15 zum vorübergehenden Festhalten von Zwischen ergebnissen s(n, m) vorgesehen. Durch eine verallgemeinerte Erläuterung in Verbindung mit der Anordnung gemäß Fig. 15 werden Daten der Zwischenergebnisse S(n, m) der Berechnung des Restes des Vektors (n, m), entsprechend den Pixeln Ank, mk, die am Eingangsanschluß 101 eingeführt worden sind, aus dem Rest-Speicher 106 ausgelesen und einem Addierer 105 zusammen mit einem Ausgangssignal der Absolutwert-Einheit 104 zugeführt. Im Addierer findet eine Addition

s(n, m)+|Ank, mk-Pk|

statt. Das Ergebnis der Addition wird als neues Zwischen ergebnis s(n, m) benutzt, um das ehemalige Zwischenergeb nis s(n, m) unter denselben Adressen zu ersetzen (zu über schreiben), und zwar durch Aktualisierung der Daten der Zwischenergebnisse s(n, m).

Durch Wiederholen des Einschreibens/Auslesens der Zwischen ergebnisse der Rest-Berechnungsoperation in den bzw. aus dem Rest-Speicher 106 werden sämtliche kumulativen Opera tionen der Formel |A*, * -P*| zu einem Zeitpunkt beendet, zu dem die Abgabe der Daten der Pixel Ai, j des laufenden bzw. vorliegenden Teilbildes zum Eingangsanschluß 101 auf hört. Der Wert des Zwischenergebnisses s(n, m), der zu die sem Zeitpunkt im Rest-Speicher 106 gespeichert ist, reprä sentiert den Rest S(n, m).

Die Daten der Reste S(n, m) im Rest-Speicher 106 werden dann ausgelesen und einem Komparator 107 zugeführt, um den kleinsten Vektor durch eine Vergleichsverarbeitung zu ermitteln und damit den Bewegungsvektor (n_min, m_min). Die Daten des Bewegungsvektors werden an einem Ausgangs anschluß 108 abgegeben.

Da der Rest-Speicher 106 die Zwischenergebnisse vorüber gehend speichern muß, weist er eine Speicherkapazität gleich (Q·R) Worten auf.

In der JP-Patentanmeldung KOKAI 1-2 69 371 (1989) ist eine Bewegungsvektor-Erfassungsvorrichtung des obigen Typs ange geben; sie umfaßt eine Eingangsschaltung für die Eingabe von Fernsehbildsignalen, eine Punkt-Festlegungsschaltung für die Festlegung einer Vielzahl von repräsentativen Punk ten in einem Teilbildbereich, eine Verarbeitungsschaltung zur Berechnung von Bildsignalen der repräsentativen Punkte eines Teilbildes, welches dem gerade vorliegenden Teilbild um ein oder mehr Teilbilder vorangeht, und der laufenden Bildsignale, eine Speicherschaltung zum Einschreiben und Auslesen von Ausgangssignalen der Verarbeitungsschaltung sowie eine Verarbeitungssteuerschaltung zur Steuerung der für die repräsentativen Punkte vorgesehenen Festlegungs schaltung und der Speicherschaltung. Die Steueroperation durch die Verarbeitungssteuerschaltung erfolgt durch Korrelation der Positionen der repräsentativen Punkte, die durch die für die repräsentativen Punkte vorgesehene Festlegungsschaltung festgelegt sind, mit dem ausgewähl ten Speicherbereich der Speicherschaltung.

Bei einer eine geringe Größe aufweisenden Videokamera, welche pro Teilbild effektiv über 512·256 Pixel (verti kal - horizontal) verfügt, wird der Bewegungsvektor da durch ermittelt, daß der Suchbereich SE auf 64·16 (Q·R) festgelegt wird, und die durch Handbewegungen des Kamera manns während der Aufnahme erfolgende Bewegung des Bildes wird durch Verschieben des Bildrahmens auf der Grundlage des Bewegungsvektors kompensiert. Dies bedeutet, daß es durch Einschreiben der Bilddaten des vorliegenden Teilbil des beispielsweise in einen Teilbildspeicher und durch Auslesen der eingeschriebenen Daten mit einer Verschiebung entsprechend dem ermittelten Bewegungsvektor unter Aus nutzung des Vorteils des Bewegungsvektors möglich wird, ein hinsichtlich Handbewegungen oder ähnlicher Schwenkungen korrigiertes Bild zu erzeugen.

Es sei darauf hingewiesen, daß bei der Ermittlung des Be wegungsvektors der Fehler im Bewegungsvektor umso kleiner ist, je größer die Zahl der repräsentativen Punkte ist.

Die maximal mögliche Zahl der repräsentativen Punkte bei der oben erwähnten, eine geringe Größe aufweisenden Video kamera beträgt (512·256)/(64·16) = 8·16 = 128. Dies be deutet folgendes: falls die Anzahl der repräsentativen Punkte größer ist als dieser Wert, wird der Suchbereich SEa für einen repräsentativen Punkt Pka von einem Such bereich SEb für einen anderen repräsentativen Punkt Pkb überlappt, wie dies in Fig. 16 gezeigt ist.

Falls der Pixel der sich überlappenden Bereiche, wie der Pixel Ai, j gemäß Fig. 16 in die oben erwähnte konventionelle Bewegungsvektor-Erfassungsvorrichtung eingegeben wird, wird es notwendig, die durch die nachstehende Formel ge gebenen Verarbeitungsoperation gleichzeitig auszuführen:

|Ai, j-Pka|

(ein Partialterm von S(3, -1)) und

|Ai, j-Pkb|

(ein Partialterm von S(-4, -3)).

Die gleichzeitige Ausführung der betreffenden Operationen ist durch die konventionelle Bewegungsvektor-Erfassungs vorrichtung unmöglich. In Fig. 16 ist im übrigen ein Bei spiel für Q = 9 und R = 7 veranschaulicht.

Es sei darauf hingewiesen, daß zur Berechnung des Bewe gungsvektors die folgende Vorgehensweise zusätzlich zu dem oben erwähnten Verfahren der Berechnung des Restes S(n, m) für das gesamte Raster angegeben werden kann.

Dieses alternative Verfahren besteht darin, das Raster in eine Vielzahl von Blöcken aufzuteilen, für deren jeden der Rest im oben erwähnten Vektor (n, m) berechnet wird. Zur Vereinfachung der Erläuterung wird hier ein Beispiel der Unterteilung des Rasters in erste bis vierte Blöcke b^[1], b^[2], b^[3] und b^[4] gegeben. Der Rest im Vektor (n, m) in jedem dieser Blöcke kann durch eine Verarbeitungsoperation entsprechend der Formel 2 ermittelt werden.

Formel 2 S(n, m)^[3] = Σ|Ank, mk-Pk|

In der Formel (2) gilt k ∈{k|Pk ∈ B. Block}, und jeder erste Block der ersten bis vierten Blöcke ist mit B = 1, 2, 3 oder 4 bezeichnet.

Ein Vektor (n_min, m_min), der unter dem Rest S(n, m) des ersten Blocks b^[1] der kleinste Vektor wird, wird berechnet, und der Wert der betreffenden Berechnung wird als Bewegungsvektor des ersten Blockes b^[1] bezeichnet. Entsprechende Operationen werden für jeden der Restwerte S(n, m)^[1], S(n, m)^[2] und S(n, m)^[3] ausgeführt, und die resultierenden Werte (n_min, m_min)^[2], (n_min, m_min)^[3] werden als Bewegungsvektoren des zweiten, dritten bzw. vierten Blocks b^[2], b^[3] bzw. b^[4] bezeichnet.

Es sei angenommen, daß Pixel der ersten, zweiten und vierten Blöcke b^[1], b^[2] und b^[4] den Hintergrund abbilden und der jene des Blocks b^[3] sich bewegende Objekte, wie Menschen oder Autos, abbildet. Es ist erwünscht, daß der Hintergrund im Stillstand verbleibt, ohne von Teilbild zu Teilbild bewegt zu werden.

Wenn in einem solchen Fall der Rest für ein Raster in seiner Gesamtheit berechnet wird, beeinflussen die sich bewegenden Objekte, wie Menschen oder Autos des dritten Blocks b^[3] den Rest-Berechnungsvorgang, indem sie es unmöglich machen, den korrekten Bewegungsvektor zu ermitteln. Es ist daher stärker erwünscht, den Bewegungsvektor von Block zu Block zu ermitteln als den Rest für das Raster in seiner Gesamt heit zur Ermittlung des Bewegungsvektors zu ermitteln.

Bei dem Verfahren zur Ermittlung des Bewegungsvektors von Block zu Block ist wie bei dem Verfahren zur Ermittlung des Bewegungsvektors durch Berechnen des Restes S(n, m) für das Raster in seiner Gesamtheit festzustellen, daß die Suchbereiche SE für Q·R bezüglich der entsprechenden repräsentativen Punkte sich einander überlappen, falls zu viele repräsentative Punkte benutzt werden, so daß der Fall auftreten kann, daß der Bewegungsvektor mit konven tionellen Vorrichtungen nicht ermittelt werden kann.

Mit Rücksicht auf den oben aufgezeigten Stand der Technik liegt der Erfindung die Aufgabe zugrunde, eine Bewegungs vektor-Erfassungsvorrichtung zu schaffen, bei der in dem Fall, daß der Bewegungsvektor für das Raster in seiner Gesamtheit aus jedem der Blöcke des Rasters ermittelt wird, eine große Anzahl von repräsentativen Punkten herangezogen werden kann, was die Herabsetzung von Fehlern des Bewegungs vektors ermöglicht, und bei der der Bewegungsvektor sogar dann berechnet werden kann, daß eine große Anzahl von repräsentativen Punkten benutzt wird.

Gemäß der vorliegenden Erfindung ist eine Bewegungsvektor-Er fassungsvorrichtung geschaffen mit einem für repräsenta tive Punkte vorgesehenen Punkt-Speicher, der eine Vielzahl von Sätzen repräsentativer Punkte speichert, die im selben Intervall ausgewählt sind wie jene für Suchbereiche, deren jeder aus Q·R Pixeln eines Bildes eines Teilbildes besteht, welches dem gerade vorliegenden Teilbild um ein oder mehr Teilbilder vorangeht. Ferner ist eine Recheneinrichtung vorgesehen für die Berechnung eines Absolutwertes einer Differenz zwischen Daten des repräsentativen Punktes zu einem Zeitpunkt, zu dem Daten des vorliegenden Teilbildes zugeführt werden, und Daten von Pixeln des vorliegenden Teilbildes, die von dem genannten repräsentativen Punkt um q·r Pixel getrennt sind, um einen Vektor zu ermitteln. Außerdem ist eine kumulativ arbeitende Additionseinrichtung vorgesehen zum kumulativen vektorweisen Addieren von Daten von der Recheneinrichtung her, um einen Rest zu ermitteln. Im übrigen ist eine Komparator-Interpolatorschaltung vor gesehen zum vektorweisen Vergleich von Daten des Restes von der Recheneinrichtung her, um einen Bewegungsvektor in einem Intervall von q·r Pixeln zur Bewegungsvektor feststellung zu ermitteln und zur gelegentlichen Inter polation von dem Bewegungsvektor und dem Rest der nahe gelegenen Positionen zur Berechnung von Bewegungsvektoren im Intervall von q·r.

Durch die vorliegende Erfindung ist ferner eine Bewegungs vektor-Erfassungsvorrichtung mit einem Punkt-Speicher ge schaffen, der zur Speicherung einer Vielzahl von Sätzen repräsentativer Punkte dient, welche im selben Intervall ausgewählt sind wie jene für Suchbereiche, deren jeder aus Q·R Pixeln eines Bildes eines Teilbildes besteht, wel ches dem gerade vorliegenden Teilbild um ein oder mehr Teilbilder vorangeht, wobei jedes Teilbild in eine Viel zahl von Blöcken unterteilt ist. Ferner ist eine Rechen einrichtung vorgesehen zum Berechnen eines Absolutwertes einer Differenz zwischen Daten des repräsentativen Punk tes zu einem Zeitpunkt, zu dem Daten des gerade vorliegen den Teilbildes zugeführt werden, und Daten von Pixeln des gerade vorliegenden Teilbildes, welche von dem repräsen tativen Punkt um q·r Pixel getrennt sind, um einen Block- zu-Block-Vektor zu ermitteln. Außerdem ist eine kumulativ arbeitende Additionseinrichtung vorgesehen zum kumulativen blockweisen Addieren von Vektor-zu-Vektor-Daten von der genannten Recheneinrichtung her, um einen Rest zu ermitteln. Ferner ist eine Komparator-Interpolatorschaltung vorgesehen, die von Block-zu-Block die Vektor-zu-Vektor-Daten des Restes von der kumulativen Additionseinrichtung her vergleicht, um einen Bewegungsvektor in einem Intervall von q·r Pixeln von Block zu Block zu ermitteln und um gelegentlich eine Interpolation vom Bewegungsvektor und vom Rest der nahe gelegenen Positionen vorzunehmen und damit Bewegungsvekto ren im Intervall von q·r Pixeln zu berechnen. Schließlich ist eine Entscheidungsschaltung vorgesehen, die eine Entscheidung darüber trifft, ob ein wahrer Bewegungsvektor vorliegt, was auf der Grundlage der Daten des Bewegungs vektors von Block zu Block erfolgt, die durch Vergleich unter Interpolation durch die Komparator-Interpolator schaltung erhalten werden.

Mit Hilfe der Bewegungsvektor-Erfassungsvorrichtung gemäß der vorliegenden Erfindung wird der Rest aus den repräsen tativen Punkten und den Pixeldaten des gerade vorliegenden Teilbildes in einem Intervall von q·r Pixeln ermittelt, wobei q und r natürliche Zahlen sind, von denen zumindest eine nicht kleiner als 2 ist, anstatt von Daten der reprä sentativen Punkte und Daten von Pixeln in Suchbereichen, deren jeder aus Q·R Pixeln besteht. Bewegungsvektoren werden durch Interpolation des durch Vergleich ermittelten Restes und der Reste der nahe gelegenen Positionen ermittelt, so daß die Bewegungsvektoren in feineren Intervallen er mittelt werden können.

Anhand von Zeichnungen wird die Erfindung nachstehend bei spielsweise näher erläutert. In den Zeichnungen zeigen:

Fig. 1 ein Blockdiagramm einer Erfassungsvorrichtung gemäß einer ersten Ausführungsform der vorliegen den Erfindung,

Fig. 2 ein schematisches Diagramm unter Veranschaulichung eines Beispiels von repräsentativen Punkten der in Fig. 1 dargestellten Vorrichtung,

Fig. 3 ein schematisches Diagramm unter Veranschaulichung eines Suchbereiches SEki für repräsentative Punk te Pki in der in Fig. 1 dargestellten Vorrichtung,

Fig. 4 ein schematisches Diagramm unter Veranschaulichung eines Suchbereiches SE₁ki für repräsentative Punk te P₁ki in der in Fig. 1 gezeigten Vorrichtung,

Fig. 5 ein schematisches Diagramm unter Veranschaulichung eines Verfahrens zur Interpolation für die Ermitt lung eines Bewegungsvektors in einem Pixelintervall von (2, 1),

Fig. 6 ein schematisches Diagramm zur Veranschaulichung eines alternativen Interpolationsverfahrens,

Fig. 7 ein schematisches Diagramm zur Veranschaulichung eines Interpolationsverfahrens, mit dem ein Bewe gungsvektor in einem Pixelintervall von (1/4, 1/4) ermittelt wird,

Fig. 8 ein schematisches Diagramm zur Veranschaulichung eines weiteren alternativen Interpolationsver fahrens,

Fig. 9 ein schematisches Diagramm zur Veranschaulichung von alternativen repräsentativen Punkten in der in Fig. 1 gezeigten Vorrichtung,

Fig. 10 ein schematisches Diagramm zur Veranschaulichung eines Suchbereiches SEki für andere repräsentative Punkte Pki in der in Fig. 1 gezeigten Vorrichtung,

Fig. 11 ein schematisches Diagramm zur Veranschaulichung eines Suchbereiches SE₂ki für repräsentative Punk te P₂ki in der in Fig. 1 gezeigten Vorrichtung,

Fig. 12 ein Blockdiagramm zur Veranschaulichung einer Vorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung,

Fig. 13 Blöcke in der in Fig. 12 gezeigten Vorrichtung,

Fig. 14 einen konventionellen Suchbereich und repräsen tative Punkte,

Fig. 15 ein Blockdiagramm zur Veranschaulichung einer konventionellen Vorrichtung,

Fig. 16 Suchbereiche, die sich überlappen,

Fig. 17 Blöcke in der konventionellen Vorrichtung.

Nunmehr werden die bevorzugten Ausführungsformen detailliert erläutert. Dabei werden unter Bezugnahme auf die Zeichnungen gewisse bevorzugte Ausführungsbeispiele der Bewegungsvektor- Erfassungsvorrichtung gemäß der vorliegenden Erfindung im einzelnen erläutert.

Eine Bewegungsvektor-Erfassungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung ist in Fig. 1 gezeigt.

Die dargestellte erste Ausführungsform der Bewegungsvektor-Er fassungsvorrichtung umfaßt einen für repräsentative Punkte vorgesehenen Punkt-Speicher 2, in welchem Daten einer Viel zahl von Sätzen repräsentativer Punkte Pk (k = 1, 2, 3, . . . vw-1) gespeichert wird, umfassend Q·R Pixel des Bil des G_-1, welches dem gerade vorliegenden Teilbild um ein oder mehr Teilbilder vorangeht. Die repräsentativen Punkte sind dabei in denselben Intervallen ausgewählt wie jene des Suchbereiches SE. Ferner ist eine Differenz-Absolut wert-Recheneinrichtung vorgesehen, die eine Subtrahierein richtung 3 und eine Absolutwert-Einheit 4 umfaßt, um den Absolutwert der Differenz zwischen den repräsentativen Punk ten Pk zu den Zeitpunkten des Eintreffens der Pixeldaten des Bildes G₀ des gerade vorliegenden Teilbildes und der Daten der Pixel des gerade vorliegenden Teilbildes an den Positionen der Pixelintervalle q·r zu berechnen, wobei q und r natürliche Zahlen sind und wobei zumindest eine dieser Zahlen zwei oder größer ist. Außerdem ist eine kumu lativ arbeitende Additionseinrichtung vorgesehen, die aus einem Addierer 5 und aus einem Rest-Speicher 6 besteht; sie dient der kumulativen Addition von Daten bei jedem der Vek toren in Intervallen von q·r von der Differenz-Absolut wert-Recheneinrichtung her. Außerdem ist eine Komparator-In terpolatorschaltung 7 vorgesehen, welche Daten des Restes für jeden Vektor im Rest-Speicher 6 vergleicht, um einen Vektor zu ermitteln, der bei der Einheit q·r am kleinsten wird. Mit der betreffenden Schaltung erfolgt im übrigen eine Interpolation des Restes des kleinsten Vektors und des Vektors an der benachbarten Position, um den Bewegungs vektor in Intervallen von nicht mehr als q·r zu berechnen. Schließlich ist eine Steuerschaltung 8 vorgesehen, welche Schreib-/Leseadressen der Speicher 2 und 6 steuert. Ein Ausgangssignal der Komparator-Interpolatorschaltung 7 wird als Bewegungsvektor an einem Ausgangsanschluß 9 abgegeben.

Der Suchbereich SE ist beispielsweise mit Q·R = 8·6 gege ben, wobei Q eine gerade Zahl ist. Bezüglich der repräsen tativen Punkte P_k werden die beispielsweise in Fig. 2 gezeig ten repräsentativen Punkte Pki, P₁ki gewählt, wobei i = 1, 2, . . ., 9 gilt, wie dies in Fig. 2 beispielsweise gezeigt ist. Dies bedeutet, daß gemäß Fig. 2 die repräsentativen Punkte Pki um die oben erwähnte Distanz voneinander getrennt sind, die gleich Q·R ist, während die repräsentativen Punkte P₁ki voneinander um die Distanz getrennt sind, die gleich Q·R ist. Die relative Position zwischen den repräsentativen Punkten Pki und P₁ki ist durch (x, y) gegeben, wobei x eine ungerade Zahl ist und wobei y eine gerade Zahl ist. Bei dem Beispiel gemäß Fig. 2 stehen die repräsentativen Punkte Pki und P₁ki miteinander durch (3, -3) in Beziehung, während die repräsentativen Punkte Pk2 und P₁k1 miteinander durch (-5, -3) in Beziehung stehen.

Deshalb sind die Suchbereiche SE für die repräsentativen Punkte Pki, P₁ki so, wie dies in Fig. 3 und 4 gezeigt ist. Fig. 3 zeigt Suchbereiche für die entsprechenden Suchpunkte Pki. Dabei sind beispielsweise der Suchbereich SEk1 für den repräsentativen Punkt Pk1, der Suchbereich SEk2 für den repräsentativen Punkt Pk2, und so weiter bis zum Suchbereich SEk9 für den repräsentativen Punkt Pk9 dargestellt. In entsprechender Weise ist in Fig. 4 ein Suchbereich SE₁ki für einen repräsentativen Punkt P₁ki dargestellt. So sind beispielsweise ein Suchbereich SE₁k1 für einen repräsentativen Punkt P₁k1, ein Suchbereich SE₁k2 für einen repräsentativen Punkt P₁k2 und so weiter bis zu einem Suchbereich SE₁k9 für einen repräsentativen Punkt P₁k9 dargestellt. Obwohl in Fig. 3 und 4 der Suchbereich SEki für den repräsentativen Punkt Pki und der Suchbereich SE₁ki für den repräsentativen Punkt P₁ki sich einander überlappen, überlappen sich die Suchbereiche SEki nicht einander, während die Suchbereiche SE₁ki sich nicht einander überlappen.

Es sei darauf hingewiesen, daß es bei der oben beschrie benen bekannten Vorrichtung notwendig ist, den Rest S(n, m) mit n = -3, -2, -1, 0, 1, 2, 3 und 4 und mit m = -2, -1, 0, 1, 2 und 3 zu ermitteln. Dies bedeutet, daß es mit der bekannten Vorrichtung notwendig ist, Q·R = 8·6 = 48 Reste zu berechnen und daß deshalb zum Summieren der Absolut werte der Differenzen von den repräsentativen Punkten Pk ein 48-Wort-Rest-Speicher für ein vorübergehendes Festhal ten der Daten der Zwischenergebnisse der Summierung erfor derlich ist. Daneben kann bei der bekannten Vorrichtung lediglich der repräsentative Punkt Pk vorgesehen sein, während es nicht möglich ist, die Suchbereiche zu über lappen. Falls die Suchbereiche SEki und SE₁ki sich einan der überlappen, wie dies für den Suchbereich SEki bezüg lich des repräsentativen Punktes Pki und für den Suchbe reich SE₁ki bezüglich des repräsentativen Punktes P₁ki bei der vorliegenden Ausführungsform der Fall ist, ist es mit der oben beschriebenen bekannten Anordnung über dies nicht möglich, Rechnungen durchzuführen, um den Rest bzw. Restwert zu ermitteln.

Demgegenüber wird mit der ersten Ausführungsform der vor liegenden Erfindung der Rest bzw. Restwert auf der Grund lage des Pixel-Intervalls (x, y) = (2, 1) ermittelt, das heißt bei einem Pixelintervall von q·r = (2·1). Demgemäß wird der Rest S(n, m) beispielsweise für n = -2, 0, 2 und 4 und für m = -2, -1, 0, 1, 2 und 3 ermittelt. Eine Interpola tionsoperation, wie sie weiter unten noch beschrieben wird, wird auf der Grundlage dieser Werte des Restes S(n, m) aus geführt, um den Rest auf der Grundlage von Einheiten von (x, y) = (1, 1) oder in feineren Pixelintervallen zu er mitteln.

Bei der vorliegenden Erfindung genügt es mit Rücksicht darauf, daß n = -2, 0, 2 und 4 ist und daß m = -2, -1, 0, 1, 2 und 3 ist, die Absolutwerte der Differenzen von den repräsentativen Punkten in Einheiten von (2, 1) zu berechnen.

Da die relative Position zwischen den Daten des Pixels A0 des gerade vorliegenden Teilbildes und dem repräsentativen Punkt Pk1 mit beispielsweise (2, 1) gegeben ist, wie dies in Fig. 2 und 3 veranschaulicht ist, stellen die Ergebnis se der Berechnung der Absolutwerte der Differenzen |A0-PK1| einen Partialterm des Restes S(2, 1) dar. Es ist daher notwendig, die Formel |A0-Pk1| zu berechnen. Der Rest S(n, m) wird in einem Intervall von n = 2 ermittelt, während es nicht notwendig ist, den Partialterm des Restes S(3, 1) zu berechnen. In Anbetracht dieser Tatsache sind die Daten des vorliegenden Teilbildes, für die die Absolut werte der Differenzen von dem repräsentativen Punkt Pki gegeben sind, lediglich die Daten, die in Fig. 3 durch Schraffurlinien veranschaulicht sind. Die relative Posi tion zwischen den durch die Schraffurlinien in Fig. 3 dar gestellten Pixeln und dem repräsentativen Punkt Pki ist gegeben durch (x, y), wobei x eine gerade Zahl ist und wobei y eine ungerade Zahl ist.

In entsprechender Weise sind die Daten des vorliegenden Teilbildes, bezüglich dessen die Absolutwerte der Diffe renzen von dem repräsentativen Punkt P₁ki vorliegen, lediglich die in Fig. 4 durch Schraffurlinien dargestell ten Daten. Die relative Position zwischen den durch die Schraffurlinien in Fig. 4 dargestellten Pixel und dem repräsentativen Punkt P₁ki ist in entsprechender Weise durch (x, y) gegeben, wobei x eine gerade Zahl ist und wobei y eine ungerade Zahl ist.

Da die Zahlen Q in der horizontalen Richtung des Suchbe reiches SE gerade Zahlen sind, wie dies oben beschrieben worden ist, sind die Schraffurbereiche in Fig. 3 und 4 in relativen Positionen zueinander verschieden.

Nachstehend wird die Arbeitsweise der in Fig. 1 darge stellten Vorrichtung bzw. Anordnung erläutert. Wenn bei der in dieser Figur dargestellten Anordnung Daten des Bil des G_-1 desjenigen Teilbildes, welches dem gerade vorliegen den Teilbild vorangeht, am Eingangsanschluß 1 eingegeben werden, werden Daten der repräsentativen Punkte Pki und P₁ki in dem für die repräsentativen Punkte vorgesehenen Punkt-Speicher 2 gespeichert.

In dem Rest-Speicher 6 sind bzw. werden Daten der Zwischen ergebnisse des Restes s(n, m) von der Differenz-Absolutwert-Rechen einrichtung her gespeichert. Der Rest-Speicher 6 ist ein Speicher mit einer Größe von Q·R/2 Worten.

Es sei angenommen, daß unter den Daten des vorliegenden Teilbildes Daten eines Pixels A0, wie beispielsweise in Fig. 2 gezeigt, am Eingangsanschluß 1 eingegeben werden, daß Daten des repräsentativen Punktes Pki aus dem Speicher 2 ausgelesen werden und daß eine Berechnung von |A0-Pki| (Partialterm des Restes (2, 1)) mittels der Subtrahierein richtung 3 und der Absolutwert-Einheit 4 ausgeführt wird. Zu diesem Zeitpunkt werden Daten der Restwert-Zwischener gebnisse s(2, 1), wie sie durch die zuvor durchgeführte Berechnung des Absolutwertes der Differenz ermittelt wurden, ausgelesen. Diese Daten und die durch die Absolutwert-Ein heit 4 abgegebenen Daten werden dem Addierer 5 zugeführt, in welchem eine Berechnung entsprechend der Formel

s(2, 1)+|A0-Pki|

erfolgt.

Die aus der betreffenden Formel errechneten Ergebnisse werden als Zwischenergebnisse des Restes s(2, 1) neu einge setzt und zum Überschreiben unter einer Adresse herange zogen, unter der alte Daten der Zwischenergebnisse des Rest-Speichers 6 gespeichert sind bzw. waren. Dies bedeu tet, daß die alten Daten der Zwischenergebnisse des Restes s(2, 1) durch die neuen Daten der Zwischenergebnisse des Restes s(2, 1) aktualisiert werden.

Wenn unter den Daten des vorliegenden Teilbildes Daten des Pixels A1 gemäß Fig. 2 am Eingangsanschluß 1 eingegeben werden, werden Daten des repräsentativen Punktes P₁k4 aus dem für repräsentative Punkte vorgesehenen Punkt-Speicher 2 ausgelesen, und |A1-P₁k4| (Partialterm des Restes S (0, -2)) wird durch die Subtrahiereinrichtung 3 und die Absolutwert-Einheit 4 berechnet. Zu diesem Zeitpunkt werden Daten der Zwischenergebnisse des Restes s(0, -2) aus dem Rest-Spei cher 6 gelesen. Diese Daten und die Daten des Absolutwertes der Differenz werden dem Addierer 5 zugeführt, in welchem eine Berechnung nach der Formel

s(0, -2)+|A1-P₁k4|

durchgeführt wird.

Die berechneten Ergebnisse werden aufs Neue als Zwischen ergebnisse des Restes s(0, -2) eingesetzt, und es erfolgt ein Überschreiben unter der Adresse des Rest-Speichers 6, unter der die alten Daten der Zwischenergebnisse des Restes gespeichert waren.

Durch Ausführen der oben erwähnten Berechnungen werden sämtliche Daten der Zwischenergebnisse des Restes s(n, m), die im Rest-Speicher 6 zu dem Zeitpunkt gespeichert sind, zu dem die Daten des gerade vorliegenden Teilbildes am Eingangsanschluß 1 eingegeben worden sind, als Rest S(n, m) herangezogen.

Der Rest S(n, m) (n = -2, 0, 2 und 4; m = -2, -1, 0, 1, 2 und 3) wird bei der Komparator-Interpolatorschaltung 7 eingegeben, wobei der kleinste Vektor (n, m) (n = 2, 0, 2 oder 4 und m = -2, -1, 0, 1, 2 oder 3) berechnet wird. Sofern erforderlich, wird der Bewegungsvektor durch Inter polation aus dem kleinsten Punkt und dem Rest des Nachbarn durch eine Interpolationsoperation, wie nachstehend erläu tert, ermittelt.

Nunmehr wird ein Beispiel der Interpolation erläutert.

Der Bewegungsvektor wird durch einen in der Komparator-Interpolatorschaltung 7 eingeschlossenen Komparator ermittelt, und zwar mit der (2, 1)-Pixeleinheit. Ein Vektor (n, m), der der kleinste Vektor ist, wird aus dem eingangsseitigen Rest S(n, m) (n = -2, 0, 2 oder 4; m = -2, -1, 0, 1 oder 2) ermittelt und als Vektor (I, J) festgelegt. Unterdessen kann der reale Bewegungsvektor (das ist der Bewegungsvektor, der durch Einheiten von Pixeln (1, 1) ermittelt worden ist) ein Vektor (I-1, J) oder ein Vektor (I +1, J) sein. Demgemäß wird der Rest bei den Vektoren (I-1, J) und (I+1, J) aus den Werten der Reste S(I-2, J), S(I, J) und S(I+2, J) interpoliert. Die interpolierten Werte sind S₀(I-1, J), S₀(I+1, J).

Der interpolierte Wert S₀(I+1, J) wird in folgender Weise berechnet.

Falls beispielsweise S(I-2, J) ≧ S(I+2, J) gegeben ist, ist die Relation zwischen i und dem Rest S(i, J) so, wie dies Fig. 5 veranschaulicht, wobei J festliegt und wobei i variabel ist. Eine gerade Linie, bei der der Rest S(I-2, J) und S(I, J) für i = I-2 und i = I gilt, ist L₁. Eine gerade Linie mit einem Gradienten, der gleich der Linie L₁·(-1) ist und die einen Rest S(I+2, J) aufweist, ist mit L₂ gegeben. Da der Rest an jeder dieser Positionen als auf den gerade Linien L₁, L₂ liegend gedacht wird, ist ein Wert, der auf der gerade Linie L₂ liegt und für den i = I+1 gilt, ein interpolierter Wert S₀(I+1, J). Da der Rest S(I-1, J) größer ist als der Rest S(I, J), ist es unnötig, den interpolierten Wert S₀(I-1, J) zu ermitteln.

Der Rest S(I, J) wird mit dem interpolierten Wert S₀(I+1, J) verglichen, und der kleinere Positionsvektor (I, J) oder der Vektor (I+1, J) wird als Bewegungsvektor abgegeben.

Falls indessen die geraden Linien L₁, L₂ berechnet werden, um den interpolierten Wert S₀(I+1, J) zu ermitteln, gilt tatsächlich

S₀(I+1, J) = (S(I, J) - S(I-2, J) + 2 S(I+2, J))/2,

so daß zur Ermittlung des Bewegungsvektors der Rest S(I, J) mit (S(I, J) - S(I-2, J) + 2 S(I+2, J))/2 dahingehend verglichen wird, welcher Rest größer ist.

Die vorstehende Ausführung bezüglich Fig. 5 entspricht dem Fall der Fig. 6, wo S(I-2, J) < S(I, J) gilt. Bei dem Beispiel gemäß Fig. 6 wird der interpolierte Wert S₀(I-1, J) für den Fall ermittelt, daß S(I-2, J) < S(I, J) gilt. Dies bedeutet, daß dann, wenn S(I-2, J) < S(I+2, J) erfüllt ist, die Beziehung zwischen i und dem Rest S(I, J) so ist, wie sie in Fig. 6 gezeigt ist. Der Rest S(I, J) wird mit dem interpolierten Wert S₀(I-1, J) verglichen, wie dies oben beschrieben worden ist, und die kleinere Position (Vektor (I, J) oder Vektor (I-1, -J) wird als Bewegungsvektor abgegeben. Da der Rest S(I+1, J) größer ist als der Rest S(I, J) ist es unnötig, den interpolierten Wert S₀(I+1, J) zu ermitteln.

In Fig. 7 sind die geraden Linien L₁, L₂ so gezogen wie in Fig. 5, und die Reste der Vektoren (I+(1/4), J), (I+(3/4), J) und (I+1, J) werden interpoliert, und i wird unter den Resten S(I, J) oder den interpolierten Werten S₀(i, J) dahingehend ermittelt, welche Größe zum niedrigsten Wert wird (i = I, I + (1/4), I + 3/4) oder I + 1).

In entsprechender Weise sind in der vertikalen Richtung gerade Linien gezogen, wie dies in Fig. 5 veranschaulicht ist, und zwar auf der Grundlage der Reste S(I, J -1) und S(I, J+1), um interpolierte Werte S₀(I, J- (1/2), S₀(I, J - (1/4)) zu ermitteln, und i wird unter dem Rest S(I, J) oder den interpolierten Werten S₀(I, J - (1/2)), S₀(I, J - (1/4)) ermittelt, welcher den niedrigsten Wert hat (i = J, J - (1/2), J - (1/4).

Der Vektor (i, j) ist somit als Bewegungsvektor gefunden.

Unterdessen zeigt Fig. 7 einen Fall für S(I-2, J) ≧ S(I+2, J), S(I, J+1) < S(I, J+1).

Ein Interpolationsverfahren, wie es in Fig. 8 veranschau licht ist, kann ebenfalls angewandt werden.

Mit dem in Fig. 8 veranschaulichten Interpolationsverfah ren wird der größere Rest der Reste S(I-2, J) und S(I+2, J) in der horizontalen Achse oder der X-Achse unberücksichtigt gelassen. Beim Beispiel gemäß Fig. 8 wird der Rest S(I-2, J) unberücksichtigt gelassen. Ein Punkt einer inneren Teilung zwischen dem kleineren Rest (Rest S(I, J-1) in Fig. 8) und dem Rest S(I, J) wird ermittelt. Dies bedeutet, daß der Punkt der inneren Teilung, wie durch die Formel 3 ver anschaulicht, eine x-Komponente des gewünschten Bewegungs vektors ist.

In der vertikalen Richtung (y-Komponente) wird ein größe rer Rest des Restes S(I, J-1) oder des Restes (I, J+1), hier der Rest S(I, J+1) unberücksichtigt gelassen, und ein Punkt einer inneren Teilung des kleineren Restes, hier des Restes S(I, J-1), und ein Rest S(I, J) werden ermittelt. Dies bedeutet, daß der Punkt der inneren Teilung, wie durch die Formel 4 veranschaulicht, eine y-Komponente des ge wünschten Bewegungsvektors ist.

Unterdessen dient das oben beschriebene Interpolations verfahren lediglich der Veranschaulichung und nicht der Beschränkung der vorliegenden Erfindung.

Falls der Bewegungsvektor mit den Pixeleinheiten (2, 1) als Ausgangs- bzw. Abgabegröße dient, kann anstelle der Komparator-Interpolatorschaltung 7 ein einfacher Kompara tor verwendet werden, der lediglich eine Vergleichsopera tion ausführt.

Die Schreib-/Leseadressen des für repräsentative Punkte vorgesehenen Punkt-Speichers 2 und des Rest-Speichers 6 werden durch eine Steuerschaltung 85 gesteuert.

Gemäß Fig. 1 und 2 wird der Rest in einem Pixelintervall von (2, 1) von den repräsentativen Punkten und den Daten des gerade vorliegenden Teilbildes ermittelt. Es wird möglich, maximal zwei Punkte pro Q·R-Bereich zu verwen den, so daß es genügt, daß der Rest-Speicher 6 eine Kapa zität von Q·R/2 Worten aufweist.

Im allgemeinen können maximal a repräsentative Punkte pro Q·R-Bereich herangezogen werden, indem der Rest bei einer Pixelteilung von (q, 1) ermittelt wird, so daß der Rest-Speicher mit Q·R/q Worten genügt. Durch Ermitteln des Restes in einem Pixelintervall von (q, r) können ferner maximal qr repräsentative Punkte pro Q·R-Bereich herangezogen wer den, so daß der Rest-Speicher mit Q·R/q·r Worten genügt. Im übrigen sind q und r ganze Zahlen.

Gemäß Fig. 1 können repräsentative Punkte P₂ki, wie in Fig. 9 gezeigt, herangezogen werden. Gemäß Fig. 9 betragen Q = 8 und R = 6, und der Rest, der aus dem repräsentativen Punkt und den Daten des vorliegenden Teilbildes ermittelt wird, liegt in einem Intervall eines Schachbrettmusters, wie dies in Fig. 10 und 11 durch schraffierte Bereiche veranschaulicht ist. Dies bedeutet, daß eine Berechnung der Reste S(2n, 2m), S(2n-1, 2m+1) (n = -1, 0, 1, 2; m = -1, 0, 1) oder 24 (Q·R/2) durchgeführt wird, um S₀(*,*) durch Interpolation aus diesen Vektoren den Nachbar-Rest zu ermitteln, damit der Bewegungsfaktor bei (1, 1)-Pixel einheiten oder in einem feineren Intervall gefunden wird.

Fig. 10 veranschaulicht die repräsentativen Punkte Pki und die Suchbereiche SEki für die repräsentativen Punkte Pki sowie die Pixel zur Ermittlung des Restes durch Berech nen des repräsentativen Punktes Pki und des Absolutwertes der Differenz. Fig. 11 zeigt ebenfalls die repräsentativen Punkte P₂ki, die Suchbereiche SE₂ki und die Pixel (durch Schraffurlinien veranschaulicht) zur Ermittlung des Restes durch Berechnen des Absolutwertes der Differenz. In Fig. 10 und 11 befinden sich die schraffierten Bereiche an voneinan der verschiedenen Bereichen.

Mit Hilfe der oben beschriebenen Bewegungsvektor-Erfassungs vorrichtung wird der Rest an Q·R/q·r Positionen, wobei q und r natürliche Zahlen sind, die zumindest gleich 2 sind, für Pixeleinheiten nicht unter 2 längs einer Richtung der horizontalen Richtung und der vertikalen Richtung ermittelt, und der Bewegungsvektor wird in einem 1·1-Pixelintervall oder in feineren Intervallen durch Interpolation aus dem Rest ermittelt, der den kleinsten berechneten Wert ergibt, oder aus dem benachbarten Rest, anstatt den Rest im 1·1-Pixel intervall innerhalb des Suchbereiches SE zu berechnen. Auf diese Weise genügt der Rest-Speicher 2 mit einer Größe von Q·R/q·r anstelle des konventionellen Speichers mit der Größe von Q·R. Es wird möglich, repräsentative Punkte zu verwenden, die um das q·r-fache größer sind als beim konventionellen System, bei dem jeweils ein Punkt in einem Intervall von Q·R herangezogen wird, um eine genauere Er fassung des Bewegungsvektors zu ermöglichen. Bei der vor liegenden Ausführungsform genügen darüber hinaus jeweils eine Subtrahiereinrichtung und eine Absolutwert-Einheit zur Berechnung des Absolutwerts der Differenz, obwohl viele repräsentative Punkte herangezogen werden können, so daß die Größe der Vorrichtung nicht zunimmt.

Die Bewegungsvektor-Erfassungsvorrichtung gemäß der vor liegenden Erfindung kann so ausgelegt sein, wie dies die in Fig. 12 gezeigte zweite Ausführungsform veranschaulicht.

Die Vorrichtung gemäß der zweiten Ausführungsform ist in Fig. 12 veranschaulicht; sie umfaßt einen für repräsenta tive Punkte vorgesehenen Speicher 2, in welchem Daten einer Vielzahl von Sätzen repräsentativer Punkte gespeichert werden, die in denselben Intervallen wie im Suchbereich SE ausgewählt sind, umfassend Q·R Pixel eines Bildes eines Teilbildes, welches dem gerade vorliegenden Teilbild um ein oder mehr Teilbilder vorangeht, wobei die Daten jedes Teilbildes in eine Vielzahl von Blöcken unterteilt sind, wie in vier Blöcke b^[1] bis b^[4]. Ferner ist eine Differenz- Absolutwert-Recheneinrichtung vorgesehen zur Berechnung des Absolutwerts der Differenz zwischen den Daten an den repräsentativen Punkten Pk zu dem Zeitpunkt, zu dem die Daten des Pixels des vorliegenden Teilbildes dem Eingangs anschluß 1 zugeführt werden, und den Daten des Pixels des gerade vorliegenden Teilbildes in dem q·r-Pixelintervall, wobei q und r natürliche Zahlen sind und zumindest eine dieser Zahlen zwei ist oder einen höheren Wert hat. Im übrigen ist eine kumulativ arbeitende Summiereinrichtung vorgesehen, bestehend aus einem Addierer und einem Rest-Speicher (zum Beispiel den Rest-Speichern 61, 62), um kumulativ Daten der Block-zu-Block-Vektoren von der Differenz-Absolutwert-Recheneinrichtung her zu summieren und um somit den Rest zu ermitteln. Ferner ist eine Kom parator-Interpolatorschaltung 7 vorgesehen, die die Rest daten für den jeweiligen Vektor in den Speichern 61, 62 der kumulativen Summiereinrichtung für den jeweiligen Block vergleicht, um den Bewegungsvektor bezüglich des jeweiligen Blockes zu ermitteln. Außerdem wird eine Interpolation vom Rest des Bewegungsvektors und der benachbarten Posi tion herangezogen, um den Bewegungsvektor des jeweiligen Blockes in Intervallen von weniger als q·r zu ermitteln. Ferner ist eine Entscheidungsschaltung 8 vorgesehen, die eine Entscheidung darüber trifft, ob das ihr zugeführte Ausgangssignal der Komparator-Interpolatoreinrichtung ein realer Bewegungsvektor ist oder nicht. Schließlich ist eine Steuerschaltung 85 vorgesehen, welche die Schreib-/Lese adressen des für die repräsentativen Punkte vorge sehenen Speichers 2 und der Rest-Speicher 61, 62 steuert. In dieser Figur sind solche Teile oder Komponenten, die den in Fig. 1 gezeigten ähnlich sind bzw. diesen ent sprechen, mit denselben Bezugszeichen bezeichnet, und eine detaillierte Beschreibung ist der Einfachheit halber weg gelassen.

Bei der vorliegenden zweiten Ausführungsform werden die repräsentativen Punkte herangezogen, wie sie in Fig. 2 veranschaulicht sind, und es gilt Q·R = 8·6.

Ein Raster ist in vier Blöcke b^[1] bis b^[4] unterteilt, wie dies in Fig. 13 gezeigt ist. Bei der vorliegenden Ausführungsform wird der Rest für jeden Block in Pixelintervallen von (2, 1) berechnet, und der Bewegungsvektor des jeweiligen Blockes wird dadurch ermittelt, daß eine Interpolation von den Minimalwerten für die Blöcke und von den Werten der Reste der Peripherie vorgenommen wird.

Dies bedeutet, daß der Rest S(n, m)^[1], S(n, m)^[2], S(n, m)^[3], S(n, m)^[4] für die ersten bis vierten Blöcke b^[1] bis b^[4] aus Daten des vorliegenden Teilbildes und aus den repräsentativen Punkten ermittelt wird. Dabei gilt n = -2, 0, 2, 4 und m = -2, -1, 0, 1, 2, 3.

Wenn Daten des vorangehenden Teilbildes dem Eingangsanschluß 1 zugeführt werden, werden Daten der repräsentativen Punkte Pki und P₁ki in dem Speicher 2 gespeichert. Seit dem Zeitpunkt T₀ bis zum Zeitpunkt T₁ werden gemäß Fig. 13 die Zwischenergebnisse des Restes s(n, m)^[1] für den ersten Block b^[1] (n = -2, 0, 2, 4 und m = -2, -1, 0, 1, 2, 3) in dem Rest-Speicher 61 gespeichert, während Daten des Restes S (n, m)^[2] im Rest-Speicher 62 gespeichert werden.

Die Rest-Speicher 61, 62 weisen eine Kapazität von Q·R/2 Worten auf.

Unter den Daten des vorliegenden Teilbildes werden Daten des repräsentativen Punktes Pki für den ersten Block b^[1] aus dem Speicher 2 ausgelesen, und |A0¹-Pk1^[1]|, ein Partialterm des Restes S(2, 1)^[1], wird durch die Subtrahiereinrichtung 3 und die Absolutwert-Einheit 4 berechnet. Die Daten des Zwischenergebnisses s(2, 1)^[1] werden aus dem Rest-Speicher 61 ausgelesen, und

s(2, 1)^[1] + |A0¹-Pki^[1]|

wird im Addierer 5 berechnet. Die Ergebnisse werden erneut als Zwischenergebnis s(2, 1)^[1] eingesetzt, um unter einer Adresse des Rest-Speichers 61 ein Überschreiben vorzunehmen, an der die alten Zwischenergebnisse gespeichert waren.

Falls der repräsentative Punkt Pki der Punkt Pki ∈ des zweiten Blocks b^[2] ist, werden in entsprechender Weise Daten der Zwischenergebnisse aus dem Rest-Speicher 62 gelesen, und Daten der neuerlichen Zwischenergebnisse werden in dem Rest-Speicher 62 überschrieben.

Falls Daten eines Pixels A1^[1] des ersten Blocks b^[1] unter den Daten des gerade vorliegenden Teilbildes dem Eingangsanschluß 1 zugeführt werden, werden Daten des repräsentativen Punktes P₁k4^[1] aus dem Speicher 2 gelesen, und |A1^[1] - P₁k₄^[1]|, ein Partialterm des Restes S(0, -2)^[1], wird durch die Subtrahiereinrichtung 3 und die Absolutwert-Einheit 4 berechnet. Die Daten der Zwischenergebnisse s(0, -2)^[1] werden aus dem Rest-Speicher 61 gelesen, und

s(0, -2)^[1] + A0^[1] - Pk4^[1]

wird durch den Addierer 5 berechnet; die Ergebnisse werden als neue Zwischenergebnisse des Restes für das Überschreiben unter einer Adresse des Rest-Speichers 61 festgelegt, unter der die alten Ergebnisse des Restes gespeichert waren.

Falls der repräsentative Punkt P₁ki der P₁ki ∈ des zweiten Blocks b^[2] ist, werden in entsprechender Weise die Daten der Zwischenergebnisse des Restes aus dem Rest-Speicher 62 ausgelesen, um für das Überschreiben als neue Zwischenergebnisse im Rest-Speicher 62 verwendet zu werden.

Durch Fortsetzen der oben beschriebenen Verarbeitungsoperation sind die im Rest-Speicher 61 gespeicherten Zwischenergebnisse s(n, m)^[1] der Rest S(n, m)^[1] zu einem Zeitpunkt T₁, zu dem die Daten der ersten und zweiten Blöcke b^[1], b^[2] alle vom Eingangsanschluß 1 eingegeben sind.

Die Daten des Restes S(n, m)^[1] des ersten Blocks b^[1] im Rest-Speicher 61 (n = -2, 0, 2, 4; m = -2, -1, 0, 1, 2, 3) werden der Komparator-Interpolatorschaltung 7 zugeführt, um einen Vektor (n, m) zu berechnen, der der kleinste Vektor in der Komparator-Interpolatorschaltung 7 wird, um den Bewegungsvektor des ersten Blocks b^[1] durch Interpolation von dem kleinsten Punkt und dem Rest in der Nähe zu ermitteln.

Die Daten des Restes S(n, m)^[2] des zweiten Blocks b^[2] im Rest-Speicher 62 (n = -2, 0, 2, 4; m = -2, -1, 0, 1, 2, 3) werden in die Komparator-Interpolatorschaltung 7 eingeführt, um den Bewegungsvektor des zweiten Blocks b^[2] in entsprechender Weise zu ermitteln.

In der Zeit T₁ bis T₂ werden die Rest-Speicher 61, 62 als Rest-Speicher für den dritten und vierten Block b^[3], b^[4] verwendet. Da die Zwischenergebnisse s(n, m)^[3], s(n, m)^[4] in den Rest-Speichern 61, 62 zum Zeitpunkt T₂ die Reste S(n, m)^[3] bzw. S(n, m)^[4] sind, werden die Bewegungsvektoren der Blöcke b^[3], b^[4] in der Komparator-Interpolatorschaltung 7 in entsprechender Weise ermittelt.

Die in der oben beschriebenen Weise in den ersten bis vier ten Blöcken b^[1] bis b^[4] ermittelten Bewegungsvektoren werden einer Entscheidungsschaltung 8 zugeführt, in der eine Ent scheidung entsprechend den folgenden drei Bedingungen durch geführt wird. Wenn in der Entscheidungsschaltung 8 die vier Vektoren der vier Blöcke b^[1] bis b^[4] alle gleich sind, wie entsprechend einer ersten Bedingung, wird der Vektor als tatsächlicher Bewegungsvektor abgegeben. Falls ent sprechend einer zweiten Bedingung lediglich der Bewegungs vektor eines der Blöcke vom Bewegungsvektor der anderen drei Blöcke b abweicht, wird der Bewegungsvektor der drei Blöcke b als tatsächlicher Bewegungsvektor abgegeben. Falls entsprechend einer dritten Bedingung die obigen beiden Bedingungen nicht erfüllt sind, wird der Fall so behandelt, daß der Bewegungsvektor nicht ermittelt werden kann, oder es werden Gewichtungskoeffizienten den Blöcken hinzuaddiert, und eine Entscheidung wird auf der Grundlage dieser Gewich tungskoeffizienten getroffen.

Falls die obigen ersten und zweiten Bedingungen nicht er füllt sind, kann anstelle der Entscheidung nach der dritten Bedingung gemäß einer vierten Bedingung der Bewegungsvektor für das gesamte Raster ermittelt werden anstatt auf der blockweisen Basis, wie bei der oben beschriebenen ersten Ausführungsform. In diesem Falle muß der Bewegungsvektor für das gesamte Raster anstelle für den jeweiligen Block gefunden werden, indem die Entscheidungsverarbeitung unter der vierten Bedingung berücksichtigt wird. Gemäß Fig. 12 sind somit ein Addierer und ein Rest-Speicher mit einer Kapazität von Q·R/2 Worten vorgesehen, und das Ausgangs signal des Absolutwert-Speichers 4 wird kumulativ für den jeweiligen Vektor bezüglich des gesamten Rasters mit Hilfe des Addierers und des Rest-Speichers addiert, um den Rest S(n, m) für das gesamte Raster (n = -2, 0, 2, 4; m = -2, -1, 0, 1, 2, 3) zu ermitteln. Der Rest S(n, m) wird in eine Komparator-Interpolatorschaltung eingeführt, die von der Komparator-Interpolatorschaltung 7 getrennt ist, um den Bewegungsvektor für das gesamte Raster im Pixelintervall von (1, 1) zu ermitteln. Der so ermittelte Bewegungsvektor und das Ausgangssignal der Komparator-Interpolatorschal tung 7 werden in die Entscheidungsschaltung 8 eingegeben.

Bei der vorliegenden Ausführungsform werden die Schreib-/Lese adressen des Speichers 2 und der Rest-Speicher 61, 62 durch eine Steuerschaltung 85 gesteuert.

Das in Verbindung mit der ersten Ausführungsform beschrie bene Interpolationsverfahren kann ebenfalls angewandt wer den.

Falls bei der vorliegenden zweiten Ausführungsform der Bewegungsvektor des Pixelintervalls von (2, 1) als Ausgangs- bzw. Abgabewert genügt, kann anstelle der Komparator-Inter polatorschaltung lediglich ein Komparator verwendet werden.

Das Raster kann in irgendwelche kleineren oder größeren Blöcke anstatt in vier Blöcke, wie bei der vorliegenden Ausführungsform, unterteilt sein.

In Fig. 1 und 2 wurde der Rest im Pixelintervall von (2, 1) aus den Daten des vorliegenden Teilbildes und den repräsen tativen Punkten ermittelt. In diesem Fall können bis zu zwei repräsentative Punkte für jeden Q·R-Bereich herange zogen werden. Der Rest-Speicher mit einer Kapazität von Q·R/2 Worten genügt.

Generell ausgedrückt können maximal q repräsentative Punkte pro Q·R-Bereich herangezogen werden, falls der Rest in einem Pixelintervall von (q, 1) gefunden wird, während der Rest-Speicher mit einer Kapazität von jeweils Q·R/q Worten genügt. Falls der Rest zweidimensional in einem Pixelinter vall von (q, r) ermittelt wird, können maximal q·r reprä sentative Punkte pro Q·R-Bereich herangezogen werden, während der Rest-Speicher mit einer Kapazität von Q·R/q·r genügt, wobei q und r ganze Zahlen sind.

Bei der vorliegenden zweiten Ausführungsform können reprä sentative Punkte P₂ki, wie in Fig. 9 gezeigt, herangezogen werden, wie dies zuvor beschrieben worden ist. In Fig. 9 gilt jedoch Q = 8 und R = 6, und der Rest, der durch die repräsentativen Punkte ermittelt ist, sowie Daten des ge rade vorliegenden Teilbildes liegen in Intervallen eines Schachbrettmusters vor, wie dies durch Schraffur in Fig. 10 und 11 veranschaulicht ist. Dies bedeutet, daß 24 (= Q·R/2) Reste S(2n, 2m)^[B], S(2n-1, 2m+1)^[B], (n = -1, 0, 1, 2; m = -1, 0, 1) von Block zu Block berechnet werden und daß der Bewegungsvektor des jeweiligen Vektors durch Inter polation vom Vektor und vom Rest in der Nähe des Vektors in einem Pixelintervall von (1, 1) oder in einem feineren Intervall gefunden wird.

Mit Hilfe der Bewegungsvektor-Erfassungsvorrichtung gemäß der vorliegenden zweiten Ausführungsform wird der Rest bei Q·R/q·r berechnet, wobei q·r eine ganze Zahl ist, die nicht kleiner ist als 2, wobei das Intervall in zu mindest einer Richtung der vertikalen oder horizontalen Richtung gleich zwei oder mehr Pixel beträgt. Die Berech nung erfolgt dabei durch Aneinanderreihung einer Vielzahl von Rest-Speichern in jedem Block, der durch Unterteilung des Rasters (ein Teilbild) in eine Vielzahl von Blöcken erhalten wird, wobei der Bewegungsvektor des jeweiligen Blockes bei einem Pixelintervall von (1, 1) oder in einem feineren Intervall durch Interpolation des kleinsten Restes und der Werte des Restes in seiner Nähe ermittelt wird. Auf diese Art und Weise genügt der Rest-Speicher 2 mit einer Kapazität von Q·R/q·r Worten im Vergleich zur Kapa zität von Q·R Worten des konventionellen Speichers, während q·r repräsentative Punkte pro Q·R-Bereich herangezogen werden können im Vergleich zu einem Q·R-Bereich mit der konventionellen Vorrichtung, um eine genaue Ermittlung des Bewegungsvektors zu ermöglichen.

Falls der Rest für das gesamte Raster wie bei der ersten Ausführungsform berechnet wird, beeinflußt ein Abbild eines sich bewegenden Objekts, wie eines Menschen oder eines Autos, das möglicherweise beispielsweise im dritten Block b^[3] vorhanden ist, die Berechnung des Restes so, daß die Berechnung des Bewegungsvektors gestört ist. Bei der zwei ten Ausführungsform, bei der das Raster in eine Vielzahl von Blöcken unterteilt ist, wird es indessen möglich, die Rest-Berechnung von Block zu Block auszuführen, um eine genauere Berechnung des Bewegungsvektors zu gewährleisten. Falls die Bewegungsvektor-Erfassungsvorrichtung der ersten Ausführungsform bei einer Anordnung zur Komprimierung eines sich bewegenden Bildes angewandt wird, kann unterdessen das Datenvolumen dadurch vermindert werden, daß der Bewe gungsvektor von Block zu Block ermittelt wird und daß die Differenz des durch den Bewegungsvektor von Block zu Block angezeigten Bildes herangezogen wird. In diesem Falle kann das Ausgangssignal der Komparator-Interpolatorschaltung 7 gemäß Fig. 12 als Bewegungsvektor auf der blockweisen Basis verwendet werden.

Aus den obigen Ausführungen geht hervor, daß die vorliegen de Erfindung eine Bewegungsvektor-Erfassungsvorrichtung schafft, bei der der Absolutwert der Differenz zwischen einer Vielzahl von Sätzen repräsentativer Punkte, die im selben Intervall wie der Suchbereich ausgewählt sind, der aus Q·R Pixeln besteht, und Pixeldaten des vorliegenden Teilbildes an den Positionen des q·r-Pixelintervalls be rechnet wird, um Vektoren zu ermitteln, wobei die Daten des jeweiligen Vektors kumulativ summiert werden, um den Rest zu ermitteln, und wobei die Daten des Restes des je weiligen Vektors mit anderen Daten verglichen werden, um einen Bewegungsvektor zu ermitteln. Ein Bewegungsvektor wird dabei in einem Intervall ermittelt, welches kleiner ist als Q·R, und zwar durch Interpolation aus dem Bewe gungsvektor und aus Werten des Restes in seiner Nähe, so daß die Anzahl der repräsentativen Punkte erhöht werden kann, um die Erfassungsgenauigkeit zu steigern sowie dazu, Erfassungsfehler zu vermindern.

Die vorliegende Erfindung schafft ferner eine Bewegungs vektor-Erfassungsvorrichtung, bei der das Raster in einem Teilbild in Blöcke unterteilt ist, wobei der Absolutwert der Differenz zwischen einer Vielzahl von Sätzen repräsen tativer Punkte, die im selben Intervall wie der Suchbereich ausgewählt sind, umfassend Q·R Pixel, und Pixeldaten des vorliegenden Teilbildes an den Positionen des q·r Pixel intervalls, von Block zu Block berechnet wird, um Vektoren zu ermitteln, wobei Daten des jeweiligen Vektors kumulativ summiert werden, um den Rest für den jeweiligen Block zu ermitteln. Die Daten des Restes des jeweiligen Vektors des jeweiligen Blockes werden mit anderen Daten von Block zu Block verglichen, um einen Bewegungsvektor im Intervall von q·r für den jeweiligen Block zu ermitteln. Ein Bewe gungsvektor wird in einem Intervall berechnet, das kleiner ist als q·r, und zwar durch Interpolation von dem Bewe gungsvektor und Werten des Restes in seiner Nähe. Der tatsächliche Bewegungsvektor wird auf der Grundlage des Bewegungsvektors für den jeweiligen Block bestimmt, womit die Bewegungsvektor-Erfassungsgenauigkeit weiter verbessert ist.

Claims

1. Bewegungsvektor-Erfassungsvorrichtung, dadurch gekennzeichnet,
daß ein Punkt-Speicher (2) vorgesehen ist, der eine Viel zahl von Sätzen repräsentativer Punkte (Pk) speichert, die im selben Intervall ausgewählt sind wie jene für Such bereiche, deren jeder Q·R Pixel eines Bildes eines Teil bildes umfaßt, welches dem gerade vorliegenden Teilbild um ein oder mehr Teilbilder vorangeht,
daß eine Recheneinrichtung (3, 4) vorgesehen ist für die Berechnung eines Absolutwertes einer Differenz zwischen den Daten des repräsentativen Punktes (Pk) zu einem Zeit punkt, zu dem Daten des gerade vorliegenden Teilbildes geliefert werden, und den Daten der Pixel des gerade vor liegenden Teilbildes, die von dem repräsentativen Punkt (Pk) um q·r Pixel getrennt sind, zur Ermittlung eines Vektors,
daß eine kumulativ arbeitende Addiereinrichtung (5, 6) vor gesehen ist, die eine kumulative Addition von Vektor-zu- Vektor-Daten von der Recheneinrichtung (3, 4) her zur Er mittlung eines Restes vornimmt,
und daß eine Komparator-Interpolatorschaltung (7) vorge sehen ist, die Vektor-zu-Vektor-Daten des Restes von der Recheneinrichtung (3, 4) her vergleicht für die Ermittlung eines Bewegungsvektors in einem Intervall von q·r Pixeln und zur gelegentlichen Interpolation vom Bewegungsvektor und vom Rest der nahe gelegenen Positionen zur Berechnung von Bewegungsvektoren im Intervall von q·r.

2. Vorrichtung nach Anspruch 1, dadurch ge kennzeichnet, daß die Recheneinrichtung (3, 4) eine Subtrahiereinrichtung (3) und eine Absolutwert-Ein heit (4) aufweist.

3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die kumulativ arbeitende Additionseinrichtung (5, 6) einen Addierer (5) und einen Rest-Speicher (6) aufweist.

4. Vorrichtung nach Anspruch 3, dadurch gekenn zeichnet, daß die Komparator-Interpolatorschal tung (7) von Vektor zu Vektor Rest-Daten im Rest-Spei cher (6) zur Ermittlung eines Vektors vergleicht, der der kleinste Vektor im Intervall von q·r Pixeln ist, während gelegentlich eine Interpolation von den Werten des Restes des kleinsten Vektors und der nahe gelegenen Positionen zur Berechnung des Bewegungsvektors im Intervall von q·r Pixeln erfolgt.

5. Vorrichtung nach irgendeinem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß eine Steuerschaltung (85) für die Steuerung des Einschreibens und Auslesens und der Adressen der Punkt-Speicher (2) und des Rest-Speichers (6) vorgesehen ist.

6. Bewegungsvektor-Erfassungsvorrichtung, dadurch gekennzeichnet,
daß ein Punkt-Speicher (2) für die Speicherung einer Viel zahl von Sätzen repräsentativer Punkte (Pk) vorgesehen ist, die im selben Intervall wie jene für Suchbereiche ausgewählt sind, deren jeder Q·R Pixel eines Bildes eines Teilbildes umfaßt, welches dem gerade vorliegenden Teil bild um ein oder mehr Teilbilder vorangeht, wobei jedes Teilbild in eine Vielzahl von Blöcken unterteilt ist,
daß eine Recheneinrichtung (3, 4) vorgesehen ist, welche einen Absolutwert einer Differenz zwischen Daten des repräsentativen Punktes (Pk) zu einem Zeitpunkt, zu dem Daten des gerade vorliegenden Teilbildes geliefert werden, und Daten von Pixeln des gerade vorliegenden Teilbildes, die von dem repräsentativen Punkt (Pk) um Q·R Pixel ge trennt sind, zur Ermittlung eines Block-zu-Block-Vektors berechnet,
daß eine kumulativ arbeitende Addiereinrichtung (5, 61, 62) vorgesehen ist, welche eine kumulative Addition von Block-zu-Block Vektor-zu-Vektor-Daten von der Recheneinrich tung (3, 4) her zur Ermittlung eines Restes vornimmt,
daß eine Komparator-Interpolatorschaltung (7) vorgesehen ist, die von Block-zu-Block die Vektor-zu-Vektor-Daten des Restes von der kumulativ arbeitenden Addiereinrich tung (5, 61, 62) her zur Ermittlung eines Bewegungsvektors in einem Intervall von q·r Pixeln von Block zu Block be rechnet und zur gelegentlichen Interpolation von dem Be wegungsvektor und dem Rest der nahe gelegenen Positionen zur Berechnung der Bewegungsvektoren im Intervall von q·r Pixeln dient,
und daß eine Entscheidungsschaltung (8) vorgesehen ist, die auf der Basis von Daten des Bewegungsvektors von Block zu Block, welche durch Vergleich und Interpolation mittels der Komparator-Interpolatorschaltung (7) erhalten sind, eine Entscheidung bezüglich eines tatsächlichen Bewegungs vektors trifft.

7. Vorrichtung nach Anspruch 6, dadurch ge kennzeichnet, daß die Recheneinrichtung (3, 4) eine Subtrahiereinrichtung (3) und eine Absolutwert-Ein heit (4) aufweist.

8. Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß die kumulativ arbei tende Addiereinrichtung (5, 61, 62) einen Addierer (5) und einen Rest-Speicher (61, 62) aufweist.

9. Vorrichtung nach Anspruch 8, dadurch ge kennzeichnet, daß eine Vielzahl von Rest-Speichern (61, 62) für die selektive Speicherung der Rest-Daten auf der Basis eines Intervalls des betreffenden Blocks vorgesehen ist.

10. Vorrichtung nach irgendeinem der Ansprüche 6 bis 9, dadurch gekennzeichnet, daß eine Steuerschaltung (85) für die Steuerung des Einschreibens/Aus lesens und der Adressen der Punkt-Speicher (2) und des Rest-Speichers (61, 62) vorgesehen ist.

11. Vorrichtung nach irgendeinem der Ansprüche 1 bis 10, gekennzeichnet für die Verwendung zur Kompen sation von Abweichungen, die durch manuelle Kameraschwen kungen hervorgerufen sind.

12. Vorrichtung nach irgendeinem der Ansprüche 1 bis 10 für die Verwendung zur Kompression von sich bewegenden Bildern.