DE69326522T2

DE69326522T2 - Bewegungsvektornachweisgerät

Info

Publication number: DE69326522T2
Application number: DE69326522T
Authority: DE
Inventors: Minoru Etoh
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-11-02
Filing date: 1993-10-28
Publication date: 2000-02-17
Anticipated expiration: 2013-10-29
Also published as: JP2789967B2; JPH06150007A; EP0596409B1; DE69326522D1; EP0596409A3; US5479218A; EP0596409A2

Description

Hintergrund der Erfindung

1. Gebiet der Erfindung

Die vorliegende Erfindung betrifft eine Bewegungsvektorbestimmungsvorrichtung zur Bildcodierung, Rauschverringerung, Gegenstandsverfolgung, usw.

2. Zu der Erfindung in Beziehung stehender Stand der Technik

Eine Technik der Bewegungsvektorbestimmung auf der Grundlage eines Zeit-Raum- Differenzierverfahrens ist bereits bspw. als das Horn-Verfahren vorgeschlagen worden (Horn, B. K. P. und B. G. Shunk: "Determining optical flow", Artifical Intelligence, Bd. 17, S. 185-203, 1981). Bei diesem Verfahren wird von der Helligkeit eines Punktes (x, y) in dem Bild zur Zeit t angenommen, daß sie I(x, y, t) ist, und von einem Gegenstand wird angenommen, daß er sich um Δx auf der x-Achse und um Δy auf der y-Achse während der infinitesimalen Zeit Δt bewegt. Nimmt man an, daß die Helligkeit des gleichen Punkts auf dem Gegenstand konstant ist, ergibt sich die Formel (1).
I(x, y, t) = I(x + Δx, Y + Δy, t + Δt) (1)
Durch Entwicklung durch eine Taylor-Reihe der rechten Seite der Formel (1) werden Glieder höherer Ordnung unberücksichtigt gelassen, und, wenn man das Extrem Δt = 0 betrachtet, wird durch Dividieren Δt die Formel (2) gebildet.
worin u = dΔx/dt, v = dΔy/dt. Nimmt man an, daß (u, v) ein Geschwindigkeitsvektor ist, wird dies durch eine Zeit-Raum-Differenzierung eine Nebenbedingungsgleichung. In dieser Nebenbedingungsgleichung kann eine Gerade, auf der der Bewegungsvektor (u, v) liegt, aus der Zeit-Raum-Differenzierung der Luminanz bestimmt werden kann, wobei aber eine gewisse Bedingung benötigt wird, (u, v) zu bestimmen. Horn wendete unter der Annahme, daß sich (u, v) stetig in dem Bild ändert, eine neue Bedingung an, und bestimmte den Bewegungsvektor. Als Stand der Technik dieser Bewegungsvektorbestimmungsvorrichtung ist ihre schematische Zeichnung in Fig. 1 gezeigt. In Fig. 1 ist das Bezugszeichen 301 ein Analog/Digitalwandler, sind 302, 303 Bildspeicher, ist 304 ein Differenzierfilter für die horizontale Richtung, ist 305 ein Differenzierfilter für die vertikale Richtung, ist 306 ein Differenzierfilter für die Zeitrichtung, ist 307 ein Differenzierbildspeicher für die horizontale Richtung, ist 308 ein Differenzierbildspeicher für die vertikale Richtung, ist 309 ein Differenzierbildspeicher für die Zeitrichtung, ist 310 ein Bewegungsspeicher für die horizontale Richtung, ist 311 ein Bewegungsabschätzteil für die horizontale Richtung, ist 312 ein Bewegungsabschätzteil für die vertikale Richtung, ist 313 ein Bewegungsspeicher für die vertikale Richtung und sind 314, 315 Glättungsfilter.
Das über den Analog/Digitalwandler eingegebene Bild wird um 1 Bildzeit in dem Bildspeicher 302 verzögert und geht sequentiell durch den Bildspeicher 303 hindurch.
Das Differenzierfilter 304 für die horizontale Richtung, das Differenzierfilter 305 für die vertikale Richtung und das Differenzierfilter 306 für die Zeitrichtung berechnen die Zeit- Raum-Differenzierung (δl/δx, δl/δy, δl/δt) der Formel (2), die zur Abschätzung des Bewegungsvektors in jedem Pixel notwendig ist.
Die Berechnungsergebnisse werden jeweils in dem Differenzierbildspeicher 307 für die horizontale Richtung, dem Differenzierbildspeicher 308 für die vertikale Richtung und den Differenzierbildspeicher 309 für die Zeitrichtung aufgezeichnet.
Da das Bild abgetastet wird, wird die Differenzierberechnung durch Berechnung mit einem Differenzverfahren ersetzt.
Horn bestimmte unter der Annahme, daß sich (u, v) stetig in dem Bild ändert, den Bewegungsvektor durch eine Minimierungsformel (3).
E = α²((u, v) - ( , ))² +(uIx + vIy + It)² dxdy (3)
Nachfolgend wird der Einfachheit halber (δl/δx, δl/δy, δl/δt) ausgedrückt als (Ix, Iy, It). Die Minimierung der Formel (3) kann durch die in Formel (4) gezeigte Wiederholung in einer Form gelöst werden, die Euler-Lagrange Gleichung zu lösen, die durch partielle Differenzierung der Formel (3) erhalten wird. Hier ist ( , ) der Nachbarschaftdurchschnitt des Bewegungsvektors, k ist die Anzahl der Wiederholungen und α ist eine Konstante.
uk+1 = k - Ix(Ix k + Iyvk + It)/(α² + Ix² + Iy²) vk+1 = k - Ix(Ix k + Iyvk + It)/(α² + Ix² + Iy²) (4)
(uk+1, vk+1) in Formel (4) wird jeweils in dem Bewegungsabschätzteil 311 für die horizontale Richtung und dem Bewegungsabschätzteil 312 für die vertikale Richtung berechnet und in dem Bewegungsspeicher 310 für die horizontale Richtung und dem Bewegungsspeicher 313 für die vertikale Richtung gespeichert.
Der Nachbarschaftsdurchschnitt, der zur Berechnung notwendig ist, wird durch die Glättungsfilter 314, 315 berechnet. Somit kann gemäß dieser herkömmlichen Bewegungsvektorbestimmungsvorrichtung der Bewegungsvektor durch Bewegungsabschätzung und Nachbarschaftsglättung bestimmt werden. Jedoch gibt es bei dem vorgenannten Stand der Technik die folgenden Probleme.
(1) Wiederholte mehrmalige Berechnungen werden im allgemeinen benötigt, und die Verarbeitungszeit ist lang.
(2) Glätten ist zur Bestimmung des Nachbarschaftsdurchschnitts notwendig, und daher werden unterschiedliche Bewegungsvektoren nahe der Grenze des Gegenstands geglättet und nicht genau bestimmt.
(3) Der Abschätzungsfehler ist an der Grenze des Gegenstands groß.
Das zweite und dritte Problem ergeben sich aus der gegenseitigen Abhängigkeit der Abschätzung des Bewegungsvektors und der Bereichssegmentierung des Bildes. Zur Abschätzung des Bewegungsvektors wird eine gewisse Kopplung mit dem Rahmenwerk der Bereichssegmentierung verlangt.

Zusammenfassung

Es ist deshalb eine vorrangige Zielsetzung der Erfindung, die obigen Probleme zu lösen und die Genauigkeit der Bestimmung des Bewegungsvektors an der Gegenstandsgrenze bei der Bewegungsvektorbestimmungsvorrichtung zu verbessern und die Verarbeitungszeit zu verkürzen.
Vorrichtung der vorliegenden Erfindung zur Bestimmung von Bewegungsvektoren, die umfaßt:
a) einen Speicher zur Speicherung von Videosignalen, die codiert und aus Bildern zusammengesetzt sind,
b) ein horizontales Differenzierfilter zum Auslesen von Luminanzdaten aus dem Speicher und zum Differenzieren oder Bilden von Differenzen in horizontaler Richtung von beliebigen Bildkoordinaten,
c) ein vertikales Differenzierfilter zum Auslesen von Luminanzdaten aus dem Speicher und zum Differenzieren oder Bilden von Differenzen in vertikaler Richtung von beliebigen Bildkoordinaten
d) ein Zeitdifferenzierfilter zum Auslesen der Luminanzdaten vorausgehender und nachfolgender Bilder aus dem Speicher und zu Differenzieren oder Bilden von Differenzen in zeitlicher Richtung,
wobei die Vorrichtung dadurch gekennzeichnet ist, daß sie des weiteren umfaßt:
e) eine Merkmalsvektor-Kombinationseinrichtung, um einen Luminanzdifferentialvektor (Ix, Iy, It), der Ergebnisse des horizontalen Differenzierfilters, des vertikalen Differenzierfilters und des Zeitdifferenzierfilters umfaßt, und einen Positionsvektor (x, y) der Bildkoordinaten zu kombinieren, um einen Abtastvektor (Ix, Iy, It, x, y) zu erhalten,
f) einen Speicher, um eine Mehrzahl Abschätzungen eines Bewegungsvektors (u, v) und ein Positionsvektormittelwert ( , ) des Abtastvektors als Klassendaten zu halten,
g) eine Bestimmungseinrichtung für die naheste Klasse, um einen Abstand zwischen der Klassendate und dem Abtastvektor aus einer Formel "(x- , y- )" und einer Formel "(u*Ix + v*Iy + It)" zu bestimmen und eine Entsprechung zwischen dem Abtastvektor und der nahesten Klassendate zu erreichen, und
h) eine Klassendaten-Änderungseinrichtung, um die derart bestimmten nahesten Klassendaten in einer Weise zu ändern, daß eine Abstandssumme zwischen den Klassendaten und dem entsprechenden einen oder mehreren Abtastvektoren kleiner wird.
Gemäß dieser Ausgestaltung wird das Zeit-Raum-Differential (Ix, Iy, It) von dem Speicher, der die Videosignale speichert, die in Bildeinheiten gebildet sind, mittels des horizontalen Differenzierfilters, des vertikalen Differenzierfilters und des Zeitdifferenzierfilters erhalten. Des weiteren sind die Abtastvektorkombinationseinrichtung, der obige (Ix, Iy, It) und der Positionsvektor (x, y) der Bildkoordinaten gekoppelt, um einen Abtastvektor zu erhalten. Dann werden das Positionsvektormittel ( , ) und eine Abschätzung des Bewegungsvektors (u, v) des Abtastvektors in einer Mehrzahl von Klassendaten in dem Speicher gespeichert. Die Bestimmungseinrichtung für die naheste Klasse wählt aus den mehreren Klassendaten in dem Speicher die der Abtastdate naheste auf der Grundlage der Operation von (x- , y- ) und (u*Ix + v*Iy + It) aus, und ihre Entsprechung wird bestimmt. Als Ergebnis wird die Entsprechung mit den Klassendaten hergestellt, die den Bewegungsvektor aufweisen, der die Nebenbedingungsgleichung durch die Zeit-Raum-Differenzierung nahe der Raumposition in dem Bild erfüllt. Von dieser Entsprechung ändert die Klassendaten-Änderungseinrichtung die Klassendaten so, daß die Abstandssumme zu einem oder mehreren Abtastvektoren kleiner wird, d. h. zwischen der nahesten entsprechenden Klassendate und der entsprechenden einen oder mehreren Abtastvektordaten.
Demgemäß wird die Klassendate so geändert, daß der Abstand zu dem Abtastvektor statistisch kleiner wird, und als Ergebnis kommt die Klassendate dazu, den Bewegungsvektor (u, v) einer gewissen Position ( , ) in dem Bild darzustellen. Auf diese Weise wird, indem mehrere Abtastvektoren aus der Nachbarschaft in dem Bild gesammelt werden, erwartet, daß mehrere Nebenbedingungsgleichungen des Raumdifferentials erhalten werden können und der Bewegungsvektor bestimmt wird. Wenn es eine unterschiedliche Bewegung nahe der Gegenstandsgrenze gibt, wird der Abstand von einem Abtastvektor zu der anderen Klassendate größer, so daß der Nachteil der herkömmlichen Glättung vermieden werden kann.

Kurze Beschreibung der Zeichnungen

Fig. 1 ist ein strukturelles Diagramm einer Bewegungsvektorbestimmungsvorrichtung nach dem Stand der Technik.
Fig. 2 ist ein strukturelles Diagramm einer ersten Ausführungsform der Bewegungsvektorbestimmungsvorrichtung.
Fig. 3 ist ein strukturelles Diagramm einer zweiten Ausführungsform der Bewegungsvektorbestimmungsvorrichtung.
Fig. 4 ist ein Hauptdiagramm zur Abschätzung eines Bewegungsvektors bei der ersten und zweiten Ausführungsform der Bewegungsvektorbestimmungsvorrichtung.

Bevorzugte Ausführungsform

Bezugnehmend auf die Zeichnungen werden einige Ausführungsformen der Erfindung ausführlich unten beschrieben. Die erste Ausführungsform der Erfindung, die in Anspruch 1 beansprucht ist, wird unter Bezugnahme auf die Fig. 2 und 4 beschrieben.
Fig. 2 ist ein schematisches Diagramm einer Bewegungsvektorbestimmungsvorrichtung der ersten Ausführungsform der Erfindung. Fig. 4 ist ein Diagramm, das das Prinzip der Abschätzung der Bewegung bei der ersten Ausführungsform zeigt. In Fig. 2 ist das Bezugszeichen 101 ein Analog/Digitalwandler, sind 102, 103 Bildspeicher, ist 104 ein Differenzierfilter für die horizontale Richtung, ist 105 ein Differenzierfilter für die vertikale Richtung, ist 106 ein Differenzierfilter für die Zeitrichtung, ist 107 ein Differentialbildspeicher für die horizontale Richtung, ist 108 ein Differentialbildspeicher für die vertikale Richtung, ist 109 ein Differentialbildspeicher für die Zeitrichtung, ist 110 ein Merkmalsvektor-Kombinationsteil, ist 111 ein Zufallsadressenerzeugungsteil, ist 112 ein Bestim mungsteil für die Klasse mit maximaler Likelihood (maximum likelihood) als Beispiel einer Bestimmungseinrichtung für die naheste Klasse, ist 113 ein Änderungsteil für die Klasse der maximalen Likelihood und ist 114 eine Klassendatenspeicherbank.
Das über den Analog/Digitalwandler eingegebene Bild wird um 1 Bilddauer in dem Bildspeicher 102 verzögert und geht sequentiell durch den Bildspeicher 103 hindurch.
Das Differenzierfilter 104 für die horizontale Richtung, das ein Differenzierfilter 105 für die vertikale Richtung und das Differenzierfilter 106 für die Zeitrichtung berechnen die Zeit-Raum-Differenzierung (δl/δx, δl/δy, δl/δt) der Formel (2), die zur Abschätzung des Bewegungsvektors in jedem Pixel notwendig ist. Die Berechnungsergebnisse werden jeweils in dem Differentialbildspeicher 107 für die horizontale Richtung, dem Differentialbildspeicher 108 für die vertikale Richtung und dem Differentialbildspeicher 109 für die Zeitrichtung aufgezeichnet. Da das Bild abgetastet wird, wird die Diffenrenzierberechnung durch eine Differenzberechnung ersetzt.
Der Zufallsadressenerzeugungsteil 111 erzeugt die horizontale und vertikale Position auf dem Schirm zufällig unter Verwendung von Zufallszahlen. Der Merkmalsvektor- Kombinationsteil 110, der die Bildposition (x, y) erhält, liest den Zeit-Raum-Differentialwert (Ix, Iy, It) an dieser Position aus den Speichern 107, 108, 109 aus und erzeugt den Abtastvektor (Ix, Iy, It, x, y)t [()t ist die transponierte Matrix]. Andererseits sind in der Speicherbank 114 für die Klassendaten n Elemente Klassendaten gespeichert. Bei dieser Ausführungsform umfassen die Klassendaten den Mittelwert des Positionsvektors p = (x, y)t, die Kovarianzmatrix S des Positionsvektors und die Kovarianzmatrix M des Differentialvektors d = (Ix, Iy, It)t bei dem Abtastvektor (Ix, Iy, It, x, y)t.
Es wird angenommen, daß die Eigenvektoren der Matrix M, die auf 1 normiert sind für den größten der entsprechenden Eigenwerte e1, e2, e3 sind. Der Anfangswert von Klassendaten wird so festgelegt, daß er die gleichen Intervalle auf dem Bildschirm in bezug auf die Position aufweist, und von den Kovarianzmatritzen S und M wird angenommen, daß sie Einheitsmatritzen sind. Zu diesem Zeitpunkt wird der Eigenvektor e3 von M insbesondere definiert zu (0, 0, 1). In dem Bestimmungsteil 112 für die Klasse der maximalen Likelihood wird, wobei der in Formel (5) gezeigte Abstand verwendet wird, der Abtastvektor, der an Zufallspositionen kombiniert wird, dazu gebracht, daß er der Klassendate bei dem kürzesten Abstand von ihm entspricht.
(p, d si,Si,Mi) = (p - si)tSi&supmin;¹(p - si + In Si + σi&supmin;²(dte3i)² + Inσi², (5)
worin σi = e3i /e33i,
Diese Entsprechung ist nicht auf die Verwendung der Form der Formel (5) begrenzt, bei der (e33) eine It Komponente des Eigenvektors e3 ist. Bei dieser Ausführungsform werden, wenn eine Entsprechungsgruppe von Abtastvektor und Klassendaten erhalten wird, die entsprechenden Klassendaten sequentiell in dem Änderungsteil 113 der Klassendaten für die maximale Likelihood geändert. In bezug auf den k-ten Abtastvektor wird von der Kennungsgröße seiner Klassendaten angenommen, daß sie i ist. Die von den Daten i verschiedenen Klassendaten werden nicht geändert, und es wird nur die Date i in den Klassendaten i in den Formel (6), (7), (8) geändert.
si(k+1) = si(k) + α(p - si(k)), 0.0 ≤ α ≤ 1.0 (6)
Si(k+1) = (1 - β)Si(k) + β(p - si(k))(p - si(k))t, 0.0 ≤ β ≤ 1.0 (7)
Mi(k+1) = (1 - γ)Mi(k) + γddt, 0.0 ≤ γ ≤ 1.0 (8)
Indem die vorgenannte Zufallsadressenerzeugung, die Merkmalsvektorkombination, die Klassenbestimmung für die maximale Likelihood und die Datenänderung der Klasse der maximalen Likelihood auf mehrere Abtastungen angewendet wird, wird die Selbstorganisation der Klassendaten ausgeführt. Das heißt, eine Gruppe Pixel in der Nachbarschaft in dem Bild und die allgemein die Bewegungsnebenbedingung erfüllt, bildet eine Gruppe identischer Klassendaten. Die Zufallsadressenerzeugung soll eine Zeitabweichung zum Ändern der sequentiellen Klassendaten verhindern. Fig. 4 zeigt das Prinzip der Bewegungsabschätzung bei dieser Ausführungsform. Betrachtet man den Merkmalsraum des Luminanz-Differentialvektors d = (Ix, Iy, It)t, so sollten sich, wenn alle Da ten die Nebenbedingungsgleichung der Zeit-Raum-Differenzierung erfüllen, in einer Ebene verteilen, wie es oben in Fig. 4 gezeigt ist. Deshalb spannen der erwartete Wert von ddt, d. h., der erste Eigenvektor und der zweite Eigenvektor der Kovarianzmatrix M diese Ebene auf (bestimmen sie). Der dritte Eigenvektor ist der auf dieser Ebene normale Einheitsvektor, und, wenn angenommen wird, daß seine Komponenten (e31, e32, e33) ist, kann er als (u, v) = (e31/e33, e32/e33) erhalten werden.
Die Änderung der Kovarianzmatrix, die in der Formel (8) gezeigt ist, in dem Änderungsteil 113 für Klassendaten für die maximale Likelihood entspricht der Drehung der Ebene, wie es oben und unten in Fig. 4 gezeigt ist. Demgemäß wird der dritte Eigenvektor e3 von dem Abtastvektor entfernt eingestellt, und der aus (u*Ix + v*Iy + It) berechnete Abstand wird für einen solchen Abtastvektor verringert.
Es ist ein Merkmal dieser Ausführungsform, daß der Bewegungsvektor als der Eigenvektor der Kovarianzmatrix abgeschätzt wird. Übrigens ist es, wenn nur e3 bestimmt wird, möglich, sich sequentiell durch Drehung des Unterraums anzunähern, der durch e3 ausgedrückt ist, wie es in Formel (9) gezeigt ist. In der Formel (9) bezeichnet I eine 3 · 3 Einheitsmatrix.
e3i(k+1) = e3i(k)(I-&epsi;ddt), 0,0 ≤ &epsi; < 1,0 (9)
worin &epsi; eine Konstante ist.
Indem der Eigenvektor der Kovarianzmatrix bestimmt wird, kann die Zuverlässigkeit des bestimmten Bewegungsvektors ausgewertet werden. Der Rang von M ist idealerweise 2, und nimmt man für die Eigenvektoren λ1 > λ2 > λ3 an, ist, wenn der Wert λ2/λ3 groß ist, die Zuverlässigkeit des erhaltenen Bewegungsvektors groß. Bei dieser Ausführungsform wird ferner, da die Klassendaten sequentiell geändert werden, weniger Speicherraum verlangt.
Die zweite Ausführungsform der Erfindung, wie sie in Anspruch 2 beansprucht ist, ist unten unter Bezugnahme auf Fig. 3 beschrieben. Fig. 3 ist ein schematisches Diagramm einer Bewegungsvektorbestimmungsvorrichtung bei der zweiten Ausführungsform.
In Fig. 3 ist das Bezugszeichen 201 ein Analog/Digitalwandler, sind 202, 203 Rahmenspeicher, ist 204 ein Differenzierfilter für die horizontale Richtung, ist 205 ein Differenzierfilter für die vertikale Richtung, ist 106 ein Differenzierfilter für die Zeitrichtung, ist 207 ein Differentialbildspeicher für die horizontale Richtung, ist 208 ein Differentialbildspeicher für die vertikale Richtung, ist 209 ein Differentialbildspeicher für die Zeitrichtung, ist 210 ein Merkmalsvektor-Kombinationsteil, ist 211 ein Zufallsadressenerzeugungsteil, ist 212 ein Bestimmungsteil für die Klasse mit maximaler Likelihood (maximum likelihood) als Beispiel einer Bestimmungseinrichtung für die naheste Klasse, ist 213 ein Änderungsteil für die Klasse der maximalen Likelihood und ist 214 eine Klassendatenspeicherbank, ist 215 ein RGB (rot, gelb, blau) Luminanzspeicher und 216 ein Abtaststapel nach Klassen. Bei der zweiten Ausführungsform wird der RGB Farbvektor erneut mit dem Abtastvektor kombiniert. Die Änderung der Klassendaten für die maximale Likelihood wird nicht sequentiell wie bei der ersten Ausführungsform geändert, sondern ist die Wiederholung der folgenden zwei Schritte.
Schritt 1) Ein Paar aus einem Abtastvektor und Klassendaten wird zumindest durch zehn oder mehr Gruppen für jede Klasse gespeichert.
Schritt 2) Die Klassendaten werden unmittelbar aus den mehreren Gruppen berechnet.
Somit sind die Ausdehnung des Abtastvektors und des Änderungsschritts der Klassendaten gegenüber der ersten Ausführungsform verschieden. Diese Unterschiede sind unten beschrieben.
Der Analog/Digitalwandler 201 codiert den Luminanz- und RGB Wert und der RGB Wert wird in dem RGB Luminanzspeicher 215 gespeichert. Die Arbeitsweise der Einrichtungen 202 bis 209 und 211 ist die gleiche wie die Funktion der entsprechenden Hauptelemente in der ersten Ausführungsform. Der Kombinationsteil 210 für den Merkmalsvektor erhält die zufällig erzeugte Bildposition (x, y) und liest den Zeit-Raum-Differentialwert (Ix, Iy, It), den RGB Wert (r, g, b) aus und erzeugt den Abtastvektor (Ix, Iy, It, x, y, r, g, b)t. Andererseits werden n Elemente Klassendaten in der Klassendatenspeicherbank 214 gespeichert. Bei der zweiten Ausführungsform umfassen die Klassendaten den Mittelwert (t) des Farbpositionsvektors q = (x, y, r, g, b)t, die Kovarianzmatrix Σ des Farbpositionsvektors und die Kovarianzmatrix m des Luminanzdifferentialvektors d = (Ix, Iy, It)t in dem Abtastvektor (Ix, Iy, It, x, y, r, g, b)t. Wie bei der ersten Ausführungsform wird angenommen, daß die Eigenvektoren der Matrix M, die auf 1 normiert sind, e1, e2, e3 von dem größten der entsprechenden Eigenwerte sind. Der Anfangswert der Klassendaten wird so eingestellt, daß er die gleichen Intervalle auf dem Bildschirm in bezug auf die Position aufweist, und die Kovarianzmatritzen Σ und M werden als Einheitsmatritzen angenommen. Zu diesem Zeitpunkt wird der Eigenvektor e3 von M insbesondere definiert als (0, 0,1).
In dem Bestimmungsteil für die Klasse mit der maximalen Likelihood wird unter Verwendung des in Formel (10) ausgedrückten Abstands eine Entsprechung zwischen dem Abtastvektor, der bei Zufallspositionen kombiniert wird, und den Klassendaten in einem minimalen Abstand davon hergestellt.
I(q,d ti, Σi, Mi) = (q - ti)tΣi&supmin;¹(q - ti) + In Σi + σi&supmin;²(dte3i)² + Inσi², (10)
worin σi = e3i /e33,
Die Kovarianzmatrix Σ ist in einer Weise begrenzt, daß die Kovarianz C über die Farbe und die Kovarianz S über die Position unabhängig sind, wie es in Formel (11) gezeigt ist.
Bei dieser Ausführungsform wird die Entsprechung des Abtastvektors und der Klassendaten durch eine festgelegte Anzahl von Malen in dem Bestimmungsteil 212 der Klasse für die maximale Likelihood ausgeführt (z. B. Anzahl der Klassen n · ungefähr 100), und die entsprechenden Abtastvektoren werden klassenweise durch jede Klassenkennung in dem Abtaststapel 216 gespeichert. Danach werden auf der Grundlage der in dem Abtaststapel 216 nach Klassen gespeicherten Abtastung die Operationen der Formel (12), (13), (14) durch den Änderungsteil 213 für die Klasse der maximalen Likelihood ausgeführt, und der Mittelwert t(I) des Farbpositionsvektors und seiner Kovarianzmatrix Σ(I) und die Kovarianzmatrix M(I) des Luminanzdifferentialvektors zu t(I+1) und Σ(I+1), M(I+1) aktualisiert.
In den Formeln (12), (13), (14) ist (mi) die Anzahl der Abtastungen nach der Klasse in dem Stapel, und (I) bezeichnet die Anzahl der Aktualisierungen
Indem ungefähr I > 10-mal wiederholt wird, werden die Abtastvektoren angehäuft. Indem die Farbinformationen kombiniert werden, wird die Trennung unterschiedlicher Gegenstände verbessert, und die Bestimmungsgenauigkeit des Bewegungsvektors in den Bereich wird verbessert. Es wird eine Bereichssegmentierung, wobei Farbe und Bewegung kombiniert werden, durchgeführt. Bei dieser Ausführungsform ist die Zufallsadressenerzeugung nicht wesentlich, wobei aber eine Abweichung der Abschätzung verhindert werden kann, wenn die Abtastanzahl in dem klassenweisen Abtaststapel die Speichergrenze überschreitet.
Gemäß der Erfindung werden verglichen mit der herkömmlichen Bewegungsvektorbestimmungsvorrichtung auf der Grundlage des Zeit-Raum-Differentialverfahrens die folgenden Wirkungen erreicht.
(1) Wiederholungsoperationen sind nicht notwendig und die Verarbeitungszeit ist kürzer.
(2) Der Bereich kann durch Kombination von Farb- und anderen Informationen segmentiert werden.
(3) Ein großer Abschätzungsfehler tritt in der Bereichsgrenze nicht auf.
Daher kann sie vorteilhaft bei der Bildcodierung, der Rauschverringerung und der Gegenstandsverfolgung angewendet werden.

Claims

1. Vorrichtung zur Bestimmung von Bewegungsvektoren, die umfaßt:

a) einen Speicher (102, 103) zur Speicherung von Videosignalen, die codiert und aus Bildern zusammengesetzt sind,

b) ein horizontales Differenzierfilter (104) zum Auslesen von Luminanzdaten aus dem Speicher und zum Differenzieren oder Bilden von Differenzen in horizontaler Richtung von beliebigen Bildkoordinaten,

c) ein vertikales Differenzierfilter (105) zum Auslesen von Luminanzdaten aus dem Speicher und zum Differenzieren oder Bilden von Differenzen in vertikaler Richtung von den Bildkoordinaten,

d) ein Zeitdifferenzierfilter (106) zum Auslesen der Luminanzdaten vorausgehender und nachfolgender Bilder aus dem Speicher und zum Differenzieren oder Bilden von Differenzen in zeitlicher Richtung,

wobei die Vorrichtung dadurch gekennzeichnet ist, daß sie des weiteren umfaßt:

e) eine Merkmalsvektor-Kombinationseinrichtung (110) zur Kombination eines Luminanzdifferentialvektors (Ix, Iy, It), der Ergebnisse des horizontalen Differenzierfilters, des vertikalen Differenzierfilters und des Zeitdifferenzierfilters umfaßt, und eines Positionsvektors (x, y) der Bildkoordinaten, um einen Abtastvektor (Ix, Iy, It, x, y) zu erhalten,

f) einen Speicher (114) zur Speicherung einer Mehrzahl von Abschätzungen eines Bewegungsvektors (u, v) und eines Positionsvektormittelwertes ( , ) des Abtastvektors als Klassendaten,

g) eine Bestimmungseinrichtung (112) für eine naheste Klasse zur Bestimmung eines Abstandes zwischen den Klassendaten und dem Abtastvektor aus einer Formel "(x- , y- )" und einer Formel "(u*Ix + v*Iy + It)" und zur Erreichung einer Entsprechung zwischen dem Abtastvektor und den nahesten Klassendaten, und

h) eine Klassendaten-Änderungseinrichtung (113) zur Änderung der derart bestimmten nahesten Klassendaten in einer Weise, daß eine Abstandssumme zwischen den Klassendaten und dem entsprechenden einen oder den entsprechenden mehreren Abtastvektoren kleiner wird.

2. Vorrichtung zur Bestimmung von Bewegungsvektoren, die umfaßt:

a) einen Speicher zur Speicherung von Videosignalen, die codiert und αus Bildern zusammengesetzt sind,

b) ein horizontales Differenzierfilter zum Auslesen vom Luminanzdaten aus dem Speicher und zum Differenzieren oder Bilden von Differenzen in horizontaler Richtung von beliebigen Bildkoordinaten,

e) eine Abtastvektor-Kombinationseinrichtung zum Auslesen von Farbdaten aus dem Speicher, die aus einer Gruppe von einem oder mehreren Luminanzwerten bestehen, die sich in der Farbe unterscheiden, wobei die Farbdaten, der Luminanzdifferentialvektor (Ix, Iy, It), der Ergebnisse des horizontalen Differenzierfilters, des vertikalen Differenzierfilters und des Zeitdifferenzierfilters umfaßt, und ein Positionsvek tor (x, y) der Bildkoordinaten kombiniert werden, um einen Abtastvektor (Ix, Iy, It, x, y) zu erhalten.

f) einen Speicher zur Speicherung einer Mehrzahl von einem Positionsvektormittelwert ( , ), einer Abschätzung eines Bewegungsvektors (u, v) und eines Mittelwertes der Farbdaten des Abtastvektors als Klassendaten,

g) eine Bestimmungseinrichtung (112) für die naheste Klasse zur Bestimmung eines Abstandes zwischen den Klassendaten und dem Abtastvektor aus einer Formel "(x- , y- )", einer Formel "(u*Ix + v*Iy + It)" und einer Differenz zwischen den Farbdaten und dem Farbdatenmittelwert und zur Erreichung einer Entsprechung zwischen dem Abtastvektor und den nahesten Klassendaten, und

h) eine Klassendaten-Änderungseinrichtung zur Änderung der derart bestimmten nahesten Klassendaten in einer Weise, daß eine Abstandssumme zwischen den Kassendaten und dem entsprechenden einen oder den entsprechenden mehreren Abtastvektoren kleiner wird.