DE69019589T2

DE69019589T2 - Vorrichtung zur Ermittlung eines Bildbewegungsvektors.

Info

Publication number: DE69019589T2
Application number: DE69019589T
Authority: DE
Inventors: Hirofumi Ishii; Atsushi Morimura
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 1989-03-03
Filing date: 1990-03-02
Publication date: 1996-02-08
Anticipated expiration: 2010-03-03
Also published as: DE69019589T3; EP0393823B1; US5047850A; EP0393823A2; EP0393823B2; EP0393823A3; KR930002612B1; DE69019589D1; KR900015549A

Description

TECHNISCHER HINTERGRUND DER ERFINDUNG

GEBIET DER ERFINDUNG

Die vorliegende Erfindung betrifft einen Detektor zum Erfassen eines Vektors, der die Bewegung eines Bildes angibt (im folgenden als ein Bildbewegungsvektor oder ein Bewegungsvektor bezeichnet).

BESCHREIBUNG DES STANDES DER TECHNIK

Ein typisches Beispiel für den Stand der Technik des Detektors wurde in der amtlichen Veröffentlichung der JP-A-62-25590 vorgeschlagen.
Fig. 1 ist ein Blockdiagramm, das diesen Stand der Technik zeigt. 1 bezeichnet in der Darstellung einen Eingangsanschluß für ein Bildsignal, 2 bezeichnet einen Speicher zum Speichern von Darstellungspunkten, der Signale für die den Darstellungspunkten in einem Eingangsbildsignal entsprechenden Pixel speichert, 3 bezeichnet einen Differenz-Absolutwertwandler, der Absolutwerte von Differenzen zwischen den Eingangssignalen ausgibt, 4 bezeichnet einen Akkumulator und 5 bezeichnet eine Erfassungsschaltung für einen Minimalpunkt.
Gemäß dem die vorstehenden Bestandteile enthaltenden Stand der Technik werden zunächst kontinuierliche Bildsignale von zwei Halbbildern oder mehr am Eingangsanschluß 1 empfangen. In dem Darstellungspunktspeicher 2 werden zwei oder mehr Darstellungspunkte in einem Erfassungsbereich auf einem Bildschirm voreingestellt. Der Speicher 2 speichert ein Signal für ein Pixel, das an jedem der Darstellungspunkte in dem Eingangsbildsignal positioniert ist. Der Differenz-Absolutwertwandler 3 arbeitet so, daß er jede Differenz zwischen dem Wert eines Signals eines Darstellungspunktes des vorangehenden Halbbildes und dem eines verschobenen Punktes, der um i horizontal und j vertikal von einem Darstellungspunkt des gegenwärtigen Halbbildes verschoben wurde, bestimmt, und einen Absolutwert ΔL (i, j) der Differenz herleitet, wobei i eine horizontale Distanz und j eine vertikale Distanz bezeichnet. Der Akkumulator 4 enthält eine Tabelle für die Verlagerung (i, j) innerhalb eines Erfassungsbereiches, in welcher Tabelle die Signale, die von dem Differenz-Absolutwertwandler 3 gesendet werden, kumulativ für jeden Punkt der Verlagerung (i, j) addiert werden. Der Akkumulator 4 sendet den resultierenden Wert als einen Korrelativwert Σ ΔL (i, j) für die Verlagerung (i, j). Die Minimalpunkterfassungsschaltung 5 erfaßt die Verlagerung (i', j'), welche einen Minimalwert der Korrelativwerte angibt, und nimmt diesen als einen Bewegungsvektor an.
Die vorstehende Beschreibung ist auf das Darstellungspunktangleichungssystem gerichtet. Neben diesem System ist auch ein Allpunktangleichungssystem bekannt. Anstelle der Speicherung nur der Signale der an den Darstellungspunkten positionierten Pixel speichert dieses System Signale aller Pixel in dem Erfassungsbereich. Dann führt es wie das vorstehende beschriebene System die Schritte des Herleitens eines Absolutwertes einer Differenz (i, j) zwischen dem vorangehenden Halbbildsignal und einem um (i, j) von dem gegenwärtigen Halbbildsignal verschobenen Signal, des kumulativen Addierens der Absolutwerte und des Annehmens einer Verlagerung (i', j'), die einen Minimalwert dieser Werte ergibt, als einen Bewegungsvektor aus.
Die vorstehend beschriebene Anordnung leitet jedoch nur Korrelativwerte für eine Verlagerung innerhalb eines festgelegten Bereiches her. Somit hat sie den Nachteil, daß kein Bewegungsvektor außerhalb des festgelegten Bereiches erfaßt werden kann.
Wenn ein Benutzer eine Videokamera rasch bewegt, wenn er die Kamera schwenkt, oder beispielsweise seine Hände zittern, während er die Kamera hält, kann kein Bewegungsvektor erfaßt werden.
Zur Erfassung eines Bewegungsvektors, der eine derartig große Amplitude hat, ist es erforderlich, Korrelativwerte innerhalb eines sehr großen Bereiches herzuleiten. Beispielsweise ist, wie in Fig. 2 dargestellt, ein großer Erfassungsbereich 7 erforderlich, um einen Bewegungsvektor 6 mit einer so großen Amplitude zu erfassen. Somit entsteht der Nachteil, daß die Verarbeitungszeit lang und die Schaltung kompliziert wird.
Um die vorstehend genannten Nachteile zu beseitigen, ist es daher eine Aufgabe der Erfindung, einen Bildbewegungsvektordetektor zu schaffen, der in der Lage ist, einen Bewegungsvektor innerhalb eines Erfassungsbereiches zu erfassen, der breiter ist als der eines herkömmlichen Detektors, und der ferner in der Lage ist, die Verarbeitungszeit und die Dimension einer damit befaßten elektronischen Schaltung stark zu verringern.

KURZBESCHREIBUNG DER ERFINDUNG

Die vorliegende Erfindung umfaßt eine Einrichtung zum Herleiten von Korrelativwerten im Bereich von vorhersagbaren Bewegungsvektoren des gegenwärtigen Halbbildes aus den Bewegungsvektoren des dem gegenwärtigen Halbbild vorangehenden Halbbildes in der Gesamtheit oder einem Teil eines Bildschirmes, der ein Bildsignal von zwei Halbbildern in einem kontinuierlich empfangenen TV-Signal darstellt, und eine Einrichtung zum Herleiten eines optimalen Punktes aus den Korrelativwerten und Annehmen desselben als ein Bewegungsvektor.
Mit der vorstehend beschriebenen Konfiguration ermöglicht es die Erfindung, Korrelativwerte im Bereich von vorhersagbaren Bewegungsvektoren des gegenwärtigen Halbbildes aus den Bewegungsvektoren der dem gegenwärtigen Halbbild vorangehenden Halbbilder herzuleiten und einen optimalen Bewegungsvektor unter Verwendung der Korrelativwerte zu erfassen. Insbesondere bei einer Bewegung, die eine hohe niederfrequente Amplitude hat, kann ein Bewegungsvektor in einem Bereich erfaßt werden, der breiter ist als der nach dem Stand der Technik, mit einem geringerem Ausmaß von Verarbeitungsoperationen, Schaltungselementen und Verarbeitungszeit.

KURZBESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein Blockdiagramm, das einen herkömmlichen Detektor zum Erfassen eines Bildbewegungsvektors zeigt;
Fig. 2 ist ein Diagramm, das die Beziehung zwischen einem Bereich, in welchem ein Bewegungsvektor erfaßt wird, und einen Bildbewegungsvektor nach dem Stand der Technik zeigt;
Fig. 3 ist ein Blockdiagramm, das einen Detektor zum Erfassen eines Bewegungsvektors nach einer ersten Ausführungsform der Erfindung zeigt;
Fig. 4 ist ein Blockdiagramm, das einen Detektor zum Erfassen eines Bildbewegungsvektors nach einer zweiten Ausführungsform der Erfindung zeigt;
Fig. 5 ist ein Diagramm, das die Beziehung zwischen einem Bereich, in welchem ein Bewegungsvektor erfaßt wird, und einem Bildbewegungsvektor in den Ausführungsformen der Erfindung angibt;
Fig. 6 ist ein Blockdiagramm, das eine Bewegungsvektorvorhersageeinrichtung zeigt, die in der Erfindung verwendet wird;
Fig. 7 und 8 sind Diagramme, die die Beziehung zwischen einem vorhergesagten Bewegungsvektor und einem Bildbewegungsvektor zeigen;
Fig. 9 ist ein Blockdiagramm, das eine Variation der Bewegungsvektorvorhersageeinrichtung zeigt, die in der ersten Ausführungsform der Erfindung verwendet wird;
Fig. 10 ist ein Blockdiagramm, das eine Bewegungsvektorvorhersageeinrichtung zeigt, die in der zweiten Ausführungsform der Erfindung verwendet wird;
Fig. 11 ist ein Blockdiagramm, das eine Bewegungsvektorvorhersageeinrichtung zeigt, die in der dritten Ausführungsform der Erfindung verwendet wird;
Fig. 12 ist ein Blockdiagramm, das den Detektor zum Erfassen eines Bildbewegungsvektors zeigt, der die Bewegungsvektorvorhersageeinrichtungen der Ausführungsformen der Erfindung verwendet; und
Fig. 13 ist ein Diagramm, das die Beziehung zwischen einem Bereich, in dem ein Bewegungsvektor erfaßt wird, und einem Bildbewegungsvektor in der Erfindung zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Fig. 3 ist ein Blockdiagramm, das einen Detektor zum Erfassen eines Bildbewegungsvektors gemäß einer ersten Ausführungsform der Erfindung zeigt. Die in Fig. 1 gezeigten gemeinsamen Elemente sind durch gemeinsame Bezugszeichen bezeichnet. In Fig. 3 bezeichnet 1 einen Eingangsanschluß für ein Bildsignal. 2 bezeichnet einen Darstellungspunktspeicher, welcher so arbeitet, daß er Signale für die an den Darstellungspunkten in dem Eingangsbildsignal positionierten Pixel speichert. 3 bezeichnet einen Differenz-Absolutwertwandler, der so arbeitet, daß er einen Absolutwert einer Differenz zwischen den Eingangssignalen aussendet. 4 bezeichnet einen Akkumulator, und 5 bezeichnet eine Erfassungsschaltung für Minimalpunkte. 8 bezeichnet einen Einrichtung zur Steuerung eines Erfassungsbereiches.
Nachfolgend wird die Funktion eines Detektors für einen Bildbewegungsvektor gemäß vorliegender Erfindung beschrieben. Zunächst wird ein Bildsignal in Zeitabfolge dem Eingangsanschluß 1 eingegeben. Für den Darstellungspunktspeicher 2 wird mehr als ein Darstellungspunkt in einem Erfassungsbereich auf einem Bildschirm voreingestellt. Der Speicher 2 speichert ein Signal für jedes Pixel, das auf den Darstellungspunkten in dem empfangenen Bildsignal positioniert ist. Wenn ein Halbbild (n-1) eingeben wird, wird ein Bewegungsvektor (X(n-1), Y(n-1)) des vorangehenden Halbbildes (n-1) erfaßt. Anschließend wird der Vektorwert in die Einrichtung zur Steuerung eines Erfassungsbereiches eingegeben.
Wenn ein Signal für das nächste Halbbild (n) eingegeben wird, dient der Differenz-Absolutwertwandler 3 dazu, einen Absolutwert ΔL (i, j) einer Differenz zwischen einem Signal für jede Position der Darstellungspunkte des vorangehenden Halbbildes und einem Signal für jede Position, die von den Darstellungspunkten des gegenwärtigen Halbbildes horizontal um i + X(n-1) und vertikal um j + Y(n-1) verlagert wurde, herzuleiten, indem er durch die Einrichtung 8 zur Steuerung eines Erfassungsbereiches gesteuert wird. Der Bereich von i und j hat seine Mitte im wesentlichen am Nullpunkt (-hi/2 < i ≤ hi/2, -hj/2 < j ≤ hj/2). Der Akkumulator 4 enthält eine Tabelle für die Verlagerung (i, j), in welcher Tabelle das von dem Differenz-Absolutwertwandler 3 gesendete Signal kumulativ in jedem Element der Verlagerung (i, j) addiert wird. Der resultierende Wert wird als ein Korrelativwert Σ ΔL (i, j) der Verlagerung (i, j) angenommen. Die Minimalpunkterfassungsschaltung 5 erfaßt die Verlagerung (i', j'), die den Minimalwert der Korrelativwerte ergibt, und berechnet eine Addition der erfaßten Verlagerung (i', j') und des erfaßten Vektors (X(n-1), Y(n-1)), um einen Bewegungsvektor (X(n), Y(n)) des gegenwärtigen Halbbildes bezüglich des vorangehenden Halbbildes anzugeben.
Auch in dem Fall, daß ein Benutzer eine Videokamera stark in Schwingung versetzt, in eine Richtung durch Schwenken oder durch Zittern der Hand mit einer niedrigen Frequenz, ist eine Veränderung eines Bewegungsvektors zwischen Halbbildern weitaus geringer als eine Amplitude des Bewegungsvektors. Auch wenn der Bereich (hi, hj) zum Herleiten von Korrelativwerten als klein definiert ist, ist es möglich, den Bewegungsvektor, der eine größere Amplitude als derjenige nach dem Stand der Technik hat, zu erfassen.
Auch in dem Fall des Erfassens eines Bewegungsvektors 6, der, wie beispielsweise in Fig. 5 gezeigt, eine große Amplitude hat, wird der Bewegungsvektor 10 des gegenwärtigen Halbbildes in gewissem Ausmaß mit dem Bewegungsvektor 11 des vorangehenden Halbbildes in Korrelation gebracht, so daß kein größerer Bereich für einen Erfassungsbereich 7 im Vergleich mit demjenigen nach dem Stand der Technik erforderlich ist.
Diese Ausführungsform ist so konstruiert, daß sie die Darstellungspunkte fixiert und den mit diesen Darstellungspunkten in Korrelation zu bringenden Bereich verschiebt. Dies ist einer umgekehrten Konstruktionsart überlegen, bei welcher Darstellungspunkte verschoben werden, indem Daten des erfaßten Vektors (X(n-1), Y(n-1)) des vorangehenden Halbbildes zur Erfassung des Bewegungsvektors (X(n), Y(n)) des gegenwärtigen Halbbildes verwendet werden können. Bei dieser umgekehrten Konstruktionsart wurde der Vektor (X(n-1), Y(n-1)) des vorangehenden Halbbildes zum Zeitpunkt der Abtastung der Darstellungspunkte, d.h. zum Zeitpunkt des Empfangs eines Signals für das vorangehende Halbbild, nicht erfaßt. Somit ist es erforderlich, den erfaßten Vektor (X(n-2), Y(n-2)) von zwei Halbbildern vorher zu verwenden, nämlich denjenigen des Halbbildes vor dem vorangehenden Halbbild. Die vorliegende Ausführungsform kann den erfaßten Vektor (X(n-1), Y(n-1)) des vorangehenden Halbbildes verwenden. Es wird angenommen, daß eine Differenz des Bewegungsvektors zwischen dem gegenwärtigen Halbbild und dem vorangehenden Halbbild etwa halb so groß wie eine Differenz des Bewegungsvektors zwischen dem gegenwärtigen Halbbild und dem Halbbild vor dem vorangehenden Halbbild ist, wodurch der Bereich (hi, hj) zur Ableitung von Korrelativwerten entsprechend kleiner wird.
Ferner wird er erfaßte Vektor (X(n-1), Y(n-1)) des vorangehenden Halbbildes als eine Mitte des Erfassungsbereiches genommen. Das ergibt insofern einen Vorteil, als der Erfassungsbereich in Richtung des Vektors verschoben werden kann. Beispielsweise kann unter Verwendung eines Koeffizienten a (a×x(n-1), a×Y(n-1)) als Mittelpunkt definiert werden.
Diese Ausführungsform kann einen erfaßten Vektor eines Halbbildes vor dem vorangehenden Halbbild verwenden. Beispielsweise kann bei Verwendung des erfaßten Vektors (X(n-2), Y(n-2)) von einem zwei Halbbilder vorher liegenden Halbbild (2×a×-X(n-1) - b×X(n-1), 2×a×Y(n-1) + b×Y(n-2)) als Mitte definiert werden (a und b bezeichnen Koeffizienten).
Der erfaßte Vektor kann gekappt werden, um so die Verschiebung der Mitte nicht einen konstanten Wert übersteigen zu lassen.
Die Einrichtung 8 zur Steuerung eines Erfassungsbereiches kann mit Hardware unter Verwendung einer tatsächlichen Schaltung oder mit Software unter Verwendung eines Mikrocomputers verwirklicht werden.
Fig. 4 ist ein Blockdiagramm, das einen Detektor zum Erfassen eines Bildbewegungsvektors gemäß einer zweiten Ausführungsform der Erfindung zeigt. Die den in Fig. 3 gezeigten gleichen Elemente werden durch dieselben Bezugszeichen bezeichnet. In Fig. 4 bezeichnet 9 eine Schaltung zur Steuerung von Darstellungspunkten.
Nachfolgend wird die Funktion des Detektors für einen Bildbewegungsvektor gemäß der vorliegenden Ausführungsform beschrieben. Ein zeitlich kontinuierliches Bildsignal wird dem Eingangsanschluß 1 eingegeben.
Zur Zeit der Eingabe eines Bildsignals eines Halbbildes (n-1) hat die Schaltung 9 zur Steuerung der Darstellungspunkte einen erfaßten Vektor (X(n-2), Y(n-2)) des dem eingegebenen Halbbild vorangehenden Halbbildes empfangen. Die Darstellungspunktsteuerungsschaltung 9 nimmt als Darstellungspunkte diejenigen Punkte an, die von den in dem Erfassungsbereich auf einem Bildschirm durch einen umgekehrten Vektor (-X(n-2), -Y(n-2)) des erfaßten Vektors vordefinierten Referenzpunkten verschoben wurden, und dient zur Steuerung eines Darstellungspunktspeichers. Der Speicher speichert ein Signal für jedes Pixel, das auf den Darstellungspunkten in dem Eingangsbildsignal positioniert ist. Wenn das Signal für das nächste Halbbild (n) eingegeben wird, dient der Differenz-Absolutwertwandler 3 dazu, einen Absolutwert ΔL (i, j) einer Differenz zwischen den Werten, die in dem Speicher gespeichert sind, und den Signalen für positionen, die von den Referenzpunkten der Darstellungspunkte um einen horizontalen Wert i und einen vertikalen Wert j verschoben wurden, herzuleiten. Es wird angenommen, daß der Bereich von i und j seine Mitte am Nullvektor (-hi/2 < i ≤ hi/2, -hj/2 < j ≤ hj/2) hat. Der Akkumulator 4 enthält eine Tabelle für die Verlagerung (i, j) und addiert kumulativ das von dem Differenz-Absolutwertwandler 3 bei jeder Verlagerung (i, j) gesendete Signal. Die resultierenden Werte werden als Korrelativwerte Σ ΔL (i, j) in der Verlagerung (i, j) angenommen. Die Minimalpunkterfassungsschaltung 5 dient dazu, die Verlagerung (i', j') zu erfassen, die einen Minimalwert der Korrelativwerte angibt, und eine Addition des Minimalwertes und des erfaßten Vektors (X(n-2), Y(n-2)) von zwei Halbbildern vorher als einen Bewegungsvektor (X(n), Y(n)) des gegenwärtigen Halbbildes bezüglich des vorangehenden Halbbildes zu berechnen.
Gemäß der vorliegenden Ausführungsform wird dann, wenn ein Benutzer eine Videokamera beim Schwenken in eine Richtung schwingt oder sie durch Zittern der Hand mit einer niedrigen Frequenz stark schwingt, die Veränderung eines Bewegungsvektors zwischen den Halbbildern weitaus kleiner gemacht als die Amplitude des Bewegungsvektors. Somit kann diese Ausführungsform dann, wenn der Bereich (hi, hj) zum Ableiten von Korrelativwerten kleiner gemacht wird, einen Bewegungsvektor erfassen, der eine größere Amplitude hat als derjenige nach dem Stand der Technik.
Diese Ausführungsform ist so konstruiert, daß sie die Positionen der Darstellungspunkte verschiebt und einen Bereich zur Herleitung von Korrelativwerten von Darstellungspunkten definiert. Dies ist der ersten Ausführungsform insofern überlegen, als es einfacher zu verwirklichen ist.
Hierin werden die Darstellungspunkte nur durch einen umgekehrten Vektor des erfaßten Vektors (X(n-2), Y(n-2)) von zwei Halbbildern vorher verschoben. Der Erfassungsbereich kann in der Vektorrichtung verschoben werden. Beispielsweise kann er durch (a×X(n-2), b×Y(n-2)) unter Verwendung von Koeffizienten a und b zentriert werden.
Es kann ein erfaßter Vektor des Halbbildes vor zwei vorangehenden Halbbildern verwendet werden. Beispielsweise kann durch Verwendung eines erfaßten Vektors (X(n-3), Y(n-3)) des Halbbildes vor zwei vorangehenden Halbbildern die Mitte des Erfassungsbereiches (2)×a×x(n-2) - b×X(n-3), 2×a×Y(n-2) + b×- Y(n-3)) sein (a und b bezeichnen Koeffizienten). Der erfaßte Vektor kann gekappt werden, um so die Verschiebung der Mitte nicht einen konstanten Wert übersteigen zu lassen.
Die Darstellungspunktsteuereinrichtung 9 kann mit Hardware unter Verwendung einer tatsächlichen Schaltung oder mit Software, die in einem Mikrocomputer läuft, verwirklicht werden. Bei der ersten und der zweiten Ausführungsform wird der Minimalwert der Korrelativwerte in einem Erfassungsbereich als ein Bewegungsvektor angenommen. Ohne darauf eingeschränkt zu sein, kann die Erfindung natürlich auch auf den Fall angewendet werden, bei dem ein Bildbewegungsvektor durch Erfassen der Werte in mehr als einem Erfassungsbereich auf einem Bildschirm und Bestimmen der Zuverlässigkeit dieser Werte hergeleitet werden kann.
Nachfolgend wird die konkrete Ausführungsform der Vorhersageeinrichtung beschrieben.
Fig. 6 ist ein Blockdiagramm, das eine Einrichtung zur Vorhersage eines Bewegungsvektors zeigt, wie sie in der vorliegenden Erfindung verwendet wird. In Fig. 6 bezeichnet 101 einen Eingangsanschluß für einen Vektor. 112 bezeichnet ein Hochpassfilter, 113 bezeichnet eine Einrichtung zur Berechnung einer Amplitude, 114 bezeichnet ein Tiefpassfilter, 115 bezeichnet eine Einrichtung zur Vorhersage einer Differenz und 116 bezeichnet eine Einrichtung zur Durchführung der Bestimmung und Steuerung.
Nachfolgend wird die Funktion der Einrichtung zur Vorhersage eines Bildbewegungsvektors beschrieben. Ein Bewegungsvektor, der für jedes Halbbild erfaßt wird, wird dem Eingangsanschluß 101 eingegeben. Das Hochpassfilter dient dazu, eine Hochfrequenzkomponente von der Halbbildfrequenz des Bewegungsvektors zu extrahieren. Die Hochfrequenzkomponente enthält etwa ein Viertel oder mehr der Halbbildfrequenz. Die Amplitudenberechnungseinrichtung 113 dient dazu, eine Größe der Hochfrequenzkomponente für eine feststehende Periode zu berechnen und das Resultat an die Bestimmungs- und Steuereinrichtung 116 zu senden. Das Tiefpassfilter 114 dient dazu, eine Hochfrequenzkomponente einer Halbbildfrequenz des Bewegungsvektors, der für jedes Halbbild eingegeben wurde, zu unterdrücken. Die Hochfrequenzkomponente enthält etwa ein Viertel oder mehr der Halbbildfrequenz. Die Differenzvorhersageeinrichtung 115 dient dazu, einen vorhergesagten Vektor (2×a×X(n-1) - b×X(n-2), 2×a×Y(n-1) + b×Y(n-2)) (a und b bezeichnen Koeffizienten) unter Verwendung des letzten Vektors (X(n-1), Y(n-1)) und des diesem vorangehenden Vektors (X(n-2), Y(n-2)), die für jedes Halbbild eingegeben werden, zu berechnen. Die Bestimmungsund Steuereinrichtung 116 dient zur Bestimmung einer Größe der ein Viertel oder mehr betragenden Hochfrequenzkomponente der Halbbildfrequenz des für jedes Halbbild eingegebenen Bewegungsvektors und dazu, dann, wenn die Hochfrequenzkomponente größer ist als ein vorbestimmtes Ausmaß, den von dem Tiefpassfilter 114 gesendeten Vektor als einen vorhergesagten Bewegungsvektor auszugeben, und dann, wenn sie kleiner ist als das vorbestimmte Ausmaß, den von der Differenzvorhersageeinrichtung 115 gesendeten Vektor als einen vorhergesagten Bewegungsvektor aus zugeben.
Fig. 7a zeigt einen Vektor, der die Bewegung eines Bildes angibt, das in einem stark vibrierenden, d.h. mit einer hohen Frequenz vibrierenden Auto aufgenommen wurde. Fig. 7b zeigt eine Frequenzkomponente des in Fig. 7a gezeigten Bildbewegungsvektors. In der Darstellung bezeichnet 117 einen sich mit der Zeit verändernden Bewegungsvektor, 118 bezeichnet einen erfaßten Vektor des vorangehenden Halbbildes, 119 bezeichnet einen erfaßten Vektor von zwei Halbbildern vorher, 120 bezeichnet einen Bewegungsvektor des gegenwärtigen Halbbildes, 121 bezeichnet den durch das Tiefpassfilter 114 gefilterten Bewegungsvektor, 122 bezeichnet ein Ausgangssignal für das gegenwärtige Halbbild, das von der Differenzvorhersageeinrichtung 115 gesendet wird, 123 bezeichnet eine Niederfrequenzkomponente des Bewegungsvektors 117, die beispielsweise beim Schwenken einer Videokamera gegeben ist, 124 bezeichnet eine Hochfrequenzkomponente des Bewegungsvektors 117, die durch eine vibrierende Videokamera gegeben ist.
Wie Fig. 7b zeigt, enthält der Bewegungsvektor 117 hauptsächlich eine Frequenzkomponente 123 mit 1 Hz oder weniger, die durch Schwenken einer Videokamera beispielsweise gegeben ist, und eine Hochfrequenzkomponente 124, die durch eine vibrierende Videokamera gegeben ist. Wenn die Halbbildfrequenz eine Hochfrequenzkomponente enthält, die größer ist als die Niederfrequenzkomponente und etwa ein Viertel oder mehr der Halbbildfrequenz einnimmt, sollte die geglättete Hochfrequenzkomponente als ein vorgesagter Vektor angenommen werden, da sie einen kleineren durchschnittlichen Fehler für den Bewegungsvektor 120 des gegenwärtigen Halbbildes als der Vektor 122 hat, der aus dem erfaßten Vektor 118 des vorangehenden Halbbildes und dem erfaßten Vektor 119 von zwei Halbbildern vorher vorhergesagt wurde.
Fig. 8a zeigt einen Vektor, der die Bewegung eines Bildes angibt, das aufgenommen wird, wenn ein Benutzer eine Videokamera mit seinen Händen hält. Fig. 8b zeigt Frequenzkomponenten des Bewegungsvektors. In der Darstellung bezeichnet 117 einen Bewegungsvektor, der sich mit der Zeit verändert, 118 bezeichnet einen erfaßten Vektor des vorangehenden Halbbildes, 119 bezeichnet einen erfaßten Vektor von zwei Halbbildern vorher, 120 bezeichnet einen Bewegungsvektor des gegenwärtigen Halbbildes, 121 bezeichnet den Bewegungsvektor 117, der durch das Tiefpassfilter 114 gefiltert wurde, 122 bezeichnet ein Ausgangssignal des gegenwärtigen Halbbildes, das von der Differenzvorhersageeinrichtung 115 gesendet wird, 123 bezeichnet eine Niederfrequenzkomponente des Bewegungsvektor 117, die durch Schwenken durch eine Videokamera beispielsweise gegeben ist, und 125 bezeichnet eine Hochfrequenzkomponente des Bewegungsvektors 117, die durch die vibrierende Hand gegeben ist, mit der eine Videokamera gehalten wird.
Wie Fig. 8b zeigt, absorbiert ein menschlicher Körper die Hochfrequenzvibration, aber da die Videokamera mit der Hand gehalten wird, verursacht die Handvibration hauptsächlich die Erzeugung einer Frequenzkomponente 125 mit 1 Hz bis 5 Hz. In diesem Fall gibt, wie in Fig. 8a gezeigt, das Tiefpassfilter 114 ein verzögertes Signal 121 ab. Somit ist es bevorzugt, als einen vorhergesagten Bewegungsvektor den Vektor 122 zu verwenden, der aus den Vektoren des vorangehenden Halbbildes 118 und dem Halbbild (richtig: Vektor) 119 von zwei Halbbildern vorher vorhergesagt wurde. Der Grund dafür liegt darin, daß der Vektor 122 einen geringeren durchschnittlichen Fehler hat als der Bewegungsvektor 120 des gegenwärtigen Halbbildes.
Wie vorstehend beschrieben ist die beschriebene Ausführungsform so konstruiert, daß sie die Größe von Hochfrequenzkomponenten eines zu erfassenden Bewegungsvektors prüft und den vorhergesagten Vektor zwischen demjenigen von dem Vektor von dem vorangehenden Halbbild und demjenigen von den Vektoren von zwei Halbbildern vorher in Abhängigkeit von der Größe von Hochfrequenzkomponenten umschaltet. Somit macht es die Ausführungsform möglich, einen Bewegungsvektor genauer als nach dem Stand der Technik vorherzusagen.
Hier ist die Differenzvorhersageeinrichtung 15 vorgesehen, um einen vorhergesagten Vektor aus den erfaßten Vektoren des vorangehenden Halbbildes und denjenigen von zwei Halbbildern vorher zu errechnen. Der erfaßte Vektor des vorangehenden Halbbildes wird effektiv als der vorhergesagte Vektor verwendet. Ferner gibt die vorstehende Beschreibung an, daß die Bestimmungs- und Steuereinrichtung 116 so arbeitet, daß sie zwischen dem Ausgangssignal der Differenzvorhersageeinrichtung 115 und dem Ausgangssignal des Tiefpassfilters 114 umschaltet. Es kann jedoch möglich sein, ein Verfahren des Mischens dieser zwei Ausgangssignale und Veränderns ihres Mischverhältnisses in Abhängigkeit von der Größe der Hochfrequenzkomponenten zu verwenden. Wie Fig. 9 zeigt, bietet das Tiefpassfilter 114 eine veränderliche Charakteristik, so daß die Charakteristik entsprechend der Größe der Hochfrequenzkomponenten variiert werden kann.
Die vorstehende Beschreibung hat angegeben, daß die Größe nur einer Hochfrequenzkomponente geprüft wird. Es sei jedoch angemerkt, daß ein Verhältnis derselben zur Größe einer weiteren Komponente geprüft werden kann.
Ferner hat die vorstehende Beschreibung einen automatischen Prozeß der Prüfung der Größe von Hochfrequenzkomponenten und Umschalten der Signale in Abhängigkeit von dem Prüfergebnis angegeben. Es ist jedoch einfach, einem Benutzer zu ermöglichen, sie in Abhängigkeit von dem Zustand umzuschalten.
Fig. 10 ist ein Blockdiagramm, das eine Vektorvorhersageeinrichtung zeigt, die in der vorliegenden Erfindung verwendet wird. In Fig. 10 bezeichnet 101 einen Eingangsanschluß für ein Vektorsignal, 114 bezeichnet ein Tiefpassfilter, 115 bezeichnet eine Differenzvorhersageeinrichtung, 126 bezeichnet einen Differenz-Absolutwertwandler, 116 bezeichnet eine Bestimmungs- und Steuereinrichtung, 127 bezeichnet einen Generator für einen vorhergesagten Bewegungsvektor, 105 bezeichnet einen Speicher und 128 bezeichnet einen Nullvektor.
Nachfolgend wird die Funktion der Einrichtung zur Vorhersage eines Bildbewegungsvektors gemäß der vorliegenden Ausführungsform beschrieben. Zunächst wird ein für jedes Halbbild erfaßter Bewegungsvektor einem Eingangsanschluß 101 eingegeben. Das Tiefpassfilter 114 dient zur Unterdrückung einer Hochfrequenzkomponente einer Halbbildfrequenz eines für jedes Halbbild eingegebenen Vektors. Die Hochfrequenzkomponente nimmt etwa ein Viertel oder mehr der Halbbildfrequenz ein. Die Differenzvorhersageeinrichtung 115 berechnet einen vorhergesagten Vektor (2×a×X(n-1) - b×X(n-2), 2×a×Y(n-1) + b×-Y(n-2)) unter Verwendung des letzten Vektors (X(n-1), Y(n-1)) und des vorangehenden Vektors (X(n-2), Y(n-2)) der für jedes Halbbild eingegebenen Vektoren und gibt diesen aus (a und b bezeichnen Koeffizienten).
Der Speicher 105 gibt den letzten Vektor (X(n-1), Y(n-1)) der für jedes Halbbild eingegebenen Vektoren aus. Der Differenz- Absolutwertwandler 126 speichert die Ausgangssignale von dem Tiefpassfilter 114, der Differenzvorhersageeinrichtung 115 und dem Speicher 105, bildet einen Absolutwert jeder Differenz zwischen diesen Ausgangssignalen und dem Nullvektor 128 und dem Bewegungsvektor (X(n), Y(n)), der das nächste Mal eingegeben wird, und gibt jeweilige Absolutwerte an die Bestimmungs- und Steuereinrichtung 116 aus. Die Bestimmungsund Steuereinrichtung 116 dient dazu, diese Werte für einen gegebenen Zeitraum zu speichern, zu bestimmen, daß der kleinste Wert der zuverlässigste ist, und gibt das Resultat an den Generator für den vorhergesagten Bewegungsvektor 127 aus. Auf der Basis des bestimmten Ergebnisses sendet der Generator 127 für den vorhergesagten Bewegungsvektor als einen vorhergesagten Bewegungsvektor den zuverlässigsten Wert, der aus dem Nullvektor 128 und den Ausgangssignalen von dem Tiefpassfilter 114, der Differenzvorhersageeinrichtung 115 und dem Speicher 105 bestimmt wurde.
Das beste Signalverarbeitungsverfahren zur Vorhersage des Bewegungsvektors des gegenwärtigen Halbbildes anhand der vor dem gegenwärtigen Halbbild erhaltenen Vektoren ist davon abhängig, wie der Bewegungsvektor tatsächlich verändert wird. Wie der tatsächliche Bewegungsvektor zu verändern ist, ist auch von einer Bildaufnahmebedingung und einem aufgenommenen Objekt abhängig. Die Bedingung und das Objekt werden mit einer längeren Periode als die Halbbildfrequenz geändert.
Wie vorstehend beschrieben umfaßt die vorstehend beschriebene Ausführungsform die Schritte der Verarbeitung der Bewegungsvektoren von dem Halbbild vor dem gegenwärtigen Halbbild durch das Tiefpassfilter 114, die Differenzvorhersageeinrichtung 115, den Speicher 105 und den Nullvektor 128, des Nehmens einer Differenz zwischen den Ausgangssignalen dieser Signalverarbeitungsschritte und dem Bewegungsvektor des gegenwärtigen Halbbildes, des Prüfens einer Größe eines Fehlers während einer konstanten Zeit, um dadurch die Zuverlässigkeit von jeweiligen Verarbeitungsschritten zu bestimmen, und des Sendens eines zuverlässigsten Ausgangssignals als einen vorhergesagten Bewegungsvektor. Die Ausführungsform macht es somit möglich, verschiedene Bildaufnahmebedingungen oder abgebildete Objekte exakter anzugleichen und einen Bewegungsvektor genauer als nach dem Stand der Technik vorherzusagen.
Gemäß der Konstruktion dieser Ausführungsform gibt die Differenz-Absolutwertumwandlungseinrichtung 126 einen Absolutwert einer Differenz zwischen jedem Ausgangssignal dieser Verarbeitungselemente und dem Bewegungsvektor des gegenwärtigen Halbbildes aus. Es sei jedoch angemerkt, daß sie ein Quadrat der Differenz oder einen nicht linear verarbeiteten Absolutwert der Differenz ausgeben kann. Der Generator 127 für den vorhergesagten Bewegungsvektor sendet das zuverlässigste Ausgangssignal jedes Signalverarbeitungselements auf der Basis des Resultats der Zuverlässigkeitsbestimmung. In Abhängigkeit von dem Resultat der Zuverlässigkeitsbestimmung kann dieser jedoch das Ausgangssignal jedes Elementes gewichten und den Durchschnittswert der gewichteten Ausgangssignale senden.
Fig. 11 ist ein Blockdiagramm, das eine Bewegungsvektorvorhersageeinrichtung zeigt, die in der vorliegenden Erfindung verwendet wird. In Fig. 11 bezeichnet 101 einen Eingangsanschluß, 114 bezeichnet ein Tiefpassfilter, 115 bezeichnet eine Differenzvorhersageeinrichtung, 128 bezeichnet eine Differenz-Absolutwertumwandlungseinrichtung, 116 bezeichnet eine Bestimmungs- und Steuereinrichtung, 127 bezeichnet einen Generator für einen vorhergesagten Bewegungsvektor, 105 bezeichnet einen Speicher, 128 bezeichnet einen Nullvektor und 129 bezeichnet eine Vektormodifiziereinrichtung.
Nachfolgend wird die Funktion der Bildbewegungsvektorvorhersageeinrichtung mit den vorstehend genannten Bestandteilen beschrieben. Ein für jedes Halbbild erfaßter Bewegungsvektor wird dem Eingangsanschluß 101 eingegeben. Das Tiefpassfilter 114 filtert Hochfrequenzkomponenten einer Halbbildfrequenz eines für jedes Halbbild eingegebenen Vektors und sendet das gefilterte Ergebnis. Die Hochfrequenzkomponenten nehmen etwa ein Viertel oder mehr der Halbbildfrequenz ein. Die Differenzvorhersageeinrichtung 115 errechnet einen vorhergesagten Vektor (2×a×X(n-1) - b×X(n-2), 2×a×Y(n-1) + b×Y(n-2)) (a und b bezeichnen Koeffizienten) unter Verwendung des letzten Vektors (X(n-1), Y(n-1)) und des diesem vorangehenden Vektors (X(n-2), Y(n-2)), welche aus den für jedes Halbbild eingegebenen Vektoren ausgewählt sind. Anschließend gibt die Einrichtung 115 diese aus.
Der Speicher 105 gibt den letzten Vektor (X(n-1), Y(n-1)) der für jedes Halbbild eingegebenen Vektoren aus. Die Vektormodifiziereinrichtung 129 arbeitet so, daß sie ein Ausgangssignal V0 des Generators 127 für den vorhergesagten Bewegungsvektor auf Werte V2(1) bis V2(4) unter Verwendung der folgenden Gleichung und eines Koeffizienten C, der kleiner ist als Eins, modifiziert:
V2(k) = (1 - C)×V0 + C×V1(k)
(k = 1, 2, 3, 4)
wobei V1(1) ein Ausgangssignal des Tiefpassfilters 114 bezeichnet, V1(2) ein Ausgangssignal einer Differenzvorhersageeinrichtung 115 bezeichnet, V1(3) ein Ausgangssignal des Speichers 105 bezeichnet, und V(4) (richtig: V1(4)) ein Ausgangssignal des Nullvektors 128 bezeichnet.
Die Differenz-Absolutwertumwandlungseinrichtung 126 speichert jedes Ausgangssignal der Vektormodifiziereinrichtung 129 und das Ausgangssignal des Vektorgenerators 127 und sendet an die Bestimmungs- und Steuereinrichtung 116 einen Absolutwert einer Differenz zwischen jedem Ausgangssignal und dem das nächste Mal eingegebenen Bewegungsvektor (X(n), Y(n)). Die Bestimmungs- und Steuereinrichtung 116 speichert diese Absolutwerte für einen vorbestimmten Zeitraum und bestimmt, daß der kleinste Wert der zuverlässigste ist. Anschließend sendet sie das Resultat an den Generator 127 für den vorhergesagten Bewegungsvektor. Der Generator 127 für den vorhergesagten Bewegungsvektor sendet gewichtete Werte des Nullvektors 128 und der Ausgangssignale des Tiefpassfilters 114, der Differenzvorhersageeinrichtung 115 und des Speichers 105 als einen vorhergesagten Bewegungsvektor. Wenn das Ausgangssignal des Generators 127 für den vorhergesagten Bewegungsvektor das zuverlässigste ist, wird die Gewichtung nicht verändert. Wenn ferner bestimmt wird, daß einer der zu den jeweiligen Ausgangssignalen V1 dieser Signalverarbeitungswege hin modifizierten Werte der zuverlässigste ist, arbeitet die Vektormodifiziereinrichtung 129 so, daß sie die Gewichtung des zugehörigen Signalverarbeitungsweges erhöht.
Wie vorstehend dargelegt umfaßt die vorliegende Ausführungsform die Schritte der Verarbeitung der vor dem gegenwärtigen Halbbild erhaltenen Vektoren durch die Vielzahl von Signalverarbeitungswegen, Gewichtung und Durchschnittswertbildung der Ausgangssignale von diesen Wegen, Senden des Resultats als einen vorhergesagten Bewegungsvektor, Nehmen einer Differenz zwischen dem vorhergesagten Bewegungsvektor und dem Bewegungsvektor des gegenwärtigen Halbbildes, Modifizieren des vorhergesagten Bewegungsvektors auf die Ausgangssignale der Signalverarbeitungswege zu, Erhalten einer Differenz zwischen jedem der modifizierten Werte und dem Bewegungsvektor des gegenwärtigen Halbbildes, Prüfen der jeweiligen Differenzen im Hinblick auf die Größe eines Fehlers für eine vorbestimmte Zeit und Bestimmen der Zuverlässigkeit auf der Basis der Differenzen, und Modifizieren der Gewichtung, so daß sie an jeden Zustand angepaßt wird. Somit kann sie automatisch eine optimale Gewichtung entsprechend verschiedenen Bildaufnahmebedingungen und abgebildeten Objekten vornehmen und die Veränderung von Bedingungen gleichmäßig anpassen. Diese Ausführungsform ermöglicht die exaktere und gleichmäßigere Anpassung an verschiedene Bedingungen und die exaktere Vorhersage eines Bewegungsvektors als die vorstehend genannten Ausführungsformen.
In dieser Ausführungsform gibt das Ergebnis der Zuverlässigkeitsbestimmung die vorhergesagte Zuverlässigkeit an, die durch die Bildbewegungsvektorvorhersageeinrichtung zu diesem Zeitpunkt bestimmt wurde. Es ist bevorzugt, diesen Wert ebenfalls auszugeben, da es für die Anwendung der Bildbewegungsvektorvorhersageeinrichtung praktisch sein kann.
Gemäß der Konstruktion dieser Ausführungsform gibt die Differenz-Absolutwertumwandlungseinrichtung 126 einen Absolutwert einer Differenz zwischen jedem Ausgangssignal dieser Signalverarbeitungswege und dem Bewegungsvektor des gegenwärtigen Halbbildes aus. Sie kann jedoch ein Quadrat der Differenzen oder einen nicht linear verarbeiteten Absolutwert der Differenzen ausgeben.
Fig. 12 ist ein Blockdiagramm, das einen Bildbewegungsvektordetektor zeigt, welcher die vorstehend beschriebene Vorhersageeinrichtung verwendet. In Fig. 12 bezeichnet 130 einen Eingangsanschluß für ein Bildsignal, 131 bezeichnet einen Darstellungspunktspeicher, der so arbeitete, daß er ein Signal für jedes Pixel speichert, das auf den Darstellungspunkten in dem eingegebenen Bildsignal positioniert ist, 132 bezeichnet einen Differenz-Absolutwertwandler, der einen Absolutwert einer Differenz zwischen beiden Eingangssignalen ausgibt, 133 bezeichnet einen Akkumulator, 134 bezeichnet eine Minimalpunkterfassungsschaltung, 135 bezeichnet eine Erfassungsbereichsteuerung und 136 bezeichnet eine Bewegungsvektorvorhersageeinrichtung.
Nachfolgend wird die Funktion der Bildbewegungsvektorvorhersageeinrichtung gemäß vorliegender Ausführungsform mit den vorstehenden Bestandteilen beschrieben. Ein zeitlich kontinuierliches Bildsignal wird dem Eingangsanschluß 130 eingegeben. In dem Darstellungspunktspeicher 131 wird mehr als ein Darstellungspunkt vorab in einem Erfassungsbereich auf einem Bildschirm eingestellt. Der Speicher 2 speichert ein Signal für jedes an den Darstellungspunkten positionierte Pixel in dem empfangenen Bildsignal. Wenn ein Halbbild (n-1) eingegeben wird, wird ein Bewegungsvektor (X(n-1), Y(n-1)) des Halbbildes vor dem Halbbild (n-1) erfaßt, und dieser Vektorwert wird der Bewegungsvektorvorhersageeinrichtung 136 eingegeben. Die Bewegungsvektorvorhersageeinrichtung 136 ist wie in Fig. 6 gezeigt konstruiert. Entsprechend dem Betrieb der vorstehend beschriebenen ersten Bewegungsvektorvorhersageeinrichtung sagt die Einrichtung 136 einen Bewegungsvektor eines nächsten Halbbildes (n) vorher und gibt den vorhergesagten Wert (X', Y') der Erfassungsbereichsteuereinrichtung 135 ein. Wenn ein Signal des nächsten Halbbildes (n) eingegeben wird, dient der Differenz-Absolutwertwandler 132 dazu, einen Absolutwert ΔL (i, j) einer Differenz zwischen einem Signal für jede Position der Darstellungspunkte des vorangehenden Halbbildes und einem Signal für jede von den Darstellungspunkten des gegenwärtigen Halbbildes um (horizontal i + X(n-1), vertikal j + Y(n-1)) verlagerte Position der Darstellungspunkte des gegenwärtigen Halbbildes herzuleiten, indem sie durch die Erfassungsbereichsteuereinrichtung 135 gesteuert wird. Der Bereich von i und j wird im wesentlichen bei Null zentriert (-hi/2 < i ≤ hi/2, -hj/2 < j ≤ hj/2). Der Akkumulator 133 enthält eine Tabelle für die Verlagerung (i, j), in welcher Tabelle das von dem Differenz-Absolutwertwandler 3 gesendete Signal kumulativ in jedem Element der Verlagerung (i, j) addiert wird. Der resultierende Wert wird als ein Korrelativwert Σ ΔL (i, j) der Verlagerung (i, j) angenommen. Die Minimalpunkterfassungsschaltung 134 erfaßt die Verlagerung (i', j'), die einen Minimalwert der Korrelativwerte ergibt, und berechnet eine Addition der erfaßten Verlagerung (i', j') und des erfaßten Vektors (X(n-1), Y(n-1)) als einen Bewegungsvektor (X(n), Y(n)) des gegenwärtigen Halbbildes bezüglich des vorangehenden Halbbildes.
Fig. 13a zeigt einen Bildbewegungsvektor, der sich ergibt, wenn ein Bild mit einer hohen Frequenz vibriert. Dies wird dann verursacht, wenn ein Benutzer ein Videobild von einem fixierten Beobachtungspunkt an einem Fahrzeug, das mit einer hohen Frequenz vibriert, aufnimmt. Fig. 13b zeigt einen Bildbewegungsvektor, der sich ergibt, wenn ein Benutzer eine Videokamera in seinen Händen hält. In der Darstellung bezeichnet 117 einen Bewegungsvektor, der sich mit der Zeit verändert, 118 bezeichnet einen erfaßten Vektor des vorangehenden Halbbildes, 119 bezeichnet einen erfaßten Vektor von zwei Halbbildern vorher, 120 bezeichnet einen Bewegungsvektor des gegenwärtigen Halbbildes, 121 bezeichnet einen Bewegungsvektor, der durch das Tiefpassfilter 114 gefiltert ist, 122 bezeichnet ein Ausgangssignal der Differenzvorhersageeinrichtung 115 im gegenwärtigen Halbbild und 137 bezeichnet einen Erfassungsbereich eines Bewegungsvektors.
Wie vorstehend erörtert (bezüglich der ersten Ausführungsform der Vorhersageeinrichtung) hat dann, wenn eine große Menge von Hochfrequenzkomponenten in dem Bewegungsvektor enthalten ist, wie in Fig. 13a gezeigt, das Ausgangssignal 121 des Tiefpassfilters 114 einen kleineren Fehler. Wenn andererseits eine kleine Menge von Hochfrequenzkomponenten in dem Bewegungsvektor enthalten ist, wie in Fig. 13b gezeigt, hat der Vektor 122, der aus den Vektoren des vorangehenden Halbbildes 118 und des Halbbildes 119 von zwei Halbbildern vorher vorhergesagt wurde, einen kleineren Fehler. Da jedoch die Bewegungsvektorvorhersageeinrichtung 136 in Übereinstimmung mit der Bedingung die Erzeugung eines Ausgangssignales mit einem kleineren Fehler auswählt, kann der Erfassungsbereich 137 des Bewegungsvektors in jeder der Figuren 13a und 13b klein sein. Wenn somit die Bewegungsvektorerfassungseinrichtung einen Bereich (hi, hj) zur Herleitung von Korrelativwerten zwischen zwei Bildern bereitstellt, kann sie einen Bewegungsvektor erfassen, der eine größere Amplitude hat, was zu einer starken Verringerung der Verarbeitungszeit und der Schaltungsbaugröße führt.
Die Bewegungsvektorvorhersageeinrichtung 136 ist so konstruiert, daß sie dieselbe Struktur und Funktion wie die Bewegungsvektorvorhersageeinrichtung der ersten Ausführungsform, wie in Fig. 6 gezeigt, hat. Sie kann so konstruiert sein, daß sie dieselbe Struktur und Funktion wie bei der zweiten und der dritten Ausführungsform hat. Wenn sie so konstruiert ist, daß sie dieselbe Struktur und Funktion wie die der dritten Ausführungsform hat, wie unter Bezug auf die Bewegungsvektorvorhersageeinrichtung der dritten Ausführungsform beschrieben, erhält sie eine Differenz zwischen dem vorhergesagten Bewegungsvektor, der durch die Bewegungsvektorvorhersageeinrichtung 136 erhalten wird, und dem Bewegungsvektor des gegenwärtigen Halbbildes, und prüft die Größe eines Fehlers für einen vorbestimmten Zeitraum. Anschließend wird das Resultat an die Erfassungsbereichsteuereinrichtung 135 zusammen mit dem vorhergesagten Bewegungsvektor ausgegeben. Die Einrichtung 135 steuert einen Bereich (hi, hj) zur Herleitung von Korrelativwerten durch Bewertung des Resultats der Prüfung der Größe eines Fehlers, wodurch ein Bewegungsvektor exakt erfaßt wird.
Jeder Block und die Gesamtstruktur jeder dieser Vorhersageeinrichtungen der ersten, zweiten und dritten Ausführungsform kann mit Hardware unter Verwendung tatsächlicher Schaltungen oder mit Software, die in einem Mikrocomputer läuft, realisiert werden.
Die Vorhersageeinrichtung der vorliegenden Erfindung macht es möglich, einen Vektor exakt in einer Weise vorherzusagen, die der Bedingung angeglichen ist, welcher das Objektbild unterliegt. Die Vektorerfassungseinrichtung, die die Vorhersageeinrichtung verwendet, macht es möglich, zuverlässig und in breitem Rahmen einen Bewegungsvektor mit einem geringeren Arbeits-, Schaltungs- und Verarbeitungszeitaufwand in jedem Zustand zu erfassen. Sie bietet somit in der tatsächlichen Anwendung sehr praktische Effekte.
Wie vorstehend erörtert ist die Erfindung in der Lage, den Bewegungsvektor in einem breiteren Bereich mit weniger Arbeits-, Schaltungs- und Verarbeitungszeitaufwand als der Stand der Technik zu erfassen. Zusätzlich kann die vorliegende Erfindung sehr leicht realisiert werden und bietet sehr praktische Effekte.

Claims

1. Detektor zum Erfassen eines Vektors, der die Bewegung eines Bildes angibt (ein Bildbewegungsvektordetektor) [2, 3, 4, 5, 8 (9); 105, 114-116, 126-129; 131-136], der zum Ableiten von Korrelativwerten von Halbbilddaten zwischen einem Eingangs-TV-Signal eines gegenwärtigen Halbbildes und demjenigen eines vorangehenden Halbbildes in einem Bereich zum Erfassen eines Bewegungsvektors und zum Erfassen eines optimalen Punktes der Korrelativwerte als einen Bildbewegungsvektor konstruiert ist,

dadurch gekennzeichnet, daß er Einrichtungen (112-116; 105, 114-116, 126, 127; 105, 114-116, 126, 127, 129) zur Vorhersage eines Bereiches für einen Bewegungsvektor eines gegenwärtigen Halbbildes basierend auf den vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren und zum Verändern des Bereiches zum Erfassen eines Bewegungsvektors basierend auf einem Ausgangssignal der Vorhersageeinrichtung umfaßt.

2. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem eine Einrichtung zum Ableiten von Korrelativwerten ein Abgleichungsverfahren von Darstellungspunkten verwendet, welches voreingegebene Positionsdarstellungspunkte nutzt, und die Mitte des Bewegungsvektorerfassungsbereiches, der einen Signalbereich zum Ableiten von Korrelativwerten für die Darstellungspunkte bestimmt, von den Positionen der Darstellungspunkte zur Mitte des Bewegungsvektorbereiches verschoben wird, der für das gegenwärtige Halbbild auf der Basis der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren vorhergesagt wurde.

3. Bildbewegungsdetektor nach Anspruch 1, bei welchem die Einrichtung zum Ableiten von Korrelativwerten ein Abgleichungsverfahren für Darstellungspunkte verwendet, welches veränderliche Positionsdarstellungspunkte nutzt, die Positionen eines Signalbereiches zum Ableiten von Korrelativwerten für die Darstellungspunkte voreingestellt sind und die Positionen der Darstellungspunkte in einer Richtung, die derjenigen einer Verlagerung der Mitte des Bewegungsvektorbereiches entgegengesetzt ist, der für das gegenwärtige Halbbild auf der Basis der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren vorhergesagt wurde, von der Mitte des Signalbereiches verschoben werden, um Korrelativwerte für die Darstellungspunkte abzuleiten.

4. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem die Vorhersageeinrichtung (112-116) eine Einrichtung (114, 115) zum Ableiten eines vorhergesagten Bewegungsvektors des gegenwärtigen Halbbildes durch Zeitabfolgesignalverarbeitung der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren und eine Einrichtung (116) zum Prüfen einer Frequenzkomponente einer Veränderung mit der Zeit der Bewegungsvektoren, die vor dem gegenwärtigen Halbbild erhalten wurden, und zum Steuern der Zeitreihensignalverarbeitung, die durch die Einrichtung zum Ableiten des vorhergesagten Bewegungsvektors basierend auf dem Prüfergebnis durchgeführt wird, umfaßt.

5. Bildbewegungsvektordetektor nach Anspruch 4, bei welchem die Prüf- und Steuereinrichtung (116) eine Einrichtung, die als einen vorhergesagten Bewegungsvektor des gegenwärtigen Halbbildes, wenn eine große Menge von Hochfrequenzkomponenten, die höher sind als eine vorbestimmte Frequenz, in einer Veränderung mit der Zeit der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren enthalten ist, einen Vektorwert abgibt, der durch Entfernen der Hochfrequenzkomponenten und Glätten der Bewegungsvektoren mit der Zeit, die vor dem gegenwärtigen Halbbild erhalten wurden, erhalten wird, während sie als einen vorhergesagten Bewegungsvektor des gegenwärtigen Halbbildes, wenn Hochfrequenzkomponenten, die nicht die vorbestimmte Frequenz übersteigen, hauptsächlich enthalten sind, einen Vektorwert abgibt, der unter Verwendung von hauptsächlich einem erfaßten Vektor des vorhergehenden Halbbildes oder von erfaßten Vektoren des vorhergehenden Halbbildes und zweier Halbbilder vorher vorhergesagt wurde.

6. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem die Vorhersageeinrichtung (105, 114-116, 126, 127) eine Einrichtung (105, 114, 115) zum Verarbeiten der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren durch zwei oder mehr verschiedene Zeitreihensignalverarbeitungen bzw. Ableiten von Vorhersagekandidatenvektoren des gegenwärtigen Halbbildes, eine Einrichtung (127) zum Erhalten eines vorhergesagten Bewegungsvektors durch Auswählen aus den Kandidatenvektoren oder durch Gewichten der jeweiligen Kandidatenvektoren und Durchschnittswertbildung der gewichteten Ergebnisse und eine Einrichtung (116) zum Prüfen einer Differenz jedes Kandidatenvektors oder sowohl jedes Kandidatenvektors als auch eines vorhergesagten Bewegungsvektors von einem Bewegungsvektor, der tatsächlich zu einem späteren Zeitpunkt erhalten wird, Speichern der Differenzdaten über mehrere Halbbilder und Steuern der Auswahl oder Gewichtung durch die Einrichtung (127) zum Erhalten eines vorhergesagten Bewegungsvektors auf der Basis der gespeicherten Differenzdaten umfaßt.

7. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem die Vorhersageeinrichtung (105, 114-116, 126, 127) eine Einrichtung (105, 114, 115) zur Durchführung von zwei oder mehr verschiedenen Zeitreihensignalverarbeitungen an den Bewegungsvektoren, die vor dem gegenwärtigen Halbbild erhalten wurden, und zum Erzeugen von jeweiligen Verarbeitungsausgangssignalen, eine Einrichtung (126) zum Erfassen einer Differenz zwischen jedem der Verarbeitungsausgangssignale und einem in dem gegenwärtigen Halbbild erhaltenen Bewegungsvektor, eine Einrichtung (116) zum Speichern der erfaßten Differenzen auf der Zeitreihenbasis und Bestimmen der Zuverlässigkeit jedes Verarbeitungsausgangssignals und eine Einrichtung (227), die als einen vorhergesagten Bewegungsvektor einen zuverlässigsten Wert in den Ergebnissen der Zuverlässigkeitsbestimmung oder einen Wert abgibt, der durch Gewichten und Durchschnittswertbildung jedes Verarbeitungsausgangssignals auf der Basis der Ergebnisse der Zuverlässigkeitsbestimmung erhalten wurde, umfaßt.

8. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem die Vorhersageeinrichtung (105, 114-116, 126, 127, 129) eine Einrichtung (105, 114, 115) zur Durchführung von zwei oder mehr verschiedenen Zeitreihensignalverarbeitungen an den vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren und Erzeugen von jeweiligen Verarbeitungsausgangssignalen, eine Einrichtung (127), die als einen vorhergesagten Bewegungsvektor einen Wert abgibt, der durch Gewichten und Durchschnittswertbildung jedes Verarbeitungsausgangssignals erhalten wurde, eine Einrichtung (129) zum Abgeben eines Vektorwertes, der durch Modifizieren des vorhergesagten Bewegungsvektors jeweils in der Richtung jedes Verarbeitungsausgangssignales erhalten wurde, eine Einrichtung (126) zum Erfassen einer Differenz zwischen jedem modifizierten Vektor entlang dem vorhergesagten Bewegungsvektor und einem Bewegungsvektor, der in dem gegenwärtigen Halbbild erhalten wurde, und eine Einrichtung (116) zum Speichern der erfaßten Differenzen auf der Zeitreihenbasis und Bestimmen der Zuverlässigkeit jedes der Verarbeitungsausgangssignale, und eine Einrichtung (127) zum Bestimmen eines zuverlässigsten Verarbeitungsausgangssignales in den Ergebnissen der Zuverlässigkeitsbestimmung und zum Bestimmen oder Modifizieren des Ausmaßes der jeweiligen Gewichtung, die von der Ausgabeeinrichtung (127) für den vorhergesagten Bewegungsvektor durchgeführt wird, auf der Basis des Ergebnisses der Bestimmung umfaßt.