DE69019589T2 - Vorrichtung zur Ermittlung eines Bildbewegungsvektors. - Google Patents

Vorrichtung zur Ermittlung eines Bildbewegungsvektors.

Info

Publication number
DE69019589T2
DE69019589T2 DE69019589T DE69019589T DE69019589T2 DE 69019589 T2 DE69019589 T2 DE 69019589T2 DE 69019589 T DE69019589 T DE 69019589T DE 69019589 T DE69019589 T DE 69019589T DE 69019589 T2 DE69019589 T2 DE 69019589T2
Authority
DE
Germany
Prior art keywords
motion vector
vector
current field
field
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69019589T
Other languages
English (en)
Other versions
DE69019589T3 (de
DE69019589D1 (de
Inventor
Hirofumi Ishii
Atsushi Morimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26392890&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE69019589(T2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from JP1052286A external-priority patent/JP3001897B2/ja
Priority claimed from JP6178089A external-priority patent/JP2753024B2/ja
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Application granted granted Critical
Publication of DE69019589D1 publication Critical patent/DE69019589D1/de
Publication of DE69019589T2 publication Critical patent/DE69019589T2/de
Publication of DE69019589T3 publication Critical patent/DE69019589T3/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

    TECHNISCHER HINTERGRUND DER ERFINDUNG GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung betrifft einen Detektor zum Erfassen eines Vektors, der die Bewegung eines Bildes angibt (im folgenden als ein Bildbewegungsvektor oder ein Bewegungsvektor bezeichnet).
  • BESCHREIBUNG DES STANDES DER TECHNIK
  • Ein typisches Beispiel für den Stand der Technik des Detektors wurde in der amtlichen Veröffentlichung der JP-A-62-25590 vorgeschlagen.
  • Fig. 1 ist ein Blockdiagramm, das diesen Stand der Technik zeigt. 1 bezeichnet in der Darstellung einen Eingangsanschluß für ein Bildsignal, 2 bezeichnet einen Speicher zum Speichern von Darstellungspunkten, der Signale für die den Darstellungspunkten in einem Eingangsbildsignal entsprechenden Pixel speichert, 3 bezeichnet einen Differenz-Absolutwertwandler, der Absolutwerte von Differenzen zwischen den Eingangssignalen ausgibt, 4 bezeichnet einen Akkumulator und 5 bezeichnet eine Erfassungsschaltung für einen Minimalpunkt.
  • Gemäß dem die vorstehenden Bestandteile enthaltenden Stand der Technik werden zunächst kontinuierliche Bildsignale von zwei Halbbildern oder mehr am Eingangsanschluß 1 empfangen. In dem Darstellungspunktspeicher 2 werden zwei oder mehr Darstellungspunkte in einem Erfassungsbereich auf einem Bildschirm voreingestellt. Der Speicher 2 speichert ein Signal für ein Pixel, das an jedem der Darstellungspunkte in dem Eingangsbildsignal positioniert ist. Der Differenz-Absolutwertwandler 3 arbeitet so, daß er jede Differenz zwischen dem Wert eines Signals eines Darstellungspunktes des vorangehenden Halbbildes und dem eines verschobenen Punktes, der um i horizontal und j vertikal von einem Darstellungspunkt des gegenwärtigen Halbbildes verschoben wurde, bestimmt, und einen Absolutwert ΔL (i, j) der Differenz herleitet, wobei i eine horizontale Distanz und j eine vertikale Distanz bezeichnet. Der Akkumulator 4 enthält eine Tabelle für die Verlagerung (i, j) innerhalb eines Erfassungsbereiches, in welcher Tabelle die Signale, die von dem Differenz-Absolutwertwandler 3 gesendet werden, kumulativ für jeden Punkt der Verlagerung (i, j) addiert werden. Der Akkumulator 4 sendet den resultierenden Wert als einen Korrelativwert Σ ΔL (i, j) für die Verlagerung (i, j). Die Minimalpunkterfassungsschaltung 5 erfaßt die Verlagerung (i', j'), welche einen Minimalwert der Korrelativwerte angibt, und nimmt diesen als einen Bewegungsvektor an.
  • Die vorstehende Beschreibung ist auf das Darstellungspunktangleichungssystem gerichtet. Neben diesem System ist auch ein Allpunktangleichungssystem bekannt. Anstelle der Speicherung nur der Signale der an den Darstellungspunkten positionierten Pixel speichert dieses System Signale aller Pixel in dem Erfassungsbereich. Dann führt es wie das vorstehende beschriebene System die Schritte des Herleitens eines Absolutwertes einer Differenz (i, j) zwischen dem vorangehenden Halbbildsignal und einem um (i, j) von dem gegenwärtigen Halbbildsignal verschobenen Signal, des kumulativen Addierens der Absolutwerte und des Annehmens einer Verlagerung (i', j'), die einen Minimalwert dieser Werte ergibt, als einen Bewegungsvektor aus.
  • Die vorstehend beschriebene Anordnung leitet jedoch nur Korrelativwerte für eine Verlagerung innerhalb eines festgelegten Bereiches her. Somit hat sie den Nachteil, daß kein Bewegungsvektor außerhalb des festgelegten Bereiches erfaßt werden kann.
  • Wenn ein Benutzer eine Videokamera rasch bewegt, wenn er die Kamera schwenkt, oder beispielsweise seine Hände zittern, während er die Kamera hält, kann kein Bewegungsvektor erfaßt werden.
  • Zur Erfassung eines Bewegungsvektors, der eine derartig große Amplitude hat, ist es erforderlich, Korrelativwerte innerhalb eines sehr großen Bereiches herzuleiten. Beispielsweise ist, wie in Fig. 2 dargestellt, ein großer Erfassungsbereich 7 erforderlich, um einen Bewegungsvektor 6 mit einer so großen Amplitude zu erfassen. Somit entsteht der Nachteil, daß die Verarbeitungszeit lang und die Schaltung kompliziert wird.
  • Um die vorstehend genannten Nachteile zu beseitigen, ist es daher eine Aufgabe der Erfindung, einen Bildbewegungsvektordetektor zu schaffen, der in der Lage ist, einen Bewegungsvektor innerhalb eines Erfassungsbereiches zu erfassen, der breiter ist als der eines herkömmlichen Detektors, und der ferner in der Lage ist, die Verarbeitungszeit und die Dimension einer damit befaßten elektronischen Schaltung stark zu verringern.
  • KURZBESCHREIBUNG DER ERFINDUNG
  • Die vorliegende Erfindung umfaßt eine Einrichtung zum Herleiten von Korrelativwerten im Bereich von vorhersagbaren Bewegungsvektoren des gegenwärtigen Halbbildes aus den Bewegungsvektoren des dem gegenwärtigen Halbbild vorangehenden Halbbildes in der Gesamtheit oder einem Teil eines Bildschirmes, der ein Bildsignal von zwei Halbbildern in einem kontinuierlich empfangenen TV-Signal darstellt, und eine Einrichtung zum Herleiten eines optimalen Punktes aus den Korrelativwerten und Annehmen desselben als ein Bewegungsvektor.
  • Mit der vorstehend beschriebenen Konfiguration ermöglicht es die Erfindung, Korrelativwerte im Bereich von vorhersagbaren Bewegungsvektoren des gegenwärtigen Halbbildes aus den Bewegungsvektoren der dem gegenwärtigen Halbbild vorangehenden Halbbilder herzuleiten und einen optimalen Bewegungsvektor unter Verwendung der Korrelativwerte zu erfassen. Insbesondere bei einer Bewegung, die eine hohe niederfrequente Amplitude hat, kann ein Bewegungsvektor in einem Bereich erfaßt werden, der breiter ist als der nach dem Stand der Technik, mit einem geringerem Ausmaß von Verarbeitungsoperationen, Schaltungselementen und Verarbeitungszeit.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Fig. 1 ist ein Blockdiagramm, das einen herkömmlichen Detektor zum Erfassen eines Bildbewegungsvektors zeigt;
  • Fig. 2 ist ein Diagramm, das die Beziehung zwischen einem Bereich, in welchem ein Bewegungsvektor erfaßt wird, und einen Bildbewegungsvektor nach dem Stand der Technik zeigt;
  • Fig. 3 ist ein Blockdiagramm, das einen Detektor zum Erfassen eines Bewegungsvektors nach einer ersten Ausführungsform der Erfindung zeigt;
  • Fig. 4 ist ein Blockdiagramm, das einen Detektor zum Erfassen eines Bildbewegungsvektors nach einer zweiten Ausführungsform der Erfindung zeigt;
  • Fig. 5 ist ein Diagramm, das die Beziehung zwischen einem Bereich, in welchem ein Bewegungsvektor erfaßt wird, und einem Bildbewegungsvektor in den Ausführungsformen der Erfindung angibt;
  • Fig. 6 ist ein Blockdiagramm, das eine Bewegungsvektorvorhersageeinrichtung zeigt, die in der Erfindung verwendet wird;
  • Fig. 7 und 8 sind Diagramme, die die Beziehung zwischen einem vorhergesagten Bewegungsvektor und einem Bildbewegungsvektor zeigen;
  • Fig. 9 ist ein Blockdiagramm, das eine Variation der Bewegungsvektorvorhersageeinrichtung zeigt, die in der ersten Ausführungsform der Erfindung verwendet wird;
  • Fig. 10 ist ein Blockdiagramm, das eine Bewegungsvektorvorhersageeinrichtung zeigt, die in der zweiten Ausführungsform der Erfindung verwendet wird;
  • Fig. 11 ist ein Blockdiagramm, das eine Bewegungsvektorvorhersageeinrichtung zeigt, die in der dritten Ausführungsform der Erfindung verwendet wird;
  • Fig. 12 ist ein Blockdiagramm, das den Detektor zum Erfassen eines Bildbewegungsvektors zeigt, der die Bewegungsvektorvorhersageeinrichtungen der Ausführungsformen der Erfindung verwendet; und
  • Fig. 13 ist ein Diagramm, das die Beziehung zwischen einem Bereich, in dem ein Bewegungsvektor erfaßt wird, und einem Bildbewegungsvektor in der Erfindung zeigt.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Fig. 3 ist ein Blockdiagramm, das einen Detektor zum Erfassen eines Bildbewegungsvektors gemäß einer ersten Ausführungsform der Erfindung zeigt. Die in Fig. 1 gezeigten gemeinsamen Elemente sind durch gemeinsame Bezugszeichen bezeichnet. In Fig. 3 bezeichnet 1 einen Eingangsanschluß für ein Bildsignal. 2 bezeichnet einen Darstellungspunktspeicher, welcher so arbeitet, daß er Signale für die an den Darstellungspunkten in dem Eingangsbildsignal positionierten Pixel speichert. 3 bezeichnet einen Differenz-Absolutwertwandler, der so arbeitet, daß er einen Absolutwert einer Differenz zwischen den Eingangssignalen aussendet. 4 bezeichnet einen Akkumulator, und 5 bezeichnet eine Erfassungsschaltung für Minimalpunkte. 8 bezeichnet einen Einrichtung zur Steuerung eines Erfassungsbereiches.
  • Nachfolgend wird die Funktion eines Detektors für einen Bildbewegungsvektor gemäß vorliegender Erfindung beschrieben. Zunächst wird ein Bildsignal in Zeitabfolge dem Eingangsanschluß 1 eingegeben. Für den Darstellungspunktspeicher 2 wird mehr als ein Darstellungspunkt in einem Erfassungsbereich auf einem Bildschirm voreingestellt. Der Speicher 2 speichert ein Signal für jedes Pixel, das auf den Darstellungspunkten in dem empfangenen Bildsignal positioniert ist. Wenn ein Halbbild (n-1) eingeben wird, wird ein Bewegungsvektor (X(n-1), Y(n-1)) des vorangehenden Halbbildes (n-1) erfaßt. Anschließend wird der Vektorwert in die Einrichtung zur Steuerung eines Erfassungsbereiches eingegeben.
  • Wenn ein Signal für das nächste Halbbild (n) eingegeben wird, dient der Differenz-Absolutwertwandler 3 dazu, einen Absolutwert &Delta;L (i, j) einer Differenz zwischen einem Signal für jede Position der Darstellungspunkte des vorangehenden Halbbildes und einem Signal für jede Position, die von den Darstellungspunkten des gegenwärtigen Halbbildes horizontal um i + X(n-1) und vertikal um j + Y(n-1) verlagert wurde, herzuleiten, indem er durch die Einrichtung 8 zur Steuerung eines Erfassungsbereiches gesteuert wird. Der Bereich von i und j hat seine Mitte im wesentlichen am Nullpunkt (-hi/2 < i &le; hi/2, -hj/2 < j &le; hj/2). Der Akkumulator 4 enthält eine Tabelle für die Verlagerung (i, j), in welcher Tabelle das von dem Differenz-Absolutwertwandler 3 gesendete Signal kumulativ in jedem Element der Verlagerung (i, j) addiert wird. Der resultierende Wert wird als ein Korrelativwert &Sigma; &Delta;L (i, j) der Verlagerung (i, j) angenommen. Die Minimalpunkterfassungsschaltung 5 erfaßt die Verlagerung (i', j'), die den Minimalwert der Korrelativwerte ergibt, und berechnet eine Addition der erfaßten Verlagerung (i', j') und des erfaßten Vektors (X(n-1), Y(n-1)), um einen Bewegungsvektor (X(n), Y(n)) des gegenwärtigen Halbbildes bezüglich des vorangehenden Halbbildes anzugeben.
  • Auch in dem Fall, daß ein Benutzer eine Videokamera stark in Schwingung versetzt, in eine Richtung durch Schwenken oder durch Zittern der Hand mit einer niedrigen Frequenz, ist eine Veränderung eines Bewegungsvektors zwischen Halbbildern weitaus geringer als eine Amplitude des Bewegungsvektors. Auch wenn der Bereich (hi, hj) zum Herleiten von Korrelativwerten als klein definiert ist, ist es möglich, den Bewegungsvektor, der eine größere Amplitude als derjenige nach dem Stand der Technik hat, zu erfassen.
  • Auch in dem Fall des Erfassens eines Bewegungsvektors 6, der, wie beispielsweise in Fig. 5 gezeigt, eine große Amplitude hat, wird der Bewegungsvektor 10 des gegenwärtigen Halbbildes in gewissem Ausmaß mit dem Bewegungsvektor 11 des vorangehenden Halbbildes in Korrelation gebracht, so daß kein größerer Bereich für einen Erfassungsbereich 7 im Vergleich mit demjenigen nach dem Stand der Technik erforderlich ist.
  • Diese Ausführungsform ist so konstruiert, daß sie die Darstellungspunkte fixiert und den mit diesen Darstellungspunkten in Korrelation zu bringenden Bereich verschiebt. Dies ist einer umgekehrten Konstruktionsart überlegen, bei welcher Darstellungspunkte verschoben werden, indem Daten des erfaßten Vektors (X(n-1), Y(n-1)) des vorangehenden Halbbildes zur Erfassung des Bewegungsvektors (X(n), Y(n)) des gegenwärtigen Halbbildes verwendet werden können. Bei dieser umgekehrten Konstruktionsart wurde der Vektor (X(n-1), Y(n-1)) des vorangehenden Halbbildes zum Zeitpunkt der Abtastung der Darstellungspunkte, d.h. zum Zeitpunkt des Empfangs eines Signals für das vorangehende Halbbild, nicht erfaßt. Somit ist es erforderlich, den erfaßten Vektor (X(n-2), Y(n-2)) von zwei Halbbildern vorher zu verwenden, nämlich denjenigen des Halbbildes vor dem vorangehenden Halbbild. Die vorliegende Ausführungsform kann den erfaßten Vektor (X(n-1), Y(n-1)) des vorangehenden Halbbildes verwenden. Es wird angenommen, daß eine Differenz des Bewegungsvektors zwischen dem gegenwärtigen Halbbild und dem vorangehenden Halbbild etwa halb so groß wie eine Differenz des Bewegungsvektors zwischen dem gegenwärtigen Halbbild und dem Halbbild vor dem vorangehenden Halbbild ist, wodurch der Bereich (hi, hj) zur Ableitung von Korrelativwerten entsprechend kleiner wird.
  • Ferner wird er erfaßte Vektor (X(n-1), Y(n-1)) des vorangehenden Halbbildes als eine Mitte des Erfassungsbereiches genommen. Das ergibt insofern einen Vorteil, als der Erfassungsbereich in Richtung des Vektors verschoben werden kann. Beispielsweise kann unter Verwendung eines Koeffizienten a (a×x(n-1), a×Y(n-1)) als Mittelpunkt definiert werden.
  • Diese Ausführungsform kann einen erfaßten Vektor eines Halbbildes vor dem vorangehenden Halbbild verwenden. Beispielsweise kann bei Verwendung des erfaßten Vektors (X(n-2), Y(n-2)) von einem zwei Halbbilder vorher liegenden Halbbild (2×a×-X(n-1) - b×X(n-1), 2×a×Y(n-1) + b×Y(n-2)) als Mitte definiert werden (a und b bezeichnen Koeffizienten).
  • Der erfaßte Vektor kann gekappt werden, um so die Verschiebung der Mitte nicht einen konstanten Wert übersteigen zu lassen.
  • Die Einrichtung 8 zur Steuerung eines Erfassungsbereiches kann mit Hardware unter Verwendung einer tatsächlichen Schaltung oder mit Software unter Verwendung eines Mikrocomputers verwirklicht werden.
  • Fig. 4 ist ein Blockdiagramm, das einen Detektor zum Erfassen eines Bildbewegungsvektors gemäß einer zweiten Ausführungsform der Erfindung zeigt. Die den in Fig. 3 gezeigten gleichen Elemente werden durch dieselben Bezugszeichen bezeichnet. In Fig. 4 bezeichnet 9 eine Schaltung zur Steuerung von Darstellungspunkten.
  • Nachfolgend wird die Funktion des Detektors für einen Bildbewegungsvektor gemäß der vorliegenden Ausführungsform beschrieben. Ein zeitlich kontinuierliches Bildsignal wird dem Eingangsanschluß 1 eingegeben.
  • Zur Zeit der Eingabe eines Bildsignals eines Halbbildes (n-1) hat die Schaltung 9 zur Steuerung der Darstellungspunkte einen erfaßten Vektor (X(n-2), Y(n-2)) des dem eingegebenen Halbbild vorangehenden Halbbildes empfangen. Die Darstellungspunktsteuerungsschaltung 9 nimmt als Darstellungspunkte diejenigen Punkte an, die von den in dem Erfassungsbereich auf einem Bildschirm durch einen umgekehrten Vektor (-X(n-2), -Y(n-2)) des erfaßten Vektors vordefinierten Referenzpunkten verschoben wurden, und dient zur Steuerung eines Darstellungspunktspeichers. Der Speicher speichert ein Signal für jedes Pixel, das auf den Darstellungspunkten in dem Eingangsbildsignal positioniert ist. Wenn das Signal für das nächste Halbbild (n) eingegeben wird, dient der Differenz-Absolutwertwandler 3 dazu, einen Absolutwert &Delta;L (i, j) einer Differenz zwischen den Werten, die in dem Speicher gespeichert sind, und den Signalen für positionen, die von den Referenzpunkten der Darstellungspunkte um einen horizontalen Wert i und einen vertikalen Wert j verschoben wurden, herzuleiten. Es wird angenommen, daß der Bereich von i und j seine Mitte am Nullvektor (-hi/2 < i &le; hi/2, -hj/2 < j &le; hj/2) hat. Der Akkumulator 4 enthält eine Tabelle für die Verlagerung (i, j) und addiert kumulativ das von dem Differenz-Absolutwertwandler 3 bei jeder Verlagerung (i, j) gesendete Signal. Die resultierenden Werte werden als Korrelativwerte &Sigma; &Delta;L (i, j) in der Verlagerung (i, j) angenommen. Die Minimalpunkterfassungsschaltung 5 dient dazu, die Verlagerung (i', j') zu erfassen, die einen Minimalwert der Korrelativwerte angibt, und eine Addition des Minimalwertes und des erfaßten Vektors (X(n-2), Y(n-2)) von zwei Halbbildern vorher als einen Bewegungsvektor (X(n), Y(n)) des gegenwärtigen Halbbildes bezüglich des vorangehenden Halbbildes zu berechnen.
  • Gemäß der vorliegenden Ausführungsform wird dann, wenn ein Benutzer eine Videokamera beim Schwenken in eine Richtung schwingt oder sie durch Zittern der Hand mit einer niedrigen Frequenz stark schwingt, die Veränderung eines Bewegungsvektors zwischen den Halbbildern weitaus kleiner gemacht als die Amplitude des Bewegungsvektors. Somit kann diese Ausführungsform dann, wenn der Bereich (hi, hj) zum Ableiten von Korrelativwerten kleiner gemacht wird, einen Bewegungsvektor erfassen, der eine größere Amplitude hat als derjenige nach dem Stand der Technik.
  • Diese Ausführungsform ist so konstruiert, daß sie die Positionen der Darstellungspunkte verschiebt und einen Bereich zur Herleitung von Korrelativwerten von Darstellungspunkten definiert. Dies ist der ersten Ausführungsform insofern überlegen, als es einfacher zu verwirklichen ist.
  • Hierin werden die Darstellungspunkte nur durch einen umgekehrten Vektor des erfaßten Vektors (X(n-2), Y(n-2)) von zwei Halbbildern vorher verschoben. Der Erfassungsbereich kann in der Vektorrichtung verschoben werden. Beispielsweise kann er durch (a×X(n-2), b×Y(n-2)) unter Verwendung von Koeffizienten a und b zentriert werden.
  • Es kann ein erfaßter Vektor des Halbbildes vor zwei vorangehenden Halbbildern verwendet werden. Beispielsweise kann durch Verwendung eines erfaßten Vektors (X(n-3), Y(n-3)) des Halbbildes vor zwei vorangehenden Halbbildern die Mitte des Erfassungsbereiches (2)×a×x(n-2) - b×X(n-3), 2×a×Y(n-2) + b×- Y(n-3)) sein (a und b bezeichnen Koeffizienten). Der erfaßte Vektor kann gekappt werden, um so die Verschiebung der Mitte nicht einen konstanten Wert übersteigen zu lassen.
  • Die Darstellungspunktsteuereinrichtung 9 kann mit Hardware unter Verwendung einer tatsächlichen Schaltung oder mit Software, die in einem Mikrocomputer läuft, verwirklicht werden. Bei der ersten und der zweiten Ausführungsform wird der Minimalwert der Korrelativwerte in einem Erfassungsbereich als ein Bewegungsvektor angenommen. Ohne darauf eingeschränkt zu sein, kann die Erfindung natürlich auch auf den Fall angewendet werden, bei dem ein Bildbewegungsvektor durch Erfassen der Werte in mehr als einem Erfassungsbereich auf einem Bildschirm und Bestimmen der Zuverlässigkeit dieser Werte hergeleitet werden kann.
  • Nachfolgend wird die konkrete Ausführungsform der Vorhersageeinrichtung beschrieben.
  • Fig. 6 ist ein Blockdiagramm, das eine Einrichtung zur Vorhersage eines Bewegungsvektors zeigt, wie sie in der vorliegenden Erfindung verwendet wird. In Fig. 6 bezeichnet 101 einen Eingangsanschluß für einen Vektor. 112 bezeichnet ein Hochpassfilter, 113 bezeichnet eine Einrichtung zur Berechnung einer Amplitude, 114 bezeichnet ein Tiefpassfilter, 115 bezeichnet eine Einrichtung zur Vorhersage einer Differenz und 116 bezeichnet eine Einrichtung zur Durchführung der Bestimmung und Steuerung.
  • Nachfolgend wird die Funktion der Einrichtung zur Vorhersage eines Bildbewegungsvektors beschrieben. Ein Bewegungsvektor, der für jedes Halbbild erfaßt wird, wird dem Eingangsanschluß 101 eingegeben. Das Hochpassfilter dient dazu, eine Hochfrequenzkomponente von der Halbbildfrequenz des Bewegungsvektors zu extrahieren. Die Hochfrequenzkomponente enthält etwa ein Viertel oder mehr der Halbbildfrequenz. Die Amplitudenberechnungseinrichtung 113 dient dazu, eine Größe der Hochfrequenzkomponente für eine feststehende Periode zu berechnen und das Resultat an die Bestimmungs- und Steuereinrichtung 116 zu senden. Das Tiefpassfilter 114 dient dazu, eine Hochfrequenzkomponente einer Halbbildfrequenz des Bewegungsvektors, der für jedes Halbbild eingegeben wurde, zu unterdrücken. Die Hochfrequenzkomponente enthält etwa ein Viertel oder mehr der Halbbildfrequenz. Die Differenzvorhersageeinrichtung 115 dient dazu, einen vorhergesagten Vektor (2×a×X(n-1) - b×X(n-2), 2×a×Y(n-1) + b×Y(n-2)) (a und b bezeichnen Koeffizienten) unter Verwendung des letzten Vektors (X(n-1), Y(n-1)) und des diesem vorangehenden Vektors (X(n-2), Y(n-2)), die für jedes Halbbild eingegeben werden, zu berechnen. Die Bestimmungsund Steuereinrichtung 116 dient zur Bestimmung einer Größe der ein Viertel oder mehr betragenden Hochfrequenzkomponente der Halbbildfrequenz des für jedes Halbbild eingegebenen Bewegungsvektors und dazu, dann, wenn die Hochfrequenzkomponente größer ist als ein vorbestimmtes Ausmaß, den von dem Tiefpassfilter 114 gesendeten Vektor als einen vorhergesagten Bewegungsvektor auszugeben, und dann, wenn sie kleiner ist als das vorbestimmte Ausmaß, den von der Differenzvorhersageeinrichtung 115 gesendeten Vektor als einen vorhergesagten Bewegungsvektor aus zugeben.
  • Fig. 7a zeigt einen Vektor, der die Bewegung eines Bildes angibt, das in einem stark vibrierenden, d.h. mit einer hohen Frequenz vibrierenden Auto aufgenommen wurde. Fig. 7b zeigt eine Frequenzkomponente des in Fig. 7a gezeigten Bildbewegungsvektors. In der Darstellung bezeichnet 117 einen sich mit der Zeit verändernden Bewegungsvektor, 118 bezeichnet einen erfaßten Vektor des vorangehenden Halbbildes, 119 bezeichnet einen erfaßten Vektor von zwei Halbbildern vorher, 120 bezeichnet einen Bewegungsvektor des gegenwärtigen Halbbildes, 121 bezeichnet den durch das Tiefpassfilter 114 gefilterten Bewegungsvektor, 122 bezeichnet ein Ausgangssignal für das gegenwärtige Halbbild, das von der Differenzvorhersageeinrichtung 115 gesendet wird, 123 bezeichnet eine Niederfrequenzkomponente des Bewegungsvektors 117, die beispielsweise beim Schwenken einer Videokamera gegeben ist, 124 bezeichnet eine Hochfrequenzkomponente des Bewegungsvektors 117, die durch eine vibrierende Videokamera gegeben ist.
  • Wie Fig. 7b zeigt, enthält der Bewegungsvektor 117 hauptsächlich eine Frequenzkomponente 123 mit 1 Hz oder weniger, die durch Schwenken einer Videokamera beispielsweise gegeben ist, und eine Hochfrequenzkomponente 124, die durch eine vibrierende Videokamera gegeben ist. Wenn die Halbbildfrequenz eine Hochfrequenzkomponente enthält, die größer ist als die Niederfrequenzkomponente und etwa ein Viertel oder mehr der Halbbildfrequenz einnimmt, sollte die geglättete Hochfrequenzkomponente als ein vorgesagter Vektor angenommen werden, da sie einen kleineren durchschnittlichen Fehler für den Bewegungsvektor 120 des gegenwärtigen Halbbildes als der Vektor 122 hat, der aus dem erfaßten Vektor 118 des vorangehenden Halbbildes und dem erfaßten Vektor 119 von zwei Halbbildern vorher vorhergesagt wurde.
  • Fig. 8a zeigt einen Vektor, der die Bewegung eines Bildes angibt, das aufgenommen wird, wenn ein Benutzer eine Videokamera mit seinen Händen hält. Fig. 8b zeigt Frequenzkomponenten des Bewegungsvektors. In der Darstellung bezeichnet 117 einen Bewegungsvektor, der sich mit der Zeit verändert, 118 bezeichnet einen erfaßten Vektor des vorangehenden Halbbildes, 119 bezeichnet einen erfaßten Vektor von zwei Halbbildern vorher, 120 bezeichnet einen Bewegungsvektor des gegenwärtigen Halbbildes, 121 bezeichnet den Bewegungsvektor 117, der durch das Tiefpassfilter 114 gefiltert wurde, 122 bezeichnet ein Ausgangssignal des gegenwärtigen Halbbildes, das von der Differenzvorhersageeinrichtung 115 gesendet wird, 123 bezeichnet eine Niederfrequenzkomponente des Bewegungsvektor 117, die durch Schwenken durch eine Videokamera beispielsweise gegeben ist, und 125 bezeichnet eine Hochfrequenzkomponente des Bewegungsvektors 117, die durch die vibrierende Hand gegeben ist, mit der eine Videokamera gehalten wird.
  • Wie Fig. 8b zeigt, absorbiert ein menschlicher Körper die Hochfrequenzvibration, aber da die Videokamera mit der Hand gehalten wird, verursacht die Handvibration hauptsächlich die Erzeugung einer Frequenzkomponente 125 mit 1 Hz bis 5 Hz. In diesem Fall gibt, wie in Fig. 8a gezeigt, das Tiefpassfilter 114 ein verzögertes Signal 121 ab. Somit ist es bevorzugt, als einen vorhergesagten Bewegungsvektor den Vektor 122 zu verwenden, der aus den Vektoren des vorangehenden Halbbildes 118 und dem Halbbild (richtig: Vektor) 119 von zwei Halbbildern vorher vorhergesagt wurde. Der Grund dafür liegt darin, daß der Vektor 122 einen geringeren durchschnittlichen Fehler hat als der Bewegungsvektor 120 des gegenwärtigen Halbbildes.
  • Wie vorstehend beschrieben ist die beschriebene Ausführungsform so konstruiert, daß sie die Größe von Hochfrequenzkomponenten eines zu erfassenden Bewegungsvektors prüft und den vorhergesagten Vektor zwischen demjenigen von dem Vektor von dem vorangehenden Halbbild und demjenigen von den Vektoren von zwei Halbbildern vorher in Abhängigkeit von der Größe von Hochfrequenzkomponenten umschaltet. Somit macht es die Ausführungsform möglich, einen Bewegungsvektor genauer als nach dem Stand der Technik vorherzusagen.
  • Hier ist die Differenzvorhersageeinrichtung 15 vorgesehen, um einen vorhergesagten Vektor aus den erfaßten Vektoren des vorangehenden Halbbildes und denjenigen von zwei Halbbildern vorher zu errechnen. Der erfaßte Vektor des vorangehenden Halbbildes wird effektiv als der vorhergesagte Vektor verwendet. Ferner gibt die vorstehende Beschreibung an, daß die Bestimmungs- und Steuereinrichtung 116 so arbeitet, daß sie zwischen dem Ausgangssignal der Differenzvorhersageeinrichtung 115 und dem Ausgangssignal des Tiefpassfilters 114 umschaltet. Es kann jedoch möglich sein, ein Verfahren des Mischens dieser zwei Ausgangssignale und Veränderns ihres Mischverhältnisses in Abhängigkeit von der Größe der Hochfrequenzkomponenten zu verwenden. Wie Fig. 9 zeigt, bietet das Tiefpassfilter 114 eine veränderliche Charakteristik, so daß die Charakteristik entsprechend der Größe der Hochfrequenzkomponenten variiert werden kann.
  • Die vorstehende Beschreibung hat angegeben, daß die Größe nur einer Hochfrequenzkomponente geprüft wird. Es sei jedoch angemerkt, daß ein Verhältnis derselben zur Größe einer weiteren Komponente geprüft werden kann.
  • Ferner hat die vorstehende Beschreibung einen automatischen Prozeß der Prüfung der Größe von Hochfrequenzkomponenten und Umschalten der Signale in Abhängigkeit von dem Prüfergebnis angegeben. Es ist jedoch einfach, einem Benutzer zu ermöglichen, sie in Abhängigkeit von dem Zustand umzuschalten.
  • Fig. 10 ist ein Blockdiagramm, das eine Vektorvorhersageeinrichtung zeigt, die in der vorliegenden Erfindung verwendet wird. In Fig. 10 bezeichnet 101 einen Eingangsanschluß für ein Vektorsignal, 114 bezeichnet ein Tiefpassfilter, 115 bezeichnet eine Differenzvorhersageeinrichtung, 126 bezeichnet einen Differenz-Absolutwertwandler, 116 bezeichnet eine Bestimmungs- und Steuereinrichtung, 127 bezeichnet einen Generator für einen vorhergesagten Bewegungsvektor, 105 bezeichnet einen Speicher und 128 bezeichnet einen Nullvektor.
  • Nachfolgend wird die Funktion der Einrichtung zur Vorhersage eines Bildbewegungsvektors gemäß der vorliegenden Ausführungsform beschrieben. Zunächst wird ein für jedes Halbbild erfaßter Bewegungsvektor einem Eingangsanschluß 101 eingegeben. Das Tiefpassfilter 114 dient zur Unterdrückung einer Hochfrequenzkomponente einer Halbbildfrequenz eines für jedes Halbbild eingegebenen Vektors. Die Hochfrequenzkomponente nimmt etwa ein Viertel oder mehr der Halbbildfrequenz ein. Die Differenzvorhersageeinrichtung 115 berechnet einen vorhergesagten Vektor (2×a×X(n-1) - b×X(n-2), 2×a×Y(n-1) + b×-Y(n-2)) unter Verwendung des letzten Vektors (X(n-1), Y(n-1)) und des vorangehenden Vektors (X(n-2), Y(n-2)) der für jedes Halbbild eingegebenen Vektoren und gibt diesen aus (a und b bezeichnen Koeffizienten).
  • Der Speicher 105 gibt den letzten Vektor (X(n-1), Y(n-1)) der für jedes Halbbild eingegebenen Vektoren aus. Der Differenz- Absolutwertwandler 126 speichert die Ausgangssignale von dem Tiefpassfilter 114, der Differenzvorhersageeinrichtung 115 und dem Speicher 105, bildet einen Absolutwert jeder Differenz zwischen diesen Ausgangssignalen und dem Nullvektor 128 und dem Bewegungsvektor (X(n), Y(n)), der das nächste Mal eingegeben wird, und gibt jeweilige Absolutwerte an die Bestimmungs- und Steuereinrichtung 116 aus. Die Bestimmungsund Steuereinrichtung 116 dient dazu, diese Werte für einen gegebenen Zeitraum zu speichern, zu bestimmen, daß der kleinste Wert der zuverlässigste ist, und gibt das Resultat an den Generator für den vorhergesagten Bewegungsvektor 127 aus. Auf der Basis des bestimmten Ergebnisses sendet der Generator 127 für den vorhergesagten Bewegungsvektor als einen vorhergesagten Bewegungsvektor den zuverlässigsten Wert, der aus dem Nullvektor 128 und den Ausgangssignalen von dem Tiefpassfilter 114, der Differenzvorhersageeinrichtung 115 und dem Speicher 105 bestimmt wurde.
  • Das beste Signalverarbeitungsverfahren zur Vorhersage des Bewegungsvektors des gegenwärtigen Halbbildes anhand der vor dem gegenwärtigen Halbbild erhaltenen Vektoren ist davon abhängig, wie der Bewegungsvektor tatsächlich verändert wird. Wie der tatsächliche Bewegungsvektor zu verändern ist, ist auch von einer Bildaufnahmebedingung und einem aufgenommenen Objekt abhängig. Die Bedingung und das Objekt werden mit einer längeren Periode als die Halbbildfrequenz geändert.
  • Wie vorstehend beschrieben umfaßt die vorstehend beschriebene Ausführungsform die Schritte der Verarbeitung der Bewegungsvektoren von dem Halbbild vor dem gegenwärtigen Halbbild durch das Tiefpassfilter 114, die Differenzvorhersageeinrichtung 115, den Speicher 105 und den Nullvektor 128, des Nehmens einer Differenz zwischen den Ausgangssignalen dieser Signalverarbeitungsschritte und dem Bewegungsvektor des gegenwärtigen Halbbildes, des Prüfens einer Größe eines Fehlers während einer konstanten Zeit, um dadurch die Zuverlässigkeit von jeweiligen Verarbeitungsschritten zu bestimmen, und des Sendens eines zuverlässigsten Ausgangssignals als einen vorhergesagten Bewegungsvektor. Die Ausführungsform macht es somit möglich, verschiedene Bildaufnahmebedingungen oder abgebildete Objekte exakter anzugleichen und einen Bewegungsvektor genauer als nach dem Stand der Technik vorherzusagen.
  • Gemäß der Konstruktion dieser Ausführungsform gibt die Differenz-Absolutwertumwandlungseinrichtung 126 einen Absolutwert einer Differenz zwischen jedem Ausgangssignal dieser Verarbeitungselemente und dem Bewegungsvektor des gegenwärtigen Halbbildes aus. Es sei jedoch angemerkt, daß sie ein Quadrat der Differenz oder einen nicht linear verarbeiteten Absolutwert der Differenz ausgeben kann. Der Generator 127 für den vorhergesagten Bewegungsvektor sendet das zuverlässigste Ausgangssignal jedes Signalverarbeitungselements auf der Basis des Resultats der Zuverlässigkeitsbestimmung. In Abhängigkeit von dem Resultat der Zuverlässigkeitsbestimmung kann dieser jedoch das Ausgangssignal jedes Elementes gewichten und den Durchschnittswert der gewichteten Ausgangssignale senden.
  • Fig. 11 ist ein Blockdiagramm, das eine Bewegungsvektorvorhersageeinrichtung zeigt, die in der vorliegenden Erfindung verwendet wird. In Fig. 11 bezeichnet 101 einen Eingangsanschluß, 114 bezeichnet ein Tiefpassfilter, 115 bezeichnet eine Differenzvorhersageeinrichtung, 128 bezeichnet eine Differenz-Absolutwertumwandlungseinrichtung, 116 bezeichnet eine Bestimmungs- und Steuereinrichtung, 127 bezeichnet einen Generator für einen vorhergesagten Bewegungsvektor, 105 bezeichnet einen Speicher, 128 bezeichnet einen Nullvektor und 129 bezeichnet eine Vektormodifiziereinrichtung.
  • Nachfolgend wird die Funktion der Bildbewegungsvektorvorhersageeinrichtung mit den vorstehend genannten Bestandteilen beschrieben. Ein für jedes Halbbild erfaßter Bewegungsvektor wird dem Eingangsanschluß 101 eingegeben. Das Tiefpassfilter 114 filtert Hochfrequenzkomponenten einer Halbbildfrequenz eines für jedes Halbbild eingegebenen Vektors und sendet das gefilterte Ergebnis. Die Hochfrequenzkomponenten nehmen etwa ein Viertel oder mehr der Halbbildfrequenz ein. Die Differenzvorhersageeinrichtung 115 errechnet einen vorhergesagten Vektor (2×a×X(n-1) - b×X(n-2), 2×a×Y(n-1) + b×Y(n-2)) (a und b bezeichnen Koeffizienten) unter Verwendung des letzten Vektors (X(n-1), Y(n-1)) und des diesem vorangehenden Vektors (X(n-2), Y(n-2)), welche aus den für jedes Halbbild eingegebenen Vektoren ausgewählt sind. Anschließend gibt die Einrichtung 115 diese aus.
  • Der Speicher 105 gibt den letzten Vektor (X(n-1), Y(n-1)) der für jedes Halbbild eingegebenen Vektoren aus. Die Vektormodifiziereinrichtung 129 arbeitet so, daß sie ein Ausgangssignal V0 des Generators 127 für den vorhergesagten Bewegungsvektor auf Werte V2(1) bis V2(4) unter Verwendung der folgenden Gleichung und eines Koeffizienten C, der kleiner ist als Eins, modifiziert:
  • V2(k) = (1 - C)×V0 + C×V1(k)
  • (k = 1, 2, 3, 4)
  • wobei V1(1) ein Ausgangssignal des Tiefpassfilters 114 bezeichnet, V1(2) ein Ausgangssignal einer Differenzvorhersageeinrichtung 115 bezeichnet, V1(3) ein Ausgangssignal des Speichers 105 bezeichnet, und V(4) (richtig: V1(4)) ein Ausgangssignal des Nullvektors 128 bezeichnet.
  • Die Differenz-Absolutwertumwandlungseinrichtung 126 speichert jedes Ausgangssignal der Vektormodifiziereinrichtung 129 und das Ausgangssignal des Vektorgenerators 127 und sendet an die Bestimmungs- und Steuereinrichtung 116 einen Absolutwert einer Differenz zwischen jedem Ausgangssignal und dem das nächste Mal eingegebenen Bewegungsvektor (X(n), Y(n)). Die Bestimmungs- und Steuereinrichtung 116 speichert diese Absolutwerte für einen vorbestimmten Zeitraum und bestimmt, daß der kleinste Wert der zuverlässigste ist. Anschließend sendet sie das Resultat an den Generator 127 für den vorhergesagten Bewegungsvektor. Der Generator 127 für den vorhergesagten Bewegungsvektor sendet gewichtete Werte des Nullvektors 128 und der Ausgangssignale des Tiefpassfilters 114, der Differenzvorhersageeinrichtung 115 und des Speichers 105 als einen vorhergesagten Bewegungsvektor. Wenn das Ausgangssignal des Generators 127 für den vorhergesagten Bewegungsvektor das zuverlässigste ist, wird die Gewichtung nicht verändert. Wenn ferner bestimmt wird, daß einer der zu den jeweiligen Ausgangssignalen V1 dieser Signalverarbeitungswege hin modifizierten Werte der zuverlässigste ist, arbeitet die Vektormodifiziereinrichtung 129 so, daß sie die Gewichtung des zugehörigen Signalverarbeitungsweges erhöht.
  • Wie vorstehend dargelegt umfaßt die vorliegende Ausführungsform die Schritte der Verarbeitung der vor dem gegenwärtigen Halbbild erhaltenen Vektoren durch die Vielzahl von Signalverarbeitungswegen, Gewichtung und Durchschnittswertbildung der Ausgangssignale von diesen Wegen, Senden des Resultats als einen vorhergesagten Bewegungsvektor, Nehmen einer Differenz zwischen dem vorhergesagten Bewegungsvektor und dem Bewegungsvektor des gegenwärtigen Halbbildes, Modifizieren des vorhergesagten Bewegungsvektors auf die Ausgangssignale der Signalverarbeitungswege zu, Erhalten einer Differenz zwischen jedem der modifizierten Werte und dem Bewegungsvektor des gegenwärtigen Halbbildes, Prüfen der jeweiligen Differenzen im Hinblick auf die Größe eines Fehlers für eine vorbestimmte Zeit und Bestimmen der Zuverlässigkeit auf der Basis der Differenzen, und Modifizieren der Gewichtung, so daß sie an jeden Zustand angepaßt wird. Somit kann sie automatisch eine optimale Gewichtung entsprechend verschiedenen Bildaufnahmebedingungen und abgebildeten Objekten vornehmen und die Veränderung von Bedingungen gleichmäßig anpassen. Diese Ausführungsform ermöglicht die exaktere und gleichmäßigere Anpassung an verschiedene Bedingungen und die exaktere Vorhersage eines Bewegungsvektors als die vorstehend genannten Ausführungsformen.
  • In dieser Ausführungsform gibt das Ergebnis der Zuverlässigkeitsbestimmung die vorhergesagte Zuverlässigkeit an, die durch die Bildbewegungsvektorvorhersageeinrichtung zu diesem Zeitpunkt bestimmt wurde. Es ist bevorzugt, diesen Wert ebenfalls auszugeben, da es für die Anwendung der Bildbewegungsvektorvorhersageeinrichtung praktisch sein kann.
  • Gemäß der Konstruktion dieser Ausführungsform gibt die Differenz-Absolutwertumwandlungseinrichtung 126 einen Absolutwert einer Differenz zwischen jedem Ausgangssignal dieser Signalverarbeitungswege und dem Bewegungsvektor des gegenwärtigen Halbbildes aus. Sie kann jedoch ein Quadrat der Differenzen oder einen nicht linear verarbeiteten Absolutwert der Differenzen ausgeben.
  • Fig. 12 ist ein Blockdiagramm, das einen Bildbewegungsvektordetektor zeigt, welcher die vorstehend beschriebene Vorhersageeinrichtung verwendet. In Fig. 12 bezeichnet 130 einen Eingangsanschluß für ein Bildsignal, 131 bezeichnet einen Darstellungspunktspeicher, der so arbeitete, daß er ein Signal für jedes Pixel speichert, das auf den Darstellungspunkten in dem eingegebenen Bildsignal positioniert ist, 132 bezeichnet einen Differenz-Absolutwertwandler, der einen Absolutwert einer Differenz zwischen beiden Eingangssignalen ausgibt, 133 bezeichnet einen Akkumulator, 134 bezeichnet eine Minimalpunkterfassungsschaltung, 135 bezeichnet eine Erfassungsbereichsteuerung und 136 bezeichnet eine Bewegungsvektorvorhersageeinrichtung.
  • Nachfolgend wird die Funktion der Bildbewegungsvektorvorhersageeinrichtung gemäß vorliegender Ausführungsform mit den vorstehenden Bestandteilen beschrieben. Ein zeitlich kontinuierliches Bildsignal wird dem Eingangsanschluß 130 eingegeben. In dem Darstellungspunktspeicher 131 wird mehr als ein Darstellungspunkt vorab in einem Erfassungsbereich auf einem Bildschirm eingestellt. Der Speicher 2 speichert ein Signal für jedes an den Darstellungspunkten positionierte Pixel in dem empfangenen Bildsignal. Wenn ein Halbbild (n-1) eingegeben wird, wird ein Bewegungsvektor (X(n-1), Y(n-1)) des Halbbildes vor dem Halbbild (n-1) erfaßt, und dieser Vektorwert wird der Bewegungsvektorvorhersageeinrichtung 136 eingegeben. Die Bewegungsvektorvorhersageeinrichtung 136 ist wie in Fig. 6 gezeigt konstruiert. Entsprechend dem Betrieb der vorstehend beschriebenen ersten Bewegungsvektorvorhersageeinrichtung sagt die Einrichtung 136 einen Bewegungsvektor eines nächsten Halbbildes (n) vorher und gibt den vorhergesagten Wert (X', Y') der Erfassungsbereichsteuereinrichtung 135 ein. Wenn ein Signal des nächsten Halbbildes (n) eingegeben wird, dient der Differenz-Absolutwertwandler 132 dazu, einen Absolutwert &Delta;L (i, j) einer Differenz zwischen einem Signal für jede Position der Darstellungspunkte des vorangehenden Halbbildes und einem Signal für jede von den Darstellungspunkten des gegenwärtigen Halbbildes um (horizontal i + X(n-1), vertikal j + Y(n-1)) verlagerte Position der Darstellungspunkte des gegenwärtigen Halbbildes herzuleiten, indem sie durch die Erfassungsbereichsteuereinrichtung 135 gesteuert wird. Der Bereich von i und j wird im wesentlichen bei Null zentriert (-hi/2 < i &le; hi/2, -hj/2 < j &le; hj/2). Der Akkumulator 133 enthält eine Tabelle für die Verlagerung (i, j), in welcher Tabelle das von dem Differenz-Absolutwertwandler 3 gesendete Signal kumulativ in jedem Element der Verlagerung (i, j) addiert wird. Der resultierende Wert wird als ein Korrelativwert &Sigma; &Delta;L (i, j) der Verlagerung (i, j) angenommen. Die Minimalpunkterfassungsschaltung 134 erfaßt die Verlagerung (i', j'), die einen Minimalwert der Korrelativwerte ergibt, und berechnet eine Addition der erfaßten Verlagerung (i', j') und des erfaßten Vektors (X(n-1), Y(n-1)) als einen Bewegungsvektor (X(n), Y(n)) des gegenwärtigen Halbbildes bezüglich des vorangehenden Halbbildes.
  • Fig. 13a zeigt einen Bildbewegungsvektor, der sich ergibt, wenn ein Bild mit einer hohen Frequenz vibriert. Dies wird dann verursacht, wenn ein Benutzer ein Videobild von einem fixierten Beobachtungspunkt an einem Fahrzeug, das mit einer hohen Frequenz vibriert, aufnimmt. Fig. 13b zeigt einen Bildbewegungsvektor, der sich ergibt, wenn ein Benutzer eine Videokamera in seinen Händen hält. In der Darstellung bezeichnet 117 einen Bewegungsvektor, der sich mit der Zeit verändert, 118 bezeichnet einen erfaßten Vektor des vorangehenden Halbbildes, 119 bezeichnet einen erfaßten Vektor von zwei Halbbildern vorher, 120 bezeichnet einen Bewegungsvektor des gegenwärtigen Halbbildes, 121 bezeichnet einen Bewegungsvektor, der durch das Tiefpassfilter 114 gefiltert ist, 122 bezeichnet ein Ausgangssignal der Differenzvorhersageeinrichtung 115 im gegenwärtigen Halbbild und 137 bezeichnet einen Erfassungsbereich eines Bewegungsvektors.
  • Wie vorstehend erörtert (bezüglich der ersten Ausführungsform der Vorhersageeinrichtung) hat dann, wenn eine große Menge von Hochfrequenzkomponenten in dem Bewegungsvektor enthalten ist, wie in Fig. 13a gezeigt, das Ausgangssignal 121 des Tiefpassfilters 114 einen kleineren Fehler. Wenn andererseits eine kleine Menge von Hochfrequenzkomponenten in dem Bewegungsvektor enthalten ist, wie in Fig. 13b gezeigt, hat der Vektor 122, der aus den Vektoren des vorangehenden Halbbildes 118 und des Halbbildes 119 von zwei Halbbildern vorher vorhergesagt wurde, einen kleineren Fehler. Da jedoch die Bewegungsvektorvorhersageeinrichtung 136 in Übereinstimmung mit der Bedingung die Erzeugung eines Ausgangssignales mit einem kleineren Fehler auswählt, kann der Erfassungsbereich 137 des Bewegungsvektors in jeder der Figuren 13a und 13b klein sein. Wenn somit die Bewegungsvektorerfassungseinrichtung einen Bereich (hi, hj) zur Herleitung von Korrelativwerten zwischen zwei Bildern bereitstellt, kann sie einen Bewegungsvektor erfassen, der eine größere Amplitude hat, was zu einer starken Verringerung der Verarbeitungszeit und der Schaltungsbaugröße führt.
  • Die Bewegungsvektorvorhersageeinrichtung 136 ist so konstruiert, daß sie dieselbe Struktur und Funktion wie die Bewegungsvektorvorhersageeinrichtung der ersten Ausführungsform, wie in Fig. 6 gezeigt, hat. Sie kann so konstruiert sein, daß sie dieselbe Struktur und Funktion wie bei der zweiten und der dritten Ausführungsform hat. Wenn sie so konstruiert ist, daß sie dieselbe Struktur und Funktion wie die der dritten Ausführungsform hat, wie unter Bezug auf die Bewegungsvektorvorhersageeinrichtung der dritten Ausführungsform beschrieben, erhält sie eine Differenz zwischen dem vorhergesagten Bewegungsvektor, der durch die Bewegungsvektorvorhersageeinrichtung 136 erhalten wird, und dem Bewegungsvektor des gegenwärtigen Halbbildes, und prüft die Größe eines Fehlers für einen vorbestimmten Zeitraum. Anschließend wird das Resultat an die Erfassungsbereichsteuereinrichtung 135 zusammen mit dem vorhergesagten Bewegungsvektor ausgegeben. Die Einrichtung 135 steuert einen Bereich (hi, hj) zur Herleitung von Korrelativwerten durch Bewertung des Resultats der Prüfung der Größe eines Fehlers, wodurch ein Bewegungsvektor exakt erfaßt wird.
  • Jeder Block und die Gesamtstruktur jeder dieser Vorhersageeinrichtungen der ersten, zweiten und dritten Ausführungsform kann mit Hardware unter Verwendung tatsächlicher Schaltungen oder mit Software, die in einem Mikrocomputer läuft, realisiert werden.
  • Die Vorhersageeinrichtung der vorliegenden Erfindung macht es möglich, einen Vektor exakt in einer Weise vorherzusagen, die der Bedingung angeglichen ist, welcher das Objektbild unterliegt. Die Vektorerfassungseinrichtung, die die Vorhersageeinrichtung verwendet, macht es möglich, zuverlässig und in breitem Rahmen einen Bewegungsvektor mit einem geringeren Arbeits-, Schaltungs- und Verarbeitungszeitaufwand in jedem Zustand zu erfassen. Sie bietet somit in der tatsächlichen Anwendung sehr praktische Effekte.
  • Wie vorstehend erörtert ist die Erfindung in der Lage, den Bewegungsvektor in einem breiteren Bereich mit weniger Arbeits-, Schaltungs- und Verarbeitungszeitaufwand als der Stand der Technik zu erfassen. Zusätzlich kann die vorliegende Erfindung sehr leicht realisiert werden und bietet sehr praktische Effekte.

Claims (8)

1. Detektor zum Erfassen eines Vektors, der die Bewegung eines Bildes angibt (ein Bildbewegungsvektordetektor) [2, 3, 4, 5, 8 (9); 105, 114-116, 126-129; 131-136], der zum Ableiten von Korrelativwerten von Halbbilddaten zwischen einem Eingangs-TV-Signal eines gegenwärtigen Halbbildes und demjenigen eines vorangehenden Halbbildes in einem Bereich zum Erfassen eines Bewegungsvektors und zum Erfassen eines optimalen Punktes der Korrelativwerte als einen Bildbewegungsvektor konstruiert ist,
dadurch gekennzeichnet, daß er Einrichtungen (112-116; 105, 114-116, 126, 127; 105, 114-116, 126, 127, 129) zur Vorhersage eines Bereiches für einen Bewegungsvektor eines gegenwärtigen Halbbildes basierend auf den vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren und zum Verändern des Bereiches zum Erfassen eines Bewegungsvektors basierend auf einem Ausgangssignal der Vorhersageeinrichtung umfaßt.
2. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem eine Einrichtung zum Ableiten von Korrelativwerten ein Abgleichungsverfahren von Darstellungspunkten verwendet, welches voreingegebene Positionsdarstellungspunkte nutzt, und die Mitte des Bewegungsvektorerfassungsbereiches, der einen Signalbereich zum Ableiten von Korrelativwerten für die Darstellungspunkte bestimmt, von den Positionen der Darstellungspunkte zur Mitte des Bewegungsvektorbereiches verschoben wird, der für das gegenwärtige Halbbild auf der Basis der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren vorhergesagt wurde.
3. Bildbewegungsdetektor nach Anspruch 1, bei welchem die Einrichtung zum Ableiten von Korrelativwerten ein Abgleichungsverfahren für Darstellungspunkte verwendet, welches veränderliche Positionsdarstellungspunkte nutzt, die Positionen eines Signalbereiches zum Ableiten von Korrelativwerten für die Darstellungspunkte voreingestellt sind und die Positionen der Darstellungspunkte in einer Richtung, die derjenigen einer Verlagerung der Mitte des Bewegungsvektorbereiches entgegengesetzt ist, der für das gegenwärtige Halbbild auf der Basis der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren vorhergesagt wurde, von der Mitte des Signalbereiches verschoben werden, um Korrelativwerte für die Darstellungspunkte abzuleiten.
4. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem die Vorhersageeinrichtung (112-116) eine Einrichtung (114, 115) zum Ableiten eines vorhergesagten Bewegungsvektors des gegenwärtigen Halbbildes durch Zeitabfolgesignalverarbeitung der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren und eine Einrichtung (116) zum Prüfen einer Frequenzkomponente einer Veränderung mit der Zeit der Bewegungsvektoren, die vor dem gegenwärtigen Halbbild erhalten wurden, und zum Steuern der Zeitreihensignalverarbeitung, die durch die Einrichtung zum Ableiten des vorhergesagten Bewegungsvektors basierend auf dem Prüfergebnis durchgeführt wird, umfaßt.
5. Bildbewegungsvektordetektor nach Anspruch 4, bei welchem die Prüf- und Steuereinrichtung (116) eine Einrichtung, die als einen vorhergesagten Bewegungsvektor des gegenwärtigen Halbbildes, wenn eine große Menge von Hochfrequenzkomponenten, die höher sind als eine vorbestimmte Frequenz, in einer Veränderung mit der Zeit der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren enthalten ist, einen Vektorwert abgibt, der durch Entfernen der Hochfrequenzkomponenten und Glätten der Bewegungsvektoren mit der Zeit, die vor dem gegenwärtigen Halbbild erhalten wurden, erhalten wird, während sie als einen vorhergesagten Bewegungsvektor des gegenwärtigen Halbbildes, wenn Hochfrequenzkomponenten, die nicht die vorbestimmte Frequenz übersteigen, hauptsächlich enthalten sind, einen Vektorwert abgibt, der unter Verwendung von hauptsächlich einem erfaßten Vektor des vorhergehenden Halbbildes oder von erfaßten Vektoren des vorhergehenden Halbbildes und zweier Halbbilder vorher vorhergesagt wurde.
6. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem die Vorhersageeinrichtung (105, 114-116, 126, 127) eine Einrichtung (105, 114, 115) zum Verarbeiten der vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren durch zwei oder mehr verschiedene Zeitreihensignalverarbeitungen bzw. Ableiten von Vorhersagekandidatenvektoren des gegenwärtigen Halbbildes, eine Einrichtung (127) zum Erhalten eines vorhergesagten Bewegungsvektors durch Auswählen aus den Kandidatenvektoren oder durch Gewichten der jeweiligen Kandidatenvektoren und Durchschnittswertbildung der gewichteten Ergebnisse und eine Einrichtung (116) zum Prüfen einer Differenz jedes Kandidatenvektors oder sowohl jedes Kandidatenvektors als auch eines vorhergesagten Bewegungsvektors von einem Bewegungsvektor, der tatsächlich zu einem späteren Zeitpunkt erhalten wird, Speichern der Differenzdaten über mehrere Halbbilder und Steuern der Auswahl oder Gewichtung durch die Einrichtung (127) zum Erhalten eines vorhergesagten Bewegungsvektors auf der Basis der gespeicherten Differenzdaten umfaßt.
7. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem die Vorhersageeinrichtung (105, 114-116, 126, 127) eine Einrichtung (105, 114, 115) zur Durchführung von zwei oder mehr verschiedenen Zeitreihensignalverarbeitungen an den Bewegungsvektoren, die vor dem gegenwärtigen Halbbild erhalten wurden, und zum Erzeugen von jeweiligen Verarbeitungsausgangssignalen, eine Einrichtung (126) zum Erfassen einer Differenz zwischen jedem der Verarbeitungsausgangssignale und einem in dem gegenwärtigen Halbbild erhaltenen Bewegungsvektor, eine Einrichtung (116) zum Speichern der erfaßten Differenzen auf der Zeitreihenbasis und Bestimmen der Zuverlässigkeit jedes Verarbeitungsausgangssignals und eine Einrichtung (227), die als einen vorhergesagten Bewegungsvektor einen zuverlässigsten Wert in den Ergebnissen der Zuverlässigkeitsbestimmung oder einen Wert abgibt, der durch Gewichten und Durchschnittswertbildung jedes Verarbeitungsausgangssignals auf der Basis der Ergebnisse der Zuverlässigkeitsbestimmung erhalten wurde, umfaßt.
8. Bildbewegungsvektordetektor nach Anspruch 1, bei welchem die Vorhersageeinrichtung (105, 114-116, 126, 127, 129) eine Einrichtung (105, 114, 115) zur Durchführung von zwei oder mehr verschiedenen Zeitreihensignalverarbeitungen an den vor dem gegenwärtigen Halbbild erhaltenen Bewegungsvektoren und Erzeugen von jeweiligen Verarbeitungsausgangssignalen, eine Einrichtung (127), die als einen vorhergesagten Bewegungsvektor einen Wert abgibt, der durch Gewichten und Durchschnittswertbildung jedes Verarbeitungsausgangssignals erhalten wurde, eine Einrichtung (129) zum Abgeben eines Vektorwertes, der durch Modifizieren des vorhergesagten Bewegungsvektors jeweils in der Richtung jedes Verarbeitungsausgangssignales erhalten wurde, eine Einrichtung (126) zum Erfassen einer Differenz zwischen jedem modifizierten Vektor entlang dem vorhergesagten Bewegungsvektor und einem Bewegungsvektor, der in dem gegenwärtigen Halbbild erhalten wurde, und eine Einrichtung (116) zum Speichern der erfaßten Differenzen auf der Zeitreihenbasis und Bestimmen der Zuverlässigkeit jedes der Verarbeitungsausgangssignale, und eine Einrichtung (127) zum Bestimmen eines zuverlässigsten Verarbeitungsausgangssignales in den Ergebnissen der Zuverlässigkeitsbestimmung und zum Bestimmen oder Modifizieren des Ausmaßes der jeweiligen Gewichtung, die von der Ausgabeeinrichtung (127) für den vorhergesagten Bewegungsvektor durchgeführt wird, auf der Basis des Ergebnisses der Bestimmung umfaßt.
DE69019589T 1989-03-03 1990-03-02 Vorrichtung zur Ermittlung eines Bildbewegungsvektors. Expired - Lifetime DE69019589T3 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP1052286A JP3001897B2 (ja) 1989-03-03 1989-03-03 画像の動きベクトル検出方法および画像の動きベクトル検出装置
JP6178089A JP2753024B2 (ja) 1989-03-14 1989-03-14 画像の動きベクトル予測装置および検出装置

Publications (3)

Publication Number Publication Date
DE69019589D1 DE69019589D1 (de) 1995-06-29
DE69019589T2 true DE69019589T2 (de) 1996-02-08
DE69019589T3 DE69019589T3 (de) 2001-03-15

Family

ID=26392890

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69019589T Expired - Lifetime DE69019589T3 (de) 1989-03-03 1990-03-02 Vorrichtung zur Ermittlung eines Bildbewegungsvektors.

Country Status (4)

Country Link
US (1) US5047850A (de)
EP (1) EP0393823B2 (de)
KR (1) KR930002612B1 (de)
DE (1) DE69019589T3 (de)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2239575B (en) * 1989-10-17 1994-07-27 Mitsubishi Electric Corp Motion vector detecting apparatus and image blur correcting apparatus, and video camera including such apparatus
DE69124777T2 (de) * 1990-11-30 1997-06-26 Canon Kk Gerät zur Detektion des Bewegungsvektors
JPH04207481A (ja) * 1990-11-30 1992-07-29 Canon Inc 動き検出装置
JP3103894B2 (ja) * 1991-02-06 2000-10-30 ソニー株式会社 ビデオデータの手振れ補正装置およびその方法
JP2861462B2 (ja) * 1991-04-12 1999-02-24 ソニー株式会社 動きベクトル検出装置
JP3123130B2 (ja) * 1991-06-28 2001-01-09 ソニー株式会社 動きベクトル検出装置
KR940007163B1 (ko) * 1991-07-09 1994-08-06 삼성전자 주식회사 캠코더의 피사체 자동추적장치
JP3116967B2 (ja) * 1991-07-16 2000-12-11 ソニー株式会社 画像処理装置および画像処理方法
US5453800A (en) * 1991-10-17 1995-09-26 Sony Corporation Apparatus for judging a hand movement of an image
US5371539A (en) * 1991-10-18 1994-12-06 Sanyo Electric Co., Ltd. Video camera with electronic picture stabilizer
JPH05268594A (ja) * 1992-03-18 1993-10-15 Sony Corp 動画像の動き検出装置
JP2885010B2 (ja) * 1993-08-25 1999-04-19 松下電器産業株式会社 画像動き補正装置
JP3221785B2 (ja) * 1993-10-07 2001-10-22 株式会社日立製作所 撮像装置
JP3468856B2 (ja) * 1994-07-28 2003-11-17 株式会社東芝 動きベクトル検出方法及び装置
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
JP3019787B2 (ja) 1996-09-20 2000-03-13 日本電気株式会社 動きベクトル検出装置
JP3677192B2 (ja) * 2000-04-19 2005-07-27 シャープ株式会社 画像処理装置
US6674474B2 (en) * 2000-10-23 2004-01-06 Hitachi Kokusai Electric Inc. Method of controlling transmission light amount and television camera apparatus using the method
US7957466B2 (en) * 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US20070064805A1 (en) * 2005-09-16 2007-03-22 Sony Corporation Motion vector selection
US7885335B2 (en) * 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US8165205B2 (en) 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US8059719B2 (en) * 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US7596243B2 (en) * 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
DE102009037316A1 (de) * 2009-08-14 2011-02-17 Karl Storz Gmbh & Co. Kg Steuerung und Verfahren zum Betreiben einer Operationsleuchte
CN103947181A (zh) * 2011-11-18 2014-07-23 三菱电机株式会社 图像处理装置和方法以及图像显示装置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57133784A (en) * 1981-02-12 1982-08-18 Mitsubishi Electric Corp Correlation tracking device
JPH06101841B2 (ja) * 1984-01-11 1994-12-12 日本電気株式会社 動画像信号の符号化方法およびその装置
JPH0683436B2 (ja) * 1985-07-26 1994-10-19 ソニー株式会社 動きベクトル検出方法
CA1252569A (en) * 1985-09-13 1989-04-11 Akihiro Furukawa Method and device of coding a digital video signal for reproduction of pictures with a high quality even upon occurrence of a drastical change between the pictures
JPH082090B2 (ja) * 1986-12-27 1996-01-10 株式会社東芝 画像動き補正装置
ATE74219T1 (de) * 1987-06-02 1992-04-15 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
DE3811535A1 (de) * 1988-04-06 1989-10-19 Philips Patentverwaltung Hybrid-codierer fuer videosignale
GB2220319B (en) * 1988-07-01 1992-11-04 Plessey Co Plc Improvements in or relating to image stabilisation
DE3822195A1 (de) * 1988-07-01 1990-01-04 Licentia Gmbh Verfahren zur bestimmung der amplitude und amplitudenlage des maximums eines korrelationssignales aus von einem korrelator bereitgestellten digitalen korrelationssignalen
DE3837590A1 (de) * 1988-11-05 1990-05-10 Ant Nachrichtentech Verfahren zum reduzieren der datenrate von digitalen bilddaten

Also Published As

Publication number Publication date
DE69019589T3 (de) 2001-03-15
EP0393823B1 (de) 1995-05-24
US5047850A (en) 1991-09-10
EP0393823A2 (de) 1990-10-24
EP0393823B2 (de) 2000-08-02
EP0393823A3 (de) 1992-01-08
KR930002612B1 (ko) 1993-04-03
DE69019589D1 (de) 1995-06-29
KR900015549A (ko) 1990-10-27

Similar Documents

Publication Publication Date Title
DE69019589T2 (de) Vorrichtung zur Ermittlung eines Bildbewegungsvektors.
DE69022461T2 (de) Bildbewegungsvektordetektor.
DE69123359T2 (de) Videobildverarbeitung
DE69322423T2 (de) Vorrichtung zur Detektion von Bewegungsvektoren
DE69132203T2 (de) System und Verfahren zur Echtzeit-Mischung von Videobildern aus mehreren Quellen
DE69033946T2 (de) Kodierungsgerät
DE3850709T2 (de) Reduzierung der Bewegungsvektoren in Fernsehbildern.
DE4411179B4 (de) Bildeinfangvorrichtung
DE69124777T2 (de) Gerät zur Detektion des Bewegungsvektors
DE4121727C2 (de) Bewegungssignalprozessor
DE69030890T2 (de) Bildaufnahmevorrichtung
DE69229705T2 (de) Verfahren zur erkennung eines bewegungsvektors und vorrichtung dafür und system zur verarbeitung eines bildsignals mit dieser vorrichtung
DE69415402T2 (de) Abtastungsumwandler von Zeilensprung in ohne Zeilensprung mit einer doppelten Glättungsfunktion und Verfahren dafür
DE60020910T2 (de) Rauschdetektor und Rauschdetektionsverfahren
DE69611113T3 (de) Vorrichtung zur Videorauschreduktion
EP0564957B1 (de) Verfahren und Vorrichtung für eine interlace-progressiv-Wandlung
DE102011056982A1 (de) Digitales Bildstabilisierungsverfahren mit adaptiver Filterung
EP0896481A1 (de) Adaptives Filter
EP0344579B1 (de) Anordung zur Reduzierung von Rauschen und Farbübersprechen bei Fernsehsignalen
DE69130998T2 (de) Bewegungsvektorextraktor
DE10024374B4 (de) Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens
DE69114795T2 (de) Bewegungskompensierte Bildfrequenzumwandlung.
DE68922694T2 (de) Bild-Bewegungsmessung.
DE69426820T2 (de) Vorrichtung und Verfahren zum Filtern von Videobildern
DE69319794T2 (de) Autofokus-Vorrichtung

Legal Events

Date Code Title Description
8363 Opposition against the patent
8366 Restricted maintained after opposition proceedings
8320 Willingness to grant licences declared (paragraph 23)
8327 Change in the person/name/address of the patent owner

Owner name: PANASONIC CORP., KADOMA, OSAKA, JP