DE69028033T2

DE69028033T2 - Bewegungsabhängige Videosignalverarbeitung

Info

Publication number: DE69028033T2
Application number: DE69028033T
Authority: DE
Inventors: Richard Joseph Andrew Avis
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1989-04-27
Filing date: 1990-04-11
Publication date: 1997-02-27
Anticipated expiration: 2010-04-12
Also published as: GB2231747B; GB8909649D0; GB2231747A; EP0395269B1; EP0395269A3; DE69028033D1; US5016102A; EP0395269A2

Description

Die vorliegende Erfindung bezieht sich auf eine bewegungsabhängige Videosignalverarbeitung. Insbesondere bezieht sich die Erfindung auf Video-Normenwandler, welche eine derartige Signalverarbeitung verwenden, und auf Verfahren zur Ableitung von Bewegungsvektoren, welche die Bewegung zwischen Halbbildern oder Einzelbildern eines Videosignals repräsentieren.
Video-Normenwandler sind allgemein bekannte Einrichtungen, welche verwendet werden, um Videosignale von einer Norm in eine andere umzusetzen, z. B. von einer Norm mit 625 Zeilen pro Einzelbild und 50 Halbbildern pro Sekunde in eine Norm mit 525 Halbbilder pro Einzelbild und 60 Halbbildern pro Sekunde. Eine zufriedenstellende Umwandlung von Videonormen kann wegen der zeitlichen und vertikalen Faltung, welche in einem Videosignal vorhanden ist, nicht bloß durch die Verwendung einfacher linearer Interpolationstechniken erzielt werden. So erzeugt eine einfache lineare Interpolation unerwünschte Störsignale in dem sich ergebenden Bild, insbesondere sind die Bilder vertikal verschwommen und zittern zeitlich.
Um diese Probleme zu verringern, ist vorgeschlagen worden, daß Video-Normenwandler anpassungsfähige Techniken verwenden sollten, um dieparameter eines linearen Interpolators in Abhängigkeit von dem Grad der Bewegung in dem Bild, welches durch das ankommende Videosignal repräsentiert wird, umzuschalten.
Es ist außerdem vorgeschlagen worden, z. B. zum Zwecke der Datenverringerung bei der Videosignalverarbeitung, Bewegungsvektoren aus einem ankommenden Videosignal mittels einer Blockanpassungstechnik zu erzeugen, bei welcher der Inhalt eines Suchblocks in einem Halbbild oder Einzelbild mit den jeweiligen Inhalten einer Vielzahl von Suchblöcken verglichen wird, welche in einem Suchbereich in dem folgenden Halbbild oder Einzelbild enthalten sind, um die minimale Differenz zwischen den so verglichenen Inhalten zu bestimmen und hieraus die Richtung und Distanz einer Bewegung (wenn es eine gibt) des Inhalts des ursprünglichen Suchblocks.
Die vorliegende Erfindung beschäftigt sich insbesondere mit dem Problem der Auswahl der geeigneten minimalen Differenz.
Die europäische Patentanmeldung EP-A-0 294 962 offenbart einen Normenwandler gemäß dem Oberbegriff des Patentanspruchs 1.
Die EP-A-0 181 215 offenbart eine Vorrichtung zur Detektion einer Bewegung in Bildern, wobei das Bild in vier Gebiete aufgeteilt wird. In jedem Bereich wird die Differenz zwischen Pixeln im Zentrum der Blöcke und aller Pixel in dem entsprechenden Block des nächsten Einzelbildes berechnet, um Einzelbilddifferenzsummendaten für jeden Bereich auszugeben. Ein Minimalwert bei den Summendaten kennzeichnet einen Bewegungsvektor für diesen Bereich, und für jeden Bereich wird dieser Minimalwert zu den Werten der Summendaten für die anderen Bereiche entsprechend dem Bewegungsvektor summiert, um ein Additionsausgangssignal auszugeben. Das niedrigste der vier Additionsausgangssignale wird als das ausgewählt, welches den Bewegungsvektor für das gesamte Einzelbild anzeigt.
BBC Research Dept. Report, September 1987, BBC, London, UK; G.A. Thomas: "Television Measurement for DATV and other Applications" offenbart eine Bewegungsvektor-Detektionstechnik, bei welcher eine Korrelationsoberfläche, welche mittels Phasenkorrelation unter Verwendung eines großen Blocks von Pixeln erzeugt worden ist, nach mehreren Spitzen durchsucht wird, welche die unterschiedliche Bewegung der verschiedenen Bereiche innerhalb des Blocks anzeigen, wobei die Bewegungsvektoren dann den entsprechenden Gebieten der Blöcke zugeteilt werden.
Gemäß der vorliegenden Erfindung wird ein bewegungskompensierter Video-Normenwandler, wie er ausführlich im Anspruch 1 aufgezeigt ist, bereitgestellt.
Außerdem wird gemäß der vorliegenden Erfindung ein Verfahren zur Herleitung von Bewegungsvektoren, welche die Bewegung zwischen aufeinanderfolgenden Halbbildern oder Einzelbildern eines Videosignals repräsentieren, wie es ausführlich im Anspruch 5 aufgezeigt ist, bereitgestellt.
Die Erfindung wird nun anhand eines Beispiels im Zusammenhang mit den beigefügten Zeichnungen beschrieben, in denen durchweg gleiche Teile durch gleiche Bezugszeichen gekennzeichnet sind, und in welchen:
Fig. 1 ein Blockschaltbild einer Ausführungsform eines bewegungskompensierten Video-Normenwandlers gemäß der vorliegenden Erfindung ist;
Fig. 2 schematisch eine fortlaufende Abtastumwandlung zeigt;
Fig. 3 bis 6 schematisch Folgen von Zeilen in Folgen von Halbbildern zur Erklärung der fortlaufenden Abtastumwandlung zeigen;
Fig. 7 ein Blockschaltbild ist, welches die Bewegungsschritte zeigt, welche bei einer fortlaufenden Abtastumwandlung anwendbar sind;
Fig. 8 schematisch das fortlaufende Abtasten zeigt, speziell die erforderliche Abschätzung und den Differenzwert zwischen aufeinanderfolgenden Halbbildern;
Fig. 9 und 10 Diagramme sind, welche zur ausführlicheren Er klärung der Technik der Fig. 8 verwendet werden, wobei die Fig. 9 eine fortlaufende Abtastnormalisierungsfunktion zeigt und Fig. 10 eine fortlaufende nichtlineare Abtastfunktion zeigt;
Fig. 11 schematisch die Erzeugung von Pixeln in Fehlzeilen bei einer fortlaufenden Abtastumwandlung zeigt;
Fig. 12 und 13 schematisch Suchblöcke und Suchbereiche und die zwischen ihnen bestehende Beziehungen zeigen;
Fig. 14 eine Korrelationsoberfläche zeigt;
Fig. 15 und 16 schematisch zeigen, wie ein Suchblock vergrößert wird;
Fig. 17 die Bereiche eines Einzelbildes zeigt, bei welchem eine Suchblockanpassung nicht möglich ist; Fig. 18 schematisch ein sich bewegendes Objekt zeigt, welches sich über drei Suchblöcke erstreckt;
Fig. 19 bis 21 drei sich jeweils ergebende Korrelationsoberflächen zeigen;
Fig. 22 und 23 weitere Beispiele von Korrelationsoberflächen zeigen, welche bei der Beschreibung eines Schwellentests verwendet werden;
Fig. 24 und 25 noch weitere Beispiele von Korrelationsoberflächen zeigen, welche bei der Beschreibung eines Ringtests verwendet werden;
Fig. 26 einen Teil der Ausführungsform in einer detaillierteren Blockschaltbilddarstellung zeigt;
Fig. 27 schematisch zeigt, wie die Richtung, in welcher ein Suchblock zu entwickeln ist, bestimmt wird;
Fig. 28 schematisch zeigt, wie eine Korrelationsoberfläche gewichtet wird;
Fig. 29 die Beziehung zwischen Abtastblöcken und Suchblöcken und einem Videoeinzelbild zeigt;
Fig. 30 die Bewegungsvektorbereiche in einem Videoeinzelbild zeigt;
Fig. 31 bis 33 schematische Zeichnungen zeigen, welche bei der Erklärung der Bewegungsvektorreduzierung in jeweiligen Bereichen eines Videoeinzelbildes verwendet werden;
Fig. 34 und 35 schematisch eine erste Stufe bei der Bewegungsvektorauswahl zeigen;
Fig. 36 und 37 schematisch zeigen, wie während der Bewegungsvektorauswahl eine Schwelle festgesetzt wird;
Fig. 38 schematische eine zweite Stufe bei der Bewegungsvektorauswahl zeigt;
Fig. 39 bis 45 Gruppierungen von Pixeln mit verknüpften Bewegungsvektoren zeigen, welche zur Erklärung der Bewegungsvektornachverarbeitung verwendet werden; und
Fig. 46 schematisch die Wirkungsweise eines Interpolators zeigt.
Die Ausführungsform des zu beschreibenden bewegungskompensierten Video-Normenwandlers ist insbesondere bestimmt für die Anwendung bei der Umsetzung eines Videosignals mit hoher Auflösung (HDVS) mit 1125 Zeilen pro Einzelbild, 60 Halbbildern pro Sekunde in einen 35 mm-Film mit 24 Einzelbilder pro Sekunde. Jedoch ist einzusehen, daß die Erfindung in dieser Beziehung nicht eingeschränkt ist, und daß der Normenwandler ohne weiteres ausgelegt werden kann, um eine Umsetzung zwischen anderen Normen durchzuführen.
Fig. 1 ist ein Blockschaltbild des Normenwandlers. Der Normenwandler umfaßt einen Eingangsanschluß 1, welchem ein Videoeingangssignal zugeführt wird. Der Eingangsanschluß ist mit einem fortlaufenden Abtastumwandler 2 verbunden, in welchem die Videoeingangshalbbilder in Videoeinzelbilder umgesetzt werden, welche einer direkten Blockanpassungsschaltung 3 zugeführt werden, in welcher die Korrelationsoberflächen erzeugt werden. Diese Korrelationsoberflächen werden mittels einer Bewegungsvektorabschätzungsschaltung 4 analysiert, welche Bewegungsvektoren ableitet und einer Bewegungsvektorreduzierungsschaltung zuführt, in welcher die Anzahl der Bewegungsvektoren für jedes Pixel reduziert wird, bevor sie einer Bewegungsvektorauswahlschaltung 6 zugeführt werden, welche außerdem ein Eingangssignal von dem fortlaufenden Abtastumwandler 2 empfängt. Irgendeine Unregelmäßigkeit bei der Auswahl der Bewegungsvektoren durch die Bewegungsvektorauswahlschaltung 6 wird mittels einer Bewegungsvektornachverarbeitungsschaltung 7 entfernt, von welcher die bearbeiteten Bewegungsvektoren einem Interpolator 8 zugeführt werden, um diesen zu steuern, welcher außerdem ein Eingangssignal von dem fortlaufenden Abtastumwandler 2 empfängt. Das Ausgangssignal des Interpolators 8, wel ches ein normenumgesetztes und bewegungskompensiertes Videosignal ist, wird einem Ausgangsanschluß 9 zugeführt. Jedes Teil des Normenwandlers und dessen Wirkungsweise wird nachfolgend näher beschrieben.
Der fortlaufende Abtastumwandler 2 erzeugt Ausgangseinzelbilder mit der gleichen Rate wie die der Eingangshalbbilder. Auf diese Weise wird, wobei Bezug auf Fig. 2 genommen wird, welche eine Folge von aufeinanderfolgenden Zeilen in einer Folge von aufeinanderfolgenden Halbbildern zeigt, wobei die Kreuze Zeilen repräsentieren, welche in den Eingangshalbbildern vorhanden sind, und die Quadrate interpolierte Zeilen repräsentieren, jedes Ausgangseinzelbild das zweifache der Anzahl von Zeilen wie ein Eingangshalbbild enthalten, wobei die Zeilen zwischen Zeilen von dem Videoeingangssignal und Zeilen, welche mittels einer der nachfolgend zu beschreibenden Verfahren interpoliert worden sind, miteinander abwechseln. Die interpolierten Zeilen können als ein interpoliertes Halbbild der entgegengesetzten Polarität des Eingangshalbbild betrachtet werden, aber in der gleichen zeitlichen Position.
Die fortlaufende Abtastumwandlung wird vorzugsweise aus zwei Hauptgründen ausgeführt; erstens, um den folgenden direkten Blockanpassungsprozeß leichter zu gestalten, und zweitens in Anbetracht des endgültigen Video-Ausgangsformat. Diese zwei Gründe werden nun detallierter betrachtet.
Die direkte Blockanpassung wird verwendet, um eine genaue Abschätzung der horizontalen und vertikalen Bewegung zwischen zwei aufeinanderfolgenden Videohalbbildern zu erhalten, wie weiter unten detaillierter beschrieben wird. Jedoch können aufgrund der verschachtelten Struktur des Videosignals, bei welchem die direkte Blockanpassung durchgeführt wird, Probleme entstehen.
Es soll das in Fig. 3 dargestellte Bild betrachtet werden, welches eine Folge von aufeinanderfolgenden Zeilen in einer Folge von aufeinanderfolgenden Halbbildern zeigt, wobei die leeren Quadrate weiße Pixel repräsentieren, die schwarzen Quadrate schwarze Pixel repräsentieren und die schraffierten Quadrate graue Pixel repräsentieren. Dieses repräsentiert daher ein statisches Bild mit einer hohen vertikalen Frequenzkomponente, welche bei einem HDV-System 1125/3 Zyklen pro Bild betragen würde. Da dieses Bild mittels des üblichen Zwischenzeilenabtastverfahrens abgetastet worden ist, scheint jedes Halbbild eine statische vertikale Frequenzluminanzkomponente Y von 1125/6 ZpB (Zyklen pro Bild) zu enthalten, wie in Fig. 4 gezeigt ist. Jedoch scheinen die Frequenzkomponenten in jedem Halbbild gegenphasig zu sein. Versuche, eine direkte Blockanpassung zwischen diesen zwei Halbbildern durchzuführen, werden zu einer Anzahl von verschiedenen Werten für die vertikalen Bewegungskomponente führen, von denen alle falsch sind. Dies ist in Fig. 5 gezeigt, in welcher die Abkürzung LPF Zeilen pro Halbbild bedeutet. Aus Fig. 5 ist klar zu erkennen, daß eine direkte Blockanpassung nicht die korrekte Lösung für die vertikale Bewegungskomponente liefert, wobei diese Komponente tatsächlich Null sein sollte. Dies ergibt sich daraus, daß die direkte Blockanpassung tatsächlich die Faltungskomponente des Videosignals eher als die tatsächliche Bewegung verfolgt.
Es wird nun Fig. 6 betrachtet, welche das gleiche statische Bild wie Fig. 3 darstellt, mit der Ausnahme, daß nun jedes Eingangshalbbild mittels einer fortlaufenden Abtastung umgewandelt worden ist, um ein Einzelbild auszubilden, wobei die Dreiecke interpolierte Pixel repräsentieren. Es ist zu erken nen, daß nun jedes Einzelbild die gleiche statische vertikale Frequenzkonponente wie die ursprünglichen Eingangshalbbilder enthält, d. h. 1125/3 ZpB. So kann die direkte Blockanpassung zwischen zwei aufeinanderfolgenden Einzelbildern nun den korrekten Wert für die vertikale Bewegung liefern, d. h. Null, und das Verfolgen der vertikalen Faltung ist vermieden worden. Außerdem ist es hier der Fall, daß die direkte Blockanpassung mittels aufeinanderfolgender Abtastung umgesetzter Einzelbilder zu einer genaueren vertikalen Bewegungsabschätzung führt, da die direkte Blockanpassung für Einzelbildern durchgeführt wird, welche die zweifache Anzahl an Zeilen besitzen.
Was Uberlegungen über das endgültige Ausgangsvideoformat im Fall der vorliegenden Ausführungsforn betrifft, wird das umgewandelte Videosignal über ein (Video-)Band einem Elektronenstrahlrekorder zugeführt und muß aus Einzelbildern bestehen, welche dem Bewegtbild mit einer Filmrate aus 24 Einzelbildern pro Sekunde entsprechen. Aus diesem Grunde ist daher die Erzeugung von mittels einer fortlaufenden Abtastung umgewandelten Einzelbilder notwendig, und darüber hinaus können die mittels fortlaufender Abtastung umgewandelten Einzelbilder außerdem für einen Wiederanlauf in dem Fall verwendet werden, in welchem die bewegungskompensierte Normenumwandlung betrachtet unakzeptable Ergebnisse erzeugt, z. B. in welchen die Bewegung zu mannigfaltig ist, um zufriedenstellend analysiert zu werden. In diesem Fall kann die Verwendung des an nächsten liegenden, mittels der fortlaufenden Abtastung umgewandelten Einzelbildes als das erforderliche Ausgangseinzelbild ziemlich annehmbare Ergebnisse schaffen.
Die fortlaufende Abtastumwandlung kann auf vielfache Weise ausgeführt werden, wie z. B. durch vorherige Einzelbildersetzung, eine Mittelfilterung, bei welcher drei räumlich aufeinanderfolgende Zeilen geprüft werden (zeitlich werden diese drei Zeilen aus zwei aufeinanderfolgenden Halbbildern herrühren) oder durch eine bewegungskompensierte Technik, welche eine Mehrfachgradienten-Bewegungsdetektion, gefolgt durch eine lineare Mehrfachrichtungs-Interpolation verwendet. Jedoch ist bei der vorliegenden Ausführungsform das bevorzugte Verfahren die bewegungsangepaßte fortlaufende Abtastumwandlung, deren Schritte in dem Blockschaltbild von Figg. 7 gezeigt sind. Das Konzept besteht darin, eine Interpolation zwischen den Halbbildern in völlig statischen Bildbereichen zu verwenden, um soviel vertikale Information wie möglich zu sichern, und eine Interpolation innerhalb eines Halbbildes zu verwenden, wenn eine signifikante Bewegung vorhanden ist. Außerdem unterstützt dies eine sanfte Beschreibung der Bewegung. In Szenen, in welcher die Bewegung irgendwo zwischen diesen zwei Extremen liegt, wird eine Abschätzung der lokalen Bewegung, welche in dem Bild vorhanden ist, durchgeführt, und diese wird dann verwendet, um unterschiedliche Anteile der Interpolation zwischen den Halbbildern und der Interpolation innerhalb eines Halbbildes miteinander zu mischen.
Genauer gesagt, es wird zuerst der Modul der Einzelbilddifferenz zwischen vorhergehenden und nachfolgenden Halbbildern erzeugt, wobei dies in Fig. 8 gezeigt ist. Um die erforderlichen Abschätzungen zu erzeugen, wird der Absolutbetrag zwischen den Einzelbildern in der Differenzmatrix aus den vorhergehenden und den nächsten Halbbildern für jeden Punkt erzeugt:
Δu (Pixel, aktuelle Zeile, akuelles Halbbild) =
Y (Pixel, aktuelle Zeile, nächstes Halbbild) --
Y(Pixel, aktuelle Zeile, vorhergehendes Halbbild)
wobei:
Δu der nicht normierte Differenzmatrix-Absolutbetrag ist,
und
Y die Luminanzmatrix entsprechend dem 3D-Bild ist.
Der Absolutbetrag der Differenz wird dann normiert, um ihn für die Bedeutung von Veränderungen in unteren Luminanzbereichen anzupassen:
ΔN (Pixel, aktuelle Zeile, aktuelles Halbbild) =
F(Y (Pixel, aktuelle Zeile)) *
Δu (Pixel, aktuelle Zeile, aktuelles Halbbild)
wobei:
ΔN der normierte Differenzmatrix-Absolutbetrag ist,
Y der Durchschnittsluminanzwert zwischen den Einzelbildern ist,
Y (Pixel, aktuelle Zeile) =
(Y (Pixel, aktuelle Zeile, vorhergehendes Halbbild) +
Y (Pixel, aktuelle Zeile, nächstes Halbbild))/2, und
F(Y (die Normierungsfunktion), wie in Fig. 9 gezeigt ist, abgeleitet wird.
Die Differenzmatrix A wird dann zusammen mit der vorhergehenden Halbbilddifferenz mittels eines Filters mit drei Abgriffen (Beispiele für Koeffizienten sind ¼, ½, ¼ oder 0, 1, 0) vertikal gefiltert, um vertikale Faltungsprobleme zu verringern, und insbesondere die bei der zeitlichen Faltung auftretenden Probleme zu minimieren. Daher gilt:
ΔF (Pixel, aktuelle Zeile, aktuelles Halbbild) =
ΔN (Pixel, aktuelle Zeile -1, vorhergehendes Halbbild) * C&sub1;
+
ΔN (Pixel, aktuelle Zeile, aktuelles Halbbild) * C&sub2; +
ΔN (Pixel, aktuelle Zeile + 1, vorhergehendes Einzelbild)
* C&sub1;
wobei
ΔF die gefilterte normierte Differenzmatrix ist, und C&sub1; und C&sub2; Filterkoeffizienten sind, und 2C&sub1; + C&sub2; = 1 ist, so daß eine Gleichstromverstärkung von 1 aufrechterhalten wird.
Es wird dann ein vertikales und horizontales Filter zur Verwendung innerhalb des Halbbilds mit fünf Abgriffen bis fünfzehn Abgriffen benutzt, um die Differenzwerte in dem aktuellen Halbbild zu glätten. In der Praxis ist ein Filter von drei Abgriffen auf drei Abgriffe ausreichend. Schließlich wird, um die aktuelle Bewegungsabschätzung zu erzeugen, eine nichtlineare Abbildungsfunktion angewendet, welche eine Funktion benutzt, um die Bewegungsabschätzung (ME) bereitzustellen:
ME (Pixel, aktuelle Zeile)
γ (räumlich gefiltertes ΔF (Pixel, aktuelle Zeile)
Die nichtlineare Funktion γ wird hergeleitet, wie in Fig. 10 gezeigt ist, wobei die ME für ein statisches Bild 0 ist, die ME für eine unbeschränkte Bewegung 1 ist, und für dazwischen liegende Bewegungen ein gesteuerter Übergang eintritt.
Um ein interpoliertes Pixel zu erzeugen, werden die Pixel in der fehlenden Zeile durch Übernahme von Verhältnissen der umgebenden Zeilen erzeugt, wie in Fig. 11 gezeigt ist. Die Bewegungsschätzung ME wird dann für den innerhalb eines Einzelbildes interpolierten Wert (erzeugt aus einem 2, 4, 6 oder vorzugsweise mit 8 Abgriffen versehenem Filter) angewendet, und 1-ME wird bei dem Durchschnitt zwischen Halbbildern (oder alternativ bei einem komplexer interpolierten Wert) angewendet, und diese werden aufsummiert, um die fortlaufende Abtastpixelabschätzung herzuleiten:
YOUT (Pixel, aktuelle Zeile) =
ME (Pixel, aktuelle Zeile) *
{Σ (Yin (Pixel, laufende Zeile -1 -2n, laufendes n = 0 bis 3
Halbbild) +
Yin (Pixel, aktuelle Zeile +1 +2n, aktuelles Halbbild)) * Cn
+ (1 - ME) (Pixel, aktuelle Zeile) *
(Yin (Pixel, aktuelle Zeile, vorhergehendes Halbbild) +
Yin (Pixel, akzuelle Zeile&sub1; nächstes Halbbild) ) /2
wobei
C&sub0;, C&sub1;, C&sub2; und C&sub3; sind die des innerhalb des Einzelbildes angewendeten Filterkoeffizienten, und es gilt 2(Cc + C&sub1; + C&sub2; + C&sub3;) = 1, so daß die Gleichstromverstärkung von 1 aufrechterhalten wird.
Es hat sich herausgestellt, daß dieses Verfahren der fortlaufenden Abtastumwandlung Einzelbilder hoher Qualität aus Eingangshalbbildern erzeugt, insbesondere, da ein sich bewegendes Objekt auf unterschiedliche Weise vor einem stationären Hintergrund isoliert und interpoliert werden kann.
Es wird wieder auf Fig. 1 Bezug genommen, in welcher die Videoeinzelbilder, welche durch den fortlaufenden Abtastumwandler 2 abgeleitet worden sind, benutzt werden, um Bewegungsvektoren herzuleiten. Die Bewertung der Bewegungsvektoren besteht aus zwei Schritten. Zuerst werden Korrelationsoberflächen durch die Korrelation von Suchblöcken aus aufeinanderfolgenden Einzelbildern erzeugt. Dann, nachdem diese Korrelationsoberflächen erhalten worden sind, müssen sie überprüft werden, um die Position oder Positionen zu bestimmen, bei welcher die Korrelation am besten ist. Es bestehen mehrere unterschiedliche Methoden zur Erhaltung einer Korrelationsoberfläche, wobei die zwei Hauptmethoden die Phasenkorrelation und die direkte Blockanpassung sind. Es gibt jedoch eine Vielzahl von Problemen, welche mit der Verwendung der Phasenkorrelation verbunden sind, wobei diese, kurz gesagt, den Transformationsmechanismus, die Fensterbildungsfunktion, die Blockgröße und die variable Qualität der Kontur der erzeugten Oberfläche betreffen. Bei der vorliegenden Erfindung wird daher die direkte Blockanpassung bevorzugt.
Die Schaltung 3 für die direkte Blockanpassung arbeitet wie folgt. Zwei Blöcke, welche jeweils eine rechteckige Matrix von Pixeln aus aufeinanderfolgenden Einzelbildern des mittels der fortlaufenden Abtastung umgewandelten Videosignals umfassen, werden korreliert, um eine Korrelationsoberfläche zu erzeugen, von welcher ein Bewegungsvektor abgeleitet wird.
Es wird Bezug auf Fig. 12 genommen. Zuerst wird ein kleiner Block, genannt ein Suchblock, von der Größe von 32 Pixel auf 23 Zeilen aus einem Einzelbild herausgenommen, wie in Fig. 12 gezeigt ist. Dann wird ein größerer Block, genannt ein Suchbereich, mit der Größe von 128 Pixel auf 69 Zeilen aus dem nächsten Einzelbild genommen. Der Suchblock (SB) wird dann in jeder möglichen Position (insgesamt 96 x 46 Positionen) in dem Suchbereich (SA), plaziert, wie in Fig. 13 gezeigt ist, und für jede Stelle wird die Summe der absoluten Differenz der Pixelluminanzpegel zwischen den zwei Blöcken berechnet. Dieser Wert wird dann als die Höhe der Korrelationsoberfläche für den Punkt, an welchem er abgeleitet wurde, verwendet. Er kann dann in Verbindung mit anderen ähnlich abgeleiteten Werten für jede mögliche Positionierung des Suchblocks in dem Suchbereich verwendet werden, um eine Korrelationsoberfläche zu erhalten, wovon ein Beispiel in Fig. 14 gezeigt ist. Der Klarheit wegen ist die Oberfläche invertiert dargestellt, und was in Wirklichkeit das Minimum ist, welches gefordert wird, ist der geforderte Punkt in Fig. 14 die Hauptspitze.
Die Größe des Suchblocks wird durch Prüfen der minimalen Größe eines Objekts, welches eine Bewegungskompensation erfordern kann, ausgewählt. Für ein PAL-System von 625 Zeilen pro Einzelbild und 50 Halbbilder pro Sekunde hat sich zum Verfolgen eines kleinen Objekts ein Suchblock von 16 Pixel auf 8 Zeilen als geeignet herausgestellt, ohne Berücksichtigung irgend einer umliegenden Information, die nicht in dem Objekt, aber noch in dem Suchblock liegt, um die Verfolgung des Objekts zu beeinflussen. Diese Annäherung ist daher bei der vorliegenden Ausführungsform übernommen worden, aber modifiziert, um den unterschiedlichen Anzahlen von aktiven Pixeln pro Zeile, aktiven Zeilen pro Einzelbild und dem Höhe/Breite-Verhältnis von einem HDVS-System verglichen mit einem PAL-System 625/50 Rechnung zu tragen. Die Vergleichszahlen, wobei das HDVS-System zuerst angegeben wird, lauten wie folgt: 1920 (720) aktive Pixel pro Zeile, 1035 aktive Zeilen pro Einzelbild, 3:5,33 (3:4) Höhen/Breiten-Verhältnis.
Es sollte hinzugefügt werden, daß es ein Argument für die Benutzung eines größeren Suchblocks gibt, da dies bedeutet, daß ein großes Objekt verfolgt werden kann. Andererseits gibt es ein Argument für die Verwendung eines kleineren Suchblocks, um nämlich zu verhindern, daß ein kleines Objekt überschattet wird durch die Wirkung eines großen Objekts oder eines Hintergrundbereichs. Außerdem jedoch gibt es den Vorteil, daß bei kleinen Suchblöcken kein Erfordernis für die Herleitung von mehr als einem Bewegungsvektor aus jedem Suchblock besteht. Da es bei Vorhandensein eines einzelnen Bewegungsvektors bedeutend leichter ist, als wenn mehrere vorhanden sind, beginnt die vorliegende Erfindung mit einem kleinen Suchblock, wie oben beschrieben, und veranlaßt dann, daß sich der Suchblock zu einem größeren Suchblock entwickelt, wenn kein zufriedenstellendes Ergebnis erhalten worden ist. Dies schließt dann die Vorteile von sowohl einem kleinen als auch einem großen Suchblock ein. Die Kriterien für ein zufriedenstellendes Ergebnis werden durch die Bewegungsvektorabschätzungsschaltung 4 (Fig. 1) eingestellt, auf welche detaillierter weiter unten Bezug genommen wird, und welche den Bewegungsvektor aus einer gegebenen Korrelationsoberfläche bestimmt.
Diese Technik der Veranlassung, den Suchblock zu vergrößern, ist nicht nur vorteilhaft für die Verfolgung von großen Objekten. Sie kann außerdem hilfreich sein, die Bewegung von einem Objekt von der Form eines regulären Musters mit einer periodischen Beschaffenheit zu verfolgen. So soll Fig. 15 betrachtet werden, in welcher ein Suchblock A dem Suchbereich B an Stellen V1, V2 und V3 angepaßt wird, wobei bei jedem von diesen ein scheinbar richtiges Maß für die Bewegung gegeben ist. In diesem Falle jedoch wird die Abchätzung des Bewegungsvektors, d. h. der Prozeß, welcher aktuell die Korrelationsoberfläche analysiert, zeigen, daß eine gute Korrelation an den drei Stellen auftritt, welche kollinear sind. Der Suchblock wird daher veranlaßt, horizontal größer zu werden, bis er das Dreifache der ursprünglichen Breite besitzt, wobei dies die Richtung ist, in welcher in diesem Falle die Vielfachkorrelation auftritt. Der Suchbereich wird außerdem entsprechend horizontal vergrößert. Wie in Fig. 16 mit dem vergrößerten Suchblock 3A gezeigt ist, gibt es nur einen einzigen Korrelationspunkt, welcher sich korrekt auf die Bewegung des Objekts bezieht.
In diesem besonderen Fall müssen sowohl der Suchblock als auch der Suchbereich horizontal vergrößert werden, da die Richtung der Vielfachkorrelation horizontal ist. Es ist jedoch gleichermaßen möglich, daß der Suchblock und der Suchbereich vertikal vergrößert werden, oder tatsächlich in beiden Richtungen, wenn die Korrelationsoberfläche es nahelegt.
Es sollte festgestellt werden, daß die Blockanpassung nicht bei allen Suchblöcken in dem Einzelbild angewendet werden kann, da es in dem Grenzbereich nicht genügend Raum gibt, aus welchem ein Suchbereich vergrößert werden kann. Auf diese Weise kann eine Blockabbildung nicht in Randbereich des Einzelbildes, welcher schraffiert in Fig. 17 dargestellt ist, durchgeführt werden. Dieses Problem wird umgangen mit der Bewegungsvektorreduzierungsschaltung 5 (Fig. 1), die unten detaillierter beschrieben wird, welche versucht, Suchblöcke in diesem schraffierten Bereich mit geeigneten Bewegungsvektoren zu liefern.
Aus der Korrelationsoberfläche (Fig. 14), welche für jeden Suchblock in einem Einzelbild erzeugt worden ist, leitet die Bewegungsvektorabschätzungsschaltung 4 (Fig. 1) die voraussichtliche Bewegung zwischen Einzelbildern zwischen dem Suchblock und seinem entsprechenden Suchbereich her. Es sollte wieder erwähnt werden, daß zum Zwecke der Klarheit alle Darstellungen der Korrelationsoberflächen invertiert dargestellt sind, d. h., daß auf diese Weise ein Minimum als eine Spitze dargestellt ist.
Die Bewegungsvektorabschätzungsschaltung 4 (Fig. 1) verwendet einen Bewegungsvektorabschätzungsalgorithmus, um den minimalsten Punkt auf jeder Korrelationsoberfläche festzustellen. Dieser repräsentiert den Punkt der maximalen Korrelation zwischen dem Suchblock und dem Suchbereich und kennzeichnet daher die wahrscheinliche Bewegung zwischen ihnen. Die Verschiebung dieses Minimums auf der Korrelationsoberfläche, bezogen auf den Ursprung, in diesem Fall dem Mittelpunkt der Oberfläche, stellt eine direkte Messung der Bewegung, in Ausdrücken von Pixeln pro Einzelbild, dar. Für diesen einfachsten Fall, in welchem die Korrelationsoberfläche ein einziges ausgeprägtes Minimum enthält, ist die Detektion des minimalsten Punktes auf der Korrelationsoberfläche ausreichend, um die Bewegung zwischen dem Suchblock und dem Suchbereich genau zu bestimmen. Wie vorher erwähnt worden ist, verbessert die Verwendung von kleinen Suchblöcken die Detektion der Bewegung und die Genauigkeit der Bewegungsschätzung, aber unglücklicherweise sind kleine einzelne Suchblöcke unfähig, eine Bewegung in einer Vielzahl von Umständen festzustellen, welche nun beschrieben werden.
Fig. 18 zeigt einen Gegenstand mit Bewegungsvektoren (5,0) welcher sich über drei Suchblöcke 1A, 2A und 3A in einem Einzelbild (t) erstreckt. Wenn die Suchblöcke 1A und 3A mit jeweiligen Suchbereichen (1B und 3B) in dem nächsten Einzelbild (t+1) korreliert werden, ergibt sich eine Korrelationsoberfläche, welche in Fig. 19 gezeigt ist, welche ein Minimum bei (5,0) zeigt. (Dies setzt eine rauscharme Videoquelle voraus.) Wenn jedoch der Suchblock 2A mit seinem jeweiligen Suchbereich 28 korreliert wird, wird die in Fig. 20 gezeigte Korrelationsoberfläche erzeugt, in welcher der Suchblock 2A mit dem Suchbereich 28 für jeden Punkt in Richtung der y-Achse korreliert. Es gibt daher kein einzelnes Minimum in der Korrelationsoberfläche, und folglich kann die Bewegung zwischen dem Suchblock 2A und dem Suchbereich 2B nicht bestimmt werden.
Nun wird jedoch die Situation betrachtet, wenn der Suchblock 2A vergrößert wird, so daß er alle drei der ursprünglichen Suchblöcke 1A, 2A und 3A umfaßt. Wenn der größer gewordene Suchblock 2A mit einem Suchbereich korreliert wird, welcher die ursprünglichen Suchbereiche 1B, 2B und 3B abdeckt, stellt sich die ergebende Korrelationsoberfläche, wie in Fig. 21 gezeigt ist, dar. Diese zeigt ein einzelnes Minimum bei (5,0), welches die korrekte Bewegung des ursprünglichen Suchblocks 2A kennzeichnet. Dieses Beispiel stellt die Notwendigkeit für ein eindeutiges Merkmal in der Videoquelle dar, um die Bewegung genau festzustellen. So hatten die Suchblöcke lA und 3A beide eindeutige vertikale und horizontale Merkmale, d. h9. die Kanten des Gegenstandes, und daher konnte die Bewegung bestimmt werden. Im Gegensatz dazu besaß der Suchblock 2A ein eindeutiges vertikales Merkmal aber kein eindeutiges horizontales Merkmal, und daher konnte die horizontale Bewegung nicht bestimmt werden. Jedoch kann durch Vergrößern des Suchblocks, bis er ein eindeutiges Merkmal, sowohl horizontal als auch vertikal umfaßt, die vollständige Bewegung für diesen Suchblock bestimmt werden. Darüber hinaus kann gezeigt werden, daß das Vergrößern des Suchblocks vorteilhaft ist, wenn ein Rauschen in der Videoguelle berücksichtigt wird.
Es wird nun im Zusammenhang mit Fig. 22 ein weiteres Beispiel betrachtet. Diese zeigt eine Korrelationsoberfläche für einen Suchblock, für welchen der Bewegungsvektor (5,3) ist. Jedoch ist aufgrund der zahlreichen anderen Korrelationen, welche zwischen dem Suchblock und dem Suchbereich stattgefunden haben, die wahre Bewegung schwierig festzustellen. Ein Beispiel einer Videoquelle, welche eine derartige Korrelationsoberfläche erzeugen könnte, würde eine einen geringen Kontrast aufweisende Baumbewegung durch den Wind sein. Es wird nun angenommen, daß der Suchblock und der Suchbereich vergrößert werden. Das Vergrößern kann in der horizontalen Richtung stattfinden, wie in dem vorhergehenden Beispiel, oder in der vertikalen Richtung oder in beiden Richtungen. Unter der Annahme, daß die benachbarten Suchblöcke die gleiche Bewegung aufweisen, wird die Durchschnittswirkung auf die sich ergebende Korrelationsoberfläche sein, daß die Höhe der Minima bei (5,3) mit einem größeren Verhältnis anwachsen, als die Höhe der anderen Korrelationsspitzen. Dies ist in Fig. 23 gezeigt, welche aufzeigt, daß es dann leichter ist, den richtigen Bewegungsvektor festzustellen.
Es wird nun im Zusammenhang mit Fig. 18 weiterhin die Art und weise betrachtet, auf welche die Suchblöcke vergrößert werden. Hier war es erforderlich, den Bereich des Suchblocks 2A zu vergrößern, um die Bereiche der Suchblöcke 1A und 3A zu umfassen, und die sich ergebende Korrelationsoberfläche zu erzeugen. Tatsächlich werden die resultierenden Korrelationsoberflächen direkt durch das Zusammenaddieren der Elemente der drei Korrelationsoberflächen entsprechend den Suchblöcken 1A, 2A und 3A erzeugt. Im wesentlichen ist dann, wenn jede Korrelationsoberfläche als eine Matrix von Punktgrößen betrachtet wird, die Korrelationsoberfläche des vergrößerten Suchblocks 2A die Matrixaddition der Korrelationsoberfläche der ursprüng lichen Suchblöcke 1A, 2A und 3A.
Der Bereich des Suchblocks 2A könnte ebenso durch die Addition der Korrelationsoberflächen der Suchblöcke oberhalb und unterhalb vertikal vergrößert werden, während, wenn der Suchblock 2A sowohl horizontal als auch vertikal vergrößert wird, dann außerdem die vier benachbarten diagonalen Korrelationsoberflächen addiert werden müssen, Daraus ist zu sehen, daß der aktuelle Prozeß des Vergrößern eines Suchblocks, um die benachbarten Suchblöcke zu beinhalten, relativ leicht ist, wobei der schwierigere Prozeß darin besteht, zu entscheiden, wann eine Vergrößerung stattfinden sollte, und welche benachbarten Suchblöcke umfaßt werden sollten. Grundsätzlich ist die Antwort, daß der Bereich der Suchblöcke vergrößert werden sollte, bis ein gutes Minimum oder ein guter Bewegungsvektor festgestellt wird. Es ist daher notwendig, zu spezifizieren, wann ein Bewegungsvektor als ein guter Bewegungsvektor angenommen werden kann, und dies kann tatsächlich aus den oben gegebenen Beispielen abgeleitet werden.
In dem im Zusammenhang mit den Fig. 18 bis 21 beschriebenen Beispiel war es notwendig, den Suchblock horizontal zu vergrößern, um ein eindeutiges horizontales Merkmal des Gegenstandes zu umfassen und daher ein einziges Minimum zu erhalten. Diese Situation war gekennzeichnet durch eine Reihe von identischen Minima auf der Korrelationsoberfläche von Fig. 20 und ein einziges Minimum auf der Korrelationsoberfläche von Fig. 21. Daraus kann das erste Kriterium für ein gutes Minimum erhalten werden; ein gutes Minimum ist der Punkt mit dem kleinsten Ausmaß auf der Korrelationsoberfläche, für den die Differenz zwischen ihm und der Größe des nächsten kleinsten Punktes einen gegebenen Wert überschreitet. Dieser gegebene Wert ist bekannt als der Schwellenwert, und daher wird dieser Test hier als der Schwellentest bezeichnet.
Es sollte festgestellt werden, daß verhindert wird, daß der nächste kleinste Punkt innerhalb der Grenzen eines weiteren unten beschriebenen Tests und hier als der Ringtest bezeich net, erzeugt wird. In dem Fall eines Ringtests, welcher drei Ringe verwendet, wird verhindert, daß der nächste kleinste Punkt aus einem Punkt im Umkreis von drei Pixeln des in Frage kommenden Punktes hergeleitet zu werden. In dem Beispiel der Fig. 18 bis 21 würde die Korrelationsoberfläche der Fig. 20 den Schwellentest nicht bestehen; Der Suchbereich 2A wird daher vergrößert und wenn ein geeigneter Schwellenwert gegeben ist, wird die Korrelationsoberfläche von Fig. 21 den Schwellentest durchlaufen.
Der Schwellentest kann außerdem verwendet werden, um das Vergrößern in dem oben im Zusammenhang mit den Fig. 22 und 23 beschriebenen Beispiel zu veranlassen. Vor dem Vergrößern des Sucnblocks ist das richtige Minimum aufgrund der dicht beeinanderliegenden ähnlichen Ausmaße der umgebenden Punkte nicht feststellbar. Ist jedoch ein geeigneter Schwellenwert gegeben, wird die Korrelationsoberfläche durch den Schwellentest hindurchfallen und der Suchblock wird vergrößert. Als Ergebnis wird es dann möglich, das Minimum unter den anderen unechten Punkten festzustellen.
Es ist zu erkennen, daß die Verwendung einer Schwelle ein subjektiver Test ist, aber die korrekte Schwelle für die Korrelationsoberfläche in dem Test kann durch Normierung der Schwelle als ein Bruchteil des Bereiches der Größen innerhalb der Korrelationsoberfläche ausgewählt werden. Dies verringert außerdem die Wirkung z. B. des Kontrasts der Videoquelle.
Es wird nun weiterhin der Ringtest, welcher oben kurz angesprochen worden ist, und welcher weit weniger subjektiv ist, beschrieben. Die Grundlage des Ringtests besteht darin, anzunehmen, daß ein gutes Minimum (oder Maximum) Punkte von zuneh menden (oder abnehmenden) Größen haben wird, welche diesen umgeben. Fig. 24 illustriert diese Annahme, indem ein Minimum bei (0,0) gezeigt wird, wobei die umgebenden drei Ringe von Punkten eine abnehmende Durchschnittsgröße aufweisen. Dies steht im Gegensatz zu der Korrelationsoberfläche, welche in Fig. 25 gezeigt ist, in welcher die Ringe, und insbesondere der zweite innerste Ring, keine abnehmende Durchschnittsgröße aufweisen.
In diesem Falle besteht das Kriterium für ein gutes Minimum, wie es durch den Ringtest definiert wird, darin, daß die Durchschnittsneigung monoton ist. Daher muß für eine vorgegebene Anzahl von Ringen von Punkten, welche das in Frage kommende Minimum umgeben, die Durchschnittsgröße von jedem Ring, wenn man sich von dem innersten Ring aus nach außen bewegt, größer sein als jener des vorhergehenden Rings. Wieder zurückkommend auf das im Zusammenhang mit den Fig. 18 bis 21 beschriebene Beispiel, ist aus den Fig. 20 und 21 zu erkennen, daß die Korrelationsoberfläche der Fig. 20 den Ringtest nicht bestanden haben würde, aber daß die Korrelationsoberfläche der Fig. 21 den Ringtest durchlaufen haben würde. Da der Ringtest Durchschnitts- und nicht Absolutgrößen vergleicht, ist er weit weniger subjektiv als der Schwellentest, und tatsächlich ist die einzige Variable bei dem Ringtest die Anzahl der betrachteten Ringe, wobei drei als eine geeignete Anzahl angesehen wird, aber eine größere Anzahl unter der Voraussetzung möglich ist, daß sie nicht über den Rand der Korrelationsoberfläche hinausgeht.
Es wird nun weiter der Ringtest im Zusammenhang mit Fig. 26 beschrieben, welche eine Schaltungsanordnung zur Ausführung des Ringtests zeigt und welche Addierer 20 und 28, Speicherregister 21 bis 23, Pufferschaltungen 24 bis 26, ein Gatter 27, Komparatoren 29, 30 und 32, Latch-Schaltungen 31 und 33 bis 35 und einen programmierbaren Permanentspeicher (PROM) 36 enthält, die wie gezeigt miteinander verbunden sind und wie nachstehend beschrieben funktionieren.
Der Ringtest kann definiert werden durch die Gleichung:
Mag (Minimum) < Durchschnitt (A) < Durchschnitt (B) < Durchschnitt (C)
wobei:
Mag (Minimum) die Größe des kleinsten Punktes der Korrelationsoberfläche ist;
der Durchschnitt (A), der Durchschnitt (B) und der Durchschnitt (C) Durchschnittsgrößen der relevanten Punkte sind, welche jeweils den kleinsten Punkt in drei umlagerten konzentrischen Ringen umgeben.
Wenn diese Gleichung erfüllt wird, dann passiert die zu testende Korrelationsoberfläche den Test, und ihr Minimum ist ein gutes Minimum.
Die erste Forderung besteht daher darin, die Durchschnittsgröße der drei Ringe zu bestimmen. Dies wird durch die Elemente bis 28 durchgeführt. Der binäre Addierer 20 wird verwendet, um die Punkte eines Rings zusammenzuzählen. Die Speicherregister 21 bis 23 werden verwendet, um die kumulativen Summen der Größen der Punkte in einem Ring zu speichern, während diese zusammengezählt werden. Das Speicherregister 21 speichert die Summe für den Ring C, das Speicherregister 22 speichert die Summe für den Ring B, und das Speicherregister 23 speichert die Summe für den Ring A. Die Pufferschaltungen 24 bis 26 ermöglichen es, jeweils die Ausgangssignale der Speicherregister 21 bis 23 zurück in den Addierer 20 zu führen. Das Zwischenspeichern in die Speicherregister 21 bis 23 und das Durchschalten der Pufferschaltungen 24 bis 26 zu dem Addierer 20 stehen unter der Steuerung von Reihen- und Spaltenzähler (nicht gezeigt) für die Korrelationsoberfläche.
Die Punkte der drei Ringe werden wie folgt aufsummiert:
Spaltenzählung
CCCCCCC
Reihenzählung CBBBBBC
CBAAABC
CBAXABC
CBAAABC
CBBBBBC
CCCCCCC
wobei:
X das Minimum ist,
A die für den Ring A zu summierenden Punkte sind,
B die für den Ring B zu summierenden Punkte sind,
C die für den Ring C zu summierenden Punkte sind.
Die Größen für die das Minimum umgebenden Punkte werden von dem Addierer 20 empfangen, beginnend mit dem ersten Punkt des C-Rings in der oberen linken Ecke. Diesem folgt das nächste C in der Reihe usw. Deshalb werden die ersten sieben Punkte des Rings C durch den Addierer 20, das Speicherregister 21 und die Pufferschaltung 24 aufsummiert. Am Ende der Reihe wird die Summe in dem Speicherregister 21 festgehalten. Der nächste zu addierende Punkt ist das erste C in der nächsten Reihe. Diesem folgen fünf B's. Deshalb wird die Summe von C in dem Speicherregister 21 gehalten, während diese fünf B's unter Verwendung des Addierers 20, des Speicherregisters 22 und der Pufferschaltung 25 aufsummiert werden.
Dieser Prozeß dauert an, wobei der Ring A unter Verwendung des Addieres 20, des Speicherregisters 23 und der Pufferschaltung 26 aufsummiert wird bis der letzte Punkt auf den Ringen empfangen worden ist, das heißt, der Punkt C in der unteren rechten Ecke. Zu diesem Zeitpunkt enthalten die drei Speicherregister 21 bis 23 die Summen der Werte für jeden jeweiligen Ring von Punkten.
Um den Durchschnittswert von jedem Ring zu berechnen, wird jede Summe durch die jeweilige Anzahl der Punkte in dem Ring geteilt. Für die Ringe A und B wird dies leicht erreicht, da die Anzahl der Punkte Potenzen von zwei sind, d. h. acht und sechzehn. Daher kann diese Teilung mit einer einfachen binären Verschiebung erreicht werden, d. h. durch die richtige Verbin dung der Speicherregister 21 bis 23 und den Eingängen für die Komparatoren 29 und 30.
Für den Ring C ist eine Teilung durch 24 erforderlich. Dieses ist keine Potenz von zwei, aber es kann eine annehmbare Annäherung (5/128) durch das Zusammenaddieren von 1/32 und 1/128, von denen beide Potenzen von zwei sind, durchgeführt werden.
Dies wird durch die Verwendung des Addierers 28 und geeignete Verbindungen zwischen dem Speicherregister 21 und dem Addierer 28 erreicht.
Dann ist es notwendig, die Durchschnittsgrößen der drei Ringe und die Größe des Minimums zu vergleichen. Dies wird unter Verwendung der drei Komparatoren 32, 29 und 30 durchgeführt. Die Ergebnisse dieser drei Vergleiche werden unter Verwendung der Latchspeicher 33, 31, 34 und 35 ausgerichtet und werden dem PROM 36 zugeführt. Der PROM 36 ist mit dem Ausgangssignal der drei Komparatoren, welches die oben angeführten Gleichungen erfüllt, vorprogrammiert. Deshalb erzeugt der PROM 36 ein Gültigkeits- oder ein Fehlersignal für den Ringtest.
Der Ringtest besitzt zwei Vorteile. Während der Schwellentest die Größe aller Punkte auf der Korrelationsoberfläche berücksichtigt, berücksichtigt der Ringtest nur Punkte, die das Minimum unmittelbar umgeben. Daher kann der Ringtest verwendet werden, um zu bestimmen, ob das Minimum subjektiv einem guten Bewegungsvektor in einem lokalisiertem Bereich entspricht. Dies ist manchmal ein wirksamer Test als der Schwellentest. Außerdem erfordert der Schwellentest einen Schwellenpegel, welcher von außen zugeführt werden muß, z. B. durch den Anwender. Dieser Schwellentest ist subjektiv und das Einstellen des Optimums wird von der Eigenart des Videoeingangssignals abhängig sein. Andererseits verwendet der Ringtest keine subjektiven Veränderlichen. Die einzige Veränderliche ist die Anzahl der berücksichtigen Ringe.
Nachdem der Mechanismus zur Vergrößerung eines Suchblocks beschrieben worden ist, ist es nun notwendig, zu betrachten, wie es durch Prüfung der Gestalt der Korrelationsoberfläche möglich ist, die wirksamste Richtung zu bestimmen, in welche der Suchblock vergrößert werden sollte.
Es wird wieder Bezug auf Fig. 20 genommen, deren Korrelationsoberfläche sich daraus ergab, daß es ein eindeutiges vertikales Merkmal, aber kein eindeutiges horizontales Merkmal gab. Dies wird in der Korrelationsoberfläche durch das Minimum wiedergespiegelt, welches horizontal durch die Korrelationsoberfläche verläuft, aufgrund der mehrfachen Korrelationen in dieser Richtung. Daraus kann hergeleitet werden, daß der Suchblock horizontal vergrößert werden sollte. Umgekehrt, sollte eine Zeile von vielfachen Korrelationen vertikal verlaufen, würde dieses die Notwendigkeit anzeigen, den Suchblock vertikal zu vergrößern, während eine ringförmige Ansammlung von mehrfachen Korrelationen eine Notwendigkeit anzeigen würde, den Suchblock sowohl horizontal als auch vertikal zu vergrößern.
Bei Verwendung dieser Kriterien ist ein quantitatives Maß für die Gestalt der Korrelationsoberfläche erforderlich, um zu bestimmen, in welche Richtung der Suchblock vergrößert werden sollte. Dieses Maß wird wie folgt bestimmt. Zuerst wird eine Schwelle bestimmt. Dann wird irgend ein Punkt auf der Korrelationsoberfläche unterhalb der Schwelle betrachtet. Diese Schwelle, ähnlich wie jene, welche beim Schwellentest verwendet worden ist, wird als ein Bruchteil des Bereichs von Größen innerhalb der Korrelationsoberfläche normiert. Bei Verwendung dieser Schwelle werden die Punkte auf der Korrelationsoberfläche der Reihe nach in vier bestimmten Folgen überprüft. In jeder wird der Punkt, bei welchem der Korrelationsoberflächenwert unter die Schwelle fällt, bestimmt. Diese vier Folgen sind schematisch in Fig. 27 dargestellt, in welcher die Zahlen 1, 2, 3 und 4, sich auf oben, unten, rechts und links der vier Folgen beziehen, und der schraffierte Bereich die Punkte kennzeichnet, welche unter die Schwelle fallen:

Folge 1

Suche von der oberen Seite der Korrelationsoberfläche nach unten für einen Punkt A, welcher unter die Schwelle fällt.

Folge 2

Suche von der unteren Seite der Korrelationsoberfläche nach oben für einen Punkt C, welcher unter die Schwelle fällt.

Folge 3

Suche von der linken Seite der Korrelationsoberfläche nach rechts für einen Punkt D, welcher unter die Schwelle fällt.

Folge 4

Suche von der rechten Seite der Korrelationsoberfläche nach links für einen Punkt B, welcher unter die Schwelle fällt.
Die Stellen der vier sich ergebenden Punkte A, B, C und D werden benutzt, um die zwei Ausdehnungen X und Y, welche in Fig. 27 gekennzeichnet sind, zu berechnen, wobei diese Ausdehnungen X und Y die Größe des schraffierten Bereichs kennzeichnen, welcher die Punkte enthält, die unter den Schwellenwert fallen. Daher kann aus den Ausdehnungen X und Y hergeleitet werden, ob die Gestalt länger in der x- als in der y-Richtung oder umgekehrt ist, oder ob die Form annähernd kreisförmig ist. Eine Mindestdifferenz von sagen wir 10 % wird bei der Herleitung der Form erlaubt, d. h. die Abmessung X muß ein Minimum besitzen, das 10 % größer als die Abmessung Y ist, damit die Form als in der x-Richtung länger betrachtet wird. Ahnliches gilt für die y-Richtung. Wenn die Abmessung X und Y innerhalb von 10 % voneinander liegen, dann wird die Form als kreisförmig betrachtet, und der Suchblock wird in beide Richtungen vergrößert. In dem Beispiel von Fig. 27 ist die Abmessung X größer als die Abmessung Y, und daher wird der Suchblock in die X- oder Horizontalrichtung vergrößert.
Das Vergrößern des Suchblocks dauert an, bis eine oder mehrere Vergrößerungsgrenzen erreicht werden. Diese Begrenzungen sind: daß das Minimum in der Korrelationsoberfläche sowohl den Schwellentest als auch den Ringtest durchläuft; daß der Rand des Videoeinzelbildes erreicht wird; oder daß der Suchblock bereits mehrfach um eine vorgegebene Anzahl horizontal und vertikal vergrößert worden ist. Diese letzte Begrenzung ist hardwareabhängig. Hier ist zu sagen, Sie wird begrenzt durch die Verarbeitungsmenge, welche in der zur Verfügung stehenden Zeit durchgeführt werden kann. Bei einer speziellen Ausführungsform der Vorrichtung gemäß der vorliegenden Erfindung wurde diese Grenze auf zweimal horizontal und einmal vertikal festgesetzt.
Wenn das Minimum auf der Korrelationsoberfläche sowohl den Schwellentest als auch den Ringtest durchläuft, dann wird angenommen, daß ein guter Bewegungsvektor bestimmt worden ist, und er kann zu der Bewegungsvektorreduktionsschaltung 5 (Fig. 1) weitergeleitet werden. Wenn jedoch der Rand des Einzelbildes erreicht wird oder der Suchblock bereits mehrfach um eine vorgegebene Anzahl sowohl horizontal als auch vertikal vergrößert worden ist, dann wird angenommen, daß für diesen speziellen Suchblock kein guter Bewegungsvektor bestimmt worden ist, und anstelle des Versuchs, einen guten Bewegungsvektor zu bestimmen, wird der am besten geeignete Bewegungsvektor durch eine Gewichtung bestimmt.
Die Korrelationsoberfläche wird derart gewichtet, daß die Auswahl des am besten geeigneten Bewegungsvektor in Richtung auf den stationären, d. h. den zentralen Bewegungsvektor gewichtet wird. Dies geschieht aus zwei Gründen, erstens, wenn der Suchblock, selbst nach der Vergrößerung, Teil eines großen flachen Bereichs einer Videoquelle ist, es nicht möglich sein wird, einen guten Bewegungsvektor festzustellen. Jedoch, da die Videoquelle aus einem ebenen Bereich besteht, wird ein stationärer Bewegungsvektor zu den richtigen Ergebnissen in der nachfolgenden Verarbeitung führen. Zweitens wird die Gewichtung vorgesehen, um die Möglichkeit eines ernsthaft falschen Bewegungsvektors, welcher zu der Bewegungsvektorreduzierungsschaltung 5 (Fig. 1) durchgelassen wird, zu verringern. Dies wird getan, da angenommen wird, daß, wenn ein guter Bewegungsvektor nicht bestimmt werden kann, ein kleiner nicht richtiger Bewegungsvektor einem großen nicht richtigen Bewegungsvektor vorzuziehen ist.
Fig. 28 zeigt ein Beispiel, wie die Gewichtungsfunktion auf die Korrelationsoberfläche angewendet werden kann. In diesem Beispiel ist das Gewicht, welches für einen gegebenen Punkt auf der Korrelationsoberfläche angewendet wird, direkt proportional zu dem Abstand dieses Punktes von dem stationären zentralen Bewegungsvektor. Die Größe des Punktes auf der Korrelationsoberfläche wird mit dem Gewichtungsfaktor multipliziert. Z. B. kann der Gradient der Gewichtungsfunktion derart sein, daß Punkte plus oder minus 32 Pixel von dem zentralen stationären Bewegungsvektor mit einem Faktor von 3 multipliziert werden. Mit anderen Worten, wie in Fig. 28 gezeigt ist, in welcher der stationäre Mittelpunktsbewegungsvektor durch den schwarzen Kreis gekennzeichnet ist, ist die Gewichtungsfunktion ein invertierter Kegel, welcher in dem stationären Mittelpunktsbewegungsvektor zentriert ist.
Nachdem die Korrelationsoberfläche gewichtet worden ist, durchläuft sie wieder den Schwellentest und den Ringtest. Wenn ein Minimum, welches diese beiden Tests durchlaufen hat, bestimmt wird, dann wird angenommen, daß dies ein guter Bewegungsvektor ist, und es wird eine Markierung vorgenommen, um anzuzeigen, daß es ein guter Bewegungsvektor ist, aber daß eine Gewichtung angewendet wurde. Diese Markierung wird zusammen mit dem Bewegungsvektor zu der Bewegungsvektorreduzierungsschaltung 5 (Fig. 1) hindurchgeführt Wenn andererseits weder ein guter Bewegungsvektor noch ein am besten geeigneter Bewegungsvektor selbst nach einer Gewichtung bestimmt werden kann, dann wird eine Markierung gesetzt, um anzuzeigen, daß irgendein Bewegungsvektor, welcher für diesen Block zu der Bewegungsvektorreduzierungsschaltung 5 (Fig. 1) hindurchgeleitet wird, ein schlechter Bewegungsvektor ist. Es ist notwendig, dies zu tun, da schlechte Bewegungsvektoren in dem Bewegungsvektorreduzierungsverfahren nicht verwendet werden dürfen, sondern, wie unten beschrieben werden wird, ausgetauscht werden müssen.
Auf diese Weise besteht zusammenfassend die Wirkungsweise der Bewegungsvektorschätzschaltung 4 (Fig. 1) darin, aus der Korrelationsoberfläche, welche durch die direkte Blockabbildungsschaltung 3 (Fig. 1) erzeugt worden ist, den Punkt der besten Korrelation, d. h. das Minimum, herzuleiten. Dieses Minimum wird dann dem Schwellentest und dem Ringtest unterzogen, wobei das Minimum beide durchlaufen muß, damit es dahingehend berücksichtigt wird, daß es die Bewegung des Suchblocks repräsentiert. Es sollte nebenbei festgestellt werden, daß die Schwelle, welche in dem Schwellentest und dem Kreistest verwendet wird, entweder aus absoluten Werten oder gebrochenen Werten bestehen kann. Wenn das Minimum beide Tests nicht besteht, dann wird der Suchblock vergrößert, es wird ein neues Minimum bestimmt, und es werden wieder der Schwellentest und der Kreistest angewendet. Die wirksamste Richtung, in welche der Suchblock zu vergrößern ist, wird aus der Form der Korrelationsoberfläche bestimmt.
Es wird nun zuerst im Zusammenhang mit Fig. 1 das Verfahren zur Bewegungsvektorreduktion beschrieben. Bei der Verwendung eines HDV-Systems wird angenommen, daß jeder Suchblock aus 32 Pixeln in 23 Zeilen besteht, was, wie gezeigt ist, zu einem möglichen Maximum von 2451 Bewegungsvektoren führen kann. Die Wahl der Größe des Sucnblocks ist ein Kompromiß zwischen dem Aufrechterhalten der Auflösung und dem Vermeiden eines übermäßigen Hardwareaufwands. Wenn alle diese Bewegungsvektoren die Bewegungsvektorauswahlschaltung 6 durchlaufen würden, würde die Aufgabe der Bewegungsvektorauswahl aufgrund des Bearbeitungsaufwandes, welcher erforderlich würde, nicht durchführbar sein. Um dieses Problem zu überwinden, ist die Bewegungsvektorreduzierungsschaltung 5 zwischen der Bewegungsvektorabschätzungsschaltung 4 und der Bewegungsvektorauswahlschaltung 6 vorgesehen. Die Bewegungsvektorreduktionsschaltung 5 übernimmt die Bewegungsvektoren, welche durch die Bewegungsvektorabschätzungsschaltung 4 erzeugt worden sind, und präsentiert der Bewegungsvektorauswahlschaltung 6 statt aller Bewegungsvektoren, welche für dieses Einzelbild hergeleitet worden sind, lediglich z. B. vier Bewegungsvektoren für jeden Suchblock in dem Einzelbild, einschl. jenen in den Grenzbereichen. Die sich daraus ergebende Wirkung ist zweifach. Zuerst macht dieses es viel leichter, den richtigen Bewegungsvektor auszuwählen, solange wie er innerhalb der Gruppe der vier Bewegungsvektoren ist, welche durch die Bewegungsvektorauswahl schaltung 6 hindurchgelaufen sind. Zweitens bedeutet es jedoch außerdem, daß, wenn der richtige Bewegungsvektor nicht als einer der vier durchgelaufen ist, dann die Bewegungsvektorauswahlschaltung 6 nicht in der Lage ist, den richtigen auszuwählen. Es ist daher notwendig, zu versuchen sicherzustellen, daß die Bewegungsvektorreduktionsschaltung 5 den richtigen Bewegungsvektor unter denjenigen enthält, welche durch die Bewegungsvektorauswahlschaltung 6 hindurchgelaufen sind. Es sollte außerdem berücksichtigt werden, daß obwohl vier Bewegungsvektoren durch die Bewegungsvektorreduzierungsschaltung 5 zu der Bewegungsvektorauswahlschaltung 6 hindurchgelaufen sind, nur drei von diesen tatsächlich eine Bewegung repräsentieren, wobei der vierte Vektor immer der stationäre Bewegungsvektor ist, welcher enthalten ist, um sicherzustellen, daß die Bewegungsvektorauswahlschaltung 6 nicht zur Verwendung eines Bewegungsvektors veranlaßt wird, welcher die Bewegung zu einem stationären Pixel repräsentiert. Es können z. B. andere Anzahlen von Bewegungsvektoren durch die Bewegungsvektorauswahl schaltung 6 hindurchgeführt werden, z. B. können in einer alternativen Ausführungsform vier Bewegungsvektoren, welche die Bewegung repräsentieren, und der stationäre Bewegungsvektor können hindurchgeleitet werden.
Nachstehend bezieht sich der Ausdruck "Abtastblock" auf einen Block in einem Videoeinzelbild, in welchem jedes Pixel die gleichen vier Bewegungsvektoren durch die Bewegungsvektorreduktionsschaltung 5 bietet. Auf diese Weise ist ein Abtastblock dasselbe wie ein Suchblock, bevor der Suchblock vergrößert worden ist. Wie in Fig. 29 gezeigt ist, sind in einem Videoeinzelbild die Anfangspositionen der Abtastblöcke und der Suchblöcke dieselben.
Die Bewegungsvektorreduzierungsschaltung 5 (Fig. 1) empfängt die Bewegungsvektoren und die Flags von der Bewegungsvektorabschätzungsschaltung 4 (Fig. 1) und bestimmt die Qualität der Bewegungsvektoren durch Prüfen der Flags. Wenn der Bewegungsvektor nicht aus einer mehrdeutigen Oberfläche hergeleitet wurde, d. h., es einen hohen Grad an Sicherheit gibt, dann wird ein guter Bewegungsvektor bestimmt, aber wenn ein gewisser mehrdeutiger Wert existiert, dann wird der Bewegungsvektor als ein schlechter Bewegungsvektor bezeichnet. In dem Bewegungsvektorreduzierungsverfahren werden alle Bewegungsvektoren, welche als schlechte Bewegungsvektoren eingestuft worden sind, ignoriert, da es wichtig ist, daß überhaupt keine fehlerhaften Bewegungsvektoren zu der Bewegungsvektorauswahlschaltung 6 (Fig. 1) geleitet werden für den Fall, daß durch diese ein schlechter Bewegungsvektor ausgewählt worden ist.
Eine derartige Auswahl würde allgemein zu einem unerwünschten Punkt in dem endgültigen Bild führen, welcher sehr sichtbar sein würde.
Jeder der Bewegungsvektoren, welcher der Bewegungsvektorreduktionsschaltung 5 (Fig. 1) zugeführt wird, wurde aus einem speziellen Suchblock erhalten und somit aus einem speziellen Abtastblock (Fig. 29), wobei deren Position zusammen mit dem Bewegungsvektor notiert wird. Da alle Bewegungsvektoren, welche als schlechte Bewegungsvektoren eingestuft worden sind, ignoriert werden, werden nicht alle Abtastblöcke einen Bewegungsvektor besitzen, welcher aus dem Suchblock in dieser Position hergeleitet worden ist. Die Bewegungsvektoren, welche als gute Bewegungsvektoren eingestuft worden sind, und welche sich auf einen speziellen Suchblock beziehen, und damit einen speziellen Abtastblock, werden lokale Bewegungsvektoren genannt, da sie in dem Bereich, aus welchem der Abtastblock erhalten wurde, hergeleitet worden sind. Zusätzlich dazu zählt ein anderer Bewegungsvektorreduzierungsprozeß die Frequenz, mit welcher jeder gute Bewegungsvektor auftritt, wobei die tatsächlichen Positionen der Suchblöcke, welche verwendet wurden, um diese herzuleiten, nicht in Betracht gezogen werden. Diese Bewegungsvektoren werden dann in der Reihenfolge der abnehmenden Frequenzen geordnet und werden allgemein Bewegungsvektoren genannt. In dem schlimmsten Fall sind lediglich drei allgemeine Bewegungsvektoren verfügbar, und diese sind mit dem stationären Bewegungsvektor kombiniert, um die vier Bewegungsvektoren zu bilden , welche zu der Bewegungsvektorauswahlschaltung 6 (Fig. 1) hindurchgeleitet werden. Jedoch, da es oft mehr als drei allgemeine Bewegungsvektoren gibt, muß die Anzahl reduziert werden, um einen reduzierten Satz von allgemeinen Bewegungsvektoren zu bilden, welche als die globalen Bewegungsvektoren bezeichnet werden.
Ein einfacher Weg zur Reduzierung der Anzahl der allgemeinen Bewegungsvektoren besteht darin, die drei am häufigsten vorkommenden allgemeinen Bewegungsvektoren zu verwenden und die übrigen außer acht zu lassen. Jedoch sind die drei am häufigsten vorkommenden allgemeinen Bewegungsvektoren oft jene drei Bewegungsvektoren, welche anfänglich innerhalb plus oder minus einer Pixelbewegung von jedem anderen vertikal und/oder horizontal gelegen waren-. Mit anderen Worten, diese gemeinsamen Bewegungsvektoren würden alle die gleiche Bewegung mit geringen Unterschieden zwischen diesen verfolgen, und die anderen allgemeinen Bewegungsvektoren, welche nicht in Betracht gezogen worden sind, würden tatsächlich unterschiedliche Bewegungen verfolgen.
Um die allgemeinen Bewegungsvektoren auszuwählen, welche alles oder das meiste der Bewegung in einer Szene repräsentieren, ist es notwendig zu vermeiden, globale Bewegungsvektoren zu wählen, welche die gleiche Bewegung repräsentieren. Daher besteht die tatsächlich gewählte Strategie drin, zuerst die drei am häufigsten auftretenden allgemeinen Bewegungsvektoren zu übernehmen und zu prüfen, um zu sehen, ob die kleinste Frequenz unter diesen innerhalb plus oder minus einer Pixelbewegung vertikal und/oder plus oder minus einer Pixelbewegung horizontal von irgendeinem der anderen zwei allgemeinen Bewegungsvektoren liegt. Wenn das der Fall ist, dann wird er zurückgewiesen, und der nächsthäufigst auftretende allgemeine Bewegungsvektor wird ausgewählt, um diesen zu ersetzen. Dieser Prozeß wird für alle der am häufigsten auftretenden allgernei nen Bewegungsvektoren fortgeführt bis es entweder drei Bewegungsvektoren gibt, welche untereinander nicht ähnlich sind, oder bis drei oder weniger allgemeine Bewegungsvektoren übriggeblieben sind. Wenn jedoch mehr als drei allgemeine Bewegungsvektoren übrig geblieben sind, dann wird der Prozeß wiederholt, wobei diesmal geprüft wird, zu sehen, ob die kleinste Frequenz unter diesen innerhalb von plus oder minus zwei Pixelbewegungen vertikal und/oder plus oder minus zwei Pixelbewegungen horizontal voneinander besteht, usw. mit ansteigenden Abständen, wenn es notwendig ist. Diese drei allgemeinen Bewe gungsvektoren sind die erforderlichen globalen Bewegungsvektoren, und es ist wichtig, festzustellen, daß sie noch in der Reihenfolge der Frequenz geordnet sind.
Wenn der Bewegungsvektorreduzierungsprozeß und die Abtastblökke eines Videoeinzelbildes betrachtet werden, ist es notwendig, drei unterschiedliche Typen von Abtastblöcken zu betrachten. Diese Typen haben Bezug auf ihre aktuelle Position in einem Videoeinzelbild und sind in Fig. 30 als Bereiche dargestellt. Der Bereich A umfaßt Abtastblöcke, welche vollständig von anderen Abtastblöcken umgeben sind und sich nicht nahe des Bildrands befinden. Der Bereich B enthält Abtastblöcke, welche teilweise von anderen Abtastblöcken umgeben sind und sich nicht nahe des Bildrandes befinden. Schließlich enthält der Bereich C Abtastblöcke, welche sich nahe dem Bildrand befinden. Der Bewegungsvektorreduzierungsalgorithmus, welcher für jeden dieser Bereiche verwendet wird, ist unterschiedlich. Diese Algorithmen werden unten beschrieben, aber zuerst sollte wiederholt werden, daß für einige der Abtastblöcke in dem Videoeinzelbild keine guten Bewegungsvektoren existieren, und daß es zusätzlich außerdem drei globale Bewegungsvektoren gibt, welche das meiste der vorherrschenden Bewegung in der Szene repräsentieren sollten. Eine Auswahl dieser Bewegungsvektoren wird verwendet, um drei Bewegungsvektoren zusammen mit dem stationären Bewegungsvektor für jeden Abtastblock weiterzuleiten.
Fig. 31 stellt schematisch die Bewegungsvektorreduzierung in dem Bereich A dar. Das ist der komplexeste zu behandelnde Bereich, da er die größte Anzahl von zu prüfenden Bewegungsvektoren besitzt. Fig. 31 zeigt einen zentralen Abtastblock, welcher gestrichelt ist, und welcher von anderen Abtastblöcken a bis h umgeben ist. Zuerst wird der örtlich abgeleitete Bewegungsvektor überprüft, um zu sehen, ob er als ein guter Bewegungsvektor klassifiziert worden ist. Wenn das der Fall war und er außerdem nicht derselbe wie der stationäre Bewegungsvektor ist, dann wird er weitergeleitet. Jedoch wird er ignoriert, wenn er durch beide Tests fällt. Dann wird der Bewegungsvektor, welcher mit dem Abtastblock d verknüpft ist, überprüft, um zu sehen, ob er als ein guter Bewegungsvektor klassifiziert wurde. Wenn das der Fall war, und wenn er auch nicht derselbe wie irgend ein bereits ausgewählter Bewegungsvektor noch derselbe wie der stationäre Bewegungsvektor ist, dann wird auch dieser weitergeleitet. Wenn er durch irgend einen dieser Tests fällt, dann wird auch er ignoriert. Dieser Prozeß wird dann in ähnlicher Weise in der Reihenfolge e, b, g, a, h, c und f weitergeführt. Sobald drei Bewegungsvektoren, welche den stationären Bewegungsvektor nicht enthalten, erhalten worden sind, stoppt der Algorithmus, da dieses alles ist, was für eine Bewegungsvektorauswahl für diesen Abtastblock erforderlich ist. Es ist jedoch möglich, daß bei allen oben genannten Prüfungen, welche auszuführen sind, keine drei guten Bewegungsvektoren erhalten worden sind. Wenn dies der Fall ist, dann werden die übriggebliebenen Räume mit den globalen Bewegungsvektoren gefüllt, wobei den am meisten vorhandenen globalen Bewegungsvektoren Priorität eingeräumt wird.
Fig. 32 stellt eine Bewegungsvektorreduzierung in dem Bereich B dar. Die Abtastblöcke in dem Bereich B sind die gleichen wie jene in dem Bereich A, außer daß sie nicht vollständig durch andere Abtastblöcke umgeben sind. Auf diese Weise ist das Verfahren, welches bei diesen Abtastblöcken angewendet wird, exakt dasselbe wie jenes für den Bereich A, außer, daß es nicht möglich ist, in allen der umgebenden Abtastblöcke zu suchen. Auf diese Weise ist es, wie in Fig. 32 zu sehen ist, nur möglich, die Bewegungsvektoren für die Abtastblöcke a bis e zu prüfen, und alle verbleibenden Räume für Bewegungsvektoren werden wie vorher mit globalen Bewegungsvektoren aufgefüllt. Auf ähnliche Weise ist zu erkennen, daß es dann, wenn der gestrichelte Abtastblock in Fig. 32 zwei Positionen weiter nach links gezeigt wäre, nur drei benachbarte sie umgebende Blöcke gibt, welche zu prüfen sind, bevor von den globalen Bewegungsvektoren Gebrauch gemacht wird.
Fig. 33 stellt eine Bewegungsvektorreduzierung im Bereich C dar. Dies ist der schwerste Fall, da die Abtastblöcke weder einen lokal abgeleiteten Bewegungsvektor besitzen, noch viele sie umgebende Abtastblöcke besitzen, dessen Bewegungsvektoren verwendet werden könnten. Der einfachste Weg, mit diesem Problem fertig zu werden besteht darin, einfach den Abtastblöcken in dem Bereich C die globalen Bewegungsvektoren zusammen mit dem stationären Bewegungsvektor zuzuweisen. Jedoch hat sich herausgestellt, daß dies einen blockähnlichen Effekt in dem sich ergebenden Bild aufgrund des plötzlichen Wechsels in den Bewegungsvektoren erzeugt, welche für die Abtastblöcke in dem Bereich C, verglichen mit angrenzenden Abtastblöcken in dem Bereich B, präsentiert werden. Daher besteht eine bevorzugte Strategie darin, für die Abtastblöcke in dem Bereich C die Abtastbewegungsvektoren zu verwenden, wie sie für die Abtastblöcke in dem Bereich B verwendet werden, da dies plötzliche Veränderungen verhindert. Vorzugsweise werden jedem Abtastblock in dem Bereich C die gleichen Bewegungsvektoren zugewiesen, wie dem Abtastblock in dem Bereich B, welcher diesem physikalisch am nächsten liegt. Auf diese Weise würden in dem Beispiel von Fig. 33 jedem der gestrichelten Abtastblöcke in dem Bereich C die gleichen Bewegungsvektoren zugeteilt wie dem Abtastblock a in dem Bereich B und es hat sich herausgestellt, daß dies ausgezeichnete Ergebnisse liefert.
Es wird wieder Bezug auf Fig. 1 genommen. Der Zweck der Bewegungsvektorauswahlschaltung 6 besteht darin, einen der vier Bewegungsvektoren, welche ihr zugeführt werden, jedem individuellen Pixel in dem Abtastblock zuzuteilen. Auf diese Weise können die Bewegungsvektoren korrekt auf den Umriß der Objekte abgebildet werden. Der Weg, auf welchem diese Zuteilung durchgeführt wird, beabsichtigt speziell, die Möglichkeit zu vermeiden, daß der Hintergrund feine Details umgibt, durch die Erzeugung einer besseren Abbildung als jene, welche durch den korrekten Bewegungsvektor erzeugt wird. Um dies zu erreichen, ist der Bewegungsvektorauswahlprozeß in zwei Hauptstufen aufgeteilt. In der ersten Stufe werden Bewegungsvektoren für jedes Pixel in dem Eingangseinzelbild erzeugt. Mit anderen Worten, es gibt keinen Versuch, die Bewegungsvektorwerte für Pixel an den Ausgangseinzelbildpositionen zu bestimmen. Die zweite Stufe verwendet die Bewegungsvektorwerte, welche durch die erste Stufe erzeugt worden sind, um den Bewegungsvektorwert für jedes Pixel in dem Ausgangseinzelbild zu bestimmen.
Betrachtet man nun Fig. 34, so wird jedes Pixel des Eingangseinzelbildes 2 auf die beste Luminanzwertanpassung hinsichtlich der vorhergehenden und nachfolgenden Eingangseinzelbilder 1 und 3 der Videodaten überprüft, wobei jeder der vier zugeführten Bewegungsvektoren verwendet wird. Die Pixelluminanzdifferenz wird bestimmt als:
wobei:
P1nm der Luminanzwert eines Pixel des Einzelbilds 1 in einem 4x4-Block von Pixeln ist, welche das Pixel umgeben, dessen Stelle durch Subtraktion der Koordinaten des geprüften Bewegungsvektors von der Stelle des im Einzelbild 2 geprüften Pixels ist,
P2nm der Luminanzwert eines Pixel des Einzelbilds 2 in einem 4x4-Block von Pixeln ist, welche das geprüfte Pixel umgeben,
P3nm der Luminanzwert eines Pixels des Einzelbilds 3 in einem 4x4-Block von Pixeln ist, welche das Pixel umgeben, dessen Stelle durch Addition der Koordinaten des geprüften Bewegungsvektors zu der Stelle des im Einzelbild 2 geprüften Pixel erhalten wird.
Die minimale Pixeldifferenz zeigt dann die beste Luminanzanpassung und daher den korrekten Bewegungsvektor&sub1; welcher für das zu testende Pixel geeignet ist. Wenn der korrekte Bewegungsvektor nicht erhältlich ist oder es bedeckte und unbedeckte Bereiche gibt, worauf unten detaillierter Bezug genornmen wird, dann ergibt sich keine gute Anpassung.
Die Anzeige einer schlechten Abbildung wird erreicht, wenn die Durchschnittspixeldifferenz in dem Pixelblock, welcher verwendet wird, über einer bestimmten Schwelle liegt. Diese Schwelle ist wichtig, da ein Hochfrequenzanteil eine schlechte Abbildung erzeugen kann, selbst wenn der korrekte Bewegungsvektor geprüft worden ist. Der Grund für diese schlechte Abbildung ist die Möglichkeit eines halben Pixelfehlers bei der Bewegungsvektorabschätzung. Um zu bestimmen, was für eine Schwelle eine schlechte Abbildung anzeigen sollte, ist es notwendig, den Schwellenwert zu dem Frequenzinhalt des Bildes in dem Datenblock, welcher das Pixel umgibt, in Beziehung zu setzen, für welches der Bewegungsvektor erforderlich ist. Um dies zu erreichen, wird ein selbsttätiger Schwellenwert bestimmt, wobei der Schwellenwert gleich der Hälfte der maximalen horizontalen oder vertikalen Pixelluminanzdifferenz um das Pixel herum ist, welches getestet wird. Um sicherzustellen, daß der erhaltene Schwellenwert repräsentativ für den gesamten Datenblock ist, welcher verglichen wird, wird ein Durchschnittswert für die vier zentralen Pixels eines 4x4-Blocks benutzt.
Es wird Bezug auf Fig. 36 genommen, welche einen 4x4-Block zeigt, wobei der geforderte Schwellenwert T gegeben ist durch:
T = (Tl + T2 + T3 + T4)/8
wobei z. B. bestimmt wird, wie in Fig. 37 gezeigt ist, daß T3 gleich dem Maximum der vier Pixelluminanzdifferenzwerte, welche umfassen:
die zwei vertikalen Differenzen B2 - B3 und B4 - B3 und
die zwei horizontalen Differenzen A3 - B3 und C3 - B3
Auf diese Weise wird ein Einzelbild von Bewegungsvektoren für ein Eingangseinzelbild 2 erhalten, und auf ähnliche Weise wird ein Einzelbild von Bewegungsvektoren für ein Eingangseinzelbild 3, wie in Fig. 35 gezeigt ist, erhalten.
Getrennt von diesen Szenenveränderungen gibt es das pHänomen der unbedeckten/bedeckten Oberflächen, welches eine Mißanpassung verursacht, welche in der oben genannten ersten Stufe einer Bewegungsvektorauswahl auftritt. Wenn ein Objekt, z. B. ein Wagen, in einen Tunnel hineinfährt, dann wird der Wagen bedeckt, während, wenn er herausfährt, der Wagen unbedeckt ist. Wenn der Teil des Wagens, welcher in den Einzelbildern 1 und 2 unbedeckt war in den Einzelbildern 3 und 4 bedeckt ist, dann ist der grundlegende Vektorauswahlprozeß nicht in der Lage, den korrekten Vektor zu bestimmen. Darüber hinaus sind, während der Wagen bedeckt wird, während er in den Tunnel hineinfährt, die Straße und die Objekte hinter dem Auto unbedeckt. Auf ähnliche Weise wird der den Tunnel verlassende Wagen unbedeckt, aber die Straße und die Objekte hinter dem Wagen sind bedeckt. Daher werden im allgemeinen sowohl bedeckte als auch unbedeckte Objekte zu der gleichen Zeit bestehen. Das Ende einer Szene wird also eine Bewegungsunterbrechung aufweisen, welche ähnlich einem Objekt ist, welches bedeckt wird. In einem Versuch, selbst unter derartigen Umständen einen Bewegungsvektor zu bestimmen, wird die Luminanzwertblockanpassung auf eine Anpassung von zwei Einzelbildern reduziert, anstatt der Anpassung von drei Einzelbildern der Fig. 34 und 35. Das Einzelbild, für welches die Bewegungsvektoren erforderlich sind (z. B. Einzelbild 2) wird individuell gegenüber dem vorhergehenden und dem nächsten Rahmen (jeweils Einzelbild 1 und Einzelbild 3 in dem Fall von Einzelbild 2) unter Verwendung der zugeführten vier Bewegungsvektoren blockangepaßt. Der Bewegungsvektor, welcher die beste Anpassung erzeugt, wird als der Bewegungsvektor ausgewählt, welcher für das Pixel, welches getestet wird, geeignet ist. In diesem Fall wird jedoch ein Flag gesetzt, um anzuzeigen, daß nur eine Anpassung für zwei- Einzelbilder verwendet wurde.
Speziell bei Fernsehkameras des integrierten Typs entstehen Situationen, in welcher keine Anpassung auftritt. Wenn sich ein Objekt über einen detaillierten Hintergrund bewegt, dann wird eine integrierende Kamera außergewöhnliche Teile von Bildem erzeugen, in welchen die ansteigenden und abfallenden Kanten des Objekts mit dem Detail des Hintergrunds gemischt sind. Unter solchen Umständen könnten selbst die Anpassung für zwei Einzelbilder eine Durchschnittspixeldifferenz über dem Schwellenwert erzeugen. In diesen Fällen wird der Bewegungsvektorwert auf 0 gesetzt und außerdem ein Fehlerflag gesetzt.
Die zweite Stufe der Bewegungsvektorauswahl macht Gebrauch von den zwei Einzelbildern aus Bewegungsvektoren, welche mittels der ersten Stufe hergeleitet worden sind. Ein Einzelbild aus Bewegungsvektoren (Eingangseinzelbild 2) wird als Referenzeinzelbild betrachtet, und das diesem folgende Einzelbild (Eingangseinzelbild 3) wird ebenfalls verwendet. Die Ausgangseinzelbildposition besteht dann irgendwo zwischen diesen zwei Einzelbildern aus Bewegungsvektoren. Bezugnehmend auf Fig. 38 werden für jede Ausgangspixelposition die vier möglichen Bewegungsvektoren, welche mit dem Abtastblock des Eingangseinzelbildes 2 verknüpft sind, geprüft. Es wird eine Linie durch die Ausgangspixelposition mit dem Winkel des Bewegungsvektors, welcher getestet wird, zu einer Position in sowohl dem Eingangseinzelbild 2 als auch dem Eingangseinzelbild 3 gezogen. In dem Falle von ungeradzahligen Werten der Bewegungsvektoren, z. B. 1, 3 und 5, würde ein Punkt auf halbem Weg zwischen zwei Pixeln eines Eingangseinzelbildes gekennzeichnet für den Fall, bei welchem das Ausgangseinzelbild präzise auf halbem Weg zwischen den Eingangseinzelbildern 1 und 2 liegt. Um diese Ungenauigkeit zu erlauben und außerdem die Empfindlichkeit für individuelle Pixel zu verringern, wird ein 3x3-Block von Bewegungsvektoren für jedes Einzelbild gewonnen, zentriert an der engsten Pixelposition. Im wesentlichen wird dann eine Blockanpassung zwischen jeden der zwei 3x3-Blocks von Bewegungsvektoren durchgeführt, und ein Block, welcher den Bewegungsvektor enthält, wird geprüft. Die verwendete Bewegungsvektordifferenz repräsentiert die räumliche Differenz der zwei Bewegungsvektorwerte, welche wie folgt gegeben sind:
y((x1 - x2)² + (y1 - y2)²)
wobei:
x1 und y1 kartesische Koordinaten des Bewegungsvektors in einem der Blöcke sind,
x2 und y2 kartesische Koordinaten des Bewegungsvektors welcher geprüft wird, sind.
Als Ergebnis der Blockanpassung wird eine Durchschnittsvektordifferenz pro Pixel erzeugt.
Es wird zuerst wie oben beschrieben eine Bewegungsvektorabbildung erzeugt, wobei nur Bewegungsvektorwerte, welche unter Verwendung der drei Eingangseinzelbilder berechnet wurden, verwendet werden; d. h. der Einzelbilder 1, 2 und 3 für das Eingangseinzelbild 2 (Fig. 34) und der Eingangseinzelbilder 2, 3 und 4 für das Eingangseinzelbild 3 (Fig. 35), und das Ergebnis wird entsprechend skaliert. Vorzugsweise gibt es mindestens vier verwendbare Bewegungsvektoren in einem Neunerblock. Wenn sowohl der Bewegungsvektorblock des Einzelbildes 2 als auch des Einzelbildes 3 verwendet werden kann, setzen sich die Bewegungsvektordifferenzwerte aus der Hälfte des Bewegungsvektordifferenzwertes aus dem Einzelbild 2 plus der Hälfte des Bewegungsvektordifferenzwertes aus dem Bild 3 zusammen. Ganz gleich, welcher Bewegungsvektor den minimalen Bewegungsvektordifferenzwert unter Verwendung der oben genannten Technik erzeugt, er wird als der Bewegungsvektor betrachtet, welcher für das Ausgangspixel, welches geprüft wird, geeignet ist. Wenn der Bewegungsvektordifferenzwert, welcher durch den Eingangsbewegungsvektor Anpassung für drei Einzelbilder (Fig. 34 und 35) erzeugt worden ist, größer als 1 ist, dann ist eine bedeckte oder unbedeckte Oberfläche festgestellt worden, und der gleiche Prozeß wird wiederholt, aber diesmal werden die Fehlerflags ignoriert. D. h., es werden die Bewegungsvektorwerte benutzt, welche unter Verwendung der zwei Eingangseinzelbilder berechnet worden sind. Theoretisch ist dies nur notwendig für unbedeckte/bedeckte Oberflächen, obwohl tatsächlich Verbesserungen bei dem Bild in allgemeineren Bereichen erhalten werden können.
Wenn, nachdem beide der oben genannten Tests durchgeführt worden sind, die minimale Bewegungsvektorabbildung größer als 2 ist, wird der Bewegungsvektorwert auf Null gesetzt, und ein Fehlerflag wird zur Verwendung durch die Bewegungsvektornachverarbeitungsschaltung 7 (Fig. 1) gesetzt.
Im Anschluß an die Bewegungsvektorauswahl wird es fast sicher in irgendeiner realen Bildsituation einige verbleibende unechte Bewegungsvektoren, welche mit bestimmten Pixeln verknüpft sind, geben. Die Fig. 39 bis 44 zeigen, was unter unechten Bewegungsvektoren verstanden wird, und in jeder von diesen Figuren stellen die Dreiecke Pixel dar, welche die gleichen mit diesen verknüpften Bewegungsvektoren aufweisen, während die Sterne Pixel repräsentieren, welche die gleichen mit diesen verbundenen Bewegungsvektoren aufweisen, welche unterschiedlich zu jenen sind, welche mit den umgebenden Pixeln verknüpft sind, und die Kreise kennzeichnen den sich in der Prüfung befindlichen Bewegungsvektor.
Fig. 39 zeigt eine Punktsingularität, bei welcher ein einzelnes Pixel einen Bewegungsvektor besitzt, welcher unterschiedlich zu jenen von allen ihn umgebenden Pixeln ist.
Fig. 40 zeigt einen horizontalen Bewegungsvektorimpuls, wobei drei horizontal in einer Linie ausgerichtete Pixel einen Bewegungsvektor besitzen, welcher sich von jenen der sie umgebenden Pixel unterscheidet.
Fig. 41 zeigt einen vertikalen Bewegungsvektorimpuls, wobei drei vertikal in einer Linie ausgerichtete Pixel einen Bewegungsvektor besitzen, welcher sich von jenen der sie umgebenden Pixel unterscheidet.
Fig. 42 zeigt einen diagonalen Bewegungsvektorimpuls, bei welchem drei diagonal in Reihe ausgerichtete Pixel einen Bewegungsvektor besitzen, welcher sich von jenen von allen sie umgebenden Pixeln unterscheidet.
Fig. 43 zeigt einen horizontalen und einen vertikalen Bewegungsvektorimpuls, bei welchem fünf Pixel, welche in einem geraden Kreuz angeordnet sind, einen Bewegungsvektor besitzen, welcher sich von jenen von allen sie umgebenden Pixeln unterscheidet.
Fig. 44 zeigt einen Bewegungsvektorimpuls in Richtung von zwei Diagonalen, wobei fünf Pixel, welche in einem diagonalen Kreuz angeordnet sind, einen Bewegungsvektor besitzen, welcher sich von jenen von allen sie umgebenden Pixeln unterscheidet.
Es wird angenommen, daß Pixelbewegungsvektoren, welche in irgend eine der oben genannten sechs Kategorien fallen, tatsächlich nicht zu einem realen Bild gehören, und ein direktes Ergebnis einer nicht korrekten Bewegungsvektorauswahl sind. Wenn derartige Bewegungsvektoren während des Interpolationsprozesses verwendet werden, dann könnten sie voraussichtlich Punkte auf dem endgültigen Ausgangsbild verursachen, und es ist daher vorteilhaft, daß derartige Bewegungsvektoren identifiziert werden und eliminiert werden. Dies wird unter Verwendung eines Algorithmus durchgeführt, welcher alle oben genannten Bewegungsvektorgruppierungen feststellt und mit einer Markierung versieht.
Der Algorithmus verwendet einen Prozeß mit zwei Durchgängen, wobei jeder Durchgang identisch ist. Die Notwendigkeit für zwei Durchgänge wird ersichtlich werden werden. Fig. 45, auf welche Bezug genommen wird, zeigt eine Anordnung von Pixeln, wobei alle jene, welche mit einem Dreieck markiert sind, den gleichen Bewegungsvektor besitzen, welcher mit diesen verknüpft ist. Der Block aus neun Pixeln in der Mitte besitzt Bewegungsvektoren, welche als Vektor 1 bis Vektor 9 gekennzeichnet sind, welche mit diesen verknüpft sind, wobei die Bewegungsvektoren gleich oder nicht gleich sein können. Der Vektor 5 ist der sich in der Prüfung befindliche Bewegungsvektor.
In dem ersten Durchgang wird der Vektor 5 geprüft, um zu bestimmen, ob er der gleiche ist wie oder innerhalb einer vorgegebenen Toleranz liegt:
zuerst
wie Vektor 1 oder Vektor 3 oder Vektor 7 oder Vektor 9
und zweitens
wie Vektor 2 oder Vektor 4 oder Vektor 6 oder Vektor 8.
Diese Prüfungen erfolgen, um zu sehen, ob der Vektor 5 derselbe wie zumindest einer von seinen horizontalen oder vertikalen Nachbarn ist, und derselbe wie zumindest einer von seinen diagonalen Nachbarn ist. Wenn dieses nicht der Fall ist, dann wird ein Flag gesetzt, um zu kennzeichnen, daß das Pixel 5 schlecht ist.
Der erste Durchlauf wird jene Bewegungsvektoren als schlecht mit einer Markierung versehen, welche sich auf Punktsingularitäten, horizontale Bewegungsvektorimpulse, vertikale Bewegungsvektorimpulse, diagonale Bewegungsvektorimpulse und Bewegungsvektorimpulse in zwei diagonale Richtungen (Fig. 39 bis 42 und 44) beziehen, aber nicht die Bewegungsvektoren, welche horizontalen plus vertikalen Bewegungsvektorimpulsen (Fig. 43) entsprechen, für welche der Durchlauf 2 erforderlich ist. Der zweite Durchlauf prüft unter genau den gleichen Bedingungen wie in dem ersten Durchlauf, aber in diesem Falle sind die Bewegungsvektoren, welche bereits als schlecht mit einer Markierung versehen worden sind, nicht in der Berechnung enthalten. Auf diese Weise werden, bezugnehmend auf Fig. 43, nachdem nach dem ersten Durchlauf nur der Mittelpunktbewegungsvektor als schlecht mit einer Markierung versehen worden ist, nach dem zweiten Durchlauf aber alle fünf der Bewegungsvektoren, welche in dem geraden Kreuz angeordnet sind, als schlecht mit einer Markierung versehen.
Nachdem die schlechten Bewegungsvektoren identifiziert worden sind, wird es dann notwendig, diese zu ersetzen, wobei dies ebenfalls durch die Bewegungsvektornachbearbeitungsschaltung 7 (Fig. 1) durchgeführt wird. Obwohl verschiedene Verfahren, wie z. B. Interpolation oder Majoritätsaustausch, verwendet werden können, hat sich herausgestellt, daß in der Praxis ein einfacher Austausch gute Resultate bringt. Dieser wird wie folgt durchgeführt (und es sollte festgestellt werden, daß die "Gleichheitszeichen" nicht nur 'genau gleich' bedeuten, sondern innerhalb einer vorgegebenen Toleranz liegen) Wenn der Vektor 5 als schlecht mit einer Markierung versehen ist, dann wird er ausgetauscht durch:
Vektor 4 wenn (Vektor 4 Vektor 6)
sonst durch Vektor 2, wenn (Vektor 2 = Vektor 8)
sonst durch Vektor 1, wenn (Vektor 1 = Vektor 9)
sonst durch Vektor 3, wenn (Vektor 3 = Vektor 7)
sonst durch nichts.
Es wird wieder Bezug auf Fig. 1 genommen. Der schließlich ausgewählte Bewegungsvektor für jedes Pixel wird von dem fortlaufenden Abtastkonverter 2 durch die Bewegungsvektornachbearbeitungsschaltung 7 dem Interpolator 8 zusammen mit den mittels fortlaufender Abtastung umgewandelten Einzelbildern zu 60 Einzelbilder pro Sekunde zugeführt. Der Interpolator 8 weist eine relativ einfache Form auf, welche nur zwei mittels fortlaufender Abtastung umgesetzte Einzelbilder, wie in Fig. 46 gezeigt ist, verwendet. Unter Verwendung der zeitlichen Position des Ausgangseinzelbildes relativ zu aufeinanderfolgenden Eingangseinzelbildern, Einzelbild 1 und Einzelbild 2, und des Bewegungsvektor für die Pixel in dem Ausgangseinzelbild bestimmt der Interpolator 8 in bekannter Weise, welcher Teil des ersten Einzelbildes mit welchem Teil des zweiten Einzelbildes kombiniert werden sollte und mit welcher Gewichtung, um den korrekten Ausgangspixelwert zu erzeugen. Mit anderen Worten, der Interpolator 8 interpoliert anpassungsfähig entlang der Bewegungsrichtung in Abhängigkeit von den Bewegungsvektoren, um bewegungskompensierte fortlaufende Abtasteinzelbilder entsprechend den 24 Einzelbildern pro Sekunde zu erzeugen. Obwohl die Bewegungsvektoren nur unter Verwendung der Luminanzwerte der Pixel hergeleitet worden sind, werden die gleichen Bewegungsvektoren zur Herleitung der erforderlichen Ausgangspixelchrorninanzwerte verwendet. Von jedem Einzelbild wird eine 8x8- Anordnung von Pixeln verwendet, um das erforderliche Ausgangssignal zu erzeugen. Auf diese Weise ist der Interpolator 8 ein zweidimensionaler Vertikal-/Horizontalinterpolator und die Koeffizienten, welche für den Interpolator 8 verwendet werden, können unter Verwendung des Remez-Austauschalgorithmus hergeleitet werden, welchen man vollständig erklärt in "Theory and application of digital signal processing", Lawrence R. Rabiner, Bernhard Gold, Prentice-Hall Inc., Seiten 136 bis 140 und 227 finden kann.
Fig. 46 zeigt schematisch die Interpolation, welche mittels des Interpolators 8 (Fig. 1) für drei unterschiedliche Fälle durchgeführt wird. Der erste Fall, gezeigt auf der linken Seite, ist der, in welchem es keine unbedeckten oder bedeckten Oberflächen gibt, der zweite Fall, gezeigt in der Mitte, ist der, bei welchem es eine bedeckte Oberfläche gibt, und der dritte Fall, gezeigt auf der rechten Seite, ist der, in welchem es eine unbedeckte Oberfläche gibt. In dem Fall einer bedeckten Oberfläche verwendet die Interpolation nur das Einzelbild 1, während in dem Fall einer unbedeckten Oberfläche die Interpolation nur das Einzelbild 2 verwendet.
In dem Interpolator 8 können Vorkehrungen getroffen werden, keine bewegungskompensierte Interpolation durchzuführen, wobei in diesem Falle das zeitlich am nächsten durch fortlaufende Abtastung umgesetzte Einzelbild verwendet wird.
Diese Anmeldung wurde an dem gleichen Tag eingereicht und bezieht sich auf ähnliche Gegenstände wie die europäischen Anmeldungen EP-A-0 395 263, EP-A-0 395 264, EP-A-0 395 265, EP-A-0 395 266, EP-A-0 395 267, EP-A-0 395 268, EP-A-0 395 270, EP-A-0 395 271, EP-A-0 395 272, EP-A-0 395 273, EP-A-0 395 274, EP-A-0 395 275, EP-A-0 395 276 der Anmelderin.

Claims

1. Bewegungskompensierter Video-Normenwandler mit:

Mitteln (3) zum Vergleichen von Suchblöcken (SB) in einem ersten Halb- oder Einzelbild eines Videosignals mit einer Vielzahl von Blöcken für jeweilige Suchpositionen in einem Suchbereich (SA) des nachfolgenden Halb- oder Einzelbildes des Videosignals und zum Erzeugen einer Korrelationsoberfläche für jeden Suchblock (SB) in dem ersten Halb- oder Einzelbild, wobei die Korrelationsoberfläche die Differenz zwischen dem Inhalt des Suchblocks (SB) in dem ersten Halb- oder Einzelbild und dem Inhalt der Blöcke für die Suchpositionen in dem Suchbereich (SA) des nachfolgenden Halb- oder Einzelbildes, mit welchem es verglichen worden ist, repräsentiert;

Mitteln zur Identifizierung einer Mindestdifferenz, welche durch die Korrelationsoberfläche repräsentiert wird;

Mitteln (4) zur Herleitung von Bewegungsvektoren, welche die Bewegung des Inhalts der Suchblöcke (SB) zwischen dem ersten Halb- oder Einzelbild und dem nachfolgenden Halb- oder Einzelbild repräsentieren; und

einem Interpolator (8), der in Abhängigkeit von den auf diese Weise hergeleiteten Bewegungsvektoren gesteuert wird; gekennzeichnet durch

Mittel (29, 30, 32, 36), um durch Bestimmung, ob die Differenzen, welche durch die Korrelationsoberfläche repräsentiert werden, von der Mindestdifferenz, welche durch die Korrelationsoberfläche über einen Bereich der Korrelationsoberfläche, welche die Mindestdifferenz umgibt, repräsentiert wird, monoton größer werden, zu bestimmen, ob die Korrelationsoberfläche einen eindeutigen Mindestwert der Differenz enthält.

bei welchem die Bewegungsvektoren in Abhängigkeit von eindeutigen Mindestwerten, welche auf diese Weise für die Suchblöcke gefunden worden sind, hergeleitet werden.

2. Wandler nach Anspruch 1, bei welchem die Mittel (29, 30, 32, 36) durch Bestimmung des Durchschnittswertes der Differenzen, welche durch jeden von einer Vielzahl von Ringen von Punkten in der Korrelationsoberfläche, welche die Mindestdifferenz konzentrisch umgeben, repräsentiert werden, wirksam sind.

3. Wandler nach Anspruch 2, bei welchem die Vielzahl drei beträgt, und die Ringe jeweils acht, sechzehn und vierundzwanzig Punkte enthalten.

4. Wandler nach Anspruch 1, 2 oder 3, bei welchem der Vergleich durch Vergleichen der Summen der Luminanzpegel der Pixel in den jeweiligen zu vergleichenden Blöcken durchgeführt wird.

5. Verfahren zur Herleitung von Bewegungsvektoren, welche die Bewegung zwischen aufeinanderfolgenden Halb- oder Einzelbildem eines Videosignals repräsentieren, wobei das Verfahren die Schritte enthält:

Vergleichen der Suchblöcke (SB) in einem ersten Halb- oder Einzelbild des Videosignals mit einer Vielzahl von Blöcken für jeweilige Suchpositionen in einem Suchbereich (SA) des nachfolgenden Halb- oder Einzelbildes des Videosignals und Erzeugen einer Korrelationsoberfläche für jeden Suchblock (SB) in dem ersten Halb- oder Einzelbild, wobei die Korrelationsoberfläche die Differenz zwischen dem Inhalt des Suchblocks (SB) in dem ersten Halb- oder Einzelbild und dem Inhalt der Blöcke für die Suchpositionen in dem Suchbereich (SA) des nachfolgenden Halb- oder Einzelbildes, mit welchem es verglichen worden ist&sub1; repräsentiert;

Identifizieren einer Mindestdifferenz, welche durch die Korrelationsoberfläche repräsentiert wird; und

Herleiten von Bewegungsvektoren, welche die Bewegung des Inhalts der Suchblöcke (SB) zwischen dem ersten Halb- oder Einzelbild und dem nachfolgenden Halb- oder Einzelbild repräsentieren;

gekennzeichnet durch

Bestimmen durch Bestimmung, ob die Differenzen, welche durch die Korrelationsoberfläche repräsentiert werden, ausgehend von der Mindestdifferenz, welche durch die Korrelationsoberfläche über einen Bereich der Korrelationsoberfläche, welcher die Mindestdifferenz umgibt, repräsentiert wird, monoton größer werden, ob die Korrelationsoberfläche einen eindeutigen Mindestwert der Differenz enthält;

wobei die Bewegungsvektoren in Abhängigkeit von eindeutigen Mindestwerten, welche auf diese Weise für die Suchblöcke gefunden worden sind, hergeleitet werden.

6. Verfahren nach Anspruch 5, bei welchem die Bestimmung durch Bestimmen des Durchschnittswertes der Differenzen, welche durch jeden von einer Vielzahl von Ringen von Punkten in der Korrelationsoberfläche, welche die Mindestdifferenz konzentrisch umgeben, durchgeführt wird.

7. Verfahren nach Anspruch 6, bei welchem die Vielzahl drei beträgt, und die Ringe jeweils acht, sechzehn und vierundzwanzig Punkte enthalten.

8. Verfahren nach Anspruch 5, 6 oder 7, bei welchen der Vergleich durch Vergleich der Summen der Luminanzpegel der Pixel in den jeweiligen zu vergleichenden Blöcken durchgeführt wird.