DE3851786T2

DE3851786T2 - Auswahl eines Bewegungsvektors in Fernsehbildern.

Info

Publication number: DE3851786T2
Application number: DE3851786T
Authority: DE
Inventors: Clive Henry Gillard
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1987-06-09
Filing date: 1988-05-20
Publication date: 1995-03-09
Anticipated expiration: 2008-05-21
Also published as: EP0294961B1; EP0294961A3; DE3851786D1; EP0294961A2; JPS63313984A; US4864394A

Description

Diese Erfindung betrifft eine Bewegungsvektorauswahl in Fernsehbildern. Eine derartige Bewegungsvektorauswahl wird insbesondere, aber nicht ausschließlich bei Fernsehstandardumsetzern und bei Zeitlupenprozessoren verwendet.
Der Wechsel internationaler Fernsehprogramme benötigt aufgrund der in verschiedenen Ländern verwendeten verschiedenen Fernsehstandards, beispielsweise das im Vereinigten Königreich verwendete (625/50)-PAL-System mit 625 Zeilen und 50 Halbbildern pro Sekunde und das in den USA verwendete (525/60)-NTSC-System mit 525 Zeilen und 60 Feldern pro Sekunde, Standardumsetzer.
Es sind bisher viele verschiedene Standardumsetzer vorgeschlagen worden. Einer der bestbekanntesten ist der von der British Broadcasting Corporation entwickelte ACE (Advanced Conversion Equipment). Der ACE arbeitet grundsätzlich zeilenweise an einem digitalen Eingangsfernsehsignal, um zur Bildung eines digitalen Ausgangsfernsehsignals erforderliche interpolierte Samples abzuleiten. Eine Interpolation wird nicht nur räumlich unter Verwendung von vier sukzessiven horizontalen Abtastzeilen des Eingangsfernsehsignals ausgeführt, sondern auch zeitweilig unter Verwendung von vier sukzessiven Halbbildern des Eingangsfernsehsignals. Infolgedessen wird jede Zeile des Ausgangsfernsehsignals durch Multiplikation jeweiliger Samples aus sechzehn Zeilen des Eingangsfernsehsignals mit jeweiligen Gewichtungskoeffizienten abgeleitet.
Weitere Einzelheiten des ACE können aus der UK-Patentschrift GB-A-2059712 und der Veröffentlichung "Four-field digital standards converter for the eighties" von R. N. Robinson und G. J. Cooper auf den Seiten 11 bis 13 von "Television" (dem Journal der Royal Television Society) für Januar/Februar 1982 entnommen werden.
Obgleich der ACE gute Ergebnisse liefert, besteht das Problem, daß die Einrichtung sehr voluminös ist. Zur Lösung dieses Problems haben wir bisher einen Fernsehstandardumsetzer vorgeschlagen, der drei Halbbildspeicher und vier 4-Zeilen-Speicher zum Empfang eines digitalen Eingangsfernsehsignals eines Standards und Ableiten von Arrays aus sechzehn Zeilen aus diesem Signal vorgeschlagen, wobei jedes Array aus vier sukzessiven Zeilen aus jedem von vier sukzessiven Halbbildern des Eingangsfernsehsignals besteht. Ein Gewichtungskoeffizientspeicher speichert Sätze aus sechzehn Gewichtungskoeffizienten, welche Sätze jeweils sowohl räumlichen als auch zeitlichen Positionen jeweiliger Zeilen eines digitalen Ausgangsfernsehsignals eines anderen Standards relativ zu den sechzehn Zeilen des Eingangsfernsehsignals entsprechen. Zwei Interpolationsfilter leiten dann zeilenweise das Ausgangsfernsehsignal durch Multiplikation entsprechender Samplewerte aus jeder der sechzehn Zeilen des Eingangsfernsehsignals mit einem jeweiligen Gewichtungskoeffizienten in einem Satz Gewichtungskoeffizienten ab und summieren die resultierenden Produkte zur Bildung eines interpolierten Samplewertes, und vier Ausgangshalbbildspeicher empfangen und speichern die abgeleiteten Zeilen des Ausgangsfernsehsignals. Zum Speichern der zusätzlichen Zeilen, die abgeleitet werden, wenn das Ausgangsfernsehsignal mehr Zeilen als das Eingangsfernsehsignal aufweist, ist ein 45- Zeilen-Speicher zwischen einem der Interpolationsfilter und dem Ausgangshalbbildspeicher angeordnet. Weitere Einzelheiten sind unserer UK-Patentschrift GB-A-2140644 zu entnehmen.
Die Ausführung solcher vertikale/zeitliche Interpolationstechniken verwendenden Standardumsetzer stellen einen Kompromiß zwischen der Erzeugung verwischter oder verwackelter Bilder unter Beibehaltung einer guten Bewegungsbeschreibung und der Beibehaltung vertikaler Auflösung jedoch mit dem Preis einer "Verwackelung" dar. Der erstgenannte ist das Ergebnis einer Nachfilterung zur Vermeidung störender Aliaseffekte, der letztgenannte das Ergebnis der Einbringung der benachbarten zweidimensionalen Wiederholungssamplestrukturen.
Wir haben deshalb vorgeschlagen, daß eine Bewegungsvektorabschätzung in Fernsehstandardumsetzer und Zeitlupenprozessoren aufgenommen werden sollte. Das Problem bei der Majorität existierender Bewegungsvektorabschätzungsverfahren liegt darin, daß ihre Verwendung in Richtung zu Anwendungen vom Typ der Videokonferenz gezwungen ist, bei denen der Gegenstand generell entweder der Kopf und die Schulter einer einzelnen Person oder eine kleine Gruppe von um einen Tisch sitzenden Leuten ist. Bei Fernsehbildern dieses Typs ist die Bewegung relativ einfach im Vergleich zu Rundfunkfernsehbildern, bei welchen beispielsweise bei einem Pferderennen die Kamera möglicherweise den Führenden des Rennens folgt. In dieser Situation wäre die Bewegung beispielsweise komplex, da die Kamera schwenken würde. Infolgedessen kann sich der Hintergrund gut und gerne mit Geschwindigkeiten bewegen, die größer als acht Pixel pro Halbbild sind, während im Vordergrund wenigstens ein Pferd galoppieren würde. Dies bedeutet, daß das Bewegungsvektorabschätzverfahren versuchen muß, den Beinen des Pferdes zu folgen, die sich zur Richtung des sich schon bewegenden Hintergrundes gut und gerne in verschiedenen Richtungen bewegen, und das Verfahren wirft deshalb Probleme der Bewegungsvektorauswahl auf.
Ein Aspekt der vorliegenden Erfindung betrifft insbesondere ein Verfahren, das die Schritte
einer Ableitung einer Anzahl Bewegungsvektoren, die jeweils die Bewegung eines Pixels im Bild darstellen,
einer Prüfung der Genauigkeit jedes Bewegungsvektors durch Differenzieren bzw. Unterscheidung von in Abhängigkeit von diesem Bewegungsvektor aus wenigstens zwei sukzessiven Halbbildern des Bildes in eine gemeinsame Position in einem zwischen diese Halbbilder interpolierten Halbbild verschobenen Pixeln, und
einer Auswahl eines Bewegungsvektors aus der Anzahl in Abhängigkeit vom Prüfschritt aufweist.
Ein derartiges Verfahren ist aus der Patentanmeldung EP-A1-0 187 641 bekannt.
Die vorliegende Erfindung geht aus den Ansprüchen hervor.
Danach wird aus der ursprünglich abgeleiteten ersten Anzahl Bewegungsvektoren eine zweite Anzahl Bewegungsvektoren auf der Basis einer Differenzierung bzw. Unterscheidung zwischen einem ersten und zweiten Halbbild ausgewählt und dann aus der zweiten Anzahl Bewegungsvektoren einer der Bewegungsvektoren auf der Basis einer Differenzierung bzw. Unterscheidung zwischen dem zweiten und einem dritten Halbbild ausgewählt
Gemäß einem anderen Aspekt der Erfindung ist eine entsprechende Vorrichtung bereitgestellt, die
eine Einrichtung zum Ableiten einer Anzahl Bewegungsvektoren, die jeweils die Bewegung eines Pixels im Bild darstellen,
eine Einrichtung zur Prüfung der Genauigkeit jedes Bewegungsvektors durch Differenzieren bzw. Unterscheidung von in Abhängigkeit von diesem Bewegungsvektor aus wenigstens zwei sukzessiven Halbbildern des Bildes in eine gemeinsame Position in einem zwischen diese Halbbilder interpolierten Halbbild verschobenen Pixeln, und
eine Auswahleinrichtung zur Auswahl wenigstens zweier Bewegungsvektoren aus der Anzahl in Abhängigkeit von der Prüfung durch die Prüfeinrichtung, so daß eine zweite Anzahl Bewegungsvektoren ausgewählt wird,
eine weitere Einrichtung zur weiteren Prüfung der Genauigkeit jedes Bewegungsvektors der zweiten Anzahl durch Differenzieren bzw. Unterscheidung von in Abhängigkeit von diesem Bewegungsvektor aus dem zweiten der wenigstens zwei Halbbilder des Bildes und aus dem Halbbild des Bildes, das dem zweiten Halbbild unmittelbar folgt, in die gemeinsame Position, und
eine weitere Einrichtung zur Auswahl eines der Bewegungsvektoren aus der zweiten Anzahl in Abhängigkeit von der weiteren Prüfung durch die weitere Prüfeinrichtung aufweist.
Die Erfindung wird nun unter Bezugnahme auf die beigefügten Zeichnungen beispielhaft beschrieben, wobei in den Zeichnungen gleiche Teile mit gleichen Bezugszeichen versehen sind und
Fig. 1 in sehr vereinfachter Blockschaltbildform einen Fernsehstandardumsetzer zeigt,
Fig. 2 in Blockschaltbildform einen ersten Fernsehstandardumsetzer zeigt,
Fig. 3 in Blockschaltbildform einen zweiten Fernsehstandardumsetzer zeigt,
Fig. 4 einen Teil des Standardumsetzers nach Fig. 3 in detaillierterer Blockschaltbildform zeigt,
Fig. 5 Zeitdiagramme zur Erklärung des Betriebs nach Fig. 4 zeigt,
Fig. 6 einen Teil des Standardumsetzers nach Fig. 2 in detaillierterer Blockschaltbildform zeigt,
Fig. 7 Zeitdiagramme zur Erklärung des Betriebs nach Fig. 6 zeigt,
Fig. 8 einen Teil des Standardumsetzers nach Fig. 2 in detaillierterer Blockschaltbildform zeigt,
Fig. 9 Zeitdiagramme zur Erklärung des Betriebs nach Fig. 8 zeigt,
Fig. 10 einen Teil des Standardumsetzers nach Fig. 2 in detaillierterer Blockschaltbildform zeigt,
Fig. 11 schematisch die Verschiebung von Halbbild-Speicherbildern unter der Steuerung von Bewegungsvektoren zeigt,
Fig. 12 einen Teil des Standardumsetzers nach Fig. 2 in detaillierterer Blockschaltbildform zeigt, und
Fig. 13 schematisch das Problem der Auswahl von einem ebenen Bereich eines Bildes zugeordneten Bewegungsvektoren zeigt.
Um die den Gegenstand der vorliegenden Erfindung bildende Bewegungsvektorauswahl leichter zu verstehen, werden zuerst die Form und der Betrieb zweier Standardumsetzer und eines Zeitlupenprozessors, welche eine solche Bewegungsvektorauswahl verwenden, beschrieben. Die zu beschreibenden Standardumsetzer behalten die vertikale Auflösung bei und beseitigen die "Verwackelung bzw. unregelmäßige Abtastgeschwindigkeit" durch Bewegungskompensation zwischen Halbbildern. Tatsächlich wird die Bewegung zwischen aufeinanderfolgenden Halbbildern analysiert. Diese Halbbilder können dann derart Pixel um Pixel "ausgerichtet" sein, daß sie statische Bilder darstellen, an denen eine Umsetzung stattfinden kann. Infolgedessen kann die vertikale Auflösung beibehalten werden.
Die zu beschreibenden Standardumsetzer können in zwei Teile unterteilt sein. Der erste Teil ist einem bekannten Standardumsetzer analog, der eine vertikale/zeitliche Interpolation zur Umsetzung zwischen 525/60- und 625/50-Fernsehstandards ausführt. Jedoch würde dies ein Ausgangssignal erzeugen, bei welchem die vertikale Auflösung nur mit der addierten Wirkung einer unregelmäßigen Abtastgeschwindigkeit beibehalten würde. Zur Entfernung dieser unregelmäßigen Abtastgeschwindigkeit werden vier Halbbilder des digitalen Eingangsfernsehsignals, die beim Umsetzungsprozeß verwendet werden, unter der Kontrolle von aus einem den zweiten Teil des Standardumsetzers bildenden Bewegungsanalysatorerzeugten Bewegungsvektoren ausgerichtet.
Dies ist in Fig. 1 in sehr vereinfachter Blockschaltbildform gezeigt. Der Videoteil eines digitalen Eingangsfernsehsignals eines Standards, der beispielsweise durch Abtasten eines analogen Fernsehsignals bei 13,5 MHz abgeleitet sein kann, wird einem Interpolator 1 zugeführt, von dem der Videoteil des erforderlichen Ausgangsfernsehsignals eines anderen Standards abgeleitet wird. Ein Bewegungsanalysator 2 empfängt das Luminanzvideo und leitet Bewegungsvektoren ab, welche die Bewegung zwischen sukzessiven Halbbildern des Eingangsfernsehsignals darstellende Daten zur Steuerung des Betriebs des Interpolators 1 bereitstellen. Der Interpolator 1 arbeitet auf generell ähnliche Weise wie der korrespondierende Teil eines bekannten Standardumsetzers, wie er beispielsweise oben bezeichnet ist. Er enthält jedoch auch die Mittel zur Ausrichtung der bei der Interpolation verwendeten vier Halbbilder unter der Kontrolle der Bewegungsvektoren.
Das Zurückbringen der vier Halbbilder wird in zwei Stufen ausgeführt. Die erste Stufe umfaßt die Variation der Adresse eines jedem Halbbild zugeordneten variablen Verzögerungselements zum Zurückbringen bzw. zur Reposition des Bildes zur nächstliegenden Zeile oder dem nächstliegenden Sample. Die zweite Stufe benutzt Interpolationstechniken sowohl vertikal als auch horizontal, um innerhalb ± 1/16 einer Zeile oder ± 1/8 eines Samples zurückzubringen. Auch ohne Bewegung werden beide der obigen Techniken verwendet, um die Umsetzung von Zeilenstandards zu ermöglichen.
Der Vertikalinterpolator weist vier Abgriffe pro Halbbild auf, durch welche ein 8-Abgriff-Vertikalfilter effektiv auf die statischen Bilder angewendet werden kann. Durch einen 8-Abgriff-Interpolator kann eine gute vertikale Auflösung bei minimaler Störung aufrecht erhalten werden. Die Wirkung einer Störung im Horizontalinterpolator ist weniger problematisch, so daß ein 2-Abgriff-Horizontalfilter benutzt wird, obgleich beispielsweise ein 4-Abgriff-Horizontalfilter benutzt werden kann.
Der zeitliche Interpolator wird beim normalen Betrieb benutzt, um eine Interpolation perspektivischer Änderungen zu ermöglichen, oder wenn kein sensibler Bewegungsvektor detektiert werden kann, in welchem Fall der Interpolator 1 zu einem normalen Standardumsetzbetrieb zurückkehren muß, bei welchem keine Neupositionierung eines Bildes stattfindet.
Beim Umsetzen einer hohen Halbbildrate in eine niedrigere Rate werden die ankommenden Halbbilder derart interpoliert, daß ein interpoliertes Halbbild ohne eine Bewegungsverschlechterung gelegentlich fallengelassen werden kann. Die ganze Interpolation wird bei der Eingangshalbbildrate ausgeführt und einem Zeitbasiskorrektor zugeführt, der dann die über der erforderlichen Zeitperiode für den Ausgangsstandard erzeugten Halbbilder verteilt.
Der obige Betrieb ist notwendig, wenn eine Umsetzung von 525/60 in 625/50 erforderlich ist. Es ist jedoch auch evident, daß 625 Zeilen erzeugt werden müssen, wenn im Eingangssignal nur 525 Zeilen vorhanden sind.
Zur Lösung des Zeilenzahl-Umsetzungsproblems wird am Eingang ein zweiter Zeitbasiskorrektor zur Erzeugung eines Signals mit 585 Zeilen bei der 60 Hz-Rate verwendet. Ein 585-Zeilenformat kann die ganze aktive Bildinformation im 625-Zeilenformat enthalten. Diesem ersten Zeitbasiskorrektor zufolge gibt es gelegentlich Zeilen, die keine Videoinformation aufweisen. Die Interpolatorspeicher sind während dieser Zeit eingefroren, so daß eine zusätzliche interpolierte Zeile aus der zur Erzeugung der vorhergehenden Ausgangszeile verwendeten gleichen Zeile erzeugt werden kann. Dieser Prozeß ermöglicht es, daß 625 Zeilen aus den 525 ursprünglichen interpoliert werden können.
Der Grund für die Auswahl des 585/60-Formats wird nun detaillierter erklärt. Ein 625-Zeilen-Bild enthält 288 aktive Zeilen in jedem Halbbild und bei der Samplingrate von 13,5 MHz 720 Samples in jeder Horizontalzeile. Die unten zu beschreibenden Schaltungen der Fernsehstandardumsetzer nach Fig. 2 und 3 verwenden Techniken, die es ermöglichen, daß das Bild um plus oder minus vierundzwanzig Samples horizontal verschoben wird. Dies erfordert eine minimale Horizontalaustastung von 48 Samples. Die Gesamtzahl der in einem Halbbild erforderlichen Samplestellen beträgt deshalb
(720 + 48) · 288 = 221184.
Es besteht klar der beträchtliche Vorteil, daß ein 16,5 MHz- Takt im ganzen System verwendet werden kann, in welchem Fall die Zahl der Taktzyklen innerhalb einer 60 Hz-Periode (genauer einer 59,94 Hz-Periode) gleich
225225
ist.
Wenn in einem einzelnen Rahmen 576 Zeilen aus Daten erforderlich sind, beträgt die Zahl horizontaler Samples 782,03125. Obgleich diese Zahl genügt, die erforderlichen 720 + 48 Samples zu enthalten, würde das bruchstückhafte Sample bedeuten, daß die Struktur auf einer Zeile-zu-Zeile-Basis nicht ortogonal war. Dies würde beim Rest des Standardumsetzers beträchtliche Konstruktionsschwierigkeiten verursachen, wenn die Zahl der erforderlichen Zeilen graduell von 576 erhöht würde, bis in jeder Zeile eine ganze Zahl Samples, tatsächlich 770, vorhanden wäre.
Das einzige Format, das die ortogonale Struktur erreicht, ist das 585/60-Format, welches zusätzlich eine brauchbare vertikale Austastung von vier Zeilen im ersten Halbbild, fünf Zeilen im zweiten Halbbild und 50 Samples horizontaler Austastung gibt.
Im Zeitlupenmodus von 625/50 nach 625/50, auf dem unten Bezug genommen wird, besteht kein Erfordernis, das aktive Video des 625-Formats innerhalb einer 60 Hz-Periode zu speichern, so daß die Interpolation und andere Verarbeitung im normalen 625/50- Format ausgeführt wird.
Bei Umsetzung von einer niedrigen Halbbildrate in eine höhere Rate muß der Eingangszeitbasiskorrektor einen Videostrom mit der Ausgangsrate erzeugen. Dies wird ausgeführt, indem gelegentlich ein Eingangshalbbild wiederholt wird. Wenn das wiederholte Halbbild auftritt, müssen alle Interpolatorspeicher eingefroren werden, so daß die Interpolation auf die gleichen Eingangshalbbilder ausgeübt wird, die zur Erzeugung des vorherigen Ausgangshalbbildes verwendet worden sind.
Wenn diese Technik nicht benutzt würde, wären zwei Sätze aus Interpolator und Bewegungsdetektor zum Bilden des fehlenden Halbbildes erforderlich.
Der obige Betrieb wird ausgeführt, wenn von 625/50 in 525/60 umgesetzt wird. Um zu ermöglichen, daß 625 Zeilen während einer Periode von 60 Halbbildern pro Sekunde vorhanden sind, muß wieder das 585/60-Zwischenformat eingenommen werden. Während dieses Prozesses sind einige der interpolierten Zeilen nicht erforderlich, da nur 525 aus den ursprünglichen 625 erzeugt werden müssen. Am Ausgang ist deshalb ein Zeitbasisumsetzer zur Erzeugung des schließlichen 525/60-Formats erforderlich.
Die Größe der erforderlichen Interpolation wird durch Vergleich einer Eingangs- und Ausgangssynchronisationsimpulsphase bestimmt.
Wie oben erwähnt, wird eine Bewegungsanalyse an der Luminanz des Eingangsvideos ausgeführt. Das angewendete Verfahren umfaßt eine Zahl Stufen zum Erreichen eines einzelnen Bewegungsvektors für jedes Pixel. Eine Bewegung kann im Bereich von ± 24 Pixeln horizontal und ± 8 (Halbbildrate) vertikal detektiert werden.
In einer ersten Stufe wird die Bewegung im Bild bei Punkten auf dem Schirm, die im räumlichen Abstand von 16 Samples horizontal und 8 Zeilen vertikal angeordnet sind, unter Verwendung einer Blockanpassungstechnik bestimmt. Die ursprünglichen Bewegungsvektoren in einem Feld werden alle 16 Samples und alle 8 Zeilen berechnet. Jeder dieser Punkte befindet sich im Zentrum eines Suchblocks. Konzeptuell wird jeder Block bei ± 24 Samples horizontal und + 8 und - 8 Samples vertikal über dem nächsten Halbbild jedesmal abgetastet, wenn die Summierung der Differenzen zwischen den zwei Halbbildern über dem Bereich des Suchblocks erzeugt wird. Die minimale Gesamtdifferenz zeigt dann an, in welcher Richtung sich das Objekt bei diesem Punkt bewegt hat.
In der Praxis wird die obige Technik in separaten Schritten ausgeführt, was den Aufwand und die Komplexität der erforderlichen Hardware stark reduziert.
Schritt 1
Ein Test auf minimale Differenz in gerade drei Positionen, der Zentralposition, sechzehn Samples nach links und sechzehn Samples nach rechts.
Schritt 2: Startend vom oben bezeichneten Punkt
ein Test auf minimale Differenz in neun symmetrisch um den obigen Startpunkt verteilten Positionen in Schritten von acht Samples oder Zeilen.
Schritt 3: Startend vom oben bezeichneten Punkt
ein Test auf minimale Differenz in neun symmetrisch um den obigen Startpunkt verteilten Positionen in Schritten von vier Samples oder Zeilen.
Schritt 4: Startend vom oben bezeichneten Punkt
ein Test auf minimale Differenz in neun symmetrisch um den obigen Startpunkt verteilten Positionen in Schritten von zwei Samples oder Zeilen.
Schritt 5: Startend vom oben bezeichneten Punkt
ein Test auf minimale Differenz in neuen symmetrisch um den obigen Startpunkt verteilten Positionen in Schritten eines Samples oder einer Zeile.
Schritt 6:
Nach Schritt 5 ist die Bewegung des Objekts am nächstliegenden Pixel detektiert worden. Ein genauerer Vektorwert kann durch Hinzufügung eines sechsten Schrittes erreicht werden, bei welchem die an der durch Schritt 5 angedeuteten Endposition erzeugte Differenz zur Einstellung des vertikalen Vektorwertes mit den zwei Differenzen darüber und darunter und zur Einstellung des horizontalen Vektorwertes mit den zwei Differenzen links und rechts verglichen wird.
Die obige Technik baut auf der Erzielung einer Korrelation zwischen dem Referenzsuchblock und einem ähnlichen Block aus Videodaten auf dem folgenden Halbbild (die Suchpositionen). Beim Schritt 5 ist es möglich, daß die wahre Bewegung ein halbes Pixel mehr oder weniger als detektiert betrug, jedoch ist es für die beste Korrelation notwendig, daß sie an diesem Punkt stattfindet, auch wenn eine exakte Korrelation nicht erreicht werden kann. Um sicherzustellen, daß dies stattfindet, kann das Bild sowohl vertikal als auch horizontal durch ein Gaußfilter gefiltert werden, welches bei 1/2 der Nyquistfrequenz +6dB Dämpfung aufweist.
Auf ähnliche Weise kann für den Schritt 4 das Bild mit einer Dämpfung von 6 dB bei 1/4 der Nyquistfrequenz gefiltert werden, was bei der Detektion einen Ein-Pixel-Fehler erlaubt.
Der Schritt 3 benützt ein mit 6dB Dämpfung bei 1/8 der Nyquistfrequenz gefiltertes Bild, was einen Zwei-Pixel-Fehler erlaubt.
Der Schritt 2 benutzt ein mit 6 dB Dämpfung bei 1/16 der Nyquistfrequenz gefiltertes Bild, was einen Vier-Pixel-Fehler erlaubt.
Schließlich benutzt der Schritt 1 ein mit 6 dB Dämpfung bei 1/33 der Niquistfrequenz gefiltertes Bild, was einen Acht- Pixel-Fehler erlaubt. Da die Bilder während der Schritte 1, 2, 3 und 4 so stark gefiltert werden, können überdies die Samples reduziert, beispielsweise in der Zahl halbiert werden, was die Zahl von Berechnungen und den erforderlichen Aufwand an Hardware noch weiter stark reduziert.
Die effektive Suchblockgröße beträgt in der Höhe sechzehn Zeilen und in der Länge 48 Samples. Ein großer Suchblock ist zum genauen Detektieren der Bewegung großer flacher Bereiche notwendig. Die zentralen Teile flacher Bereiche sind unwichtig, da die Werte der Pixel bei diesen Punkt sich von einem Halbbild zum nächsten nicht ändern, jedoch sind die Ränder solcher Objekte offensichtlich wichtig. Wenn die Bewegungsdetektion auf ± 24 Samples horizontal und ± 8 Zeilen vertikal begrenzt wird, hat ein Block der obigen Größe die minimale Größe zur Sicherstellung einer genauen Bewegungsdetektion.
Bei den Standardumsetzern hat das in dem Bewegungsanalysator 2 eintretende Luminanzvideo in Abhängigkeit von den Umsetzungsmoden zahlreiche verschiedene Formen aus 585 Zeilen und 60 Halbbildern pro Sekunde. Dieses könnte wiederholte Zeilen für eine 525-Eingabe oder wiederholte Halbbilder für eine 625- Eingabe aufweisen. Überdies enthält die Eingabe beide Halbbildpolaritäten. Der erste Prozeß dient der Sicherstellung einer Datenkontinuität und einer Einzelschrittpolarität für die Bewegungsabschätzungsverarbeitung. Dies wird durch Interpolation an den Eingabedaten mittels einer Vektorschnittstelle zur Aufrechterhaltung der Kontinuität und einer horizontalen Filterung zur Unterstützung einer nachfolgenden Bewegungsdetektion/Korrelation ausgeführt.
Separate Ausgangssignale aus dieser Schaltung werden Bewegungsabschätzungs-Vektorfiltern und Bewegungsdetektor-Halbbildspeichern/Vektorselektoren zugeführt. Das Ausgangssignal der Vektorschnittstelle sind, wie oben beschrieben, räumlich kontinuierliche, Einzelhalbbild-Polaritätsdaten. Das Ausgangssignal zu den Halbbildspeichern/Vektorselektoren hängt vom Eingabe- und Ausgabemodus ab. Bei manchen Moden ist es kontinuierlich und bei anderen enthält es wiederholte Zeilen/Halbbilder. Die Vektorfilter und Vektorkalkulatoren führen die oben umrissenen Schritte aus.
Die Verarbeitung der verschiedenen Schritte wird durch Vektorkalkulatoren und einen Vektorprozessor ausgeführt. Die Vektorkalkulatoren führen die Schritte 1 bis 5 und der Vektorprozessor den Schritt 6 aus. Überdies führt der Vektorprozessor die zweite Stufe bei der Bewegungsabschätzung wie folgt aus:
Für jeden 8·16-Block wird eine Wahl von vier Bewegungsvektoren aus sieben Bewegungsvektoren getroffen, wobei von den sieben Bewegungsvektoren einer für diesen speziellen Block ist und die sechs übrigen für jeweils einen der sechs nächstliegenden Blöcke sind.
Überdies bestimmt der Vektorprozessor auch die vier allgemeinsten Bewegungsvektoren über dem ganzen eingegebenen Halbbild, welche Vektoren als modale Bewegungsvektoren bezeichnet sind. Die primäre Verwendung der modalen Bewegungsvektoren liegt in den Grenzbereichen nahe dem Rand eines Halbbildes, wo es nicht möglich ist, irgendwelche lokalen Bewegungsvektoren tatsächlich zu berechnen. Wenn zudem einer oder mehrere der lokalen Bewegungsvektoren gleich sind, werden diese durch die modalen Bewegungsvektoren ersetzt.
Bei der nächsten Stufe der Bewegungsdetektion werden für jedes Pixel die vier Bewegungsvektoren durch Erzeugung der Differenz zwischen den extrapolierten Positionen auf dem Halbbild 0 bis zum Halbbild 1 getestet. Während einer Standardumsetzung muß ein Halbbild zwischen zwei Halbbildern, beispielsweise zwischen dem Halbbild 0 zum Halbbild 1 interpoliert werden. Auf diese Weise werden die zwischen diesen zwei Halbbildern erzeugten Bewegungsvektoren als für die Bewegung am meisten repräsentative Vektoren betrachtet. Von diesen zwei Halbbildern werden vier Bewegungsvektoren verwendet. Um zu entscheiden, welches der richtige Bewegungsvektor ist, wird ein Pixel aus dem Halbbild 0 mit einem Pixel aus dem Halbbild 1 unter Verwendung des Bewegungsvektors verglichen, um zu entscheiden, woher das zu erzeugende Pixel auf dem Halbbild 0 gekommen ist und wo es beim Halbbild 1 hingegangen ist. Wenn mathematisch betrachtet die Position x, y, z mit x = horizontale Position, y = vertikale Position und z = zeitliche Position zwischen dem Halbbild 0 und dem Halbbild 1 erzeugt werden muß, sind die zum Vergleich verwendeten Pixel so, wie sie unten gezeigt sind. Es sei angenommen, daß sich das Halbbild 0 bei z = 0 und das Halbbild 1 bei z = 1 befindet.
Pixel aus Halbbild 0:
x&sup0; = x - (Vh * z)
y&sup0; = y - (Vv * z)
Pixel aus Halbbild 1:
x¹ = x + (1 - z)Vh
y¹ = y + (1 - z)Vv
Vh = horizontale Komponente des Vektors
Vv = vertikale Komponente des Vektors.
Für jeden Bewegungsvektor wird ein Modul der Differenz zwischen den im Halbbild 0 und Halbbild 1 angezeigten Pixeln gefunden. Als eine erste Abschätzung wird die minimale Differenz angenommen, um den korrekten Bewegungsvektor anzuzeigen. Wenn eine Zahl Bewegungsvektoren eine sehr ähnliche Differenz erzeugt, werden diese Bewegungsvektoren unter Verwendung eines Vergleichs zwischen den Halbbildern -1 und 0 erneut getestet.
Pixel aus Halbbild -1:
x&supmin;¹ = x - (1 + z)Vh
y&supmin;¹ = y - (1 + z)Vv.
Der minimale Modul der Differenz der bei diesem zweiten Test erzeugten verbleibenden Bewegungsvektoren wird dann als derjenige betrachtet, der den Bewegungsvektor am genauesten darstellt.
Wenn eine Zahl Bewegungsvektoren wieder ähnliche Differenzen haben, dann gibt es eine Option, keine Bewegung anzunehmen. Wenn nur die horizontale Komponente nicht aber die vertikale Komponente variiert, wird nur die horizontale Komponente auf null gesetzt und die vertikale Komponente wird beim detektierten Wert beibehalten. Wenn nur die vertikale Komponente variiert, wird die horizontale Komponente beibehalten und nur die vertikale Komponente auf null gesetzt. Wenn die gewählte Pixeldifferenz zu groß ist, besteht eine Option, den ganzen Bewegungsvektor in beiden Richtung auf null zu setzen.
Eine letzte Stufe wird angewendet, wenn einmal jedes Pixel als ein Bewegungsvektor ausgezeichnet worden ist. Hier wird die Bewegung jedes Pixels von einem Halbbild zum nächsten verfolgt und ein rekursives Filter auf den Vektorwert ausgeübt. Dies beseitigt die Rauscheffekte und kleinen Bewegungsabschätzungsfehler und glättet auch die Trajektorie der Bewegungsvektoren.
Es gibt zwei mögliche Wege der Verfolgung der Bewegung eines Pixels.
Beim ersten wird der Bewegungsvektor für ein Pixel in einem Halbbild t dazu benutzt, zu einem Pixel im Halbbild t + 1 zu zeigen. Der für dieses Pixel im Halbbild t + 1 bestimmte Bewegungsvektor wird dann rekursiv gefiltert, um den letzten Bewegungsvektor für das Pixel im Halbbild t + 1 zu bilden.
Beim zweiten Weg wird der Bewegungsvektor für ein gegebenes Pixel im Halbbild t dazu benutzt, zu einem Pixel im Halbbild t - 1 zu zeigen. Der Bewegungsvektor von diesem Pixel wird dann mit dem Bewegungsvektor für das gegebene Pixel rekursiv gefiltert, um den letzten Bewegungsvektor für dieses gegebene Pixel im Halbbild t zu bilden.
In jedem Fall ist die letzte Ausgabe ein Bewegungsvektor für jedes Pixel, das bzw. der vom Bewegungsanalysator 2 zum Interpolator 1 gegeben wird, um bei der Ausrichtung der vier beim Standardumsetzungsprozeß verwendeten Halbbilder angewendet zu werden.
Der erste Standardumsetzer zur Umsetzung eines digitalen Eingangsfernsehsignals mit 625 Zeilen und 50 Halbbildern pro Sekunde in ein digitales Ausgangsfernsehsignal mit 525 Zeilen und 60 Halbbildern pro Sekunde ist in der Fig. 2 in detaillierter Blockform gezeigt.
Das mit 50 Halbbildern pro Sekunde und einer Samplerate von 13,5 MHz ankommende Video, d. h. CCIR 601-Daten (CCIR steht für International Radio Consultative Committee = Internationaler beratender Ausschuß für den Funkdienst), werden einem Demultiplexer 31 zugeführt, welcher das Video in Luminanzkomponenten Y, Synchronisationssignale SYNC und Chrominanzkomponenten UV separiert. Die Luminanzkomponenten Y werden einem 4-Halbbild- Luminanz-Zeitbasiskorrektor 11Y (Zeitbasiskorrektor ist im folgenden mit TBC bezeichnet) und die Chrominanzkomponenten UV einem 4-Halbbild-Chrominanz-TBC 11C zugeführt. Die Synchronisierungssignale SYNC werden zusammen mit einem Eingangshalbbild-Polaritätssignal aus einem externen Eingang und einem Ausgangshalbbild-Synchronisierungsreferenzsignal aus einem anderen externen Eingang einer Steuerung 32 zugeführt. Die TBCs 11Y und 11C wiederholen gelegentlich Halbbilder, so daß die Ausgabe bei 60 Halbbildern pro Sekunde liegt. Die Steuerung der TBCs 11Y und 11C, welche die Wiederholung eines Halbbildes verursacht, wird von den Eingabehalbbild-Synchronisationsimpulsen und den erforderlichen Ausgabehalbbild-Synchronisationsimpulsen abgeleitet. Der Vergleich der Synchronisationsimpulse stellt auch eine zeitliche Verschiebefigur bereit, die den Betrag der an den Ausgängen der TBCs 11Y und 11C erforderlichen zeitlichen Interpolation derart anzeigt, daß eine glatte Bewegung bei 60 Halbbildern pro Sekunde beobachtet wird.
Bei einer derartigen Umsetzung von 50 Halbbildern pro Sekunde in 60 Halbbilder ist eine Zeilenumsetzung vom 625 in 525 erforderlich. Es ist deshalb notwendig, die ursprünglichen 625 Informationszeilen bei einer Rate von 60 Halbbildern pro Sekunde so beizubehalten, daß sie alle zur Bildung der interpolierten Zeilen verfügbar sind.
Der Standardumsetzer verwendet einen Zwischenstandard, der die ganze aktive vertikale Information des Signals von 50 Halbbildern pro Sekunde bei der Rate von 60 Halbbildern pro Sekunde enthalten kann. Der Zwischenstandard enthält auch die ganze aktive Zeileninformation, die noch unter Verwendung der ursprünglichen Samplerate von 13,5 MHz Zeile für Zeile ortogonal angeordnet ist.
Der verwendete Zwischenstandard, der, wie oben erklärt, alle diese Erfordernisse erfüllen kann, ist ein Format von 585 Zeilen bei 60 Halbbildern pro Sekunde. Wenn bei 13,5 MHz abgetastet wird, hat jede Zeile dieses Formats genau 770 Samples. Es ist deshalb klar, daß 585 Zeilen ausreichen, die 576 aktiven Zeilen des Formats mit 625 Zeilen bei einer Rate von 60 Halbbildern pro Sekunde zu enthalten. Da die aktive Zeilenbreite nur 720 Samples beträgt, gibt es noch 50 Samples horizontaler Austastung.
Die Luminanzdaten (D) aus dem Luminanz-TBC 11Y wird mittels einer Verarbeitungskompensationsverzögerung 17Y einem zeitlichen Luminanz-Schieberegister 16Y zugeführt, welches vier Feldspeicher (FS) 12Y, 13Y, 14Y und 15Y umfaßt. Der Luminanz- TBC 11Y gibt auch ein zeitliches Einfriersignal (F) mittels der Verzögerung 17Y an das Schieberegister 16Y. Der Chrominanz-TBC 11C führt die Chrominanzdaten (D) mittels einer Verarbeitungskompensationsverzögerung 17C einem zeitlichen Chrominanzschieberegister 16C zu, welches vier Feldspeicher 12C, 13C, 14C und 15C aufweist. Der Chrominanz-TBC 11C gibt auch ein zeitliches Einfriersignal mittels der Verzögerung 17C an das Schieberegister 16C. Dem Schieberegister 16Y ist ein Luminanzinterpolator 1Y zugeordnet, der aus jedem der Feldspeicher 12Y, 13Y, 14Y und 15Y Eingangssignale empfängt und das 585-Zeilenformat ableitet. Das Ausgangssignal des Luminanzinterpolators 1Y ist einem 2- Halbbild-Luminanz-TBC 18Y zugeführt. Dem Schieberegister 16C ist ein Chrominanzinterpolator 1C zugeordnet, der aus jedem der Halbbildspeicher 12C, 13C, 14C und 15C Eingangssignale empfängt und ebenfalls das 585-Zeilenformat ableitet. Das Ausgangssignal des Chrominanzinterpolators 1C ist einem 2-Halbbild-Chrominanz- TBC 18C zugeführt. Wenn die Ausgangssignale der TBCs 11Y und 11C eingefroren werden, werden während eines wiederholten Halbbildes die Schieberegister 16Y und 16C ebenfalls eingefroren, so daß in den Schieberegistern 16Y und 16C immer vier verschiedene aufeinanderfolgende Halbbilder der Eingabe vorhanden sind. Auf diese Weise werden die Schieberegister 16Y und 16C dazu benutzt, die zeitlichen Abgriffe für die Interpolatoren 1Y und 1C bereitzustellen.
Jeder zeitliche Abgriff erzeugt vier Zeilenabgriffe bei einer von den Bewegungsvektoren abhängigen Stelle, so daß ein zweidimensionales Filter zur Erzeugung der notwendigen Interpolation benutzt werden kann. Das interpolierte Bild enthält 576 aktive Zeilen, so daß ein korrektes Bild erhalten wird, wenn jede sechste Zeile in einem einzelnen Halbbild fallengelassen wird. Die 484 belassenen Zeilen erzeugen den aktiven Bildabschnitt des 525-Zeilenformats. Damit Zeilen auf diese Weise fallengelassen werden können, werden die Ausgangssignale aus den Interpolatoren 1Y und 1C dem Zwei-Halbbild-TBC 18 zugeführt. Die TBCs 18Y und 18C schreiben in alle 576/2 Zeilen, lesen jedoch nur die erforderlichen 484/2 Zeilen zur Bereitstellung des erforderlichen Ausgangsfernsehsignals aus. Die Ausgangssignale des Luminanz-TBC 18Y und des Chrominanz-TBC 18C werden einem Multiplexer 34 zugeführt, der die Luminanzkomponenten Y und die Chrominanzkomponenten UV multiplext, um CCIR 601-Ausgangsdaten in Form eines zweiten digitalen Fernsehsignals von 585 Zeilen und 60 Halbbildern pro Sekunde bereitzustellen.
Die Steuerung 32 gibt Steuersignale (C) an den Luminanz-TBC 11Y und den Chrominanz-TBC 11C. Die Steuerung 32 führt auch Steuersignale dem Luminanz-TBC 18Y und dem Chrominanz-TBC 18C zu. Sie gibt auch Interpolationssteuersignale (IC) an den Luminanz- Interpolator 1L und den Chrominanz-Interpolator 1C.
Nur die vom Luminanz-TBC 11Y zugeführten Luminanzdaten werden auch dem im oberen Teil der Fig. 2 gezeigten Bewegungsanalysator 2 zugeführt, so daß Bewegungsvektoren erzeugt werden können. Tatsächlich ist zwischen dem TBCs 11Y und 11C und den Schieberegistern 16Y und 16C eine Verzögerung erforderlich, um die zur Verarbeitung der Bewegungsvektoren genommene Zeit zu ermöglichen. Das Einfrieren der Schieberegister 16Y und 16C muß deshalb ebenfalls um einen einzelnen Rahmen verzögert werden, und diese Verzögerungen werden durch die Verzögerungen 17Y und 17C bereitgestellt.
Der Bewegungsanalysator 2 weist eine Vektorschnittstelle 35 auf, der Luminanzdaten aus dem Luminanz-TBC 11Y zusammen mit dem Interpolationssteuersignal aus der Steuerung 32 zugeführt werden. Die Vektorschnittstelle 35 gibt auf 625 Zeilen interpolierte Daten an ein Vektorfilter 36 und einen Vektorkalkulator 37, die zusammen die oben beschriebenen Bewegungsabschätzung ausführen. Das Ausgangssignal des Vektorkalkulators 37 wird einem modalen Bewegungsvektorprozessor 38 und auch einem Sub- Pixel Bewegungsabschätzer 39 zugeführt. Der Bewegungsvektorprozessor 38 gibt vier Ausgangssignale und der Sub-Pixel-Bewegungsabschätzer ein einzelnes Ausgangssignal an einen Bewegungsvektorreduzierer 40, der vier Ausgangssignale einem Vektorselektor 41 zuführt, den die Erfindung insbesondere betrifft.
Die Vektorschnittstelle 35 gibt auch die zu geraden Halbbildern interpolierten Daten an eine Verarbeitungskompensationsverzögerung 42, an die sie auch das empfangene Interpolationssteuersignal und auch ein an der Vektorschnittstelle 35 erzeugtes zeitliches Einfriersignal (F) gibt. Die Daten aus der Verzögerung 42 werden einem zeitlichen Schieberegister 43 zugeführt, welches drei Halbbildspeicher 44, 45 und 46 aufweist, die jeweils Datenausgangssignale an den Vektorselektor 41 geben. Die Verzögerung 42 gibt das Interpolationssteuersignal an den Vektorselektor 41, der den ausgewählten Bewegungsvektor einem rekursiven Bewegungsvektorfilter 47 zuführt, dessen Ausgangssignal die Bewegungsvektordaten sind, welche dem Luminanz- Interpolator 1Y und dem Chrominanz-Interpolator 1C zugeführt werden.
Die Art und Weise, auf welche der Bewegungsanalysator 2 die Bewegungsvektordaten ableitet, ist oben detailliert beschrieben worden und wird unten weiter beschrieben, jedoch wird jetzt der Betrieb der Elemente 35 bis 43 und 47 kurz beschrieben.
Die Vektorschnittstelle 35 empfängt die Luminanzdaten aus dem Luminanz-TBC 11Y und die Interpolationssteuersignale aus der Steuerung 32. Sie gibt 625-Zeilendaten, die normalerweise im 585/60-Format enthalten sind, an das Vektorfilter 36. Es gibt auch Daten an die Verzögerung 42. Diese Daten müssen ein Bild enthalten, welches den gleichen Zeilenstandard wie die erforderliche Ausgabe aufweist, die normalerweise wieder in dem 585/60-Format enthalten ist. Jedes Halbbild der interpolierten Daten ist auch so gemacht, daß es gerade erscheint.
Das Vektorfilter 36 erzeugt die für die obigen Schritte 1 bis 5 der Bewegungsdetektion erforderlichen gefilterten Bilddaten. Die gefilterten Bilddaten werden im samplereduzierter Form dem Vektorkalkulator 37 zugeführt.
Der Vektorkalkulator 37 bearbeitet die gefilterten und samplereduzierten Daten aus dem Vektorfilter 36 unter Verwendung eines in den Worten der obigen Schritte 1 bis 5 der Bewegungsdetektion beschriebenen Algorithmus. Der Prozeß ist im wesentlichen eine zweidimensionale binäre Suche für Bewegung zu einer Pixel/Zeilen-Auflösung herab. Für jedes Feld werden 1200 Bewegungsvektoren erzeugt und sowohl dem modalen Vektorprozessor 38 als auch die Sub-Pixel-Bewegungsabschätzer 39 zugeführt. Er gibt auch umgebende gewichtete absolute Differenzwerte (WAD), wie sie durch den obigen Schritt 5 berechnet werden, an den Sub-Pixel-Bewegungsabschätzer 39. Hinsichtlich von Einzelheiten der WAD-Berechnungen siehe "Advances in Picture Coding" Musmann et al., Proceedings of the IEEE, April 1985. Der spezielle WAD-Wert, welcher beim obigen Schritt 5 der Bewegungsdetektion das Minimum ist, stellt eine Figurengüte (FOM) bereit.
Der Vektorprozessor 38 berechnet die vier allgemeinsten Bewegungsvektoren, die in jedem Halbbild detektiert werden und gibt sie an den Vektorreduzierer 40.
Der Sub-Pixel-Bewegungsabschätzer 39 empfängt die Bewegungsvektoren aus dem Vektorkalkulator 37 zusammen mit den umgebenden WAD-Werten. Aus diesen schätzt er eine Sub-Pixel-Bewegung, die an die Bewegungsvektorwerte anzuhängen ist. Mit jedem Bewegungsvektor wird dessen korrespondierender endlicher WAD-Wert ebenfalls den Vektorreduzierer 40 zugeführt.
Der Vektorreduzierer 40 empfängt die Bewegungsvektoren aus dem Vektorprozessor 38 und aus dem Sub-Pixel-Bewegungsabschätzer 39. Für jeden Bewegungsvektor aus den Sub-Pixel-Bewegungsabschätzer 39 werden die diesem am nächsten liegenden sechs Bewegungsvektoren zusammengruppiert. Für jeden Bewegungsvektor gibt es dann elf Wahlen. Der Reduzierungsprozeß wählt vier Bewegungsvektoren aus den elf Vektoren zur Zufuhr zum Vektorselektor 41 aus.
Der Vektorreduzierer 40 führt dem Vektorselektor 41 vier repräsentative Bewegungsvektoren für alle 16 Pixel durch einen Acht-Zeilen-Block des Bildes zu. Durch Vergleich von Pixeln über drei Halbbilder wählt der Vektorselektor 41 den einzelnen besten Bewegungsvektor für jedes Pixel im Bild aus, so, wie es unten detaillierter beschrieben wird. Der ausgewählte Bewegungsvektor wird dem Bewegungsvektorfilter 47 zugeführt.
Die Verzögerung 42 verzögert die Daten um einen einzelnen Rahmen weniger einundzwanzig Zeilen, um andere Verzögerungen in dem System zu kompensieren.
Das zeitliche Schieberegister 43 hält die vom Vektorselektor 41 verwendeten drei Halbbilder aus Daten und stellt sie bereit.
Das Bewegungsvektorfilter 47 verfolgt einen Bewegungsvektor aus einem einzelnen Halbbild zu einem anderen und führt so eine Filterung an den Bewegungsvektoren durch Kombination von Bewegungsvektoren in unterschiedlichen Halbbildern aus, so daß Bewegungsdetektorfehler reduziert werden. Das Ausgangssignal des Bewegungsvektorfilters 47 wird dem Luminanz- und Chrominanz-Interpolator 1Y und 1C zur Steuerung der Ausrichtung der Halbbilddaten zugeführt.
Genau die gleiche Hardware kann als Zeitlupenprozessor mit einem guten Bewegungsbild für entweder ein 625/50- oder ein 525/60-Fernsehsignal verwendet werden. Es ist jedoch nicht notwendig, den vertikalen Interpolator zu benutzen, um die Zeilenzahlumsetzung bereitzustellen. In allen Fällen bestimmt die Steuerung 32 durch Erkennung des Eingabe/Ausgabestandards aus den Eingangs- und Ausgangshalbbild-Synchronisationsimpulsen, welche Aktion erforderlich ist. Bei Zeitlupe wird die Eingangshalbbildpolarität verwendet.
Während bei einer Umsetzung von 50 Halbbildern pro Sekunde in 60 Halbbilder pro Sekunde ein Halbbild gelegentlich wiederholt wurde, wird bei Zeitlupe das Halbbild gleich oft wie das Eingabehalbbild wiederholt. Da wiederholte Halbbilder nicht in die Schieberegister 16Y und 16C geschrieben werden, enthalten die Schieberegister 16Y und 16C wieder unterschiedliche aufeinanderfolgende Halbbilder. In der Tat wird, wenn ein Videobandrecorder ohne eigene Interpolation wiedergibt, die ursprüngliche Verschachtelungsstruktur beibehalten, was vollständig aufgelöste zu erzeugende Bilder ermöglicht. Die erforderliche zeitliche Verschiebung wird durch Vergleich der tatsächlichen Halbbildratenimpulse, seien sie 50 Halbbilder pro Sekunde oder 60 Halbbilder pro Sekunde, mit der Rate, bei welcher ein neues Halbbild empfangen wird, berechnet. Um die zeitliche Verschiebung auf diese Weise zu bestimmen, benötigt das System ein zur Verfügung stehendes Signal, welches die wahre Halbbildpolarität des wiederholt rückgespielten Halbbildes anzeigt. Der Vertikalinterpolator erzeugt immer die am Ausgang erforderliche Halbbildpolarität.
Konzeptuell sind die TBCs 11Y und 11C für den Zeitlupenbetrieb nicht wirklich erforderlich, sondern ihr Vorhandensein stellt eine Erleichterung bei der Rahmensynchronisation bereit und vereinfacht auch die Systemkonfiguration.
Der zweite Standardumsetzer zur Umsetzung eines zweiten digitalen Eingangsfernsehsignals mit 525 Zeilen und 60 Halbbildern in ein zweites digitales Ausgangsfernsehsignal mit 625 Zeilen und 50 Halbbildern pro Sekunde ist in detaillierter Blockform in Fig. 3 gezeigt.
In diesem Fall erfordert die Interpolation, daß alle Eingangsdaten in aufeinanderfolgender Form verfügbar sind. In diesem Fall ist es deshalb nicht möglich, 50 Halbbilder pro Sekunde vor den Interpolatoren 1Y und 1C umzusetzen. Die Eingangsdaten enthalten jedoch nur 484 aktive Zeilen und die Interpolatoren 1Y und 1C müssen deren 576 erzeugen. Die Zwei-Halbbild-TBCs 18Y und 18C sind deshalb vor dem Standardumsetzer positioniert, um die notwendigen Zeitschlitze für die Umwandlung von 484 Zeilen in 576 Zeilen bereitzustellen.
Die ursprüngliche kontinuierliche Zeilenstruktur wird in die TBCs 18Y und 18C geschrieben, jedoch in dem 585-Zeilenstandard, bei dem annähernd jede sechste Zeile ausgetastet ist, ausgelesen. Die Interpolatoren 1Y und 1C werden dann zur Erzeugung eines kontinuierlichen Bildes bei der Ausgangszeilenrate durch Einfrieren ihrer Zeilenspeicher während der ausgetasteten Eingangszeile und Erzeugung der erforderlichen zusätzliche Zeile am Ausgang verwendet, wodurch sichergestellt ist, daß ein räumlich korrektes Bild erzeugt wird. Die erforderliche zeitliche Verschiebung wird detektiert und wie im ersten Standardumsetzer angewendet, obgleich die Interpolation derart verwendet wird, daß ein Halbbild gelegentlich fallengelassen werden kann und die Bewegung glatt belassen wird. Das Halbbild wird derart fallengelassen, daß eine Umsetzung von 60 Halbbildern pro Sekunde in 50 Halbbilder pro Sekunde erreicht wird. Das Fallenlassen eines Halbbildes wird durch Verwendung der Vier-Halbbild-TBCs 11Y und 11C am Ausgang erreicht.
Infolgedessen unterscheidet sich der zweite Standardumsetzer von dem in Fig. 2 gezeigten ersten Standardumsetzer nur in unbedeutender Hinsicht. Insbesondere sind die Luminanz-TBCs 11Y und 18Y ebenso wie die Chrominanz-TBCs 11C und 18C vertauscht. Auch sind keine zeitlichen Einfriersignale erforderlich.
In beiden Fällen hat die Steuerung 32 verschiedene Funktionen wie folgt: Steuerung des Lesens und Schreibens der TBCs 11Y, 11C, 18Y und 18C, Erzeugen einer zeitlichen Verschiebezahl und im Fall des ersten Standardumsetzers des zeitlichen Einfriersignals, und Erzeugen einer vertikalen Verschiebezahl zusammen mit vertikalen Interpolationssteuersignalen. Diese Funktionen werden nun detaillierter beschrieben.
Als erstes schalten die 2-Halbbild-Luminanz- und -Chrominanz- TBCs 18Y und 18C stets zwischen Halbbildspeichern am Ende jedes 60 Hz-Halbbildes. Der Betrieb der 4-Halbbild-Luminanz- und - Chrominanz-TBCs 11Y und 11C hängt jedoch vom Betriebsmodus ab, und deren Steuerung ist auch mit der Erzeugung des zeitlichen Verschiebesignals verbunden. Tatsächlich wird die Steuerung der Luminanz- und Chrominanz-TBCs 11Y und 11C von den Eingangshalbbild- und Ausgangshalbbild-Synchronisierungssignalen bestimmt.
Die Ableitung des zeitlichen Verschiebesignals im Fall des Betriebs von 525/60 in 625/50 wird nun unter Bezugnahme auf die Fig. 4 und 5 beschrieben.
Nach Fig. 4 enthält die Steuerung 32 einen Zeilenzähler 61 und eine erste und zweite Verriegelung 62 und 63. Ein Zeilentaktsignal ist einem Taktanschluß des Zeilenzählers 61 zugeführt, während das Eingangshalbbild-Synchronisierungssignal einem Rücksetzanschluß des Zeilenzählers 61 und einem Taktanschluß der zweiten Verriegelung 62 zugeführt ist. Das Ausgangshalbbild-Synchronisierungssignal ist einem Taktanschluß der ersten Verriegelung 62 zugeführt. Das Ausgangssignal des Zeilenzählers 61 ist dem Eingang der ersten Verriegelung 62 zugeführt, deren Ausgangssignal dem Eingang der zweiten Verriegelung 63 zugeführt ist, deren Ausgangssignal das den Luminanz- und Chrominanz-Schieberegistern 11Y, 11C, 18Y und 18C zugeführte zeitliche Verschiebesignal ist.
Die Eingangshalbbild- und Ausgangshalbbild-Synchronisierungssignale sind in den Fig. 5A bzw. 5B gezeigt. Die Fig. 5C zeigt das Ausgangssignal des Zeilenzählers 61, der wiederholt von 0 bis 524 zählt. Die Fig. 5D und 5E zeigen die Ausgangssignale der ersten und zweiten Verriegelung 62 bzw. 63. Durch Verriegelung des Zählers 61 wird die erforderliche Proportion bewert tn zeigt die Position zwischen zwei Eingangshalbbildern an, bei denen das Ausgangshalbbild derart interpoliert werden muß, daß, wenn das in Fig. 5A gezeigte schraffierte Halbbild fallengelassen wird, noch eine kontinuierliche Bewegung stattfindet. Infolgedessen ist das Halbbild, welches die in Fig. 5E schraffiert gezeigte zeitliche Verschiebung verwendet, dasjenige, das fallengelassen wird. Unter Bezugnahme auf die Fig. 5A und 5B ist zu entnehmen, daß das fallengelassene Halbbild dasjenige ist, welches keine mit ihm verbundene neue zeitliche Verschiebung aufweist. Das Halbbild (mit Pfeil versehen) welches fallenzulassen ist, wird der nachfolgenden Schaltung durch das zeitliche Einfriersignal angezeigt.
Die Ableitung des zeitlichen Verschiebesignals im Fall des Betriebs von 625/50 in 525/60 wird nun unter Bezugnahme auf die Fig. 6 und 7 beschrieben.
Nach Fig. 6 enthält die Steuerung 32 einen Zeilenzähler 71 und eine Verriegelung 72. Ein Zeilentaktsignal ist einem Taktanschluß des Zeilenzählers 71 zugeführt, während das Eingangshalbbild-Synchronisierungssignal einem Rücksetzabschluß des Zeilenzählers 71 zugeführt ist. Das Ausgangshalbbild-Synchronisierungssignal ist einem Taktanschluß der Verriegelung 72 zugeführt. Das Ausgangssignal des Zeilenzählers 71 ist dem Eingang der Verriegelung 72 zugeführt, deren Ausgangssignal das den Luminanz- und Chrominanz-Schieberegistern 11Y, 11C, 18Y und 18C zugeführte zeitliche Verschiebesignal ist.
Das Eingangshalbbild- und Ausgangshalbbild-Synchronisierungssignal sind in den Fig. 7A bzw. 7B gezeigt. Die Fig. 7C zeigt das Ausgangssignal des Zeilenzählers 71, der wiederholt von 0 bis 624 zählt. Die Fig. 7D zeigt das Ausgangssignal der Verriegelung 72. Durch Verriegeln des Zählers 71 wird die erforderliche Proportion der Eingangshalbbildperiode bestimmt. Infolgedessen zeigt der zeitliche Verschiebewert tn wieder die Position zwischen zwei Eingangshalbbildern an, bei welcher das Ausgangshalbbild derart interpoliert werden muß, daß, wenn das schraffierte Feld wiederholt wird, noch eine kontinuierliche Bewegung auftritt. Das wiederholte Halbbild ist dasjenige, mit welchem zwei zeitliche Verschiebewerte verbunden sind. Das zu wiederholende Halbbild (mit einem Pfeil versehen) wird der nachfolgenden Schaltung durch das zeitliche Einfriersignal angezeigt.
Die Ableitung des zeitlichen Verschiebesignals ist im Fall der Zeitlupe, sei es bei 525/60 in 525/60 oder bei 625/50 in 625/50, die gleiche und wird nun unter Bezugnahme auf die Figuren 8 und 9 beschrieben.
Nach Fig. 8 enthält die Steuerung 32 einen Zeilenzähler 81, einen Halbbildzähler 82, eine erste bis vierte Verriegelung 83 bis 86, ein ausschließliches ODER-Tor 87 und einen Skaler 88. Das Eingangshalbbild-Synchronisierungssignal wird einem Taktanschluß der ersten Verriegelung 83, einem Taktfreigabeanschluß des Halbbildzählers 82 und einem zweiten Rücksetzanschluß des Zeilenzählers 81 zugeführt. Das Eingangshalbbild-Polaritätssignal ist der ersten Verriegelung 83 und dann der zweiten Verriegelung 84 sowie einem Eingang des Tores 87 zugeführt. Die zweite Verriegelung 84 gibt ein Ausgangssignal an den zweiten Eingang des Tores 87, dessen Ausgangssignal einem ersten Rücksetzanschluß des Zeilenzählers 81, einem Rücksetzanschluß des Halbbildzählers 82 und einem Taktanschluß der dritten Verriegelung 85, die eine Geschwindigkeitsdetektorverriegelung bildet, zugeführt. Ein Zeilentaktsignal ist einem Taktanschluß der zweiten Verriegelung 84 und jeweils einem Taktanschluß des Zeilenzählers 81 und des Halbbildzählers 84 zugeführt. Das Ausgangssignal des Zeilenzählers 81 ist einem Eingangsanschluß des Skalers 88 und das Ausgangssignal des Halbbildzählers 83 einem Eingang der dritten Verriegelung 85 sowie einem Verschiebeeingangsanschluß des Skalers 88 zugeführt. Das Ausgangshalbbild-Synchronisierungssignal ist einem Taktanschluß der vierten Verriegelung 86 zugeführt. Das Ausgangssignal der dritten Verriegelung 85 ist einem Skalenfaktoranschluß des Skalers 88 zugeführt, dessen Ausgangssignal der vierten Verriegelung 86 zugeführt ist, deren Ausgangssignal das zeitliche Verschiebesignal bildet.
Das Eingangshalbbild-Synchronisierungssignal und das Eingangshalbbild-Polaritätssignal sind in den Fig. 9A bzw. 9B gezeigt. Die Fig. 9C zeigt auch die Eingangshalbbild-Synchronisierungssignale und die Fig. 9D die Ausgangshalbbild-Synchronisierungssignale. Die Fig. 9E und 9F zeigen den Betrieb des Halbbildzählers 82 und des Zeilenzählers 81, welche die Halbbilder bzw. Zeilen von 0 bis N zählen. Die Fig. 9G zeigt das Ausgangssignal der vierten Verriegelung 86, welches das zeitliche Verschiebesignal ist. Die Fig. 9H zeigt das zeitliche Einfriersignal (welches aktiv ist, wenn es niedrig ist), und, wie durch die Pfeile angedeutet, ist das schraffierte Halbbild, welches die gezeigte zeitliche Verschiebung verwendet, eine Wiederholung des früheren Halbbildes, welches die zeitliche Verschiebung t1 verwendet hat.
Um das zeitliche Einfriersignal zu erzeugen, enthält die Steuerung 32 nach Fig. 10 ein synchrones RS-Flipflop 91, eine Verriegelung 92, einen Inverter 93 und ein UND-Tor 94. Das Ausgangshalbbild-Synchronisierungssignal ist an einen Eingang des Flipflops 91, an den Eingang des Inverters 93 und an einen Taktfreigabeanschluß der Verriegelung 92 gegeben. Das Eingangshalbbild-Synchronisierungssignal ist dem anderen Eingang des Flipflops 91 zugeführt, während ein Zeilentaktsignal Taktanschlüssen des Flipflops 91 und der Verriegelung 92 zugeführt sind. Das Ausgangssignal des Flipflops 91 ist einem Eingang des Tores 94 zugeführt, welches an seinem anderen Eingang das Ausgangssignal des Inverters 93 empfängt. Das Ausgangssignal des Tores 94 ist dem Eingang der Verriegelung 92 zugeführt, dessen Eingangssignal das zeitliche Einfriersignal bildet. Die Arbeitsweise dieser Schaltung ist derart, daß, wenn mehr als ein Ausgangshalbbild-Synchronisierungsignal einem Eingangshalbbild-Synchronisierungsimpuls folgt, ein Einfrieren stattfindet.
Unter Bezugnahme auf die Fig. 2 wird nun die Erzeugung der vertikalen Verschiebezahl durch die Steuerung 33 beschrieben. Der gleiche Adressengenerator, welcher Daten aus dem Luminanz- TBC 11Y in den Luminanz-Interpolator 1Y und den Bewegungsanalysator 2 liest, adressiert auch einen löschbaren, programmierbaren Nurlesespeicher (EPROM), der die vertikale Verschiebezahl zusammen mit vertikalen Einfriersignalen bereitstellt, wenn sie erforderlich sind.
(Bei der Anordnung nach Fig. 3, die für 525/60 in 625/50 verwendet wird, werden die Leseadressen des Luminanz-TBC 18Y benutzt, jedoch in allen anderen Moden werden die Leseadressen des Luminanz-TBC 11Y verwendet).
Die vertikale Verschiebezahl wird unter der Annahme erzeugt, daß sowohl das Eingabehalbbild als auch das Ausgabehalbbild gerade sind, und sie zeigt dann die Position zwischen zwei Eingangszeilen an, bei welchen die Ausgangszeile derart interpoliert werden muß, daß ein nichtgestörtes Bild erzeugt wird, wenn:
Bei der Umsetzung von 625/50 in 525/60 eine Zeile gelegentlich fallengelassen wird
oder
bei einer Umsetzung von 525/60 in 625/50 eine Zeile gelegentlich wiederholt wird.
Wenn eine Zeile durch den Luminanz-TBC 11Y (18Y) wiederholt wird, wird ein vertikales Einfriersignal erzeugt.
Wenn die Eingangshalbbilder nicht beide gerade sind, müssen die Interpolatoren 1Y und 1C Gebrauch von der Eingangshalbbildpolarität und der Ausgangshalbbildpolarität machen, um eine korrekte Interpolation sicherzustellen.
Die Inhalte des EPROM werden auf ähnliche Weise erzeugt, wie jene, die oben in Verbindung mit Fig. 10 für das zeitliche Verschiebesignal beschrieben sind, wobei die bekannte Zeilenposition sowohl bei einem 525- als auch bei einem 625-Bild verwendet wird.
Die Form und Arbeitsweise des Vektorprozessors 38, mit welchem die vorliegende Erfindung insbesondere befaßt ist, wird nun unter Bezugnahme auf die Fig. 11 und 12 detaillierter beschrieben.
Wie oben beschrieben, werden 1200 Bewegungsvektoren pro Halbbild erzeugt, wobei jeder Bewegungsvektor einem Block aus Pixeln zugeordnet ist, die in acht Zeilen durch sechzehn horizontalen Samples angeordnet sind.
Natürlich zeigt ein einzelner Bewegungsvektor nicht die Bewegung innerhalb eines speziellen Blocks unbeachtet der Größe dieses Blocks an. Folglich ist es notwendig, eine Wahl von Bewegungsvektoren für jeden Block derart zu treffen, daß jedes Pixel innerhalb diese Blockes eine faire Chance hat, daß seine Bewegung genau abgeschätzt wird.
Im vorliegenden Fall werden vier Bewegungsvektoren aus sieben lokalen Bewegungsvektoren ausgewählt. Diese vier Bewegungsvektoren werden dann einem zweiten Prozessor, d. h. den Vektorselektor 41 zugeführt, der einen aus vier auswählt.
Die Bewegungsvektoren sind in dem kartesischen Koordinatensystem dargestellt und als solche sind sie als vertikale Komponente und horizontale Komponente verfügbar. Jedem Bewegungsvektor ist eine FOM (Figurengüte) zugeordnet, die auf der WAD (gewichtete absolute Differenz) innerhalb eines Blocks basiert. Dies repräsentiert eine quantitative Einschätzung des Korrelationsgrades innerhalb eines Blocks.
Die 1200 Bewegungsvektoren bilden ein Bewegungsvektorenarray dreißig vertikal mal vierzig horizontal, das für jedes Halbbild erzeugt wird. Vertikal sind die Bewegungsvektoren jeweils in acht Zeilen angeordnet, während sie horizontal jeweils in sechzehn Pixeln angeordnet sind, wobei jeder Bewegungsvektor einen Block aus acht mal sechzehn Pixeln zugeordnet ist.
Sub-Pixel-Bewegungsabschätzung bedeutet, daß es möglich ist, einen Schritt über die bereits bestimmte und wie oben beschriebene Bewegungsvektorabschätzung hinauszugehen, indem zur Sub- Pixel-Auflösung die ursprüngliche Bewegungsvektorabschätzung berechnet wird. Beim zu beschreibenden Beispiel ist es möglich, eine Auflösung von einem Achtel einer Zeile vertikal und einem Viertel eines Pixels horizontal zu berechnen.
Wie oben dargelegt, empfängt der Vektorreduzierer 40 (Fig. 2) die Bewegungsvektoren aus dem Vektorprozessor 38 und aus dem Sub-Pixel-Bewegungsabschätzer 39. Für jeden Bewegungsvektor aus dem Sub-Pixel-Bewegungsabschätzer 39 werden die sechs ihm nächsten Bewegungsvektoren zusammengruppiert. Für jeden Bewegungsvektor gibt es dann elf Wahlmöglichkeiten. Der Vektorreduzierer 40 wählt vier Bewegungsvektoren aus, welche die mögliche Bewegung eines Teils eines Bildes innerhalb eines Blocks aus in acht Zeilen durch sechzehn horizontale Samples angeordneten Pixeln darstellen.
Der Vektorselektor 41 bestimmt, welcher der vier Bewegungsvektoren' wenn überhaupt, die Bewegung des Pixels am genauesten innerhalb des Blocks darstellt. Insbesondere wird eine Technik verwendet, welche Daten von mehr als zwei Halbbildern zur Bestimmung des richtigen Bewegungsvektors benutzt. Bei der vorliegenden Beschreibung wird nur das Luminanzsignal betrachtet, die Verarbeitung des Chrominanzsignals ist ähnlich.
Die zur Bestimmung der vier Bewegungsvektoren für jeden der 1200 Acht-mal-sechzehn-Blöcke verwendeten Videodaten werden zuerst sowohl vertikal als auch horizontal gefiltert, um eine leichte Bildverschmierung zu bewirken, da dies die Genauigkeit des zu beschreibenden folgenden Prozesses verbessert. Das Vertikalfilter interpoliert auch jedes andere ankommende Halbbild, so daß alle Halbbilder gerade bzw. geradzahlig zu sein scheinen.
Die Videodaten werden dann an zwei Halbbildspeicher gegeben, so daß drei zeitliche Abgriffe verfügbar sind, wie es in der Fig. 11 angedeutet ist. Diese drei Ausgangssignale werden dann durch drei weitere einfache vertikale Interpolatoren in die erforderliche Halbbild-Ausgangspolarität umgewandelt. Wenn die zeitlichen Abgriffe mit Halbbild 0, Halbbild 1 und Halbbild 2 bezeichnet werden, so wie es dargestellt ist, stellen die zu verarbeitenden vier Bewegungsvektoren die Bewegung zwischen dem Halbbild 0 und Halbbild 1 dar.
Die für jedes Pixel zu erzeugenden Bewegungsvektoren werden eventuell zur Erzeugung einer Standardumsetzung durch Verschiebung des Bildes in einen anderen Satz Halbbildspeicher im Luminanzinterpolator 1Y (Fig. 2) derart verwendet, daß zwischen dem Halbbild 0 und dem Halbbild 1 ein räumlich korrektes Bild erzeugt werden kann. Aus jedem Halbbild wird der gleiche Teil eines Objekts genommen und zur Erzeugung des erforderlichen Ausgangshalbbildes kombiniert. Deshalb müssen die vier ankommenden Vektoren ebenfalls auf ihre Genauigkeit an dieser Position zwischen Halbbild 0 und Halbbild 1 geprüft werden.
Die erforderliche interpolierte Ausgangshalbbildposition sei t, wobei t = 0 die Position des Halbbildes 0 und der maximale Wert von t, t = 1, die Position des Halbbildes 1 repräsentiert. V stelle den zu prüfenden Bewegungsvektor mit einer horizontalen und einer vertikalen Komponente dar. Dann gilt in Bezug auf jedes Pixel:
Wenn das Bild beim Halbbild 0 um tV und das Bild beim Halbbild 1 um -(1-t)V verschoben werden, sollte das erforderliche Ausgangspixel gleichzeitig sowohl im verschobenen Halbbild 0 als auch im verschobenen Halbbild 1 vorhanden sein. Durch Subtraktion dieser zwei Pixel kann ein erster Versuch zur Bestimmung, welcher der genauesten Bewegungsvektoren die Bewegung des in Frage stehenden erforderlichen Pixels beschreibt, gemacht werden.
Alle vier Bewegungsvektoren werden individuell zur Erzeugung einer Pixeldifferenz zwischen dem Halbbild 0 und dem Halbbild 1 verwendet, und die minimale Differenz wird aufgesucht. Wenn jedoch irgendeiner der drei verbleibenden Bewegungsvektoren eine Pixeldifferenz zeigt, die innerhalb eines voreingestellten Fensters für das Minimum liegt, werden diese Bewegungsvektoren ebenfalls als zur Darstellung der Bewegung des unter Test stehenden einzelnen Pixels mögliche Bewegungsvektoren betrachtet.
Die Anzahl der in Relation stehenden Bewegungsvektoren kann nun entweder 1 oder, im schlimmsten Fall, noch vier sein. Um den korrekten Bewegungsvektor zu bestimmen, werden die zu diesem Zeitpunkt verbleibenden Bewegungsvektoren zur Verschiebung von Halbbild 1 und Halbbild 2 verwendet, wobei eine zeitlich extrapolierte Prüfung bereitgestellt ist. Wie in der Fig. 11 angedeutet, wird das Halbbild 1 um -(1-t)V und das Halbbild 2 um -(2-t)V verschoben. Der Bewegungsvektor, welcher die bei dieser zweiten Vergleichsstufe erzeugte minimale Pixeldifferenz erzeugt, wird dann als die primär zu treffende Wahl des Bewegungsvektors für das unter Test stehende Pixel gewählt.
Ein Beispiel des Teils des Vektorselektors 41, der zum Bewirken dieser Verarbeitung erforderlich ist, ist in der Fig. 12 in Blockform dargestellt. Die vier Ausgangsbewegungsvektoren, hier als Vektoren A bis D bezeichnet, werden sowohl einem ersten als auch zweiten programmierbaren Nurlesespeicher (PROM) 101 und 102 sowie einer Prioritätsschaltung 103 zugeführt. Die Pixel des Halbbildes 0 und Halbbildes 1 werden dem PROM 101 und die Pixel des Halbbildes 1 und Halbbildes 2 dem PROM 102 zugeführt. Der PROM 101 bewirkt die Verschiebung und Differenzierung bzw. Unterscheidung in Bezug auf jeden der vier Vektoren A bis D zwischen Halbbild 0 und Halbbild 1 und führt jeweilige Ausgangsdifferenzsignale (diff.) a1 bis d1 einer Komparatorschaltung 104 zu. Durch Vergleich der Größen der Differenzsignale a1 bis d1 gibt die Komparatorschaltung 104 selektiv Freigabeausgangssignale A bis D an den PROM 102, um an diesem die Eingabe der Vektoren A bis D freizugeben.
Der PROM 102 bewirkt dann, wenn notwendig, d. h. wenn mehr als einer der Vektoren A bis D freigegeben ist, die Verschiebung und die Differenzierung in Bezug auf die freigegebenen Vektoren A bis D zwischen Halbbild 1 und Halbbild 2 und führt jeweilige Differenzausgangssignale (diff.) a2 bis d2 einer Komparatorschaltung 105 als geeignet zu. Durch Vergleich der Größen der zugeführten Differenzsignale a2 bis d2 gibt die Komparatorschaltung 105 ausgewählte Vektoranzeigesignale a bis d an die Prioritätsschaltung 103 und bewirkt dadurch die Selektion der primären Bewegungsvektorwahl aus den Vektoren A bis D für das unter Test stehende Pixel.
Es ist möglich, daß einer unter Test stehenden Pixelausgangsposition mehr als eine mögliche Bewegung zugeordnet ist, die durch andere Bewegungsvektoren als den Primärbewegungsvektor angezeigt werden, wobei diese Bewegungsvektoren eine Pixeldifferenz aufweisen, die innerhalb eines voreingestellten Fensters für das Minimum liegt. Es gibt zwei mögliche Gründe für das Auftreten dieser Situation. Erstens kann es sehr gut eine Anzahl unterschiedlicher, das Pixel umgebender Bewegungsvektoren geben, was beim Bild einer Explosion auftreten kann. Zweitens erscheinen, wenn sich um ein feines Detail herum ein großer flacher bzw. einfacher Bereich befindet, eine große Anzahl Bewegungsvektoren entsprechend den umrissenen Pixeldifferenzkriterien als korrekt. Dies ist in der Fig. 13 schematisch dargestellt, bei welcher 0 ein Sample im Halbbild 0 und X ein Sample im Halbbild 1 darstellt.
Die Detailbereiche umgebenden flachen bzw. einfachen Bereiche können gut die minimale Pixeldifferenz erzeugen und bewirken, daß das feine Detail mit übermäßigem Rauschen wiedergegeben wird.
Um zu vermeiden, daß diese Situation auftritt, kann die Auswahl von drei oder vier Bewegungsvektoren mit ähnlichen Pixeldifferenzen und beträchtlich verschiedenen Größen oder Richtungen dazu benutzt werden, einen möglichen Fehler bei der Bewegungsvektorauswahl darzustellen. Dies wird für die horizontale und vertikale Komponente separat getan, und die korrespondierenden Komponenten werden auf null gesetzt, wenn ein solcher Fehler detektiert wird. Es ist gewöhnlich unbedeutend, wenn dies einen Verlust von Bewegungsvektoren zur Folge hat, da dies bei einem Bild, beispielsweise einem Bild einer Explosion, auftritt, das in keinem Fall visuell verwirren würde, und es wäre nicht möglich, irgendwelche Fehler bei der Standardumsetzung zu verfolgen.
Wenn es nur zwei zusammenpassende Bewegungsvektoren gibt, wird die schließliche Wahl des Ausgangsbewegungsvektors unter Verwendung einer Prioritätsbasis getroffen.
Die Bewegungsvektoren sind immer in der Ordnung A, B, C und D angeordnet. Der Vektor A ist normalerweise der zentrale lokale Bewegungsvektor und die Vektoren B, C und D sind möglicherweise globale Vektoren, die wiederum in der Ordnung angeordnet sind, die davon abhängt, wie oft mal die Bewegungsvektoren detektiert werden. Wenn beispielsweise der Vektor C als die tatsächliche minimale Differenz gewählt wird, jedoch der Vektor A oder B sehr nahe an diesem minimalen Wert sind, wird Vektor A oder B als der schließliche Ausgangsbewegungsvektor gewählt.
Ein Ausgangsbewegungsvektor kann auch fehlerhaft sein, wenn die minimale Pixeldifferenz relativ groß ist. In einem solchen Fall wird der Ausgangsbewegungsvektor auf null gesetzt, so daß das Pixel wie bei einer normalen Standardumsetzung wiedergegeben wird. Eine Alternative besteht darin, solche fehlenden Bewegungsvektoren durch Verwendung der sie umgebenden Bewegungsvektorwerte zu verdecken.
In Zusammenfassung umfaßt die durch den Vektorselektor 41 ausgeführte Verarbeitung folgende Schritte:
Erstens eine Auswahl durch direkte Pixelanpassung. Zweitens eine Verfeinerung durch Extrapolation einer Anpassung über einem dritten Halbbild. Schließlich eine zusätzliche Vektorprüfung, um die mehrfache Auswahl von Bewegungsvektoren zu korrigieren.
Es sei auf sieben andere europäische Patentanmeldungen hingewiesen, die mit den UK-Patentanmeldungen 8 728 445, 8 728 446, 8 728 447, 8 728 448, 8 728 449, 8 728 450 und 8 728452 korrespondieren, sich auf einen ähnlichen Gegenstand beziehen und die wir am gleichen Tag wie die vorliegende Anmeldung eingereicht haben, wobei deren Offenbarung durch den Hinweis hier aufgenommen ist.

Claims

1. Verfahren zur Verarbeitung von einem digitalen Fernsehbild zugeordneten Bewegungsvektoren, bestehend aus den Schritten

einer Ableitung einer Anzahl Bewegungsvektoren, die jeweils die Bewegung eines Pixels im Bild darstellen,

einer Prüfung der Genauigkeit jedes Bewegungsvektors durch Differenzieren von in Abhängigkeit von diesem Bewegungsvektor aus wenigstens zwei sukzessiven Halbbildern des Bildes in eine gemeinsame Position in einem zwischen diese Halbbilder interpolierten Halbbild verschobenen Pixeln,

einer Auswahl wenigstens zweier Bewegungsvektoren aus der Anzahl in Abhängigkeit von dem Prüfschritt, so daß eine zweite Anzahl Bewegungsvektoren gewählt wird,

einer weiteren Prüfung der Genauigkeit jedes Bewegungsvektors der zweiten Anzahl durch Differenzieren von in Abhängigkeit von diesem Bewegungsvektor aus dem zweiten der wenigstens zwei Halbbilder des Bildes und aus dem Halbbild des Bildes, das dem zweiten Halbbild unmittelbar folgt, in die gemeinsame Position verschobenen Pixeln, und

einer weiteren Auswahl eines Bewegungsvektors aus der zweiten Anzahl in Abhängigkeit von dem weiteren Prüfschritt.

2. Verfahren nach Anspruch 1, wobei der erstgenannte Auswahlschritt eine Auswahl des die beste geprüfte Genauigkeit im erstgenannten Prüfschritt aufweisenden Bewegungsvektors und eine Auswahl wenigstens eines anderen Bewegungsvektors innerhalb eines vorbestimmten Genauigkeitsbereichs der besten geprüften Genauigkeit umfaßt und der weitere Auswahlschritt eine Auswahl des die beste geprüfte Genauigkeit im weiteren Prüfschritt aufweisenden Bewegungsvektors umfaßt.

3. Verfahren nach Anspruch 1 oder Anspruch 2, wobei die Bewegungsvektoren durch Bestimmung einer Bewegung im Bild bei um eine vorbestimmte Zahl Samples horizontal und eine vorbestimmte Zahl Samples vertikal beabstandeten Punkten durch eine Blockanpassungstechnik abgeleitet werden.

4. Verfahren nach Anspruch 3, wobei die Blockanpassungstechnik die Schritte

einer Prüfung dreier Positionen, der Mittelposition eines Blocks, einer vorbestimmten Zahl Samples links und einer vorbestimmten Zahl Samples rechts, auf eine Minimaldifferenz,

einer beim oben angezeigten Punkt startenden Prüfung von neun symmetrisch um den obigen Startpunkt verteilten Positionen auf eine Minimaldifferenz in Schritten einer kleineren vorbestimmten Zahl Samples oder Zeilen,

einer beim oben angezeigten Punkt startenden Prüfung von neun symmetrisch um den obigen Startpunkt verteilten Positionen auf eine Minimaldifferenz in Schritten einer noch kleineren vorbestimmten Zahl Samples oder Zeilen,

einer beim oben angezeigten Punkt startenden einer Prüfung von neun symmetrisch um den obigen Startpunkt verteilten Positionen auf eine Minimaldifferenz in Schritten einer noch kleineren vorbestimmten Zahl Samples oder Zeilen und,

einer beim oben angezeigten Punkt startenden Prüfung von neun symmetrisch um den obigen Startpunkt verteilten Positionen auf eine Minimaldifferenz in Schritten eines Samples oder einer Zeile

aufweist.

5. Verfahren nach Anspruch 4, mit einem auf den letzten Schritt des Anspruchs 4 folgenden weiteren Schritt eines Vergleichs der bei der durch den letzten Schritt angezeigten Endposition erzeugten Differenz mit den zwei Differenzen darüber und darunter zur Einstellung des vertikalen Vektorwertes und den zwei Differenzen links und rechts zur Einstellung des horizontalen Vektorwertes.

6. Vorrichtung zur Verarbeitung von einem digitalen Fernsehbild zugeordneten Bewegungsvektoren, bestehend aus

einer Einrichtung (36, 37) zur Ableitung einer Anzahl Bewegungsvektoren, welche jeweils die Bewegung eines Pixels im Bild darstellen,

einer Einrichtung (101, 104) zur Prüfung der Genauigkeit jedes Bewegungsvektors durch Differenzieren von in Abhängigkeit von diesem Bewegungsvektor aus wenigstens zwei sukzessiven Halbbildern des Bildes in eine gemeinsame Position in einem zwischen diese Halbbilder interpolierten Halbbild verschobenen Pixeln,

einer Auswahleinrichtung (103) zur Auswahl wenigstens zweier Bewegungsvektoren aus der Anzahl in Abhängigkeit von der Prüfung durch die Prüfeinrichtung, so daß eine zweite Anzahl Bewegungsvektoren gewählt wird,

einer weiteren Einrichtung (102, 105) zur weiteren Prüfung der Genauigkeit jedes Bewegungsvektors der zweiten Anzahl durch Differenzieren von in Abhängigkeit von diesem Bewegungsvektor aus dem zweiten der wenigstens zwei Halbbilder des Bildes und aus dem Halbbild des Bildes, das dem zweiten Halbbild unmittelbar folgt, in die gemeinsame Position verschobenen Pixeln, und

einer weiteren Einrichtung (103) zur Auswahl eines Bewegungsvektors aus der zweiten Anzahl in Abhängigkeit von der weiteren Prüfung durch die Prüfeinrichtung.

7. Vorrichtung nach Anspruch 6, wobei die erstgenannte Auswahleinrichtung so arbeitet, daß sie den Bewegungsvektor, für den die erstgenannte Prüfeinrichtung die beste geprüfte Genauigkeit liefert, und wenigstens einen anderen Bewegungsvektor, für den die erstgenannte Prüfeinrichtung eine Genauigkeit innerhalb eines vorbestimmten Genauigkeitsbereichs der besten geprüften Genauigkeit liefert, auswählt, und die weitere Auswahleinrichtung so arbeitet, daß sie den Bewegungsvektor, für den die weitere Prüfeinrichtung die beste geprüfte Genauigkeit liefert, auswählt.

8. Vorrichtung nach Anspruch 6 oder Anspruch 7, wobei die Einrichtung (36, 37) zur Ableitung von Bewegungsvektoren ein Vektorfilter (36) und einen Vektorkalkulator (37) aufweist, die eine Bewegung im Bild bei um eine vorbestimmte Zahl Samples horizontal und eine vorbestimmte Zahl Samples vertikal beabstandeten Punkten durch eine Blockanpassungstechnik bestimmen.

9. Vorrichtung nach Anspruch 8, wobei der Vektorkalkulator (37) so ausgebildet ist, daß er an einem das Bild darstellenden und durch das Vektorfilter (36) dem Vektorkalkulator (37) zugeführten digitalisierten Signal die Schritte

einer Prüfung dreier Positionen, der Mittelposition eines Blocks, einer vorbestimmten Zahl Samples links und einer vorbestimmten Zahl Samples rechts, auf eine Minimaldifferenz, einer beim oben angezeigten Punkt startenden Prüfung von neun symmetrisch um den obigen Startpunkt verteilten Positionen auf eine Minimaldifferenz in Schritten einer kleineren vorbestimmten Zahl Samples oder Zeilen,

einer beim oben angezeigten Punkt startenden Prüfung von neun symmetrisch um den obigen Startpunkt verteilten Positionen auf eine Minimaldifferenz in Schritten einer noch kleineren vorbestimmten Zahl Samples oder Zeilen und,

ausführt.

10. Vorrichtung nach Anspruch 9, wobei der Vektorkalkulator (37) so ausgebildet ist, daß er einen auf den letzten Schritt des Anspruchs 9 folgenden weiteren Schritt eines Vergleichs der bei der durch den letzten Schritt angezeigten Endposition erzeugten Differenz mit den zwei Differenzen darüber und darunter zur Einstellung des vertikalen Vektorwertes und den zwei Differenzen links und rechts zur Einstellung des horizontalen Vektorwertes ausführt.

11. Fernsehstandardumsetzer, bestehend aus

einer eine Vorrichtung (36, 37, 101, 104, 103) nach einem der Ansprüche 6 bis 10 aufweisenden Einrichtung (36 bis 40) zur Verarbeitung von aufeinanderfolgenden Halbbildern eines Eingangsfernsehsignals eines Fernsehstandards zugeordneten Bewegungsvektoren,

einer Einrichtung (1) zur nachfolgenden Ausrichtung der Halbbilder, um effektiv statische Bilder darzustellen, und einer Einrichtung (1) zur Bewirkung einer Umsetzung unter Verwendung der statischen Bilder zur Ableitung des erforderlichen Ausgangsfernsehsignals eines anderen Fernsehstandards.

12. Fernsehstandardumsetzer nach Anspruch 11, wobei die Einrichtung zur Bewirkung einer Umsetzung einen Interpolator (1) zum Bewirken einer Vertikal/Temporal-Interpolation aufweist und das Eingangsfernsehsignal dem Interpolator (1) durch einen Zeitbasiskorrektor (11, 18) zugeführt ist, der aus dem Eingangsfernsehsignal ein Fernsehsignal aus 585 Zeilen und 60 Halbbildern pro Sekunde erzeugt.

13. Fernsehstandardumsetzer nach Anspruch 12, wobei das Eingangsfernsehsignal ein Signal aus 625 Zeilen und 50 Halbbildern pro Sekunde ist, wobei der Zeitbasiskorrektor (11, 18) ein 4-Halbbild-Zeitbasiskorrektor (11) ist und das Ausgangssignal des Zeitbasiskorrektors (11) dem Interpolator (1) durch ein 4-Halbbild-Schieberegister (12) zugeführt ist.

14. Fernsehstandardumsetzer nach Anspruch 12, wobei das Eingangsfernsehsignal ein Signal aus 625 Zeilen und 50 Halbbildern pro Sekunde ist, wobei der Zeitbasiskorrektor (11, 18) ein 2-Halbbild-Zeitbasiskorrektor (18) ist und das Ausgangssignal des Zeitbasiskorrektors (18) dem Interpolator (1) durch ein 4-Halbbild-Schieberegister (12) zugeführt ist.

15. Fernsehstandardumsetzer nach einem der Ansprüche 11 bis 14, wobei die Einrichtung (1) zum Ausrichten der Halbbilder so arbeitet, daß sie die Adresse eines variablen Verzögerungselements variiert, um jedes Pixel des Bildes an der nächstliegenden Zeile oder dem nächstliegenden Sample zu repositionieren, und um dann jedes Pixel des Bildes sowohl vertikal als auch horizontal auf einem Teil einer Zeile bzw. einem Teil eines Samples zu repositionieren.

16. Fernsehstandardumsetzer nach Anspruch 15, wobei die vertikale Repositionierung an einem Teil einer Zeile durch einen Vertikalinterpolator (1) mit vier Abgriffpunkten und die horizontale Repositionierung an einem Teil eines Samples durch ein Horizontalfilter (11) mit zwei oder vier Abgriffpunkten ausgeführt wird.

17. Fernsehstandardumsetzer zur Umsetzung von 625 Zeilen und 50 Halbbildern pro Sekunde in 525 Zeilen und 60 Halbbildern pro Sekunde, bestehend aus

einem 4-Halbbild-Zeitbasiskorrektor (11) zum Empfang eines digitalen Eingangsfernsehsignals aus 625 Zeilen und 50 Halbbildern pro Sekunde,

einem eine Vorrichtung (36, 37, 101, 104, 103) nach einem der Ansprüche 6 bis 10 aufweisenden Bewegungsanalysator (36 bis 40), der mit einem Ausgang des Zeitbasiskorrektors (11) zur Analysierung einer Bewegung im Eingangsfernsehsignal verbunden ist,

einem mit dem Ausgang des Zeitbasiskorrektors (11) verbundenen Schieberegister (12),

einem Interpolator (1) zur Ableitung von Samples eines erforderlichen digitalen Ausgangsfernsehsignals aus 525 Zeilen und 60 Halbbildern pro Sekunde in Abhängigkeit von aus dem Schieberegister (12) abgeleiteten Samples und von aus dem Bewegungsanalysator (36 bis 40) abgeleiteten Bildbewegungsdaten, und

einem 2-Halbbild-Zeitbasiskorrektor (18) zum Zusammensetzen der abgeleiteten Samples zur Bildung des Ausgangsfernsehsignals.

18. Fernsehstandardumsetzer nach Anspruch 17, wobei der 4- Halbbild-Zeitbasiskorrektor (11) ein Fernsehsignal aus 585 Zeilen und 60 Halbbildern pro Sekunde aus dem Eingangsfernsehsignal zur Zufuhr zum Schieberegister (12) ableitet.

19. Fernsehstandardumsetzer zur Umsetzung von 525 Zeilen und 60 Halbbildern pro Sekunde in 625 Zeilen und 50 Halbbildern pro Sekunde, bestehend aus

einem 2-Halbbild-Zeitbasiskorrektor (18) zum Empfang eines digitalen Eingangsfernsehsignals aus 525 Zeilen und 60 Halbbildern pro Sekunde,

einem eine Vorrichtung (36, 37, 101, 104, 103) nach einem der Ansprüche 6 bis 10 aufweisenden Bewegungsanalysator (36 bis 40), der mit einem Ausgang des Zeitbasiskorrektors zur Analysierung einer Bewegung im Eingangsfernsehsignal verbunden ist,

einem mit dem Ausgang des Zeitbasiskorrektors verbundenen Schieberegister (12),

einem Interpolator (1) zur Ableitung von Samples eines erforderlichen digitalen Ausgangsfernsehsignals aus 625 Zeilen und 50 Halbbildern pro Sekunde in Abhängigkeit von aus dem Schieberegister (12) abgeleiteten Samples und von aus dem Bewegungsanalysator (36 bis 40) abgeleiteten Bildbewegungsdaten, und

einem 4-Halbbild-Zeitbasiskorrektor (11) zum Zusammensetzen der abgeleiteten Samples zur Bildung des Ausgangsfernsehsignals.

20. Fernsehstandardumsetzer nach Anspruch 19, wobei der 2-Halbbild-Zeitbasiskorrektor (18) ein Fernsehsignal aus 585 Zeilen und 60 Halbbildern pro Sekunde aus dem Eingangsfernsehsignal zur Zufuhr zum Schieberegister (12) ableitet.

21. Fernsehstandardumsetzer nach Anspruch 18 oder 20, wobei der Bewegungsanalysator (36 bis 40) Bewegungsvektoren in Abhängigkeit von der Bewegung zwischen korrespondierenden Pixeln in aufeinanderfolgenden Halbbildern des Eingangsfernsehsignals ableitet und die Bewegungsvektoren dem Interpolator (1) zuführt, um die Pixel in den aufeinanderfolgenden Halbbildern zur Darstellung statischer Bilder effektiv aus zurichten.

22. Zeitlupenprozessor, bestehend aus

einer Eingangsschaltung (31, 11) zum Empfang eines digitalen Eingangsfernsehsignals,

einem eine Vorrichtung (36, 37, 101, 104, 103) nach einem der Ansprüche 6 bis 10 aufweisenden Bewegungsanalysator (36 bis 40) zum Analysieren einer Bewegung im digitalen Eingangsfernsehsignal,

einem Schieberegister (12) zum Halten verschiedener sukzessiver Halbbilder des Eingangsfernsehsignals,

einem Interpolator (1) zum Ableiten von Samples eines erforderlichen digitalen Zeitlupen-Ausgangsfernsehsignals aus 525 Zeilen und 60 Halbbildern pro Sekunde in Abhängigkeit vom Zeitlupengrad, von aus dem Schieberegister (12) abgeleiteten Samples und von aus dem Bewegungsanalysator (36 bis 40) abgeleiteten Bildbewegungsdaten, und

einem 2-Halbbild-Zeitbasiskorrektor (18) zum Zusammensetzen der abgeleiteten Samples zur Bildung des Zeitlupen-Ausgangsfernsehsignals.

23. Zeitlupenprozessor nach Anspruch 22, wobei die Eingangsschaltung (31, 11) einen 4-Halbbild-Zeitbasiskorrektor (11) aufweist.

24. Zeitlupenprozessor nach Anspruch 23, wobei der 4-Halbbild-Zeitbasiskorrektor (11) aus dem Eingangsfernsehsignal ein Fernsehsignal aus 585 Zeilen und 60 Halbbildern pro Sekunde zur Zufuhr zum Schieberegister (12) ableitet.