DE69006083T2

DE69006083T2 - Interpolation eines Videosignals.

Info

Publication number: DE69006083T2
Application number: DE69006083T
Authority: DE
Inventors: James Hedley Wilkinson
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1989-04-21
Filing date: 1990-04-10
Publication date: 1994-05-26
Anticipated expiration: 2010-04-11
Also published as: US5070403A; DE69006083D1; JPH02289894A; EP0393906A1; EP0393906B1

Description

Die Erfindung bezieht sich auf die Interpolation eines Videosignals. Insbesondere bezieht sich die Erfindung auf Verfahren und eine Vorrichtung für die Ableitung von Vektoren für die Verwendung bei der Interpolation eines Videosignals und auf Interpolatoren für das räumliche Interpolieren eines Videosignals. Die Erfindung bezieht sich außerdem auf eine Interpolatorvorrichtung zum Interpolieren von Feldern oder Teilbildern (Rahmen) eines Videoeingangssignals, um interpolierte Felder oder Teilbilder zu bilden, und auf bewegungskompensierte Normenwandler.
Es bestehen Anforderungen zum Umwandeln eines verschachtelt abgetasteten Videosignals in ein fortlaufendes (manchmal aufeinanderfolgend abgetastet genannt) Abtastvideosignal, mit anderen Worten, verschachtelt abgetastete Felder eines Videosignals umzuwandeln, wobei jedes von denen aus den ungeraden oder geraden Abtastzeilen nur eines Teilbildes des Videosignals besteht, in aufeinanderfolgende Abtastfelder des Videosignals, wobei jedes von diesen aus einem vollen Satz von sowohl ungeraden als auch geraden Abtastzeilen besteht, mittels eines Verfahrens der räumlichen Interpolation. Beispiele, bei denen solche Erfordernisse entstehen, gibt es dort, wo ein Bild in Zeitlupe gezeigt werden soll, und wo es erfoderlich ist, die Leistung eines Videoanzeigemonitors zu verbessern.
Die Probleme, die einer solchen Umwandlung anhaften, werden kurz mit Bezug auf Fig. 1 erklärt. Diese zeigt schematisch eine Überlagerung von zwei Bildern eines sich bewegenden Objektes 1 in zwei aufeinanderfolgenden Feldern eines verschachtelt abgetasteten Videosignals. Die Teile des Objekts 1, welche in den jeweiligen Feldern vorhanden sind, sind durch fette Teile der Abtastzeilen gekennzeichnet. In diesem Fall wird weder eine einfache vertikale noch eine zeitliche Interpolation ein zufriedenstellendes Ergebnis liefern. Auf diese Weise wird eine vertikale Interpolation vertikale Parallelbezeichnungen ergeben, während eine zeitliche Interpolation ein Doppelbild zur Folge hat.
Allgemeiner, der Hauptgrund, warum eine Standardinterpolation keine zufriedenstellenden Ergebnisse liefert, besteht darin, daß die vertikale Abtastung, welche der Erzeugung eines Feldes eines Videos innewohnt, nicht der klassischen Abtasttheorie folgt, und daß sich daraus im wesentlichen vertikale Doppelbezeichnungen ergeben. Dieses Problem kann bis zu einem gewissen Ausmaß durch vertikales Filtern vor dem Abtasten gemildert werden, aber dies ergibt einen bemerkenswerten Verlust der Auflösung bei normalen Bildfolgen.
Es ist daher vorgeschlagen worden, vorhergehende Feldinformationen zu verwenden, wobei ein Bewegungsdetektor niedrige Pegel von einer Bildbewegung anzeigt, oder alternativ eine Form der Bildverarbeitung zu verwenden, um die fehlenden Zeilen zu erzeugen. Die erste dieser Techniken tendiert dazu, bei einigen Bildfolgen zu versagen, wie z. B. bei Sportszenen, wo es wahrscheinlich ist, daß der Brennpunkt der Aufmerksamkeit auf ein bewegtes Objekt gerichtet ist. In einem solchen Fall ist es die Bewegung des Objektes, welche von Interesse ist, und die aus dem vorhergehenden Bild verfügbare Information ist von keinem Nutzen. Es wird daher die zweite Technik bevorzugt werden, entweder allein verwendet oder in Verbindung mit der ersten Technik. Bei vorher vorgeschlagenen Ausführungen der zweiten Technik ist herausgefunden worden, daß sie bei einigen Typen von Bildern Gegenstand eines beträchtlichen Fehlers werden.
Gemäß der vorliegenden Erfindung ist ein Verfahren zur Herleitung von Gradientenvektoren für die Verwendung bei der räumlichen Interpolation eines digitalen Videosignals vorgesehen, wobei das Verfahren folgende Schritte umfaßt Filtern der Abtastzeilen eines Eingabefeldes des Videosignals mittels eines Hochpasses;
Filtern des durch den Hochpass gefilterten Videosignals mittels eines Tiefpasses in einer Vielzahl von Kanälen, die jeweils Tiefpaßfilter umfassen;
Horizontales Interpolieren der Abtastzeilen des Eingabefeldes des Videosignals in mindestens einigen der Kanälen; Berechnen der Korrelation des durch den Tiefpaß gefilterten Videosignals Pixel für Pixel für einen Bereich der Pixelabweichungen; und
Auswählen des Gradientenvektors für jedes Pixel des Videosignals entsprechend der Korrelation, welche von maximalem Betrag ist.
Gemäß der vorliegenden Erfindung ist außerdem eine Vorrichtung zur Ableitung von Gradientenvektoren für die Verwendung bei der räumlichen Interpolation eines digitalen Videosignals vorgesehen, wobei wobei die Vorrichtung umfaßt:
ein Hochpaßfilter zum Filtern der Abtastzeilen eines Eingabefeldes des Videosignals;
eine Vielzahl von paralleln Bearbeitungskanälen mit jeweiligen Tiefpaßfiltern zum Filtern des mittels des Hochpasses gefilterten Videosignals;
Interpolatormittel zur horizontalen Interpolation der Abtastzeilen des Eingabefeldes des Videosignals in mindestens einigen der Kanälen;
Mittel zur Berechnung der Korrelation des mittels des Tiefpasses gefilterten Videosignals Pixel für Pixel für einen Bereich der Pixelabweichungen; und
Mittel zur Auswahl des Gradientenvektors für jedes Pixel des Videosignals entsprechend der Korrelation, welche von maximalem Betrag ist.
Gemäß der vorliegenden Erfindung ist ferner eine Interpolatoranordnung zum räumlichen Interpolieren der Felder von einem verschachtelt abgetasteten Videosignal vorgesehen, um interpolierte Abtastzeilen des Videosignals zu bilden, wobei die Interpolatoranordnung umfaßt:
ein Hochpaßfilter zum Filtern der Abtastzeilen eines Eingabefeldes des Videosignals;
eine Vielzahl von paralleln Bearbeitungskanälen mit jeweiligen Tiefpaßfiltern zum Filtern des mittels dem Hochpaß gefilterten Videosignals;
horizontale Interpolatormittel zur horizontalen Interpolation bei mindestens einigen der existierenden Abtastzeilen des Eingabefeldes des Videosignals;
Mittel zur Berechnung der Korrelation des mittels des Tiefpasses gefilterten Videosignals Pixel für Pixel für einen Bereich der Pixelabweichungen;
Mittel zur Auswahl des Gradientenvektors für jedes Pixel des Videosignals entsprechend der Korrelation, welche von maximalem Betrag ist; und
einem räumlichen Interpolator für die Herleitung von Abtastwerten zur Erzeugung interpolierter Abtastzeilen des Eingabefeldes durch Kombination der Abtastwerte von den bestehenden Abtastzeilen der Eingabefeldabweichung durch die Gradientenvektoren.
Gemäß der vorliegenden Erfindung ist ebenfalls eine Interpolatorvorrichtung vorgesehen mit:
einer Interpolatoranordnung nach dem vorhergehenden Abschnitt;
Bewegungsdetektormitteln zur Bestimmung des örtlichen Grades der Bewegung in dem durch das Eingabefeld des Videosignals repräsentierten Bild; und
Selektormitteln, welche durch die Bewegungsdetektormittel zum Zuführen des Ausgangssignals der Interpolatoranordnung als das Ausgangssignal der Interpolatorvorrichtung, wenn der Grad der Bewegung bei oder über einem vorgegebenen Grenzwert liegt, und zum Zuführen der Daten von dem Feld, welches dem Eingabefeld des Videosignals vorausging, als das Ausgangssignal der Interpolatorvorrichtung, wenn der Grad der Bewegung unter dem vorgegebenen Grenzwert liegt, gesteuert werden.
Außerdem sind Videonormenwandler allgemeine bekannte Vorrichtungen, welche verwendet werden, Videosignale von einem Standard in den anderen umzuwandeln, z. B. von einem Standard mit 625 Zeilen pro Teilbild, 50 Feldern pro Sekunde in einen Standard mit 525 Zeilen pro Teilbild bei 60 Feldern pro Sekunde. Wie die räumliche Interpolation kann die Videonormenwandlung lediglich unter Verwendung einfacher linearer Interpolationstechniken wegen der zeitlichen und vertikalen Doppelbezeichnung, welche in einem Videosignal vorhanden ist, das Ziel nicht zufriedenstellend erreichen. Auf diese Weise erzeugt die einfache lineare Interpolation unerwünschte künstlich hervorgerufene Veränderungen in dem sich ergebenden Bild, insbesondere darin, daß die Bilder vertikal verschwommen sind und zeitlich zittern.
Um diese Probleme zu verringern, ist vorgeschlagen worden, daß Videonormenwandler anpassungsfähige Techniken verwenden sollten, um die Parameter eines linearen Interpolators in Abhängigkeit von dem Grad der Bewegung in den Bildern, welcher durch das einkommende Videosignal repräsentiert wird, umzuschalten.
Es ist außerdem vorgeschlagen worden, z. B. zum Zwecke der Datenreduktion bei einer Videosignalverarbeitung Bewegungsvektoren von einem einkommenden Videosignal mittels einer Blockanpassungstechnik zu erzeugen, in welcher der Inhalt eines Suchblocks in einem Feld oder Teilbild mit den jeweiligen Inhalten einer Vielzahl von Suchblöcken, welche in einem Suchbezirk in dem folgenden Feld oder Teilbild vorhanden sind, verglichen wird, um den minimalen Unterschied zwischen den so verglichenen Inhalten zu bestimmen, und daraus die Richtung und Entfernung der Bewegung (wenn irgendeine vorhanden ist) von dem Inhalt des originalen Suchblocks zu bestimmen.
Die vorliegende Erfindung ist daher auch mit der Ausdehnung der oben erwähnten Verfahren und der Vorrichtung auf bewegungskompensierte Interpolation von Feldern oder Teilbildern und mit bewegungskompensierten Normenwandlern befaßt.
Gemäß der vorliegenden Erfindung ist außerdem eine Interpolatorvorrichtung zum Interpolieren von Feldern oder Teilbildern eines Eingangsvideosignals vorgesehen, um interpolierte Felder oder Teilbilder des Videosignals zu bilden, wobei die Interpolatorvorrichtung umfaßt:
ein räumliches Hochpaßfilter zum horizontalen und vertikalen Filtern der Felder oder Teilbilder des Eingangsvideosignals;
eine Vielzahl von parallelen Bearbeitungskanälen mit jeweiligen räumlichen Tiefpaßfiltern zum horizontalen und vertikalen Filtern des mittels des Hochpasses gefilterten Videosignals;
Interpolatormittel zum horizontalen und vertikalen Interpolieren der Abtastzeilen der Felder oder Teilbilder des Videosignals;
Mittel zum Berechnen der Korrelation des mittels des räumlichen Tiefpasses gefilterten Videosignals Pixel für Pixel für einen Bereich von horizontalen und vertikalen Pixelverschiebungen;
Mittel zur Auswahl des gerichteten Gradientenvektors für jedes Pixel des Videosignals entsprechend der Korrelation, welche von maximalen Betrag ist; und
einen zeitlichen Interpolator zur Herleitung interpolierter Felder oder Teilbilder durch Kombinieren existierender Abtastwerte, welche durch die gerichteten Gradientenvektoren verschoben sind.
Die Erfindung wird nun anhand eines Beispiels mit Bezug auf die angefügten Zeichnungen, in denen durchweg gleiche Teile durch gleiche Bezugszeichen bezeichnet sind, beschrieben, und in denen
Fig. 1 schematisch die Bewegung eines Objekts zwischen zwei aufeinanderfolgenden Feldern zeigt;
Fig. 2A - 2C schematisch eine räumliche Interpolation zeigen;
Fig. 3A - 3D schematisch die Wirkung einer Hochpaßfilterung auf die Korrelation zeigen;
Fig. 4A und 4B schematisch die Wirkung einer Tiefpaßfilterung auf die Gradientenvektoren zeigt;
Fig. 5A und 5B schematisch die Beziehung zwischen Korrelation und Phasenverschiebung zeigen;
Fig. 6A und 6B schematisch die horizontale und räumliche Interpolation zeigen;
Fig. 7 schematisch ein Korrelationsfenster zeigt;
Fig. 8 schematisch eine Reihe von Gradientenvektoren zeigt;
Fig. 9 eine Ausführungsform der Vorrichtung gemäß der vorliegenden Erfindung zur Herleitung von Gradientenvektoren als Blockdiagramm zeigt;
Fig. 10 eine Ausführungsform einer Interpolatoranordnung gemäß der vorliegenden Erfindung in Form eines Blockschaltbilds zeigt; und
Fig. 11 eine Ausführungsform der Interpolatorvorrichtung gemäß der vorliegenden Erfindung in Form eines Blockschaltbilds zeigt.
Die Erfindung wird zuerst beschrieben, wie sie bei der Ableitung von Vektoren für die Verwendung in einem Interpolator für die räumliche Interpolierung eines verschachtelt abgetasteten Videosignals angewendet wird, um ein fortschreitend abgetastetes Videosignal für den Gebrauch z. B. in einem Zeitlupenprozessor zu bilden.
Das Prinzip der Arbeitsweise eines solchen räumlichen Interpolators wird zuerst mit Bezug auf die Fig. 2A bis 2C beschrieben. Fig. 2A zeigt Folgen von aufeinanderfolgenden Pixel in drei aufeinanderfolgenden Abtastzeilen eines Teilbilds eines digitalen Videosignals. Die oberen und unteren Abtastzeilen gehören zu dem Feld 0 und die mittlere Zeile gehört zu dem Feld 1. Die schwarzen und offenen Pixel gehören jeweils zu schwarzen und weißen Abtastproben. Es wird daher ein schwarzer Rand oder ein Objekt gezeigt, welches sich diagonal von links nach rechts erstreckt. Fig. 2B zeigt die Abtastzeilen des Feldes 0, wie sie vorher waren, aber in diesem Fall ist die mittlere Abtastlinie durch die Mittelwertbildung der vertikal fluchtenden Abtastwerte in den Abtastlinien oben und unten des Feldes 0 vertikal interpoliert worden. Daraus ergeben sich sechs graue Abtastwerte, die schraffiert gezeigt sind. Der Vergleich der Fig. 2A und 2B zeigt, daß diese einfache Interpolationstechnik ein völlig falsches Ergebnis liefert. Fig. 2C zeigt das korrekte Ergebnis, welches man erhalten würde, wenn anstelle der Mittelwertbildung der vertikal fluchtenden Abtastwerte der Mittelwert der Abtastwerte, welche in Richtung der mit Pfeilen versehenen Linie fluchtend ausgerichtet sind, Mittelwert gebildet worden wäre. Nachfolgend wird diese Richtung als der Gradientenvektor bezeichnet, und als nächstes wird der Weg beschrieben, auf welchem derartige Gradientenvektoren hergeleitet werden können.
Grundsätzlich ist die Erzeugung der erforderlichen Gradientenvektoren mit fünf Schritten verbunden. Zuerst wird jede Abtastzeile eines digitalen Eingangsvideosignals mittels eines Hochpasses gefiltert. Zweitens werden eine Vielzahl von parallelen Verarbeitungskanälen mit jeweils verschiedenen Pegeln eines Filtervorgangs mittels eines Tiefpasses erzeugt. Drittens wird das mittels des Tiefpasses gefilterten Videosignal in mindestens einigen der Kanälen interpoliert. Viertens wird für jeden Kanal Pixel für Pixel eine Ausschnittskorrelation durchgeführt. Fünftens wird die Ausgangskorrelation mit dem maximalen Wert ausgewählt und entspricht dem geforderten Gradientenvektor. Diese Schritte werden nun detaillierter beschrieben. 4
Der Zweck des Filterns mittels eines Hochpasses ist es, eine bessere Korrelation von sehr guter Genauigkeit in Bereichen von hohen Luminanzbeträgen, und um eine Gewichtung gegenüber der Auswahl von großen Gradientenvektoren zu erreichen, d. h., Gradientenvektoren, welche einer großen Verschiebung von Abtastzeile zu Abtastzeile entsprechen. Das Filtern mittels eines Hochpasses dient außerdem dazu, niederfrequente Gleichstromkomponenten von jedem Kanal zu verhindern, welche bei der Berechnung der Fensterkorrelation anwesend sind. Wie unten beschrieben wird, verwendet die Fensterkorrelation die Summe einer Gruppe von Signalprodukten und arbeitet daher am besten bei Signalen von kleiner Größe. In der Praxis kann jedoch oft ein genaues Detail einem hohen Luminanzhintergrund überlagert sein, und es ist dann schwer, ein derartiges Detail festzustellen. Die Verwendung einer Filterung mittels eines Hochpasses bedeutet, daß kleine Signalränder leichter ungeachtet des Durchschnittsluminanzpegels festgestellt werden können. Dies wird leichter verstanden werden im Zusammenhang mit den Fig. 3A bis 3D, von denen die Fig. 3A ein Teil einer Eingangsabtastzeile als ein Amplitudendiagramm zeigt. Fig. 3B zeigt einen Korrelationsdiagramm der gleichen Zeile, und es ist festzustellen, daß die Ränder nicht sehr leicht zu unterscheiden sind. Fig. 3C zeigt die gleiche Zeile nach dem Filtern mittels eines Hochpasses, und Fig. 3D zeigt ein Korrelationsdiagramm der mittels des Hochpasses gefilterten Zeile. Es ist aus Fig. 3 zu sehen, daß die Kanten nun als Maxima klar unterscheidbar sind. Mit anderen Worten, das Filtern mittels des Hochpasses erleichtert die Korrelation.
Außerdem sind große Gradientenvektoren mit Tiefpaßfiltern mit einer niedrigen Grenzfrequenz verbunden, wie nun mit Bezugnahme auf die Fig. 4A und 4B beschrieben wird, welche Diagramme der Amplitude eines Videosignals bei Frequenzen bis zu der Nyquist-Frequenz fN sind. Fig. 4A zeigt die Wirkung auf einen kleinen Gradientenvektor, und Fig. 4B zeigt die Wirkung auf einen großen Gradientenvektor. Links ist die Eingangssignalbandbreite gezeigt, in der Mitte die Bandbreite nach einer entsprechenden Filterung mittels eines Hochpasses von beiden Signalen, und rechts die Bandbreite nach Filterung mittels eines veränderlichen Tiefpasses. Es ist zu sehen, daß die es Filterung mittels des Tiefpasses für einen großen Gradientenvektor schwieriger macht, einen großen Korrelationswert zu erreichen, so daß einige Wichtung auf der Stufe der Filterung mittels des Hochpasses angebracht wird. Z. B. kann ein mit fünf Abgriffen versehenes endliches Stoßantwortfilter mit Abgriffen bei (-1, -4, 10, -4, -1) für das Hochpaßfilter verwendet werden.
Es wird für jeden Betrag des Gradientenvektors ein getrenntes Tiefpaßfilter bevorzugt, um die maximale Phasenverschiebung zwischen abgetasteten Zeilen auf ±pi zu begrenzen. Auf diese Weise wird ein Bild von einem dicht benachbarten Gitter betrachtet. Wie in Fig. 5A für die Filterung mit keinem Tiefpaß gezeigt ist, wird es mehrfache Korrelationen geben, d. h. Korrelationen zusätzlich zu jener, welche dem angezeigten Optimum des Gradientenvektors entspricht. Jedoch bei irgendeiner gegebenen Frequenz sind die Phasenverschiebungen in dem Bereich -pi/2 bis +pi/2 tatsächlich gültig, so daß die Methode immer versuchen sollte, den maximalen Wert des Gradientenvektors mit der minimalen Phasenverschiebung zu wählen. Auf diese Weise wird die Auswahl eines Gradientenvektorwertes außerhalb dieses Bereichs zugelassen, was zu einer hohen Wahrscheinlichkeit von ernstlich falschen Gradientenvektoren führt. Es können dann Interpolationsfehler von pi auftreten, woraus sich ein in der Phase invertiertes Signal ergibt. Daher wird eine Vielzahl von parallel arbeitenden Pfaden für die jeweiligen Gradientenvektorwerte geschaffen, und jeder Pfad umfaßt ein Tiefpaßfilter, um den Phasenverschiebungsbereich von -pi/2 bis +pi/2 einzuschränken. Dies führt zu einer Korrelationscharakteristik gegenüber der Phasenverschiebung, wie sie in Fig. 5B gezeigt ist.
Es sollte hinzugefügt werden, daß eine Vielzahl von Kanälen mit jeweiligen Tiefpaßfiltern einen wesentlichen Betrag an Hardware mit sich bringen. Auf diese Weise könnte z. B. ein Tiefpaßfilter entsprechend einem Gradientenvektor, welcher eine Pixelverschiebung von einer Größe 15 anzeigt, ein Filter mit 255 Abgriffen erfordern. Um diese Hardwareanforderung zu verringern, kann die Anzahl der Kanäle und daraus folgend die Anzahl der Tiefpaßfilter durch Eingruppieren einiger der höher bewerteten Gradientenvektorwerte in die gleichen Tiefpaßfilterkanäle verringert werden.
Die horizontale Interpolation vermeidet die Probleme, welche manchmal als Sub-Pixel-Interpolation bezeichnet werden, welche in dem Fall von gleich beabstandeten interpolierten Abtastzeilen oberhalb der Hälfte der Nyquist-Frequenz offensichtlich wird. Fig. 6A zeigt oben und unten die aufeinanderfolgenden Pixelstellungen in zwei aufeinanderfolgenden Abtastzeilen von dem selben Feld 0 eines Videosignals. In der Mitte sind die erforderlichen Pixelstellungen von einer interpolierten Abtastzeile gezeigt. Wenn es nun erforderlich ist, daß ein Pixel unter Verwendung des angezeigten Gradientenvektors räumlich interpoliert wird, dann würde die Pixelstellung in der interpolierten Abtastzeile derart sein, wie durch das Quadrat angegeben ist, was falsch ist. Fig. 6B zeigt die gleiche Situation, aber in diesem Fall sind die ursprünglichen Abtastzeilen vor der räumlichen Interpolation 2:1 horizontal interpoliert worden, und es ist festzustellen, daß in diesem Fall das interpolierte Pixel eine richtige Stellung einnimmt. Integrierte Schaltkreise zur Durchführung einer derartigen horizontalen Interpolation durch Mittelwertbildung von benachbarten Abtastwerten sind erhältlich, und dies ist ein bekanntes Signalverarbeitungsverfahren. Wo die räumliche Interpolation nicht gleich beabstandet ist, d. h. wo eine oder mehrere Abtastlinien an Stellen zu interpolieren sind, welche nicht auf halbem Wege zwischen den bestehenden Abtastlinien liegen, dann sind geeignete horizontale Verschiebungen für jede Abtastzeile erforderlich, um die korrekte Stellung auf der interpolierten Abtastzeile oder den Abtastzeilen zu erreichen. D. h. Abtastwerte werden in den bestehenden Abtastzeilen an Positionen interpoliert, welche in Abhängigkeit von den verschobenen Stellungen und den vorgegebenen möglichen Werten des Gradientenvektors phasengesteuert werden.
Als nächstes kommt der Korrelationsschritt. Es sollte festgestellt werden, daß die Korrelationsberechnungen auf ein Optimum hinauslaufen, welcher der höchste gefundene Wert ist, wohingegen Blockvergleichsprozesstechniken, welche anderswo zur Herleitung von Bewegungsvektoren vorgeschlagen worden sind, welche die Bewegung zwischen Feldern oder Teilbildern eines Videosignals anzeigen, auf den niedrigsten Wert als ein Optimum hinauslaufen. Die Korrelation von zwei Signalen ist Pixel für Pixel die Summe der Produkte der zwei Signale, und das verwendete Verfahren ist verbunden mit einer gleitenden Fenstertechnik, d. h. einem beweglichen linearen Fenster von Pixel, die in einer Reihe mit den Abtastzeilen angeordnet sind.
Wie in Fig. 7 gezeigt ist, wird ein Korrelationswert für jedes Pixel in einer interpolierten Abtastzeile als die Summe der gewichteten Produkte der Abtastwerte der Abtastzeilen oberhalb und unterhalb der interpolierten Abtastzeile berechnet, entsprechend den Pixeln, welche bei Plus und Minus der Verschiebung eingestellt sind, entsprechend dem Gradientenvektor bis zu einem Maximum von etwa plus und minus 15 Halb- Pixeln. Die Verwendung eines Fensters wendet darüberhinaus eine Filterung mittels eines Tiefpasses an, um unerwünschte Korrelationsprodukte zu entfernen, und die Fensterkoeffizienten werden vorzugsweise ausgewählt, um mit dem Abstand von der Mitte des Fensters, wie in Fig. 7 gezeigt, abzunehmen, da dies eine bessere Tiefpaßwirkung als ein rechtwinkliges Fenster zur Verfügung stellt. Das Optimum entspricht dann dem maximalen Korrelationswert, wie er bei dem Ausgangssignal des Fensterbearbeitung gemessen wird. Im Falle, daß zwei oder mehr Korrelationswerte gleich sind, wird der Gradientenvektor mit dem kleineren oder kleinsten Betrag ausgewählt.
Fig. 8 stellt Gradientenvektoren der Größe -2, -1, 0, +1, +2, +3, +4, +5 dar, wobei die Zahlen den (Vorhorizontal-Interpolation-) Pixelabständen von einer Abtastzeile in dem ankommenden Feld zu der nachfolgenden Abtastzeile in diesem Feld entsprechen. Eine gewisse Begrenzung muß bei dem maximalen Wert des Gradientenvektors vorgenommen werden, und der Höchstbereich kann groß aufrechterhalten werden, während die Anzahl der verschiedenen Gradientenvektorwerte durch Weglassen einiger der höheren Werte, welche ähnliche flachen Winkel darstellen, auf etwa 16 beschränkt wird.
Eine Ausführungsform einer Vorrichtung zur Herleitung von Gradientenvektoren durch die oben beschriebene Methode zur Verwendung bei der räumlichen Interpolation eines Videosignals ist in Form eines Blockschaltbilds in Fig. 9 gezeigt und wird nun beschrieben. Die Vorrichtung umfaßt ein Hochpaßfilter 10, wobei dessen Ausgang mit einer Vielzahl von parallelen Bearbeitungskanälen, 16 bei dieser speziellen Ausführungsform, verbunden ist, obwohl die Anzahl nicht kritisch ist. 15 der Kanäle umfassen jeweils verschieden Tiefpaßfilter 11&sub1; bis 11&sub1;&sub5; und jeder der Kanäle, einschließlich des einen, welcher kein Tiefpaßfilter besitzt, umfaßt außerdem eine jeweilige Kompensationsverzögerung 12&sub0; bis 12&sub1;&sub5;, um die Verarbeitungsverzögerungen in den jeweiligen Kanälen zu kompensieren. In den Kanälen, die den ungradzahlig numerierten Gradientenvektoren entsprechen, ist der Ausgang der jeweiligen Verzögerung 12&sub1;, 12&sub3; .... 12&sub1;&sub5; mit einem jeweiligen horizontalen 2:1- oder Halbproben-Interpolator 13&sub1;, 13&sub3;, .... 13&sub1;&sub5; verbunden, d. h. einem Interpolator, welcher einen interpolierten Abtastwert in der Mitte zwischen den bestehenden Abtastwerten in der Abtastzeile erzeugt, wobei er ein bekanntes Signalverarbeitungsverfahren verwendet.
In dem ersten Kanal wird das Ausgangssignal der Verzögerung 12&sub0; direkt und über eine 1H(eine horizontale Abtastzeile)- Verzögerung 14&sub0; einem Multiplizierer 15&sub0; zugeführt und danach einem Korrelationsfilter 16&sub0;. In dem zweiten Kanal wird das Ausgangssignal des Interpolators 13&sub1; über eine Pixelverzögerung 17&sub1;&sub1; einem Multiplizierer 15&sub1;&sub1; und außerdem direkt einem Multiplizierer 15&sub1;&sub2; zugeführt. Das Ausgangssignal des Interpolators 13&sub1; wird außerdem über eine 1H-Verzögerung 14&sub1; dem Multiplizierer 15&sub1;&sub1; und zusätzlich über eine Pixelverzögerung 17&sub1;&sub2; dem Multiplizierer 15&sub1;&sub2; zugeführt. Die Ausgangssignale der Multiplizierer 15&sub1;&sub1; und 15&sub1;&sub2; werden jeweils den Korrelationsfiltern 16&sub1;&sub1; und 16&sub1;&sub2; zugeführt. Die übrigen Kanäle sind ähnlich dem zweiten Kanal aufgebaut, außer daß die Pixelverzogerungen von Kanal zu Kanal bis zu dem 16. Kanal um ein Pixel zunehmen. Die Ausgangssignale aller Korrelationsfilter 16&sub0; bis 16&sub1;&sub5;&sub2; werden eine Auswahlschaltung 18 für den maximalen Vektor zugeführt, welcher ein Ausgangssignal zur Verfügung stellt, welches anzeigt, welcher von den Eingängen auf einem Maximum liegt, und daher, welcher Gradientenvektor in dem Bereich -15 bis +15 Pixel auszuwählen ist.
Eine Ausführungsform des Interpolators für die räumliche Interpolierung eines Videosignals, welche Gradientenvektoren verwendet, welche hergeleitet worden sind, wie mit Bezug auf die Fig. 9 beschrieben worden ist, wird in Form eines Blockschaltbildes in Fig. 10 gezeigt. Die Anordnung umfaßt eine Vektorsteuerschaltung 20, einstellbare Verzögerungen 21 und 22, Interpolatoren 23 und 24, Selektoren 25 und 26 und eine Addier- und Teilerschaltung 27, die wie gezeigt verbunden sind und arbeiten, wie nun beschrieben wird.
Eine erste und zweite Eingangsabtastzeile werden jeweils den Verzögerungen 21 und 22 zugeführt. Jede der Verzogerungen 21 und 22 ist einstellbar und zweckdienlich von der Form einer FIFO- (first-in-first-out) Schaltung, wobei die Verzögerung 21 eine Verzögerung von T+V zur Verfügung stellt, und die Verzögerung 22 eine Verzögerung T-V zur Verfügung stellt. Die Vektorsteuerschaltung empfängt Eingangsvektorwerte und stellt in Abhängigkeit davon Steuersignale für die Verzögerungen 21 und 22 und die Selektoren 25 und 26 zur Verfügung. Diese spezielle Interpolatoranordnung ist dafür gedacht, ein verschachtelt abgetastetes Feld in ein aufeinanderfolgendes abgetastetes Feld umzuwandeln, und die Interpolatoren 23 und 24 sind in diesem Fall daher Halbprobeninterpolatoren, welche Abtastwerte in den Abtastzeilen durch die Mittelwertbildung zwischen benachbarten bestehenden Abtastwerten unter Verwendung eines bekannten Signalbearbeitungsverfahrens interpolieren. Diese Halbprobeninterpolation wird nur für ungradzahlig bewertete Gradientenvektoren unter der Steuerung der Steuersignale, die von der Vektorsteuerschaltung den Selektoren 25 und 26 zugeführt werden, ausgewählt. Das Ausgangssignal des Selektors 25 ist daher die erste abgetastete Zeile, verschoben um zuzüglich den Gradientenvektor, und das Ausgangssignal des Selektors 26 ist die abgetastete Zeile, verschoben um den Gradientenvektor verringert, und diese zwei Eingangssignale werden durch den Addierer und Teiler 27 gemittelt, um die interpolierte Ausgangszeile Pixel für Pixel zu bilden.
Wie in der Einleitung der Beschreibung erwähnt, gibt es Umstände, wo es vorgezogen wird, eine vorhergehende Feldinformation dort zu verwenden, wo ein Bewegungsdetektor niedrige Pegel einer Bildbewegung anzeigt, und bei einigen Arten der Bildverarbeitung, um die interpolierten Abtastzeilen zu erzeugen, bei denen höhere Pegel der Bildbewegung vorhanden sind. Eine Interpolatorvorrichtung, welche eine Interpolatoranordnung verkörpert wie sie oben mit Bezug auf die Fig. 9 und 10 beschrieben worden ist, wird nun mit Bezug auf Fig. 11 beschrieben.
Die Vorrichtung umfaßt einen Feldspeicher 13, einen Subtrahierer 31, einen räumlichen Vektorinterpolator 32 (wie er oben im Zusammenhang mit den Fig. 9 und 10 beschrieben worden ist), eine Schaltung 33 zur Bewegungsfeststellung mit einer Fensterfunktion, eine logische Schwellwertschaltung 34 und einen Überblendregler 35, die wie gezeigt verbunden sind und betrieben werden, wie jetzt beschrieben wird. Das Eingangsvideosignal wird dem Feldspeicher 30, dem Interpolator 32 und dem Subtrahierer 31 zugeführt. Das Ausgangssignal des Interpolators 32 wird der Überblendregelungsschaltung 35 zusammen mit dem Ausgangssignal des Feldspeichers 13 zugeführt, welches außerdem dem Subtrahierer 31 zugeführt wird, wobei dessen Ausgangssignal der Schaltung 33 zur Bewegungsfeststellung mit einer Fensterfunktion zugeführt wird, und dann über die logische Schwellwertschaltung 34, um ein Überblendsteuersignal zu bilden, dem Überblendregler 35 zugeführt wird. Der Feldspeicher 30 und der Subtrahierer 31 stellen zusammen ein Signal zur Verfügung, welches den Grad der Bewegung anzeigt, und die Schaltung mit der Fensterfunktion zur Bewegungsdetektion und die logische Schwellwertschaltung 34 zusammen entwickeln in Abhängigkeit von dieser Bewegung ein Überblendsteuersignal, welches dem Überblendregler 35 zugeführt wird. Auf diese Weise legt beim Vorhandensein eines kleinen Grads der Bewegung der Überblendregler 35 das Ausgangssignal des Feldspeichers 30 an den Ausgang, während, wenn es einen größeren Grad der Bewegung gibt, der Überblendregler 35 das Ausgangssignal des Interpolators 32 an den Ausgang legt. Als eine Alternative kann die Überblendregelungsschaltung 35 durch einen Schalter ersetzt werden.
Um die Interpolatoranordnung der Fig. 9 und 10 umzustellen um die Interpolation von Feldern oder Teilbildern in einem Videosignal zu ermöglichen, z. B. in einem Fernsehnormenwandler, müssen die folgenden Veränderungen durchgeführt werden. Zuerst müssen die horizontalen und vertikalen Abtastwerte ausreichend interpoliert werden, d. h. die Anzahl der Abtastproben pro Abtastzeile und die Anzahl der abgetasteten Zeilen muß ausreichend vergrößert werden, um eine korrekte Sub-Pixelinterpolation zu ermöglichen. Sowohl das Hochpaßfilter und als auch alle Tiefpaßfilter werden modifiziert, um zu räumlichen Filtern zu werden, welche in zwei Dimensionen arbeiten, d. h. in der horizontalen und vertikalen Dimension, und ebenso ist das Korrelationsfenster außerdem auf die horizontale und vertikale Dimension anzuwenden. Auf diese Weise werden direktionale Gradientenvektoren erzeugt, welche verwendet werden können, die erforderlichen Abtastwerte zu interpolieren, um die erforderlichen interpolierten Felder (= Halbbilder) oder Teilbilder (= Rahmen) zu erzeugen.
Als eine Vorbereitung auf diese Interpolation der Felder oder Teilbilder können die Felder des Eingangsvideosignals zuerst wie oben im Zusammenhang mit den Fig. 9 und 10 oder Fig. 11 beschrieben worden ist, interpoliert werden, so daß die nächste Stufe der Interpolation bei einem fortschreitend abgetasteten Eingangsvideosignal angewendet wird.
Auf diese Weise kann ein Fernsehnormenwandler zur Umwandlung von einem Fernsehstandard in einen anderen oder für die Umwandlung eines Videosignals in einen photographischen Film oder für die Umwandlung eines photographischen Films in ein Videosignal gebildet werden.

Claims

1. Verfahren zur Herleitung von Gradientenvektoren für die Verwendung bei der räumlichen Interpolation eines digitalen Videosignals, wobei das Verfahren folgende Schritte umfaßt:

Filtern der Abtastzeilen eines Eingabefeldes des Videosignals mittels eines Hochpasses;

Filtern des durch den Hochpass gefilterten Videosignals mittels eines Tiefpasses in einer Vielzahl von Kanälen, die jeweils Tiefpaßfilter (11) umfassen;

Horizontales Interpolieren der Abtastzeilen des Eingabefeldes des Videosignals in mindestens einigen der Kanälen;

Berechnen der Korrelation des durch den Tiefpaß gefilterten Videosignals Pixel für Pixel für einen Bereich der Pixelabweichungen; und

Auswählen des Gradientenvektors für jedes Pixel des Videosignals entsprechend der Korrelation, welche von maximalem Betrag ist.

2. Verfahren nach Anspruch 1, bei dem die Korrelation für jedes Pixel durch die Verwendung eines Fensters von in einer geraden Linie angeordneten Pixel, die auf dieses Pixel zentriert sind, berechnet wird.

3. Verfahren nach Anspruch 2, bei dem die Wichtungskoeffizienten des Fensters mit dem Abstand von dem im Mittelpunkt stehenden Pixel abnehmen.

4. Verfahren nach Anspruch 1, 2 oder 3, bei dem das Filtern mittels eines Hochpasses eine Wichtung gegenüber den Gradientenvektoren von großer Länge liefert.

5. Verfahren nach einem der vorhergehenden Ansprüche, welches die Luminanz-Abtastwerte des Videosignals verwendet.

6. Vorrichtung zur Ableitung von Gradientenvektoren für die Verwendung bei der räumlichen Interpolation eines digitalen Videosignals, wobei die Vorrichtung umfaßt:

ein Hochpaßfilter (10) zum Filtern der Abtastzeilen eines Eingabefeldes des Videosignals;

eine Vielzahl von paralleln Bearbeitungskanälen mit jeweiligen Tiefpaßfiltern (11) zum Filtern des mittels des Hochpasses gefilterten Videosignals;

Interpolatormittel (13) zur horizontalen Interpolation der Abtastzeilen des Eingabefeldes des Videosignals in mindestens einigen der Kanälen;

Mittel (16) zur Berechnung der Korrelation des mittels des Tiefpasses gefilterten Videosignals Pixel für Pixel für einen Bereich der Pixelabweichungen; und

Mittel (18) zur Auswahl des Gradientenvektors für jedes Pixel des Videosignals entsprechend der Korrelation, welche von maximalem Betrag ist.

7. Vorrichtung nach Anspruch 6, bei der die Korrelation für jeden Pixel durch die Verwendung eines Fensters von in einer geraden Linie angeordneten Pixel, die auf dieses Pixel zentriert sind, berechnet wird.

8. Vorrichtung nach Anspruch 7, bei der die Wichtungskoeffizienten des Fensters mit dem Abstand von dem im Mittelpunkt stehenden Pixel abnehmen.

9. Vorrichtung nach Anspruch 6, 7 oder 8, bei der das Hochpaßfilter (10) eine Wichtung gegenüber den Gradientenvektoren von großer Länge liefert.

10. Vorrichtung nach einem der Ansprüche 6 bis 9, welche die Luminanz-Abtastwerte des Videosignals verwendet.

11. Interpolatoranordnung zum räumlichen Interpolieren der Felder von einem verschachtelt abgetasteten Videosignal, um interpolierte Abtastzeilen des Videosignals zu bilden, wobei die Interpolatoranordnung umfaßt:

eine Vielzahl von paralleln Bearbeitungskanälen mit jeweiligen Tiefpaßfiltern (11) zum Filtern des mittels dem Hochpaß gefilterten Videosignals;

horizontale Interpolatormittel (13) zur horizontalen Interpolation bei mindestens einigen der existierenden Abtastzeilen des Eingabefeldes des Videosignals;

Mittel (16) zur Berechnung der Korrelation des mittels des Tiefpasses gefilterten Videosignals Pixel für Pixel für einen Bereich der Pixelabweichungen;

Mittel (18) zur Auswahl des Gradientenvektors für jedes Pixel des Videosignals entsprechend der Korrelation, welche von maximalem Betrag ist; und

einem räumlichen Interpolator (21 bis 27) für die Herleitung von Abtastwerten zur Erzeugung interpolierter Abtastzeilen des Eingabefeldes durch Kombination der Abtastwerte von den bestehenden Abtastzeilen der Eingabefeldabweichung durch die Gradientenvektoren.

12. Interpolatoranordnung nach Anspruch 11, bei der die Korrelation für jedes Pixel durch die Verwendung eines Fensters von in einer geraden Linie angeordneten Pixel, die auf dieses Pixel zentriert sind, berechnet wird.

13. Interpolatoranordnung nach Anspruch 12, bei der die Wichtungskoeffizienten des Fensters mit dem Abstand von dem im Mittelpunkt stehenden Pixel abnehmen.

14. Interpolatoranordnung nach Anspruch 11, 12 oder 13, bei der das Hochpaßfilter (10) eine Wichtung gegenüber den Gradientenvektoren von großer Länge liefert.

15. Interpolatoranordnung nach einem der Ansprüche 11 bis 14, bei der sich die interpolierten Abtastzeilen in der Mitte zwischen benachbarten existierenden Abtastzeilen des Feldes befinden müssen, um ein fortlaufendes Abtastfeld zu bilden, und bei der die horizontalen Interpolatormittel (13) ein 2:1- Interpolator sind.

16. Interpolatoranordnung nach einem der Ansprüche 11 bis 14, bei der die interpolierten Abtastzeilen sich an Positionen befinden müssen, welche von der in der Mitte gelegenen Position zwischen benachbarten existierenden Abtastzeilen des Feldes abweichen, und bei der die horizontalen Interpolatormittel (13) Abtastwerte in den existierenden Abtastzeilen an Positionen interpolieren, welche in Abhängigkeit von den abweichenden Positionen und den vorgegebenen möglichen Werten der Gradientenvektoren synchronisiert sind.

17. Interpolatoranordnung nach einem der Ansprüche 11 bis 16, welche die Luminanz-Abtastwerte des Videosignals verwendet.

18. Interpolatorvorrichtung mit:

einer Interpolatoranordnung (32) nach einem der Ansprüche 11 bis 17;

Bewegungsdetektormitteln (30, 31, 32) zur Bestimmung des örtlichen Grades der Bewegung in dem durch das Eingabefeld des Videosignals repräsentierten Bild; und

Selektormitteln (35), welche durch die Bewegungsdetektormittel (30, 31, 32) zum Zuführen des Ausgangssignals der Interpolatoranordnung (32) als das Ausgangssignal der Interpolatorvorrichtung, wenn der Grad der Bewegung bei oder über einem vorgegebenen Grenzwert liegt, und zum Zuführen der Daten von dem Feld, welches dem Eingabefeld des Videosignals vor ausging, als das Ausgangssignal der Interpolatorvorrichtung, wenn der Grad der Bewegung unter dem vorgegebenen Grenzwert liegt, gesteuert werden.

19. Interpolatorvorrichtung zum Interpolieren von Felder oder Teilbildern eines Eingangsvideosignals, um interpolierte Felder oder Teilbilder des Videosignals zu bilden, wobei die Interpolatorvorrichtung umfaßt:

ein räumliches Hochpaßfilter (10) zum horizontalen und vertikalen Filtern der Felder oder Teilbilder des Eingangsvideosignals;

eine Vielzahl von parallelen Bearbeitungskanälen mit jeweiligen räumlichen Tiefpaßfiltern (11) zum horizontalen und vertikalen Filtern des mittels des Hochpasses gefilterten Videosignals;

Interpolatormittel (13) zum horizontalen und vertikalen Interpolieren der Abtastzeilen der Felder oder Teilbilder des Videosignals;

Mittel (16) zum Berechnen der Korrelation des mittels des räumlichen Tiefpasses gefilterten Videosignals Pixel für Pixel für einen Bereich von horizontalen und vertikalen Pixelverschiebungen;

Mittel (18) zur Auswahl des gerichteten Gradientenvektors für jedes Pixel des Videosignals entsprechend der Korrelation, welche von maximalen Betrag ist; und einen zeitlichen Interpolator ( 21 bis 27) zur Herleitung interpolierter Felder oder Teilbilder durch Kombinieren existierender Abtastwerte, welche durch die gerichteten Gradientenvektoren verschoben sind.

20. Fernsehnormumsetzer zum Umsetzen eines Eingangsvideosignals von einer Fernsehnorm in eine andere, wobei der Normumsetzer eine Interpolatorvorrichtung nach Anspruch 19 enthält.