DE60122139T2

DE60122139T2 - Videosignalverarbeitung

Info

Publication number: DE60122139T2
Application number: DE60122139T
Authority: DE
Inventors: Mackenzie Roderick THOMSON; Melvyn David Liss BANKS
Original assignee: Snell and Wilcox Ltd
Current assignee: Snell Advanced Media Ltd
Priority date: 2000-04-07
Filing date: 2001-04-09
Publication date: 2007-06-28
Anticipated expiration: 2021-04-10
Also published as: WO2001078389A1; DE60122139D1; EP1290878B1; US20040012685A1; EP1290878A1; JP2003530786A; AU4670701A; ATE336142T1; US7009656B2

Description

Die Erfindung bezieht sich auf Videoverarbeitung und insbesondere auf Bewegungskompensierung von Videoprozessen.
Bei der Videoverarbeitung ist es eine bekannte Technik, für jeden Pixel einen Bewegungsvektor zu identifizieren und Pixel gemäß diesen Vektoren zu verschieben. Eine derartige Bewegungskompensierung ist in Myriaden von Videoprozessen von Nutzen, wobei die Standardkonvertierung hierfür ein gutes Beispiel ist. Von einem bewegungskompensierten Prozess wird eine wesentlich bessere Leistung erwartet, als von dem äquivalenten linearen Prozess, obwohl dies mit beträchtlichen Extrakosten hinsichtlich Hardwarekomplexität oder Sortwareverarbeitungs-Ausrüstung einhergeht.
Es ist des Weiteren in einfacheren Anordnungen bekannt, zwischen zwei Prozessen umzuschalten, einem räumlichen und einem zeitlichen, je nachdem, welche Bewegung ermittelt wird. Dies hat den Vorteil, dass Bewegungsschlieren vermieden werden, indem auf räumliche Verarbeitung geschaltet wird, leidet aber typischerweise unter Anpassungsartefakten.
Es ist Aufgabe eines Aspekts der vorliegenden Erfindung, ein Verfahren zur Berücksichtigung von Bewegung bereitzustellen, das weniger komplex ist und weniger Verarbeitung bedingt, als Vollbewegungskompensierung, das aber trotzdem wesentliche Verbesserungen gegenüber dem äquivalenten linearen Prozess bietet.
In EP 0 702 880 ist ein Verfahren zum Reduzieren der schädlichen Wirkungen von Bewegung in einem Videosignalprozess offenbart, das die folgenden Schritte umfasst: Durchführen des Videosignalprozesses für ein Videosignal mit hoher Bandbreite ohne Bewegungskompensierung; Durchführen eines gleichen Videosignalprozesses ohne Bewegungskompensierung mit niedriger Bandbreite, um ein Steuersignal mit niedriger Bandbreite zu erzeugen; Durchführen eines ähnlichen Videosignalprozesses mit Bewegungskompensierung mit niedriger Bandbreite, um ein bewegungskompensiertes Signal mit niedriger Bandbreite zu erzeugen; Vergleichen des Steuersignals und des bewegungskompensierten Signals, um ein Fehlersignal zu erzeugen, und Subtrahieren des Fehlersignals in dem Videosignalprozess mit hoher Bandbreite.
Die EP 0 187 641 offenbart einen Standardkonvertierungsprozess, der eine Kombination aus linearer und bewegungskompensierter Konvertierung verwendet, bei der die erwünschte Mischung der beiden Signale nur gemäß der in dem vorliegenden Video ermittelten Bewegung bestimmt wird.
Die vorliegende Erfindung besteht in einem Aspekt aus einem Verfahren zur Videoverarbeitung, das die folgenden Schritte umfasst: Empfangen eines Eingangssignals; Durchführen eines bewegungskompensierten Videoprozesses für das Eingangssignal, um ein bewegungskompensiertes Signal zu erzeugen; Durchführen eines äquivalenten linearen Prozesses für das Eingangssignal, um ein lineares Signal zu erzeugen; Bilden eines Verhältnisses der relativen Fehler in dem bewegungskompensierten Prozess und in dem linearen Prozess; und Verwenden dieses Verhältnisses, um ein Ausgangssignal zu erzeugen, das eine Mischung aus dem bewegungskompensierten Signal und dem linearen Signal ist, wobei die relativen Anteile des bewegungskompensierten Signals und des linearen Signals in der Mischung von diesem Verhältnis bestimmt werden.
Die Erfindung wird nun beispielhaft unter Bezug auf die beigefügten Zeichnungen beschrieben. Es zeigt:
1 ein Blockdiagramm einer Vorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
2 ein Blockdiagramm einer Vorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung;
3 ein Blockdiagramm einer Vorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung; und
4 ein Blockdiagramm einer Vorrichtung gemäß einer noch weiteren Ausführungsform der vorliegenden Erfindung.
Unter Bezug auf 1 erzeugt das System bei einer Ausführungsform zwei standardkonvertierte Bilder (ein linear konvertiertes (102) und ein bewegungskompensiertes (104)) aus einem Eingangssignal (100). Ein Anpassungssignal wird dann durch Vergleich der Konverterausgänge erzeugt (106) und wird verwendet, um das Mischen (108) der beiden Signale zu steuern, um das Ausgangsignal (110) zu erzeugen.
Auf diese Weise werden die beiden unterschiedlichen Konvertierungssignale verglichen, um festzustellen, welches für das Material, das aktuell verarbeitet wird, besser geeignet ist. Der Vergleich steuert die Mischung, so dass beispielsweise in Fällen, in denen bewegungskompensierte Standardkonvertierung bessere Ergebnisse erzielt, das Signal von Block 104 bevorzugt als höheres Verhältnis der Mischung verwendet wird. Das System erzeugt somit den optimalen Ausgang aus einer Mischung der beiden unterschiedlichen Konverter anstatt einfach von einem zum anderen umzuschalten.
Für weitere Einzelheiten eines Verfahrens zum Erzeugen von zwei standardkonvertierten Bildern, einem linear konvertierten und einem bewegungskompensierten, wird auf EP 0 702 880 verwiesen.
Bei einer weiteren Ausführungsform, die in 2 gezeigt ist, wird die Videoeingabe (100) an den linearen Standardkonverter (102) und an den bewegungskompensierten Standardkonverter (104) weitergeleitet. Der Ausgang der linearen Konvertierung (200) wird dann an eine Verzögerung (202) weitergeleitet. Der Ausgang (200) wird dann von dem verzögerten Signal bei Block (204) subtrahiert, wodurch ein Differenz- oder Fehlersignal zwischen dem aktuellen Bild und dem vorhergehenden Bild erzeugt wird. Ein ähnliches Differenzsignal wird aus dem Ausgang des bewegungskompensierten Konverters (206) durch Verzögerung (208) und Subtraktion (210) berechnet.
Die beiden Differenzsignale werden dann in einem Generator (212) verwendet, um ein Anpassungssignal abzuleiten, das die relativen Werte der jeweiligen Konverterausgänge für das aktuelle Bildmaterial angibt. Die beiden Konverterausgänge (200 und 206) werden dann in dem von dem Anpassungssignal vorgeschlagenen Verhältnis gemischt (214), um das Ausgangssignal (110) zu erzeugen.
Bei einer weiteren Ausführungsform, die in 3 gezeigt ist, wird der Eingang (100) wieder an die Konverter (102) und (104) weitergeleitet. Zu diesem Zeitpunkt wird ein Vergleich zwischen den Feldern, die aktuell konvertiert werden (im Gegensatz zu denen, die aktuell von dem Konverter bei 200 ausgegeben werden) durchgeführt. Somit werden zwei Felder (300, 302), typischerweise das aktuelle Feld und das unmittelbar vorhergehende Feld, von dem linearen Konverter (102) genommen, und ein Fehlersignal wird bei 304 berechnet. Dieser Fehler gibt das Verhältnis der Ähnlichkeit der Felder an. Ähnlich wird bei 310 ein Fehler zwischen zwei Feldern (306, 308) von dem bewegungskompensierten Konverter (104) berechnet. Die beiden Fehlersignale (312, 314) werden dann bei 316 verglichen, um das Anpassungssignal zur Steuerung des Mischers (318) zu erzeugen.
Somit steuert bei dieser Ausführungsform der Vergleich der Fehlersignale die Mischung. Wenn der Fehler zwischen den Feldern, die aktuell linear konvertiert werden, größer ist, als zwischen denen, die mit Bewegungskompensierung konvertiert werden, wird bevorzugt das bewegungskompensierte Material verwendet, um die Ausgangsbilder (110) zu erzeugen. Ähnlich wird, wenn der Fehler zwischen den bewegungskompensierten Feldern größer ist, der lineare Ausgang bevorzugt.
4 zeigt einen Standardkonverter gemäß einer weiteren Ausführungsform der Erfindung. Ein Eingangs-Videosignal (401) wird in einen Speicher- und Vertikalinterpolations-Block (402) und eine Bewegungsschätzeinrichtung (403) eingegeben. Der Block (402) gibt vier vertikal interpolierte Felder aus, die von den vier Eingangsfeldern abgeleitet sind, die die Zeitposition des erforderlichen Ausgangsfelds überspannen. Jedes dieser Ausgangsfelder wird durch eine Innerfeld-Vertikalinterpolation des entsprechenden Eingangsfelds abgeleitet, weist die erforderliche Anzahl von Linien für den beabsichtigten Ausgangsstandard auf und ist mit der erforderlichen Ausgangslinienposition vertikal ausgerichtet.
Diese vier Felder werden entsprechenden Koeffizientenmultiplizierern (404) bis (407) zugeleitet, wo sie in bekannter Weise gemäß Zeitinterpolations-Koeffizienten von einem Koeffizientengenerator (408) gewichtet und summiert (409) werden, um ein linear standardkonvertiertes Signal (410) zu erzeugen.
Die vier Felder von Block (402) werden auch entsprechenden Bildschiebern (411) bis (414) zugeleitet, wo sie in bekannter Weise zu der Zeitposition des erforderlichen Ausgangsfelds durch Bewegungsvektoren von der Bewegungsschätzeinrichtung (403) bewegungskompensiert werden. Die verschobenen Felder werden dann von den Multiplizierern (415) bis (418) gewichtet und in dem Addierer (419) kombiniert, um ein bewegungskompensiertes, konvertiertes Signal (420) zu erzeugen.
Die beiden zentralen Felder des linearen Konverters werden in dem Vergleicher (421) verglichen, um ein „lineares Konvertierungsfehlersignal" (422) zu erzeugen. Die beiden zentralen bewegungskompensierten Felder werden in dem Vergleicher (423) verglichen, um ein „bewegungskompensiertes Konverterfehlersignal" (424) zu erzeugen.
Die Fehlersignale (422) und (424) werden miteinander in einem Vergleicher (425) verglichen, der ein Anpassungs-Steuersignal erzeugt, um den Mischer (426) zu steuern, der das Ausgangssignal (427) durch Überblendung zwischen dem linear konvertierten Signal (410) und dem bewegungskompensierten Signal (420) ableitet. Die Steuerung ist derart, dass sie das lineare Signal favorisiert, wenn das Fehlersignal (424) im Verhältnis zu dem Fehlersignal (422) groß ist, und umgekehrt.
Bei der vorstehenden Beschreibung werden dieselben vier vertikal konvertierten Signale von Block (402) für die lineare Konvertierung, die bewegungskompensierte Konvertierung und die Erzeugung der Fehlersignale verwendet. Bei alternati ven Ausführungsformen werden jedoch vorteilhafterweise unterschiedliche Vertikalinterpolations-Eigenschaften (d.h. unterschiedliche Koeffizienten und/oder unterschiedliche Anzahl von Linien) für diese drei unterschiedlichen Funktionen verwendet. Beispielsweise könnten die Signale, die den Vergleichern zugeleitet werden, zur Steuerung des Anpassungsprozesses optimiert werden, und die Signale, die den Konvertern zugeleitet werden, könnten optimiert werden, um die Sichtbarkeit von Konvertierungsartefakten zu verringern.
Es wird angemerkt, dass, obwohl in dem dargestellten Beispiel die Fehlersignale unter Verwendung von nur zwei Feldern berechnet werden, bei anderen Ausführungsformen jede beliebige Anzahl von Feldern verwendet werden kann (beispielsweise vier von einem Vierfeld-Standardkonverter).
Es ist selbstverständlich, dass die vorliegende Erfindung nur beispielhaft beschrieben worden ist, und dass zahlreiche Modifikationen möglich sind, ohne vom Umfang der Erfindung abzuweichen. Beispielsweise gibt es keine Einschränkung hinsichtlich des verwendeten bewegungskompensierten Verfahrens.
Diese Technik kann auf Standardkonvertierung angewendet werden, wäre jedoch ebenso in anderen Bereichen, in denen Bewegungsermittlung nützlich ist, anwendbar. Diese umfassen auf Vorhersage basierende Komprimierungssysteme, Interpolatoren und Rauschreduzierer.
Die in dieser Patentanmeldung offenbarten und beanspruchten Techniken können vorteilhaft mit jeder der in der im Namen derselben Anmelderin ebenfalls anhängigen Patentanmeldung PCT/GB01/01328 offenbarten und beanspruchten Techniken kombiniert werden.

Claims

Verfahren zur Videoverarbeitung, das die folgenden Schritte umfasst: Empfangen eines Eingangssignals; Durchführen eines bewegungskompensierten Videoprozesses für das Eingangssignal, um ein bewegungskompensiertes Signal zu erzeugen; Durchführen eines äquivalenten linearen Prozesses für das Eingangssignal, um ein lineares Signal zu erzeugen; und Erzeugen eines Ausgangsignals, das eine Mischung aus dem bewegungskompensierten Signal und dem linearen Signal ist, dadurch gekennzeichnet, dass das Verfahren des Weiteren die folgenden Schritte umfasst: Berechnen eines Fehlers in dem bewegungskompensierten Prozess; Berechnen eines Fehlers in dem linearen Prozess; Bilden eines Verhältnisses der relativen Fehler in dem bewegungskompensierten Prozess und in dem linearen Prozess; und Verwenden dieses Verhältnisses der relativen Fehler bei dem Schritt des Erzeugens eines Ausgangssignals, wobei die relativen Anteile des bewegungskompensierten Signals und des linearen Signals in der Mischung von diesem Verhältnis bestimmt werden.
Verfahren nach Anspruch 1, wobei der Schritt des Bildens eines Verhältnisses der relativen Fehler in dem bewegungskompensierten Prozess und in dem linearen Prozess den Schritt des Vergleichens des bewegungskompensierten Signals und des linearen Signals umfasst.
Verfahren nach Anspruch 1, wobei das Verhältnis der relativen Fehler gebildet wird durch Erzeugen eines ersten Differenzsignals aus dem Ausgang des bewegungskompensierten Prozesses und durch Erzeugen eines zweiten Differenzsignals aus dem Ausgang des linearen Prozesses.
Verfahren nach Anspruch 1, wobei das Verhältnis der relativen Fehler in dem bewegungskompensierten Prozess und dem linearen Prozess gebildet wird durch Erzeugen eines ersten Fehlersignals zwischen Bildern, die den bewe gungskompensierten Prozess durchlaufen, und durch Erzeugen eines zweiten Fehlersignals zwischen Bildern, die den linearen Prozess durchlaufen.
Verfahren nach Anspruch 3 oder Anspruch 4, wobei das Verhältnis der relativen Fehler gebildet wird durch Vergleichen des ersten und des zweiten Differenzsignals oder des ersten und des zweiten Fehlersignals.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der bewegungskompensierte Prozess Phasenkorrelation umfasst.
Verfahren nach Anspruch 4 oder Anspruch 5 oder 6, wenn sie von Anspruch 4 abhängig sind, wobei die Fehlersignale gebildet werden durch Verwendung von Bildern, die von dem Eingangssignal abgeleitet sind unter Verwendung einer unterschiedlichen vertikalen Interpolation in Bezug auf die vertikale Interpolation, die in wenigstens einem des bewegungskompensierten Videoprozesses oder des linearen Prozesses verwendet worden ist.
Videoverarbeitungsvorrichtung mit: einer Einrichtung zum Empfangen eines Eingangssignals (100); einer Einrichtung (104) zum Durchführen eines bewegungskompensierten Videoprozesses für das Eingangssignal, um ein bewegungskompensiertes Signal zu erzeugen; einer Einrichtung (102) zum Durchführen eines äquivalenten linearen Prozesses für das Eingangssignal, um ein lineares Signal zu erzeugen; und Einrichtungen (108, 214, 318, 426) zum Erzeugen eines Ausgangssignals, das eine Mischung aus dem bewegungskompensierten Signal und dem linearen Signal ist, dadurch gekennzeichnet, dass die Vorrichtung des Weiteren aufweist: eine Einrichtung zum Berechnen eines Fehlers in dem bewegungskompensierten Prozess; eine Einrichtung zum Berechnen eines Fehlers in dem linearen Prozess; Einrichtungen (106, 212, 316, 425) zum Bilden eines Verhältnisses der relativen Fehler in dem bewegungskompensierten Prozess und in dem linearen Prozess; wobei die Einrichtungen (108, 214, 318, 426) zum Erzeugen eines Ausgangssignals das Verhältnis relativer Fehler bei dem Schritt des Erzeugens eines Ausgangssignals verwendet, wobei die relativen Anteile des bewegungskompensierten Signals und des linearen Signals in der Mischung von diesem Verhältnis bestimmt werden.
Vorrichtung nach Anspruch 8, wobei die Einrichtung (106) zum Bilden eines Verhältnisses der relativen Fehler in dem bewegungskompensierten Prozess und in dem linearen Prozess eine Einrichtung zum Vergleichen des bewegungskompensierten Signals und des linearen Signals aufweist.
Vorrichtung nach Anspruch 8, wobei die Einrichtung (212) zum Bilden eines Verhältnisses der relativen Fehler des Weiteren Einrichtungen (208, 210) zum Erzeugen eines ersten Differenzsignals aus dem Ausgang des bewegungskompensierten Prozesses und Einrichtungen (202, 204) zum Erzeugen eines zweiten Differenzsignals aus dem Ausgang des linearen Prozesses aufweist.
Vorrichtung nach Anspruch 8, wobei die Einrichtungen (316, 425) zum Bilden eines Verhältnisses der relativen Fehler in dem bewegungskompensierten Prozess und in dem linearen Prozess des Weiteren Einrichtungen (310, 423) zum Erzeugen eines ersten Fehlersignals zwischen Bildern, die den bewegungskompensierten Prozess durchlaufen, aufweisen, und Einrichtungen (304, 421) zum Erzeugen eines zweiten Fehlersignals zwischen Bildern, die den linearen Prozess durchlaufen.
Vorrichtung nach Anspruch 10 oder Anspruch 11, wobei die Einrichtungen (212, 316, 425) zum Bilden eines Verhältnisses der relativen Fehler Einrichtungen zum Vergleichen des ersten und des zweiten Differenzsignals oder des ersten und des zweiten Fehlersignals aufweist.
Vorrichtung nach einem der Ansprüche 8 bis 12, wobei die Einrichtung zum Durchführen eines bewegungskompensierten Videoprozesses für das Eingangssignal eine Einrichtung (403) zur Durchführung von Phasenkorrelation aufweist.
Vorrichtung nach einem der Ansprüche 11 oder 12 oder 13, wenn sie von Anspruch 11 abhängen, wobei die Einrichtungen (421, 423) zum Erzeugen der Fehlersignale Bilder verwenden, die von dem Eingangssignal abgeleitet sind unter Verwendung einer unterschiedlichen vertikalen Interpolation in Bezug auf die vertikale Interpolation, die von wenigstens einer der Einrichtungen (411–419) zum Durchführen eines bewegungskompensierten Videoprozesses für das Eingangssignal zur Erzeugung eines bewegungskompensierten Signals oder der Einrichtungen (404–409) zum Durchführen eines äquivalenten linearen Prozesses für das Eingangssignal zur Erzeugung eines linearen Signals verwendet worden ist.