DE60208916T2

DE60208916T2 - Kanteninterpolation von videodaten

Info

Publication number: DE60208916T2
Application number: DE60208916T
Authority: DE
Inventors: Rogier Lodder; Gerard De Haan
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-11-01
Filing date: 2002-10-18
Publication date: 2006-08-31
Anticipated expiration: 2022-10-19
Also published as: CN1582572A; ATE316739T1; JP2005507618A; WO2003039147A1; US20040252232A1; KR20040054757A; EP1444824B1; CN1322749C; EP1444824A1; DE60208916D1

Description

Räumliche Skalierung ist erforderlich, wenn die Anzahl Pixel in einer Videozeile oder die Anzahl Videozeilen in einem Eingangs-Videosignal abweicht von der Anzahl, die zur Wiedergabe erforderlich ist. Dies ist so, wenn ein verschachteltes Videosignal entschachtelt werden muss um ein progressives Videosignal zu schaffen oder wenn ein Seitenverhältnis angepasst werden muss, da die Wiedergabeanordnung ein anderes Seitenverhältnis beantragt als das ursprüngliche Signal liefern kann. Räumliche Skalierung hoher Qualität wird durch Hochskalierung erreicht, wobei ein interpolierendes Tiefpassfilter verwendet wird. In diesem Filter wird ein Eingangssignal zunächst mit einer Abtastfrequenz abgetastet, die der doppelten gewünschten Bandbreite entspricht. Die Abtastwerte werden interpoliert und danach durch Null-Füllmethoden dezimiert. Die Bandbreite des Eingangssignals wird nicht degradiert, aber es können auch keine zusätzlichen spektralen Komponenten verwendet werden um das Bild zu verbessern.
US 5.661.525 beschreibt ein Verfahren und eine Anordnung zur Umwandlung oder Entschachtelung einer Folge von Video-Frames, die unter Verwendung des verschachtelten Abtastformats dargestellt werden, in ein progressiv abgetastetes Format. Nach dieser Beschreibung werden eine Anzahl Interpolationen an Eingangs-Videobildern durchgeführt. Pixel, die eine genaue Interpolation erfordern, werden nach Pixeln interpoliert, die keine genaue Interpolation erfordern. Interpolationen werden in dieser Reihenfolge durchgeführt um den Fehler geschätzter Pixelwerte zu minimieren. Jede Interpolation wird entsprechend der geschätzten Zuverlässigkeit gewichtet. Durch Gewichtung der interpolierten Werte enthalten die Pixelwerte des entschachtelten Frames einen minimalen Fehler.
Der Nachteil dieses Verfahrens ist, dass der Rechenaufwand sehr groß ist. Durch Interpolation von Pixeln mit verschiedenen Interpolationsverfahren wird ein riesiger Betrag an Daten erzeugt. Wenn jeder dieser Pixelwerte gewichtet wird, steigen die Rechengesamtkosten, was eine Anordnung zum Entschachteln von Videobildern ziemlich teuer macht. Ein anderer Nachteil dieses bekannten Systems ist, dass es für einige Interpolationsverfahren nicht klar ist, wie die Zuverlässigkeit geschätzt werden soll.
GB-A-2268659 beschreibt ein Verfahren zur Umwandlung von Verschachtelung zu Nicht-Verschachtelung. Das Verfahren umfasst das Bewerten des Bewegungsgrades eines Videogebietes zwischen den Teilbildes von Eingangs-Videosignalen mit Hilfe eines Bewegungsbewerters, und das Erzeugen eines Ausgangsbil des an einer Stelle, die gegenüber der Teilbildstelle der Eingangssignale in der Zeit verschoben ist. Jedes Bildelement eines Ausgangsbildes wird durch eine Kombination erzeugt, die abhängig ist von dem geschätzten Bewegungsgrad
eines entsprechenden Pixels, das mit Hilfe eines eindimensionalen Interframe-Interpolators erhalten worden ist, der zwischen den Bildern der Eingangssignale interpoliert, und
eines entsprechenden Pixels, das mit Hilfe eines zweidimensionalen Vertikalachse/Zeitbasis-Interpolators erhalten worden ist, der zwischen den Teilbildern der Eingangssignale interpoliert.
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, ein einfaches und preisgünstiges Verfahren und eine entsprechende Anordnung zu schaffen zum Interpolieren von Pixelwerten zwischen bestehenden Pixeln eines Videobildes, wobei dieses Verfahren keine Schätzung/Berechnung der Zuverlässigkeit aller Interpolationsverfahren erfordert. Die vorliegende Erfindung ist durch die Hauptansprüche definiert. Die Unteransprüche definieren vorteilhafte Ausführungsformen.
Ein Beispiel einer kantenabhängigen Interpolation, die zur Anwendung bei der vorliegenden Erfindung geeignet ist, ist in dem Artikel: "Progressive scan conversion using edge information" von T. Doyle und M. Looymans in "Signal Processing of HDTV", II, L. Chiariglione (ed), 1990, Seiten 711–721 beschrieben worden.
Im Falle von kantenorientierter Entschachtelung oder räumlicher Skalierung können im Falle eine Kantenorientierung fehlerhaft eingeschätzt worden ist, starke Artefakte auftreten. Da derartige Kantenorientierungsdetektionsfehler bei den heute bekannten Verfahren unvermeidbar sind, insbesondere in Bildteilen mit wenige Detail, soll eine Fehlerkorrektur durchgeführt werden. Bei Nachverarbeitung eines kantenorientierten interpolierten Bildes durch Mischung verschiedener Interpolationsverfahren nach der vorliegenden Erfindung werden gute Ergebnisse erzielt. Je zuverlässiger eine kantenabhängige Interpolation ist, umso weniger soll der Ausgang eines anderen Interpolators verwendet werden und umgekehrt. Durch Mischung von Interpolationsergebnissen ist der Ausgang wenigstes so gut wie er vor der Nachbearbeitung war.
Das Ergebnis einer kantenabhängigen Interpolation kann durch ein robustes Interpolationsverfahren verbessert werden, das nicht an Robustheitsproblemen leidet. Die Nachteile der zwei Interpolationsverfahren gleichen sich gewissermaßen aus, so dass das Gesamtergebnis verbessert werden kann. Zweite Pixel werden vorzugsweise interpoliert, und zwar auf Basis einer bewegungskompensierten, oder bewegungsadaptiven oder linearen Interpolation, da diese Interpolationsverfahren eine kräftige Interpolation mit guten Ergebnisses gewährleisten. Unschärfe und andere Nachteile dieser Interpolationsverfahren werden reduziert. So wird beispielsweise der Mischfaktor verwendet zum Mischen des Winkelmittelwertes und des ursprünglichen Ausgang von einem zweiten Interpolator, d.h. eines bewegungskompensierten Entschachtlers. Nur ein einziges Entschachtelungsverfahren schafft ein Fehlermaß und die Mischung wird nur entsprechend diesem Maß gemacht.
Wenn der Mischparameter derart eingestellt wird, dass die absolute Differenz zwischen dem Gesamtausgang und dem kantenabhängigen Ausgang ein konstanter Bruchteil der Differenz zwischen bestehenden Pixeln längs der Kante ist, ist der Ausgang robust.
Es wird weiterhin ein Mischfaktor nach dem Anspruch 3 oder 4 vorgeschlagen. Die Konstante stützt sich auf die räumliche Position des interpolierten Pixels zwischen den bestehenden Pixeln, welche die Basis für die Interpolation bilden. Das Wesentliche ist, dass die absolute Differenz zwischen dem Ausgang und den kantenabhängigen interpolierten Pixeln einer konstanten Anzahl Male, vorzugsweise zweimal entspricht, wenn der Interpolationsausgang halbwegs zwischen den Interpolationseingängen liegt, der absoluten Differenz der ursprünglichen Pixel für eine kantenabhängige Interpolation.
Nach Anspruch 5 ist der Mischfaktor von zwei Werten abhängig, und zwar erstens von der Winkeldifferenz, die ein Maß dafür ist, wie genau eine kante gefunden worden ist, und zweitens von der vertikalen oder horizontalen Differenz, die ein Maß dafür ist, wie relevant die Winkelinterpolation an dieser Stelle ist. Ein konstanter Wert w kann verwendet werden um entweder dem Winkelmittelwert oder dem Umgebungsmittelwert mehr Gewichtung zu geben, und zwar entsprechend den Bedürfnissen der betreffenden Applikation oder entsprechend den persönlichen Vorzügen. Es wird bevorzugt, dass der Mischfaktor auf 1 zugeschnitten wird.
Ein weiterer Aspekt der vorliegenden Erfindung ist die Verwendung eines beschriebenen Verfahrens oder einer beschriebenen Anordnung in Abtastratenwandlern, in Videokompressoren oder in Entschachtelungsanordnungen, Wiedergabesystemen oder Fernsehen.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 eine Wiedergabematrix,
2 eine Berechnung von Ausgangspixeln, und
3 ein Blockschaltbild einer Implementierung.
1 zeigt eine Wiedergabematrix mit vertikalen Zeilen L und horizontalen Spalten C. Jeder Schnittpunkt von Zeilen L und Spalten C enthält ein Pixel, dessen Wert eine acht-Bit-Farbdarstellung eines ursprünglichen Punktes in dem wiederzugebenden Bild ist. Dargestellt sind Pixel a, b, c, d und e. Die Pixel a, b liegen längs einer detektierten Kante des Bildes. Die Pixel c, d sind vertikal um das Pixel e herum gegliedert, das interpoliert werden soll. Wie bei verschachtelten Videosignalen wird jede zweite Zeile L nicht übertragen und die fehlende Information wird durch Interpolation erzeugt. Es ist wichtig, dass die Interpolationswerte den ursprünglichen Werten nahe liegen. Durch Interpolation längs der Pixel a, b längs eines Kante und der Pixel c, d vertikal verschoben gegenüber dem zu interpolierenden Pixel e, wird die Richtigkeit des berechneten Wertes verbessert.
In 2 ist die Berechnung eines Ausgangswertes F₀(x, y, n) durch Hinzufügung des Ausgangs F_i(x, y, n) einer kantenabhängigen Interpolation und des Ausgangs F_i2(x, y, n) einer bewegungskompensierten Interpolation mit einem Mischfaktor k bekannt. Der Ausgang einer kantenabhängigen Interpolation ist F_i(x, y, n), abhängig von den ursprünglichen Pixelwerten a, b. Wenn der Interpolationswinkel detektiert wird, ist es möglicht, a gegenüber b und umgekehrt vorherzusagen. Wenn das Interpolationspixel e eine Position hat, genau zwischen a und b, kann erwartet werden, dass der Prädiktionsfehler zweimal kleiner ist als der Prädiktionsfehler von b, wenn unter Verwendung von a vorhergesagt wurde. Dies bedeutet, dass der richtige Wert von e von einem Wert abweichen kann, der mit dem Interpolationswinkel berechnet wurde, aber es wird erwartet, dass diese Abweichung zweimal kleiner sein wird als die absolute Differenz zwischen den Werten von a und b.
Wenn die Robustheit der kantenabhängigen Interpolation verbessert wird, ist ein zweites Interpolationsverfahren erforderlich, das keine Robustheitsprobleme hat. Das kann eine lineare Interpolation längs c und d sein. Durch Mischung des Ausgang der zweiten Interpolation F_i2(x, y, n) mit dem Ausgang der kantenabhängigen Interpolation F_i(x, y, n) unter Verwendung einer in 2 dargestellten Mischstufe, wobei k derart eingestellt ist, dass die absolute Differenz zwischen F₀(x, y, n) und F_i(x, y, n) der Hälfte der absoluten Differenz der Pixelwerte b und a entspricht, können Interpolationsergebnisse verbessert werden.
Formal wird der Mischfaktor k wie folgt berechnet: |a – b| = 2·|F0(x, y, n) – Fi(x, y, n)|
Der Ausgang wird weiterhin definiert durch: F0(x, y, n) = kFi(x, y, n) + (1 – k)Fi2(x, y, n)
Dies führt zu:
Der Wert δ vermeidet eine Teilung durch Null. Es wird bevorzugt, dass k auf 1 zugeschnitten wird. Der Faktor 2 in dem Nenner rührt von der Abstandsbeziehung zwischen a und b her.
3 zeigt ein Blockschaltbild einer Implementierung eines verbesserten Interpolators. Ein Eingangssignal 1 wird einem Zeilenspeicher 2 zugeführt, wobei die Werte der Pixel der Zeilen gespeichert werden um eine Interpolation zwischen den Zeilen zu ermöglichen. Das Eingangssignal 1 wird weiterhin der kantenabhängigen Interpolation 4 und der Zeileninterpolation 6 zugeführt. Die gespeicherten Pixelwerte vorhergehender Zeilen werden aus dem Zeilenspeicher 2 zu der kantenabhängigen Interpolation 4 und zu der Zeileninterpolation 6 geführt. Die Mischfaktoren k und 1 – k werden durch die Mischberechnungsanordnung 7 berechnet. Der Ausgang der kantenabhängigen Interpolation 4 F_i(x, y, n) wird mit dem Mischfaktor k gewichtet. Der Ausgang der Zeileninterpolation 6 wird mit (1 – k) gewichtet. Diese gewichteten Ausgangswerte werden addiert und führen zu einem Ausgangswert F₀(x, y, n), der von der Wiedergabeanordnung D wiedergegeben wird.
Durch Gewichtung der Ausgangswerte nach der vorliegenden Erfindung ist es möglich, Interpolationsergebnisse zu schaffen, die von den aktuellen Bildcharakteristiken abhängig sind. In dem Fall, dass kantenabhängige Interpolation anderen Interpolationsverfahren überlegen ist, werden die Ergebnisse hervorgehoben und umgekehrt.
Es sei bemerkt, dass die oben genannten Ausführungsformen die vorliegende Erfindung illustrieren statt begrenzen und dass dem Fachmann imstande sein wird, im Rahmen der beiliegenden Patentansprüche viele alternative Ausführungsformen zu entwerfen. In den Patentansprüchen sollen die eingeklammerten Bezugszeichen nicht als den Anspruch begrenzend betrachtet werden. Das Wort "enthalten" schließt das Vorhandensein von Elementen oder Verfahrensschritten anders als die genannten nicht aus. Das Wort "ein" vor einem Element schließt das Vorhandensein einer Anzahl derartiger Elemente nicht aus. Die vorliegende Erfindung kann mit Hilfe von Hardware mit verschiedenen einzelnen Elementen sowie mit Hilfe eines auf geeignete Art und Weise programmierten Computers implementiert werden. In dem Anordnungsanspruch, worin verschiedene Mittel genannt werden, können viele dieser Mittel durch ein und dasselbe Hardware-Item gebildet werden. Die Tatsache, dass bestimmte Maßnahmen in untereinander verschiedenen Patentansprüchen genannte werden, bedeutet nicht, dass eine Kombination dieser Maßnahmen nicht auf vorteilhafte Weise angewandt werden kann.

a, b, c, d,: ursprüngliche Pixel
e: interpoliertes Pixel
k: Mischfaktor
C: Spalten
L: Zeilen
F_i(x, y, n): Ausgang der kantenabhängigen Interpolation
F_i2(x, y, n): Ausgang der Zeilen-Mittelwert-bildenden Interpolation
F₀(x, y, n): Interpolationsausgang
1: Eingangssignal
2: Zeilenspeicher
4: kantenabhängige Interpolation
6: Zeilen-Mittelwert-bildende Interpolation
7: Mischfaktor-Berechnungsanordnung
D: Wiedergabeanordnung

Claims

Verfahren zur Fehlerreduktion bei randorientierter räumlicher Interpolation von Videobildern, wobei das Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Interpolieren eines ersten interpolierten Pixels (F₁) auf eine erste Art und Weise, – das Interpolieren eines zweiten interpolierten Pixels (F₂) auf eine zweite Art und Weise, die anders ist als die erste Art und Weise, – das Erzeugen eines interpolierten Ausgangspixels (F₀) durch Mischung von Pixelwerten des genannten ersten interpolierten Pixels (F₁) und des genannten zweiten interpolierten Pixels (F₂) entsprechend einem Mischfaktor (k), dadurch gekennzeichnet, dass die genannte erste Art und Weise das Interpolieren des ersten interpolierten Pixels (F₁) zwischen bestehenden Pixeln (a, b) längs eines räumlichen Randes in dem genannten Videobild umfasst, und gekennzeichnet durch die nachfolgenden Verfahrensschritte: – das Messen einer ersten absoluten Differenz |a – b| zwischen Pixelwerten der genannten bestehenden Pixeln (a, b) längs des genannten räumlichen Randes, und – das Berechnen des genannten Mischfaktors (k) in Abhängigkeit von der genannten ersten absoluten Differenz.
Verfahren nach Anspruch 1, das weiterhin den nachfolgenden Verfahrensschritt umfasst: das Messen einer zweiten absoluten Differenz zwischen Pixelwerten des genannten interpolierten Ausgangspixels (Fo) und des genannten ersten interpolierten Pixels (Fi), und wobei der genannte Mischfaktor (k) derart berechnet wird, dass die genannte zweite absolute Differenz eine konstante Anzahl Male der genannten ersten absoluten Differenz ist.
Verfahren nach Anspruch 2, wobei die genannte Konstante von der räumlichen Lage gegenüber den genannten bestehenden Pixeln längs des genannten räumlichen Randes abhängig ist.
Verfahren nach Anspruch 3, wobei die genannte Konstante in dem Fall, dass das genannte interpolierte Ausgangspixel räumlich halbwegs zwischen den genannten bestehenden Pixeln längs des genannten Randes interpoliert wird, 2 ist.
Verfahren nach Anspruch 1, wobei dieses Verfahren weiterhin den nachfolgenden Verfahrensschritt umfasst: das Messen einer zweiten absoluten Differenz |c – d| zwischen Werten von Pixeln (c, d), die das genannte Ausgangspixel (c) horizontal oder vertikal umgeben und wobei der genannte Mischfaktor derart berechnet wird, dass dieser von |a – b|/ (w·|c – d|) abhängig ist, wobei w eine Konstante ist.
Anordnung zum Interpolieren von Pixeln zwischen bestehenden Pixeln in Videobildern, wobei die Anordnung die nachfolgenden Elemnte umfasst: – erste Interpolationsmittel (4) zum Interpolieren eines ersten interpolierten Pixels (F₁) auf eine erste Art und Weise, – zweite Interpolationsmittel (6) zum Interpolieren eines zweiten interpolierten Pixels (F₂) auf eine zweite Art und Weise, die anders ist als die erste Art und Weise, und – Mischmittel (+) zum Erzeugen eines interpolieren Ausgangspixels (Fo) durch Mischung von Pixelwerten des genannten ersten interpolierten Pixels (F₁) und des genannten zweiten interpolierten Pixels (F₂) entsprechend einem Mischfaktor (k), dadurch gekennzeichnet, dass die genannte erste Art und Weise das Interpolieren des ersten interpolierten Pixels (F₁) zwischen bestehenden Pixeln (a, b) längs eines räumlichen Randes in dem genannten Videobild umfasst, und gekennzeichnet durch Berechnungsmittel (7) zum: – Messen einer ersten absoluten Differenz |a – b| zwischen Pixelwerten der genannten bestehenden Pixel (a, b) längs des genannten räumlichen Randes, und – Berechnen des genannten Mischfaktors (k) in Abhängigkeit von der genannten ersten absoluten Differenz.
Wiedergabeanordnung, weiche die nachfolgenden Elemente umfasst: – eine Interpolationsanordnung nach Anspruch 6, und – eine Wiedergabeanordnung (D) zum Wiedergeben des Ausgangssignals (Fo).