DE69837468T2

DE69837468T2 - Bewegungsschätzung und bewegungskompensierte interpolation

Info

Publication number: DE69837468T2
Application number: DE69837468T
Authority: DE
Inventors: Gerard De Haan; Robert Jan Schutten
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Entropic Communications LLC
Priority date: 1997-09-23
Filing date: 1998-08-19
Publication date: 2008-01-17
Anticipated expiration: 2018-08-20
Also published as: KR100591023B1; WO1999016248A1; EP0943209A1; JP2001506473A; EP0943209B1; KR20000069105A; DE69837468D1

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Anordnung zur Bewegungsschätzung, und auf ein Videowiedergabegerät mit einer bewegungskompensierten Interpolationsanordnung.
So beschreibt beispielsweise EP 0 294 957 einen Fernsehnormwandler mit einer Bewegungsanalyse zum Analysieren der Bewegung zwischen aufeinander folgenden Bildern eines eintreffenden Fernsehsignals einer einzigen Fernsehnorm, und zum Herleiten von Bewegungsvektoren, unabhängig von der Bewegung, mit einem Filter zur rekursiven Filterung der Bewegungsvektoren, und mit einem Interpolator zum Ausrichten der Bilder unabhängig von den Bildbewegungsvektoren.
Bewegungsschätzung wird bei der Codierung und Abtastratenumwandlung von Videodaten angewandt. Obschon meistens die Bildrate dieser Videodaten an dem EIngang des Bewegungsschätzers fest ist, kann die Bildrate der Videoquelle, von der diese Daten herrühren können von der der verarbeiteten Daten abweichen. Insbesondere tritt dies auf, wenn Filmmaterial nach Video umgesetzt wird, oder wenn Videomaterial von der einen Videonorm in einer andere Norm irgendwo in der Videokette vor dem Bewegungsschätzer umgewandelt wird.
Eine übliche Art und Weise die erforderlichen Bildratenumsetzungen zu meistern ist, das jüngste Bild zu verwenden, bis ein neues verfügbar wird. Wenn von einer niedrigen Bildrate in eine höhere Bildrate umgesetzt wird, bedeutet dies Wiederholung von Quellenbildern in dem neuen Format, während eine Umsetzung von einer hohen in eine niedrigeren Bildrate zu gelegentlichem Überspringen von Bildern des Quellenmaterials führt.
Auf jeden Fall zeigt das resultierende Video ein unregelmäßiges Bewegungsmuster (Vibration), was die übliche Annahme in Bewegungsschätzern verletzt, dass Bewegung eine starke zeitliche Konsistenz hat. Bei Bewegungsschätzern, die versuchen, von dieser Unterstellung zu profitieren, durch Verwendung zeitlicher Prädiktionsvektoren, führt das Problem dazu, dass das unregelmäßige Bewegungsverhalten die Nützlichkeit dieser zeitlichen Prädiktionsvektoren eliminiert. Eine wesentliche Degradation der geschätzten Bewegungsvektoren kann das Ergebnis sein.
In [8] wurde eine Lösung für dieses Problem beschrieben, für Filmmaterial, das in einer 50 Hz Fernsehnorm übertragen wird. Der Gedanke dabei ist in diesem Fall, den Vektorprädiktionsspeicher umlaufen zu lassen, wenn ein wiederholtes Bild auftritt. In [7] wurde das Verfahren beschrieben, bei dem der Bildspeicher, der das "vorhergehende" Bild speichert, in Umlauf gehalten wird, bis ein nicht wiederholtes Bild auftrat. Ein Kennzeichen, das den beiden bekannten Verfahren gemein ist, ist, dass das Muster bekannt sein soll, damit die Speichersteuerung geändert werden kann.
Aus "IEEE International Conference an Acoustics, Speech and Signal Processing", Mai 1996, Heft 4, von PETER CSILLAC u. a.: "Motion-Compensated Frame Rate Conversion Using an Accellerated Motion Model", ISBN 0-7803-3192-3, Seiten 2319-2322 ist eine PEL rekursive Bewegungsschätzung mit mehreren Auflösungen bekannt, die aus drei Basiskomponenten besteht, die eine Konstruktion einer Bilddarstellung mit mehreren Auflösungen, Bewegungsschätzung und Fortpflanzungsstrategien zur Verfeinerung der in gröberen Auflösungen geschätzten Bewegungsbilder sind.
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, ein sehr robustes Bewegungsschätzungsverfahren zu schaffen, das keine Vorkenntnisse des Wiederholungsmusters erfordert um auf zuverlässige Art und Weise Bewegung zu schätzen. Dazu weist ein erster Aspekt der vorliegenden Erfindung ein Verfahren und eine Anordnung auf, wie in den Hauptansprüchen definiert. Bevorzugte Ausführungsformen sind in den Unteransprüchen definiert.
In einem Bewegungsschätzungsverfahren nach einem ersten Aspekt der vorliegenden Erfindung werden wenigstens zwei Bewegungsdatensätze, geschätzt auf Basis verschiedener vorhergehender Bildpaare von Eingangsvideodaten, einem Bewegungsdatengenerator zugeführt.
In einer bevorzugten Ausführungsform nimmt der Bewegungsschätzer zeitliche Prädiktionsvektoren von mehr als nur einem vorhergehenden Bildpaar (so viel wie die maximale Länge des Wiederholungsmusters), und selektiert die besten derselben als Basis für den Schätzungsprozess, oder benutzt alle derselben als Kandidat in dem Übereinstimmungsprozess.
Diese Lösung ist wirtschaftlich vertretbar, insbesondere bei objektbasierten Bewegungsschätzern [12], wobei die Anzahl zu speichernder Bewegungsvektoren sehr gering ist. Eine Softwareversion des Algorithmus ist dargestellt um Echtzeit in einer völlig programmierbaren Anordnung laufen zu lassen, insbesondere der Philips TM1000 (TriMedia) Prozessor.
Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 einen bevorzugten Bewegungsschätzer nach der vorliegenden Erfindung,
2 ein Wiedergabegerät nach der vorliegenden Erfindung.
1 zeigt einen bevorzugten Bewegungsschätzer nach der vorliegenden Erfindung. Aktuelle Bilddaten aus dem aktuellen Bild n und vorhergehende Bilddaten aus dem vorhergehenden Bild n-1 werden einer Bewegungsparameterschätzereinheit MPE zugeführt zum Erhalten von Bewegungsparametern P(n). Bildverzögerungsanordnungen D1, D2,... Dn liefern verzögerte Versionen TP1, TP2,...TPn der Bewegungsparameter P(n) zu der Bewegungsparameterschätzereinheit MPE.
Während in dieser Ausführungsform ein Parameterschätzer dargestellt ist, beschränkt sich die vorliegende Erfindung nicht auf parameterbasierte Bewegungsschätzer. Die vorliegende Erfindung kann auch auf einen normalen rekursiven Bewegungsschätzer angewandt werden, wenn der Prädiktionsspeicher dazu vorgesehen ist, alle Parameter P(n) zu enthalten. Die Bildverzögerungsanordnungen D1, D2,... Dn liefern verzögerte Versionen TP1, TP2,...TPn der Bewegungsparameter P(n) zu der Bewegungsparametereinheit MPE.
Während in dieser Ausführungsform ein Parameterschätzer dargestellt ist, beschränkt sich die vorliegende Erfindung nicht auf parameterbasierte Bewegungsschätzer. Die vorliegende Erfindung kann auch mit einem normalen rekursiven Bewegungsschätzer angewandt werden, wenn der Prädiktionsspeicher dazu vorgesehen ist, alle notwendigen vorherigen Bewegungsinformationen in Form von Bewegungsvektoren zu enthalten. Die Einheit MPE würde dann Bewegungsvektor P(n) statt Bewegungsparameter P(n) liefern. Auf diese Weise können unregelmäßige Bewegungsmuster, wie diese von 60 bis 50 Hz Bildratenumsetzung, Umsetzungen in Telecine-Maschinen, die mit 24 Hz arbeiten, und wie in Popmusik-Videoclips vorhanden, erledigt werden.
2 zeigt ein Wiedergabegerät nach der vorliegenden Erfindung. Das Wiedergabegerät empfängt Antennensignale von einer Antenne A. Die Antennensignale werden von einem Tuner TUN in Basisband-Videosignale umgesetzt. Eine Bildverzöge rungsanordnung DL erzeugt die Bilder n und n-1, die in dem Bewegungsschätzer nach 1 verwendet werden erden. Ein Videosignalprozessor VSP empfängt die Bilder n und n-1, sowie die Bewegungsdaten P(n) von dem Bewegungsschätzer nach 1 zum Erzeugen eines Wiedergabesignals D, das einer Wiedergabeanordnung CRT zugeführt wird.
Ein erster Aspekt der vorliegenden Erfindung kann wie folgt zusammengefasst werden. Es wird ein Verfahren zum Schätzen von Bewegungsparametern von Videodaten beschrieben. Die vorliegende Erfindung ermöglicht eine zeitliche prädiktive Bewegungsschätzung an Videodaten, die wegen einfacher Bildratenumsetzungstechniken (Wiederholung des jüngsten Bildes) eine unregelmäßige Bewegung zeigen. Die Lösung besteht aus der Verwendung vieler zeitlicher Prädiktionsvektoren aus den jeweiligen vorhergehenden Bildpaaren. Diese Lösung ist wirtschaftlich vertretbar, insbesondere in objektbasierten Bewegungsschätzern, wobei die Anzahl zu speichernder Bewegungsvektoren sehr gering ist. Eine Softwareversion des Algorithmus ist dargestellt um in Echtzeit in dem Philips TM1000 (TriMedia) Prozessor zu laufen.
Die nachfolgenden hervorragenden Merkmale einer bevorzugten Ausführungsform sind bemerkenswert. Ein Verfahren und ein Gerät, das dieses Verfahren verwirklicht, zum Schätzen von Bewegungsparametervektoren aus Videodaten, das wenigstens für einige Bildteile wenigstens zwei (zeitliche) Prädiktionsvektoren aus Daten von verschiedenen Bildpaaren liefert. Vorzugsweise sind die oben genannten wenigstens zwei Prädiktionsvektoren Kandidaten in einem Vektorselektionsprozess, wobei der Ausgangsvektor für ein Bild (oder einen Teil davon) ermittelt wird. Vorteilhafterweise wird der bessere, entsprechend einer Kriteriumsfunktion, Vektor der oben genannten wenigstens zwei Prädiktionsvektoren als Basis zum Berechnen von Kandidatvektoren verwendet (beispielsweise in einem Aktualisierungsprozess), die Eingang eines Vektorselektionsprozesses sind, wobei der Ausgangsvektor für ein Bild ermittelt wird (oder für einen Teil davon). Vorzugsweise wird die Entscheidungsinformation (welche der wenigstens zwei Prädiktionsvektoren ist der bessere, entsprechend einer Kriteriumsfunktion) über eine Anzahl aufeinander folgender Bilder (Bildteile) verwendet zum Detektieren von Bildwiederholungsmustern (beispielsweise 3-2 Pull-Down und 2-2 Pull-Down von Filmmaterial, aber auch andere Muster wegen Quelle-Ziel Bildfrequenzfehlanpassungen).
Obschon ursprünglich entworfen um als eine Applikation in dem Philips TriMedia Prozessor zu laufen, sind mehrere Applikationen möglich. Insbesondere kann das Konzept für VGA Controller nächster Generation entworfen sein. Da dies spezielles Silizium ist, sind die Gesamtkosten vernachlässigbar. Ein derartiger VGA Controller kann eine bessere Leistung bieten, dies im vergleich zu der TriMedia Lösung, da in speziellem Silizium viel mehr Verarbeitungsleistung verfügbar ist. Weiterhin wird erwartet, dass wenn mehr als zwei parallele Parameterschätzer angewandt werden, die Leistung auf einen Pegel gebracht werden kann, der möglicherweise besser ist als die heutigen High-End Lösungen zu möglicherweise geringeren Kosten.
Es sei bemerkt, dass die oben genannten Ausführungsformen die vorliegende Erfindung illustrieren statt begrenzen und dass der Fachmann imstande sein wird, im Rahmen der beiliegenden Patentansprüche viele alternative Ausführungsformen zu entwerfen. In den Patentansprüchen sollen eingeklammerte Bezugszeichen nicht als den Anspruch beschränkend betrachtet werden. Die vorliegende Erfindung kann mit Hilfe von Hardware mit vielen einzelnen Elementen und mit Hilfe eines auf geeignete Art und Weise programmierten Computers implementiert werden. In dem Anordnungsanspruch, in dem mehrere Mittel nummeriert sind, können viele dieser Mittel von ein und demselben Hardware-Item verkörpert werden.
Relatierte Erfindungen sind in dem nachstehenden Bezugsmaterial beschrieben.
BEZUGSMATERIAL

[1] US-A-5,534,946 (Aktenzeichen des Anwalts PHN 14,066)
[2] G. de Haan, P.W.A.C. Siezen, H. Huijgen und O.A. Ojo, "True Motion Estimation with 3-D Recursive Search Block-Matching", IEEE Transactions an Circuits and Systems for Video Technology, Heft3, Oktober 1993, Seiten 368-388.
[3] G. de Haan, P.W.A.C Siezen, H. Huijgen, und O.A. Ojo, "Graceful Degradation in Motion Compensated Field-Rate Conversion", in: Signal Processing of HDTV, V, L. Stenger, L. Chiariglione und M. Akgun (Eds.), Elsevier 1994, Seiten 249-256.
[4] PCT/IB97/00548 (Aktenzeichen des Anwalts PHN 16,112)
[5] G. de Haan, J. Kettenis, und B. Deloore, 'IC for Motion Compensated 100 Hz TV, with a Smooth Motion Movie-Mode', International Conference an Consumer Electronics, ICCE 95, Juni 1995, Chicago.
[6] G. de Haan, P.W.A.C Siezen, "Sub-pixel motion estimation with 3-D recursive search block-matching", Signal Processing: Image Communication 6 (1994), Seiten 229-239.
[7] PCT/IB97/00884 (Aktenzeichen des Anwalts PHN 15,943)
[8] US-A-5,495,300 (Aktenzeichen des Anwalts PHN 14,079)
[9] G. de Haan und H. Huijgen, "New algorithm for motion estimation," in Chiariglione [38], Seiten 109-116.
[10] G. de Haan und H. Huijgen, "Motion estimation for TV picture enhancement," in Signal Processing of HDTV III (H. Yasuda and L. Chiariglione, eds.), Seiten 241-248, Elseviers Science Publishers B.V., 1992.
[11] G. de Haan, J. Kettenis, and B. Deloore, "IC for motion compensated 100 Hz TV, with a smooth motion movie-mode," IEEE Transactions an Consumer Electronics, Heft 42, Seiten 165-174, Mai 1996.
[12] EP Patentanmeldung Nr. 97202912.8 , eingereicht am 23.09.1997, und entsprechende Anmeldungen (Aktenzeichen des Anwalts PHN 16,529).

Claims

Verfahren zum Schätzen von Bewegungsdaten aus Videodaten, wobei das Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Zuführen von Bilddaten aus einem aktuellen Teilbild (n) und von vorhergehenden Bilddaten aus einem vorhergehenden Teilbild (n-1) zu einer Bewegungsschätzereinheit (MPE), – das Berechnen eines Bewegungsdatensatzes (P(n)) in der Bewegungsschätzereinheit (MPE), dadurch gekennzeichnet, dass – verzögerte Versionen (TP1-TPn) des Bewegungsdatensatzes (P(n)) werden der Bewegungsschätzereinheit (MPE) zugeführt, – die verzögerte Versionen (TP1-TPn) sind Kandidat in einem Bewegungsdatenselektionsprozess, und – der Bewegungsdatensatz (P(n)) wird weiterhin auf Basis der verzögerten Versionen (TP1-TPn) berechnet, so dass der Ausgangsbewegungsdatensatz (P(n)) eine einstweilige prädiktive Bewegungsschätzung ist, wobei Bildratenumwandlung berücksichtigt wird, wobei eine beste der verzögerten Versionen (TP1-TPn) nach einem Kriterium als Basis zum Berechnen von Kandidatbewegungsdatensätzen verwendet wird, die einem Bewegungsdatensatzselektionsprozess ausgesetzt werden, der den Bewegungsdatensatz (P(n)) bestimmt.
Verfahren nach Anspruch 1, wobei die Bewegungsdatensätze (TP1-TPn) einen Bewegungsparameter darstellen.
Verfahren nach Anspruch 1, wobei die Bewegungsdatensätze (TP1-TPn) einen Bewegungsvektor darstellen.
Verfahren nach Anspruch 1, wobei die Bildwiederholungsrate wenigstens eine der nachfolgenden ist: A) 3-2 "pull down" B) 2-2 "pull down".
Anordnung zum Schätzen von Bewegungsdaten aus Videodaten, wobei die Anordnung Folgendes umfasst: – einen Bewegungsdatengenerator (MPE) zum Empfangen von Bilddaten aus einem aktuellen Teilbild (n), und von vorhergehenden Bilddaten aus einem vorhergehenden Teilbild (n-1), und zum Berechnen eines Bewegungsdatensatzes (P(n)), dadurch gekennzeichnet, dass – Verzögerungseinheiten (D1-Dn) den berechneten Bewegungsdatensatz (P(n)) empfangen und verzögerte Versionen (TP1-TPn) des empfangenen Bewegungsdatensatzes (P(n)) zu der Bewegungsschätzereinheit (MPE) liefern, – die verzögerten Versionen (TP1-TPn) Kandidat in einem Bewegungsdatenselektionsprozess sind und – die Bewegungsschätzereinheit (MPF) den Bewegungsdatensatz (P(n)) weiterhin auf Basis der verzögerten Versionen (TP1-TPn) derart berechnet, dass der Ausgangsbewegungsdatensatz (P(n)) eine einstweilige prädiktive Schätzung ist, wobei die Bildratenumwandlung berücksichtigt wird, wobei eine beste der verzögerten Versionen (TP1-TPn) entsprechend einem Kriterium als Basis zum Berechnen von Kandidatbewegungsdatensätzen verwendet wird, die Eingabe eines Bewegungsdatensatzselektionsprozesses sind, wobei der Bewegungsdatensatz (P(n)) bestimmt wird.