DE60212417T2

DE60212417T2 - Bildprozessor und anzeigegerät mit einem solchen bildprozessoren

Info

Publication number: DE60212417T2
Application number: DE60212417T
Authority: DE
Inventors: A. Kornelis VISSERS; K. Abraham RIEMENS; J. Robert SCHUTTEN
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Entropic Communications LLC
Priority date: 2001-09-07
Filing date: 2002-09-02
Publication date: 2007-02-01
Anticipated expiration: 2022-09-03
Also published as: ATE330429T1; WO2003024117A1; EP1430725A1; JP2005512356A; EP1430725B1; US20030091114A1; KR100917933B1; DE60212417D1; CN1552160A; US7010042B2; KR20040029161A; CN1266944C; JP4322114B2

Description

Die Erfindung betrifft einen Bildprozessor zur bewegungskompensierten Bildverarbeitung, der Folgendes umfasst:

– eine Speichereinheit zum Speichern eines ersten Eingangsbildes und eines zweiten Eingangsbildes;
– einen Bewegungsschätzer zum Schätzen eines Bewegungsvektorfeldes basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild; und
– eine Bewegungskompensationseinheit, um basierend auf einem weiteren Bewegungsvektorfeld sowie basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild ein Ausgangsbild zu berechnen.

Die Erfindung betrifft ferner ein Bildanzeigegerät, das Folgendes umfasst:

– einen Empfänger zum Empfangen einer Folge von Bildern, die ein erstes Eingangsbild und ein zweites Eingangsbild umfasst;
– einen Bildprozessor zur bewegungskompensierten Bildverarbeitung mit:
– einer Speichereinheit zum Speichern des ersten Eingangsbildes und des zweiten Eingangsbildes;
– einem Bewegungsschätzer, um basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild ein Bewegungsvektorfeld zu schätzen; und
– einer Bewegungskompensationseinheit, um basierend auf einem weiteren Bewegungsvektorfeld sowie basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild ein Ausgangsbild zu berechnen;
– eine Anzeigeeinrichtung zur Anzeige des Ausgangsbildes.

Eine Ausführungsform des Bildprozessors der eingangs erwähnten Art ist aus dem Artikel „IC for motion-compensated de-interlacing, noise reduction, and picture rate conversion" von G. de Haan in IEEE Transactions on Consumer Electronics, Bd. 45, Nr. 3, August 1999, beschrieben.
Bildfolgen gibt es mit verschiedenen Bildraten: Filmmaterial mit 24 Hz, 25 Hz und 30 Hz und Video gewöhnlich mit 50 Hz und 60 Hz. Andererseits sind Fernseh bildschirme mit Bildraten von 50 Hz, 60 Hz und 100 Hz im Handel erhältlich, die entweder ein Zeilenfolgeverfahren oder ein Zeilensprungverfahren ausführen. Einfache Bildratenwandler wiederholen Bilder, bis das nächste Bild eintrifft, was zu Unschärfe und/oder Ruckeln führt, wenn Bewegung auftritt. In ähnlicher Weise resultiert mitunter aus der Wiederholung eine Zeilenentflechtung (Deinterlacing) oder eine Mittelung von benachbarten Zeilen. Die anspruchsvolleren Zeilenentflechtungskonzepte wenden eine zeitlich-vertikale Verarbeitung an, aber auch diese verschlechtern jene Bildabschnitte, in denen Bewegung auftritt.
In dem angeführten Artikel ist beschrieben, dass Mitte der neunziger Jahre integrierte Schaltungen für Unterhaltungsfernsehen aufkamen, die eine Bewegungsschätzung und eine Bewegungskompensation verwendeten, um auch für Bewegungssequenzen eine leistungsstarke Umsetzung zu erzielen. Der Artikel zeigt verbesserte Algorithmen für die Bewegungsschätzung, die bewegungskompensierte Zeilenentflechtung, die bewegungskompensierte Bildinterpolation und die bewegungskompensierte Rauschunterdrückung auf. Die integrierte Schaltung, die diese Algorithmen implementiert, umfasst eine Speichereinheit, um ein aktuelles und ein vorhergehendes Bild zwischenzuspeichern (zu cachen), einen Bewegungsschätzer und eine Bewegungskompensationseinheit. Die Arbeitsweise der integrierten Schaltung ist wie folgt: Zwei aufeinander folgende Eingangsbilder werden empfangen und in der Speichereinheit der integrierten Schaltung zwischengespeichert. Auf der Grundlage dieser Eingangsbilder werden Bewegungsvektoren berechnet. Die Menge der Bewegungsvektoren eines Bildpaares, d.h. eines aktuellen und eines vorhergehenden Bildes, wird als Bewegungsvektorfeld bezeichnet. Die Bewegungsvektoren werden an die Bewegungskompensationseinheit geliefert, welche die oben aufgeführten Operationen ausführt. Das Ergebnis ist ein bewegungskompensiertes Ausgangsbild. Die integriere Schaltung führt die Operationen in Echtzeit aus. Das bedeutet, dass ein Bewegungsschätzalgorithmus mit einer verhältnismäßig geringen Anzahl von Operationen abgearbeitet wird. Obwohl die Ergebnisse der Bewegungsschätzeinheit verhältnismäßig gut sind, kann es fehlerhafte Bewegungsvektoren geben, was Artefakte in den bewegungskompensierten Bildern zur Folge hat, besonders an den Rändern der Bilder oder in Einschließungsbereichen in den Bildern. In diesen Fällen ist eine hochwertigere Bewegungsschätzung erforderlich.
Eine erste Aufgabe der Erfindung ist die Schaffung eines Bildprozessors der eingangs erwähnten Art, der so beschaffen ist, dass er eine hochwertigere Bewegungsschätzung ermöglicht.
Eine zweite Aufgabe der Erfindung ist die Schaffung eines Bildanzeigegeräts der eingangs erwähnten Art mit einer hochwertigeren Bewegungsschätzung.
Die erste Aufgabe der Erfindung wird dadurch gelöst, dass der Bildprozessor so beschaffen ist, dass er wahlweise das weitere Bewegungsvektorfeld

– von dem Bewegungsschätzer oder
– von einer externen Einheit empfängt.

Der wichtigste Unterschied zu dem Bildprozessor nach dem Stand der Technik besteht darin, dass die Bewegungsvektoren vom Bewegungsschätzer des Bildprozessors selbst berechnet werden können, aber auch von einer externen Einheit berechnet werden können, d.h. von einer Quelle, die nicht Bestandteil des Prozessors an sich ist, wobei sie so eingerichtet ist, dass sie als Coprozessor wirksam wird. Vorzugsweise ist dieser Coprozessor so beschaffen, dass er eine Bewegungsschätzung ausführt, die hochwertiger als die Bewegungsschätzung der Bewegungsschätzeinrichtung ist. Es ist zu beachten, dass das weitere Bewegungsvektorfeld dem vom Bewegungsschätzer berechneten Bewegungsvektorfeld entsprechen kann, dass es aber auch ein Bewegungsvektorfeld sein kann, das von der externen Einheit geliefert worden ist.
Eine Ausführungsform des Bildprozessors gemäß der Erfindung ist so beschaffen, dass das Bewegungsvektorfeld an die externe Einheit geliefert wird, die so eingerichtet ist, dass sie das weitere Bewegungsvektorfeld auf der Grundlage des Bewegungsvektorfeldes berechnet. In dieser Ausführungsform können die Bewegungsvektoren mit der externen Einheit ausgetauscht werden, die so eingerichtet ist, dass sie als Coprozessor wirksam wird, um das Bewegungsvektorfeld, das vom Bewegungsschätzer des Bildprozessors berechnet worden ist, zu verbessern. Der Vorteil ist, dass der zur Verfügung stehende Bewegungsschätzer des Bildprozessors genutzt wird und das resultierende Bewegungsvektorfeld durch die externe Einheit verbessert wird. Der Bildprozessor hat zwei Betriebsarten:

– Einfachdurchlaufbetriebsart: Das erste Eingangsbild und das zweite Eingangsbild werden empfangen und in der Speichereinheit des Bildprozessors gespeichert. Auf der Grundlage dieser Eingangsbilder werden Bewegungsvektoren berechnet. Diese Bewegungsvektoren werden an die Bewegungskompensationseinheit geliefert, die das bewegungskompensierte Ausgangsbild berechnet.
– Zweifachdurchlaufbetriebsart: Im ersten der zwei Durchläufe werden das erste Eingangsbild und das zweite Eingangsbild empfangen und in der Speichereinheit gespeichert. Auf der Grundlage dieser Eingangsbilder werden Bewegungsvektoren berechnet. Diese Bewegungsvektoren werden an die externe Einheit geliefert. Das empfangene Bewegungsvektorfeld kann extern vorübergehend gespeichert werden. Am wichtigsten ist jedoch, dass die externe Einheit so eingerichtet ist, dass sie Operationen an dem Bewegungsvektorfeld ausführt, um dieses zu verbessern. In der Zwischenzeit kann der Bildprozessor mit der Verarbeitung weiterer Bilder fortfahren, z.B. kann die Bewegungskompensationseinheit des Bildprozessors ein zweites bewegungskompensiertes Ausgangsbild berechnen oder der Bewegungsschätzer des Bildprozessors kann ein Bewegungsvektorfeld eines weiteren Bildpaares berechnen. Im zweiten der zwei Durchläufe wird das weitere Bewegungsvektorfeld, das dem ersten und zweiten Eingangsbild entspricht, zusammen mit dem ersten und zweiten Eingangsbild an die Bewegungskompensationseinheit geliefert. Basierend auf dieser Eingabe wird das Ausgangsbild berechnet.

Bei der Zweifachdurchlaufbetriebsart müssen das erste und das zweite Eingangsbild zweimal in die Speichereinheit eingelesen werden: einmal für den ersten Durchlauf und noch einmal für den zweiten Durchlauf. Dies führt zu einer zusätzlichen Belastung des Speicherbusses. Jedoch ist der Hauptvorteil des Bildprozessors gemäß der Erfindung, der so beschaffen ist, dass er zwischen der Einfachdurchlaufbetriebsart und der Zweifachdurchlaufbetriebsart wechselt, die Skalierbarkeit. Sie ermöglicht, eine höhere Bildqualität auf Kosten zusätzlicher Bandbreite zu wählen.
In einer weiteren Ausführungsform des Bildprozessors gemäß der Erfindung, bei der das Bewegungsvektorfeld an die externe Einheit geliefert wird, ist die externe Einheit so eingerichtet, dass ein bestimmter Bewegungsvektor des Bewegungsvektorfeldes neu berechnet wird. Es können auch noch hochwertigere Anpassungen des Bewegungsvektorfeldes Anwendung finden, z.B. durch Benutzen erweiterter Sätze von in Betracht kommenden Bewegungsvektoren, um einen geeigneten Bewegungsvektor zu ermitteln. Eine Bewegungsschätzung, die auf mehr als zwei aufeinander folgenden Bildern basiert, gehört ebenfalls zu den Möglichkeiten.
Eine Ausführungsform des Bildprozessors gemäß der Erfindung, bei der das Bewegungsvektorfeld an die externe Einheit geliefert wird, umfasst einen Schalter mit

– einem ersten Eingangsanschluss, der mit dem Bewegungsschätzer verbunden ist;
– einem zweiten Eingangsanschluss, der mit der externen Einheit verbunden ist; und
– einem Ausgangsanschluss, der mit der Bewegungskompensationseinheit verbunden ist, wobei der Schalter Folgendes aufweist:
– einen ersten Zustand, in dem der erste Eingangsanschluss mit dem Ausgangsanschluss verbunden ist; und
– einen zweiten Zustand, in dem der zweite Eingangsanschluss mit dem Ausgangsanschluss verbunden ist.

Der Vorteil des Schalters besteht darin, dass er die Ausgestaltung der Bewegungskompensationseinheit verhältnismäßig einfach werden lässt. Die Bewegungskompensationseinheit umfasst eine Schnittstelle, der die entsprechenden Bewegungsvektorfelder zugeführt werden, an Stelle von zwei Schnittstellen, die gegebenenfalls das weitere Bewegungsvektorfeld bereitstellen können.
In einer Ausführungsform des Bildprozessors gemäß der Erfindung, bei der das Bewegungsvektorfeld an die externe Einheit geliefert wird, umfasst der Bewegungsschätzer eine erste Steuerschnittstelle, um den Bewegungsschätzer zu aktivieren und/oder zu deaktivieren. Der Vorteil der ersten Steuerschnittstelle ist, dass sie die Ausgestaltung der Bewegungsschätzeinheit verhältnismäßig einfach werden lässt. Ein Hauptteil der zeitlichen Koordinierung und Steuerung des Bewegungsschätzers wird außerhalb des Bewegungsschätzers durchgeführt.
In einer Ausführungsform des Bildprozessors gemäß der Erfindung, bei der das Bewegungsvektorfeld an die externe Einheit geliefert wird, umfasst die Bewegungskompensationseinheit eine zweite Steuerschnittstelle, um die Bewegungskompensationseinheit zu aktivieren und/oder zu deaktivieren. Der Vorteil der zweiten Steuerschnittstelle ist, dass sie die Ausgestaltung der Bewegungskompensationseinheit verhältnismäßig einfach werden lässt. Ein Hauptteil der Synchronisierung und Steuerung der Bewegungskompensationseinheit wird außerhalb der Bewegungskompensationseinheit durchgeführt.
In einer Ausführungsform des Bildprozessors gemäß der Erfindung ist die Bewegungskompensationseinheit so beschaffen, dass sie mindestens eine der folgenden Operationen ausführt:

– Zeilenentflechtung: Übliche Broadcast-Videosignale sind verschachtelt, was bedeutet, dass aufeinander folgende Bilder abwechselnd nur die geraden oder nur die ungeraden Zeilen enthalten. Die Zeilenentflechtung versucht, die volle Vertikalauflösung wiederherzustellen, d.h. für jedes Bild sowohl die ungeradzahligen als auch die geradzahligen Zeilen verfügbar zu machen.
– Zeitliche Bildinterpolation: Aus einer Folge von originalen Eingangsbildern wird eine längere Folge von Ausgangsbildern berechnet, wobei die Ausgangsbilder zeitlich zwischen zwei originalen Eingangsbildern liegen.
– Unterdrückung von zeitlichem Rauschen: Dies kann auch eine räumliche Verarbeitung einschließen, wodurch sich eine Verminderung des räumlich-zeitlichen Rauschens ergibt.

Die zweite Aufgabe der Erfindung wird dadurch gelöst, dass der Bildprozessor des Bildanzeigegeräts so beschaffen ist, dass er eine Quelle aus einer Gruppe von Quellen auswählt, die Quelle das weitere Bewegungsvektorfeld an die Bewegungskompensationseinheit liefert und die Gruppe der Quellen Folgendes umfasst:

– den Bewegungsschätzer; und
– eine externe Einheit, an die das Bewegungsvektorfeld geliefert wird.

Modifikationen des Bildprozessors und Varianten davon können den Modifikationen und Varianten des beschriebenen Bildanzeigegeräts entsprechen.
Diese und weitere Aspekte des Bildprozessors und des Bildanzeigegeräts gemäß der Erfindung werden anhand der Implementierungen und Ausführungsformen erläutert und verständlich, die nachstehend mit Bezug auf die beigefügte Zeichnung beschrieben sind. Es zeigen:
1A in schematischer Darstellung eine Ausführungsform des Bildprozessors in seinem Kontext;
1B in schematischer Darstellung eine Ausführungsform des Bildprozessors, die einen Schalter umfasst, um zwischen Bewegungsvektoren vom Bewegungsschätzer oder von der externen Einheit zu wählen;
2 in schematischer Darstellung den Datenfluss des Bewegungsvektorfeldes in einer Ausführungsform des Bildprozessors, die in der Einfachdurchlaufbetriebsart läuft;
3A in schematischer Darstellung den Datenfluss des Bewegungsvektorfeldes in einer Ausführungsform des Bildprozessors während des ersten Durchlaufs der Zweifachdurchlaufsbetriebsart;
3B in schematischer Darstellung den Datenfluss des weiteren Bewegungsvektorfeldes in einer Ausführungsform des Bildprozessors während des zweiten Durchlaufs der Zweifachdurchlaufbetriebsart; und
4 in schematischer Darstellung ein Bildanzeigegerät gemäß der Erfindung.
Übereinstimmende Bezugszeichen haben in allen Figuren die gleiche Bedeutung.
1A zeigt in schematischer Darstellung eine Ausführungsform des Bildprozessors 100 im Kontext. Der Bildprozessor 100 umfasst:

– eine Speichereinheit 102 zum Speichern eines ersten Eingangsbildes und eines zweiten Eingangsbildes;
– einen Bewegungsschätzer 104 zum Schätzen eines Bewegungsvektorfeldes basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild; und
– eine Bewegungskompensationseinheit 106, um basierend auf einem weiteren Bewegungsvektorfeld sowie basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild ein Ausgangsbild zu berechnen.

Der Bildprozessor 100 ist so beschaffen, dass er eine Quelle aus einer Gruppe von Quellen auswählt, wobei die Quelle das weitere Bewegungsvektorfeld an die Bewegungskompensationseinheit 106 liefert und die Gruppe der Quellen Folgendes umfasst:

– den Bewegungsschätzer 104; und
– eine externe Einheit 108.

Der Datenbus 112 ist so beschaffen, dass er den Datenaustausch von z.B. Eingangsbild, Ausgangsbild und Bewegungsvektoren ermöglicht. An den Datenbus 112 sind angeschlossen:

– der Bildprozessor 100;
– eine externe Speichereinrichtung 110, die so eingerichtet ist, dass sie z.B. Daten von Eingangs- und Ausgangsbildern und Bewegungsvektoren speichert; und
– die externe Einheit 108.

Die Arbeitsweise des Bildprozessors ist wie folgt: Über den Datenbus 112 werden ein erstes und ein zweites Eingangsbild von der externen Speichereinrichtung 110 abgerufen und in der Speichereinheit 102 gespeichert. Es ist möglich, alle Pixel des ersten und zweiten Eingangsbildes gleichzeitig in der Speichereinheit 102 zu speichern. Vorzugs weise wird jedoch nur ein Teil dieser Pixel gleichzeitig in der Speichereinheit 102 gespeichert. Das erste und das zweite Eingangsbild werden über den Bilddatenpfad 116 bzw. den Bilddatenpfad 118 ausgetauscht. Falls zuvor kein Bewegungsvektorfeld dieses Bildpaares berechnet worden ist, werden das erste und das zweite Eingangsbild an den Bewegungsschätzer 104 geliefert. Der Bewegungsschätzer 104 berechnet das Bewegungsvektorfeld und liefert dieses über den Bewegungsvektorpfad 114 an die Bewegungskompensationseinheit 106. Das erste und das zweite Eingangsbild werden außerdem über die Bilddatenpfade 126 und 128 an die Bewegungskompensationseinheit 106 geliefert, die das entsprechende Ausgangsbild berechnet. Falls zuvor ein Bewegungsvektorfeld dieses Bildpaares berechnet worden ist, wird das weitere Bewegungsvektorfeld von der externen Quelle 108 abgerufen und über den Bewegungsvektorpfad 120 zusammen mit dem ersten und dem zweiten Eingangsbild der Bewegungskompensationseinheit 106 zugeführt. Auf der Grundlage dieser Eingabe berechnet die Bewegungskompensationseinheit 106 das entsprechende Ausgangsbild. Das Ausgangsbild wird über den Bilddatenpfad 115 ausgetauscht. Über den Bilddatenpfad 125 werden Bilddaten an die externe Einheit 108 geliefert, und über den Bewegungsvektorpfad 123 werden Bewegungsvektoren von der externen Einheit 108 abgerufen. Die Bewegungskompensationseinheit 106 ist so beschaffen, dass sie mindestens eine der folgenden Operationen ausführt:

– Zeilenentflechtung;
– zeitliche Bildinterpolation; oder
– Unterdrückung von zeitlichem Rauschen.

Vorzugsweise arbeiten der Bewegungsschätzer 104 und die Bewegungskompensationseinheit 106 gemäß einem Algorithmus, wie er in dem Artikel „IC for motion-compensated de-interlacing, noise reduction, and picture rate conversion" von G. de Haan in IEEE-Transactions on Consumer Electronics, Bd. 45, Nr. 3, August 1999, beschrieben ist. Wahlweise wird die Zeilenentflechtung gemäß einem anderen Verfahren, wie es in „De-interlacing – An Overview" von G. de Haan in Proceedings of the IEEE, Bd. 86, Nr. 9, September 1998, beschrieben ist, durchgeführt.
Vorzugsweise ist der Bildprozessor in einer integrierten Schaltung verwirklicht. Alternativ ist der Bildprozessor mit mehreren integrierten Schaltungen verwirklicht, die über Verbindungen, die eine verhältnismäßig große Bandbreite aufweisen, zusammengeschaltet sind.
1B zeigt in schematischer Darstellung eine Ausführungsform des Bildprozessors 101, die einen Schalter 130 umfasst, der Folgendes aufweist:

– einen ersten Eingangsanschluss, der über den Bewegungsvektorpfad 114 mit dem Bewegungsschätzer 104 verbunden ist;
– einen zweiten Eingangsanschluss, der über den Bewegungsvektorpfad 120 mit der externen Einheit 108 verbunden ist; und
– einen Ausgangsanschluss, der mit der Bewegungskompensationseinheit 106 verbunden ist, wobei der Schalter 130 Folgendes aufweist:
– einen ersten Zustand, in dem der erste Eingangsanschluss mit dem Ausgangsanschluss verbunden ist, wodurch es möglich ist, das weitere Bewegungsvektorfeld direkt vom Bewegungsschätzer 104 an die Bewegungskompensationseinheit 106 zu liefern; und
– einen zweiten Zustand, in dem der zweite Eingangsanschluss mit dem Ausgangsanschluss verbunden ist, wodurch es möglich ist, das weitere Bewegungsvektorfeld von der externen Einheit 108 an die Bewegungskompensationseinheit 106 zu liefern.

Der Bewegungsschätzer 104 umfasst eine erste Steuerschnittstelle 134, um den Bewegungsschätzer 104 zu aktivieren und/oder zu deaktivieren, und die Bewegungskompensationseinheit 106 umfasst eine zweite Steuerschnittstelle 132, um die Bewegungskompensationseinheit 106 zu aktivieren und/oder zu deaktivieren. Ein Hauptteil der Synchronisierung und Steuerung des Bewegungsschätzers 104 und der Bewegungskompensationseinheit 106 wird außerhalb dieser Einheiten 104, 106 durchgeführt.
Die Speichereinheit 102 umfasst eine erste Untereinheit 103 für die Speicherung des ersten Eingangsbildes und eine zweite Untereinheit 105 für die Speicherung des zweiten Eingangsbildes.
Der Bildprozessor 101 ist so eingerichtet, dass er das Bewegungsvektorfeld über den Bewegungsvektorpfad 113 bzw. 124 von dem Bewegungsschätzer 104 zu der externen Einheit 108 wechseln lässt.
Im Zusammenhang mit 2, 3A und 3B wird beschrieben, unter welchen Bedingungen der Schalter im ersten oder im zweiten Zustand ist und ob der Bewegungsschätzer 104 und die Bewegungskompensationseinheit 106 aktiviert oder deaktiviert sind. Dies ist in der Tabelle 1 zusammengefasst.
Tabelle 1
2 zeigt in schematischer Darstellung den Datenfluss 202 des Bewegungsvektorfeldes in einer Ausführungsform des Bildprozessors 101, die in der Einfachdurchlaufbetriebsart läuft. Sowohl der Bewegungsschätzer 104 als auch die Bewegungskompensationseinheit 106 sind aktiviert, wie mit den Markierungen 204 und 206 angegeben ist. Der Schalter 130 ist im ersten Zustand. Die Abfolge der Verarbeitungsschritte ist wie folgt: Das erste Eingangsbild und das zweite Eingangsbild werden von der externen Speichereinrichtung 110 empfangen und in der Speichereinheit 102 des Bildprozessors 101 zwischengespeichert. Das erste Bild, d.h. das so genannte vorhergehende Bild, wird in die Untereinheit 103 geladen, und das zweite Eingangsbild, d.h. das so genannte vorhergehende Bild, wird in die Untereinheit 105 geladen. Die Bilder werden in mehrere Segmente unterteilt. Für jedes der Segmente wird ein Bewegungsvektor berechnet. Zusammen bilden alle Vektoren eines Bildes ein Bewegungsvektorfeld. Diese Bewegungsvektoren werden direkt an die Bewegungskompensationseinheit 106 geliefert, die das bewegungskompensierte Ausgangsbild berechnet. Im Prinzip werden die Bewegungsvektoren einer nach dem anderen oder in kleinen Gruppen geliefert. Letzten Endes wird jedoch das vollständige Bewegungsvektorfeld geliefert. Der Vorteil, wenn die Bewegungsvektoren einer nach dem anderen geliefert werden, besteht darin, dass die Bewegungskompensationseinheit 106 das Ausgangsbild verhältnismäßig kurze Zeit nach der Berechnung des letzten Bewegungsvektors fertigstellen kann. Ein weiterer Vorteil ist, dass im Bildprozessor 101 kein Speicherplatz erforderlich ist, um das vollständige Bewegungsvektorfeld zu speichern. Üblicherweise werden die Bewegungsvektoren ebenfalls in der externen Speichereinrichtung 110 gespeichert.
3A zeigt in schematischer Darstellung den Datenfluss 302 des Bewegungsvektorfeldes in einer Ausführungsform des Bildprozessors 101 während des ersten Durchlaufs der Zweifachdurchlaufsbetriebsart. Der Bewegungsschätzer 104 ist aktiviert, und die Bewegungskompensationseinheit 106 ist deaktiviert, wie die Bezugszeichen 304 und 306 anzeigen. Der Schalter 130 ist im zweiten Zustand. Der Zustand des Schalters 130 ist jedoch nicht maßgeblich, da die Bewegungskompensationseinheit 106 deaktiviert ist. Die Abfolge der Verarbeitungsschritte ist wie folgt: Das erste Eingangsbild und das zweite Eingangsbild werden von der externen Speichereinrichtung 110 empfangen und in der Speichereinheit 102 des Bildprozessors 101 zwischengespeichert. Die Bilder werden in mehrere Segmente unterteilt. Für jedes der Segmente wird ein Bewegungsvektor berechnet. Diese Bewegungsvektoren werden vorübergehend in der externen Speichereinrichtung 110 gespeichert. Die externe Einheit 108 kann auf diese Bewegungsvektoren zugreifen. Die externe Einheit 108 ist so beschaffen, dass sie ein weiteres Bewegungsvektorfeld berechnet, das wahlweise auf den Bewegungsvektoren basiert, die vom Bewegungsschätzer 104 berechnet werden. Das von der externen Einheit 108 berechnete weitere Bewegungsvektorfeld wird vom Bildprozessor 101 im zweiten Durchlauf verwendet. Wahlweise wird dieses weitere Bewegungsvektorfeld ebenfalls in der externen Speichereinrichtung 110 gespeichert.
3B zeigt in schematischer Darstellung den Datenfluss 312 des weiteren Bewegungsvektorfeldes in einer Ausführungsform des Bildprozessors 101 während des zweiten Durchlaufs der Zweifachdurchlaufsbetriebsart. Der Bewegungsschätzer 104 ist deaktiviert und die Bewegungskompensationseinheit 106 ist aktiviert, wie die Bezugszeichen 308 und 310 anzeigen. Der Schalter 130 ist im zweiten Zustand. Die Abfolge der Verarbeitungsschritte ist wie folgt: Das erste Eingangsbild und das zweite Eingangsbild werden von der externen Speichereinrichtung 110 empfangen und in der Speichereinheit 102 des Bildprozessors 101 zwischengespeichert. Die jeweiligen Bewegungsvektoren, die dem ersten und dem zweiten Eingangsbild entsprechen, werden von der externen Quelle 108 geliefert oder aus dem externen Speicher 110 abgerufen. Die Bewegungskompensationseinheit 106 berechnet das Ausgangsbild. Die Abtastrichtung, d.h. die Reihenfolge der Segmente, die während des zweiten Durchlaufs verarbeitet werden, ist unabhängig von der Abtastrichtung während des ersten Durchlaufs. Anders ausgedrückt: Im ersten Durchlauf können Bewegungsvektoren für Segmente von rechts unten nach links oben im Bild berechnet werden, während im zweiten Durchlauf das bewegungskompensierte Ausgangsbild durch Verarbeiten von Segmenten von z.B. links oben nach rechts unten erzeugt werden kann. Dies ermöglicht einen Wechsel der Abtastrichtungen des Bewegungsschätzers, wodurch sich die Konvergenzgeschwindigkeit der Algorithmen erhöht, während die Bewegungskompensation immer die gleiche Abtastrichtung verwendet.
Die externe Einheit 108 und der Bildprozessor 101 sind beide so beschaffen, dass sie Bewegungsvektoren berechnen, die sich auf dieselbe Folge von Bildern beziehen. Der Bildprozessor 101 ist so beschaffen, dass er ein erstes Bewegungsvektorfeld eines bestimmten Bildpaares während eines ersten Zeitschlitzes berechnet. Die externe Einheit 108 ist so eingerichtet, dass sie basierend auf dem ersten Bewegungsvektorfeld ein zweites Bewegungsvektorfeld des bestimmten Bildpaares während eines zweiten Zeitschlitzes berechnet. In einem dritten Zeitschlitz wird das zweite Bewegungsvektorfeld von der Bewegungskompensationseinheit 106 des Bildprozessors 101 benutzt, um ein Ausgangsbild zu berechnen. Die externe Einheit 108 und der Bildprozessor 101 sind jedoch Prozessoren, die parallel arbeiten. Die Wirkung der Parallelverarbeitung wird anhand eines Beispiels erläutert. Das Beispiel ist in der Tabelle 2 zusammengefasst.
Tabelle 2
Während des Zeitschlitzes 1 berechnet der Bewegungsschätzer 104 des Bildprozessors 101 ein Bewegungsvektorfeld F₁(N, N + 1) des Bildpaares N, N + 1, während die externe Einheit 108 ein Bewegungsvektorfeld F₂(N – 1, N) des Bildpaares N – 1, N berechnet. Während des Zeitschlitzes 2 verwendet die Bewegungskompensationseinheit 106 des Bildprozessors 101 das Bewegungsvektorfeld F₂(N – 1, N) des Bildpaares N – 1, N, während die externe Einheit 108 ein Bewegungsvektorfeld F₂(N, N + 1) für das Bildpaar N, N + 1 berechnet. Es ist zu beachten, dass bei diesem Beispiel die externe Einheit 108 mehr Zeit auf die Berechnung eines Bewegungsvektorfeldes verwenden kann als der Bildprozessor. Wenn außerdem berücksichtigt wird, dass in den meisten Fällen nur ein Teil des Bewe gungsvektorfeldes einer Verbesserung bedarf, dann ist es überzeugend, dass die Zweifachdurchlaufbetriebsart eine verbesserte Bildqualität zur Folge hat.
4 zeigt in schematischer Darstellung ein Bildanzeigegerät 400 gemäß der Erfindung, das Folgendes umfasst:

– einen Empfänger 402 zum Empfangen einer Folge von Bildern. Die Bilder können rundgesendet und über eine Antenne oder ein Kabel empfangen werden, sie können jedoch auch von einer Speichereinrichtung wie etwa einem Videokassettenrecorder (VCR) oder einer DVD (Digital Versatile Disk) kommen. Die Folge von Bildern wird an den Eingangsanschluss 406 des Bildanzeigegeräts 400 geliefert. Die Bildfolgen treffen mit verschiedenen Bildraten ein: Filmmaterial mit 24 Hz, 25 Hz und 30 Hz und Video gewöhnlich mit 50 Hz und 60 Hz;
– einen Bildprozessor 101, der wie im Zusammenhang mit 1B beschrieben realisiert ist; und
– eine Anzeigeeinrichtung 404 zur Anzeige von Bildern. Die Anzeigeeinrichtung 404 kann z.B. vom Typ Kathodenstrahlröhren-(CRT), Flüssigkristall-(LCD) oder Plasmabildschirm (PDP) sein. Die Anzeigeeinrichtung 404 kann mit Bildraten von 50 Hz, 60 Hz oder 100 Hz und entweder im Zeilenfolgeverfahren oder im Zeilensprungverfahren arbeiten.

Es sollte beachtet werden, dass die oben erwähnten Ausführungsformen die Erfindung veranschaulichen und nicht beschränken, und dass der Fachmann in der Lage sein wird, alternative Ausführungsformen zu entwerfen, ohne vom Anwendungsbereich der beigefügten Ansprüche abzukommen. In den Ansprüchen sind Bezugszeichen, die in Klammern gesetzt sind, nicht als Beschränkung des jeweiligen Anspruchs zu verstehen. Die Verwendung des Wortes „umfassen" schließt das Vorhandensein von anderen als in den Ansprüchen erwähnten Elementen oder Schritten nicht aus. Die Verwendung des Wortes „ein" oder „eine" vor einem Element schließt das Vorhandensein mehrerer derartiger Elemente nicht aus. Die Erfindung kann mittels Hardware umgesetzt werden, die mehrere, voneinander verschiedene Elemente umfasst, und mittels eines entsprechend programmierten Computers. In den auf Baueinheiten bezogenen Ansprüchen, die mehrere Mittel aufzählen, können verschiedene dieser Mittel durch ein und dasselbe Hardwareelement verkörpert sein.

Claims

Bildprozessor (100, 101) zur bewegungskompensierten Bildverarbeitung, der Folgendes umfasst: – eine Speichereinheit (102) zum Speichern eines ersten Eingangsbildes und eines zweiten Eingangsbildes, – einen Bewegungsschätzer (104) zum Schätzen eines Bewegungsvektorfeldes basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild, und – eine Bewegungskompensationseinheit (106), um basierend auf einem weiteren Bewegungsvektorfeld sowie basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild ein Ausgangsbild zu berechnen, dadurch gekennzeichnet, dass er so beschaffen ist, dass er wahlweise das weitere Bewegungsvektorfeld – vom Bewegungsschätzer (104) oder – von einer externen Einheit 108 empfängt.
Bildprozessor (100, 101) nach Anspruch 1, dadurch gekennzeichnet, dass der Bildprozessor (100, 101) so beschaffen ist, dass er das Bewegungsvektorfeld an die externe Einheit (108) liefert, die so eingerichtet ist, dass sie das weitere Bewegungsvektorfeld auf der Grundlage des Bewegungsvektorfeldes berechnet.
Bildprozessor (100, 101) nach Anspruch 2, dadurch gekennzeichnet, dass die externe Einheit (108) so eingerichtet ist, dass sie einen bestimmten Bewegungsvektor des Bewegungsvektorfeldes neu berechnet.
Bildprozessor (100, 101) nach Anspruch 2, dadurch gekennzeichnet, dass er einen Schalter (130) umfasst, der Folgendes aufweist: – einen ersten Eingangsanschluss, der mit dem Bewegungsschätzer (104) verbunden ist, – einen zweiten Eingangsanschluss, der mit der externen Einheit (108) verbunden ist, und – einen Ausgangsanschluss, der mit der Bewegungskompensationseinheit (106) verbunden ist, wobei der Schalter (130) Folgendes aufweist: – einen ersten Zustand, in dem der erste Eingangsanschluss mit dem Ausgangsanschluss verbunden ist, und – einen zweiten Zustand, in dem der zweite Eingangsanschluss mit dem Ausgangsanschluss verbunden ist.
Bildprozessor (100, 101) nach Anspruch 2, dadurch gekennzeichnet, dass der Bewegungsschätzer (104) eine erste Steuerschnittstelle (134) umfasst, um den Bewegungsschätzer (104) zu aktivieren und/oder zu deaktivieren.
Bildprozessor (100, 101) nach Anspruch 2, dadurch gekennzeichnet, dass die Bewegungskompensationseinheit (106) eine zweite Steuerschnittstelle (132) umfasst, um die Bewegungskompensationseinheit (106) zu aktivieren und/oder zu deaktivieren.
Bildprozessor (100, 101) nach Anspruch 1, dadurch gekennzeichnet, dass die Bewegungskompensationseinheit (106) so beschaffen ist, dass sie mindestens eine der folgenden Operationen ausführt: – Zeilenentflechtung, – zeitliche Bildinterpolation oder – Unterdrückung von zeitlichem Rauschen.
Bildanzeigegerät (400), das Folgendes umfasst: – einen Empfänger (402) zum Empfangen einer Folge von Bildern, die ein erstes Eingangsbild und ein zweites Eingangsbild umfasst, – einen Bildprozessor (100, 101) zur bewegungskompensierten Bildverarbeitung mit: • einer Speichereinheit (102) zum Speichern des ersten Eingangsbildes und des zweiten Eingangsbildes, • einem Bewegungsschätzer (104), um basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild ein Bewegungsvektorfeld zu schätzen und • einer Bewegungskompensationseinheit (106), um basierend auf einem weiteren Bewegungsvektorfeld sowie basierend auf dem ersten Eingangsbild und dem zweiten Eingangsbild ein Ausgangsbild zu berechnen, – eine Anzeigeeinrichtung (404) zur Anzeige des Ausgangsbildes, dadurch gekennzeichnet, dass der Bildprozessor (100, 101) so beschaffen ist, dass er wahlweise das weitere Bewegungsvektorfeld – von dem Bewegungsschätzer (104) oder – von einer externen Einheit (108) empfängt.
Bildanzeigegerät (400) nach Anspruch 8, dadurch gekennzeichnet, dass der Bildprozessor (100, 101) so beschaffen ist, dass er das Bewegungsvektorfeld an die externe Einheit (108) liefert, die so eingerichtet ist, dass sie das weitere Bewegungsvektorfeld auf der Grundlage des Bewegungsvektorfeldes berechnet.
Bildanzeigegerät (400) nach Anspruch 8, dadurch gekennzeichnet, dass die Bewegungskompensationseinheit (106) so beschaffen ist, dass sie mindestens eine der folgenden Operationen ausführt: – Zeilenentflechtung, – zeitliche Bildinterpolation oder – Unterdrückung von zeitlichem Rauschen.