DE69422255T2 - Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern - Google Patents

Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern

Info

Publication number
DE69422255T2
DE69422255T2 DE69422255T DE69422255T DE69422255T2 DE 69422255 T2 DE69422255 T2 DE 69422255T2 DE 69422255 T DE69422255 T DE 69422255T DE 69422255 T DE69422255 T DE 69422255T DE 69422255 T2 DE69422255 T2 DE 69422255T2
Authority
DE
Germany
Prior art keywords
motion
interpolation
fallback
fbi
mci
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69422255T
Other languages
English (en)
Other versions
DE69422255D1 (de
Inventor
Nadine Bolender
Andrew Hackett
Michel Kerdranvat
Michael Knee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vantiva SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Publication of DE69422255D1 publication Critical patent/DE69422255D1/de
Application granted granted Critical
Publication of DE69422255T2 publication Critical patent/DE69422255T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung für die bewegungskompensierte Interpolation von Zwischen-Halbbildern oder -Vollbildern.
  • Hintergrund
  • Gegenwärtige Fernseh-Übertragungs-Normen in Europa und anderen Teilen der Welt arbeiten mit einer 50 Hz-Anzeige-Erneuerungsrate. Ein komplettes Bild oder Vollbild wird alle 1/25 Sekunden übertragen. Jedes Vollbild setzt sich aus zwei Halbbildern zusammen, von denen jedes alle 1/50 Sekunden übertragen wird. Jedes Halbbild besteht entweder aus den ungeradzahligen oder geradzahligen Zeilen eines Vollbildes. Das Verfahren der Erneuerung einer Anzeige auf der Kathodenstrahlröhre bewirkt eine Änderung der Lichtintensität mit der Zeit, die als Flimmern bezeichnet wird. Bei 50 Hz ist das menschliche Auge noch für dieses Flimmern empfindlich, und bei hellen Szenen und/oder großen Anzeigen ist dieses Flimmern wahrnehmbar. Ein Verfahren zur Beseitigung der Sichtbarkeit dieses Flimmerns ist die Erneuerung der Anzeige mit einer höheren Frequenz. Diese Zunahme der Halbbildrate kann von jedem willkürlichen Maß sein, solange eine Frequenz gewählt wird, die ausreichend groß ist, so daß demgegenüber die Empfindlichkeit des Auges sehr niedrig ist. Die als Beispiel in dieser Beschreibung verwendete Frequenz beträgt 100 Hz, eine Verdoppelung der Frequenz, was zu einer verhältnismäßig einfachen Hardware-Ausführung führt, obwohl im Prinzip jede Frequenz verwendet werden kann und auch 75 Hz in Betracht gezogen worden ist. Bei der beispielsweisen Frequenz von 100 Hz gibt es zwei Abtastschemata, die verwendet werden können, die als AABB und ABAB bekannt sind, wobei die Buchstaben A und B sich auf die Positionen der ungeradzahligen und geradzahligen Halbbilder F beziehen. Die Anordnung der beiden Arten der Abtastung ist in Fig. 1A und 1C dargestellt. Die Zeilen L, die zu dem ursprünglichen Eingangssignal gehören, sind mit 'o' bezeichnet, und neue Zeilen, die gebildet werden müssen, sind mit 'x' bezeichnet. Die Daten in den neuen Halbbildern können aus dem ursprünglichen Eingangssignal erzeugt werden, wie durch die Pfeile in Fig. 1 dargestellt ist. Dies ergibt eine annehmbare Bildqualität, wenn die Bilder statisch sind. Wenn sich die Bilder bewegen, ist die subjektive Wirkung in jedem Fall die eines doppelten Bildes. Dies rührt daher, daß die Daten in den neuen Halbbildern in der falschen zeitlichen Position angezeigt werden, und wenn das Auge die Bewegung auf dem Schirm verfolgt, führt dies zu einem doppelten Bild der einen oder anderen Form. Dieser Effekt ist in Fig. 1B und 1D dargestellt, wobei die letztere "Mausezahn"-Artefakte zeigt.
  • Das Erscheinungsbild eines doppelten Bildes um sich bewegende Objekte herum kann durch Erzeugung der neuen 100 Hz- Halbbilder mit dem Objekt in der richtigen Position vermindert oder beseitigt werden. Dies geschieht durch Messen der Geschwindigkeit, mit der das Objekt sich bewegt und durch anschließende Interpolation des neuen Halbbildes unter Verwendung von Informationen von der richtigen Position (d. h. von dem Objekt) in den Quellen-Halbbildern. Dieses Verfahren wird als bewegungskompensierte Interpolation bezeichnet und in diesem Fall bei der Vollbild/Halbbild-Raten-Aufwärts-Umwandlung verwendet, aber es könnte ebenso gut andere Anwendungen haben, beispielsweise bei der Erzeugung eines verbesserten Zeitlupen- Videosignals oder bei der Norm-Umwandlung.
  • Ein Verfahren der Bewegungsabschätzung ist als Block- Anpassung bekannt. Üblicherweise wird das gegenwärtige Halbbild oder Vollbild in rechteckige Blöcke unterteilt. Für jeden Block erfolgt eine Suche über sich überlappenden Blöcken in dem vorhergehenden Halbbild oder Vollbild, um dasjenige zu finden, das dem gegenwärtigen Halbbild-Block am besten gemäß einem bestimmten Kriterium angepaßt ist, üblicherweise dem mittleren quadratischen oder dem mittleren absoluten Fehler. Die relative Position der beiden Blöcke ergibt den Verschiebungs- oder Bewegungs-Vektor für den gegenwärtigen Block.
  • Proceedings of the Second International Workshop on Signal Processing of HDTV, L'Aquila, Italien, 29. Februar bis 2. März 1988, Amsterdam, NL, Seiten 393 bis 399, G. Fernando et al.: "Motion compensated display conversion" offenbart eine bewegungskompensierte Interpolation von Zwischenbildern, bei der auch eine Fallback-Interpolation vorgeschlagen wird.
  • Research Disclosure, Februar 1993, Nr. 34676, Seite 132, anonym veröffentlicht: "Field compensated display conversion" offenbart die zeitliche Durchschnittsbildung von Halbbildern, um Zwischen-Halbbilder zu erzeugen. Die zusätzlichen Halbbilder werden horizontal tiefpaßgefiltert. Um den Verlust an Schärfe zu kompensieren, werden die hohen Frequenzen der Eingangs- Halbbilder hervorgehoben.
  • Erfindung
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur verbesserten Fallback-Verarbeitung zu offenbaren. Diese Aufgabe wird durch das im Anspruch 1 offenbarte Verfahren gelöst.
  • Es ist eine weitere Aufgabe der Erfindung, eine Vorrichtung zu offenbaren, die das erfindungsgemäße Verfahren verwendet. Diese Aufgabe wird durch die im Anspruch 6 offenbarte Vorrichtung gelöst.
  • Das oben beschriebene Prinzip der Bewegungs-Abschätzung gilt unabhängig davon, ob einseitige oder doppelseitige Blockanpassung verwendet wird. Die doppelseitige Blockanpassung und ihre Vorteile sind in WO-A-95/07 591 der Anmelderin beschrieben.
  • Da die Blockanpassung rechnerisch intensiv ist, führen Echtzeit-Hardware-Ausführungen dieses Verfahrens zu einer gewissen Form von Parallelverarbeitung. Die allgemeinste Form besteht darin, einen Block-Anpassungs-Prozessor pro Bewegungs- Vektor-Anwärter zu haben. Eine beispielsweise Hardware- Ausführung für ein einseitiges Block-Anpassungsschema ist in Fig. 2 dargestellt. Diese Ausführung erlaubt die Messung von Geschwindigkeiten bis hinauf zu ± zwei Pixeln oder Zeilen in der horizontalen und vertikalen Richtung. Jedes Verarbeitungselement paßt parallel den gegenwärtigen Block an diejenigen Blöcke in dem vorhergehenden Halbbild oder Vollbild an, die um + zwei Pixel oder Zeilen verschoben sind.
  • Um in allen Fällen gute Ergebnisse zu erhalten, sollte der Block-Suchbereich alle möglichen Bewegungs-Vektoren abdecken, die in dem ankommenden Signal vorhanden sein können. Da die Zahl von Verarbeitungselementen unmittelbar auf die Kompliziertheit und damit die Kosten der Hardware-Ausführung bezogen sind, gibt es einen gewissen Anreiz, die Zahl von Anwärter-Vektoren zu minimieren, die geprüft werden müssen.
  • Wie in EP-A-630 926 der Anmelderin beschrieben ist, besteht ein Verfahren zur Verminderung der Hardware-Kosten darin, nur einen begrenzten Bereich von möglichen Bewegungs-Vektoren innerhalb des Bildes abzudecken und etwas von diesem Bereich mit verminderter Genauigkeit abzudecken.
  • Ein Beispiel hierfür, das auf die bewegungskompensierte Vollbild/Halbbild-Raten-Aufwärts-Umwandlung bezogen ist, zeigt Fig. 3, worin '.' ein Platz eines Bewegungs-Vektor-Prozessors in dem zweidimensionalen Geschwindigkeitsraum Vy/Vx ist. Die Bewegungs-Abschätzung wird (innerhalb des Bereiches AHP mit hoher Genauigkeit) mit einer guten Genauigkeit von kleinen oder langsamen Bewegungen ausgeführt, und wenn die Geschwindigkeit des Objektes zunimmt, nimmt die Genauigkeit der Abschätzung ab (innerhalb des Bereiches ALP mit niedriger Genauigkeit). Schließlich gibt es eine begrenzende Geschwindigkeit (nicht kompensierter Bereich UCR), außerhalb von der keine Bewegungs- Abschätzung ausgeführt wird, und wo eine Kompensation daher unmöglich ist und statt dessen eine Fallback-Verarbeitung erforderlich ist. Die Vorliegende Erfindung bezieht sich auf diesen nicht kompensierten Bereich. Außerdem ist die Erfindung bei den beiden in Fig. 1A und 1B dargestellten Abtast-Typen anwendbar.
  • Wie bereits erwähnt wurde, herrschen wirtschaftliche Faktoren gegenüber der Ausführung eines bewegungskompensierten Aufwärts-Umwandlungs-Schemas vor, das in der Lage ist, eine bewegungskompensierte Aufwärts-Umwandlung für alle möglichen Geschwindigkeiten von Objekten anzuwenden, die innerhalb des ankommenden Fernsehsignals enthalten sein können. Die Fallback- Verarbeitung behandelt den Fall, bei dem die Geschwindigkeit eines Objektes oder ein Schwenken über eine Szene die maximale Geschwindigkeit überschreitet, die von dem Bewegungs- Abschätzungs-System getragen wird. Fig. 4 zeigt einen möglichen Effekt am Rand eines sich bewegenden Objektes, wenn sich das Objekt bei Betrachtung nach einem üblichen Aufwärts- Umwandlungsprozeß durch den in Fig. 3 dargestellten Geschwindigkeitsbereich beschleunigt. Das Objekt startet vom Ruhezustand (Null-Geschwindigkeit ZV, Fig. 4a). Wenn sich das Objekt beschleunigt, wird der Fehler in der Bewegung gut kompensiert (ganzzahlige Pixelgeschwindigkeit IPVH und nicht- ganzzahlige Pixelgeschwindigkeit NIPVH im Bereich AHP mit hoher Genauigkeit), bis der Bereich der Messung niedriger Genauigkeit erreicht wird (nichtganzzahlige Pixelgeschwindigkeit NIPVL im Bereich ALP mit niedriger Genauigkeit), die als annehmbar angesehen werden kann, da das menschliche Sehsystem solche kleinen Fehler bei einem sich mit einer verhältnismäßig hohen Geschwindigkeit bewegenden Objektes nicht registriert. Was nicht annehmbar ist, ist die abrupte Änderung, wenn der Rand des bewegungskompensierten Geschwindigkeitsbereiches überquert wird (Geschwindigkeit VOSR außerhalb des getragenen Bereiches AHP und ALP). Das Bild ändert sich abrupt von dem Aussehen in Fig. 4b, 4c oder 4d in das von Fig. 4e.
  • Unter erneuter Bezugnahme auf Fig. 1A und 1C sieht man, daß dies zu einer plötzlichen Änderung in Teilen des Bildes von einem einzelnen sich bewegenden Bild mit hoher Qualität zu einem doppelten Bild mit niedriger Qualität mit oder ohne 'Mäusezähne' in Abhängigkeit von der Art der verwendeten Aufwärts-Umwandlung führt. Es ist der Zweck der erfindungsgemäßen Fallback-Verarbeitung, die subjektive Erscheinung von Bildern zu verbessern, die sich mit einer Geschwindigkeit bewegen, die zu groß ist, um genau kompensiert werden zu können.
  • Man sieht aus Fig. 1, daß die Bilder, die in der falschen zeitlichen Position sind, diejenigen der neuen Halbbilder sind (gekennzeichnet durch 'x'). Wenn man den Fall von Fig. 1A der Abtastung vom AABB-Typ betrachtet (ABAB ist ähnlich), ist das vollständige Bild bereits in der richtigen zeitlichen Position in den ursprünglichen Halbbildern vorhanden.
  • Wenn eine bewegungskompensierte Verarbeitung unmöglich ist, können die neuen Halbbilder durch nicht kompensierte Verfahren erzeugt werden, z. B. durch Wiederholung der ursprünglichen Halbbilder oder durch Erzeugung eines Bildes mit progressiver Abtastung und Verzögerung von abwechselnden Zeilen um 10 ms. Die subjektive Erscheinung des doppelten Bildes wird dann beträchtlich durch starke Tiefpaßfilterung der neuen Halbbilder in der horizontalen Richtung verbessert. Die Filterung muß über einem Bereich aktiv sein, der in der Größe mit dem doppelten Bild vergleichbar ist.
  • Die Wirkung dieser Filterung besteht darin, jede bedeutsame Einzelheit aus den neu interpolierten Halbbildern zu entfernen. Der Filterungsprozeß verwischt die Halbbilder, die mit Informationen in der falschen zeitlichen Position angezeigt werden. Dieses Verwischen in jedem zweiten Halbbild eines 100 Hz-Videosignals ist annehmbar, da das menschliche Sehsystem dieses nicht bei einem Objekt registriert, das sich mit hoher Geschwindigkeit bewegt. Da Einzelheiten nur in Halbbildern mit Informationen vorhanden sind, die in der richtigen zeitlichen Position vorliegen, wird die subjektive Stärke des doppelten Bildes stark vermindert, was zu einer stark verbesserten subjektiven Bildqualität führt. Bei dieser Ausführung wird die Fallback-Verarbeitung auf die neuen Halbbilder angewendet, wenn ein Bewegungs-Vektor nicht bestimmt werden kann, was normalerweise der Fall ist, wenn die Geschwindigkeit in dem nicht kompensierten Bereich UCR liegt.
  • Im Prinzip ist das erfindungsgemäße Verfahren für die bewegungskompensierte Interpolation von Zwischen-Halbbildern oder -Vollbildern eines Eingangs-Videosignals unter Verwendung von Pixel-Block-Bewegungs-Vektoren geeignet, wobei im Falle von Bewegungsgeschwindigkeiten, die sich über einen vorgewählten Bereich erstrecken oder für den Fall, daß Bewegungs-Vektoren nicht bestimmt werden können, eine Fallback-Interpolation ausgeführt wird, bei der Pixelwerte der Zwischen-Halbbilder oder -Vollbilder nur horizontal tiefpaßgefiltert werden, und wobei die Filterung über einem Bereich aktiv ist, der mit der Größe von Doppelbild-Artefakten vergleichbar ist, die durch die fehlende bewegungskompensierte Interpolation verursacht werden.
  • Vorteilhafte zusätzliche Ausführungsformen des erfindungsgemäßen Verfahrens ergeben sich aus den entsprechenden Unteransprüchen.
  • Im Prinzip enthält die erfindungsgemäße Vorrichtung zur bewegungskompensierten Interpolation von Zwischen-Halbbildern oder -Vollbildern eines Video-Eingangssignals unter Verwendung von Pixel-Block-Bewegungs-Vektoren:
  • - bewegungskompensierte Interpolationsmittel und Fallback- Interpolationsmittel, die das Video-Eingangssignal empfangen, und deren Ausgangs-Pixelwerte in Schaltmitteln in bezug auf den Bewegungs-Vektor oder seine horizontale Komponente ausgewählt werden, wobei in den Fallback- Interpolationsmitteln Pixelwerte der Zwischen-Halbbilder oder -Vollbilder nur horizontal tiefpaßgefiltert werden, und wobei die Filterung über einem Bereich aktiv ist, der in der Größe mit Doppelbild-Artefakten vergleichbar ist, die durch die fehlende bewegungskompensierte Interpolation verursacht werden;
  • - Bewegungs-Abschätzungsmittel, die aus dem Eingangs- Videosignal oder den Bewegungs-Informations- Herausziehmitteln, die die Information aus dem übertragenen Video-Eingangssignal-Datenstrom herausziehen, den Block-Basis-Bewegungs-Vektor und/oder seine horizontale Komponente berechnen, wobei für den Fall, daß der Bewegungs-Vektor oder seine horizontale Komponente sich über einen vorgewählten Bereich erstreckt, oder für den Fall, daß der Bewegungs-Vektor nicht bestimmt werden kann, die Fallback-Interpolationsmittel von den Schaltmitteln ausgewählt werden.
  • Vorteilhafte zusätzliche Ausführungsformen der erfindungsgemäßen Vorrichtung ergeben sich aus den entsprechenden Unteransprüchen.
  • Zeichnungen
  • Bevorzugte Ausführungsformen der Erfindung werden nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. In den Zeichnungen stellen dar:
  • Fig. 1 AABB- und ABAB-Abtastung für die Aufwärts- Umwandlung und resultierende Artefakte;
  • Fig. 2 eine typische Bauart für einseitige Blockanpassung;
  • Fig. 3 eine beispielsweise Konfiguration von Verminderter Abdeckung von Bewegungs- Vektor-Prozessoren;
  • Fig. 4 das Erscheinungsbild eines sich bewegenden Objektes, das sich horizontal über den Geschwindigkeitsraum von Fig. 3 beschleunigt;
  • Fig. 5 ein Fallback-Verarbeitungs-Tiefpaßfilter;
  • Fig. 6 ein vereinfachtes Blockschaltbild einer erfindungsgemäßen Vorrichtung.
  • Bevorzugte Ausführungsformen
  • Fig. 2 zeigt einen möglichen Aufbau für einseitige Block- Anpassungs-Bewegungs-Abschätzer mit einem Bereich von ± 2 Pixeln pro Halbbild horizontal und vertikal, um die Genauigkeit zu erhöhen. Der Aufbau beruht auf Verarbeitungselementen PE, eines pro Bewegungs-Vektor-Anwärter. Jedes Verarbeitungselement PE sammelt die Fehler zwischen den Pixeln an (die eine Gruppe bilden, die auf eine Anwärter-Block-Position bzw. einen Vektor bezogen sind), die an seinen beiden Eingängen ankommen, wobei Teilergebnisse gespeichert werden, um zu einem Gesamt-Fehler für jeden Block zu kommen. Die Verarbeitungselemente sind miteinander durch in den Figuren nicht dargestellte Mittel verbunden, um herauszufinden, welches den minimalen Fehler für jeden Block ergibt. Die Verarbeitungselemente können den minimalen absoluten Wert oder den minimalen quadratischen Fehler berechnen. Alle Verarbeitungselemente PE haben einen gemeinsamen Eingang IN, der dem gegenwärtigen Block entspricht. Die relativen Verschiebungen zwischen den Pixeln in dem Suchfenster werden durch ein Netzwerk der Zeile LD und Abtast-Verzögerungen SD liefert, die der Halbbild-Verzögerung FD folgen, die dem Eingang INP zugeführt wird.
  • Das Fallback-Verarbeitungs-Tiefpaßfilter in Fig. 5 läßt das Eingangssignal (d. h. die 'x'-Pixel in den Zeilen von Fig. 1) durch eine Kette von einer horizontalen Abtastverzögerung T durch. Die entsprechenden verzögerten Ausgangs-Pixelwerte und die Pixelwerte des Eingangssignals IN werden durch die Filterkoeffizienten 1/16, 2/16, 3/16, 4/16, 3/16, 2/16, 1/16 in Multiplizierschaltungen X multipliziert. Die Ausgänge der Multiplizierschaltungen werden in der Addierstufe '+' kombiniert, um die endgültigen Ausgangs-Pixelwerte OUT für die Zwischen-Halbbilder zu bilden.
  • In Fig. 6 verläuft das 50/60 Hz-Eingangssignal IN durch eine bewegungskompensierte Interpolationsschaltung MCI oder eine Fallback-Interpolationsschaltung FPI und einen Schalter SW zu dem 100/120 Hz-Ausgang. Die Schaltung ME kann ein Bewegungs- Abschätzer sein, der bezogene Bewegungs-Vektoren MV aus dem Eingangssignal IN berechnet und den Schalter SW steuert, indem sich stark bewegende Bildbereiche festgestellt werden, in denen keine Bewegungsabschätzung ausgeführt werden kann. Diese Information kann auch übertragen werden, wenn der Bewegungs- Abschätzer in einen Sender lokalisiert wird, und die Schaltung von Fig. 6 Teil eines Empfängers, z. B. eines Fernsehempfängers ist. Dann kann die Schaltung ME den Bewegungs-Vektor MV und die Information für nicht bewegungsabgeschätzte Bildbereiche aus dem übertragenen Eingangssignal-Datenstrom herausziehen. Die Bewegungsinformation wird im Interpolator MCI verwendet, um die bewegungskompensierte Interpolation der Zwischen-Halbbilder durchzuführen. Der Schalter SW kann auch als Überblend-Schalter arbeiten, der den MCI/FBI-Übergang an der äußeren Grenze des Bereiches ALP glättet. Die Schaltung ME kann eine Schaltung gemäß Fig. 2 enthalten. Die Interpolationsschaltung FBI kann ein Filter gemäß Fig. 5 enthalten.
  • Im Fall einer sich gleichmäßig bewegenden Kante ist der Bewegungs-Vektor nur in der Richtung senkrecht zu der Kante gültig. Bei dem gegebenen Fall wird die Fallback-Verarbeitung (aus Kostengründen) auf die Horizontal-Filterung begrenzt. Daher könnte eine Ausführung darin bestehen, die Anwendung der Fallback-Betriebsart auf Fälle zu begrenzen, bei denen nur die horizontale Komponente der Geschwindigkeit außerhalb des Bereiches ist (d. h. im Fall von Kanten ein Betrieb nur bei vertikalen Kanten). Eine andere Möglichkeit, die in der begleitenden Patentammeldung EP-A-648 047 der Anmelderin beschrieben ist, könnte darin bestehen, die Anwendung der Fallback-Betriebsart-Verarbeitung über eine gewisse Zwischenform von Vektor-Konditionierung zu steuern, z. B. als Vertrauensmaßnahme.
  • Die Erfindung kann auch für die Norm-Umwandlung, die Bit- Raten-Verminderung, digitales HDTV, digitale VCR, digitale Video-Plattenspieler und MPEG1- oder MPEG2-Vorrichtungen (lEC/ISO-Norm) verwendet werden.

Claims (10)

1. Verfahren zur bewegungskompensierten Interpolation (MCI) von Zwischen-Halbbildern oder -Vollbildern (x) eines Video- Eingangssigals unter Verwendung von Pixel-Block-Bewegungs- Vektoren, wobei auch eine Fallback-Interpolation (FBI) vorgesehen ist, dadurch gekennzeichnet, daß die Fallback- Interpolation in dem Fall ausgeführt wird, daß die horizontale Komponente der Bildbewegung eine Geschwindigkeit Vh überschreitet, die für eine richtige Kompensation zu groß ist, wobei die Pixelwerte der Zwischen-Halbbilder oder Vollbilder nur horizontal in einer solchen Weise tiefpaßgefiltert werden (T, X, +), daß die Filterung über einem Bereich wirksam ist, der mit der Größe von Doppelbild-Artefakten vergleichbar ist, die durch die fehlende bewegungskompensierte Interpolation verursacht werden.
2. Verfahren nach Anspruch 1, bei dem die bewegungskompensierte Interpolation (MCI) mit einer höheren Bewegungs- Abschätzungs-Genauigkeit für langsamere Bewegungen (AHP) und mit einer niedrigeren Bewegungs-Abschätzungs-Genauigkeit für schnellere Bewegungen (ACP), die für eine genaue Kompensation noch nicht zu groß ist, durchgeführt wird.
3. Verfahren nach Anspruch 1 oder 2, bei dem die Fallback- Interpolation (FBI) in Relation zu einer Vertrauensmaßnahme des Bewegungs-Vektors (MV) durchgeführt wird.
4. Verfähren nach einem der Ansprüche 1 bis 3, bei dem eine Überblendschaltung (SW) zwischen der bewegungskompensierten Interpolation (MCI) und der Fallback-Interpolation (FBI) durchgeführt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Fallback-Interpolation (FBI) durchgeführt wird, falls ein Bewegungs-Vektor nicht bestimmt werden kann.
6. Vorrichtung zur bewegungskompensierten Interpolation (MCI) von Zwischen-Halbbildern oder -Vollbildern (x) eines Video- Eingangssignals unter Verwendung von Pixel-Block-Bewegungs- Vektoren, gemäß einem Verfahren nach einem der Ansprüche 1 bis 4, umfassend:
- bewegungskompensierte Interpolationsmittel (MCI) und Fallback-Interpolationsmittel (FBI), die das Video- Eingangssignal (Video) empfangen und deren Ausgangs- Pixelwerte in Schaltmitteln (SW) in bezug auf den Bewegungs-Vektor (MV) oder seine horizontale Komponente (Vh) ausgewählt werden, wobei in den Fallback- Interpolationsmitteln Pixelwerte der Zwischen-Halbbilder oder -Vollbilder (x) nur horizontal tiefpaßgefiltert werden (T, X, +), und wobei die Filterung über einem Bereich aktiv ist, der mit der Größe von Doppelbild-Artefakten vergleichbar ist, die durch die fehlende bewegungskompensierte Interpolation verursacht werden;
- Bewegungs-Abschätzungsmittel (ME), die aus dem Eingangs- Videosignal (IN) oder den Bewegungs-Informations- Herausziehmitteln (ME), die die Information aus dem Video- Eingangssignal-Datenstrom herausziehen, den Block-Basis- Bewegungs-Vektor (MV) und/oder seine horizontale Komponente (Vh) berechnen, wobei für den Fall, daß die horizontale Komponente des Bewegungs-Vektors eine Geschwindigkeit (Vh) überschreitet, die zu groß ist, um genau kompensiert zu werden, die Fallback-Interpolationsmittel (FBI) von den Schaltmitteln (SW) ausgewählt werden.
7. Vorrichtung nach Anspruch 6, bei der die Schaltmittel (SW) Überblend-Schaltmittel sind.
8. Digitaler Fernseh- oder HDTV-Empfänger umfassend eine Vorrichtung nach Anspruch 6 oder 7.
9. Digitaler Video-Kassettenrecorder umfassend eine Vorrichtung nach Anspruch 6 oder 7.
10. Digitaler Video-Plattenspieler umfassend eine Vorrichtung nach Anspruch 6 oder 7.
DE69422255T 1993-10-11 1994-10-05 Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern Expired - Lifetime DE69422255T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP93402505 1993-10-11
EP93117662 1993-11-02

Publications (2)

Publication Number Publication Date
DE69422255D1 DE69422255D1 (de) 2000-01-27
DE69422255T2 true DE69422255T2 (de) 2000-05-25

Family

ID=26133497

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69422255T Expired - Lifetime DE69422255T2 (de) 1993-10-11 1994-10-05 Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern

Country Status (4)

Country Link
US (1) US5642170A (de)
JP (1) JP3798440B2 (de)
DE (1) DE69422255T2 (de)
SG (1) SG50699A1 (de)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5894330A (en) * 1997-01-23 1999-04-13 Silicon Integrated Systems Corp. Adaptive anti-flicker method for VGA to TV data conversion
US6211919B1 (en) * 1997-03-28 2001-04-03 Tektronix, Inc. Transparent embedment of data in a video signal
US6122017A (en) 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video
KR100284696B1 (ko) * 1998-06-29 2001-03-15 윤종용 Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치
US6160586A (en) * 1998-09-30 2000-12-12 Vtel Corporation Digital video processing using a dynamically varying number of video fields
JP2000165821A (ja) * 1998-11-30 2000-06-16 Fujitsu Ltd 画像フォーマット変換装置及び画像フォーマット変換方法
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
US7545957B2 (en) * 2001-04-20 2009-06-09 Avid Technology, Inc. Analyzing motion of characteristics in images
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
US7194676B2 (en) 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system
KR20050061556A (ko) * 2002-10-22 2005-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 고장시 조치를 갖는 이미지 처리 유닛
US7432979B2 (en) * 2003-09-03 2008-10-07 Sony Corporation Interlaced to progressive scan image conversion
KR101044934B1 (ko) * 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
KR100565066B1 (ko) * 2004-02-11 2006-03-30 삼성전자주식회사 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
GB2411784B (en) * 2004-03-02 2006-05-10 Imagination Tech Ltd Motion compensation deinterlacer protection
KR101127220B1 (ko) * 2004-07-28 2012-04-12 세종대학교산학협력단 움직임 보상 적응형 순차주사화 장치 및 그 방법
TWI280798B (en) * 2004-09-22 2007-05-01 Via Tech Inc Apparatus and method of adaptive de-interlace of image
TW200623897A (en) * 2004-12-02 2006-07-01 Seiko Epson Corp Image display method, image display device, and projector
US7567294B2 (en) * 2005-03-28 2009-07-28 Intel Corporation Gradient adaptive video de-interlacing
US7469259B2 (en) * 2006-08-10 2008-12-23 Kabushiki Kaisha Toshiba System and method for employing an extended boundary lookup table
JP2008067205A (ja) * 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
JP5187531B2 (ja) * 2007-02-20 2013-04-24 ソニー株式会社 画像表示装置
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
WO2009086181A1 (en) * 2007-12-19 2009-07-09 Dolby Laboratories Licensing Corporation Adaptive motion estimation
US20100013989A1 (en) * 2008-07-18 2010-01-21 Samsung Electronics Co. Ltd. Method and system for controlling fallback in generating intermediate fields of a video signal
KR101524062B1 (ko) * 2008-07-30 2015-06-01 삼성전자주식회사 영상신호 처리장치 및 그 방법
JP4626779B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 映像信号処理装置、画像表示装置および映像信号処理方法
US8317325B2 (en) 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
JP4743912B2 (ja) * 2009-02-23 2011-08-10 キヤノン株式会社 画像表示システム、画像表示装置、および、画像表示装置の制御方法
US8670073B2 (en) * 2010-08-02 2014-03-11 Broadcom Corporation Method and system for video noise filtering

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE32358E (en) * 1981-09-08 1987-02-17 Rca Corporation Television display system with reduced line-scan artifacts
WO1987005770A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Video signal processing for bandwidth reduction
FR2645383B1 (fr) * 1989-03-31 1997-06-27 Thomson Consumer Electronics Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee
GB2240230B (en) * 1990-01-18 1994-04-13 British Broadcasting Corp Field-rate upconversion of television signals

Also Published As

Publication number Publication date
US5642170A (en) 1997-06-24
JP3798440B2 (ja) 2006-07-19
JPH07162811A (ja) 1995-06-23
SG50699A1 (en) 1998-07-20
DE69422255D1 (de) 2000-01-27

Similar Documents

Publication Publication Date Title
DE69422255T2 (de) Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern
DE69123359T2 (de) Videobildverarbeitung
DE69609482T2 (de) Verfahren zur Interpolation von Vollbilden
DE69605936T2 (de) Bewegungskompensierte interpolation
DE69027479T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69618440T2 (de) Videosignalabtastumsetzung
DE69324922T2 (de) Bewegungsausgeglichene fernsehbildbearbeitung
DE69510851T2 (de) Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten
DE69434467T2 (de) Verfahren und Vorrichtung zum Bilden eines Videosignals durch Bewegungsschätzung und Signalwege mit verschiedenen Interpolationsverarbeitungen
DE3685589T2 (de) Videosignal-verarbeitung fuer bandbreitenverringerung.
DE69318216T2 (de) Verfahren und Vorrichtung zur adaptiven Interpolation
DE69608785T2 (de) Verfahren zur verbesserung der vertikalen auflosung eines fernsehsignals mit verminderten vertikalen chominanzubergangen
DE602004002935T2 (de) Bearbeitung von Tickern in Videosequenzen
DE69015419T2 (de) Umwandlung eines Videosignals auf einen photographischen Film.
EP0445336B1 (de) Verfahren und Vorrichtung zur Reduktion des Kantenflackerns eines Fernsehbildes
DE69609028T2 (de) Bewegungskompensierte bildfrequenzumwandlung
DE69028792T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69031144T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69028239T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE3330570A1 (de) Doppelabtastender zeilensprungfreier fernsehempfaenger
DE69123844T2 (de) Videosignalverarbeitung
DE60212417T2 (de) Bildprozessor und anzeigegerät mit einem solchen bildprozessoren
DE69418711T2 (de) Verarbeitung von videosignalen
EP0596561B1 (de) Anordnung zur Verdopplung der Teilbildfrequenz eines Bildsignals
EP0727904B1 (de) Verfahren und Schaltungsanordnung zur Flimmerreduktion für ein Gerät zur Videosignalverarbeitung

Legal Events

Date Code Title Description
8320 Willingness to grant licences declared (paragraph 23)
8364 No opposition during term of opposition