DE69422255T2 - Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern - Google Patents
Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder BildernInfo
- Publication number
- DE69422255T2 DE69422255T2 DE69422255T DE69422255T DE69422255T2 DE 69422255 T2 DE69422255 T2 DE 69422255T2 DE 69422255 T DE69422255 T DE 69422255T DE 69422255 T DE69422255 T DE 69422255T DE 69422255 T2 DE69422255 T2 DE 69422255T2
- Authority
- DE
- Germany
- Prior art keywords
- motion
- interpolation
- fallback
- fbi
- mci
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 22
- 239000013598 vector Substances 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000272478 Aquila Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
- Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung für die bewegungskompensierte Interpolation von Zwischen-Halbbildern oder -Vollbildern.
- Gegenwärtige Fernseh-Übertragungs-Normen in Europa und anderen Teilen der Welt arbeiten mit einer 50 Hz-Anzeige-Erneuerungsrate. Ein komplettes Bild oder Vollbild wird alle 1/25 Sekunden übertragen. Jedes Vollbild setzt sich aus zwei Halbbildern zusammen, von denen jedes alle 1/50 Sekunden übertragen wird. Jedes Halbbild besteht entweder aus den ungeradzahligen oder geradzahligen Zeilen eines Vollbildes. Das Verfahren der Erneuerung einer Anzeige auf der Kathodenstrahlröhre bewirkt eine Änderung der Lichtintensität mit der Zeit, die als Flimmern bezeichnet wird. Bei 50 Hz ist das menschliche Auge noch für dieses Flimmern empfindlich, und bei hellen Szenen und/oder großen Anzeigen ist dieses Flimmern wahrnehmbar. Ein Verfahren zur Beseitigung der Sichtbarkeit dieses Flimmerns ist die Erneuerung der Anzeige mit einer höheren Frequenz. Diese Zunahme der Halbbildrate kann von jedem willkürlichen Maß sein, solange eine Frequenz gewählt wird, die ausreichend groß ist, so daß demgegenüber die Empfindlichkeit des Auges sehr niedrig ist. Die als Beispiel in dieser Beschreibung verwendete Frequenz beträgt 100 Hz, eine Verdoppelung der Frequenz, was zu einer verhältnismäßig einfachen Hardware-Ausführung führt, obwohl im Prinzip jede Frequenz verwendet werden kann und auch 75 Hz in Betracht gezogen worden ist. Bei der beispielsweisen Frequenz von 100 Hz gibt es zwei Abtastschemata, die verwendet werden können, die als AABB und ABAB bekannt sind, wobei die Buchstaben A und B sich auf die Positionen der ungeradzahligen und geradzahligen Halbbilder F beziehen. Die Anordnung der beiden Arten der Abtastung ist in Fig. 1A und 1C dargestellt. Die Zeilen L, die zu dem ursprünglichen Eingangssignal gehören, sind mit 'o' bezeichnet, und neue Zeilen, die gebildet werden müssen, sind mit 'x' bezeichnet. Die Daten in den neuen Halbbildern können aus dem ursprünglichen Eingangssignal erzeugt werden, wie durch die Pfeile in Fig. 1 dargestellt ist. Dies ergibt eine annehmbare Bildqualität, wenn die Bilder statisch sind. Wenn sich die Bilder bewegen, ist die subjektive Wirkung in jedem Fall die eines doppelten Bildes. Dies rührt daher, daß die Daten in den neuen Halbbildern in der falschen zeitlichen Position angezeigt werden, und wenn das Auge die Bewegung auf dem Schirm verfolgt, führt dies zu einem doppelten Bild der einen oder anderen Form. Dieser Effekt ist in Fig. 1B und 1D dargestellt, wobei die letztere "Mausezahn"-Artefakte zeigt.
- Das Erscheinungsbild eines doppelten Bildes um sich bewegende Objekte herum kann durch Erzeugung der neuen 100 Hz- Halbbilder mit dem Objekt in der richtigen Position vermindert oder beseitigt werden. Dies geschieht durch Messen der Geschwindigkeit, mit der das Objekt sich bewegt und durch anschließende Interpolation des neuen Halbbildes unter Verwendung von Informationen von der richtigen Position (d. h. von dem Objekt) in den Quellen-Halbbildern. Dieses Verfahren wird als bewegungskompensierte Interpolation bezeichnet und in diesem Fall bei der Vollbild/Halbbild-Raten-Aufwärts-Umwandlung verwendet, aber es könnte ebenso gut andere Anwendungen haben, beispielsweise bei der Erzeugung eines verbesserten Zeitlupen- Videosignals oder bei der Norm-Umwandlung.
- Ein Verfahren der Bewegungsabschätzung ist als Block- Anpassung bekannt. Üblicherweise wird das gegenwärtige Halbbild oder Vollbild in rechteckige Blöcke unterteilt. Für jeden Block erfolgt eine Suche über sich überlappenden Blöcken in dem vorhergehenden Halbbild oder Vollbild, um dasjenige zu finden, das dem gegenwärtigen Halbbild-Block am besten gemäß einem bestimmten Kriterium angepaßt ist, üblicherweise dem mittleren quadratischen oder dem mittleren absoluten Fehler. Die relative Position der beiden Blöcke ergibt den Verschiebungs- oder Bewegungs-Vektor für den gegenwärtigen Block.
- Proceedings of the Second International Workshop on Signal Processing of HDTV, L'Aquila, Italien, 29. Februar bis 2. März 1988, Amsterdam, NL, Seiten 393 bis 399, G. Fernando et al.: "Motion compensated display conversion" offenbart eine bewegungskompensierte Interpolation von Zwischenbildern, bei der auch eine Fallback-Interpolation vorgeschlagen wird.
- Research Disclosure, Februar 1993, Nr. 34676, Seite 132, anonym veröffentlicht: "Field compensated display conversion" offenbart die zeitliche Durchschnittsbildung von Halbbildern, um Zwischen-Halbbilder zu erzeugen. Die zusätzlichen Halbbilder werden horizontal tiefpaßgefiltert. Um den Verlust an Schärfe zu kompensieren, werden die hohen Frequenzen der Eingangs- Halbbilder hervorgehoben.
- Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur verbesserten Fallback-Verarbeitung zu offenbaren. Diese Aufgabe wird durch das im Anspruch 1 offenbarte Verfahren gelöst.
- Es ist eine weitere Aufgabe der Erfindung, eine Vorrichtung zu offenbaren, die das erfindungsgemäße Verfahren verwendet. Diese Aufgabe wird durch die im Anspruch 6 offenbarte Vorrichtung gelöst.
- Das oben beschriebene Prinzip der Bewegungs-Abschätzung gilt unabhängig davon, ob einseitige oder doppelseitige Blockanpassung verwendet wird. Die doppelseitige Blockanpassung und ihre Vorteile sind in WO-A-95/07 591 der Anmelderin beschrieben.
- Da die Blockanpassung rechnerisch intensiv ist, führen Echtzeit-Hardware-Ausführungen dieses Verfahrens zu einer gewissen Form von Parallelverarbeitung. Die allgemeinste Form besteht darin, einen Block-Anpassungs-Prozessor pro Bewegungs- Vektor-Anwärter zu haben. Eine beispielsweise Hardware- Ausführung für ein einseitiges Block-Anpassungsschema ist in Fig. 2 dargestellt. Diese Ausführung erlaubt die Messung von Geschwindigkeiten bis hinauf zu ± zwei Pixeln oder Zeilen in der horizontalen und vertikalen Richtung. Jedes Verarbeitungselement paßt parallel den gegenwärtigen Block an diejenigen Blöcke in dem vorhergehenden Halbbild oder Vollbild an, die um + zwei Pixel oder Zeilen verschoben sind.
- Um in allen Fällen gute Ergebnisse zu erhalten, sollte der Block-Suchbereich alle möglichen Bewegungs-Vektoren abdecken, die in dem ankommenden Signal vorhanden sein können. Da die Zahl von Verarbeitungselementen unmittelbar auf die Kompliziertheit und damit die Kosten der Hardware-Ausführung bezogen sind, gibt es einen gewissen Anreiz, die Zahl von Anwärter-Vektoren zu minimieren, die geprüft werden müssen.
- Wie in EP-A-630 926 der Anmelderin beschrieben ist, besteht ein Verfahren zur Verminderung der Hardware-Kosten darin, nur einen begrenzten Bereich von möglichen Bewegungs-Vektoren innerhalb des Bildes abzudecken und etwas von diesem Bereich mit verminderter Genauigkeit abzudecken.
- Ein Beispiel hierfür, das auf die bewegungskompensierte Vollbild/Halbbild-Raten-Aufwärts-Umwandlung bezogen ist, zeigt Fig. 3, worin '.' ein Platz eines Bewegungs-Vektor-Prozessors in dem zweidimensionalen Geschwindigkeitsraum Vy/Vx ist. Die Bewegungs-Abschätzung wird (innerhalb des Bereiches AHP mit hoher Genauigkeit) mit einer guten Genauigkeit von kleinen oder langsamen Bewegungen ausgeführt, und wenn die Geschwindigkeit des Objektes zunimmt, nimmt die Genauigkeit der Abschätzung ab (innerhalb des Bereiches ALP mit niedriger Genauigkeit). Schließlich gibt es eine begrenzende Geschwindigkeit (nicht kompensierter Bereich UCR), außerhalb von der keine Bewegungs- Abschätzung ausgeführt wird, und wo eine Kompensation daher unmöglich ist und statt dessen eine Fallback-Verarbeitung erforderlich ist. Die Vorliegende Erfindung bezieht sich auf diesen nicht kompensierten Bereich. Außerdem ist die Erfindung bei den beiden in Fig. 1A und 1B dargestellten Abtast-Typen anwendbar.
- Wie bereits erwähnt wurde, herrschen wirtschaftliche Faktoren gegenüber der Ausführung eines bewegungskompensierten Aufwärts-Umwandlungs-Schemas vor, das in der Lage ist, eine bewegungskompensierte Aufwärts-Umwandlung für alle möglichen Geschwindigkeiten von Objekten anzuwenden, die innerhalb des ankommenden Fernsehsignals enthalten sein können. Die Fallback- Verarbeitung behandelt den Fall, bei dem die Geschwindigkeit eines Objektes oder ein Schwenken über eine Szene die maximale Geschwindigkeit überschreitet, die von dem Bewegungs- Abschätzungs-System getragen wird. Fig. 4 zeigt einen möglichen Effekt am Rand eines sich bewegenden Objektes, wenn sich das Objekt bei Betrachtung nach einem üblichen Aufwärts- Umwandlungsprozeß durch den in Fig. 3 dargestellten Geschwindigkeitsbereich beschleunigt. Das Objekt startet vom Ruhezustand (Null-Geschwindigkeit ZV, Fig. 4a). Wenn sich das Objekt beschleunigt, wird der Fehler in der Bewegung gut kompensiert (ganzzahlige Pixelgeschwindigkeit IPVH und nicht- ganzzahlige Pixelgeschwindigkeit NIPVH im Bereich AHP mit hoher Genauigkeit), bis der Bereich der Messung niedriger Genauigkeit erreicht wird (nichtganzzahlige Pixelgeschwindigkeit NIPVL im Bereich ALP mit niedriger Genauigkeit), die als annehmbar angesehen werden kann, da das menschliche Sehsystem solche kleinen Fehler bei einem sich mit einer verhältnismäßig hohen Geschwindigkeit bewegenden Objektes nicht registriert. Was nicht annehmbar ist, ist die abrupte Änderung, wenn der Rand des bewegungskompensierten Geschwindigkeitsbereiches überquert wird (Geschwindigkeit VOSR außerhalb des getragenen Bereiches AHP und ALP). Das Bild ändert sich abrupt von dem Aussehen in Fig. 4b, 4c oder 4d in das von Fig. 4e.
- Unter erneuter Bezugnahme auf Fig. 1A und 1C sieht man, daß dies zu einer plötzlichen Änderung in Teilen des Bildes von einem einzelnen sich bewegenden Bild mit hoher Qualität zu einem doppelten Bild mit niedriger Qualität mit oder ohne 'Mäusezähne' in Abhängigkeit von der Art der verwendeten Aufwärts-Umwandlung führt. Es ist der Zweck der erfindungsgemäßen Fallback-Verarbeitung, die subjektive Erscheinung von Bildern zu verbessern, die sich mit einer Geschwindigkeit bewegen, die zu groß ist, um genau kompensiert werden zu können.
- Man sieht aus Fig. 1, daß die Bilder, die in der falschen zeitlichen Position sind, diejenigen der neuen Halbbilder sind (gekennzeichnet durch 'x'). Wenn man den Fall von Fig. 1A der Abtastung vom AABB-Typ betrachtet (ABAB ist ähnlich), ist das vollständige Bild bereits in der richtigen zeitlichen Position in den ursprünglichen Halbbildern vorhanden.
- Wenn eine bewegungskompensierte Verarbeitung unmöglich ist, können die neuen Halbbilder durch nicht kompensierte Verfahren erzeugt werden, z. B. durch Wiederholung der ursprünglichen Halbbilder oder durch Erzeugung eines Bildes mit progressiver Abtastung und Verzögerung von abwechselnden Zeilen um 10 ms. Die subjektive Erscheinung des doppelten Bildes wird dann beträchtlich durch starke Tiefpaßfilterung der neuen Halbbilder in der horizontalen Richtung verbessert. Die Filterung muß über einem Bereich aktiv sein, der in der Größe mit dem doppelten Bild vergleichbar ist.
- Die Wirkung dieser Filterung besteht darin, jede bedeutsame Einzelheit aus den neu interpolierten Halbbildern zu entfernen. Der Filterungsprozeß verwischt die Halbbilder, die mit Informationen in der falschen zeitlichen Position angezeigt werden. Dieses Verwischen in jedem zweiten Halbbild eines 100 Hz-Videosignals ist annehmbar, da das menschliche Sehsystem dieses nicht bei einem Objekt registriert, das sich mit hoher Geschwindigkeit bewegt. Da Einzelheiten nur in Halbbildern mit Informationen vorhanden sind, die in der richtigen zeitlichen Position vorliegen, wird die subjektive Stärke des doppelten Bildes stark vermindert, was zu einer stark verbesserten subjektiven Bildqualität führt. Bei dieser Ausführung wird die Fallback-Verarbeitung auf die neuen Halbbilder angewendet, wenn ein Bewegungs-Vektor nicht bestimmt werden kann, was normalerweise der Fall ist, wenn die Geschwindigkeit in dem nicht kompensierten Bereich UCR liegt.
- Im Prinzip ist das erfindungsgemäße Verfahren für die bewegungskompensierte Interpolation von Zwischen-Halbbildern oder -Vollbildern eines Eingangs-Videosignals unter Verwendung von Pixel-Block-Bewegungs-Vektoren geeignet, wobei im Falle von Bewegungsgeschwindigkeiten, die sich über einen vorgewählten Bereich erstrecken oder für den Fall, daß Bewegungs-Vektoren nicht bestimmt werden können, eine Fallback-Interpolation ausgeführt wird, bei der Pixelwerte der Zwischen-Halbbilder oder -Vollbilder nur horizontal tiefpaßgefiltert werden, und wobei die Filterung über einem Bereich aktiv ist, der mit der Größe von Doppelbild-Artefakten vergleichbar ist, die durch die fehlende bewegungskompensierte Interpolation verursacht werden.
- Vorteilhafte zusätzliche Ausführungsformen des erfindungsgemäßen Verfahrens ergeben sich aus den entsprechenden Unteransprüchen.
- Im Prinzip enthält die erfindungsgemäße Vorrichtung zur bewegungskompensierten Interpolation von Zwischen-Halbbildern oder -Vollbildern eines Video-Eingangssignals unter Verwendung von Pixel-Block-Bewegungs-Vektoren:
- - bewegungskompensierte Interpolationsmittel und Fallback- Interpolationsmittel, die das Video-Eingangssignal empfangen, und deren Ausgangs-Pixelwerte in Schaltmitteln in bezug auf den Bewegungs-Vektor oder seine horizontale Komponente ausgewählt werden, wobei in den Fallback- Interpolationsmitteln Pixelwerte der Zwischen-Halbbilder oder -Vollbilder nur horizontal tiefpaßgefiltert werden, und wobei die Filterung über einem Bereich aktiv ist, der in der Größe mit Doppelbild-Artefakten vergleichbar ist, die durch die fehlende bewegungskompensierte Interpolation verursacht werden;
- - Bewegungs-Abschätzungsmittel, die aus dem Eingangs- Videosignal oder den Bewegungs-Informations- Herausziehmitteln, die die Information aus dem übertragenen Video-Eingangssignal-Datenstrom herausziehen, den Block-Basis-Bewegungs-Vektor und/oder seine horizontale Komponente berechnen, wobei für den Fall, daß der Bewegungs-Vektor oder seine horizontale Komponente sich über einen vorgewählten Bereich erstreckt, oder für den Fall, daß der Bewegungs-Vektor nicht bestimmt werden kann, die Fallback-Interpolationsmittel von den Schaltmitteln ausgewählt werden.
- Vorteilhafte zusätzliche Ausführungsformen der erfindungsgemäßen Vorrichtung ergeben sich aus den entsprechenden Unteransprüchen.
- Bevorzugte Ausführungsformen der Erfindung werden nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. In den Zeichnungen stellen dar:
- Fig. 1 AABB- und ABAB-Abtastung für die Aufwärts- Umwandlung und resultierende Artefakte;
- Fig. 2 eine typische Bauart für einseitige Blockanpassung;
- Fig. 3 eine beispielsweise Konfiguration von Verminderter Abdeckung von Bewegungs- Vektor-Prozessoren;
- Fig. 4 das Erscheinungsbild eines sich bewegenden Objektes, das sich horizontal über den Geschwindigkeitsraum von Fig. 3 beschleunigt;
- Fig. 5 ein Fallback-Verarbeitungs-Tiefpaßfilter;
- Fig. 6 ein vereinfachtes Blockschaltbild einer erfindungsgemäßen Vorrichtung.
- Fig. 2 zeigt einen möglichen Aufbau für einseitige Block- Anpassungs-Bewegungs-Abschätzer mit einem Bereich von ± 2 Pixeln pro Halbbild horizontal und vertikal, um die Genauigkeit zu erhöhen. Der Aufbau beruht auf Verarbeitungselementen PE, eines pro Bewegungs-Vektor-Anwärter. Jedes Verarbeitungselement PE sammelt die Fehler zwischen den Pixeln an (die eine Gruppe bilden, die auf eine Anwärter-Block-Position bzw. einen Vektor bezogen sind), die an seinen beiden Eingängen ankommen, wobei Teilergebnisse gespeichert werden, um zu einem Gesamt-Fehler für jeden Block zu kommen. Die Verarbeitungselemente sind miteinander durch in den Figuren nicht dargestellte Mittel verbunden, um herauszufinden, welches den minimalen Fehler für jeden Block ergibt. Die Verarbeitungselemente können den minimalen absoluten Wert oder den minimalen quadratischen Fehler berechnen. Alle Verarbeitungselemente PE haben einen gemeinsamen Eingang IN, der dem gegenwärtigen Block entspricht. Die relativen Verschiebungen zwischen den Pixeln in dem Suchfenster werden durch ein Netzwerk der Zeile LD und Abtast-Verzögerungen SD liefert, die der Halbbild-Verzögerung FD folgen, die dem Eingang INP zugeführt wird.
- Das Fallback-Verarbeitungs-Tiefpaßfilter in Fig. 5 läßt das Eingangssignal (d. h. die 'x'-Pixel in den Zeilen von Fig. 1) durch eine Kette von einer horizontalen Abtastverzögerung T durch. Die entsprechenden verzögerten Ausgangs-Pixelwerte und die Pixelwerte des Eingangssignals IN werden durch die Filterkoeffizienten 1/16, 2/16, 3/16, 4/16, 3/16, 2/16, 1/16 in Multiplizierschaltungen X multipliziert. Die Ausgänge der Multiplizierschaltungen werden in der Addierstufe '+' kombiniert, um die endgültigen Ausgangs-Pixelwerte OUT für die Zwischen-Halbbilder zu bilden.
- In Fig. 6 verläuft das 50/60 Hz-Eingangssignal IN durch eine bewegungskompensierte Interpolationsschaltung MCI oder eine Fallback-Interpolationsschaltung FPI und einen Schalter SW zu dem 100/120 Hz-Ausgang. Die Schaltung ME kann ein Bewegungs- Abschätzer sein, der bezogene Bewegungs-Vektoren MV aus dem Eingangssignal IN berechnet und den Schalter SW steuert, indem sich stark bewegende Bildbereiche festgestellt werden, in denen keine Bewegungsabschätzung ausgeführt werden kann. Diese Information kann auch übertragen werden, wenn der Bewegungs- Abschätzer in einen Sender lokalisiert wird, und die Schaltung von Fig. 6 Teil eines Empfängers, z. B. eines Fernsehempfängers ist. Dann kann die Schaltung ME den Bewegungs-Vektor MV und die Information für nicht bewegungsabgeschätzte Bildbereiche aus dem übertragenen Eingangssignal-Datenstrom herausziehen. Die Bewegungsinformation wird im Interpolator MCI verwendet, um die bewegungskompensierte Interpolation der Zwischen-Halbbilder durchzuführen. Der Schalter SW kann auch als Überblend-Schalter arbeiten, der den MCI/FBI-Übergang an der äußeren Grenze des Bereiches ALP glättet. Die Schaltung ME kann eine Schaltung gemäß Fig. 2 enthalten. Die Interpolationsschaltung FBI kann ein Filter gemäß Fig. 5 enthalten.
- Im Fall einer sich gleichmäßig bewegenden Kante ist der Bewegungs-Vektor nur in der Richtung senkrecht zu der Kante gültig. Bei dem gegebenen Fall wird die Fallback-Verarbeitung (aus Kostengründen) auf die Horizontal-Filterung begrenzt. Daher könnte eine Ausführung darin bestehen, die Anwendung der Fallback-Betriebsart auf Fälle zu begrenzen, bei denen nur die horizontale Komponente der Geschwindigkeit außerhalb des Bereiches ist (d. h. im Fall von Kanten ein Betrieb nur bei vertikalen Kanten). Eine andere Möglichkeit, die in der begleitenden Patentammeldung EP-A-648 047 der Anmelderin beschrieben ist, könnte darin bestehen, die Anwendung der Fallback-Betriebsart-Verarbeitung über eine gewisse Zwischenform von Vektor-Konditionierung zu steuern, z. B. als Vertrauensmaßnahme.
- Die Erfindung kann auch für die Norm-Umwandlung, die Bit- Raten-Verminderung, digitales HDTV, digitale VCR, digitale Video-Plattenspieler und MPEG1- oder MPEG2-Vorrichtungen (lEC/ISO-Norm) verwendet werden.
Claims (10)
1. Verfahren zur bewegungskompensierten Interpolation (MCI)
von Zwischen-Halbbildern oder -Vollbildern (x) eines Video-
Eingangssigals unter Verwendung von Pixel-Block-Bewegungs-
Vektoren, wobei auch eine Fallback-Interpolation (FBI)
vorgesehen ist, dadurch gekennzeichnet, daß die Fallback-
Interpolation in dem Fall ausgeführt wird, daß die
horizontale Komponente der Bildbewegung eine
Geschwindigkeit Vh überschreitet, die für eine richtige
Kompensation zu groß ist, wobei die Pixelwerte der
Zwischen-Halbbilder oder Vollbilder nur horizontal in
einer solchen Weise tiefpaßgefiltert werden (T, X, +), daß
die Filterung über einem Bereich wirksam ist, der mit der
Größe von Doppelbild-Artefakten vergleichbar ist, die durch
die fehlende bewegungskompensierte Interpolation verursacht
werden.
2. Verfahren nach Anspruch 1, bei dem die bewegungskompensierte
Interpolation (MCI) mit einer höheren Bewegungs-
Abschätzungs-Genauigkeit für langsamere Bewegungen (AHP) und
mit einer niedrigeren Bewegungs-Abschätzungs-Genauigkeit für
schnellere Bewegungen (ACP), die für eine genaue
Kompensation noch nicht zu groß ist, durchgeführt wird.
3. Verfahren nach Anspruch 1 oder 2, bei dem die Fallback-
Interpolation (FBI) in Relation zu einer Vertrauensmaßnahme
des Bewegungs-Vektors (MV) durchgeführt wird.
4. Verfähren nach einem der Ansprüche 1 bis 3, bei dem eine
Überblendschaltung (SW) zwischen der bewegungskompensierten
Interpolation (MCI) und der Fallback-Interpolation (FBI)
durchgeführt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die
Fallback-Interpolation (FBI) durchgeführt wird, falls ein
Bewegungs-Vektor nicht bestimmt werden kann.
6. Vorrichtung zur bewegungskompensierten Interpolation (MCI)
von Zwischen-Halbbildern oder -Vollbildern (x) eines Video-
Eingangssignals unter Verwendung von Pixel-Block-Bewegungs-
Vektoren, gemäß einem Verfahren nach einem der Ansprüche 1
bis 4, umfassend:
- bewegungskompensierte Interpolationsmittel (MCI) und
Fallback-Interpolationsmittel (FBI), die das Video-
Eingangssignal (Video) empfangen und deren Ausgangs-
Pixelwerte in Schaltmitteln (SW) in bezug auf den
Bewegungs-Vektor (MV) oder seine horizontale Komponente (Vh)
ausgewählt werden, wobei in den Fallback-
Interpolationsmitteln Pixelwerte der Zwischen-Halbbilder
oder -Vollbilder (x) nur horizontal tiefpaßgefiltert werden
(T, X, +), und wobei die Filterung über einem Bereich aktiv
ist, der mit der Größe von Doppelbild-Artefakten
vergleichbar ist, die durch die fehlende
bewegungskompensierte Interpolation verursacht werden;
- Bewegungs-Abschätzungsmittel (ME), die aus dem Eingangs-
Videosignal (IN) oder den Bewegungs-Informations-
Herausziehmitteln (ME), die die Information aus dem Video-
Eingangssignal-Datenstrom herausziehen, den Block-Basis-
Bewegungs-Vektor (MV) und/oder seine horizontale Komponente
(Vh) berechnen, wobei für den Fall, daß die horizontale
Komponente des Bewegungs-Vektors eine Geschwindigkeit (Vh)
überschreitet, die zu groß ist, um genau kompensiert zu
werden, die Fallback-Interpolationsmittel (FBI) von den
Schaltmitteln (SW) ausgewählt werden.
7. Vorrichtung nach Anspruch 6, bei der die Schaltmittel (SW)
Überblend-Schaltmittel sind.
8. Digitaler Fernseh- oder HDTV-Empfänger umfassend eine
Vorrichtung nach Anspruch 6 oder 7.
9. Digitaler Video-Kassettenrecorder umfassend eine Vorrichtung
nach Anspruch 6 oder 7.
10. Digitaler Video-Plattenspieler umfassend eine Vorrichtung
nach Anspruch 6 oder 7.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP93402505 | 1993-10-11 | ||
EP93117662 | 1993-11-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69422255D1 DE69422255D1 (de) | 2000-01-27 |
DE69422255T2 true DE69422255T2 (de) | 2000-05-25 |
Family
ID=26133497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69422255T Expired - Lifetime DE69422255T2 (de) | 1993-10-11 | 1994-10-05 | Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern |
Country Status (4)
Country | Link |
---|---|
US (1) | US5642170A (de) |
JP (1) | JP3798440B2 (de) |
DE (1) | DE69422255T2 (de) |
SG (1) | SG50699A1 (de) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5894330A (en) * | 1997-01-23 | 1999-04-13 | Silicon Integrated Systems Corp. | Adaptive anti-flicker method for VGA to TV data conversion |
US6211919B1 (en) * | 1997-03-28 | 2001-04-03 | Tektronix, Inc. | Transparent embedment of data in a video signal |
US6122017A (en) | 1998-01-22 | 2000-09-19 | Hewlett-Packard Company | Method for providing motion-compensated multi-field enhancement of still images from video |
KR100284696B1 (ko) * | 1998-06-29 | 2001-03-15 | 윤종용 | Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치 |
US6160586A (en) * | 1998-09-30 | 2000-12-12 | Vtel Corporation | Digital video processing using a dynamically varying number of video fields |
JP2000165821A (ja) * | 1998-11-30 | 2000-06-16 | Fujitsu Ltd | 画像フォーマット変換装置及び画像フォーマット変換方法 |
US6665450B1 (en) * | 2000-09-08 | 2003-12-16 | Avid Technology, Inc. | Interpolation of a sequence of images using motion analysis |
US7545957B2 (en) * | 2001-04-20 | 2009-06-09 | Avid Technology, Inc. | Analyzing motion of characteristics in images |
US7043058B2 (en) * | 2001-04-20 | 2006-05-09 | Avid Technology, Inc. | Correcting motion vector maps for image processing |
US7194676B2 (en) | 2002-03-01 | 2007-03-20 | Avid Technology, Inc. | Performance retiming effects on synchronized data in an editing system |
KR20050061556A (ko) * | 2002-10-22 | 2005-06-22 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 고장시 조치를 갖는 이미지 처리 유닛 |
US7432979B2 (en) * | 2003-09-03 | 2008-10-07 | Sony Corporation | Interlaced to progressive scan image conversion |
KR101044934B1 (ko) * | 2003-12-18 | 2011-06-28 | 삼성전자주식회사 | 움직임 벡터 추정방법 및 부호화 모드 결정방법 |
KR100565066B1 (ko) * | 2004-02-11 | 2006-03-30 | 삼성전자주식회사 | 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치 |
GB2411784B (en) * | 2004-03-02 | 2006-05-10 | Imagination Tech Ltd | Motion compensation deinterlacer protection |
KR101127220B1 (ko) * | 2004-07-28 | 2012-04-12 | 세종대학교산학협력단 | 움직임 보상 적응형 순차주사화 장치 및 그 방법 |
TWI280798B (en) * | 2004-09-22 | 2007-05-01 | Via Tech Inc | Apparatus and method of adaptive de-interlace of image |
TW200623897A (en) * | 2004-12-02 | 2006-07-01 | Seiko Epson Corp | Image display method, image display device, and projector |
US7567294B2 (en) * | 2005-03-28 | 2009-07-28 | Intel Corporation | Gradient adaptive video de-interlacing |
US7469259B2 (en) * | 2006-08-10 | 2008-12-23 | Kabushiki Kaisha Toshiba | System and method for employing an extended boundary lookup table |
JP2008067205A (ja) * | 2006-09-08 | 2008-03-21 | Toshiba Corp | フレーム補間回路、フレーム補間方法、表示装置 |
JP5187531B2 (ja) * | 2007-02-20 | 2013-04-24 | ソニー株式会社 | 画像表示装置 |
GB2450121A (en) * | 2007-06-13 | 2008-12-17 | Sharp Kk | Frame rate conversion using either interpolation or frame repetition |
US8660175B2 (en) * | 2007-12-10 | 2014-02-25 | Qualcomm Incorporated | Selective display of interpolated or extrapolated video units |
WO2009086181A1 (en) * | 2007-12-19 | 2009-07-09 | Dolby Laboratories Licensing Corporation | Adaptive motion estimation |
US20100013989A1 (en) * | 2008-07-18 | 2010-01-21 | Samsung Electronics Co. Ltd. | Method and system for controlling fallback in generating intermediate fields of a video signal |
KR101524062B1 (ko) * | 2008-07-30 | 2015-06-01 | 삼성전자주식회사 | 영상신호 처리장치 및 그 방법 |
JP4626779B2 (ja) * | 2008-08-26 | 2011-02-09 | ソニー株式会社 | 映像信号処理装置、画像表示装置および映像信号処理方法 |
US8317325B2 (en) | 2008-10-31 | 2012-11-27 | Cross Match Technologies, Inc. | Apparatus and method for two eye imaging for iris identification |
JP4743912B2 (ja) * | 2009-02-23 | 2011-08-10 | キヤノン株式会社 | 画像表示システム、画像表示装置、および、画像表示装置の制御方法 |
US8670073B2 (en) * | 2010-08-02 | 2014-03-11 | Broadcom Corporation | Method and system for video noise filtering |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE32358E (en) * | 1981-09-08 | 1987-02-17 | Rca Corporation | Television display system with reduced line-scan artifacts |
WO1987005770A1 (en) * | 1986-03-19 | 1987-09-24 | British Broadcasting Corporation | Video signal processing for bandwidth reduction |
FR2645383B1 (fr) * | 1989-03-31 | 1997-06-27 | Thomson Consumer Electronics | Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee |
GB2240230B (en) * | 1990-01-18 | 1994-04-13 | British Broadcasting Corp | Field-rate upconversion of television signals |
-
1994
- 1994-09-30 US US08/315,397 patent/US5642170A/en not_active Expired - Lifetime
- 1994-10-05 DE DE69422255T patent/DE69422255T2/de not_active Expired - Lifetime
- 1994-10-05 SG SG1996009081A patent/SG50699A1/en unknown
- 1994-10-07 JP JP24381794A patent/JP3798440B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US5642170A (en) | 1997-06-24 |
JP3798440B2 (ja) | 2006-07-19 |
JPH07162811A (ja) | 1995-06-23 |
SG50699A1 (en) | 1998-07-20 |
DE69422255D1 (de) | 2000-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69422255T2 (de) | Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern | |
DE69123359T2 (de) | Videobildverarbeitung | |
DE69609482T2 (de) | Verfahren zur Interpolation von Vollbilden | |
DE69605936T2 (de) | Bewegungskompensierte interpolation | |
DE69027479T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69618440T2 (de) | Videosignalabtastumsetzung | |
DE69324922T2 (de) | Bewegungsausgeglichene fernsehbildbearbeitung | |
DE69510851T2 (de) | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten | |
DE69434467T2 (de) | Verfahren und Vorrichtung zum Bilden eines Videosignals durch Bewegungsschätzung und Signalwege mit verschiedenen Interpolationsverarbeitungen | |
DE3685589T2 (de) | Videosignal-verarbeitung fuer bandbreitenverringerung. | |
DE69318216T2 (de) | Verfahren und Vorrichtung zur adaptiven Interpolation | |
DE69608785T2 (de) | Verfahren zur verbesserung der vertikalen auflosung eines fernsehsignals mit verminderten vertikalen chominanzubergangen | |
DE602004002935T2 (de) | Bearbeitung von Tickern in Videosequenzen | |
DE69015419T2 (de) | Umwandlung eines Videosignals auf einen photographischen Film. | |
EP0445336B1 (de) | Verfahren und Vorrichtung zur Reduktion des Kantenflackerns eines Fernsehbildes | |
DE69609028T2 (de) | Bewegungskompensierte bildfrequenzumwandlung | |
DE69028792T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69031144T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69028239T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE3330570A1 (de) | Doppelabtastender zeilensprungfreier fernsehempfaenger | |
DE69123844T2 (de) | Videosignalverarbeitung | |
DE60212417T2 (de) | Bildprozessor und anzeigegerät mit einem solchen bildprozessoren | |
DE69418711T2 (de) | Verarbeitung von videosignalen | |
EP0596561B1 (de) | Anordnung zur Verdopplung der Teilbildfrequenz eines Bildsignals | |
EP0727904B1 (de) | Verfahren und Schaltungsanordnung zur Flimmerreduktion für ein Gerät zur Videosignalverarbeitung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8320 | Willingness to grant licences declared (paragraph 23) | ||
8364 | No opposition during term of opposition |