DE102010046259A1 - Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation - Google Patents

Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation Download PDF

Info

Publication number
DE102010046259A1
DE102010046259A1 DE102010046259A DE102010046259A DE102010046259A1 DE 102010046259 A1 DE102010046259 A1 DE 102010046259A1 DE 102010046259 A DE102010046259 A DE 102010046259A DE 102010046259 A DE102010046259 A DE 102010046259A DE 102010046259 A1 DE102010046259 A1 DE 102010046259A1
Authority
DE
Germany
Prior art keywords
pixels
motion
motion estimation
block
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102010046259A
Other languages
English (en)
Inventor
Mahesh Ariz. Subedar
Jorge Ariz. Caviedes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tahoe Research Ltd
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE102010046259A1 publication Critical patent/DE102010046259A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

Die Bildfrequenzumwandlung kann unter Verwendung von Bewegungseinschätzungsergebnissen implementiert werden. Spezifisch können Pixel als Teil der Bewegungseinschätzung basierend auf der Anzahl an übereinstimmenden Pixeln in nachfolgenden Frames bezeichnet werden. Zum Beispiel können Pixel basierend darauf, ob sie keine übereinstimmenden Pixel, ein übereinstimmendes Pixel oder mehrere übereinstimmende Pixel aufweisen, bezeichnet werden. Die Bewegungseinschätzung und die Pixelbezeichnung kann man dann verwenden, um Pixel für die Bildfrequenzumwandlung zu interpolieren.

Description

  • Hintergrund
  • Dies bezieht sich allgemein auf die Verarbeitung von Videoinformation.
  • Ein Video kann mit einer gegebenen Bildfrequenz bereitgestellt werden. Das Video ist aus einer Sequenz von Standbildern zusammengesetzt. Die Bildfrequenz entspricht der Anzahl an Frames pro Sekunde.
  • Einige Anzeigen verwenden Bildfrequenzen, die sich von den Bildfrequenzen des Eingangsvideos unterscheiden. Somit wandelt die Bildfrequenzumwandlung die Bildfrequenz nach unten oder oben um, sodass die Eingangsbildfrequenz mit der Bildfrequenz der Anzeige übereinstimmt.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist eine schematische Abbildung einer Ausführungsform der vorliegenden Erfindung;
  • 2 ist ein Hinweis darauf, wie Bewegungseinschätzungs-Suchstellengewichtungen einem Block von Pixeln gemäß einer Ausführungsform zugeordnet werden können;
  • 3 ist ein Ablaufdiagramm für die hierarchische Bewegungseinschätzung gemäß einer Ausführungsform der vorliegenden Erfindung;
  • 4 ist ein Ablaufdiagramm für die Frameinterpolation gemäß einer Ausführungsform der vorliegenden Erfindung; und
  • 5 ist ein Ablaufdiagramm für die endgültige Pixelinterpolation gemäß einer Ausführungsform der vorliegenden Erfindung.
  • Ausführliche Beschreibung
  • Bildfrequenzumwandlung wird verwendet, um die Bildfrequenz einer Videosequenz zu ändern. Eine typische Anwendung des Bildfrequenzumwandlungsalgorithmus ist die Umwandlung von Filminhalt von 24 Frames pro Sekunde auf 60 Frames pro Sekunde für das National-Television-Systems-Committee-(NTSC)-System oder von 25 Frames pro Sekunde auf 50 Frames pro Sekunde für das Phase-Alternating-Line-(PAL)-System. Die Unterstützung des hochauflösenden Fernsehens, eine Anzeige mit 120 oder 240 Frames pro Sekunde, welche ebenfalls Bildfrequenzumwandlung nach oben erfordert. Gemäß einigen Ausführungsformen kann der Bildfrequenzumwandlungsalgorithmus die in der Videosequenz abgebildete Bewegung kompensieren.
  • Bei einer Ausführungsform werden bidirektionale hierarchische Bewegungseinschätzung und Bewegungskompensation verwendet. „Bidirektional” bedeutet, dass die Bewegung zwischen denselben zwei Ankerframes (hier vorheriger und darauffolgender Frame genannt) in den Vorwärts- und Rückwärtsrichtungen bewertet wird. Hierarchische Bewegungseinschätzung bezieht sich auf die Tatsache, dass die Bewegungseinschätzung mit zunehmender Auflösung der bereitgestellten Videoinformation verfeinert wird. Der bidirektionalen hierarchischen Bewegungseinschätzung und -kompensation kann ein endgültiger Interpolationsabschnitt folgen, der sich um die verschiedenen Probleme kümmert, die sich aus dem Bewegungseinschätzungs- und Bewegungskompensationsabschnitt ergeben, um die Qualität des interpolierten Bildes zu verbessern.
  • Mit Bezug auf 1 umfasst der Bildfrequenzumwandlungsalgorithmus 10 einen Bewegungseinschätzungsblock 12 und einen Frameinterpolationsblock 14. Somit kann ein vorheriger Eingangsframe wie auch ein darauffolgender Eingangsframe zu den Blocks 12 und 14 gehen. Die Interpolation an der Ausgangsbildfrequenz 14 empfängt die Eingangsbildfrequenz und die Ausgangsbildfrequenz. Sie empfangt ebenfalls die Bewegungsvektoren. Basierend auf all diesen Informationen stellt sie wie angezeigt einen bildfrequenzkorrigierten Ausgang bereit.
  • Die Bewegungseinschätzung wird zwischen zwei oder mehr benachbarten Frames ausgeführt, indem Regionen von einem Frame zu einem anderen angeglichen werden. Diese angeglichenen Regionen sind gewöhnlich kleinere rechteckige Blocks von Pixeln innerhalb des Frames. Eine bidirektionale Bewegungseinschätzung wird ausgeführt, um zwei Sätze von Bewegungsvektoren zu erhalten (einer vom Basisframe zum darauffolgenden Frame und einer vom Basisframe zum vorherigen Frame). Die Verwendung der bidirektionalen Bewegungseinschätzung kann bei einigen Ausführungsformen in zuverlässigeren Bewegungsvektoren resultieren. Der endgültige Satz von Bewegungsvektoren wird dann verwendet, um Frames beim korrekten Zeitstempel zu interpolieren. Der Zeitstempel basiert auf der Bildfrequenz.
  • Die Bewegungseinschätzung berechnet Bewegungsvektoren, welche die Translations- und Rotationsbewegung von abgebildeten Bildobjekten innerhalb einer Sequenz von Videoframes repräsentieren. Unter Verwendung einer Blockabgleichstechnik erhält man einen einzelnen Bewegungsvektor für einen mXn-Block. Ein typisches Ähnlichkeitsmaß ist die Summe von absoluten Differenzen (SAD) zwischen Blocks, aber andere Ähnlichkeitsmaße können ebenfalls verwendet werden. Alle Pixel innerhalb des rechteckigen Blocks sind demselben Bewegungsvektor zugeordnet.
  • Bei einigen Ausführungsformen verwendet die hierarchische Bewegungseinschätzungsengine Energieminimierung basierend auf absoluten Differenzen, Auflösungsniveau und Distanz zum Suchblock. Die hierarchische Bewegungseinschätzung kann die Erhöhung des Bewegungsbereichs zulassen, indem man bei einigen Ausführungsformen unabhängig bei niedrigen Auflösungsversionen der Original-Videoframes arbeitet und schrittweise die Auflösung in der Position der Bewegungsvektoren erhöht und gleichzeitig ein Vertrauen in deren Werte erhöht.
  • Schnelle oder intensive Bewegungsframes können zum Beispiel erkannt werden, wenn die Bewegungseinschätzung einen Schwellenwert überschreitet. Schnelle Bewegung kann bei einigen Ausführungsformen als Sonderfälle für die Interpolation behandelt werden. Der Anwender kann den Bewegungsvektorvertrauens-Schwellenwert für die Bewegungsvektoren festlegen. Während die Bewegung zunimmt, nimmt das Vertrauen generell ab.
  • Die Bewegungseinschätzungsengine berechnet Bewegungsvektoren für Blocks der Größe mXn bei unterschiedlichen Auflösungsniveaus. Bei jedem Auflösungsniveau werden die Bewegungsvektoren von einem unteren Auflösungsniveau aus innerhalb eines Suchfensters verfeinert. Eine Kostenfunktion kann basierend auf einer abstandsgewichteten Summe von absoluten Differenzen entwickelt werden. Die Kostenfunktion kann man verwenden, um die Mindestkostenfunktion zu berechnen. Die Bevorzugung kann man Bewegungsvektoren geben, die einem Basisbewegungsvektor näher sind als entferntere Bewegungsvektoren, welche dieselben Kosten aufweisen. Bei einigen Ausführungsformen kann dies eine Vektordivergenz vermeiden. Pixel mit ähnlicher Farbe werden bei einer Ausführungsform dieselbe Gewichtung gegeben. Den Zentrumspixeln nähere Pixel können bevorzugt werden, was bedeutet, dass sie bei einigen Ausführungsformen eine geringere Gewichtung haben können. Allgemein sind die näheren Bewegungsvektoren zuverlässiger.
  • Somit wird in 2 als Beispiel das Grundpixel als einen Gewichtsfaktor von (wt_factor) = 1,0 aufweisend angezeigt, wobei m und n 5 ist. Die nächsten umgebenden Pixel weisen in diesem Beispiel einen Gewichtsfaktor von 1,05 auf und der endgültige Satz von umgebenden Pixeln einen Gewichtsfaktor von 1,1025. Natürlich ist das nur ein Beispiel und die unterschiedlichen Arten der Zuordnung von Gewichten und die verwendeten spezifischen Gewichte können sich alle unterscheiden.
  • Die Bewegungsvektoren kann man berechnen, indem eine Kostenfunktion, die für Distanz von einem Zentrumspixel verantwortlich ist, sowie die Summe von absoluten Differenzen über den Suchbereich minimiert. Die Summe der absoluten Differenzkostenfunktion kann für eine Fenstergröße von pXq wie folgt berechnet werden: MV (dx, dy) = arg min (SAD_COST)
    Figure 00040001
    wobei AD die absolute Differenz zwischen entsprechenden Pixelpositionen der Summe des Fensters der absoluten Differenz ist. Wt_factor ist der Gewichtsfaktor und step_cnt ist die Trennung zwischen den Auflösungsniveaus. Zum Beispiel entspricht ein Niveau 5 einer 1/32-Auflösung des Originals.
  • Mit Bezug auf 3 kann eine Sequenz gemäß einer Ausführungsform der vorliegenden Erfindung in Hardware, Software oder Firmware implementiert werden. Bei Software oder Firmware implementierten Ausführungsformen kann sie aus Anweisungen zusammengesetzt sein, die von einem Computer ausgeführt werden. Die Anweisungen können in einem konkreten computerlesbaren Medium wie beispielsweise einem optischen, magnetischen oder Halbleiterspeicher gespeichert sein.
  • Anfänglich werden der vorherige Frame und der darauffolgende Frame verwendet, um hierarchische Bilder wie in Block 28 angezeigt zu generieren. Die hierarchischen Bilder umfassen in diesem Vierpassbeispiel ein gesamtes Auflösungsbild, ein halbes Auflösungsbild, ein Viertelauflösungsbild und ein Achtelauflösungsbild wie angezeigt bei 26. Das System beginnt bei Block 24 mit dem Achtelauflösungsbild.
  • Bei Niveau 3 in diesem Beispiel ist die Blockgröße 8 × 8, was bedeutet, dass es einen Bewegungsvektor für jeden 8 × 8-Satz von Pixeln gibt. Das SAD-Fenster ist ein 12 × 12-Fenster, das den 8 × 8-Block umgibt. Somit ist der Suchbereich ±4 Pixel und an jeder Stelle wird ein SAD von einem 12 × 12-Fenster berechnet. Die Bewegungsvektoren vom Niveau 3 werden dann dem Bewegungseinschätzungsniveau 2 Block 22 bereitgestellt, der das Viertelauflösungsbild aufnimmt. In diesem Fall kann der Suchbereich ±10 Pixel betragen, beispielweise kann die Blockgröße 16 × 16 sein und das Suchfenster 16 × 16.
  • Der Ausgang vom Bewegungseinschätzungsniveau 2 Block 22 wird dem Bewegungseinschätzungsniveau 1 Block 20 bereitgestellt, der ein halbes Auflösungsbild sowie die Bewegungsvektoren vom Niveau 2 empfängt. Die Blockgröße ist 16 × 16 und das SAD-Fenster ist 16 × 16, aber der Suchbereich ist ±21 Pixel.
  • Die Bewegungseinschätzung von Niveau 1 gibt Bewegungsvektoren an ein Bewegungseinschätzungsniveau 0 Block 18 aus, das ebenfalls die gesamte Auflösungsabbildung empfängt. Die Blockgröße ist 16 × 16 und das SAD-Fenster ist 16 × 16, aber der Suchbereich ist ±43 Pixel. Wie angezeigt bei 26 umfasst die gesamte Auflösungsabbildung 75 Prozent mehr als die halbe Auflösung, die nur ein Viertel der Originalauflösung umfasst. Ähnlich empfängt die Viertelauflösung nur ein Viertel von der Auflösung der halben Auflösung und die Achtelauflösung empfängt nur ein Viertel davon.
  • Die Ausgabe von Block 18 erfolgt dann in der Form von Bewegungsvektoren, die an Block 16 bereitgestellt werden, wobei die Bewegungsvektoren für eine Blockgröße 8 × 8 und ein SAD-Fenster 12 × 12 verfeinert sind, um Bewegungsvektoren der Größe 8 × 8 zu erzeugen.
  • In der hierarchischen Bewegungseinschätzung kann man r Bewegungseinschätzungspässe verwenden, wobei jeder eine variierende (z. B. zunehmende) Auflösung aufweist. Beispielsweise kann man eine hierarchische 4-Pass-Bewegungseinschätzung verwenden. Die Bewegungseinschätzung beginnt mit dem gröbsten Niveau, das in diesem Beispiel als ein Niveau 3 benannt ist und in jedem nachfolgenden Schritt verfeinert wird. Das Niveau 3 kann einer 1/8-Auflösung der Originalauflösung entsprechen. Beim gröbsten Niveau, dem Niveau r, wird die Summe der absoluten Differenzkosten an jeder Stelle innerhalb des Suchbereichs von Pixeln berechnet. Bei diesem Auflösungsniveau können bei einer Ausführungsform der Mindestbetrag der absoluten Differenzkosten und der darauffolgende Mindestbetrag der absoluten Differenzkosten erhalten werden.
  • Wenn die Differenz zwischen diesen zwei Kosten zu klein ist, dann können bei einigen Ausführungsformen die besten Bewegungsvektoren von den benachbarten Blocks auf demselben Niveau für den gegenwärtigen Block verwendet werden. Die Differenz ist zu klein, wenn sie sich bei einer Ausführungsform innerhalb eines gegebenen Prozentsatzes des Mindestbetrags der absoluten Differenz befindet.
  • Als ein Beispiel kann man bei einer Ausführungsform die besten Bewegungsvektoren von benachbarten oberen und linken Blocks finden, die zuvor analysiert wurden. Ein oberer Block ist ein Block direkt über dem Gegenstandsblock und der linke Block ist der Block direkt links vom Gegenstandsblock. Wenn die Bewegungsvektoren von einem vorherigen Frame zu Bewegungsfeldern umgewandelt wurden, können sie als Kandidaten dafür betrachtet werden, den besten Bewegungsvektor als eine Extraprüfung für die Konsistenz zu finden. Sie können zu Bewegungsfeldern umgewandelt worden sein, indem man bei einer Ausführungsform die vier oder fünf allgemeinsten und zuverlässigsten Bewegungsvektoren nachverfolgt hat.
  • Dieser Ansatz kann wirksamer sein als rekursive Verfahren, die Fehler propagieren oder in einigen Fällen unter langsamen Umwandlungsübergängen leiden können.
  • Beim nächsthöheren Auflösungsniveau r – 1 werden die Bewegungsvektoren des niedrigeren Niveaus innerhalb des Suchbereichs von Pixeln verfeinert. Die Schritte der Verfeinerung vom Niveau r – 2 an vorwärts verwenden die besten Bewegungsvektoren von den benachbarten vier unteren Auflösungsblocks. Somit kann eine Gruppe von Blocks (der obere links, der obere rechts auf einer Reihe und der untere links und der untere rechts direkt darunter auf der darauffolgenden Reihe) die vier Blocks repräsentieren, die nicht denselben Bewegungsvektor von einem Bild mit niedriger Auflösung teilen.
  • Der obere linke Block wählt die Besten unter den benachbarten vier Blocks mit demselben Muster wie der Basisbewegungsvektor aus. Der Basisbewegungsvektor wird dann innerhalb des Suchbereichs von Pixeln verfeinert. Diesen rekursiven Schritten wird vom Niveau r – 2 zum Niveau 0 gefolgt. Nach der Bewegungseinschätzung von Niveau 0 kann ein Schritt der Verfeinerung angewandt werden, um den besten Bewegungsvektor aus den benachbarten vier Bewegungsvektoren auszuwählen. Dieser Bewegungseinschätzungsschritt kann sowohl bei den Vorwärts- als auch den Rückwärtsrichtungen angewandt werden, um die gesamte Konsistenz und Robustheit der Bewegungsvektoren bei einigen Ausführungsformen zu verbessern. Diese bidirektionalen Bewegungsvektoren kann man während des Interpolationsschritts verwenden.
  • Der Frameinterpolationsschritt umfasst das Interpolieren der Frames beim korrekten Zeitstempel, gewöhnlich um die benötigten Extraframes einzufüllen, um die höhere Bildfrequenz aufzuholen. Der Zeitstempel basiert wiederum auf der Bildfrequenz. Der Frameinterpolationsschritt weist bei einer Ausführungsform drei Blocks auf, eine bidirektionale Bewegungskompensation, Lochfüllung und Interpolation. Im Bewegungskompensationsschritt werden die von der Bewegungseinschätzungsengine erhaltenen Bewegungsvektoren vor der Anwendung von Bewegungskompensation zu dem korrekten Zeitstempel skaliert.
  • Beim Bewegungskompensationsschritt werden drei unterschiedliche Kategorien von Pixeln identifiziert und den identifizierten Pixeln wird eine von drei Bezeichnungen gegeben. Pixel ohne bewegungskompensierten Wert werden als Lochpixel bezeichnet. Ein Lochpixel kann für ein Pixel nahe der Grenze auftreten, sodass kein Pixel mit dem Lochpixel im darauffolgenden Frame übereinstimmt. Das Lochpixel hat das niedrigste Vertrauensniveau. Pixel können ebenfalls mit mehren Bewegungsvektoren verbunden sein und sie sind mit Many-To-One oder M2O bezeichnet. Sie haben das Zwischenvertrauensniveau. One-to-One-Pixel (o2o) sind Pixel, die mit einem anderen Pixel in den Vorwärts- oder Rückwärtsrichtungen übereinstimmen. Diese sind die Pixel mit dem höchsten Vertrauenswert.
  • Im Fall von Many-To-One-Zuordnungspixeln können die Bewegungsvektoren basierend auf den benachbarten Pixeln verfeinert werden. Die vorwärts- und rückwärtsbewegungskompensierten Bilder werden berechnet und ein entsprechender Bewegungseinschätzungsfehler wird bei jedem Pixel zum Beispiel als die Summe von absoluten Differenzen aller drei Farbkomponenten in einem Fenster der Größe pXq berechnet. Beispielsweise kann man eine 3 × 3-Fehlerberechnung durchführen, wo eine Reihe von neun Pixeln in einem vorherigen Frame und von neun Pixeln im darauffolgenden Frame verwendet wird, um ein Zwischenpixel zu interpolieren.
  • Pixel, die nach dem Bewegungskompensationsschritt als Löcher bezeichnet werden, kann man bei einer Ausführungsform unter Verwendung von Nachbarpixelinformation interpolieren. Bei der Lochfüllung kann man die Löcher von benachbarten Bewegungsvektoren rekursiv füllen. Der Bewegungsvektor mit dem Mindestbetrag der absoluten Differenzkosten kann für das gegenwärtige Pixel verwendet werden.
  • Mit Bezug auf 4 werden die Vorwärtsbewegungsvektoren vom Bewegungseinschätzungsschritt an Block 30 bereitgestellt, wo die Vorwärtsbewegungsvektoren skaliert sind. Das heißt, die Vorwärtsbewegungsvektoren können mit einem Skalenfaktor t multipliziert sein und die Rückwärtsbewegungsvektoren sind anhand 1 – t im Block 36 skaliert. Der Skalierungsfaktor t skaliert zu dem korrekten Zeitstempel. Als Nächstes wird dann das vorwärtsbewegungskompensierte Bild im Block 32 erzeugt, wo ein Bewegungskompensationsfehler pro Pixel berechnet wird. Auf gleiche Weise wird dann das rückwärtsbewegungskompensierte Bild im Block 38 erzeugt, während ein Bewegungskompensationsfehler pro Pixel berechnet wird. Dann wird der Lochfüllschritt 34 durchgeführt. Zuletzt wird der endgültige interpolierte Frame wie angezeigt im Block 40 und im Folgenden beschrieben erzeugt.
  • Mit Bezug auf 5 beginnt die endgültige Interpolation des Pixels bei Block 42, wo die Anzahl (CNT) von One-to-One-(020)-Pixeln in der Nachbarschaft des gegenwärtigen Pixels sowohl für die Vorwärts-(CntF020) als auch die Rückwärts-(CntB020)Interpolationsframes berechnet wird. Wenn die Absolutbeträge der Vorwärts-(Fwd Mvs) und Rückwärts-(Bwd Mvs)Bewegungsvektoren unter einem Schwellenwert sind (MV_FWD_TH oder MV_BWD_TH) und die Pixelbezeichnungen nicht Lochpixeln entsprechen, dann werden die Pixel vom vorwärts- und rückwärtsinterpolierten Pixel wie angezeigt in Diamant 44 interpoliert.
  • Wenn die Vorwärtsbewegungsvektoren (Fwd Mvs) größer sind, als ein Schwellenwert (MV_FWD_TH), wie bestimmt im Block 44, und die Rückwärtsbewegungsvektoren (Bwd Mvs) kleiner sind als ein Schwellenwert (MV_BWD_TH), dann bestimmt eine Prüfung bei Diamant 46, ob die Vorwärtspixelbezeichnungen und die Rückwärtspixelbezeichnungen dieselben sind. Zum Beispiel können sie beide One-to-One-Pixel sein. Eine Prüfung bei Diamant 46 bestimmt ebenfalls, ob die Vorwärtszählung von One-to-One-Pixeln größer ist als der Schwellenwert und die Rückwärtszählung von One-to-One-Pixeln größer ist als der Schwellenwert. Wenn dem so ist, dann wird das Ausgangspixel gleich dem Durchschnitt des vorwärtsbewegungskompensierten Pixels und des rückwärtsbewegungskompensierten Pixels im Block 48 gesetzt. One-to-One-Pixeln kann gegenüber Many-to-One-Pixeln Vorrang gegeben werden, wenn die Pixel entweder für One-to-One oder Many-to-One für sowohl die vorwärts- als auch rückwärtsinterpolierten Pixel dieselben sind, und dann kann ein durchschnittlicher Pixelwert als endgültiger Ausgang verwendet werden.
  • Andernfalls bestimmt eine Prüfung bei Diamant 50, ob die Vorwärtspixelbezeichnung One-to-One ist und die Zählung der Rückwärtspixel größer ist als der One-to-One-Schwellenwert. Wenn dem so ist, wird das Ausgangspixel gleich dem vorwärtsbewegungskompensierten Pixel in Block 52 gesetzt. Andernfalls bestimmt eine Prüfung bei Diamant 54, ob die Rückwärtspixelbezeichnung One-to-One ist und die Zählung der One-to-One-Rückwärtspixel größer ist als der Schwellenwert. Wenn dem so ist, wird das Ausgangspixel gleich dem rückwärtsbewegungskompensierten Pixel in Block 62 gesetzt.
  • Andernfalls bestimmt eine Prüfung bei Diamant 56, ob die Vorwärtspixelbezeichnung Many-to-One (M20) ist und die Zählung der One-to-One-Rückwärtspixel größer ist als der Schwellenwert. Wenn dem so ist, wird das Ausgangspixel gleich dem vorwärtsbewegungskompensierten Pixel in Block 62 gesetzt.
  • Andernfalls bestimmt eine Prüfung bei Diamant 58, ob die Rückwärtspixelbezeichnung Many-to-One ist und die Zählung der One-to-One-Rückwärtspixel größer ist als der Schwellenwert. Wenn dem so ist, wird das Ausgangspixel gleich dem rückwärtsbewegungskompensierten Pixel in Block 62 gesetzt. Andernfalls wird das Ausgangspixel gleich dem Medianwert des vorwärtsbewegungskompensierten Pixels, rückwärtsbewegungskompensierten Pixels und eines Alphamischungspixels in Block 60 gesetzt. Das ist ebenfalls das Ergebnis, wenn die Vorwärtsbewegungsvektoren nicht kleiner sind als der Vorwärtsbewegungsvektor-Schwellenwert und die Rückwärtsbewegungsvektoren nicht kleiner sind als der Rückwärtsbewegungsvektor-Schwellenwert.
  • Das Alphamischungspixel ist eine harmonische Zusammenstellung von den Pixeln der benachbarten Frames bei Nullbewegung, gewichtet anhand der Nähe zum Zeitstempel. Die Mischung wird basierend darauf, wo sich der Zeitstempel befindet, durchgeführt. Basierend auf der Distanz vom interpolierten Frame zum vorherigen Frame und der Distanz vom darauffolgenden Frame zum interpolierten Frame wird die Mischung entsprechend vorgenommen. Wenn die vorwärts- und rückwärtsbewegungskompensierten Pixel dieselben sind, dann nimmt der Medianwert diesen Wert und andernfalls nimmt der Medianwert den Alphamischungswert. In jedem Fall wird ein Tiefpassfilter in Block 64 angewandt.
  • Bei einigen Ausführungsformen resultiert eine Kombination von bidirektionalen und hierarchischen Mehrauflösungsverfahren von Bewegungskompensation mit einwandfreier Handhabung von Sonderfällen in der Erkennung von bidirektional kompensierten Versionen des endgültigen Frames und erlaubt die Erzeugung von interpolierten Frames mit relativ hoher Qualität und der Abwesenheit von typischen Artefakten, die sich aus schwacher Bewegungseinschätzung oder Interpolation ergeben.
  • Die hierin beschriebenen Grafikverarbeitungs-Techniken können in verschiedenen Hardware-Architekturen implementiert werden. Beispielsweise kann Grafikfunktionalität innerhalb eines Chipsatzes integriert sein. Alternativ kann ein getrennter Grafikprozessor verwendet werden. Als noch weitere Ausführungsform können die Grafikfunktionen durch einen Universalprozessor, einschließlich eines Mehrkernprozessors, implementiert werden.
  • Verweise in dieser Beschreibung auf „eine Ausführungsform” bedeuten, dass ein bestimmtes Merkmal, eine Struktur oder Charakteristik, die in Verbindung mit der Ausführungsform beschrieben wird, mindestens in einer innerhalb der vorliegenden Erfindung eingeschlossenen Implementierung enthalten ist. Somit beziehen sich Verwendungen des Ausdrucks „bei einer Ausführungsform” nicht notwendigerweise auf die gleiche Ausführungsform. Außerdem können die bestimmten Merkmale, Strukturen oder Charakteristika in anderen geeigneten Formen eingeführt werden, die sich von der bestimmten veranschaulichten Ausführungsform unterscheiden, und alle solchen Formen können innerhalb der Ansprüche der vorliegenden Anmeldung eingeschlossen sein.
  • Obwohl die vorliegende Erfindung im Hinblick auf eine begrenzte Anzahl von Ausführungsformen beschrieben wurde, sind sich Fachleute bewusst, dass viele weitere Modifikationen und Varianten davon möglich sind. Die beigefügten Ansprüche sollen alle solchen Modifikationen und Varianten abdecken, die dem Sinn und Schutzbereich der vorliegenden Erfindung entsprechen.

Claims (30)

  1. Verfahren, umfassend: das Einschätzen der Bewegung zwischen aufeinanderfolgenden Frames bei einer ersten Bildfrequenz durch das Bezeichnen von Pixeln in einem Frame in Bezug auf die Anzahl von zusammenpassenden Pixeln in einem anderen Frame; und das Verwenden der Bewegungseinschätzung und der Pixelbezeichnung, um Pixel in Frames zu interpolieren, die eine zweite Bildfrequenz aufweisen, welche sich von der ersten Bildfrequenz unterscheidet.
  2. Das Verfahren nach Anspruch 1, umfassend das Benennen von Pixeln, die keine übereinstimmenden Pixel in einem anderen Frame aufweisen.
  3. Das Verfahren nach Anspruch 1, umfassend das Benennen von Pixeln, die nur ein übereinstimmendes Pixel in einem anderen Frame aufweisen.
  4. Das Verfahren nach Anspruch 1, umfassend das Benennen von Pixeln, die mehrere übereinstimmende Pixel in einem anderen Frame aufweisen.
  5. Das Verfahren nach Anspruch 1, wobei die Einschätzung der Bewegung das Bestimmen einer Kostenfunktion basierend auf einem Ähnlichkeitsmaß zwischen aufeinanderfolgenden Frames und der Distanz eines Bewegungsvektors zu einem Basisbewegungsvektor umfasst.
  6. Das Verfahren nach Anspruch 5, wobei, wenn die Kostenfunktion unbestimmt ist, ein vorheriger Block über einem fraglichen Block und ein vorheriger Block links von einem fraglichen Block verwendet wird, um die Bewegungsvektoren zu entwickeln.
  7. Das Verfahren nach Anspruch 1, wobei die Bewegungseinschätzung bidirektional ist.
  8. Das Verfahren nach Anspruch 7, wobei die Bewegungseinschätzung eine Mehrfachauflösung ist.
  9. Das Verfahren nach Anspruch 8, umfassend die Verwendung einer Kostenfunktion, welche die Distanz zu einem übereinstimmenden Block und einem Auflösungsfaktor gewichtet.
  10. Das Verfahren nach Anspruch 1, umfassend die Verwendung von Blockübereinstimmungskriterien, die ein Fenster der Summe von absoluten Differenzen verwenden, welche größer ist als die Blockgröße.
  11. Computerlesbares Medium, das Befehle, die von einem Computer ausgeführt werden, speichert, um: die Bildfrequenz von Videoframes unter Verwendung von Bewegungseinschätzung und der während der Bewegungseinschätzung implementierten Pixelbezeichnung umzuwandeln, um Pixel in Frames zu interpolieren; und wobei das Pixelbezeichnen das Bezeichnen von Pixeln basierend auf der Anzahl an Pixeln in einem nachfolgenden Frame umfasst, der Pixeln in einem vorherigen Frame entspricht.
  12. Das Medium nach Anspruch 11, das weiter Anweisungen zum Bezeichnen von Pixeln mit einem einzigartigen Bezeichner umfasst, wenn die Pixel keine übereinstimmenden Pixel in einem nachfolgenden Frame aufweisen.
  13. Das Medium nach Anspruch 11, das weiter Anweisungen zum Bezeichnen von Pixeln mit einem einzigartigen Bezeichner umfasst, wenn diese Pixel nur mit einem Pixel in einem nachfolgenden Frame übereinstimmen.
  14. Das Medium nach Anspruch 11, das weiter Anweisungen zum Bezeichnen von Pixeln mit einem einzigartigen Bezeichner umfasst, wenn die Pixel mit mehreren Pixeln in einem nachfolgenden Frame übereinstimmen.
  15. Das Medium nach Anspruch 11, das weiter Anweisungen speichert, um eine Kostenfunktion basierend auf einem Ähnlichkeitsmaß zwischen aufeinanderfolgenden Frames und der Distanz eines Bewegungsvektors zu einem Basisbewegungsvektor zu bestimmen.
  16. Das Medium nach Anspruch 15, das weiter Anweisungen speichert, um einen vorherigen Block über einem Block zu verwenden, dessen Kostenfunktion unbestimmt ist, und einen vorherigen Block links vom Block, dessen Kostenfunktion unbestimmt ist, um Bewegungsvektoren zu entwickeln.
  17. Das Medium nach Anspruch 11, das weiter Anweisungen speichert, um bidirektionale Bewegungseinschätzung zu implementieren.
  18. Das Medium nach Anspruch 17, das weiter Anweisungen speichert, um Mehrauflösungsbewegungseinschätzung zu implementieren.
  19. Das Medium nach Anspruch 18, das weiter Anweisungen speichert, um den besten Kandidaten unter vier angrenzenden Blocks auszuwählen, die nicht denselben Bewegungsvektor von einer niedrigeren Auflösung teilen als der Basisbewegungsvektor für die nächsthöhere Auflösung.
  20. Das Medium nach Anspruch 11, das weiter Anweisungen speichert, um die Anzahl an Pixeln zu zählen, die nur ein übereinstimmendes Pixel in einem nachfolgenden Frame aufweisen, und diese Anzahl zu verwenden, um zu bestimmen, wie man Pixel für die Bildfrequenzumwandlung interpoliert.
  21. Vorrichtung, umfassend: eine Bewegungseinschätzungseinheit, um Bewegung zwischen aufeinanderfolgenden Frames bei einer ersten Bildfrequenz zu bewerten, indem man Pixel in Bezug auf die Anzahl an übereinstimmenden Pixeln in einem nachfolgenden Frame bezeichnet; und eine Interpolationseinheit, um die Bewegungseinschätzung und die Pixelbezeichnung zu verwenden, um Pixel in Frames zu interpolieren, die eine zweite Bildfrequenz aufweisen, welche sich von der ersten Bildfrequenz unterscheidet.
  22. Die Vorrichtung nach Anspruch 21, wobei die Bewegungseinschätzungseinheit verwendet wird, um Pixel zu bezeichnen, die keine übereinstimmenden Pixel in einem nachfolgenden Frame aufweisen.
  23. Die Vorrichtung nach Anspruch 21, wobei die Bewegungseinschätzungseinheit verwendet wird, um Pixel zu bezeichnen, die nur ein übereinstimmendes Pixel in einem nachfolgenden Frame aufweisen.
  24. Die Vorrichtung nach Anspruch 21, wobei die Bewegungseinschätzungseinheit verwendet wird, um Pixel zu bezeichnen, die mehrere übereinstimmende Pixel in einem nachfolgenden Frame aufweisen.
  25. Die Vorrichtung nach Anspruch 21, wobei die Einschätzung der Bewegung das Bestimmen einer Kostenfunktion basierend auf dem Ähnlichkeitsmaß zwischen aufeinanderfolgenden Frames und der Distanz eines Bewegungsvektors zu einem Basisbewegungsvektor umfasst.
  26. Die Vorrichtung nach Anspruch 25, wobei die Bewegungseinschätzungseinheit einen vorherigen Block über einem zu bewertenden Block und einen vorherigen Block links vom zu bewertenden Block verwendet, um die Bewegungsvektoren zu entwickeln, wenn die Kostenfunktion unbestimmt ist.
  27. Die Vorrichtung nach Anspruch 21, wobei die Bewegungseinschätzungseinheit bidirektional ist.
  28. Die Vorrichtung nach Anspruch 27, wobei die Bewegungseinschätzungseinheit eine Mehrfachauflösung ist.
  29. Die Vorrichtung nach Anspruch 28, wobei die Bewegungseinschätzungseinheit den besten Kandidaten unter vier angrenzenden Blocks auswählt, der nicht denselben Bewegungsvektor von einer niedrigeren Auflösung teilt als der Basisbewegungsvektor für die nächsthöhere Auflösung.
  30. Die Vorrichtung nach Anspruch 21, wobei die Interpolationseinheit die Anzahl an Pixeln zählt, die nur ein übereinstimmendes Pixel in einem nachfolgenden Frame aufweisen, und diese Anzahl verwendet, um zu bestimmen, wie man Pixel nur die Bildfrequenzumwandlung interpoliert.
DE102010046259A 2009-11-09 2010-09-22 Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation Pending DE102010046259A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/614,518 2009-11-09
US12/614,518 US8724022B2 (en) 2009-11-09 2009-11-09 Frame rate conversion using motion estimation and compensation

Publications (1)

Publication Number Publication Date
DE102010046259A1 true DE102010046259A1 (de) 2011-07-14

Family

ID=43127864

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010046259A Pending DE102010046259A1 (de) 2009-11-09 2010-09-22 Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation

Country Status (5)

Country Link
US (1) US8724022B2 (de)
CN (1) CN102055947B (de)
DE (1) DE102010046259A1 (de)
GB (1) GB2475369B (de)
TW (1) TWI451762B (de)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI398159B (zh) * 2009-06-29 2013-06-01 Silicon Integrated Sys Corp 具動態控制畫質功能的幀率轉換裝置及相關方法
US8910046B2 (en) 2010-07-15 2014-12-09 Apple Inc. Media-editing application with anchored timeline
US10076303B2 (en) 2010-09-07 2018-09-18 Insightec, Ltd. Motion compensation for non-invasive treatment therapies
US9516389B1 (en) * 2010-12-13 2016-12-06 Pixelworks, Inc. On screen display detection
US8954477B2 (en) 2011-01-28 2015-02-10 Apple Inc. Data structures for a media-editing application
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
US8839110B2 (en) * 2011-02-16 2014-09-16 Apple Inc. Rate conform operation for a media-editing application
TWI493978B (zh) * 2011-08-23 2015-07-21 Mstar Semiconductor Inc 影像處理裝置、影像處理方法及影像播放系統
US20140010307A1 (en) * 2011-12-30 2014-01-09 Marat Ravilevich Gilmutdinov Method of and apparatus for complexity scalable frame rate up-conversion
CN102630014B (zh) * 2012-04-05 2014-06-18 重庆大学 一种基于前后两帧参考帧产生内插帧的双向运动估计器
US9275601B2 (en) * 2012-12-12 2016-03-01 Intel Corporation Techniques to control frame display rate
CN104885120A (zh) * 2012-12-31 2015-09-02 基文影像公司 用于显示图像流的系统和方法
CN103152566B (zh) * 2013-02-22 2016-03-09 华中科技大学 一种视频帧率提升方法
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US10219000B1 (en) * 2015-10-22 2019-02-26 Pixelworks, Inc. Time stamp recovery and frame interpolation for frame rate source
CN106791279B (zh) * 2016-12-30 2020-01-03 中国科学院自动化研究所 基于遮挡检测的运动补偿方法及系统
US10382718B2 (en) * 2017-12-27 2019-08-13 Anapass Inc. Frame rate detection method and frame rate conversion method
US10772141B2 (en) 2018-06-28 2020-09-08 The Chinese University Of Hong Kong System and method for peer-to-peer wireless communication
MX2021000686A (es) * 2018-09-19 2021-03-25 Huawei Tech Co Ltd Metodo para omitir refinamiento con base en la similitud de parches en el refinamiento de vector de movimiento del lado del decodificador basado en interpolacion bilineal.
CN109756778B (zh) * 2018-12-06 2021-09-14 中国人民解放军陆军工程大学 一种基于自适应运动补偿的帧率转换方法
KR102632901B1 (ko) * 2019-01-11 2024-02-06 삼성전자주식회사 이미지 센서의 프레임 레이트를 제어하기 위한 전자 장치 및 그에 관한 방법
DE102020129908A1 (de) * 2020-11-12 2022-05-12 Mekra Lang Gmbh & Co. Kg Indirektes Schichtsystem und Verfahren zum Anpassen einer Bildwiederholungsrate

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9805971A (pt) * 1997-02-06 1999-08-31 Koninkl Philips Electronics Nv Processo e sistema para segmentação e rastreamento de objetos
US6442203B1 (en) 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
KR100708091B1 (ko) 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
FR2813485B1 (fr) * 2000-08-24 2003-12-26 France Telecom Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant
WO2003041416A1 (en) * 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas
KR100657261B1 (ko) * 2003-12-10 2006-12-14 삼성전자주식회사 적응적 움직임 보상 보간 방법 및 장치
KR101057999B1 (ko) * 2003-12-18 2011-08-19 삼성전자주식회사 움직임 보상에 기반한 프레임 율 변환 장치, 및 그 방법과이를 구현하기 위한 프로그램이 기록된 기록 매체
KR100565066B1 (ko) * 2004-02-11 2006-03-30 삼성전자주식회사 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
EP1585326A1 (de) * 2004-03-30 2005-10-12 Matsushita Electric Industrial Co., Ltd. Bewegungsvektorschätzung an Bildrändern zur Bildfrequenzumwandlung
KR100584597B1 (ko) * 2004-05-10 2006-05-30 삼성전자주식회사 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치
FR2872973A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage d'une sequence d'images sources
KR100644629B1 (ko) 2004-09-18 2006-11-10 삼성전자주식회사 하이브리드 블록 매칭 기반의 움직임 추정 방법 및 그를적용한 프레임 레이트 변환 장치
KR100727989B1 (ko) * 2005-10-01 2007-06-14 삼성전자주식회사 동영상 부호화시의 인터 모드 결정 방법 및 장치
KR100790178B1 (ko) * 2006-10-20 2008-01-02 삼성전자주식회사 동영상의 프레임 레이트 변환 방법
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
US20090002558A1 (en) * 2007-06-29 2009-01-01 Digital Vision Ab Three-frame motion estimator for restoration of single frame damages
EP2071852A1 (de) * 2007-12-11 2009-06-17 Alcatel Lucent Verfahren zum Zustellen eines Videostroms über einen drahtlosen, bidirektionalen Kanal zwischen einem Videokodierer und einem Videodekodierer
KR101386891B1 (ko) * 2007-12-13 2014-04-18 삼성전자주식회사 영상 보간 방법 및 장치
EP2106136A1 (de) 2008-03-28 2009-09-30 Sony Corporation Bewegungskompensierte, zeitweise Interpolation zur Bildfrequenzumwandlung von Videosignalen

Also Published As

Publication number Publication date
GB201016032D0 (en) 2010-11-10
TW201143431A (en) 2011-12-01
CN102055947A (zh) 2011-05-11
GB2475369B (en) 2012-05-23
GB2475369A (en) 2011-05-18
US20110109796A1 (en) 2011-05-12
CN102055947B (zh) 2015-07-22
US8724022B2 (en) 2014-05-13
TWI451762B (zh) 2014-09-01

Similar Documents

Publication Publication Date Title
DE102010046259A1 (de) Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation
DE102010053087A1 (de) Auf bidirektionaler, lokaler und globaler Bewegungseinschätzung basierende Bildfrequenzumwandlung
DE112017002851B4 (de) Verfahren und Vorrichtung einer Grenzauffüllung für eine VR-Videoverarbeitung
DE60305274T2 (de) Bewegungsschätzungsvorrichtung, Verfahren und maschinenlesbares Speichermedium geeignet zur Erkennung von Verschiebungen von Text und grafischen Daten
JP3621152B2 (ja) 特徴点の特定装置及びその方法
DE602005001717T2 (de) Bildverarbeitungsvorrichtung und -verfahren, Speichermedium und Programm
DE602005001967T2 (de) Bildverarbeitungsvorrichtung und -Verfahren, Aufzeichnungsmedium und Programm
US11967051B2 (en) Image fusion method and portable terminal
US20150093039A1 (en) Image super-resolution reconstruction system and method
US20110206127A1 (en) Method and Apparatus of Frame Interpolation
DE112009005382T5 (de) Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden
JPH0362690A (ja) 動き補正付きテレビジョン信号方式変換器
CN101996406A (zh) 无参考结构清晰度图像质量评价方法
US20130084027A1 (en) Image processing apparatus
DE112009002658T5 (de) Verfahren und Vorrichtung zur Videorauschreduzierung
CN107292819A (zh) 一种基于边缘细节保护的红外图像超分辨率重建方法
DE102020133244A1 (de) Kantenbewusste Aufwärtsskalierung für verbesserte Bildschirminhaltsqualität
CN111179173B (zh) 一种基于离散小波变换和坡度融合算法的图像拼接方法
DE112014006493T5 (de) Bestimmen eines Massstabs dreidimensonaler Informationen
CN103914807B (zh) 一种缩放尺度补偿的非局部性图像超分辨率方法及系统
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis
DE102005063072A1 (de) Verfahren und Vorrichtung zur Zwischenzeileninterpolation
JP4104937B2 (ja) 動画像合成方法および装置並びにプログラム

Legal Events

Date Code Title Description
R016 Response to examination communication
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: TAHOE RESEARCH, LTD., IE

Free format text: FORMER OWNER: INTEL CORPORATION, SANTA CLARA, CALIF., US

R082 Change of representative

Representative=s name: VOSSIUS & PARTNER PATENTANWAELTE RECHTSANWAELT, DE