DE102010046259A1 - Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation - Google Patents
Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation Download PDFInfo
- Publication number
- DE102010046259A1 DE102010046259A1 DE102010046259A DE102010046259A DE102010046259A1 DE 102010046259 A1 DE102010046259 A1 DE 102010046259A1 DE 102010046259 A DE102010046259 A DE 102010046259A DE 102010046259 A DE102010046259 A DE 102010046259A DE 102010046259 A1 DE102010046259 A1 DE 102010046259A1
- Authority
- DE
- Germany
- Prior art keywords
- pixels
- motion
- motion estimation
- block
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 14
- 230000002457 bidirectional effect Effects 0.000 claims description 9
- 238000011524 similarity measure Methods 0.000 claims description 4
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000007423 decrease Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- OANVFVBYPNXRLD-UHFFFAOYSA-M propyromazine bromide Chemical compound [Br-].C12=CC=CC=C2SC2=CC=CC=C2N1C(=O)C(C)[N+]1(C)CCCC1 OANVFVBYPNXRLD-UHFFFAOYSA-M 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
Die Bildfrequenzumwandlung kann unter Verwendung von Bewegungseinschätzungsergebnissen implementiert werden. Spezifisch können Pixel als Teil der Bewegungseinschätzung basierend auf der Anzahl an übereinstimmenden Pixeln in nachfolgenden Frames bezeichnet werden. Zum Beispiel können Pixel basierend darauf, ob sie keine übereinstimmenden Pixel, ein übereinstimmendes Pixel oder mehrere übereinstimmende Pixel aufweisen, bezeichnet werden. Die Bewegungseinschätzung und die Pixelbezeichnung kann man dann verwenden, um Pixel für die Bildfrequenzumwandlung zu interpolieren.
Description
- Hintergrund
- Dies bezieht sich allgemein auf die Verarbeitung von Videoinformation.
- Ein Video kann mit einer gegebenen Bildfrequenz bereitgestellt werden. Das Video ist aus einer Sequenz von Standbildern zusammengesetzt. Die Bildfrequenz entspricht der Anzahl an Frames pro Sekunde.
- Einige Anzeigen verwenden Bildfrequenzen, die sich von den Bildfrequenzen des Eingangsvideos unterscheiden. Somit wandelt die Bildfrequenzumwandlung die Bildfrequenz nach unten oder oben um, sodass die Eingangsbildfrequenz mit der Bildfrequenz der Anzeige übereinstimmt.
- Kurze Beschreibung der Zeichnungen
-
1 ist eine schematische Abbildung einer Ausführungsform der vorliegenden Erfindung; -
2 ist ein Hinweis darauf, wie Bewegungseinschätzungs-Suchstellengewichtungen einem Block von Pixeln gemäß einer Ausführungsform zugeordnet werden können; -
3 ist ein Ablaufdiagramm für die hierarchische Bewegungseinschätzung gemäß einer Ausführungsform der vorliegenden Erfindung; -
4 ist ein Ablaufdiagramm für die Frameinterpolation gemäß einer Ausführungsform der vorliegenden Erfindung; und -
5 ist ein Ablaufdiagramm für die endgültige Pixelinterpolation gemäß einer Ausführungsform der vorliegenden Erfindung. - Ausführliche Beschreibung
- Bildfrequenzumwandlung wird verwendet, um die Bildfrequenz einer Videosequenz zu ändern. Eine typische Anwendung des Bildfrequenzumwandlungsalgorithmus ist die Umwandlung von Filminhalt von 24 Frames pro Sekunde auf 60 Frames pro Sekunde für das National-Television-Systems-Committee-(NTSC)-System oder von 25 Frames pro Sekunde auf 50 Frames pro Sekunde für das Phase-Alternating-Line-(PAL)-System. Die Unterstützung des hochauflösenden Fernsehens, eine Anzeige mit 120 oder 240 Frames pro Sekunde, welche ebenfalls Bildfrequenzumwandlung nach oben erfordert. Gemäß einigen Ausführungsformen kann der Bildfrequenzumwandlungsalgorithmus die in der Videosequenz abgebildete Bewegung kompensieren.
- Bei einer Ausführungsform werden bidirektionale hierarchische Bewegungseinschätzung und Bewegungskompensation verwendet. „Bidirektional” bedeutet, dass die Bewegung zwischen denselben zwei Ankerframes (hier vorheriger und darauffolgender Frame genannt) in den Vorwärts- und Rückwärtsrichtungen bewertet wird. Hierarchische Bewegungseinschätzung bezieht sich auf die Tatsache, dass die Bewegungseinschätzung mit zunehmender Auflösung der bereitgestellten Videoinformation verfeinert wird. Der bidirektionalen hierarchischen Bewegungseinschätzung und -kompensation kann ein endgültiger Interpolationsabschnitt folgen, der sich um die verschiedenen Probleme kümmert, die sich aus dem Bewegungseinschätzungs- und Bewegungskompensationsabschnitt ergeben, um die Qualität des interpolierten Bildes zu verbessern.
- Mit Bezug auf
1 umfasst der Bildfrequenzumwandlungsalgorithmus10 einen Bewegungseinschätzungsblock12 und einen Frameinterpolationsblock14 . Somit kann ein vorheriger Eingangsframe wie auch ein darauffolgender Eingangsframe zu den Blocks12 und14 gehen. Die Interpolation an der Ausgangsbildfrequenz14 empfängt die Eingangsbildfrequenz und die Ausgangsbildfrequenz. Sie empfangt ebenfalls die Bewegungsvektoren. Basierend auf all diesen Informationen stellt sie wie angezeigt einen bildfrequenzkorrigierten Ausgang bereit. - Die Bewegungseinschätzung wird zwischen zwei oder mehr benachbarten Frames ausgeführt, indem Regionen von einem Frame zu einem anderen angeglichen werden. Diese angeglichenen Regionen sind gewöhnlich kleinere rechteckige Blocks von Pixeln innerhalb des Frames. Eine bidirektionale Bewegungseinschätzung wird ausgeführt, um zwei Sätze von Bewegungsvektoren zu erhalten (einer vom Basisframe zum darauffolgenden Frame und einer vom Basisframe zum vorherigen Frame). Die Verwendung der bidirektionalen Bewegungseinschätzung kann bei einigen Ausführungsformen in zuverlässigeren Bewegungsvektoren resultieren. Der endgültige Satz von Bewegungsvektoren wird dann verwendet, um Frames beim korrekten Zeitstempel zu interpolieren. Der Zeitstempel basiert auf der Bildfrequenz.
- Die Bewegungseinschätzung berechnet Bewegungsvektoren, welche die Translations- und Rotationsbewegung von abgebildeten Bildobjekten innerhalb einer Sequenz von Videoframes repräsentieren. Unter Verwendung einer Blockabgleichstechnik erhält man einen einzelnen Bewegungsvektor für einen mXn-Block. Ein typisches Ähnlichkeitsmaß ist die Summe von absoluten Differenzen (SAD) zwischen Blocks, aber andere Ähnlichkeitsmaße können ebenfalls verwendet werden. Alle Pixel innerhalb des rechteckigen Blocks sind demselben Bewegungsvektor zugeordnet.
- Bei einigen Ausführungsformen verwendet die hierarchische Bewegungseinschätzungsengine Energieminimierung basierend auf absoluten Differenzen, Auflösungsniveau und Distanz zum Suchblock. Die hierarchische Bewegungseinschätzung kann die Erhöhung des Bewegungsbereichs zulassen, indem man bei einigen Ausführungsformen unabhängig bei niedrigen Auflösungsversionen der Original-Videoframes arbeitet und schrittweise die Auflösung in der Position der Bewegungsvektoren erhöht und gleichzeitig ein Vertrauen in deren Werte erhöht.
- Schnelle oder intensive Bewegungsframes können zum Beispiel erkannt werden, wenn die Bewegungseinschätzung einen Schwellenwert überschreitet. Schnelle Bewegung kann bei einigen Ausführungsformen als Sonderfälle für die Interpolation behandelt werden. Der Anwender kann den Bewegungsvektorvertrauens-Schwellenwert für die Bewegungsvektoren festlegen. Während die Bewegung zunimmt, nimmt das Vertrauen generell ab.
- Die Bewegungseinschätzungsengine berechnet Bewegungsvektoren für Blocks der Größe mXn bei unterschiedlichen Auflösungsniveaus. Bei jedem Auflösungsniveau werden die Bewegungsvektoren von einem unteren Auflösungsniveau aus innerhalb eines Suchfensters verfeinert. Eine Kostenfunktion kann basierend auf einer abstandsgewichteten Summe von absoluten Differenzen entwickelt werden. Die Kostenfunktion kann man verwenden, um die Mindestkostenfunktion zu berechnen. Die Bevorzugung kann man Bewegungsvektoren geben, die einem Basisbewegungsvektor näher sind als entferntere Bewegungsvektoren, welche dieselben Kosten aufweisen. Bei einigen Ausführungsformen kann dies eine Vektordivergenz vermeiden. Pixel mit ähnlicher Farbe werden bei einer Ausführungsform dieselbe Gewichtung gegeben. Den Zentrumspixeln nähere Pixel können bevorzugt werden, was bedeutet, dass sie bei einigen Ausführungsformen eine geringere Gewichtung haben können. Allgemein sind die näheren Bewegungsvektoren zuverlässiger.
- Somit wird in
2 als Beispiel das Grundpixel als einen Gewichtsfaktor von (wt_factor) = 1,0 aufweisend angezeigt, wobei m und n 5 ist. Die nächsten umgebenden Pixel weisen in diesem Beispiel einen Gewichtsfaktor von 1,05 auf und der endgültige Satz von umgebenden Pixeln einen Gewichtsfaktor von 1,1025. Natürlich ist das nur ein Beispiel und die unterschiedlichen Arten der Zuordnung von Gewichten und die verwendeten spezifischen Gewichte können sich alle unterscheiden. - Die Bewegungsvektoren kann man berechnen, indem eine Kostenfunktion, die für Distanz von einem Zentrumspixel verantwortlich ist, sowie die Summe von absoluten Differenzen über den Suchbereich minimiert. Die Summe der absoluten Differenzkostenfunktion kann für eine Fenstergröße von pXq wie folgt berechnet werden:
MV (dx, dy) = arg min (SAD_COST) - Mit Bezug auf
3 kann eine Sequenz gemäß einer Ausführungsform der vorliegenden Erfindung in Hardware, Software oder Firmware implementiert werden. Bei Software oder Firmware implementierten Ausführungsformen kann sie aus Anweisungen zusammengesetzt sein, die von einem Computer ausgeführt werden. Die Anweisungen können in einem konkreten computerlesbaren Medium wie beispielsweise einem optischen, magnetischen oder Halbleiterspeicher gespeichert sein. - Anfänglich werden der vorherige Frame und der darauffolgende Frame verwendet, um hierarchische Bilder wie in Block
28 angezeigt zu generieren. Die hierarchischen Bilder umfassen in diesem Vierpassbeispiel ein gesamtes Auflösungsbild, ein halbes Auflösungsbild, ein Viertelauflösungsbild und ein Achtelauflösungsbild wie angezeigt bei26 . Das System beginnt bei Block24 mit dem Achtelauflösungsbild. - Bei Niveau 3 in diesem Beispiel ist die Blockgröße 8 × 8, was bedeutet, dass es einen Bewegungsvektor für jeden 8 × 8-Satz von Pixeln gibt. Das SAD-Fenster ist ein 12 × 12-Fenster, das den 8 × 8-Block umgibt. Somit ist der Suchbereich ±4 Pixel und an jeder Stelle wird ein SAD von einem 12 × 12-Fenster berechnet. Die Bewegungsvektoren vom Niveau 3 werden dann dem Bewegungseinschätzungsniveau 2 Block
22 bereitgestellt, der das Viertelauflösungsbild aufnimmt. In diesem Fall kann der Suchbereich ±10 Pixel betragen, beispielweise kann die Blockgröße 16 × 16 sein und das Suchfenster 16 × 16. - Der Ausgang vom Bewegungseinschätzungsniveau 2 Block
22 wird dem Bewegungseinschätzungsniveau 1 Block20 bereitgestellt, der ein halbes Auflösungsbild sowie die Bewegungsvektoren vom Niveau 2 empfängt. Die Blockgröße ist 16 × 16 und das SAD-Fenster ist 16 × 16, aber der Suchbereich ist ±21 Pixel. - Die Bewegungseinschätzung von Niveau 1 gibt Bewegungsvektoren an ein Bewegungseinschätzungsniveau 0 Block
18 aus, das ebenfalls die gesamte Auflösungsabbildung empfängt. Die Blockgröße ist 16 × 16 und das SAD-Fenster ist 16 × 16, aber der Suchbereich ist ±43 Pixel. Wie angezeigt bei 26 umfasst die gesamte Auflösungsabbildung75 Prozent mehr als die halbe Auflösung, die nur ein Viertel der Originalauflösung umfasst. Ähnlich empfängt die Viertelauflösung nur ein Viertel von der Auflösung der halben Auflösung und die Achtelauflösung empfängt nur ein Viertel davon. - Die Ausgabe von Block
18 erfolgt dann in der Form von Bewegungsvektoren, die an Block16 bereitgestellt werden, wobei die Bewegungsvektoren für eine Blockgröße 8 × 8 und ein SAD-Fenster 12 × 12 verfeinert sind, um Bewegungsvektoren der Größe 8 × 8 zu erzeugen. - In der hierarchischen Bewegungseinschätzung kann man r Bewegungseinschätzungspässe verwenden, wobei jeder eine variierende (z. B. zunehmende) Auflösung aufweist. Beispielsweise kann man eine hierarchische 4-Pass-Bewegungseinschätzung verwenden. Die Bewegungseinschätzung beginnt mit dem gröbsten Niveau, das in diesem Beispiel als ein Niveau 3 benannt ist und in jedem nachfolgenden Schritt verfeinert wird. Das Niveau 3 kann einer 1/8-Auflösung der Originalauflösung entsprechen. Beim gröbsten Niveau, dem Niveau r, wird die Summe der absoluten Differenzkosten an jeder Stelle innerhalb des Suchbereichs von Pixeln berechnet. Bei diesem Auflösungsniveau können bei einer Ausführungsform der Mindestbetrag der absoluten Differenzkosten und der darauffolgende Mindestbetrag der absoluten Differenzkosten erhalten werden.
- Wenn die Differenz zwischen diesen zwei Kosten zu klein ist, dann können bei einigen Ausführungsformen die besten Bewegungsvektoren von den benachbarten Blocks auf demselben Niveau für den gegenwärtigen Block verwendet werden. Die Differenz ist zu klein, wenn sie sich bei einer Ausführungsform innerhalb eines gegebenen Prozentsatzes des Mindestbetrags der absoluten Differenz befindet.
- Als ein Beispiel kann man bei einer Ausführungsform die besten Bewegungsvektoren von benachbarten oberen und linken Blocks finden, die zuvor analysiert wurden. Ein oberer Block ist ein Block direkt über dem Gegenstandsblock und der linke Block ist der Block direkt links vom Gegenstandsblock. Wenn die Bewegungsvektoren von einem vorherigen Frame zu Bewegungsfeldern umgewandelt wurden, können sie als Kandidaten dafür betrachtet werden, den besten Bewegungsvektor als eine Extraprüfung für die Konsistenz zu finden. Sie können zu Bewegungsfeldern umgewandelt worden sein, indem man bei einer Ausführungsform die vier oder fünf allgemeinsten und zuverlässigsten Bewegungsvektoren nachverfolgt hat.
- Dieser Ansatz kann wirksamer sein als rekursive Verfahren, die Fehler propagieren oder in einigen Fällen unter langsamen Umwandlungsübergängen leiden können.
- Beim nächsthöheren Auflösungsniveau r – 1 werden die Bewegungsvektoren des niedrigeren Niveaus innerhalb des Suchbereichs von Pixeln verfeinert. Die Schritte der Verfeinerung vom Niveau r – 2 an vorwärts verwenden die besten Bewegungsvektoren von den benachbarten vier unteren Auflösungsblocks. Somit kann eine Gruppe von Blocks (der obere links, der obere rechts auf einer Reihe und der untere links und der untere rechts direkt darunter auf der darauffolgenden Reihe) die vier Blocks repräsentieren, die nicht denselben Bewegungsvektor von einem Bild mit niedriger Auflösung teilen.
- Der obere linke Block wählt die Besten unter den benachbarten vier Blocks mit demselben Muster wie der Basisbewegungsvektor aus. Der Basisbewegungsvektor wird dann innerhalb des Suchbereichs von Pixeln verfeinert. Diesen rekursiven Schritten wird vom Niveau r – 2 zum Niveau 0 gefolgt. Nach der Bewegungseinschätzung von Niveau 0 kann ein Schritt der Verfeinerung angewandt werden, um den besten Bewegungsvektor aus den benachbarten vier Bewegungsvektoren auszuwählen. Dieser Bewegungseinschätzungsschritt kann sowohl bei den Vorwärts- als auch den Rückwärtsrichtungen angewandt werden, um die gesamte Konsistenz und Robustheit der Bewegungsvektoren bei einigen Ausführungsformen zu verbessern. Diese bidirektionalen Bewegungsvektoren kann man während des Interpolationsschritts verwenden.
- Der Frameinterpolationsschritt umfasst das Interpolieren der Frames beim korrekten Zeitstempel, gewöhnlich um die benötigten Extraframes einzufüllen, um die höhere Bildfrequenz aufzuholen. Der Zeitstempel basiert wiederum auf der Bildfrequenz. Der Frameinterpolationsschritt weist bei einer Ausführungsform drei Blocks auf, eine bidirektionale Bewegungskompensation, Lochfüllung und Interpolation. Im Bewegungskompensationsschritt werden die von der Bewegungseinschätzungsengine erhaltenen Bewegungsvektoren vor der Anwendung von Bewegungskompensation zu dem korrekten Zeitstempel skaliert.
- Beim Bewegungskompensationsschritt werden drei unterschiedliche Kategorien von Pixeln identifiziert und den identifizierten Pixeln wird eine von drei Bezeichnungen gegeben. Pixel ohne bewegungskompensierten Wert werden als Lochpixel bezeichnet. Ein Lochpixel kann für ein Pixel nahe der Grenze auftreten, sodass kein Pixel mit dem Lochpixel im darauffolgenden Frame übereinstimmt. Das Lochpixel hat das niedrigste Vertrauensniveau. Pixel können ebenfalls mit mehren Bewegungsvektoren verbunden sein und sie sind mit Many-To-One oder M2O bezeichnet. Sie haben das Zwischenvertrauensniveau. One-to-One-Pixel (o2o) sind Pixel, die mit einem anderen Pixel in den Vorwärts- oder Rückwärtsrichtungen übereinstimmen. Diese sind die Pixel mit dem höchsten Vertrauenswert.
- Im Fall von Many-To-One-Zuordnungspixeln können die Bewegungsvektoren basierend auf den benachbarten Pixeln verfeinert werden. Die vorwärts- und rückwärtsbewegungskompensierten Bilder werden berechnet und ein entsprechender Bewegungseinschätzungsfehler wird bei jedem Pixel zum Beispiel als die Summe von absoluten Differenzen aller drei Farbkomponenten in einem Fenster der Größe pXq berechnet. Beispielsweise kann man eine 3 × 3-Fehlerberechnung durchführen, wo eine Reihe von neun Pixeln in einem vorherigen Frame und von neun Pixeln im darauffolgenden Frame verwendet wird, um ein Zwischenpixel zu interpolieren.
- Pixel, die nach dem Bewegungskompensationsschritt als Löcher bezeichnet werden, kann man bei einer Ausführungsform unter Verwendung von Nachbarpixelinformation interpolieren. Bei der Lochfüllung kann man die Löcher von benachbarten Bewegungsvektoren rekursiv füllen. Der Bewegungsvektor mit dem Mindestbetrag der absoluten Differenzkosten kann für das gegenwärtige Pixel verwendet werden.
- Mit Bezug auf
4 werden die Vorwärtsbewegungsvektoren vom Bewegungseinschätzungsschritt an Block30 bereitgestellt, wo die Vorwärtsbewegungsvektoren skaliert sind. Das heißt, die Vorwärtsbewegungsvektoren können mit einem Skalenfaktor t multipliziert sein und die Rückwärtsbewegungsvektoren sind anhand 1 – t im Block36 skaliert. Der Skalierungsfaktor t skaliert zu dem korrekten Zeitstempel. Als Nächstes wird dann das vorwärtsbewegungskompensierte Bild im Block32 erzeugt, wo ein Bewegungskompensationsfehler pro Pixel berechnet wird. Auf gleiche Weise wird dann das rückwärtsbewegungskompensierte Bild im Block38 erzeugt, während ein Bewegungskompensationsfehler pro Pixel berechnet wird. Dann wird der Lochfüllschritt34 durchgeführt. Zuletzt wird der endgültige interpolierte Frame wie angezeigt im Block40 und im Folgenden beschrieben erzeugt. - Mit Bezug auf
5 beginnt die endgültige Interpolation des Pixels bei Block42 , wo die Anzahl (CNT) von One-to-One-(020)-Pixeln in der Nachbarschaft des gegenwärtigen Pixels sowohl für die Vorwärts-(CntF020) als auch die Rückwärts-(CntB020)Interpolationsframes berechnet wird. Wenn die Absolutbeträge der Vorwärts-(Fwd Mvs) und Rückwärts-(Bwd Mvs)Bewegungsvektoren unter einem Schwellenwert sind (MV_FWD_TH oder MV_BWD_TH) und die Pixelbezeichnungen nicht Lochpixeln entsprechen, dann werden die Pixel vom vorwärts- und rückwärtsinterpolierten Pixel wie angezeigt in Diamant44 interpoliert. - Wenn die Vorwärtsbewegungsvektoren (Fwd Mvs) größer sind, als ein Schwellenwert (MV_FWD_TH), wie bestimmt im Block
44 , und die Rückwärtsbewegungsvektoren (Bwd Mvs) kleiner sind als ein Schwellenwert (MV_BWD_TH), dann bestimmt eine Prüfung bei Diamant46 , ob die Vorwärtspixelbezeichnungen und die Rückwärtspixelbezeichnungen dieselben sind. Zum Beispiel können sie beide One-to-One-Pixel sein. Eine Prüfung bei Diamant46 bestimmt ebenfalls, ob die Vorwärtszählung von One-to-One-Pixeln größer ist als der Schwellenwert und die Rückwärtszählung von One-to-One-Pixeln größer ist als der Schwellenwert. Wenn dem so ist, dann wird das Ausgangspixel gleich dem Durchschnitt des vorwärtsbewegungskompensierten Pixels und des rückwärtsbewegungskompensierten Pixels im Block48 gesetzt. One-to-One-Pixeln kann gegenüber Many-to-One-Pixeln Vorrang gegeben werden, wenn die Pixel entweder für One-to-One oder Many-to-One für sowohl die vorwärts- als auch rückwärtsinterpolierten Pixel dieselben sind, und dann kann ein durchschnittlicher Pixelwert als endgültiger Ausgang verwendet werden. - Andernfalls bestimmt eine Prüfung bei Diamant
50 , ob die Vorwärtspixelbezeichnung One-to-One ist und die Zählung der Rückwärtspixel größer ist als der One-to-One-Schwellenwert. Wenn dem so ist, wird das Ausgangspixel gleich dem vorwärtsbewegungskompensierten Pixel in Block52 gesetzt. Andernfalls bestimmt eine Prüfung bei Diamant54 , ob die Rückwärtspixelbezeichnung One-to-One ist und die Zählung der One-to-One-Rückwärtspixel größer ist als der Schwellenwert. Wenn dem so ist, wird das Ausgangspixel gleich dem rückwärtsbewegungskompensierten Pixel in Block62 gesetzt. - Andernfalls bestimmt eine Prüfung bei Diamant
56 , ob die Vorwärtspixelbezeichnung Many-to-One (M20) ist und die Zählung der One-to-One-Rückwärtspixel größer ist als der Schwellenwert. Wenn dem so ist, wird das Ausgangspixel gleich dem vorwärtsbewegungskompensierten Pixel in Block62 gesetzt. - Andernfalls bestimmt eine Prüfung bei Diamant
58 , ob die Rückwärtspixelbezeichnung Many-to-One ist und die Zählung der One-to-One-Rückwärtspixel größer ist als der Schwellenwert. Wenn dem so ist, wird das Ausgangspixel gleich dem rückwärtsbewegungskompensierten Pixel in Block62 gesetzt. Andernfalls wird das Ausgangspixel gleich dem Medianwert des vorwärtsbewegungskompensierten Pixels, rückwärtsbewegungskompensierten Pixels und eines Alphamischungspixels in Block60 gesetzt. Das ist ebenfalls das Ergebnis, wenn die Vorwärtsbewegungsvektoren nicht kleiner sind als der Vorwärtsbewegungsvektor-Schwellenwert und die Rückwärtsbewegungsvektoren nicht kleiner sind als der Rückwärtsbewegungsvektor-Schwellenwert. - Das Alphamischungspixel ist eine harmonische Zusammenstellung von den Pixeln der benachbarten Frames bei Nullbewegung, gewichtet anhand der Nähe zum Zeitstempel. Die Mischung wird basierend darauf, wo sich der Zeitstempel befindet, durchgeführt. Basierend auf der Distanz vom interpolierten Frame zum vorherigen Frame und der Distanz vom darauffolgenden Frame zum interpolierten Frame wird die Mischung entsprechend vorgenommen. Wenn die vorwärts- und rückwärtsbewegungskompensierten Pixel dieselben sind, dann nimmt der Medianwert diesen Wert und andernfalls nimmt der Medianwert den Alphamischungswert. In jedem Fall wird ein Tiefpassfilter in Block
64 angewandt. - Bei einigen Ausführungsformen resultiert eine Kombination von bidirektionalen und hierarchischen Mehrauflösungsverfahren von Bewegungskompensation mit einwandfreier Handhabung von Sonderfällen in der Erkennung von bidirektional kompensierten Versionen des endgültigen Frames und erlaubt die Erzeugung von interpolierten Frames mit relativ hoher Qualität und der Abwesenheit von typischen Artefakten, die sich aus schwacher Bewegungseinschätzung oder Interpolation ergeben.
- Die hierin beschriebenen Grafikverarbeitungs-Techniken können in verschiedenen Hardware-Architekturen implementiert werden. Beispielsweise kann Grafikfunktionalität innerhalb eines Chipsatzes integriert sein. Alternativ kann ein getrennter Grafikprozessor verwendet werden. Als noch weitere Ausführungsform können die Grafikfunktionen durch einen Universalprozessor, einschließlich eines Mehrkernprozessors, implementiert werden.
- Verweise in dieser Beschreibung auf „eine Ausführungsform” bedeuten, dass ein bestimmtes Merkmal, eine Struktur oder Charakteristik, die in Verbindung mit der Ausführungsform beschrieben wird, mindestens in einer innerhalb der vorliegenden Erfindung eingeschlossenen Implementierung enthalten ist. Somit beziehen sich Verwendungen des Ausdrucks „bei einer Ausführungsform” nicht notwendigerweise auf die gleiche Ausführungsform. Außerdem können die bestimmten Merkmale, Strukturen oder Charakteristika in anderen geeigneten Formen eingeführt werden, die sich von der bestimmten veranschaulichten Ausführungsform unterscheiden, und alle solchen Formen können innerhalb der Ansprüche der vorliegenden Anmeldung eingeschlossen sein.
- Obwohl die vorliegende Erfindung im Hinblick auf eine begrenzte Anzahl von Ausführungsformen beschrieben wurde, sind sich Fachleute bewusst, dass viele weitere Modifikationen und Varianten davon möglich sind. Die beigefügten Ansprüche sollen alle solchen Modifikationen und Varianten abdecken, die dem Sinn und Schutzbereich der vorliegenden Erfindung entsprechen.
Claims (30)
- Verfahren, umfassend: das Einschätzen der Bewegung zwischen aufeinanderfolgenden Frames bei einer ersten Bildfrequenz durch das Bezeichnen von Pixeln in einem Frame in Bezug auf die Anzahl von zusammenpassenden Pixeln in einem anderen Frame; und das Verwenden der Bewegungseinschätzung und der Pixelbezeichnung, um Pixel in Frames zu interpolieren, die eine zweite Bildfrequenz aufweisen, welche sich von der ersten Bildfrequenz unterscheidet.
- Das Verfahren nach Anspruch 1, umfassend das Benennen von Pixeln, die keine übereinstimmenden Pixel in einem anderen Frame aufweisen.
- Das Verfahren nach Anspruch 1, umfassend das Benennen von Pixeln, die nur ein übereinstimmendes Pixel in einem anderen Frame aufweisen.
- Das Verfahren nach Anspruch 1, umfassend das Benennen von Pixeln, die mehrere übereinstimmende Pixel in einem anderen Frame aufweisen.
- Das Verfahren nach Anspruch 1, wobei die Einschätzung der Bewegung das Bestimmen einer Kostenfunktion basierend auf einem Ähnlichkeitsmaß zwischen aufeinanderfolgenden Frames und der Distanz eines Bewegungsvektors zu einem Basisbewegungsvektor umfasst.
- Das Verfahren nach Anspruch 5, wobei, wenn die Kostenfunktion unbestimmt ist, ein vorheriger Block über einem fraglichen Block und ein vorheriger Block links von einem fraglichen Block verwendet wird, um die Bewegungsvektoren zu entwickeln.
- Das Verfahren nach Anspruch 1, wobei die Bewegungseinschätzung bidirektional ist.
- Das Verfahren nach Anspruch 7, wobei die Bewegungseinschätzung eine Mehrfachauflösung ist.
- Das Verfahren nach Anspruch 8, umfassend die Verwendung einer Kostenfunktion, welche die Distanz zu einem übereinstimmenden Block und einem Auflösungsfaktor gewichtet.
- Das Verfahren nach Anspruch 1, umfassend die Verwendung von Blockübereinstimmungskriterien, die ein Fenster der Summe von absoluten Differenzen verwenden, welche größer ist als die Blockgröße.
- Computerlesbares Medium, das Befehle, die von einem Computer ausgeführt werden, speichert, um: die Bildfrequenz von Videoframes unter Verwendung von Bewegungseinschätzung und der während der Bewegungseinschätzung implementierten Pixelbezeichnung umzuwandeln, um Pixel in Frames zu interpolieren; und wobei das Pixelbezeichnen das Bezeichnen von Pixeln basierend auf der Anzahl an Pixeln in einem nachfolgenden Frame umfasst, der Pixeln in einem vorherigen Frame entspricht.
- Das Medium nach Anspruch 11, das weiter Anweisungen zum Bezeichnen von Pixeln mit einem einzigartigen Bezeichner umfasst, wenn die Pixel keine übereinstimmenden Pixel in einem nachfolgenden Frame aufweisen.
- Das Medium nach Anspruch 11, das weiter Anweisungen zum Bezeichnen von Pixeln mit einem einzigartigen Bezeichner umfasst, wenn diese Pixel nur mit einem Pixel in einem nachfolgenden Frame übereinstimmen.
- Das Medium nach Anspruch 11, das weiter Anweisungen zum Bezeichnen von Pixeln mit einem einzigartigen Bezeichner umfasst, wenn die Pixel mit mehreren Pixeln in einem nachfolgenden Frame übereinstimmen.
- Das Medium nach Anspruch 11, das weiter Anweisungen speichert, um eine Kostenfunktion basierend auf einem Ähnlichkeitsmaß zwischen aufeinanderfolgenden Frames und der Distanz eines Bewegungsvektors zu einem Basisbewegungsvektor zu bestimmen.
- Das Medium nach Anspruch 15, das weiter Anweisungen speichert, um einen vorherigen Block über einem Block zu verwenden, dessen Kostenfunktion unbestimmt ist, und einen vorherigen Block links vom Block, dessen Kostenfunktion unbestimmt ist, um Bewegungsvektoren zu entwickeln.
- Das Medium nach Anspruch 11, das weiter Anweisungen speichert, um bidirektionale Bewegungseinschätzung zu implementieren.
- Das Medium nach Anspruch 17, das weiter Anweisungen speichert, um Mehrauflösungsbewegungseinschätzung zu implementieren.
- Das Medium nach Anspruch 18, das weiter Anweisungen speichert, um den besten Kandidaten unter vier angrenzenden Blocks auszuwählen, die nicht denselben Bewegungsvektor von einer niedrigeren Auflösung teilen als der Basisbewegungsvektor für die nächsthöhere Auflösung.
- Das Medium nach Anspruch 11, das weiter Anweisungen speichert, um die Anzahl an Pixeln zu zählen, die nur ein übereinstimmendes Pixel in einem nachfolgenden Frame aufweisen, und diese Anzahl zu verwenden, um zu bestimmen, wie man Pixel für die Bildfrequenzumwandlung interpoliert.
- Vorrichtung, umfassend: eine Bewegungseinschätzungseinheit, um Bewegung zwischen aufeinanderfolgenden Frames bei einer ersten Bildfrequenz zu bewerten, indem man Pixel in Bezug auf die Anzahl an übereinstimmenden Pixeln in einem nachfolgenden Frame bezeichnet; und eine Interpolationseinheit, um die Bewegungseinschätzung und die Pixelbezeichnung zu verwenden, um Pixel in Frames zu interpolieren, die eine zweite Bildfrequenz aufweisen, welche sich von der ersten Bildfrequenz unterscheidet.
- Die Vorrichtung nach Anspruch 21, wobei die Bewegungseinschätzungseinheit verwendet wird, um Pixel zu bezeichnen, die keine übereinstimmenden Pixel in einem nachfolgenden Frame aufweisen.
- Die Vorrichtung nach Anspruch 21, wobei die Bewegungseinschätzungseinheit verwendet wird, um Pixel zu bezeichnen, die nur ein übereinstimmendes Pixel in einem nachfolgenden Frame aufweisen.
- Die Vorrichtung nach Anspruch 21, wobei die Bewegungseinschätzungseinheit verwendet wird, um Pixel zu bezeichnen, die mehrere übereinstimmende Pixel in einem nachfolgenden Frame aufweisen.
- Die Vorrichtung nach Anspruch 21, wobei die Einschätzung der Bewegung das Bestimmen einer Kostenfunktion basierend auf dem Ähnlichkeitsmaß zwischen aufeinanderfolgenden Frames und der Distanz eines Bewegungsvektors zu einem Basisbewegungsvektor umfasst.
- Die Vorrichtung nach Anspruch 25, wobei die Bewegungseinschätzungseinheit einen vorherigen Block über einem zu bewertenden Block und einen vorherigen Block links vom zu bewertenden Block verwendet, um die Bewegungsvektoren zu entwickeln, wenn die Kostenfunktion unbestimmt ist.
- Die Vorrichtung nach Anspruch 21, wobei die Bewegungseinschätzungseinheit bidirektional ist.
- Die Vorrichtung nach Anspruch 27, wobei die Bewegungseinschätzungseinheit eine Mehrfachauflösung ist.
- Die Vorrichtung nach Anspruch 28, wobei die Bewegungseinschätzungseinheit den besten Kandidaten unter vier angrenzenden Blocks auswählt, der nicht denselben Bewegungsvektor von einer niedrigeren Auflösung teilt als der Basisbewegungsvektor für die nächsthöhere Auflösung.
- Die Vorrichtung nach Anspruch 21, wobei die Interpolationseinheit die Anzahl an Pixeln zählt, die nur ein übereinstimmendes Pixel in einem nachfolgenden Frame aufweisen, und diese Anzahl verwendet, um zu bestimmen, wie man Pixel nur die Bildfrequenzumwandlung interpoliert.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/614,518 US8724022B2 (en) | 2009-11-09 | 2009-11-09 | Frame rate conversion using motion estimation and compensation |
US12/614,518 | 2009-11-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102010046259A1 true DE102010046259A1 (de) | 2011-07-14 |
Family
ID=43127864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102010046259A Pending DE102010046259A1 (de) | 2009-11-09 | 2010-09-22 | Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation |
Country Status (5)
Country | Link |
---|---|
US (1) | US8724022B2 (de) |
CN (1) | CN102055947B (de) |
DE (1) | DE102010046259A1 (de) |
GB (1) | GB2475369B (de) |
TW (1) | TWI451762B (de) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI398159B (zh) * | 2009-06-29 | 2013-06-01 | Silicon Integrated Sys Corp | 具動態控制畫質功能的幀率轉換裝置及相關方法 |
US9323438B2 (en) | 2010-07-15 | 2016-04-26 | Apple Inc. | Media-editing application with live dragging and live editing capabilities |
US10076303B2 (en) | 2010-09-07 | 2018-09-18 | Insightec, Ltd. | Motion compensation for non-invasive treatment therapies |
US9516389B1 (en) * | 2010-12-13 | 2016-12-06 | Pixelworks, Inc. | On screen display detection |
US8954477B2 (en) | 2011-01-28 | 2015-02-10 | Apple Inc. | Data structures for a media-editing application |
US11747972B2 (en) | 2011-02-16 | 2023-09-05 | Apple Inc. | Media-editing application with novel editing tools |
US9997196B2 (en) | 2011-02-16 | 2018-06-12 | Apple Inc. | Retiming media presentations |
US8839110B2 (en) * | 2011-02-16 | 2014-09-16 | Apple Inc. | Rate conform operation for a media-editing application |
TWI493978B (zh) * | 2011-08-23 | 2015-07-21 | Mstar Semiconductor Inc | 影像處理裝置、影像處理方法及影像播放系統 |
US20140010307A1 (en) * | 2011-12-30 | 2014-01-09 | Marat Ravilevich Gilmutdinov | Method of and apparatus for complexity scalable frame rate up-conversion |
CN102630014B (zh) * | 2012-04-05 | 2014-06-18 | 重庆大学 | 一种基于前后两帧参考帧产生内插帧的双向运动估计器 |
US9275601B2 (en) * | 2012-12-12 | 2016-03-01 | Intel Corporation | Techniques to control frame display rate |
EP2939210A4 (de) * | 2012-12-31 | 2016-03-23 | Given Imaging Ltd | System und verfahren zur anzeige eines bildstroms |
CN103152566B (zh) * | 2013-02-22 | 2016-03-09 | 华中科技大学 | 一种视频帧率提升方法 |
US9300906B2 (en) * | 2013-03-29 | 2016-03-29 | Google Inc. | Pull frame interpolation |
US10219000B1 (en) * | 2015-10-22 | 2019-02-26 | Pixelworks, Inc. | Time stamp recovery and frame interpolation for frame rate source |
CN106791279B (zh) * | 2016-12-30 | 2020-01-03 | 中国科学院自动化研究所 | 基于遮挡检测的运动补偿方法及系统 |
US10382718B2 (en) * | 2017-12-27 | 2019-08-13 | Anapass Inc. | Frame rate detection method and frame rate conversion method |
US10772141B2 (en) | 2018-06-28 | 2020-09-08 | The Chinese University Of Hong Kong | System and method for peer-to-peer wireless communication |
EP3841751B1 (de) * | 2018-09-19 | 2024-04-17 | Huawei Technologies Co., Ltd. | Verfahren zum überspringen der verfeinerung basierend auf patch-ähnlichkeit in bilinearer interpolationsbasierter decoder-seitiger bewegungsvektorverfeinerung |
CN109756778B (zh) * | 2018-12-06 | 2021-09-14 | 中国人民解放军陆军工程大学 | 一种基于自适应运动补偿的帧率转换方法 |
KR102632901B1 (ko) * | 2019-01-11 | 2024-02-06 | 삼성전자주식회사 | 이미지 센서의 프레임 레이트를 제어하기 위한 전자 장치 및 그에 관한 방법 |
DE102020129908A1 (de) * | 2020-11-12 | 2022-05-12 | Mekra Lang Gmbh & Co. Kg | Indirektes Schichtsystem und Verfahren zum Anpassen einer Bildwiederholungsrate |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR9805971A (pt) * | 1997-02-06 | 1999-08-31 | Koninkl Philips Electronics Nv | Processo e sistema para segmentação e rastreamento de objetos |
US6442203B1 (en) | 1999-11-05 | 2002-08-27 | Demografx | System and method for motion compensation and frame rate conversion |
KR100708091B1 (ko) | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
FR2813485B1 (fr) * | 2000-08-24 | 2003-12-26 | France Telecom | Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant |
JP4213035B2 (ja) * | 2001-11-07 | 2009-01-21 | エヌエックスピー ビー ヴィ | オクルージョン領域を検出するオクルージョン検出器および方法 |
KR100657261B1 (ko) * | 2003-12-10 | 2006-12-14 | 삼성전자주식회사 | 적응적 움직임 보상 보간 방법 및 장치 |
KR101057999B1 (ko) * | 2003-12-18 | 2011-08-19 | 삼성전자주식회사 | 움직임 보상에 기반한 프레임 율 변환 장치, 및 그 방법과이를 구현하기 위한 프로그램이 기록된 기록 매체 |
KR100565066B1 (ko) * | 2004-02-11 | 2006-03-30 | 삼성전자주식회사 | 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치 |
EP1585326A1 (de) * | 2004-03-30 | 2005-10-12 | Matsushita Electric Industrial Co., Ltd. | Bewegungsvektorschätzung an Bildrändern zur Bildfrequenzumwandlung |
KR100584597B1 (ko) * | 2004-05-10 | 2006-05-30 | 삼성전자주식회사 | 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치 |
FR2872973A1 (fr) * | 2004-07-06 | 2006-01-13 | Thomson Licensing Sa | Procede ou dispositif de codage d'une sequence d'images sources |
KR100644629B1 (ko) | 2004-09-18 | 2006-11-10 | 삼성전자주식회사 | 하이브리드 블록 매칭 기반의 움직임 추정 방법 및 그를적용한 프레임 레이트 변환 장치 |
KR100727989B1 (ko) * | 2005-10-01 | 2007-06-14 | 삼성전자주식회사 | 동영상 부호화시의 인터 모드 결정 방법 및 장치 |
KR100790178B1 (ko) * | 2006-10-20 | 2008-01-02 | 삼성전자주식회사 | 동영상의 프레임 레이트 변환 방법 |
US8144778B2 (en) * | 2007-02-22 | 2012-03-27 | Sigma Designs, Inc. | Motion compensated frame rate conversion system and method |
US20090002558A1 (en) * | 2007-06-29 | 2009-01-01 | Digital Vision Ab | Three-frame motion estimator for restoration of single frame damages |
EP2071852A1 (de) * | 2007-12-11 | 2009-06-17 | Alcatel Lucent | Verfahren zum Zustellen eines Videostroms über einen drahtlosen, bidirektionalen Kanal zwischen einem Videokodierer und einem Videodekodierer |
KR101386891B1 (ko) * | 2007-12-13 | 2014-04-18 | 삼성전자주식회사 | 영상 보간 방법 및 장치 |
EP2106136A1 (de) | 2008-03-28 | 2009-09-30 | Sony Corporation | Bewegungskompensierte, zeitweise Interpolation zur Bildfrequenzumwandlung von Videosignalen |
-
2009
- 2009-11-09 US US12/614,518 patent/US8724022B2/en active Active
-
2010
- 2010-09-22 DE DE102010046259A patent/DE102010046259A1/de active Pending
- 2010-09-23 GB GB1016032.3A patent/GB2475369B/en active Active
- 2010-09-24 TW TW099132411A patent/TWI451762B/zh active
- 2010-09-26 CN CN201010540725.1A patent/CN102055947B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20110109796A1 (en) | 2011-05-12 |
TW201143431A (en) | 2011-12-01 |
GB2475369B (en) | 2012-05-23 |
GB201016032D0 (en) | 2010-11-10 |
US8724022B2 (en) | 2014-05-13 |
CN102055947A (zh) | 2011-05-11 |
GB2475369A (en) | 2011-05-18 |
CN102055947B (zh) | 2015-07-22 |
TWI451762B (zh) | 2014-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102010046259A1 (de) | Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation | |
DE69027479T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69022470T2 (de) | Bewegungsabhängige Videosignalverarbeitung. | |
DE102010053087A1 (de) | Auf bidirektionaler, lokaler und globaler Bewegungseinschätzung basierende Bildfrequenzumwandlung | |
DE112017002851B4 (de) | Verfahren und Vorrichtung einer Grenzauffüllung für eine VR-Videoverarbeitung | |
DE60305274T2 (de) | Bewegungsschätzungsvorrichtung, Verfahren und maschinenlesbares Speichermedium geeignet zur Erkennung von Verschiebungen von Text und grafischen Daten | |
JP3621152B2 (ja) | 特徴点の特定装置及びその方法 | |
DE602005001717T2 (de) | Bildverarbeitungsvorrichtung und -verfahren, Speichermedium und Programm | |
DE69030896T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69027809T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE602005001967T2 (de) | Bildverarbeitungsvorrichtung und -Verfahren, Aufzeichnungsmedium und Programm | |
DE69021431T2 (de) | Bewegungsabhängige Videosignalverarbeitung. | |
DE69028651T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
US20220148129A1 (en) | Image fusion method and portable terminal | |
US20150093039A1 (en) | Image super-resolution reconstruction system and method | |
US20110206127A1 (en) | Method and Apparatus of Frame Interpolation | |
DE112009005382T5 (de) | Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden | |
DE112009002658T5 (de) | Verfahren und Vorrichtung zur Videorauschreduzierung | |
DE69015419T2 (de) | Umwandlung eines Videosignals auf einen photographischen Film. | |
DE69031144T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69031322T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69027704T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69028239T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
CN107292819A (zh) | 一种基于边缘细节保护的红外图像超分辨率重建方法 | |
DE102020133244A1 (de) | Kantenbewusste Aufwärtsskalierung für verbesserte Bildschirminhaltsqualität |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R081 | Change of applicant/patentee |
Owner name: TAHOE RESEARCH, LTD., IE Free format text: FORMER OWNER: INTEL CORPORATION, SANTA CLARA, CALIF., US |
|
R082 | Change of representative |
Representative=s name: VOSSIUS & PARTNER PATENTANWAELTE RECHTSANWAELT, DE |