DE69630199T2 - Verfahren und gerät zur selektiven kompression von video-codec - Google Patents

Verfahren und gerät zur selektiven kompression von video-codec Download PDF

Info

Publication number
DE69630199T2
DE69630199T2 DE69630199T DE69630199T DE69630199T2 DE 69630199 T2 DE69630199 T2 DE 69630199T2 DE 69630199 T DE69630199 T DE 69630199T DE 69630199 T DE69630199 T DE 69630199T DE 69630199 T2 DE69630199 T2 DE 69630199T2
Authority
DE
Germany
Prior art keywords
predetermined
frame offset
difference
ratio
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69630199T
Other languages
English (en)
Other versions
DE69630199D1 (de
Inventor
R. Mark BANHAM
C. James BRAILEAN
N. Stephen LEVINE
K. Aggelos KATSAGGELOS
M. Guido SCHUSTER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Solutions Inc
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Application granted granted Critical
Publication of DE69630199D1 publication Critical patent/DE69630199D1/de
Publication of DE69630199T2 publication Critical patent/DE69630199T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft allgemein Video-Codecs und insbesondere den Codierungswirkungsgrad bei Video-Codecs.
  • Hintergrund der Erfindung
  • Das Gebiet der digitalen Videokompression wurde von Techniken dominiert, die das Problem der Kompression mit bewegungskompensierten vorhersagegestützten Ansätzen lösen wollen. Ein Beweis für diese Dominanz ergibt sich aus den Standards ISO MPEG 1 und 2, dem Standard ITU H.261 und dem neu hinzukommenden Standard ITU H.263. Jeder dieser Videokompressionsstandards arbeitet mit einer blockgestützten Bewegungsschätzung zwischen Videorahmen mit anschließender Vorhersage eines Rahmens bzw. Bewegungskompensation, um die Menge an redundanter Information vor dem Codieren zu ver ringern. Ein solcher Ansatz führt zu einer Reduzierung der Bits, die zum wirksamen Codieren der Videoinformation erforderlich sind.
  • Ein wichtiges Problem im Kontext der bewegungskompensierten Videocodierung ist die Notwendigkeit der effizienten Codierung der Bewegungsinformation und die Fehler bei der bewegungsgestützten Vorhersage. Der Vorhersagefehler zwischen zwei bewegungskompensierten Videorahmen wird als Unterschied im Rahmenversatz ("Displaced Frame Difference", DFD) bezeichnet. Der DFD ist im Allgemeinen ein nichtstationäres Hochpassbild, das aus Fehlern um die Ränder sich bewegender Objekte besteht, wo eine Bewegungsschätztechnik die Bewegung in der Videoszene nicht adäquat darstellen konnte. Oft wird der DFD auch Bereiche mit großer, homogener Fehlerinformation enthalten. Dies geschieht, wenn neue Objekte die Szene betreten, oder wenn Objekte um einen großen Betrag der Bewegung zwischen Videorahmen verschoben werden.
  • Unterschiedliche Kompressionstechniken ergeben bei Anwendung auf das Problem der Codierung des DFD unterschiedlich hohe Wirkungsgrade. Der klassische Ansatz zur Codierung der DFD-Information ist die Verwendung einer blockweisen diskreten Kosinustransformation ("Discrete Cosine Transform", DCT) bei anschließender Entropiecodierung der Koeffizienten der Transformation. Dieser Ansatz funktioniert gut, wenn die Pixel in jedem Block durch einen Markowschen Prozess erster Ordnung gut modelliert werden. Was die Fähigkeit zur Energiekomprimierung angeht, so kommt die DCT der optimalen Transformation (der Karhunen-Loeve-Transformation) nahe, wenn dieses Markowsche Modell erster Ordnung erfüllt ist. Wenn dieses Modell jedoch zusammen bricht, kann die DCT hinsichtlich der Codierung des DFD-Bildes weniger effizient werden als einige alternative Techniken. Einige der anderen Ansätze, die auf die Codierung des DFD erfolgreich angewandt wurden, umfassen: Vektorquantisierung, Wavelets oder Teilbandcodierung und nichtorthogonale Erweiterungen der Gabor-Funktion. Jeder dieser Ansätze hat unterschiedliche Codierungseigenschaften aus der DCT und kann bei der Codierung des DFD unter verschiedenen Umständen effizienter sein. Wenn der DFD zum Beispiel keine großen homogenen Informationsbereiche hat, aber aus perzeptorisch wichtiger Fehlerinformation um die Ränder signifikanter Objekte besteht, kann der Ansatz mit der Gabor-Erweiterung im Codierungswirkungsgrad besser sein als die DCT.
  • Die Art des DFD hinsichtlich des Energiegehalts des Signals sinnvoll zu charakterisieren ist also ein sehr wichtiges Problem. Eine solche Charakterisierung zu haben, kann zu einem effizienteren Gebrauch der verschiedenen Arten von bereits vorhandenen Codierwerkzeugen führen. Im Kontext des Problems der Ratenkontrolle, der Zuordnung von Bits über eine Videosequenz mit einer Ziel-Ausgangsbitrate, kann eine solche Charakterisierung zusätzliche nützliche Informationen liefern, um die Zuordnung verfügbarer Bits perzeptorisch bedeutsam zu machen. Frühere Arbeiten im Zusammenhang mit bestehenden Ratenkontrollsystemen konzentrierten sich weitgehend auf die Zuordnung von Bits auf Blockebene, um eine Gesamtbitrate zu erzielen. Die Berücksichtigung der globalen Eigenschaften des DFD ist jedoch keine Technik, die zur Auswahl aus alternativen Kompressionstechniken auf Rahmenebene verwendet wurde, um eine Zielbitrate insgesamt zu erzielen.
  • Es besteht also ein Bedarf an einem Verfahren, einer Vorrichtung und einem Mikroprozessor zur effizienten Verwendung einer Vielzahl von Codiertechniken zum Komprimieren von Videosequenzen mit Variationen in der Menge und Art der Bewegung zwischen Rahmen in der Szene.
  • Die Erfindung wird in Verfahrensanspruch 1, Vorrichtungsanspruch 5 und Mikroprozessoranspruch 8 spezifiziert. Bevorzugte Ausführungsformen werden in den Unteransprüchen dargelegt.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist ein Flussdiagramm einer bevorzugten Ausführungsform von Schritten eines Verfahrens gemäß der vorliegenden Erfindung.
  • 2 ist ein Flussdiagramm einer weiteren bevorzugten Ausführungsform von Schritten eines Verfahrens gemäß der vorliegenden Erfindung.
  • 3 ist ein Blockdiagramm einer bevorzugten Ausführungsform einer Vorrichtung gemäß der vorliegenden Erfindung.
  • 4 ist eine schematische Darstellung einer bevorzugten Ausführungsform eines Mikroprozessors gemäß der vorliegenden Erfindung.
  • Beschreibung einer bevorzugten Ausführungsform
  • Eine Videosequenz besteht aus einzelnen Bildern, oder Rahmen, von Videodaten, die zweidimensionale Darstellungen einer dreidimensionalen Szene sind. Ein Videorahmen zum Zeitpunkt k wird dargestellt durch das zweidimensionale Signal fk(i, j). Diese Rahmen erscheinen in regelmäßigen Zeitabständen. Den Unterschied im Rahmenversatz ("Displaced Frame Difference", DFD) erhält man durch Heranziehen des Unterschieds in den Intensitätswerten an jedem Pixel in einem Rahmen zwischen dem aktuellen Rahmen, fk(i, j), und einer bewegungskompensierten Version des vorhergehenden Rahmens, fk–1(i – dx(i, j),j – dy(i, j)), wobei dx(i, j) und dy(i, j) die geschätzten Verschiebungen in Richtung x und y am Pixel (i, j) sind, die man anhand einer vorbestimmten Bewegungsschätztechnik erhalten hat. Der DFD, der ein Bild des Vorhersagefehlers ist, kann mit einer Vielzahl von Kompressionstechniken codiert werden, wie oben erwähnt.
  • Die vorliegende Erfindung stellt ein Verfahren bereit, das eine entsprechende Codiertechnik aus einem vorbestimmten Satz von Kandidaten für jeden ankommenden DFD-Rahmen einer Videosequenz in dem Codierer auswählt. Dieses Verfahren führt zur effizienten Verwendung der Vielzahl von Codiertechniken zum Komprimieren von Videosequenzen mit Variationen in Menge und Art der Bewegung zwischen Rahmen in der Szene.
  • l zeigt unter dem Bezugszeichen 100 ein Flussdiagramm einer bevorzugten Ausführungsform eines Verfahrens zur wahlweisen Komprimierung von Videorahmen eines bewegungskompensierten vorhersagegestützten Video-Codecs gemäß der vorliegenden Erfindung. Der erste Schritt besteht in der Verwendung des aktuellen Unterschieds im Rahmenversatz, DFD, zur Berechnung eines aktuellen Schätzwerts einer Energie für den DFD (102). Der nächste Schritt besteht in der Berechnung eines Verhältnisses dieses Energieschätzwerts zu einem historischen Mittel von Energieschätzwerten früherer DFDs (104). Der aktuelle vorbestimmte Schwellenwert wird dann spezifiziert als der erste vorbestimmte Schwellenwert aus einer Liste von Schwellenwerten (106). Das Verhältnis wird dann mit einem vorbestimmten Schwellenwert nach einem vorbestimmten iterativen Schema verglichen (108). Das vorbestimmte iterative Schema besteht in der Wiederholung eines Vergleichs des Verhältnisses mit dem nächsten aktuellen vorbestimmten Schwellenwert, der zu einer vorbestimmten DFD-Codiertechnik gehört. Wenn das Verhältnis den aktuellen vorbestimmten Schwellenwert übersteigt, wird die entsprechende Technik zum Codieren des aktuellen DFD gewählt (110). Andernfalls wird das Verhältnis mit dem nächsten vorbestimmten Schwellenwert verglichen (112), der zu einer anderen Codiertechnik gehört. Der Prozess wird wiederholt, bis der Satz potentieller Codiertechniken erschöpft ist.
  • 2 zeigt unter dem Bezugszeichen 200 ein Flussdiagramm einer weiteren bevorzugten Ausführungsform eines Verfahrens zur wahlweisen Komprimierung von Videorahmen eines bewegungskompensierten vorhersagegestützten Video-Codecs gemäß der vorliegenden Erfindung. Der erste Schritt besteht in der Gewichtung des aktuellen Unterschieds im Rahmenversatz, um einen mittenbasierten DFD bereitzustellen (202). Der gewichtete DFD ist der ursprüngliche DFD bei einem gegebenen Rahmen multipliziert mit einem stückweisen Pyramidenfenster. Dieser Fensterwert wird geändert in Abhängigkeit von dem 16 × 16-Makroblock, in dem die Pixel des DFD liegen. Der gewichtete DFD für alle Kanäle ist gegeben durch:
  • Figure 00070001
  • Hier bezeichnet DFDk(i, j) das Dreikanalbild des Unterschieds im Rahmenversatz beim Rahmen k, und das Symbol ⎿⏌ gibt eine ganzzahlige Rundung an. Die in der Gewichtungsfunktion erscheinenden Konstanten sind hier für Videobilder mit QCIF-Auflösung angegeben, die im Y-Kanal eine Unterstützung von 176 × 144 haben und in den Cr- und Cb-Kanälen eine Unterstützung von 88 × 72. Diese Konstanten können durch entsprechende Skalierung auf jedes Bildformat abgeändert werden. Bei der QCIF-Auflösung enthält ein 16 × 16-Makroblock 16 × 16 Pixel aus dem Y-Kanal und 8 × 8 Pixel aus jedem der Chrominanzkanäle. Infolgedessen beschreibt die obige Funktion ein Fenster, das eins zu eins auf die Pixel des Y-Kanals abbildet. Die Chrominanzpixel in jedem Makroblock werden durch denselben Wert gewichtet wie die entsprechenden Pixel aus dem Y-Kanal in jenem Makroblock. Bei dieser Gewichtung liegt die Betonung auf Makroblöcken zur Mitte des Bildes hin, die perzeptorisch wichtig ist.
  • Der nächste Schritt besteht in der Verwendung des gewichteten Unterschieds im Rahmenversatz zur Berechnung eines aktuellen Schätzwerts einer Energie für den DFD (204). Hier ist ein spezieller, rechnerisch einfacher Schätzwert definiert, der die durchschnittliche Energie in dem DFD eines Videorahmens ungefähr angibt (206). Die Metrik ist die Summe von Absolutwerten ("sum of absolute values", SOA) eines gewichteten DFD, gemessen über die Luminanzebene Y und die Chrominanzebenen Cr und Cb eines Farbvideobildes. Die SOA ist definiert als Sk beim Rahmen k für die einzelnen Kanäle des DFD: Y, Cr, Cb.
    Figure 00080001
    wobei N = 144 und M = 176 für die QCIF-Auflösung.
  • Der nächste Schritt besteht in der Berechnung eines historischen Mittels von Energieschätzwerten früherer DFDs (208). Das historische Mittel erhält man durch Mitteln der früheren n Sks. Das historische Mittel ist definiert als:
    Figure 00080002
    was ein gleitender Mittelwert der Energieänderungen bei den DFDs von Rahmen zu Rahmen ist. Der Wert von n wird auf vier gesetzt (210). Die Geschichte dieser Änderungen wird wegen der zeitlichen Korrelation, die über diesen kleinen Zeitbereich im Allgemeinen existiert, über vier Rahmen verfolgt. Dieses gemeinsame Mittel gleicht im Allgemeinen große Schwankungen im Maß der Vorhersagefehlerenergie aus.
  • Im nächsten Schritt wird das aktuelle Sk dividiert durch das aktuelle S k, um ein Energieverhältnis zu bilden (212). Der aktuelle vorbestimmte Schwellenwert wird dann gleich dem ersten vorbestimmten Schwellenwert T1 gesetzt (214). Das Verhältnis wird dann nach einem iterativen Schema mit dem aktuellen vorbestimmten Schwellenwert Tc verglichen (218). Der iterative Vergleich umfasst die Wiederho lung einer Reihe von Schritten, die das Verhältnis gegen vorbestimmte Schwellenwerte prüfen, die zu vorbestimmten DFD-Codiertechniken gehören. Der iterative Vergleich besteht aus:
    • A) wo das Verhältnis größer ist als der vorbestimmte Schwellenwert, wird eine erste Kompressionstechnik ausgewählt (220);
    • B) wo das Verhältnis kleiner oder gleich dem vorbestimmten Schwellenwert ist, wird das Verhältnis mit einem nächsten vorbestimmten Schwellenwert verglichen (224);
    • C) wo das Verhältnis größer ist als der nächste vorbestimmte Schwellenwert, wird eine nächste Kompressionstechnik ausgewählt (220);
    • D) wo das Verhältnis kleiner oder gleich dem nächsten vorbestimmten Schwellenwert ist, wird Schritt C und D mit aufeinanderfolgenden vorbestimmten Schwellenwerten und Kompressionstechniken aus einer vorbestimmten Liste wiederholt, bis die Liste der vorbestimmten Kompressionstechniken erschöpft ist.
  • Die verwendeten vorbestimmten Schwellenwerte erhält man durch sukzessives Verringern der Größe eines anfänglichen vorbestimmten Schwellenwerts T1 (214). Der Anfangswert von T wird auf 1,00 gesetzt (216). Jedes Mal wenn das Verhältnis kleiner ist als der vorbestimmte Schwellenwert, wird der nächste Schwellenwert berechnet durch Verkleinern von T um einen Faktor von 0,75 (222). Bei einem Satz von drei in Frage kommenden DFD-Codiertechniken, deren Eigenschaften so sind, dass jede aufeinanderfolgende Technik beim Codieren einer geringeren und örtlich begrenzteren Vorhersagefehlerenergie effizienter ist als die frühere Technik, wären zum Beispiel die zwei vorbestimmten Schwel lenwerte T1 = 1,00 und T2 = 0,75. Ein Beispiel für die drei DFD-Codiertechniken wäre die herkömmliche blockgestützte DCT-Codierung, die Erweiterung und Codierung nach der Gabor-Funktion und die Codierung des DFD als absolut null Energie bzw. keine Codierung.
  • Diese Schwellenwertvergleichstests müssen auf einem subjektiven Verständnis der Bedeutung des Vorhersagefehlers im Verhältnis zur Gesamtqualität der Szene beruhen. Die Schwellenwerte können also durch einen externen Ratenkontrollmechanismus gesteuert werden, der die Kompromisse zwischen Codiertechniken anhand ihrer relativen Ratenverzerrungscharakteristiken auf der Ebene des einzelnen Videorahmens bestimmt.
  • Zu Beginn des iterativen Vergleichs wird eine vorbestimmte Technik zur Erfassung der globalen Bewegung durchgeführt (226), und wo eine globale Bewegung erfasst wird, wird eine vorbestimmte Untermenge aus der vorbestimmten Liste von Kompressionstechniken zur Verwendung bei der Iteration ausgewählt. Eine globale Bewegung wird erfasst, indem die Zahl der aus einem Videorahmen hinauszeigenden Vektoren einer uneingeschränkten Bewegung gemäß dem ITU Draft International Standard H.263, Annex D, ermittelt wird. Herkömmliche makroblockgestützte Bewegungsvektoren erhält man durch Suchen nach einer Übereinstimmung nur bei denjenigen Blöcken, die innerhalb der Grenzen des vorherigen Rahmens liegen. Vektoren einer uneingeschränkten Bewegung dürfen über die Grenzen des vorherigen Rahmens hinauszeigen. Die übereinstimmenden Blöcke für jene Makroblöcke erhält man durch Wiederholen der Randpixel des vorherigen Rahmens. Wenn es eine globale Bewegung gibt (vor allem beim Schwenken der Kamera), liefern die über die Grenzen hinauszeigen den Vektoren oft die beste Übereinstimmung (was das absolute Fehlermaß angeht, mit dem eine Übereinstimmung ermittelt wird). Wenn es jedoch keine globale Bewegung gibt, stimmen die Vektoren der ausgedehnten Suche normalerweise mit den Vektoren der Standardsuche überein, und es werden nur wenige gewählt, die über die Grenzen hinauszeigen.
  • Bei der Erfassung einer globalen Bewegung wird die Zahl der gewählten Vektoren gezählt, die über die Grenzen des vorherigen Rahmens hinauszeigen, und jene Zahl wird mit einem vorbestimmten Schwellenwert t verglichen. Wenn diese Zahl den vorbestimmten Schwellenwert übersteigt, gilt dieser Rahmen als Rahmen einer globalen Bewegung. Der vorbestimmte Schwellenwert t wird für ein Video mit QCIF-Auflösung auf 15 gesetzt (228). Die Erfassung einer globalen Bewegung führt zu einer Reduzierung im Satz vorbestimmter Kompressionstechniken. Diejenigen Techniken, die nicht alle räumlichen Positionen in dem Bild vollständig aktualisieren, werden aus dem Satz entfernt. Wenn zum Beispiel drei vorbestimmte in Frage kommende Techniken eine DCT, eine Gabor-gestützte nichtorthogonale Erweiterung und keine Codierung waren, würde nur die DCT-Technik in dem Satz vorbestimmter Techniken belassen werden. Dies würde in diesem Beispiel zu nur einer verfügbaren, in Frage kommenden Codierung in Gegenwart einer globalen Bewegung führen.
  • 3 zeigt unter dem Bezugszeichen 300 ein Blockdiagramm einer bevorzugten Ausführungsform einer Vorrichtung zur wahlweisen Komprimierung von Videorahmen eines bewegungskompensierten vorhergesagegestützten Video-Codecs gemäß der vorliegenden Erfindung. Die Vorrichtung umfasst eine Schätzeinheit (302), einen Dividierer (304), einen Komparator (306) und ein Steuergerät (308). Die Schätzeinheit (302) verwendet den aktuellen Unterschied im Rahmenversatz (310) zur Berechnung eines aktuellen Schätzwerts einer Energie für den Unterschied im Rahmenversatz gemäß der bevorzugten Ausführungsform des oben beschriebenen Verfahrens (200). Der Dividierer (304) ist mit der Schätzeinheit (302) verbunden und dient zum Berechnen eines Verhältnisses des aktuellen Schätzwerts einer Energie für den Unterschied im Rahmenversatz (312) zum historischen Mittel (316) gemäß der bevorzugten Ausführungsform des oben beschriebenen Verfahrens (200). Der Komparator (306) ist mit dem Dividierer (304) verbunden und dient zum Ermitteln einer Kompressionstechnik durch Vergleichen des Verhältnisses (314) mit einem vorbestimmten Schwellenwert (318) nach einem vorbestimmten iterativen Schema, das eine vorbestimmte Liste in Frage kommender Kompressionstechniken mit vorbestimmten Schwellenwerten gemäß der bevorzugten Ausführungsform des oben beschriebenen Verfahrens (200) assoziiert. Das Steuergerät (308) ist mit dem Komparator und dem Dividierer verbunden und dient zum Implementieren des iterativen Vergleichsschemas gemäß der bevorzugten Ausführungsform des obigen Verfahrens (200). Die Vorrichtung gibt eine ausgewählte DFD-Codiertechnik aus (320).
  • 4 zeigt unter dem Bezugszeichen 400 eine schematische Darstellung einer bevorzugten Ausführungsform eines Mikroprozessors gemäß der vorliegenden Erfindung. Der Mikroprozessor umfasst eine Schätzeinheit (402), einen Dividierer (404), einen Komparator (406) und ein Steuergerät (408). Die Schätzeinheit (402) verwendet den aktuellen DFD (410) zur Berechnung eines aktuellen Schätzwerts einer Energie für den DFD gemäß der bevorzugten Ausführungsform des oben beschriebenen Verfahrens (200). Der Dividierer (404) ist mit der Schätzeinheit (402) verbunden und dient zum Berechnen eines Verhältnisses des aktuellen Schätzwerts einer Energie für den DFD (412) zum historischen Mittel (416) gemäß der bevorzugten Ausführungsform des oben beschriebenen Verfahrens (200). Der Komparator (406) ist mit dem Dividierer (404) verbunden und dient zum Ermitteln einer Kompressionstechnik durch Vergleichen des Verhältnisses (414) mit einem vorbestimmten Schwellenwert (418) nach einem vorbestimmten iterativen Schema, das eine vorbestimmte Liste von in Frage kommenden Kompressionstechniken mit vorbestimmten Schwellenwerten gemäß der bevorzugten Ausführungsform des oben beschriebenen Verfahrens (200) assoziiert. Das Steuergerät (408) ist mit dem Komparator und dem Dividierer verbunden und dient zum Implementieren des iterativen Vergleichsschemas gemäß der bevorzugten Ausführungsform des obigen Verfahrens (200). Der Mikroprozessor gibt eine ausgewählte DFD-Codiertechnik aus (420).
  • Das Verfahren und die Vorrichtung können so gewählt werden, dass sie in mindestens einem der folgenden verkörpert sind: A) einer anwendungsspezifischen integrierten Schaltung; B) einer Field-Programmable Gate Array ("field programmable gate array"); und C) einem Mikroprozessor; und D) einem maschinenlesbaren Speicher; die ausgelegt und konfiguriert sind zur wahlweisen Komprimierung von Videorahmen eines bewegungskompensierten vorhersagegestützten Vidoe-Codecs anhand einer vorbestimmten geschätzten Bewegung zwischen zwei Videorahmen, eines Unterschieds im Rahmenversatz zwischen zwei Videorahmen, und eines historischen Mittels von Energieschätzwerten der früheren Unterschiede im Rahmenversatz gemäß dem oben ausführlicher beschriebenen Schema.
  • Wenngleich beispielhafte Ausführungsformen oben beschrieben werden, wird es für den Fachmann offensichtlich sein, dass viele Änderungen und Modifikationen vorgenommen werden können, ohne von der beanspruchten Erfindung abzuweichen. Demnach sollen alle solchen Änderungen und Modifikationen im Rahmen der Erfindung gemäß den beigefügten Ansprüchen enthalten sein.

Claims (9)

  1. Verfahren zur wahlweisen Komprimierung von Videorahmen (100) eines bewegungskompensierten vorhersagegestützten Video-Codecs anhand einer vorbestimmten geschätzten Bewegung zwischen zwei Videorahmen, eines Unterschieds im Rahmenversatz zwischen zwei Videorahmen und eines historischen Mittels von Energieschätzwerten früherer Unterschiede im Rahmenversatz, wobei das Verfahren die folgenden Schritte umfasst: 1A) der Unterschied im Rahmenversatz wird verwendet, um einen aktuellen Schätzwert einer Energie für den Unterschied im Rahmenversatz zu berechnen (102); 1B) ein Verhältnis des aktuellen Schätzwerts einer Energie für den Unterschied im Rahmenversatz zu dem historischen Mittel wird berechnet (104); und 1C) eine Kompressionstechnik wird ermittelt durch Vergleichen des Verhältnisses mit einem vorbestimmten Schwellenwert nach einem vorbestimmten iterativen Schema, das eine vorbestimmte Liste von Kompressionstechniken mit vorbestimmten Schwellenwerten assoziiert, die in einem Speicher gespeichert sind (108, 110, 112).
  2. Verfahren nach Anspruch 1, bei dem mindestens eines von 2A–2C gilt: 2A) der Unterschied im Rahmenversatz wird gewichtet, um einen mittenbasierten Unterschied im Rahmenversatz bereitzustellen (202); 2B) der Schätzwert der Energie für den Unterschied im Rahmenversatz ist eine Summe eines Absolutwerts jedes Pixels des Unterschieds im Rahmenversatz (206); und 2C) wobei das vorbestimmte iterative Schema Folgendes umfasst 2C1) wo das Verhältnis größer ist als der vorbestimmte Schwellenwert, wird eine erste Kompressionstechnik ausgewählt; 2C2) wo das Verhältnis kleiner oder gleich dem vorbestimmten Schwellenwert ist, wird das Verhältnis mit einem nächsten vorbestimmten Schwellenwert verglichen; 2C3) wo das Verhältnis größer ist als der nächste vorbestimmte Schwellenwert, wird eine nächste Kompressionstechnik ausgewählt; 2C4) wo das Verhältnis kleiner oder gleich dem nächsten vorbestimmten Schwellenwert ist, werden die Schritte 2C3 und 2C4 mit aufeinanderfolgenden vorbestimmten Schwellenwerten und Kompressionstechniken aus einer vorbestimmten Liste wiederholt, bis die Liste der vorbestimmten Kompressionstechniken erschöpft ist.
  3. Verfahren nach Anspruch 1, bei dem das historische Mittel von Energieschätzwerten von früheren Unterschieden im Rahmenversatz ein Durchschnitt von n ist, wobei n eine positive ganze Zahl ist, frühere Schätzwerte der Energie der Unterschiede im Rahmenversatz, und soweit ausgewählt, wobei n gleich 4 ist (208, 210).
  4. Verfahren nach Anspruch 1, bei dem ferner am Beginn von Schritt 1C eine vorbestimmte Technik zur Erfassung einer globalen Bewegung durchgeführt wird (226) und, wo eine globale Bewegung erfasst wird, eine vorbestimmte Untermenge der vorbestimmten Liste von Kompressionstechniken zur Verwendung in Schritt 1C ausgewählt wird, und soweit ausgewählt, bei dem die Erfassung einer globalen Bewegung die Ermittlung einer Zahl von aus einem Videorahmen hinauszeigenden Vektoren einer uneingeschränkten Bewegung gemäß dem ITU Draft International Standard H.263 Annex D umfasst, und wo die Zahl der aus einem Videorahmen hinauszeigenden Vektoren einer uneingeschränkten Bewegung größer ist als ein vorbestimmter Wert, eine globale Bewegung erfasst wird.
  5. Vorrichtung zur wahlweisen Komprimierung von Videorahmen eines bewegungskompensierten vorhersagegestützten Video-Codecs anhand einer vorbestimmten geschätzten Bewegung zwischen zwei Videorahmen, eines Unterschieds im Rahmenversatz zwischen den zwei Videorahmen und eines historischen Mittels von Energieschätzwerten früherer Unterschiede im Rahmenversatz, wobei die Vorrichtung Folgendes umfasst: 5A) eine Schätzeinheit (302) zur Verwendung des Unterschieds im Rahmenversatz zum Berechnen eines aktuellen Schätzwerts einer Energie für den Unterschied im Rahmenversatz (102); 5B) einen Dividierer (304), der mit der Schätzeinheit verbunden ist und ein historisches Mittel empfängt, zur Berechnung eines Verhältnisses des aktuellen Schätzwerts ei ner Energie für den Unterschied im Rahmenversatz zu dem historischen Mittel (104); und 5C) einen Komparator (306), der mit dem Dividierer verbunden ist und vorbestimmte Schwellenwerte empfängt, zur Ermittlung einer Kompressionstechnik durch Vergleichen des Verhältnisses mit einem vorbestimmten Schwellenwert nach einem vorbestimmten iterativen Schema, das eine vorbestimmte Liste von in Frage kommenden Kompressionstechniken mit vorbestimmten Schwellenwerten assoziiert, um eine ausgewählte Codiertechnik bereitzustellen (108, 110, 112); und 5D) ein Steuergerät (308), das mit dem Komparator und dem Dividierer verbunden ist, zum Implementieren des vorbestimmten iterativen Schemas.
  6. Vorrichtung nach Anspruch 5, bei der mindestens eines von 6A–6C gilt: 6A) der Unterschied im Rahmenversatz wird gewichtet, um einen mittenbasierten Unterschied im Rahmenversatz bereitzustellen; 6B) der Schätzwert der Energie für den Unterschied im Rahmenversatz ist die Summe eines Absolutwerts jedes Pixels des Unterschieds im Rahmenversatz; und 6C) bei der das vorbestimmte iterative Schema Folgendes umfasst: 6C1) wo das Verhältnis größer ist als der vorbestimmte Schwellenwert, wird eine erste Kompressionstechnik ausgewählt; 6C2) wo das Verhältnis kleiner oder gleich dem vorbestimmten Schwellenwert ist, wird das Verhältnis mit einem nächsten vorbestimmten Schwellenwert verglichen; 6C3) wo das Verhältnis größer ist als der nächste vorbestimmte Schwellenwert, wird eine nächste Kompressionstechnik ausgewählt; und 6C4) wo das Verhältnis kleiner oder gleich dem nächsten vorbestimmten Schwellenwert ist, werden die Funktionen 6C3 und 6C4 mit aufeinanderfolgenden vorbestimmten Schwellenwerten und Kompressionstechniken aus einer vorbestimmten Liste wiederholt, bis die Liste der vorbestimmten Kompressionstechniken erschöpft ist.
  7. Vorrichtung nach Anspruch 5, bei der das historische Mittel von Energieschätzwerten von früheren Unterschieden im Rahmenversatz ein Durchschnitt von n ist, wobei n eine positive ganze Zahl ist, frühere Schätzwerte der Energie von Unterschieden im Rahmenversatz, und soweit ausgewählt, bei der n gleich 4 ist.
  8. Mikroprozessor zur selektiven Komprimierung von Videorahmen eines bewegungskompensierten vorhersagegestützten Video-Codecs anhand einer vorbestimmten geschätzten Bewegung zwischen zwei Videorahmen, eines Unterschieds im Rahmenversatz zwischen zwei Videorahmen und eines historischen Mittels von Energieschätzwerten von früheren Unterschieden im Rahmenversatz, der mit einem Softwareprogramm vorprogrammiert ist, das die folgenden Schritte implementiert: 8A) Verwenden des Unterschieds im Rahmenversatz zum Berechnen eines aktuellen Schätzwerts einer Energie für den Unterschied im Rahmenversatz (102); 8B) Berechnen eines Verhältnisses des aktuellen Schätzwerts einer Energie für den Unterschied im Rahmenversatz zu dem historischen Mittel (104); und 8C) Ermitteln einer Kompressionstechnik durch Vergleichen des Verhältnisses mit einem vorbestimmten Schwellenwert nach einem vorbestimmten iterativen Schema, das eine vorbestimmte Liste von in Frage kommenden Kompressionstechniken mit vorbestimmten Schwellenwerten assoziiert (108, 110, 112).
  9. Mikroprozessor nach Anspruch 8, bei dem mindestens eines von 9A–9D gilt: 9A) der Unterschied im Rahmenversatz wird gewichtet, um einen mittenbasierten Unterschied im Rahmenversatz bereitzustellen; 9B) der Schätzwert der Energie für den Unterschied im Rahmenversatz ist die Summe eines Absolutwerts jedes Pixels des Unterschieds im Rahmenversatz; 9C) das historische Mittel von Energieschätzwerten von früheren Unterschieden im Rahmenversatz ist ein Durchschnitt von n, wobei n eine positive ganze Zahl ist, frühere Schätzwerte der Energie von Unterschieden im Rahmenversatz und, soweit ausgewählt, wobei n gleich 4 ist; und 9D) bei dem das vorbestimmte iterative Schema Folgendes umfasst: 9D1) wo das Verhältnis größer ist als der vorbestimmte Schwellenwert, wird eine erste Kompressionstechnik ausgewählt; 9D2) wo das Verhältnis kleiner oder gleich dem vorbestimmten Schwellenwert ist, wird das Verhältnis mit einem nächsten vorbestimmten Schwellenwert verglichen; 9D3) wo das Verhältnis größer ist als der nächste vorbestimmte Schwellenwert, wird eine nächste Kompressionstechnik ausgewählt; und 9D4) wo das Verhältnis kleiner oder gleich dem nächsten vorbestimmten Schwellenwert ist, werden die Schritte 9D3 und 9D4 mit aufeinanderfolgenden vorbestimmten Schwellenwerten und Kompressionstechniken aus einer vorbestimmten Liste wiederholt, bis die Liste der vorbestimmten Kompressionstechniken erschöpft ist.
DE69630199T 1995-10-26 1996-08-27 Verfahren und gerät zur selektiven kompression von video-codec Expired - Fee Related DE69630199T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/548,776 US5764921A (en) 1995-10-26 1995-10-26 Method, device and microprocessor for selectively compressing video frames of a motion compensated prediction-based video codec
US548776 1995-10-26
PCT/US1996/014124 WO1997015887A1 (en) 1995-10-26 1996-08-27 Method and device for selectively compressing video codec

Publications (2)

Publication Number Publication Date
DE69630199D1 DE69630199D1 (de) 2003-11-06
DE69630199T2 true DE69630199T2 (de) 2004-04-29

Family

ID=24190358

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69630199T Expired - Fee Related DE69630199T2 (de) 1995-10-26 1996-08-27 Verfahren und gerät zur selektiven kompression von video-codec

Country Status (5)

Country Link
US (1) US5764921A (de)
EP (1) EP0800677B1 (de)
DE (1) DE69630199T2 (de)
TW (1) TW303566B (de)
WO (1) WO1997015887A1 (de)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107015B1 (en) * 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection
US5870148A (en) * 1997-06-17 1999-02-09 Intel Corporation Method and apparatus for adaptively enabling and disabling PB frames in an H.263 video coder
WO1999023538A1 (en) 1997-10-28 1999-05-14 Georgia Tech Research Corporation Adaptive data security system and method
US6590607B1 (en) 1998-08-19 2003-07-08 Hewlett-Packard Development Company, L.P. Method and apparatus for storing an uninterrupted digital video stream
FR2804777B1 (fr) * 2000-02-03 2002-06-21 Univ Paris Curie Procede et dispositif de traitement de sequences d'images avec masquage
US7003039B2 (en) * 2001-07-18 2006-02-21 Avideh Zakhor Dictionary generation method for video and image compression
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
CA2460471C (en) * 2002-07-11 2012-02-07 Matsushita Electric Industrial Co., Ltd. Picture encoding method and picture decoding method
US7039247B2 (en) * 2003-01-31 2006-05-02 Sony Corporation Graphic codec for network transmission
US8478539B2 (en) 2003-12-31 2013-07-02 Jeffrey M. Sieracki System and method for neurological activity signature determination, discrimination, and detection
US8271200B2 (en) * 2003-12-31 2012-09-18 Sieracki Jeffrey M System and method for acoustic signature extraction, detection, discrimination, and localization
US7079986B2 (en) * 2003-12-31 2006-07-18 Sieracki Jeffrey M Greedy adaptive signature discrimination system and method
US7713175B2 (en) * 2005-04-07 2010-05-11 Monaghan Michael J Infant activity systems
US7639873B2 (en) * 2005-07-28 2009-12-29 Microsoft Corporation Robust shot detection in a video
US7921116B2 (en) 2006-06-16 2011-04-05 Microsoft Corporation Highly meaningful multimedia metadata creation and associations
US8805083B1 (en) 2010-03-21 2014-08-12 Jeffrey M. Sieracki System and method for discriminating constituents of image by complex spectral signature extraction
US9558762B1 (en) 2011-07-03 2017-01-31 Reality Analytics, Inc. System and method for distinguishing source from unconstrained acoustic signals emitted thereby in context agnostic manner
US9886945B1 (en) 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
US9691395B1 (en) 2011-12-31 2017-06-27 Reality Analytics, Inc. System and method for taxonomically distinguishing unconstrained signal data segments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5051840A (en) * 1988-12-14 1991-09-24 Fuji Photo Film Co., Ltd. Device for coding a picture signal by compression
US5031053A (en) * 1989-06-01 1991-07-09 At&T Bell Laboratories Efficient encoding/decoding in the decomposition and recomposition of a high resolution image utilizing pixel clusters
WO1993019434A1 (en) * 1992-03-17 1993-09-30 Zoran Corporation Image compression coder having improved bit rate control and block allocation
KR940003404A (ko) * 1992-07-23 1994-02-21 이헌조 프레임 간/프레임 내 움직임 보상 시스템
KR0134504B1 (ko) * 1992-09-09 1998-04-23 배순훈 적응적 주파수 변환기를 가진 영상 부호화기
GB2271252A (en) * 1992-10-03 1994-04-06 Ibm Data compression in a computer workstation
WO1994018799A1 (en) * 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
US5463565A (en) * 1993-10-29 1995-10-31 Time Warner Entertainment Co., L.P. Data block format for software carrier and player therefor
WO1996002895A1 (en) * 1994-07-14 1996-02-01 Johnson Grace Company Method and apparatus for compressing images
US5535311A (en) * 1994-07-28 1996-07-09 Hewlett-Packard Company Method and apparatus for image-type determination to enable choice of an optimum data compression procedure
US5553160A (en) * 1994-09-01 1996-09-03 Intel Corporation Method and apparatus for dynamically selecting an image compression process based on image size and color resolution

Also Published As

Publication number Publication date
US5764921A (en) 1998-06-09
EP0800677A4 (de) 1999-06-02
EP0800677A1 (de) 1997-10-15
WO1997015887A1 (en) 1997-05-01
TW303566B (en) 1997-04-21
DE69630199D1 (de) 2003-11-06
EP0800677B1 (de) 2003-10-01

Similar Documents

Publication Publication Date Title
DE69630199T2 (de) Verfahren und gerät zur selektiven kompression von video-codec
DE69627982T2 (de) Signaladaptives Nachverarbeitungssystem um Blockierungseffekte und Ringstörungen zu verringern
DE60003070T2 (de) Adaptive bewegungsvektorfeldkodierung
DE69722637T2 (de) Bewegungsschätzungssystem und -verfahren für einen videokodierer
DE60215241T2 (de) Verfahren und Vorrichtung zur Reduzierung von Störungen in dekodierten Bildern mit Nachfilterung
EP1635578B1 (de) Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese sowie Texturverzerrung umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE19803781C2 (de) Verfahren und Vorrichtung zur Bewegtbildkodierung und -dekodierung basierend auf Bereichen
EP0309669B1 (de) Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
EP0368139B1 (de) Verfahren zur Codierung von Restfehlerbildern
DE19829468C2 (de) Verfahren zum Beseitigen von Blockbildungsartefakten in einem System zum Codieren bewegter Bilder auf niedrige Bitrate
DE10300048B4 (de) Verfahren und Vorrichtung zur Bildcodierung und -decodierung
DE69836696T2 (de) Verfahren und vorrichtung zur durchführung einer hierarchischen bewegungsschätzung unter verwendung einer nicht-linearen pyramide
DE69736852T2 (de) Codierung- und Decodierungssystem für bewegte Bilder mit beliebig geformten Objekten
DE69725765T2 (de) Bilddekoder und Verfahren zur Bilddekodierung
DE69631819T2 (de) Fehlerverdeckung in einem Block-basierten Bildkodierer
DE102010025816A1 (de) Verfahren und Systeme zum Abschätzen von Bewegung basierend auf rekonstruierten Referenzframes bei einem Videodecoder
DE19814892A1 (de) Signaladaptives Filterverfahren zur Verringerung von Überschwingrauschen und signaladaptives Filter
DE602004001993T2 (de) Transformations basiertes restbewegungsrahmen kodierungsverfahren mit übervollständiger basis und zugehörige vorrichtung zur videokompression
DE19743202B4 (de) Verfahren zum Codieren eines Bewegungsvektors
DE60022018T2 (de) Verfahren und vorichtung zur bewegungsvektorfeldkodierung
DE10296787B4 (de) Selektive Prädikation für ein Intra-Codieren eines Videodatenblocks
DE19717608B4 (de) Wahrnehmungsfehlerbearbeitungsverfahren und Bildkodierungsvorrichtung, welche dieses Verfahren verwendet
DE60036585T2 (de) Videodatencoder und Verfahren zur Codierung von Videodaten
EP0845909B1 (de) Verfahren und Filter zur Reduzierung des Blocking Effektes
EP1101196B1 (de) Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee