DE102006003168B4 - Kodiervorrichtung, Verfahren zum Anpassen einer Dekodierberechnung und Computerprogrammprodukt hierfür - Google Patents

Kodiervorrichtung, Verfahren zum Anpassen einer Dekodierberechnung und Computerprogrammprodukt hierfür Download PDF

Info

Publication number
DE102006003168B4
DE102006003168B4 DE102006003168A DE102006003168A DE102006003168B4 DE 102006003168 B4 DE102006003168 B4 DE 102006003168B4 DE 102006003168 A DE102006003168 A DE 102006003168A DE 102006003168 A DE102006003168 A DE 102006003168A DE 102006003168 B4 DE102006003168 B4 DE 102006003168B4
Authority
DE
Germany
Prior art keywords
parameter
encoding
coding
image quality
complexity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102006003168A
Other languages
English (en)
Other versions
DE102006003168A1 (de
Inventor
Chiu-Nan Yang
Yu-Chia Kang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of DE102006003168A1 publication Critical patent/DE102006003168A1/de
Application granted granted Critical
Publication of DE102006003168B4 publication Critical patent/DE102006003168B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Abstract

Kodiervorrichtung zum Anpassen einer Dekodierberechnung gemäss einem ersten Kodierparameter, wobei der erste Kodierparameter auf Basis eines Videobildes berechnet wird, wobei die Kodiervorrichtung umfasst: – Einen Parametergenerator zum Erzeugen eines Bildqualitätsparameters; – Einen Addierer zum Empfangen des ersten Kodierparameters und des Bildqualitätsparameters zum Erzeugen eines zweiten Kodierparameters; und – Eine Komplexitätsberechnungsemheit zum Ausführen einer Komplexitätsberechnung aufgrund des zweiten Kodierparameters zum Erzeugen eines dritten Kodierparameters und eines Aktualisierungsparameters; wobei der Parametergenerator den Bildqualitätsparameter aufgrund des Aktualisierungsparameters aktualisiert und die Kodiervorrichtung das Videobild auf Basis des dritten Kodierparameters kodiert, und wobei bei der Kodiervorrichtung die Komplexitätsberechnungseinheit die Dekodierkomplexität gemäß dem zweiten Kodierparameter anpasst und den dritte Kodierparameter sowie der Aktualisierungsparameter aufgrund der Dekodierkomplexität bei der Kodiervorrichtung erzeugt.

Description

  • Die vorliegende Erfindung betrifft eine Kodiervorrichtung und ein Verfahren zum Anpassen einer Dekodierberechnung sowie ein Computerprogrammprodukt hierfür; insbesondere betrifft sie eine Kodiervorrichtung sowie ein Verfahren zum Anpassen der Dekodierberechnung gemäß einer Dekodierkomplexität sowie ein Computerprogrammprodukt hierfür.
  • In den letzten Jahren wächst die Übertragungskapazität digitaler Kommunikationsmedien, einschließlich Kabel, Satelliten und Internet, rapide. Ob wohl die Übertragungskapazität kontinuierlich zunimmt, ist sie immer noch zu gering, um unkomprimierte qualitativ hochwertige Videobilder zu übertragen. Angesichts der hohen Anforderungen an mehrfache Kanäle, mobile Videos, qualitativ hochwertige Videos und Videos hoher Auflösung ist die gegenwärtige Verbesserung des Kapazitätswachstums für digitale Kommunikationsmedien zu weit im Hintertreffen, um den Anforderungen zu genügen.
  • Zusätzlich zu der kontinuierlichen Erweiterung der Übertragungskapazität bietet das Erforschen effizienter Kompressionsschemata eine Alternativlösung. Der erste Videokompressionsstandard wurde in den 1980er Jahren entwickelt. Durch den Fortschritt der vergangenen Jahre können Videokompressionsstandards gute Kompressionsbildqualitäten und hohe Kompressionsverhältnisse bieten, z. B. der MPEG2 Videokompressionsstandard, der MPEG4 Videokompressionsstandard, der H.264 Videokompressionsstandard und der auf Bewegungskompensation basierende Videokompressionsstandard. Diese Videokompressionsstandards benutzten einen Blockmodus und einen Bewegungsvektor als Kodierparameter.
  • Bei allen Video-Kodierungsproblemen muss stets ein Kompromiss zwischen Datenrate und Bildverzerrung eingehalten werden. Dies wird als Rate-Distortion-Problem bezeichnet, wobei stets von einer maximalen Datenrate für einen vorgegebenen Kanal ausgegangen wird. Eine Lösung hierfür hat Kannangara u. a. im Jahr 2005 in der „IEE International Conference an Visual Information Engineering (VIE 2005)” veröffentlicht. In der eine Reduzierung der Komplexität Algorithmus für ein H.264 Kodier vorgeschlagen. Bei der eine Kostenfunktion bestimmt wird, anhand derer die beiden Variablen Bildverzerrung (Distortion D) und Datenrate (rate R) über einen Lagrange-Multiplikator miteinander verknüpft und ausgewertet werden. Zeitgleich haben YANG, Y. and CHANG, S-F in der Columbia University ADVENT Technical Report, 211, 2005-5 eine Raten-Verzerrungs-Optimierungs-Methode veröffentlicht. Bei diesem wird zusätzlich die Komplexität der Decoderschaltung berücksichtigt, indem diese mit weiteren Lagrange-Multiplikatoren in den Optimierungsalgorithmus einbezogen werden.
  • 1 ist ein internes Schaltblockbild einer Kodiervorrichtung nach dem Stand der Technik. Bezug nehmend auf 1 wird das Arbeitsprinzip der Kodiervorrichtung wie folgt beschrieben. Ein Videobild 100 wird in die Kodiervorrichtung eingegeben. Ein zusammengesetztes Videobild 102 wird durch Addieren des Videobilds 101 und des Referenzvideobilds 122 (das später beschrieben wird) durch den Addierer 101 erzeugt. Das zusammengesetzte Videobild 102 wird in eine Umwandlungseinheit 103 eingegeben. Die Umwandlungseinheit 103 wandelt das zusammengesetzte Videobild 102 mit einer diskreten Cosinustransformation (DCT) in ein Videobildumwandlungssignal 104 um. Ein Videobildquantisierungssignal 106 wird durch das Entfernen der Hochfrequenzkomponenten des Videobildtransformationssignals 104 von einer Quantisierungseinheit 105 erzeugt, denn menschliche Augen sind nicht auf solche hochfrequenten Komponenten empfindlich. Nachdem das Videobildquantisierungssignal 106 gemäß einer Verweistabelle durch eine Entropiekodiereinheit 107 kodiert worden ist, wird ein Videobildkodiersignal 108 erzeugt. Ein Quantisierungskoeffizient 110 wird erzeugt, nachdem eine Entropiedekodiereinheit 109 das Videobildkodiersignal 108 dekodiert hat. Der Quantisierungskoeffizient 110 wird durch eine inverse Quantisierungseinheit 111 invers quantisiert, um einen Transformationskoeffizienten 112 zu erzeugen. Der Transformationskoeffizient 112 wird durch eine inverse Transformationseinheit 113 invers transformiert, um einen geschätztes Videobildfehlersignal 114 zu erzeugen. Nachdem ein Addierer 115 das geschätzte Videobildfehlersignal 114 und das Referenzvideobild 122 addiert hat, wird ein dekodiertes Videobild 116 erzeugt. Das dekodierte Videobild 116 wird in einem Videobildpuffer 117 gespeichert. Während ein nächstes Videobild 100 eingegeben wird, gibt der Videobildpuffer 117 gleichzeitig ein dekodiertes Videobild 118, also das vorher dekodierte Videobild 116, an eine Bewegungskompensationseinheit 119 aus. Das Videobild 100 wird auch in eine Bewegungsabschätzungss- und Modusentscheidungseinheit 121 eingegeben, um mit dem dekodierten Videobild 118 berechnet zu werden zwecks der Erzeugung eines Kodierparameters 120. Der Kodierparameter 120 und das dekodierte Videobild 118 werden von einer Bewegungskompensationseinheit 119 berechnet, um das vorgenannte Referenzvideobild 122 auszugeben. Währenddessen wird der Kodierparameter 120 von einer Entropiekodiereinheit 123 gemäß einer Verweistabelle kodiert, um ein Kodiersignal 124 zu erzeugen. Das Kodiersignal 124 und das Videobildkodiersignal 108 werden von einer Bitstromverküpfungseinheit 125 berechnet, um einen kodierten Videobitstrom 126 zu erzeugen. Der kodierte Videobitstrom 126 sind die von der Kodiervorrichtung kodierten Kompressionsdaten.
  • Bei der oben erwähnten Codiervorrichtung ist der Kodierparameter 120 der wichtigste sich auf die Bildqualität und das Kompressionsverhältnis auswirkende Faktor. Bei dem H.264 Videokompressionsstandard zum Beispiel umfasst der Kodierparameter 120 einen Bewegungsvektor und einen Blockmodusfaktor. Der Bewegungsvektor wird gemäß der folgenden Gleichung erzeugt:
    Figure 00040001
  • Darin ist V* der Bewegungsvektor; die Klammern ”{}” stellen Optionen des Bewegungsvektors dar, der gemäß eines Suchens von Pixelbereichen, Referenzvideobildern und geschätzten Richtungen berechnet wird; B ist ein Makroblockparameter; M ist ein Makroblockkodiermoduszuordnungsparameter; DDFD ist die Differenz zwischen einem aktuellen Marcoblock und einem wieder aufgebauten Makroblock nach einer Bewegungskompensation, der eine Qualität angibt; λMOTION ist ein Lagrangemultiplikator für die Bitrate und die Bildqualität; RMotion gibt einen geschätzten Wert der Bitrate an; und J R,D / MODE (M) ist eine Gesamtkostenfunktion einer Ratenverzerrung. Der Blockmodus wird gemäß der folgenden Gleichung erzeugt:
    Figure 00040002
  • Darin ist M* der Blockmodus; die Klammern ”{}” stellen Optionen des Blockmodus dar; MB ist ein ausgewählter Blockmodus; QP ist ein Bildqualitätsparameter für den ausgewählten Blockmodus; DREC ist eine Differenz zwischen einem aktuellen Makroblock und einem wieder aufgebauten Makroblock nach einer Bewegungskompensation, der eine Qualität angibt; λMODE ist ein Lagrangemultiplikator für die Bitrate und die Bildqualität; RR1-c gibt einen geschatzten Wert der Bitrate für den Blockmodus M an. Die Bewegungsabschätzungs- und Modusentscheidungseinheit 121 berechnet den Kodierparameter 120 gemäß dieser Bewegungsvektor- und Blockmodusgleichungen.
  • Aus dem Dokument ISO/IEC 14496-10 ist der Kompressionsstandard H.264 über das Videokodier-/Videodekodierverfahen bekannt, in dem die Parameter von „Makroblock (micro block)”, „Sub-Makroblock (sub micro block)” sowie „Bewegungsvektor (motion vector)” verwendet wurden.
  • In WO 95/029550 A1 ist eine Vorrichtung bekannt, bei der die Komplexitätsberechnung ausschließlich auf dem Videoeingangsdaten beruht. Die so berechnete Komplexität wird dann dem Konstanten-Birate-Coder zugeführt, um das Kodieren der Videodaten vorzunehmen.
  • EP 1 381 239 A1 offenbart ein Verfahren, bei dem mittels der Dekodierkomplexität und der Variation der Anzahl der Bewegungsabschätzungsberechnung die Anzahl der Berechnung der Diskreten Cosinustransformation (DCT) gesteuert wird.
  • Obwohl bei Verwendung dieser Kodiervorrichtung ein kodiertes Videobild mit hoher Bildqualität und hohem Kompressionsverhältnis erzeugt werden kann, wird die Dekodierleistung auf der Decoderseite außer Betracht gelassen. Wenn die Rechenleistung auf der Decoderseite ungenügend ist, kann der Decoder das Videobild nicht vollständig und erfolgreich dekodieren. Entsprechend ist die Frage, wie Videobilder angemessen kodiert werden können, sodass die Videobilder mit bescheidenen Rechenmitteln und in kurzer Rechenzeit dekodiert werden können, ein wichtiger Forschungsgegenstand auf diesem Gebiet.
  • Um das vorgenannte Problem zu lösen, schlägt die vorliegende Erfindung ein Verfahren zur Bewegungsabschätzung und Modusentscheidung vor, die die Dekodierkomplexität beachtet, sodass Kodierparameter auf eine Dekodierkomplexität ansprechen. Die Videobildkodierung und eine Kodiervorrichtung können daher die nötigen Berechnungen eines Decoders reduzieren. Dabei ist die Verzerrung des Bildes von menschlichen Augen kaum zuerkennen.
  • In einer vorteilhaften Ausgestaltung der Erfindung wird eine Kodiervorrichtung zum Anpassen einer Dekodierberechnung gemäß einem ersten Kodierparameter bereitgestellt. Der erste Kodlierparameter, der Parameter, der für eine Kodiervorrichtung nach dem Stand der Technik zum Kodieren verwendet wird, wird auf Basis eines Videobilds erzeugt. Die Kodiervorrichtung umfasst einen Parametergenerator, einen Addierer und eine Komplexitätsberechnungseinheit. Der Parametergenerator erzeugt zunächst einen Bildqualitatsparameter. Der Addierer ist so konfiguriert, dass er den ersten Kodierparameter und den Bildqualitätsparameter heranzieht, um einen zweiten Kodierparameter zu erzeugen. Aufgrund des zweiten Kodierparameters führt die Komplexitätsberechnungsemheit eine Komplexitätsberechnung durch, um einen dritten Kodierparameter und einen Aktualisierungsparameter zu erzeugen. Aufgrund des Aktualisierungsparameters aktualisiert der Parametergenerator den Bildqualitätsparameter, und die Kodiervorrichtung kodiert das Videobild auf Basis des dritten Kodierparameters.
  • Eine weitere vorteilhafte Ausgestaltung der Erfindung ist es, ein Verfahren zum Anpassen einer Dekodierberechnung gemäß einem ersten Kodierparameter bereitzustellen. Der erste Kodierparameter, der Parameter, der für die Kodiervorrichtung nach dem Stand der Technik zum Kodieren verwendet wird, wird auf Basis eines Videobilds erzeugt. Das Verfahren umfasst die folgenden Schritte: Erzeugen eines Bildqualitätsparameters; Erzeugen eines zweiten Kodierparameters aufgrund eines ersten Kodierparameters und eines Bildqualitätsparameters; Ausführen einer Komplexitätsberechnung aufgrund eines zweiten Kodierparameters, um einen dritten Kodierparameter und einen Aktualisierungsparameter zu erzeugen; Aktualisieren des Bildqualitätsparameters aufgrund des Aktualisierungsparameters; und Kodieren des Videobilds auf Basis des dritten Kodierparameters.
  • Eine weitere Ausgestaltung der Erfindung besteht darin, ein Computerprogranmmprodukt zum Speichern eines Computerprogramms zum Ausführen des vorgenannten Verfahrens bereitzustellen.
  • Zum klareren und einfacheren Verständnis der Vorteile der vorliegenden Erfindung werden in den folgenden Absätzen neben bevorzugten Ausführungen und Zeichnungen detaillierte Beschreibungen dargelegt, sodass Fachleute die Merkmale der Erfindung gut verstehen.
  • 1 ist eine Innendarstellung einer Kodiervorrichtung nach dem Stand der Technik;
  • 2 ist eine schematische Darstellung einer ersten Ausführung der vorliegenden Erfindung;
  • 3 ist ein Flussdiagramm einer zweiten Ausführung der vorliegenden Erfindung;
  • 4 ist ein Flussdiagramm der zweiten Ausführung zum Erzeugen eines Bildqualitätsparameters; und
  • 5 ist ein Flussdiagramm der zweiten Ausführung zum Erzeugen eines dritten Kodierparameters und eines Aktualisierungsparameters.
  • Eine erste Ausführung der vorliegenden Erfindung ist eine Kodiervorrichtung zum Anpassen einer Dekodierberechnung gemäß einem Kodierparameter nach dem Stand der Technik. Der Kodierparameter, also der Kodierparameter 120 in 1, wird auf Basis eines Videobilds erzeugt. Diese Ausführung kann Unterpixel verarbeiten, sodass sie im H.264 Kompressionsstandard, im MPEG2 Kompressionsstandard, im MPEG4 Kompressionsstandard, im auf Bewegungskompensation basierenden Kompressionsstandard usw. verwendet werden kann. 2 zeigt schematisch eine Bewegungsabschätzungs- und Modusentscheidungseinheit (entsprechend der Bewegungsabschätzungs- und Modusentscheidungseinheit 121 in 1) der Kodiervorrichtung. Wie in 2 gezeigt, umfasst die Bewegungsabschätzungs- und Modusentscheidungseinheit eine Abschätzungseinheit 201, einen Parametergenerator 203, einen Addierer 205 und eine Komplexitätsberechnungseinheit 207. Die Abschätzungseinheiten 201 ist dafür eingerichtet, ein Videobild 200 zu empfangen und einen ersten Kodierparameter 202 aufgrund des Videobilds 200 zu erzeugen, wobei das Videobild 200 sich auf das Videobild 100 in 1 bezieht und der erste Kodierparameter 202 sich auf den Kodierparameter 120 in 1 bezieht.
  • Der Parametergenerator 203 ist so eingerichtet, dass er einen Bildqualitätsparameter 206 aufgrund eines vorbestimmten Werts 204 und eines Aktualisierungsparameters 210 erzeugt. Der vorbestimmte Wert 204 kann entweder im Parametergenerator 203 vorgespeichert oder direkt von einem Benutzer eingegeben werden, wie in 2 gezeigt. Der vorbestimmte Wert 204 ist so eingerichtet, dass er über einen Toleranzbereich einer Verzerrung für eine Kodierung des Videobilds 200 entscheidet. Die Grundlage des Toleranzbereichs der Verzerrung ist die Kodierung, die einfach den in 1 gezeigten Kodierparameter 120 verwendet. So bedeutet zum Beispiel der vorbestimmte Wert 204 von 0,3 dB, dass die akzeptable Verzerrung des mit der erfindungsgemäßen Kodiervorrichtung kodierten Bilds im Vergleich zu einem mit einer Kodiervorrichtung nach dem Stand der Technik kodierten Bild höchstens 0,3 dB beträgt. Der Aktualisierungsparameter 210, der von einer Komplexitätsberechnungseinheit 207 erzeugt wird, wird einem Zähler in dem Parametergenerator 203 eingegeben, um mit dem vorbestimmten Wert 204 verglichen zu werden. Aufgrund des vorbestimmten Werts 204 stellt der Parametergenerator 203 eine Speicherzugriffskomplexität und den Aktualisierungsparameter 210 ein und erzeugt einen Bildqualitätsparameter 206 aufgrund der Speicherzugriffskomplexität. Die Speicherzugriffskomplexität steht in einem Verhältnis zur Dekodierkomplexität auf einer Decoderseite. Je höher die Speicherzugriffskomplexität ist, desto höher ist die benötigte Dekodierkomplexität. Genauer leitet der Parametergenerator 203 den Bildqualitätsparameter 206 gemäß der folgenden Gleichung ab:
    Figure 00090001
  • Dabei bezeichnet Vc* einen ausgewählten Bewegungsvektor; die Klammern ”{}” stellen Optionen des Bewegungsvektors dar, mit dem Unterschied zum Stand der Technik, dass CMOTION eine Funktion für die Decodierkomplexität bezeichnet, welche die Kosten des ausgewählten Bewegungsvektors angibt; γMOTION gibt einen Lagrangemultiplikator für die Speicherzugriffskomplexität an und ist so eingerichtet, dass er die Kosten der Decodierkomplexität einstellt; J R,D,C / MOTION (V) ist eine zusammengesetzte Kostenfunktion, in die eine Bitrate R, eine Bildqualität D, und eine Decoderberechnungskomplexität C eingehen. Durch die Lagrangeoperation berücksichtigt diese Ausführung die Speicherzugriffskomplexität.
  • Der Addierer 205 addiert den ersten Kodierparameter 202 und den Bildqualitätsparameter 206, um einen zweiten Kodierparameter 208 zu erzeugen.
  • Die Komplexitätsberechnungseinheit 207 empfängt den zweiten Kodierparameter 208 und erzeugt den Aktualisierungsparameter 210 und einen dritten Kodierparameter 212. Der dritte Kodierparameter 212 wird an die Bewegungskompensationseinheit 119 und die Entropiekodiereinheit 123, die in 1 gezeigt sind, ausgegeben, um die erforderlichen Kodierparameter zum Kodieren des Videobilds 200 zu erzeugen. Der Aktualisierungsparameter 210 wird zum Parametergenerator 203 zurückgeleitet, um den Bildqualitätsparameter 206 zu aktualisieren. Genauer passt die Komplexitätsberechnungseinheit 207 eine Decodierkomplexität aufgrund des zweiten Kodierparameters 208 an, und erzeugt einen dritten Kodierparameter 212 und einen Aktualisierungsparameter 210 aufgrund der Decodierkomplexität.
  • Die Dekodierkomplexität hängt auch mit der Dekodierkomplexität auf der Decoderseite zusammen. Je höher die Decodierkomplexität ist, desto höher muss die Dekodierkomplexität der Decoderseite sein. Genauer leitet die Komplexitätsberechnungseinheit 207 den Aktualisierungsparameter 210 und den dritten Kodierparameter 212 gemäß der folgenden Gleichung ab:
    Figure 00100001
  • Dabei ist Mc* der ausgewählte Blockmodus; die Klammern ”{}” stellen Optionen des Blockmodus dar, wobei der Unterschied zum Stand der Technik darin besteht, dass cMODE die Kosten der Speicherzugriffskomplexität für jeden Blockmodus angibt; γMODE gibt einen Lagrangemultiplikator für die Decodierkomplexität an und ist so eingerichtet, dass er die Kosten der Speicherzugriffskomplexität anpasst; J R,D,C / MOTION (V) ist eine zusammengesetzte Kostenfunktion, in die die Bitrate R, die Bildqualität D, und die Decoderberechnungskomplexität C eingehen. Durch die Lagrangeoperation werden der Aktualisierungsparameter 210 und der dritte Kodierparameter 212 erzeugt.
  • Eine zweite Ausführung der vorliegende Erfindung ist ein Verfahren zum Anpassen der Dekodierberechnung gemäß einem ersten Kodierparameter. Der erste Kodierparameter, zum Beispiel der Kodierparameter 120 in 1, wird auf der Basis eines Videobilds erzeugt. Das Verfahren ist in 3 gezeigt. In Schritt 301 wird zunächst ein Bildqualitätsparameter erzeugt. Beide Ausführung des Schrittes 303 wird ein zweiter Kodierparameter aufgrund des ersten Kodierparameters und eines Bildqualitätsparameters erzeugt. Der zweiter Kodierparameter wird zum Beispiel durch Addition des ersten Kodierparameters und des Bildqualitätsparameters erzeugt. Dann wird Schritt 305 ausgeführt, bei dem ein dritter Kodierparameter und ein Aktualisierungsparameter gemäß einer Komplexitätsberechnung aufgrund eines zweiten Kodierparameters erzeugt wird. Anschließend wird Schritt 307 ausgeführt, bei dem der Bildqualitätsparameter aufgrund des Aktualisierungsparameters aktualisiert wird. Dann wird Schritt 309 ausgeführt, bei dem das Videobild aufgrund des dritten Kodierparameters kodiert wird.
  • Der Bildqualitätsparameter in Schritt 301 wird aufgrund eines vorbestimmten Werts erzeugt, der verwendet wird, um einen Toleranzbereich der Verzerrung beim Kodieren des Videobilds zu bestimmen. Der vorbestimmte Wert ist ähnlich zu dem in der ersten Ausführung beschriebenen. Wie in 4 gezeigt, umfasst Schritt 301 die folgenden Schritte. In Schritt 401 wird ein vorbestimmter Wert festgelegt. Dann wird Schritt 403 ausgeführt, bei dem eine Speicherzugriffskomplexität gemäß dem vorbestimmten Wert und dem Aktualisierungsparameter angepasst wird. Dann wird Schritt 405 ausgeführt, bei dem der Bildqualitätsparameter gemäß der Speicherzugriffskomplexität erzeugt wird.
  • Bezugnehmend auf 5 umfast Schritt 305 die folgenden Schritte. In Schritt 501 wird der zweiter Kodierparameter empfangen. Dann wird Schritt 503 ausgeführt, bei dem die Decodierkomplexität gemäß dem zweiten Kodierparameter angepasst wird. Dann wird Schritt 505 ausgeführt, in welchem der dritte Kodierparameter und der Aktualisierungsparameter aufgrund der Decodierkomplexität erzeugt werden.
  • Die Lagrangeoperation, die in der ersten Ausführung verwendet wird, kann verwendet werden, um den Bildqualitätsparameter, den dritten Kodierparameter und den Aktualisierungsparameter während der Ausführung der Schritte 301 und 305 abzuleiten.
  • Die zweite Ausführung ist in ähnlicher Weise in der Lage, Unterpixel zu verarbeiten, sodass die zweiter Ausführung im H.264 Kompressionsstandard, im MPEG2 Kompressionsstandard, im MPEG4 Kompressionsstandard und im auf Bewegungskompensation basierenden Videokompressionsstandard verwendet werden kann.
  • Das oben genannte Verfahren kann durch Code in einem Computerprogramm ausgeführt werden, das auf einem Computerprogrammprodukt gespeichert ist. Das Computerprogrammprodukt kann eine Floppy Disk, eine Festplatte, eine Bildspeicherplatte, eine Flash-Disk, eine Bandkassette, eine durch ein Netzwerk zugängliche Datenbank oder ein Speichermedium mit der gleichen Funktionalität sein, das dem Fachmann bekannt ist.
  • Gemäß der obigen Beschreibung kann die vorliegende Erfindung die Nachteile der aus dem Stand der Technik bekannten Kodiervorrichtungen lösen. Durch Berücksichtigen der Dekodierkomplexität kann die Bildqualität im wesentlichen erhalten bleiben, während die Verzerrung für menschliche Augen nicht wahrnehmbar ist. Gleichzeitig werden die Berechnungskosten auf der Decoderseite gesenkt, und deshalb kann die die Kodierung vollständig und erfolgreich durchgeführt werden. Weiter spart die vorliegende Erfindung auf der Decoderseite Energie.

Claims (15)

  1. Kodiervorrichtung zum Anpassen einer Dekodierberechnung gemäss einem ersten Kodierparameter, wobei der erste Kodierparameter auf Basis eines Videobildes berechnet wird, wobei die Kodiervorrichtung umfasst: – Einen Parametergenerator zum Erzeugen eines Bildqualitätsparameters; – Einen Addierer zum Empfangen des ersten Kodierparameters und des Bildqualitätsparameters zum Erzeugen eines zweiten Kodierparameters; und – Eine Komplexitätsberechnungsemheit zum Ausführen einer Komplexitätsberechnung aufgrund des zweiten Kodierparameters zum Erzeugen eines dritten Kodierparameters und eines Aktualisierungsparameters; wobei der Parametergenerator den Bildqualitätsparameter aufgrund des Aktualisierungsparameters aktualisiert und die Kodiervorrichtung das Videobild auf Basis des dritten Kodierparameters kodiert, und wobei bei der Kodiervorrichtung die Komplexitätsberechnungseinheit die Dekodierkomplexität gemäß dem zweiten Kodierparameter anpasst und den dritte Kodierparameter sowie der Aktualisierungsparameter aufgrund der Dekodierkomplexität bei der Kodiervorrichtung erzeugt.
  2. Kodiervorrichtung nach Anspruch 1, bei der der Parametergenerator den Bildqualitätsparameter aufgrund eines vorbestimmten Wertes erzeugt, und der vorbestimmte Wert über eine Verzerrung entscheidet, wenn das Videobild kodiert wird.
  3. Kodiervorrichtung nach Anspruch 2, bei der der Parametergenerator eine Speicherzugriffskomplexität gemass dem vorbestimmten Wert und dem Aktualisierungsparameter anpasst und den Bildqualitätsparameter gemäss der Speicherzugriffskomplexität erzeugt.
  4. Kodiervorrichtung nach Anspruch 1, bei der der Addierer den ersten Kodierparameter und den Bildqualitätsparameter addiert.
  5. Kodiervorrichtung nach Anspruch 1, bei der ein Kompressionsstandard der Kodiervorrichtung ein H.264 Kompressionsstandard, ein MPEG-2 Kompressionsstandard, ein MPEG-4 Kompressionsstandard oder ein auf Bewegungskompensation basierender Videokompressionsstandard ist.
  6. Verfahren zum Anpassen einer Dekodierberechnung gemäß einem ersten Kodierparameter, der auf Basis eines Videobildes berechnet wird, wobei das Verfahren umfasst: Erzeugen eines Bildqualitatsparameters; Erzeugen eines zweiten Kodierparameters aufgrund des ersten Kodierparameters und des Bildqualitatsparameters; und Ausführen einer Komplexitätsberechnung aufgrund des zweiten Kodierparameters, um einen dritten Kodierparameter und einen Aktualisierungsparameter zu erzeugen; Aktualisieren des Bildqualitätsparameters aufgrund des Aktualisierungsparameters; Kodieren des Videobildes auf Basis des dritten Kodierparameters; und wobei das Verfahren beim Ausführen einer Komplexitätsberechnung die folgenden Schritte umfasst: Anpassen der Dekodierkomplexität gemaß dem zweiten Kodierparameter; und Erzeugen eines dritten Kodierparameters sowie des Aktualisierungsparameters aufgrund der Dekodierkomplexität.
  7. Verfahren nach Anspruch 6, bei dem der Bildqualitätsparameter aufgrund eines vorbestimmten Wertes erzeugt wird und der vorbestimmte Wert über eine Verzerrung entscheidet, wenn das Videobild kodiert wird.
  8. Verfahren nach Anspruch 6, bei dem das Erzeugen eines Bildqualitätsparameters die folgenden Schritte umfasst: Anpassen einer Speicherzugriffskomplexität gemäss dem vorbestimmten Wert und dem Aktualisierungsparameter; und Erzeugen eines Bildqualitätsparameters gemäss der Speicherzugriffskomplexität.
  9. Verfahren nach Anspruch 6, bei dem das Erzeugen eines zweiten Kodierparameters den folgenden Schritt umfasst: Addieren des ersten Kodierparameters und des Bildqualitätsparameters.
  10. Verfahren nach Anspruch 6, wobei das Verfahren auf einen H.264 Kompressionsstandard, einen MPEG-2 Kompressionsstandard, einen MPEG-4 Kompressionsstandard oder einen auf Bewegungskompensation basierenden Videokompressionsstandard angewandet wird.
  11. Computerprogrammprodukt zum Speichern eines Computerprogramms zum Ausführen eines Verfahrens zum Anpassen einer Dekodierberechnung gemäß einem ersten Kodierparameter, der auf Basis eines Videobildes erzeugt wird, wobei das Computerprogramm umfasst: – Code zum Erzeugen eines Bildqualitätsparameters; – Code zum Erzeugen eines zweiten Kodierparameters aufgrund des ersten Kodierparameters und des Bildqualitätsparameters zum; – Code zum Ausführen einer Komplexitätsberechnung aufgrund des zweiten Kodierparameters zum Erzeugen eines dritten Kodierparameters und eines Aktualisierungsparameters; – Code zum Aktualisieren des Bildqualitätsparameters aufgrund des Aktualisierungsparameters; – Code zum Kodieren des Videobildes auf Basis des dritten Kodierparameters. – Code zum Anpassen einer Dekodierkomplexitat gemäß dem zweiten Kodierparameter; und – Code zum Erzeugen des dritten Kodierparameters und des Aktualisierungsparameters aufgrund der Dekodierkomplexität.
  12. Computerprogrammprodukt nach Anspruch 11, bei dem der Bildqualitätsparameter aufgrund eines vorbestimmten Wertes erzeugt wird und der vorbestimmte Wert über eine Verzerrung entscheidet, wenn das Videobild kodiert wird.
  13. Computerprogrammprodukt nach Anspruch 12, bei dem der Code zum Erzeugen eines Bildqualitätsparameters umfasst: Code zum Anpassen einer Speicherzugriffskomplexität gemäss dem vorbestimmten Wert und dem Aktualisierungsparameter; und Code zum Erzeugen eines Bildqualitätsparameters aufgrund der Speicherzugriffskomplexität.
  14. Computerprogrammprodukt nach Anspruch 11, bei dem der Code zum Erzeugen eines zweiten Kodierparameters umfasst: Code zum Addieren des ersten Kodierparameters und des Bildqualitätsparameters.
  15. Computerprogrammprodukt nach Anspruch 11, bei dem das Computerprogramm auf einen H.264 Kompressionsstandard, einen MPEG-2 Kompressionsstandard, einen MPEG-4 Kompressionsstandard oder einen auf Bewegungskompensation basierenden Videokompressionsstandard angewandet wird.
DE102006003168A 2005-12-08 2006-01-23 Kodiervorrichtung, Verfahren zum Anpassen einer Dekodierberechnung und Computerprogrammprodukt hierfür Expired - Fee Related DE102006003168B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW094143409 2005-12-08
TW094143409A TWI297994B (en) 2005-12-08 2005-12-08 Encoder, method for adjusting decoding calculation, and computer readable record medium therefor

Publications (2)

Publication Number Publication Date
DE102006003168A1 DE102006003168A1 (de) 2007-06-21
DE102006003168B4 true DE102006003168B4 (de) 2012-10-31

Family

ID=38089581

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006003168A Expired - Fee Related DE102006003168B4 (de) 2005-12-08 2006-01-23 Kodiervorrichtung, Verfahren zum Anpassen einer Dekodierberechnung und Computerprogrammprodukt hierfür

Country Status (3)

Country Link
US (1) US20070133679A1 (de)
DE (1) DE102006003168B4 (de)
TW (1) TWI297994B (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104351A1 (en) * 2004-11-15 2006-05-18 Shu-Wen Teng Video/image processing devices and methods
US8228991B2 (en) * 2007-09-20 2012-07-24 Harmonic Inc. System and method for adaptive video compression motion compensation
US8787454B1 (en) 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
KR101601788B1 (ko) * 2011-10-11 2016-03-21 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 비디오 시퀀스들에서 인지 품질 평가를 위한 장면 변경 검출
US10911513B2 (en) * 2018-07-16 2021-02-02 Netflix, Inc. Techniques for determining an upper bound on visual quality over a completed streaming session

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995029550A1 (en) * 1994-04-20 1995-11-02 Thomson Consumer Electronics, Inc. Complexity determining apparatus
EP1381239A1 (de) * 2002-07-11 2004-01-14 Samsung Electronics Co., Ltd. Verfahren und Einrichtung für die Kontrolle von DCT-Berechnungen beim Kodieren von Bewegtbilddaten

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920005246B1 (ko) * 1989-12-22 1992-06-29 삼성전자 주식회사 동작적응형 스펙트럼 접힘(폴딩) 방법에 의한 vtr의 화질 개선방법 및 회로
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US5196930A (en) * 1990-07-20 1993-03-23 Matsushita Electric Industrial Co., Ltd. High efficienccy coding and decoding apparatus for lowering transmission or recording rate of transmitted or recorded video signal without reducing picture quality
US5208903A (en) * 1990-09-10 1993-05-04 Eastman Kodak Company Video image display for predicting color hardcopy image quality
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
US5870497A (en) * 1991-03-15 1999-02-09 C-Cube Microsystems Decoder for compressed video signals
KR940005204B1 (ko) * 1991-10-18 1994-06-13 삼성전자 주식회사 영상데이터의 기록 및 그 재생방법
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US5579054A (en) * 1995-04-21 1996-11-26 Eastman Kodak Company System and method for creating high-quality stills from interlaced video
US5819004A (en) * 1995-05-08 1998-10-06 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of previously encoded video frames
US5684714A (en) * 1995-05-08 1997-11-04 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of a previously encoded video sequence
US5808617A (en) * 1995-08-04 1998-09-15 Microsoft Corporation Method and system for depth complexity reduction in a graphics rendering system
US5754248A (en) * 1996-04-15 1998-05-19 Faroudja; Yves C. Universal video disc record and playback employing motion signals for high quality playback of non-film sources
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US5926226A (en) * 1996-08-09 1999-07-20 U.S. Robotics Access Corp. Method for adjusting the quality of a video coder
US6339479B1 (en) * 1996-11-22 2002-01-15 Sony Corporation Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US6130723A (en) * 1998-01-15 2000-10-10 Innovision Corporation Method and system for improving image quality on an interlaced video display
US6163629A (en) * 1998-01-30 2000-12-19 Compaq Computer Corporation Method for low complexity low memory inverse dithering
JP4261630B2 (ja) * 1998-02-04 2009-04-30 キヤノン株式会社 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体
US6252905B1 (en) * 1998-02-05 2001-06-26 International Business Machines Corporation Real-time evaluation of compressed picture quality within a digital video encoder
US6122321A (en) * 1998-05-12 2000-09-19 Hitachi America, Ltd. Methods and apparatus for reducing the complexity of inverse quantization operations
US6804294B1 (en) * 1998-08-11 2004-10-12 Lucent Technologies Inc. Method and apparatus for video frame selection for improved coding quality at low bit-rates
US6493023B1 (en) * 1999-03-12 2002-12-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for evaluating the visual quality of processed digital video sequences
US6278495B1 (en) * 1999-03-12 2001-08-21 Fortel Dtv, Inc Digital comb filter for decoding composite video signals
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6671413B1 (en) * 2000-01-24 2003-12-30 William A. Pearlman Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
WO2001080559A2 (en) * 2000-04-18 2001-10-25 Silicon Image Method, system and apparatus for identifying the source type and quality level of a video sequence
US6631163B1 (en) * 2000-11-14 2003-10-07 Koninklijke Philips Electronics N.V. Dynamic adaptation of complexity in an MPEG-2 scalable decoder
KR100351159B1 (ko) * 2000-12-06 2002-09-05 엘지전자 주식회사 영상 복원 장치 및 방법
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
US6744387B2 (en) * 2002-07-10 2004-06-01 Lsi Logic Corporation Method and system for symbol binarization
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US6944224B2 (en) * 2002-08-14 2005-09-13 Intervideo, Inc. Systems and methods for selecting a macroblock mode in a video encoder
US6927710B2 (en) * 2002-10-30 2005-08-09 Lsi Logic Corporation Context based adaptive binary arithmetic CODEC architecture for high quality video compression and decompression
US6917310B2 (en) * 2003-06-25 2005-07-12 Lsi Logic Corporation Video decoder and encoder transcoder to and from re-orderable format

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995029550A1 (en) * 1994-04-20 1995-11-02 Thomson Consumer Electronics, Inc. Complexity determining apparatus
EP1381239A1 (de) * 2002-07-11 2004-01-14 Samsung Electronics Co., Ltd. Verfahren und Einrichtung für die Kontrolle von DCT-Berechnungen beim Kodieren von Bewegtbilddaten

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KANNANGARA, C.S. [et al.]: Complexitiy reduction of H.264 using Lagrange optimization methods. In: IEE International Conference on Visual Information Engineering (VIEE 2005), 4-6 April 2005, University of Glasgow, S. 373-378. - ISBN 0-86431-507-5 *
Wang, Yong, Chang, Shih-Fu: Complexity Adaptive Motion Estimation and Mode Decision for Low-Complexity H.264 Decoder. Columbia Univ., 2005. (Columbia University ADVENT Technical Report ; 211-2005-5)
Wang, Yong, Chang, Shih-Fu: Complexity Adaptive Motion Estimation and Mode Decision for Low-Complexity H.264 Decoder. Columbia Univ., 2005. (Columbia University ADVENT Technical Report ; 211-2005-5) *

Also Published As

Publication number Publication date
US20070133679A1 (en) 2007-06-14
TW200723877A (en) 2007-06-16
DE102006003168A1 (de) 2007-06-21
TWI297994B (en) 2008-06-11

Similar Documents

Publication Publication Date Title
DE60003070T2 (de) Adaptive bewegungsvektorfeldkodierung
DE60023576T2 (de) Verfahren und Vorrichtung zur Bewegtbilddatentranscodierung
DE69915277T2 (de) Verfahren und vorrichtung zur reduzierung von breathing-artefakten in komprimierten videodaten
DE69837003T2 (de) Vorrichtung und verfahren zur optimierung der bitratensteurung in einem kodiersystem
DE69635369T2 (de) Videokodierungsvorrichtung
US7751478B2 (en) Prediction intra-mode selection in an encoder
DE69637343T2 (de) Videokodierungs- und -dekodierungsvorrichtung
KR100304103B1 (ko) 비트율이급변되는재양자화계단크기선택방법및그를이용한비트율제어방법
DE202016008214U1 (de) Kodierratensteuerung von Echtzeitvideos unter Verwendung einer dynamischen Auflösungsumschaltung
DE69921108T2 (de) Verfahren und vorrichtung zur adaptiven codierung eines videodatenstroms
EP2141927A1 (de) Filter für die Videocodierung
EP2617199B1 (de) Verfahren und vorrichtungen zur datenkompression mit adaptiver filterung im transformationsbereich
DE10300048A1 (de) Verfahren und Vorrichtung zur Bildcodierung und -decodierung
EP2617198A1 (de) Kompression und dekompression von referenzbildern in einem videokoder
DE69932429T2 (de) Verfahren und gerät für die inverse quantisierung von mpeg-4 video
DE102006003168B4 (de) Kodiervorrichtung, Verfahren zum Anpassen einer Dekodierberechnung und Computerprogrammprodukt hierfür
EP1025708A1 (de) Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
DE60309039T2 (de) Verfahren und vorrichtung zur optimierung der bildschärfe während der kodierung
DE10296787B4 (de) Selektive Prädikation für ein Intra-Codieren eines Videodatenblocks
DE19753976A1 (de) Dekoder mit einer adaptiven Funktion zur Vermeidung von Blockeffekten
WO2003026307A2 (de) Verfahren zur videocodierung und computerprogrammprodukt
DE69824983T2 (de) Verfahren und Gerät zur Codierung durch Luminanzschätzung
EP1285537B1 (de) Verfahren und eine anordnung zur codierung bzw. decodierung einer folge von bildern
Tsai et al. A compressed video enhancement algorithm
DE10219640B4 (de) Verfahren zum Codieren und Decodieren von Videosequenzen und Computerprogrammprodukt

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20130201

R082 Change of representative

Representative=s name: MURGITROYD & COMPANY, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0007260000

Ipc: H04N0019000000