DE60001896T2 - Quantisierer für videokompression - Google Patents

Quantisierer für videokompression Download PDF

Info

Publication number
DE60001896T2
DE60001896T2 DE60001896T DE60001896T DE60001896T2 DE 60001896 T2 DE60001896 T2 DE 60001896T2 DE 60001896 T DE60001896 T DE 60001896T DE 60001896 T DE60001896 T DE 60001896T DE 60001896 T2 DE60001896 T2 DE 60001896T2
Authority
DE
Germany
Prior art keywords
image
information
quantization
coding
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60001896T
Other languages
English (en)
Other versions
DE60001896D1 (de
Inventor
Pierre Ruellou
Philippe Bordes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of DE60001896D1 publication Critical patent/DE60001896D1/de
Application granted granted Critical
Publication of DE60001896T2 publication Critical patent/DE60001896T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Quantisierung für eine Videokomprimierung. Sie ist insbesondere bei einer Videocodierung entsprechend der Norm ISO/IEC MPEG2 anwendbar.
  • Die Verfahren zur Videokomprimierung bewirken in der Codierkette einen Quantisiervorgang. Diese Quantisierung wird im Allgemeinen auf Blöcke von Koeffizienten angewendet, die aus einer Cosinustransformation hervorgehen.
  • Die Anpassung des Quantisierschritts an die Ausgangsbitrate des Coders macht es insbesondere möglich, diese Bitrate zu regeln. Die von einem Coder bei einer bestimmten Bitrate gelieferte Bildqualität ist zum großen Teil mit dieser Regelungspolitik verknüpft. Insbesondere wird gleichzeitig ein Quantisierschritt benötigt, der groß genug ist, dass die feste Bitrate nicht überschritten wird, jedoch klein genug ist, um die Codier-Artefakte vom Typ der Blockwirkung zu begrenzen. Außerdem bewirken starke Änderungen in dem Quantisierschritt innerhalb des Bildes Fehler vom sogenannten "beating"-Typ, und die Regelung versucht daher, den benutzten Schritt auf ein Maximum zu stabilisieren.
  • Die Regelung basiert auf einem objektiven Kriterium, das im Allgemeinen in den Codierkosten des quantisierten Blocks besteht. Wenn die Kosten der vorangehend quantisierten Blöcke zu stark von den mittleren Kosten abweichen, die erlaubt sind, um die angestrebte Bitrate einzuhalten, dann wird der Quantisierschritt zunehmen, im entgegengesetzten Fall wird er abnehmen. Diese Änderungen berücksichtigen nicht den Typ des derzeit codierten Bereichs, und das kann zu subjektiven Mängeln führen. Insbesondere ist das Auge mehr oder weniger empfindlich gegenüber Mängeln, die von dem Inhalt der codierten Folge abhängig sind. In einem Bereich mit starker Bewegung sind die Mängel weniger sichtbar als in einem gleichbleibenden, zum Beispiel einem stationären Bereich.
  • Die internationale Patentanmeldung, veröffentlicht unter der Nr. WO 97/37322, beschreibt ein Verfahren zur Codierung, das Informationen über die subjektive Qualität des vorangehenden Bildes für die Codierung des laufenden Bildes verwertet. Dieses Verfahren ermöglicht jedoch keine sogenannte Online-Codierung des laufenden Bildes.
  • Die Aufgabe der Erfindung besteht darin, die vorgenannten Nachteile zu vermeiden.
  • Gegenstand der Erfindung ist ein Verfahren zur Online-Codierung von Videobildern mit einer Quantisierung von Daten mit einem Schritt zur Berechnung eines Quantisierschritts für ein laufendes Bild in Abhängigkeit von einer gewünschten Bitrate und von Informationen über die subjektive Qualität, dadurch gekennzeichnet, dass das laufende Bild verarbeitet wird, um ein entsprechendes verschlechtertes Bild zu erhalten, dessen Vergleich mit einem laufenden Bild es ermöglicht, die Informationen über die subjektive Qualität zu berechnen, und dass das laufende Bild außerdem während der Verarbeitung verzögert wird, um seine Codierung in Abhängigkeit von diesen Informationen über die subjektive Qualität durchzuführen.
  • Insbesondere sind die Informationen für die Qualität vom Typ JND (Just Noticeable Difference).
  • Eine Variante der Erfindung besteht darin, dass die Informationen über Pixelblöcke gemittelt werden.
  • Eine andere Variante der Erfindung besteht darin, dass die Informationen für einen Block in einem Fenster um diesen Block herum gefiltert werden.
  • Eine andere Variante der Erfindung besteht darin, dass die Informationen durch über ein Bild gemittelte Informationen für die subjektive Qualität gewichtet werden.
  • Eine andere Variante der Erfindung besteht darin, dass die Informationen für die subjektive Qualität je Pixel aus einem subjektiven Verwertungsverfahren gewonnen werden, das ein verschlechtertes Bild erzeugt. Das verschlechterte Bild kann das örtlich erzeugte Bild sein, das aus einer vorangehenden Codierung des entsprechenden Referenzbildes stammt.
  • Weitere Varianten der Erfindung bestehen darin, dass die Verschlechterung dadurch erreicht wird, dass das Referenzbild mit Hilfe von Vorgängen einer Transformation, einer Quantisierung, einer inversen Transformation und einer inversen Quantisierung verrauscht wird.
  • Eine weitere Variante besteht darin, dass der für die Vorgänge der Quantisierung und der inversen Quatisierung benutzte Quantisierschritt derjenige ist, der während der Codierung eines vorangehenden Bildes benutz wird.
  • Eine weitere Variante besteht darin, dass die Quantisierschritte, die für die Vorgänge der Quantisierung und der inversen Quantisierung benutzt werden, diejenigen sind, die bei einer Voranalyse des Bildes benutzt werden.
  • Die Erfindung betrifft außerdem eine Vorrichtung zur Durchführung des Verfahrens.
  • Die Merkmale und Vorteile der vorliegenden Erfindung ergeben sich besser aus der folgenden Beschreibung anhand eines Ausführungsbeispiels und der beigefügten Figuren:
  • 1 zeigt eine Quantisiervorrichtung für einen MPEG-Coder,
  • 2 zeigt eine Variante der Quantisiervorrichtung für einen MPEG-Coder.
  • Die Idee der Erfindung besteht darin, den durch die Regelung vorgeschlagenen Quantisierschritt in Abhängigkeit von einem subjektiven Qualitätskriterium zu modulieren. Durch die Erfindung wird für eine bestimmte Bitrate die Gesamtqualität des Bildes verbessert: Durch Verschlechterung der Bereiche, wo der Betrachter hinsicht lich der Bildqualität weniger empfindlich ist, und durch eine Verbesserung der Bereiche, wo er für diese Qualität empfindlicher ist, somit bei konstanter Bitrate und wegen der Kompensationen, wird die subjektive Qualität des Bildes verbessert.
  • Das Kriterium wird durch ein psychovisuelles Modell geliefert. Zum Beispiel bewirkt ein derartiges Modell eine subjektive Auswertung eines Bildes, im Allgemeinen des decodierten Bildes, bezüglich eines Referenzbildes, im Allgemeinen des Quellenbildes, und macht einen Vorschlag für die Lage der Bereiche, die gegenüber Mängeln oder Fehlern am empfindlichsten sind.
  • In dem Fall einer Videocodierung muss diesem Modell einerseits das Quellenbild und andererseits ein verschlechtertes Bild geliefert werden, da das entsprechende decodierte Bild noch nicht verfügbar ist (vorangehende Codierung).
  • Dieses verschlechterte Bild wird durch die Vorgänge der DCT, der Quantisierung, der inversen Quantisierung und der inversen DCT, angewendet im Coder, bei der Quelle gebildet, und zwar derart, dass man Mängel hat, die denen des codierten Bildes ähnlich sind. Der benutzte Quantisierschritt kann der mittlere Schritt sein, der bei der Codierung des vorangehenden Bildes benutzt wird, was ermöglicht, sich etwas mehr der Realität anzunähern. Wenn eine INTRA-Voranalyse durch den Coder erfolgt, kann der benutzte Schritt auch der sein, der während der Voranalyse benutzt wird.
  • Es können jedoch andere Wege für die Erzeugung des verschlechterten Bildes erwogen werden, zum Beispiel:
    • – durch Hinzufügung eines Gaußschen Rauschens zu der Quelle,
    • – durch direkte Benutzung des örtlich Decodierten aus der ersten Codierung im
  • Rahmen einer Codierung mit zwei Schritten, wobei der erste Schritt eine Optimierung des Zweiten ermöglicht.
  • Sobald die zwei Bllder verfügbar sind, gibt uns das psychovisuelle Modell Informationen vom JND-Typ, entsprechend dem Akronym des englischen Ausdrucks "Just Noticeable Difference", der den Fehler je Pixel mit einem Mangel der subjektiven Wahrnehmung verbindet. Diese Informationen sind zum Beispiel ein Bild, dessen Helligkeitswerte der das Bild bildenden Pixel durch Werte ersetzt sind, die den Wert der Wahrnehmung des Fehlers durch das menschliche Auge darstellen.
  • Diese Informationen je Pixel werden zunächst auf eine Information je Makroblock bezogen (im Allgemeinen ein Bereich von 16*16 Pixeln), der die Videocodiereinheit bildet:
    Figure 00050001
  • Jeder Makroblock besteht aus N Zeilen und M Pixeln je Zeile. Wenn das Bild in Makroblöcke zerlegt wird, bezeichnen die Buchstaben k und l die Nummer der Spalte beziehungsweise die Nummer der Zeile des Makroblocks MB(k, l) in dem Bild.
  • Diese Informationen werden dann in einem Fenster mit der Größe F, zum Beispiel ein Makroblock zu beiden Seiten des verarbeiteten Makroblocks, in zwei Richtungen gefiltert, um auf diese Weise übermäßig zahlreiche Änderungen des Quantisierschritts von einem Block zu einem anderen zu vermeiden. Tatsächlich ergibt das eine nicht zu vernachlässigende Zunahme an Codierkosten.
  • Der Wert JND_MB wird daher auf beiden Seiten des verarbeiteten Makroblocks durch die folgende Formel über ein Fenster von F Makroblöcken gemittelt:
    Figure 00050002
  • Schließlich wird dieses örtliche Kriterium mit dem Mittelwert von JDN über das laufende Bild, Mean_JND, derart verglichen, dass die Gesamtqualität des Bildes in der Quantisierung berücksichtigt wird:
    Figure 00060001
  • MB ist die Anzahl von Makroblöcken je Scheibe (in der MPEG-Norm mit "slice" bezeichnet).
  • Sl ist die Anzahl der Scheiben (slices) während eines Bildes.
  • Das Kriterium für die Wichtung des Quantisierschritts ist folgendermaßen:
    Δ = JND_Fil-Mean_JND
  • Wenn die Empfindlichkeit gegenüber Fehlern örtlich höher ist als im Mittel in dem Bild, das heißt wenn Δ positiv ist, dann wird der Quantisierschritt verringert, zum Beispiel gemäß der folgenden Gleichung:
    Q_MB = Q_regulation – Min(0.3*Q_regulation,Δ2)
  • Q_MB ist der Quantisierschritt für den Makroblock MB, das heißt nach der Modifikation, der das Wichtungskriterium berücksichtigt.
  • Q_regulation ist der Quantisierschritt, der anfänglich durch die Schaltungen für die Regelung des Coders berechnet wurde, das heißt der Quantisierschritt für den Makroblock vor der Modifikation.
  • Man subtrahiert somit hier den vorgeschlagenen Quantisierschritt, "Qualitätsabweichungen" im Quadrat, wenn dieser Wert kleiner als 0,3-mal der ursprüngliche Schritt ist. Die Tatsache der Wahl des Minimalwertes zwischen Δ2 und 0,3*Q_regulation ermöglicht eine maximale Abnahme von 1/3 des ursprünglichen Schritts.
  • Eine Variante der Erfindung besteht darin, den Vergleich nicht durch Subtraktion des Mittelwertes von JND von dem gefilterten Wert, sondern durch Bildung des Quotienten des gefilterten Wertes mit dem Mittelwert, vorzunehmen.
  • Figure 00070001
  • Wenn der Wert JND_Fil(k, l) des Makroblocks k, l in der Nähe des Wertes Mean_JND liegt, ist es nicht notwendig, eine Korrektur vorzunehmen, da die Fehler oder Defekte in diesem dem Makroblock MB(k, l) entsprechenden Bereich nicht mehr und nicht weniger sichtbar sind als im Mittel in dem Bild.
  • Wenn der Wert JND_Fil(k, l) größer ist als der Wert Mean_JND, dann bedeutet das, dass in diesem Bereich der Betrachter empfindlicher gegenüber Fehlern ist und es dann zweckmäßig ist, den durch die Regelung vorgeschlagenen Quantisierschritt zu verringern.
  • Wenn JND_Fil kleiner ist als Mean_JND, ist der Betrachter weniger empfindlich gegenüber Fehlern in diesem Bereich, und daher kann eine Vergrößerung des Quantisierschritts erwogen werden.
  • Vor der Anwendung des obigen Koeffizienten α ist es vorzuziehen, diesen zwischen den Werten BOUND_INF und BOUND_SUP zu begrenzen, um übermäßig große Änderungen des Quantisierschritts zu vermeiden. Tatsächlich können große Änderungen eine Instabilität des Regelalgorithmus hervorrufen.
  • Der durch die Regelung vorgeschlagene Quantisierschritt wird daher in der folgenden Weise korrigiert:
    Figure 00080001
  • Der Algorithmus für die erste Lösung vermeidet daher, dass übermäßig zahlreiche Änderungen des Quantisierschritts auftreten. Subjektiv wird das dadurch beobachtet, dass in den empfindlichen Bereichen der Quantisierschritt tatsächlich abnimmt und die Auflösung verbessert.
  • Was den Regelungsalgorithmus betrifft, ist er weniger gestört als derjenige, der der vorgeschlagenen Variante entspricht und eine größere Stabilität des Signal/Rausch-Verhältnisses PSNR begünstigt, wobei das Akronym PNSR für den englischen Ausdruck "Peak Signal Noise Ratio" steht.
  • In einfacherer Weise ermöglichen diese Algorithmen, dass der Quantisierschritt örtlich aufgrund von subjektiven Qualitätskriterien geändert wird. Sie können in jedem Videocoder benutzt werden und sind kompatibel mit den Steueralgorithmen mit bestehenden Bitraten. Auf diese Weise werden die Codierkosten entsprechend einem subjektiven Kriterium verteilt und ermöglichen, dass mehr Bit den Bereichen zugeordnet werden, die vom Standpunkt des Betrachters am empfindlichsten gegenüber Fehlern sind.
  • 1 zeigt eine Vorrichtung zur Durchführung des oben beschriebenen Verfahrens in dem Fall, wo das verschlechterte Bild durch Anwendung von Vorgängen einer DCT, einer Quantisierung, einer inversen Quantisierung und einer inversen DCT auf die Quelle erfolgt.
  • Das Quellenbild speist danach einen Coder 1 für eine diskrete Cosinustransformation, einen Quantisierer 2, einen inversen Quantisierer 3, einen Coder 4 für eine inverse diskrete Cosinustransformation. Das derart erhaltene Bild, das als das verschlechterte Bild bezeichnet wird, wird dann einer HVS-Verarbeitungsschaltung 5 zugeführt, die an einem zweiten Eingang das Quellenbild empfängt. Das Quellenbild wird außerdem zu einem Coder 6 vom MPEG-Typ übertragen. Dieser MPEG-Coder empfängt an einem zweiten Eingang die Informationen von der HVS-Verarbeitungsschaltung 5. Der Quantisierer 2 und der inverse Quantisierer 3 empfangen außerdem Information von dem MPEG-Coder 6. Der Ausgang des MPEG-Coders liefert die komprimierten Daten der Codierung des Quellenbildes.
  • Die von dem DCT-Coder empfangenen Informationen sind Informationen von Blöcken des Quellenbildes, das Bild, das anfänglich mit Hilfe der Schaltungen, die in der Figur nicht dargestellt sind, in Bildblöcke aufgeteilt wurde. Die Bildblöcke unterliegen einer Codierung vom Typ DCT durch die Schaltung 1. Die den derart transformierten Datenblöcken entsprechenden Koeffizienten werden dann durch die Quantisierschaltung 2 quantisiert und dann durch eine Dequantisierschaltung 3 dequantisiert. Der benutzte Quantisierschritt ist zum Beispiel der Quantisierschritt, der durch den MPEG-Coder 6 für die Codierung des entsprechenden Blocks des vorangehenden Bildes berechnet wurde. Der Block der dequantisierten Koeffizienten wird schließlich zu einer inversen Decodierschaltung DCT-1 übertragen, die die zu der Schaltung 1 inverse Transformation durchführt. Die erhaltenen Blöcke entsprechen dem verschlechterten Bild und werden zu der HVS-Verarbeitungsschaltung 5 übertragen.
  • Diese Schaltung 5 empfängt die Blöcke des Quellenbildes und die des verschlechterten Bildes. Sobald die Blöcke des vollständigen Bildes empfangen worden sind, führt sie einen Berechnungsalgorithmus aus, um Informationen vom Typ JND, das heißt Informationen für jeden der Blöcke und somit für den entsprechenden Bereich für die Empfindlichkeit des Betrachters gegenüber Fehlern des Bildes in dem dem relevanten Block entsprechenden Bereich zu liefern.
  • Dieser Algorithmus basiert zum Beispiel auf Maskierungs- oder Verdeckungsfunktionen (Filtern), die das Verhalten des menschlichen Sehsystems modellieren oder nachahmen. Jede Funktion zeigt an, ob die Differenz zwischen den beiden Eingangsbildern gegenüber dem Verhalten wahrnehmbar ist oder nicht, das er model liert oder nachahmt (Maskierung oder Verdeckung aufgrund des Kontrastes, der erhöhten Helligkeit oder nicht, dem Text, der Bewegung, usw.). Die Kombination dieser Funktionen ermöglicht, ein Bild zu bekommen, bei dem die Intensität jedes Pixels proportional zu der Sichtbarkeit des Fehlers in dem relevanten oder betrachteten Bild ist.
  • Diese Informationen werden für jeden Bildblock zu dem MPEG-Coder 6 übertragen, der, nachdem er den Quantisierschritt eines Blocks entsprechend konventionellen Regelungsalgorithmen berechnet hat, diesen berechneten Wert in Abhängigkeit von diesen Informationen vom Typ JND ändert. Es ist dieser geänderte Wert, der durch den Coder dafür benutzt wird, die Quantisierung der Koeffizienten des Blocks durchzuführen. Der Coder liefert an seinem Ausgang komprimierte digitale Daten entsprechend der MPEG-Codierung.
  • Eine Variante der Erfindung ist in 2 dargestellt.
  • Das Quellenbild wird parallel zu dem Eingang eines ersten MPEG-Coders 7, einer Verzögerungsschaltung 8 und einer Verarbeitungsschaltung 9 übertragen. Der erste MPEG-Coder überträgt an einem ersten Ausgang ein örtlich decodiertes Bild zu einem zweiten Eingang der Verarbeitungsschaltung 9 und über einen zweiten Ausgang Daten für die durch die Analyseschaltung 10 durchgeführte Komprimierung. Der Ausgang dieser Schaltung 10 ist mit einem ersten Eingang eines zweiten MPEG-Coders 11 verbunden. Der Ausgang der Verzögerungsschaltung 8 ist mit einem zweiten Eingang des zweiten Coders 11 verbunden. Der Ausgang der Verarbeitungsschaltung ist mit einem dritten Eingang des zweiten Coders 11 verbunden. Der Ausgang des zweiten Coders ist mit dem Ausgang der komprimierten Daten verbunden.
  • Das Quellenbild wird daher zu einem ersten Coder 7 vom MPEG-Typ übertragen. Der erste Ausgang dieses Coders liefert das örtlich decodierte, das heißt das rekonstruierte Bild, das es in dem Coder ermöglicht, eine differentielle Codierung des lau fenden Bildes gegenüber dem rekonstruierten vorangehenden Bildes durchzuführen, das als das örtlich decodierte bezeichnet wird. Dieses Bild wird rekonstruiert, da es das Bild ist, das durch die Cosinustransformation und die Quantisierung entsprechend der MPEG-Norm codiert wurde, und wird dann durch die inversen Vorgänge decodiert. Die Verarbeitungsschaltung 9 vergleicht das Quellenbild mit dem örtlich decodierten, das das verschlechterte Bild ist. Diese Verarbeitungsschaltung versorgt den zweiten Coder mit einem grauen Bild, bei dem die Intensität jedes Pixels proportional zu der Sichtbarkeit des Fehlers in dem betrachteten Bild ist, wie oben erläutert.
  • Der zweite MPEG-Coder 11 empfängt außerdem die Informationen von der Analyseschaltung des ersten Durchlaufs. Diese Analyseschaltung verarbeitet zum Beispiel Informationen für die Codierkosten der Bilder während des ersten Durchlaufs zu den Bewegungsvektoren, um Bewegungsvektorfelder zu bilden, die Aufteilung der Bitraten über ein Bild oder eine Gruppe von Bildern zu berechnen, usw. Diese Daten werden zu dem zweiten Coder übertragen, der sie dafür benutzt, den Typ der Codierung der Bilder für die Berechnung des Quantisierschritts zu entscheiden, usw.
  • Die Verzögerungsschaltung 8 ermöglicht, die Übertragung der Bilder in Abhängigkeit von der Bildanalysezeit zu verzögern. Diese Zeit ist verknüpft mit der Anzahl der gleichzeitig analysierten Bilder, zum Beispiel eine Gruppe von Bildern (GOP = group of pictures). Der zweite Coder 11 bewirkt daher die Codierung dieser verzögerten Bilder in Abhängigkeit von Informationen von der Analyseschaltung 10 und der Verarbeitungsschaltung 9, wobei der Quantisierschritt in Abhängigkeit von diesen Daten modifiziert wird.
  • Es handelt sich dabei um Ausführungsbeispiele, und natürlich kann jeder Schaltungstyp, der es ermöglicht, verschlechterte Bilder zu gewinnen, benutzt werden, ohne von dem Bereich der Erfindung abzuweichen.

Claims (12)

  1. Verfahren zur Online-Codierung von Videobildern mit einer Quantisierung von Daten mit einem Schritt zur Berechnung eines Quantisierschritts (6, 11) für ein laufendes Bild in Abhängigkeit von einer gewünschten Bitrate und von Informationen über die subjektive Qualität (5, 9), dadurch gekennzeichnet, dass das laufende Bild verarbeitet wird, um ein entsprechendes verschlechtertes Bild zu erhalten, dessen Vergleich mit einem laufenden Bild es ermöglicht, die Informationen über die subjektive Qualität zu berechnen, und dass das laufende Bild außerdem während der Verarbeitung verzögert wird (8), um seine Codierung in Abhängigkeit von diesen Informationen über die subjektive Qualität durchzuführen.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Informationen für die subjektive Qualität vom Typ JND (Just Noticeable Difference) sind.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Informationen für die subjektive Qualität über Pixelblöcke Bemittelt werden.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Informationen für die subjektive Qualität in einem Fenster um diesen Block herum gefiltert werden.
  5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Informationen für die subjektive Qualität durch über das Bild gemittelte Informationen für die subjektive Qualität gewichtet werden.
  6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Verschlechterung dadurch erreicht wird, dass das Referenzbild mit Hilfe eines Gaußschen Rauschens verrauscht wird.
  7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Verschlechterung dadurch erreicht wird, dass das Referenzbild mit Hilfe von Vorgängen einer Transformation, einer Quantisierung, einer inversen Transformation und einer inversen Quantisierung verrauscht wird.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der für die Vorgänge der Quantisierung und der inversen Quatisierung benutzte Quantisierschritt derjenige ist, der während der Codierung eines vorangehenden Bildes benutz wird.
  9. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Quantisierschritte, die für die Vorgänge der Quantisierung und der inversen Quantisierung benutzt werden, diejenigen sind, die bei einer Voranalyse des Bildes benutzt werden.
  10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das verschlechterte Bild das örtlich codierte Bild ist, das aus einer vorangehenden Codierung des entsprechenden Referenzbildes hervorgeht.
  11. Vorrichtung zur Online-Codierung von Videobildern mit einem Coder vom Typ MPEG (6) für die Codierung eines Quellenbildes, dadurch gekennzeichnet, dass sie außerdem eine das Quellenbild empfangende Codier- und Decodierschaltung enthält, um ein verschlechtertes Bild zu gewinnen, eine das Quellenbild und das verschlechterte Bild empfangene HVS-Verarbeitungsschaltung enthält, um zu dem Coder (6) durch Vergleich der Bilder Informationen für die Empfindlichkeit der Bereiche des Quellenbildes gegenüber Codierfehlern zu gewinnen, eine Schaltung zur Speicherung wenigstens eines das Quellenbild empfangenen Bildes enthält, um dieses zu dem Coder vom Typ MPEG (6) zu übertragen, wobei die Codierung eines Quellenbildblocks aus einem Quantisierschritt erfolgt, der in Abhängigkeit von dem empfindlichen Bereich des Quellenbildes berechnet wird, zu dem es gehört.
  12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Codierund die Decodierschaltung eine DCT-Codierschaltung (1), eine Quantisierschaltung (2), eine inverse Quantisierschaltung (3), eine inverse DCT-Codierschaltung (4) zur Lieferung des verschlechterten Bildes enthält.
DE60001896T 1999-04-26 2000-04-21 Quantisierer für videokompression Expired - Lifetime DE60001896T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9905337 1999-04-26
FR9905337A FR2792798B1 (fr) 1999-04-26 1999-04-26 Procede et dispositif de quantification pour compression video
PCT/FR2000/001057 WO2000065843A1 (fr) 1999-04-26 2000-04-21 Procede et dispositif de quantification pour compression video

Publications (2)

Publication Number Publication Date
DE60001896D1 DE60001896D1 (de) 2003-05-08
DE60001896T2 true DE60001896T2 (de) 2004-02-12

Family

ID=9544930

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60001896T Expired - Lifetime DE60001896T2 (de) 1999-04-26 2000-04-21 Quantisierer für videokompression

Country Status (9)

Country Link
US (1) US6535555B1 (de)
EP (1) EP1099352B1 (de)
JP (1) JP2002543693A (de)
CN (1) CN1209929C (de)
AU (1) AU4301600A (de)
DE (1) DE60001896T2 (de)
ES (1) ES2195886T3 (de)
FR (1) FR2792798B1 (de)
WO (1) WO2000065843A1 (de)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525555B1 (en) * 1993-11-16 2003-02-25 Formfactor, Inc. Wafer-level burn-in and test
WO2005036886A1 (en) * 2003-10-13 2005-04-21 Koninklijke Philips Electronics N.V. Two-pass video encoding
GB2409943A (en) * 2004-01-08 2005-07-13 Wave Ltd M Data compression using matching pursuits algorithms
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7888955B2 (en) 2007-09-25 2011-02-15 Formfactor, Inc. Method and apparatus for testing devices using serially controlled resources
US7977959B2 (en) 2007-09-27 2011-07-12 Formfactor, Inc. Method and apparatus for testing devices using serially controlled intelligent switches
KR101394151B1 (ko) * 2007-10-04 2014-05-14 삼성전자주식회사 시감 특성을 이용한 영상 부호화 장치 및 방법
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US20090224793A1 (en) * 2008-03-07 2009-09-10 Formfactor, Inc. Method And Apparatus For Designing A Custom Test System
US8122309B2 (en) * 2008-03-11 2012-02-21 Formfactor, Inc. Method and apparatus for processing failures during semiconductor device testing
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8095841B2 (en) 2008-08-19 2012-01-10 Formfactor, Inc. Method and apparatus for testing semiconductor devices with autonomous expected value generation
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US7944225B2 (en) * 2008-09-26 2011-05-17 Formfactor, Inc. Method and apparatus for providing a tester integrated circuit for testing a semiconductor device under test
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9640376B1 (en) 2014-06-16 2017-05-02 Protein Metrics Inc. Interactive analysis of mass spectrometry data
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US9385751B2 (en) * 2014-10-07 2016-07-05 Protein Metrics Inc. Enhanced data compression for sparse multidimensional ordered series data
US10354421B2 (en) 2015-03-10 2019-07-16 Protein Metrics Inc. Apparatuses and methods for annotated peptide mapping
US10319573B2 (en) 2017-01-26 2019-06-11 Protein Metrics Inc. Methods and apparatuses for determining the intact mass of large molecules from mass spectrographic data
US10546736B2 (en) 2017-08-01 2020-01-28 Protein Metrics Inc. Interactive analysis of mass spectrometry data including peak selection and dynamic labeling
US11626274B2 (en) 2017-08-01 2023-04-11 Protein Metrics, Llc Interactive analysis of mass spectrometry data including peak selection and dynamic labeling
US10510521B2 (en) 2017-09-29 2019-12-17 Protein Metrics Inc. Interactive analysis of mass spectrometry data
US11640901B2 (en) 2018-09-05 2023-05-02 Protein Metrics, Llc Methods and apparatuses for deconvolution of mass spectrometry data
US11346844B2 (en) 2019-04-26 2022-05-31 Protein Metrics Inc. Intact mass reconstruction from peptide level data and facilitated comparison with experimental intact observation
EP4204948A1 (de) 2020-08-31 2023-07-05 Protein Metrics, LLC Datenkompression für mehrdimensionale zeitreihendaten
CN112738515B (zh) * 2020-12-28 2023-03-24 北京百度网讯科技有限公司 用于自适应量化的量化参数调整方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8801154A (nl) * 1988-05-03 1989-12-01 Philips Nv Televisie-overdrachtsysteem met overdracht van basisbeeldgewichtsfaktoren.
JP2999568B2 (ja) * 1991-02-07 2000-01-17 富士通株式会社 蓄積用動画像符号化方式
US5214507A (en) * 1991-11-08 1993-05-25 At&T Bell Laboratories Video signal quantization for an mpeg like coding environment
EP1006731B1 (de) * 1993-03-29 2007-06-13 Canon Kabushiki Kaisha Verfahren zur Kontrolle der Datenmenge und Kodierer zur Durchführung derselben
KR100213018B1 (ko) * 1994-07-30 1999-08-02 윤종용 동화상 부호화장치
DE19509117C2 (de) * 1995-03-17 1997-02-27 Bosch Gmbh Robert Verfahren zur Überwachung der Übertragungsqualität digitalisierter Signale
JPH0970041A (ja) * 1995-08-30 1997-03-11 Kokusai Denshin Denwa Co Ltd <Kdd> 可変ビットレート符号化装置
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
JP3458600B2 (ja) * 1996-05-10 2003-10-20 Ｋｄｄｉ株式会社 ディジタル画像品質評価装置
JP2000506687A (ja) * 1996-03-29 2000-05-30 サーノフ コーポレイション 知覚量を用いて符号化を最適化し自動操作可能な画像圧縮を実行する装置及び方法
FR2753330B1 (fr) * 1996-09-06 1998-11-27 Thomson Multimedia Sa Procede de quantification pour codage video
KR100228543B1 (ko) * 1996-10-11 1999-11-01 이계철 Dpcm/dct 비디오 인코더의 전송율 제어 방법
JPH10174103A (ja) * 1996-12-13 1998-06-26 Matsushita Electric Ind Co Ltd 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法
US6243497B1 (en) * 1997-02-12 2001-06-05 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
JP3721716B2 (ja) * 1997-06-02 2005-11-30 富士ゼロックス株式会社 画像情報符号化装置および方法
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder

Also Published As

Publication number Publication date
JP2002543693A (ja) 2002-12-17
WO2000065843A1 (fr) 2000-11-02
US6535555B1 (en) 2003-03-18
FR2792798A1 (fr) 2000-10-27
EP1099352B1 (de) 2003-04-02
AU4301600A (en) 2000-11-10
DE60001896D1 (de) 2003-05-08
EP1099352A1 (de) 2001-05-16
CN1302511A (zh) 2001-07-04
ES2195886T3 (es) 2003-12-16
FR2792798B1 (fr) 2001-05-25
CN1209929C (zh) 2005-07-06

Similar Documents

Publication Publication Date Title
DE60001896T2 (de) Quantisierer für videokompression
DE69729697T2 (de) Quantisierungsverfahren und -vorrichtung zur Videokodierung
DE69935478T2 (de) Bewegtbildkodiergerät
DE10300048B4 (de) Verfahren und Vorrichtung zur Bildcodierung und -decodierung
DE69124536T2 (de) Bildkodiervorrichtung
DE19730360B4 (de) Bilddatenfilterungsvorrichtung und Verfahren zur Verminderung von Bilddatencodierfehlern
DE69111264T2 (de) Verbesserungen von Systemen zur Hybrid-Kodierung eines Videosignals.
DE69116869T2 (de) Digitale bildkodierung mit einer zufallsabtastung der bilder
DE69815159T2 (de) Kodierung von bewegten bildern mit globaler konstanter bitrate
DE69215997T2 (de) Videosignalübertragungsgerät und Verfahren davon
DE19638632B4 (de) Verfahren und Vorrichtung zur Bewegtbildkodierung
DE69837728T2 (de) Adaptives Filter
DE19829468C2 (de) Verfahren zum Beseitigen von Blockbildungsartefakten in einem System zum Codieren bewegter Bilder auf niedrige Bitrate
DE69915277T2 (de) Verfahren und vorrichtung zur reduzierung von breathing-artefakten in komprimierten videodaten
DE69919641T2 (de) Adaptive Videokompromierung mit variabler Quantisierung
DE10253380B4 (de) Verfahren und Einrichtung zum Kodieren sich bewegender Bilder mit fester Rechenkomplexität
WO1999022518A1 (de) Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
DE69928616T2 (de) System zur extrahierung von codierungsparametern aus videodaten
DE60309039T2 (de) Verfahren und vorrichtung zur optimierung der bildschärfe während der kodierung
DE10296787B4 (de) Selektive Prädikation für ein Intra-Codieren eines Videodatenblocks
DE19717608B4 (de) Wahrnehmungsfehlerbearbeitungsverfahren und Bildkodierungsvorrichtung, welche dieses Verfahren verwendet
DE69117601T2 (de) Kodiergerät für ein Videosignal
DE69636273T2 (de) Bewegtbildcodiervorrichtung, Bewegtbilddecodiervorrichtung und Bewegtbildcodier-/-Decodiervorrichtung
DE60006152T2 (de) Videoübertragung
DE10218541A1 (de) Verfahren zur Videocodierung und Computerprogrammprodukt

Legal Events

Date Code Title Description
8364 No opposition during term of opposition