DE102006032021A1 - A method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels, and a method and decoding device for decoding a first encoded data stream and a second encoded data stream - Google Patents
A method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels, and a method and decoding device for decoding a first encoded data stream and a second encoded data stream Download PDFInfo
- Publication number
- DE102006032021A1 DE102006032021A1 DE200610032021 DE102006032021A DE102006032021A1 DE 102006032021 A1 DE102006032021 A1 DE 102006032021A1 DE 200610032021 DE200610032021 DE 200610032021 DE 102006032021 A DE102006032021 A DE 102006032021A DE 102006032021 A1 DE102006032021 A1 DE 102006032021A1
- Authority
- DE
- Germany
- Prior art keywords
- intermediate information
- image
- image area
- weighting
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Die Erfindung betrifft ein Verfahren und eine Enkodiervorrichtung zum Kodieren eines Bildbereichs eines Bildes, wobei für den Bildbereich in einer ersten Qualitätsstufe ein erster kodierter Datenstrom mit einer Basisqualität und in einer zweiten Qualitätsstufe ein zweiter kodierter Datenstrom mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität erzeugt werden, bei dem eine erste Zwischeninformation, die den Bildbereich in der ersten Qualitätsstufe repräsentiert und eine zweite Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert, bereitgestellt, eine gewichtete erste und zweite Zwischeninformation durch jeweiliges Gewichten der ersten und zweiten Zwischeninformation mit zumindest einem jeweils dazugehörigen ersten und zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungsfaktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren gebildet wird, erstellt, eine dritte Zwischeninformation durch Subtraktion der gewichteten Zwischeninformationen von einer den zu kodierenden Bildbereich der zweiten Qualitätsstufe repräsentierenden Bildinformation generiert und der zweite kodierte Datenstrom auf Basis der dritten Zwischeninformation gebildet werden. Ferner umfasst die Erfindung ...The invention relates to a method and an encoding device for coding an image area of an image, wherein for the image area in a first quality level a first coded data stream with a basic quality and in a second quality level, a second coded data stream with a coded together with the first data stream compared to the base quality improved quality, in which a first intermediate information representing the image area in the first quality level and a second intermediate information representing an estimated image area of the image area in at least one temporally preceding or subsequent image or already reconstructed image of the second quality level, providing weighted first and second intermediate information by respectively weighting the first and second intermediate information with at least one respective respective first and second weighting factor, wherein the at least one first weighting factor is formed by a predeterminable weighting function as a function of at least one of the second weighting factors, creates a third intermediate information by subtracting the weighted intermediate information from an image information representing the image area to be encoded of the second quality level, and generating the second coded data stream based on the third intermediate information are formed. Furthermore, the invention comprises ...
Description
Die Erfindung betrifft ein Verfahren und eine Enkodiervorrichtung zum Kodieren eines Bildbereiches eines Bildes einer Bildsequenz in zumindest zwei Qualitätsstufen und ein Verfahren und eine Dekodiervorrichtung zum Dekodieren eines ersten und eines zweiten kodierten Datenstroms.The The invention relates to a method and an encoding device for Encoding an image area of an image of an image sequence in at least two quality levels and a method and a decoding device for decoding a first and a second coded data stream.
Derzeit werden neue Videokodierverfahren und dazugehörige Standards entwickelt, mit denen eine Kodierung von Bildern einer Bildsequenz in zumindest zwei Qualitätsstufen, einer Basisqualität und zumindest einer Erweiterungsqualität, kodiert werden können. Hierzu zählt beispielsweise eine Lösung im aktuellen Joint Scalable Video Modul (JSVM-Joint Scalable Video Model) [1] für einen zukünftigen Standard SVC (SVC Scalable Video Coding) für H.264 bzw. MPEG4, Part 10. Hierbei werden zeitliche und örtliche Prädiktionen getrennt behandelt. Zunächst wird eine zeitliche Dekorrelation, d.h. eine zeitliche Prädiktion von einem bereits kodierten Bild, durchgeführt. Daran anschließend wird eine örtliche Dekorrelation angewendet, d.h. eine örtliche Prädiktion von einem nächstniedrigeren örtlichen Layer.Currently New video coding and related standards are being developed with which a coding of images of a picture sequence in at least two quality levels, a basic quality and at least one extension quality, can be encoded. For this counts, for example a solution in the current Joint Scalable Video Module (JSVM-Joint Scalable Video Model) [1] for a future one Standard SVC (SVC Scalable Video Coding) for H.264 or MPEG4, Part 10. Here are temporal and local predictions treated separately. First is a time decorrelation, i. a temporal prediction from an already encoded image. Then it will be a local one Decorrelation applied, i. a local prediction of a next lower local Layer.
Bei der Verwendung von zwei oder mehr Qualitätsstufen findet, wie beispielsweise im JSVM, eine Kodierung des Bildes in einer Basisqualität einer ersten Qualitätsstufe und in einer zu Basisqualität verbesserten Qualität einer zweiten Qualitätsstufe statt. Dabei repräsentiert ein erster kodierter Datenstrom die Basisqualität des Bildes und der zweite kodierte Datenstrom die verbesserte Qualität, wobei der zweite kodierte Datenstrom zusammen mit dem ersten kodierten Datenstrom die verbesserte Qualität wiedergibt. Die verschiedenen Quali tätsstufen repräsentieren das Bild beispielsweise in unterschiedlichen Orts- und/oder Qualitätsauflösungen (SNR-Skalierbarkeit, SNR-Signal to Noise Ratio).at the use of two or more quality levels, such as in the JSVM, a coding of the image in a basic quality of a first quality level and in a too basic quality improved quality a second quality level instead of. It represents a first coded data stream the basic quality of the image and the second coded data stream improved quality, the second coded Data stream together with the first coded data stream the improved quality reproduces. The different quality levels represent the image, for example, in different spatial and / or quality resolutions (SNR scalability, SNR signal to noise ratio).
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Enkodiervorrichtung zum Kodieren und ein Verfahren und eine Dekodiervorrichtung zum Dekodieren anzugeben, welche eine Verbesserung einer Kodiereffizienz erzielen.Of the Invention is based on the object, a method and an encoding device for coding and a method and a decoding device for Decoding indicating an improvement in coding efficiency achieve.
Sonstige Weiterbildungen der Erfindung sind in den Unteransprüchen wiedergegeben.other Further developments of the invention are given in the dependent claims.
Die Erfindung betrifft ein Verfahren zum Kodieren eines Bildbereichs eines Bildes einer Bildersequenz in zumindest zwei Qualitätsstufen, wobei für den Bildbereich in einer ersten Qualitätsstufe ein erster kodierter Datenstrom mit einer Basisqualität und in einer zweiten Qualitätsstufe ein zweiter kodierter Datenstrom mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität erzeugt werden, bei demfolgende Schritte durchgeführt werden:
- a) Bereitstellen einer ersten Zwischeninformation, die den Bildbereich in der ersten Qualitätsstufe repräsentiert;
- b) Bereitstellen einer zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert;
- c) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation mit zumindest einem ersten Gewichtungsfaktor und einer gewichteten zweiten Zwischeninformation durch Gewichten der zweiten Zwischeninformation mit zumindest einem zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungsfaktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren gebildet wird;
- d) Erzeugen einer dritten Zwischeninformation durch Subtraktion der gewichteten Zwischeninformationen von einer den zu kodierenden Bildbereich der zweiten Qualitätsstufe repräsentierenden Bildinformation;
- e) Erzeugen des zweiten kodierten Datenstroms auf Basis der dritten Zwischeninformation.
- a) providing a first intermediate information representing the image area in the first quality level;
- b) providing a second intermediate information representing an estimated image area of the image area in at least one temporally preceding or temporally subsequent image or already reconstructed image of the second quality level;
- c) generating a weighted first intermediate information by weighting the first intermediate information with at least a first weighting factor and a weighted second intermediate information by weighting the second intermediate information with at least one second weighting factor, wherein the at least one first weighting factor by a predeterminable weighting function in dependence on at least one of the second Weighting factors is formed;
- d) generating a third intermediate information by subtracting the weighted intermediate information from an image information representing the image area of the second quality level to be coded;
- e) generating the second coded data stream based on the third intermediate information.
Das Verfahren erzielt eine Verbesserung der Kompressionseffizienz bei gleich bleibender Bildqualität der ersten und zweiten Qualitätsstufe als herkömmliche Verfahren. Durch die Verwendung der Gewichtung verbessert sich eine Gesamtprädiktion, da die in jeder höheren Qualitätsstufe durchgeführten Einzelprädiktion mit Hilfe der Gewichtungsfaktoren mit einem Repräsentanten des kodierten Bildinhalts der ersten Qualitätsstufe verknüpft werden. Dabei werden die zeitliche Prädiktion und die Prädiktion von einer niedrigeren, d.h. ersten Qualitätsstufe, zu einer nächsthöheren Qualitätsstufe, d.h. zweiten Qualitätsstufe, verbessert. Zudem kann eine Steigerung der Kompressionseffizienz durch Änderung der Gewichtungsfaktoren von zu kodierendem Bildbereich zu Bildbereich erreicht werden. Diese Änderung wird insbesondere adaptiv durchgeführt. Durch Verwendung der Gewichtungsfunktion wird eine Reduktion von zu übertragenden Informationen im ersten und/oder zweiten kodierten Datenstrom reduziert, da der erste Gewichtungsfaktor mittels der Gewichtungsfunktion auf Basis des zweiten Gewichtungsfaktors, auch an einem Empfänger, rekonstruierbar ist.The Method achieves an improvement in the compression efficiency consistent image quality of first and second quality level as conventional Method. Using weighting improves one Gesamtprädiktion, since those in each higher quality level conducted Single prediction with Help the weighting factors with a representative of the encoded image content the first quality level connected become. In doing so, the temporal prediction and the prediction become from a lower, i. first quality level, to a next higher quality level, i.e. second quality level, improved. In addition, an increase in compression efficiency by change the weighting factors of the image area to be encoded to the image area be achieved. This change In particular, it is carried out adaptively. By using the weighting function will be a reduction of to be transferred Reduces information in the first and / or second coded data stream, because the first weighting factor using the weighting function on Basis of the second weighting factor, also at a receiver, reconstructed is.
Ferner betrifft die Erfindung ein Verfahren zum Dekodieren eines ersten kodierten Datenstroms und eines zweiten kodierten Datenstroms, wobei der erste kodierte Datenstrom einen Bildbereich eines Bildes einer Bildersequenz in einer ersten Qualitätsstufe mit einer Basisqualität und der zweite kodierte Datenstrom den Bildbereich in einer zweiten Qualitätsstufe mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität repräsentiert, wobei die kodierten Datenströme insbesondere gemäß dem Ver fahren zum Kodieren erzeugt wurden, bei dem folgende Schritte durchgeführt werden:
- a) Dekodieren des ersten kodierten Datenstroms zum Rekonstruieren einer ersten Zwischeninformation, wobei die erste Zwischeninformation einen rekonstruierten ersten Bildbereich der ersten Qualitätsstufe für den Bildbereich repräsentiert;
- b) Bereitstellen einer zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert;
- c) Dekodieren des zweiten kodierten Datenstroms zum Rekonstruieren eines rekonstruierten Restfehlers der zweiten Qualitätsstufe;
- d) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation mit zumindest einem ersten Gewichtungsfaktor und einer gewichteten zweiten Zwischeninformation durch Gewichten der zweiten Zwischeninformation mit zumindest einem zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungsfaktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren gebildet wird;
- e) Bereitstellen eines rekonstruierten zweiten Bildbereichs der zweiten Qualitätsstufe für den Bildbereich durch Summation der gewichteten ersten und zweiten Zwischeninformationen und des rekonstruierten Restfehlers der zweiten Qualitätsstufe.
- a) decoding the first encoded data stream to reconstruct a first intermediate information, the first intermediate information representing a reconstructed first image area of the first quality level for the image area;
- b) providing a second intermediate information representing an estimated image area of the image area in at least one temporally preceding or temporally subsequent image or already reconstructed image of the second quality level;
- c) decoding the second encoded data stream to reconstruct a reconstructed residual error of the second quality level;
- d) generating a weighted first intermediate information by weighting the first intermediate information with at least one first weighting factor and weighted second intermediate information by weighting the second intermediate information with at least one second weighting factor, wherein the at least one first weighting factor is determined by a predeterminable weighting function depending on at least one of the second Weighting factors is formed;
- e) providing a reconstructed second image area of the second quality level for the image area by summing the weighted first and second intermediate information and the reconstructed residual error of the second quality level.
Dieses Verfahren zum Dekodieren ist in der Lage die mit dem Verfahren zum Enkodieren erzeugten Datenströme zu dekodieren und bspw. an einem Monitor wiederzugeben. Ein Einsatz der Verfahren zum Kodieren und Dekodieren ist nicht auf ein bestimmtes Kodierverfahren beschränkt, wie z.B. H.264. Vielmehr ist es bei blockbasierten und/oder transformationsbasierten Videokodierverfahren, z.B. MPEG-2, oder MPEG-4 SVC (MPEG- Motion Picture Expert Group, SVC-Scalable Video Coding), oder wavelet-basierten Kompressionsverfahren einsetzbar.This Method of decoding is capable of using the method for Encoding generated data streams to decode and play, for example, on a monitor. A mission the coding and decoding method is not specific to one Coding method limited, such as. H.264. Rather, it is with block-based and / or transformation-based Video coding method, e.g. MPEG-2, or MPEG-4 SVC (MPEG Motion Picture Expert Group, SVC Scalable Video Coding), or wavelet-based compression techniques used.
Wird die Gewichtungsfunktion derart erzeugt, dass der erste Gewichtungsfaktor eines Koeffizienten der ersten Zwischeninformation an einer ersten Position und der zweite Gewichtungsfaktors eines Koeffizienten der zweiten Zwischeninformation an der ersten Position in Summe einen vorgebbaren Wert, insbesondere zu Eins, ergibt, wobei die jeweiligen Gewichtungsfaktoren insbesondere im Bereich zwischen Null und Eins [0; 1] gewählt werden, so kann eine gering komplexe Implementierung des bzw. der Verfahren erreicht werden. Durch eine Normierung der Summe zu Eins wird erreicht, dass eine Überbewertung einer Zwischeninformationen vermieden wird.Becomes generates the weighting function such that the first weighting factor a coefficient of the first intermediate information at a first Position and the second weighting factor of a coefficient of second intermediate information at the first position in total one given value, in particular to one, with the respective Weighting factors especially in the range between zero and one [0; 1] can be a low complexity implementation of the Procedure can be achieved. By normalizing the sum to one will achieve that overvaluation intermediate information is avoided.
Vorzugsweise werden zumindest zwei Koeffizienten der ersten und/oder zweiten Zwischeninformation mit jeweils unterschiedlichen Gewichtungsfaktoren gewichtet werden, wodurch eine Steigerung der Kompressionseffizient erreichbar ist.Preferably be at least two coefficients of the first and / or second Intermediate information with different weighting factors be weighted, thereby increasing the compression efficiency is reachable.
In einer vorzugsweisen Ausgestaltung wird der zweite Gewichtungsfaktor der zweiten Qualitätsstufe durch eine Division einer Länge eines zum zu kodierenden Bildbereich gehörenden Bewegungsvektors der zweiten Qualitätsstufe durch eine maximale Länge des Bewegungsvektors gebildet, insbesondere durch folgende Formel: wobei a2_min einem minimalen Wert von a2, a2_max einem maximalen Wert von a2, |MV2| einem Betrag einer Länge des zweiten Bewegungsvektors MV2 und |MV2max| einem maximalen Betrag einer Länge des zweiten Bewegungsvektors MV2 entspricht.In a preferred embodiment, the second weighting factor of the second quality level is formed by dividing a length of a motion vector of the second quality level belonging to the image area to be coded by a maximum length of the motion vector, in particular by the following formula: where a 2_min is a minimum value of a2, a 2_max is a maximum value of a2, | MV2 | an amount of a length of the second motion vector MV2 and | MV2max | corresponds to a maximum amount of a length of the second motion vector MV2.
Hiermit kann eine gering komplexe Berechnungsformel realisiert werden. Ferner ergibt diese Ausgestaltung eine gute Kompressionseffizienz. Desweiteren kann der Empfänger den zweiten Gewichtungsfaktor auf Grundlage des bereits übertragenen zweiten Bewegungsvektors ermitteln, wodurch keine zusätzliche Bandbreite zur Erstellung des zweiten Gewichtungsfaktors benötigt wird.Herewith a low complex calculation formula can be realized. Further this configuration gives a good compression efficiency. Furthermore can the receiver the second weighting factor based on the already transmitted Determine second motion vector, which eliminates additional bandwidth needed to create the second weighting factor.
In einer alternativen Ausformung werden die Gewichtungsfaktoren durch einen Tief-, Hoch- oder Bandpassfilter gebildet, wodurch eine individuelle Anpassung an einen Inhalt des zu kodierenden Bildbereichs ermöglicht wird. Insbesondere wird der erste Gewichtungsfaktor durch den Tiefpassfilter und der zweite Gewichtungsfaktor durch den Hochpassfilter gebildet werden. Zusätzlich kann eine Grenzfrequenz fg des Hoch- und Tiefpassfilters durch eine Division einer Länge eines zum zu kodierenden Bildbereich gehörenden zweiten Bewegungsvektors der zweiten Qualitätsstufe durch eine maximale Länge des Bewegungsvektors gebildet werden, insbesondere durch folgende Formel: wobei fg_min eine Minimalfrequenz, fg_max eine Maximalfrequenz, |MV2| einen Betrag einer Länge des zweiten Bewegungsvektors zur Erzeugung der zweiten Zwischeninformation und |MV2max| einen Betrag einer maximalen Länge des zweiten Bewegungsvektor beschreibt.In an alternative embodiment, the weighting factors are a low, high or low Bandpass filter formed, whereby an individual adaptation to a content of the image area to be encoded is made possible. In particular, the first weighting factor will be formed by the low-pass filter and the second weighting factor by the high-pass filter. In addition, a cutoff frequency fg of the high and low pass filters can be formed by dividing a length of a second motion vector of the second quality level belonging to the image area to be coded by a maximum length of the motion vector, in particular by the following formula: where fg_min is a minimum frequency, fg_max is a maximum frequency, | MV2 | an amount of a length of the second motion vector for generating the second intermediate information and | MV2max | describes an amount of a maximum length of the second motion vector.
Hierdurch ist in einfacher Art und Weise die Ermittlung der Grenzfrequenz in Abhängigkeit des zweiten Bewegungsvektors der zweiten Qualitätsstufe erzielbar. Vorzugsweise werden die Koeffizienten der Filter derart ausgewählt, dass eine Addition der Filterkoeffizienten an einer identischen Koeffizientenposition der ausgewählten Filter, z.B. Hochpass- und Tiefpassfilter, einen über ein oder mehrere Filterkoeffizienten konstanten Wert, z.B. zu Eins, ergibt. Hierdurch wird eine Über- und/oder Unterbewertung einzelner Frequenzanteile der ersten oder zweiten Zwischeninformation vermieden.hereby is in a simple way the determination of the cutoff frequency dependent on the second motion vector of the second quality level achievable. Preferably For example, the coefficients of the filters are selected such that an addition of the filter coefficients at an identical coefficient position the selected one Filters, e.g. High pass and low pass filters, one over one or more filter coefficients constant value, e.g. to one, results. This will result in an over- and / or undervaluation of individual frequency components of the first or second intermediate information avoided.
In einer weiteren Alternative wird die Gewichtungsfunktion derart erzeugt, dass durch Setzen des ersten Gewichtungsfaktors zu Null a1 = 0 und des zweiten Gewichtungsfaktors zu Eins a2 = 1 eine Kopplung der ersten Zwischeninformation der ersten Qualitätsstufe zur Kodierung oder Dekodierung des zweiten kodierten Datenstroms unterbunden wird. Hierdurch kann das Verfahren zum Kodieren gezielt ausgeschaltet werden, so dass eine Kopplung bei der Kodierung der ersten und zweiten Qualitätsstufe unterbunden wird.In In another alternative, the weighting function is generated in such a way that by setting the first weighting factor to zero a1 = 0 and of the second weighting factor to unity a2 = 1 a coupling of the first Intermediate information of the first quality level for coding or Decryption of the second coded data stream is prevented. As a result, the method of coding can be switched off specifically so that coupling in the coding of the first and second quality level is prevented.
Vorzugsweise wird die Gewichtungsfunktion derart erzeugt, dass, falls einer der Gewichtungsfaktoren Eins ist, der andere Gewichtungsfaktor zu ungleich Eins gewählt wird. Hiermit wird erreicht, dass zumindest einer der beiden zugewichtenden Zwischeninformationen gedämpft bzw. verstärkt verwendet wird, d.h. der Gewichtungsfaktor, z.B. der erste Gewichtungsfaktor a1, ungleich eins a1 ≠ 1 ist.Preferably the weighting function is generated such that if one of the Weighting factors One is, the other weighting factor too unequal One chosen becomes. This ensures that at least one of the two weighting Intermediate information muted or reinforced is used, i. the weighting factor, e.g. the first weighting factor a1, unequal to one a1 ≠ 1 is.
Alternativ oder zusätzlich können die Zwischeninformationen in einem Orts- oder Frequenzbereich verwendet werden, dass bspw. eine Filterung sowohl im Orts-, als auch im Frequenzbereich möglich ist. Hierdurch können die Verfahren zum Kodieren und/oder Dekodieren bei Kodierverfahren eingesetzt werden, die entweder im Orts-, oder im Frequenzbereich arbeiten.alternative or additionally can uses the intermediate information in a location or frequency domain be that, for example, a filtering both in the local, as well as in the frequency domain possible is. This allows the methods for coding and / or decoding coding methods be used, either in the local, or in the frequency domain work.
Vorzugsweise werden die erste Zwischeninformation in einer reduzierten Orts- oder Frequenzauflösung gegenüber der zweiten Zwischeninformation bereitgestellt und die erste Zwischeninformation vor einer Gewichtung in eine zur Orts- oder Frequenzauflösung der zweiten Zwischeninformation identischen Orts- oder Frequenzauflösung transformiert wird. Hierdurch wird erreicht, dass ein Verarbeitung der gewichteten Zwischeninformation in die dritten Zwischeninformation bei identischer Ort- und/oder Frequenzauflösung statt findet.Preferably the first intermediate information in a reduced spatial or frequency resolution across from the second intermediate information and the first intermediate information before a weighting in one for the location or frequency resolution of second intermediate information identical location or frequency resolution transformed becomes. This ensures that processing the weighted Intermediate information in the third intermediate information at identical Location and / or frequency resolution takes place.
Die Verfahren können einen Bildbereich einsetzen, der durch einen Bildblock, ein beliebig umrandetes Bildobjekt und/oder ein ganzes Bild beschrieben wird.The Procedures can Insert an image area that is defined by an image block, any outlined image object and / or an entire image is described.
In einer Erweiterung der Verfahren zum Kodieren und/oder Dekodieren wird bei mehr als zwei Qualitätsstufen ein weiterer codierter Datenstrom der Qualitätsstufen beginnend mit der niedrigsten weiteren Qualitätsstufe derart kodiert oder dekodiert, dass die weitere Qualitätsstufe gemäß der zweiten Qualitätsstufe kodiert oder dekodiert wird, wobei die zur weiteren Qualitätsstufe niedrigere Qualitätsstufe wie die erste Qualitätsstufe behandelt wird. Somit können die Verfahren für mehr als zwei Qualitätsstufen eingesetzt werden. Dabei wird jede weitere Qualitätsstufe analog zur zweiten Qualitätsstufe verarbeitet, wobei eine Kopplung zwischen der weiteren und der zur weiteren direkt niedrigeren Qualitätsstufe analog zur Kopplung der zweiten und der ersten Qualitätsstufe vorgenommen wird.In an extension of the coding and / or decoding methods comes with more than two quality levels another coded data stream of quality levels starting with the lowest further quality level encoded or decoded such that the further quality level according to the second quality level is encoded or decoded, with the further quality level lower quality level like the first quality level is treated. Thus, you can the procedures for more than two quality levels be used. Thereby every further quality level becomes analogous to the second quality level processed, with a coupling between the other and the another directly lower quality level analogous to the coupling the second and the first quality level.
Ferner umfasst die Erfindung eine Enkodiervorrichtung zum Kodieren eines Bildbereichs eines Bildes einer Bildersequenz in zumindest zwei Qualitätsstufen, wobei für den Bildbereich in einer ersten Qualitätsstufe ein erster kodierter Datenstrom mit einer Basisqualität und in einer zweiten Qualitätsstufe ein zweiter kodierter Datenstrom mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität erzeugt werden, insbesondere zum Durchführen des Verfahrens zur Kodierung, bei dem folgende Einheiten eingesetzt werden:
- a) Ein erster Enkoderblock zum Bereitstellen einer ersten Zwischeninformation, die den Bildbereich in der ersten Qualitätsstufe repräsentiert, und zum Erzeugen des ersten Datenstroms und zum Erzeugen des zweiten kodierten Datenstroms auf Basis der dritten Zwischeninformation;
- b) Ein zweiter Enkoderblock zum Bereitstellen einer zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert;
- c) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation mit zumindest einem ersten Gewichtungsfaktor und einer gewichteten zweiten Zwischeninformation durch Gewichten der zweiten Zwischeninformation mit zumindest einem zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungsfaktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren gebildet wird;
- d) Eine Additionseinheit zum Erzeugen einer dritten Zwischeninformation durch Subtraktion der gewichteten Zwischeninformationen von einer den zu kodierenden Bildbereich der zweiten Qualitätsstufe repräsentierenden Bildinformation.
- a) a first encoder block for providing a first intermediate information representing the image area in the first quality level and generating the first data stream and generating the second encoded data stream based on the third intermediate information;
- b) a second encoder block for providing a second intermediate information representing an estimated image area of the image area in at least one temporally preceding or temporally subsequent image or already reconstructed image of the second quality level;
- c) generating a weighted first intermediate information by weighting the first intermediate information with at least a first weighting factor and a weighted second intermediate information by weighting the second intermediate information with at least one second weighting factor, wherein the at least one first weighting factor by a predeterminable weighting function in dependence on at least one of the second Weighting factors is formed;
- d) An addition unit for generating a third intermediate information by subtracting the weighted intermediate information from an image information representing the image area to be encoded of the second quality level.
Hit Hilfe der Enkodiervorrichtung ist das Verfahren zum Kodieren implementierbar und ausführbar.hit With the aid of the encoding device, the method for coding can be implemented and executable.
Schließlich ist Teil der Erfindung eine Dekodiervorrichtung zum Dekodieren eines ersten kodierten Datenstroms und eines zweiten kodierten Datenstroms, wobei der erste kodierte Datenstrom einen Bildbereich eines Bildes einer Bildersequenz in einer ersten Qualitätsstufe mit einer Basisqualität und der zweite kodierte Datenstrom den Bildbereich in einer zweiten Qualitätsstufe mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität repräsentiert, wobei die kodierten Datenströme insbesondere gemäß dem Verfahren zum Kodieren erzeugt wurden, insbesondere zum Durchführen des Verfahren zum Dekodieren, bei dem folgende Einheiten eingesetzt werden:
- a) Ein erster Dekodierblock zum Dekodieren der ersten kodierten Datenstroms zum Rekonstruieren einer ersten Zwischeninformation, wobei die erste Zwischeninformation einen rekonstruierten ersten Bildbereich der ersten Qualitätsstufe für den Bildbereich repräsentiert;
- b) Ein zweiter Dekodierblock zum Dekodieren des zweiten kodierten Datenstroms zum Rekonstruieren eines rekonstruierten Restfehlers der zweiten Qualitätsstufe und zum Bereit stellen einer zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert;
- c) Eine Gewichtungseinheit zum Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation mit zumindest einem ersten Gewichtungsfaktor und einer gewichteten zweiten Zwischeninformation durch Gewichten der zweiten Zwischeninformation mit zumindest einem zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungsfaktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren gebildet wird;
- d) Eine Additionseinheit zum Bereitstellen eines rekonstruierten zweiten Bildbereichs (B2') der zweiten Qualitätsstufe für den Bildbereich durch Summation der gewichteten ersten und zweiten Zwischeninformationen und des rekonstruierten Restfehlers der zweiten Qualitätsstufe.
- a) a first decoding block for decoding the first encoded data stream for reconstructing a first intermediate information, the first intermediate information representing a reconstructed first image area of the first quality level for the image area;
- b) A second decoding block for decoding the second encoded data stream for reconstructing a reconstructed residual error of the second quality level and providing a second intermediate information comprising an estimated image area of the image area in at least one temporally preceding or temporally succeeding image or already reconstructed image of the second Quality level represented;
- c) A weighting unit for generating a weighted first intermediate information by weighting the first intermediate information with at least a first weighting factor and a weighted second intermediate information by weighting the second intermediate information with at least one second weighting factor, wherein the at least one first weighting factor by a predeterminable weighting function as a function of at least one of the second weighting factors is formed;
- d) An addition unit for providing a reconstructed second image area (B2 ') of the second quality level for the image area by summing the weighted first and second intermediate information and the reconstructed residual error of the second quality level.
Hit Hilfe der Dekodiervorrichtung ist das Verfahren zum Dekodieren implementier- und ausführbar.hit The help of the decoding device implements the method for decoding. and executable.
Die Erfindung und ihre Weiterbildungen werden nachfolgend anhand von Zeichnungen näher erläutert.The Invention and its developments are described below with reference to Drawings closer explained.
Es zeigen:It demonstrate:
Elemente
mit gleicher Funktion und Wirkungsweise sind in den
In
Im
unteren Teil von
Durch Verwendung von Auswahlparametern δ1, δ2 δ3 ist eine Auswahl des zu verwendenden Kodiermodus einstellbar. Dabei nehmen die Auswahlparameter jeweils folgende Werte an: By using selection parameters δ 1 , δ 2 δ 3 , a selection of the coding mode to be used can be set. The selection parameters assume the following values:
Die Auswahlparameter δ1, δ2 werden mit einem jeweiligen geschätzten ersten bzw. zweiten Bildbereich MC(P1'(n – 1)), MC(P2'(n – 1)) multiplikativ verknüpft.The selection parameters δ 1 , δ 2 are multiplicatively linked to a respective estimated first and second image area MC (P1 '(n-1)), MC (P2' (n-1)).
In der Rückkoppelschleife werden die quantisierten Frequenzkoeffizienten durch eine erste inverse Quantisierungseinheit IQ1 invers quantisiert und anschließend durch eine erste in verse Transformationseinheit IT1 in einen rekonstruierten ersten Restfehler RB1'(n) überführt. Durch Addition des rekonstruierten ersten Restfehlers RB1'(n) und des geschätzten ersten Bildbereiches δ1*MC(P1'(n – 1)) in einer Additionseinheit AE wird ein rekonstruierter erster Bildbereich B1'(n) der ersten Qualitätsstufe Q1 ermittelt. Dieses wird anschließend in dem ersten Speichermodul FB1 organisiert abgelegt. Die Vorgehensweise zur Generierung des rekonstruierten ersten Bildbereichs B1'(n) wird auf verschiedene Bildbereiche des zu kodierenden Bilds P(n) angewendet, so dass durch mehrere rekonstruierte erste Bildbereiche das rekonstruierte erste Bild P1' beschrieben wird.In the feedback loop, the quantized frequency coefficients are inversely quantized by a first inverse quantization unit IQ1 and subsequently converted by a first inverse transformation unit IT1 into a reconstructed first residual error RB1 '(n). By adding the reconstructed first residual error RB1 '(n) and the estimated first image area δ 1 * MC (P1' (n-1)) in an addition unit AE, a reconstructed first image area B1 '(n) of the first quality level Q1 is determined. This is then stored organized in the first memory module FB1. The procedure for generating the reconstructed first image area B1 '(n) is applied to different image areas of the image P (n) to be coded so that the reconstructed first image P1' is described by a plurality of reconstructed first image areas.
Im
oberen Teil von
In
Im
unteren Teil der
Im
oberen Abschnitt der
Werden alle rekonstruierten ersten bzw. zweiten Bildbereiche erstellt, so wird das zu kodierende Bild P(n) in einer ersten Qualität, d.h. Basisqualität, durch das rekonstruierte erste Bild P1' und in der zweiten Qualität durch das rekonstruierte zweite Bild P2' wiedergegeben.Become created all reconstructed first and second image areas, thus, the picture P (n) to be coded is rendered in a first quality, i. Basic quality, through the reconstructed first image P1 'and in the second quality reproduced the reconstructed second image P2 '.
Im
Folgenden wird anhand von
Ein durch die Bewegungsschätzung geschätzter Bildbereich δ2*MC(P2'(n – 1)) der zweiten Qualitätsstufe, d.h. der geschätzte zweite Bildbereich, wird im Folgenden als zweite Zwischeninformation ZI2 bezeichnet. Diese zweite Zwischeninformation ZI2 wird mit Hilfe eines zweiten Gewichtungsfaktors a2 in einer Gewichtungseinheit GE gewichtet. Dabei wird beispielsweise jeder Bildpunkt der zweiten Zwischeninformation ZI2 mit dem zweiten Gewichtungsfaktor a2 multipliziert. Durch die Gewichtung entsteht die gewichtete zweite Zwischeninformation GZI2. Zur Generierung des zweiten Restfehlers RE(n), im Folgenden dritte Zwischeninformation ZI3 bezeichnet, wird in dem zweiten Enkoderblock EB2 eine Subtraktion der gewichteten ersten und zweiten Zwischeninformation GZI1, GZI2 von einer den Bildbereich PB des Bildes P(n) repräsentierten Bildinformation PI, in einer Additionseinheit AE abgezogen. In diesem Ausführungsbeispiel ist die Bildinformation PI identisch zu dem Bildbereich PB. Die dritte Zwischeninformation ZI3 wird durch die zweite Transformationseinheit, zweite Quantisierungseinheit und durch die Entropiekodierungseinheit verarbeitet und das daraus gewonnene Ergebnis in den zweiten kodierten Datenstrom CD2 eingefügt. Wird die dritte Zwischeninformation ZI3 transformiert, quantisiert, invers quantisiert und invers transformiert, so entsteht der rekonstruierte zweite Restfehler RB2'(n). Durch Addition dieses rekonstruierten zweiten Restfehlers RE2'(n), und der gewichteten ersten und dritten Zwischeninformationen GZI1, GZI2 wird der rekonstruierte zweite Bildbereich B2'(n) des rekonstruierten zweiten Bildes P2'(n) generiert.An image area δ 2 * MC (P 2 '(n-1)) of the second quality level estimated by the motion estimation, ie the estimated second image area, is referred to below as second intermediate information ZI 2 net. This second intermediate information ZI2 is weighted by means of a second weighting factor a2 in a weighting unit GE. In this case, for example, each pixel of the second intermediate information ZI2 is multiplied by the second weighting factor a2. The weighting produces the weighted second intermediate information GZI2. In order to generate the second residual error RE (n), hereinafter referred to as third intermediate information ZI3, a subtraction of the weighted first and second intermediate information GZI1, GZI2 from an image information PI, represented in the image area PB of the image P (n), is subtracted in the second encoder block EB2 subtracted an addition unit AE. In this embodiment, the image information PI is identical to the image area PB. The third intermediate information ZI3 is processed by the second transformation unit, second quantization unit and by the entropy coding unit and the result obtained is inserted into the second coded data stream CD2. If the third intermediate information ZI3 is transformed, quantized, inversely quantized and inversely transformed, the reconstructed second residual error RB2 '(n) results. By adding this reconstructed second residual error RE2 '(n), and the weighted first and third intermediate information GZI1, GZI2, the reconstructed second image area B2' (n) of the reconstructed second image P2 '(n) is generated.
Durch Versuche konnte herausgefunden werden, dass eine gute Kompression bei guter Bildqualität erreichbar ist, falls gilt: wobei α1, α2 ∊ [0; 1] ist. Das bedeutet, dass eine Gewichtungsfunktion GF(a1) = 1 – a2 ist. Die Verwendung der Gewichtungsfaktoren kann nach folgender Vorschrift durchgeführt werden:
- • a2 = 0, a1 = 1: Falls eine Kodierung des Bildes im Intra-Kodiermodus erfolgt, beispielsweise wenn neue Bildteile im Bild auftreten;
- • a2q = 1, a1 = 0: Falls der zu kodierende Bildbereich keine bedeutende Änderungen gegenüber einem korrespondierenden Bildbereich in einem zuvor kodierten Bild aufweist;
- • 0 < a2 < 1, a1 = 1 – a2: Sonst, z.B. bei Verwenden eines Inter-Kodiermodus für bewegte Bildteile.
- • a2 = 0, a1 = 1: If the picture is encoded in intra-coding mode, for example when new parts of the picture appear in the picture;
- A2q = 1, a1 = 0: if the image area to be coded has no significant changes from a corresponding image area in a previously coded image;
- • 0 <a2 <1, a1 = 1 - a2: Otherwise, eg when using an inter coding mode for moving picture parts.
Die Gewichtungsvaktoren werden in einer Ausführungsvariante auf Basis der Bewegungsvektoren MV1, MV2 folgendermaßen ermittelt: wobei a2_min einem minimalen Wert von a2, a2_max einem maximalen Wert von a2, |MV2| einem Betrag, d.h. einer Länge, des zweiten Bewegungsvektors MV2 und |MV2max| einem maximalen Betrag des zweiten Bewegungsvektors MV2 entspricht.The weighting factors are determined in one embodiment on the basis of the motion vectors MV1, MV2 as follows: where a 2_min is a minimum value of a2, a 2_max is a maximum value of a2, | MV2 | an amount, ie, a length, of the second motion vector MV2 and | MV2 max | corresponds to a maximum amount of the second motion vector MV2.
Mit a2_min = 0.2 , a2_min = 1.0 , |MV2| = 32 , |MV2max| = 64 ergibt sich a2 = 0.6. Dabei ist a2_min eine Konstante, die bewirkt, dass der Wert des zweiten Gewichtungsfaktors a2 nicht größer als die Konstante selbst wird. Somit ist a1 = 1 – a2 = 0,4.With a 2_min = 0.2, a 2_min = 1.0, | MV2 | = 32, | MV2 max | = 64 results in a2 = 0.6. Here, a 2_min is a constant which causes the value of the second weighting factor a2 to become not larger than the constant itself. Thus, a1 = 1 - a2 = 0.4.
Eine
Dekodierung der gemäß
der geschätzte zweite Bildbereich bzw. die zweite Zwischeninformation ZI2, mit Hilfe des zweiten Gewichtungsfaktors a2 in der Gewichtungseinheit GE gewichtet, so dass die gewichtete zweite Zwischeninformation GZI2 errechnet wird. Der rekonstruierte zweite Bildbereich B2'(n) wird durch Addition der gewichteten zweiten Zwischeninformation GZI2, des rekonstruierten zweiten Restfehlers RB2' und der gewichteten ersten Zwischeninformation GZI1 in der Additionseinheit AE gewonnen.the estimated second image area or the second intermediate information ZI2, weighted by the second weighting factor a2 in the weighting unit GE, so that the weighted second intermediate information GZI2 is calculated. The reconstructed second image area B2 '(n) is added by adding the weighted second intermediate information GZI2, the reconstructed second residual error RB2 'and the weighted first intermediate information GZI1 obtained in the addition unit AE.
Die Gewichtungsfaktoren a1, a2 werden mit den jeweiligen Koeffizienten der Zwischeninformationen multipliziert, wobei die Koeffizienten bspw. Helligkeits- und/oder Farbwerten der jeweiligen Bildpunkte der Zwischeninformationen repräsentieren. Dabei kann der jeweilige Gewichtungsfaktor von einem zu einem anderen zu kodierenden Bildbereich und/oder innerhalb des zu kodierenden Bildbereiches verändert werden.The Weighting factors a1, a2 are given with the respective coefficients the intermediate information multiplied by the coefficients For example, brightness and / or color values of the respective pixels represent the intermediate information. The respective weighting factor can change from one to another coding image area and / or within the image area to be coded changed become.
Im
obigen Ausführungsbeispiel
gemäß den
In
einem weiteren Ausführungsbeispiel
wird eine Gewichtung der ersten und zweiten Zwischeninformation
anstelle im Ortsbereich, wie z.B. in
Der untere Bildteil zeigt den ersten Enkoderblock. Hierbei wird der zu kodierende Bildbereich PB bzw. das zu kodierende Bild P(n) in der Gewichtungseinheit GE tiefpassgefiltert TP und anschließend im Ortsbereich um einen Faktor 2 in horizontaler und vertikaler Richtung unterabgetastet, siehe Abtasteinheit 2DDOWN, so dass der erste Bildbereich B1 erzeugt wird. Der erste Bewegungsvektor MV1 wird auf Grundlage zuvor unterabgetasteter Bilder bzw. Bildbereiche ermittelt, d.h. durch Suche in zumindest einem in dem ersten Speicher FB1 abgelegten Bild. Der erste Bildbereich B1 wird in dem ersten Speicher FB1 organisiert abgelegt. Durch Subtraktion des geschätzten ersten Bildbereiches MC(B1(n – 1)) von dem ersten Bildbereich B1 wird in der Additionseinheit AE der erste Restfehler RB1(n) generiert, welcher der ersten Transformationseinheit T1 zugeführt wird. Hieraus entstehen die ersten Transformationskoeffizienten TK1. Der kodierte erste Datenstrom CD1 wird in diesem Ausführungsbeispiel durch Anwendung der ersten Quantisierungseinheit Q1 auf die ersten Transfor mationskoeffizienten TK1 und einer anschließenden Ausführung der Entropiekodierungseinheit EC gebildet. Die ersten Transformationskoeffizienten TK1 entsprechen der ersten Zwischeninformation ZI1.Of the lower part of the picture shows the first encoder block. Here is the to be encoded image area PB or the image to be encoded P (n) in the weighting unit GE low - pass filtered TP and then in Local area by a factor of 2 in horizontal and vertical direction sub-sampled, see sample unit 2DDOWN, so that the first image area B1 is generated. The first motion vector MV1 is based on previously subsampled images, ie. by searching in at least one filed in the first memory FB1 Image. The first image area B1 is organized in the first memory FB1 stored. By subtracting the estimated first image area MC (B1 (n-1)) of the first image area B1 is in the addition unit AE of first residual error RB1 (n) generated, which is the first transformation unit T1 supplied becomes. This gives rise to the first transformation coefficients TK1. The coded first data stream CD1 is used in this embodiment by applying the first quantization unit Q1 to the first transformation coefficients TK1 and a subsequent execution the Entropiekodierungseinheit EC formed. The first transformation coefficients TK1 correspond to the first intermediate information ZI1.
Durch
den oberen Teil von
Parallel dazu werden die ersten Transformationskoeffizienten TK1(n), d.h. die erste Zwischeninformation, durch die Interpolationseinheit 2DUP interpoliert, z.B. um einen Faktor 2, und anschließend mit dem Tiefpassfilter TP in der Gewichtungseinheit GE koeffizientenweise gewichtet. Hierdurch wird die gewichtete erste Zwischeninformation GZI1 erstellt.Parallel to do this, the first transform coefficients TK1 (n), i. the first intermediate information, by the interpolation unit 2DUP interpolated, e.g. by a factor of 2, and then with the low-pass filter TP in the weighting unit GE coefficient-wise weighted. This becomes the weighted first intermediate information GZI1 created.
Durch Subtraktion der ersten und zweiten gewichteten Zwischeninformation GZI1, GZI2 von zweiten Transformationskoeffizienten TK2 in der Additionseinheit AE, wobei die zweiten Transformationskoeffizienten TK2 durch Anwendung der zweiten Transformationseinheit T2 auf den zu kodierenden Bildbereich PB gebildet werden, wird die gewichtete dritte Zwischeninformation GZI3 ermittelt. Die dritte gewichtete Zwischeninformation wird der zweiten Quantisierungseinheit und der Entropiekodierungseinheit EC zugeführt, wodurch der zweite Datenstrom CD2 generiert wird.By Subtraction of the first and second weighted intermediate information GZI1, GZI2 of second transformation coefficients TK2 in the addition unit AE, wherein the second transformation coefficients TK2 by application the second transformation unit T2 to the image area to be coded PB, the weighted third intermediate information GZI3 determined. The third weighted intermediate information will be the second quantization unit and the entropy coding unit EC supplied, whereby the second data stream CD2 is generated.
Die Filter HP und TP werden derart gebildet, dass bei der Gewichtung eines Koeffizienten der ersten Zwischeninformation ZI1 an einer ersten Position mit dem ersten Gewichtungsfaktor a1 und eines Koeffizienten der zweiten Zwischeninformation ZI2 an der ersten Position mit dem zweiten Gewichtungsfaktors a2 eine Summe der beiden Gewichtungsfaktoren konstant, insbesondere gleich Eins, ist.The filters HP and TP are formed such that when weighting a coefficient of the first Intermediate information ZI1 at a first position with the first weighting factor a1 and a coefficient of the second intermediate information ZI2 at the first position with the second weighting factor a2 is a sum of the two weighting factors constant, in particular equal to one.
Ferner wird eine Grenzfrequenz fg des Hoch- und Tiefpassfilters HP, TP durch eine Division einer Länge eines zum zu kodierenden Bildbereich gehörenden Bewegungsvektors MV2, d.h. der zweite Bewegungsvektor, der zweiten Qualitätsstufe durch eine maximale Länge des Bewegungsvektors MV2max gebildet, insbesondere durch folgende Formel: wobei fg_min eine Minimalfrequenz, fg_max eine Maximalfrequenz, |MV2| einen Betrag einer Länge des zweiten Bewegungsvektors zur Erzeugung der zweiten Zwischeninformation (ZI2) und |MV2max| einen Betrag einer maximalen Länge des zweiten Bewegungsvektor beschreibt.Furthermore, a cutoff frequency fg of the high and low pass filters HP, TP is formed by dividing a length of a motion vector MV2 belonging to the image area to be coded, ie the second motion vector, of the second quality level by a maximum length of the motion vector MV2max, in particular by the following formula: where fg_min is a minimum frequency, fg_max is a maximum frequency, | MV2 | an amount of a length of the second motion vector for generating the second intermediate information (ZI2) and | MV2max | describes an amount of a maximum length of the second motion vector.
In
den Ausführungen
gemäß
Die vorgestellten Ausführungsbeispiele können für einen Bildbereich, der beispielsweise einem Block, einem Makroblock oder einem beliebig umrandeten Bildobjekt des Bildes P entspricht, oder für das gesamte Bild P eingesetzt werden. Dabei können für verschiedene Bildbereiche unterschiedliche Gewichtungsfaktoren und/oder Filter eingesetzt werden.The presented embodiments can for one Image area, for example, a block, a macroblock or corresponds to an arbitrarily bordered image object of the image P, or for the entire image P are used. It can be used for different image areas different weighting factors and / or filters used become.
In
einer weiteren Erweiterung oder alternativen Ausführungsform
kann das erfindungsgemäße Verfahren
neben einer örtlichen
Skalierbarkeit, wie gezeigt in den
In
den vorangegangenen Ausführungsbeispielen
wurden zwei Qualitätsstufen
berücksichtigt.
Die vorliegende Erfindung ist jedoch nicht auf zwei Qualitätsstufen
beschränkt,
sondern kann für
mehrere Qualitätsstufen
eingesetzt werden, wobei jeweils zwei Qualitätsstufen mittels eines Paars
an Gewichtungsfaktoren, z.B. dem ersten und zweiten Gewichtungsfaktor
a1, a2 gemäß
In
den folgenden
Die
dritte Qualitätsstufe
Q3 arbeitet analog zur zweiten Qualitätsstufe gemäß
In
Ber der Verwendung von drei Qualitätsstufen wird zur Bestimmung der Gewichtungsfaktoren a1, a2, a3 folgendermaßen vorgegangen:
- – Bestimmen des zweiten Gewichtungsfaktors a2 wie bei Verwendung von zwei Qualitätsstufen, d.h.
- – Zur Bestimmung des dritten Gewichtungsfaktors a3 wird analog zu den Ausführungen gemäß dem zweiten Gewichtungsfaktors a2 vorgegangen, a3_min einem minimalen Wert von a3, a3_max einem maximalen Wert von a3, |MV3| einem Betrag, d.h. einer Länge, des dritten Bewegungsvektors MV3 und |MV3max| einem maximalen Betrag des dritten Bewegungsvektors MV3 entspricht,
- – Für die Ermittlung des ersten Gewichtungsfaktors gilt gemäß der vorgegeben Gewichtungsfunktion GF weiterhin:
- Determining the second weighting factor a2 as when using two quality levels, ie
- The procedure for determining the third weighting factor a3 is analogous to the statements in accordance with the second weighting factor a2, a3_min a minimum value of a3, a3_max a maximum value of a3, | MV3 | an amount, ie, a length, of the third motion vector MV3 and | MV3max | corresponds to a maximum amount of the third motion vector MV3,
- - For the determination of the first weighting factor according to the predetermined weighting function GF continues to apply:
Hierbei haben die Erfinder erkannt, dass ein Kodierergebnis sehr gute Ergebnisse liefert, falls, jeweils derjenige Bewegungsvektor berücksichtigt wird, der zu der höheren Auflösungsstufe gehört, d.h. die Bewegungsvektoren der zweiten und dritten Auflösungsstufe.in this connection The inventors have recognized that a coding result is very good results supplies, if any, the one motion vector who becomes the higher resolution level belongs, i.e. the motion vectors of the second and third resolution levels.
Bei einer Bestimmung des bzw. der Gewichtungsfaktoren zur Verwendung in dem Verfahren zur Dekodierung in einem Empfänger kann folgendermaßen vorgegangen werden:
- – Zumindest einer der Gewichtungsfaktoren wird in zumindest einem der kodierten Datenströme übertragen, sodass der zumindest eine Gewichtungsfaktor durch Auslesen des dazugehörigen kodierten Datenstroms gewonnen werden kann;
- – Die Bestimmung der Gewichtungsfaktoren kann anhand der in den kodierten Datenströmen kodierten Bewegungsvektoren erfolgen.
- - At least one of the weighting factors is transmitted in at least one of the coded data streams, so that the at least one weighting factor can be obtained by reading the associated coded data stream;
- The determination of the weighting factors can take place on the basis of the motion vectors coded in the coded data streams.
In einer alternativen Ausführungsform wird die Bestimmung der Gewichtungsfaktoren anhand einer Rate-Distortion Optimierung durchgeführt. Dabei wird für den zweiten Gewichtungsfaktor a2 in mehreren Stufen im Bereich [0; 1] mit a1 = 1 – a2 die Enkodierung des zweiten codierten Datenstroms durchgeführt und derjenige Wert für a2 ausgewählt, der die beste Kombination aus-Bildqualität, z.B. in PSNR (PSNR = Peak Signal-to-Noise Ratio), gegenüber einer niedrigen Bitrate des zweiten kodierten Datenstroms erzielt.In an alternative embodiment, the determination of the weighting factors is carried out by means of a rate-distortion optimization. It is for the second weighting factor a2 in several Stu in the range [0; 1] with a1 = 1 - a2 the encoding of the second encoded data stream is performed and the one selected for a2, which has the best combination of image quality, for example in PSNR (PSNR = Peak Signal-to-Noise Ratio), versus a low bit rate of achieved second coded data stream.
In einer Erweiterung der Erfindung ist eine Kopplung der ersten Zwischeninformation (ZI1) der ersten Qualitätsstufe (Q1) zur Kodierung oder Dekodierung des zweiten kodierten Datenstroms (CD2) unterbindbar. Durch Setzen derjenigen Gewichtungsfaktoren zu Null, z.B. a1 = a3 = 0, die die Kopplung zwischen den Qualitätsstufen bewerkstelligen, kann erreicht werden, dass die jeweiligen Enkoder- bzw. Dekoderblöcke unabhängig von einander arbeiten.In An extension of the invention is a coupling of the first intermediate information (ZI1) of the first quality level (Q1) for encoding or decoding the second encoded data stream (CD2) preventable. By setting those weighting factors to zero, e.g. a1 = a3 = 0, which is the coupling between the quality levels can be achieved that the respective encoder or decoder blocks independently work from each other.
Das Verfahren zur Kodierung ist mittels einer Enkodiervorrichtung ENC und das Verfahren zum Dekodieren ist mittels einer Dekodiervorrichtung realisier- und ausführbar. Beide Vorrichtungen werden in Hardware, oder Software, die auf einem Prozessor mit Speicher und Ein- und/oder Ausgabeeinheiten verfügt, oder in einer Mischung aus Hard- und Software implementiert. Die Vorrichtungen sind im Rahmen einer Broadcasting und/oder Streaming-Anwendung verwendbar, wobei die Enkodiervorrichtung in einem Netzwerkelement, z.B. einem Broadcasting-Server, und die Dekodiervorrichtung in einem Endgerät, insbesondere einem tragbaren Endgerät, wie einem mobilen Telefon oder einem PDA (PDA – Personal Digital Assistent), integriert sein kann. Dabei kann eine Übertragung der ersten und zweiten Datenströme mittels eines MBMS-Protokolls (MBMS – Multimedia Broadcast/Multicast Service) oder über DVB (DVB – Digital Video Broadcast) erfolgen.The Coding method is by means of an ENC encoding device and the method for decoding is by means of a decoding device feasible and executable. Both devices are available in hardware, or software, on one Processor with memory and input and / or output units has, or in a mix of hardware and software implemented. The devices are usable as part of a broadcasting and / or streaming application, wherein the encoding device is in a network element, e.g. one Broadcasting server, and the decoding device in a terminal, in particular a portable device, like a mobile phone or a PDA (PDA - Personal Digital Assistant), can be integrated. In this case, a transmission of the first and second streams by means of an MBMS protocol (MBMS - Multimedia Broadcast / Multicast Service) or over DVB (DVB - Digital Video broadcast).
Literaturverzeichnisbibliography
- [1] ITU-T, ISO/IEC JTC1, „Joint Scalable Video Model 6", JVT-R202, Januar 2006[1] ITU-T, ISO / IEC JTC1, "Joint Scalable Video Model 6 ", JVT-R202, January 2006
Claims (16)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200610032021 DE102006032021A1 (en) | 2006-07-10 | 2006-07-10 | A method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels, and a method and decoding device for decoding a first encoded data stream and a second encoded data stream |
PCT/EP2007/056982 WO2008006806A2 (en) | 2006-07-10 | 2007-07-09 | Method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels, and method and decoding device for decoding a first encoded data flow and a second encoded data flow |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200610032021 DE102006032021A1 (en) | 2006-07-10 | 2006-07-10 | A method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels, and a method and decoding device for decoding a first encoded data stream and a second encoded data stream |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102006032021A1 true DE102006032021A1 (en) | 2008-01-17 |
Family
ID=38624569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200610032021 Ceased DE102006032021A1 (en) | 2006-07-10 | 2006-07-10 | A method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels, and a method and decoding device for decoding a first encoded data stream and a second encoded data stream |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102006032021A1 (en) |
WO (1) | WO2008006806A2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10219640A1 (en) * | 2001-09-14 | 2003-04-24 | Siemens Ag | Video coding and decoding method and computer program product |
WO2004073312A1 (en) * | 2003-02-17 | 2004-08-26 | Koninklijke Philips Electronics N.V. | Video coding |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3545000B2 (en) * | 1992-11-02 | 2004-07-21 | ソニー株式会社 | Image signal encoding device, image signal decoding device |
CA2126467A1 (en) * | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
CA2127151A1 (en) * | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
WO1999033274A1 (en) * | 1997-12-19 | 1999-07-01 | Kenneth Rose | Scalable predictive coding method and apparatus |
-
2006
- 2006-07-10 DE DE200610032021 patent/DE102006032021A1/en not_active Ceased
-
2007
- 2007-07-09 WO PCT/EP2007/056982 patent/WO2008006806A2/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10219640A1 (en) * | 2001-09-14 | 2003-04-24 | Siemens Ag | Video coding and decoding method and computer program product |
WO2004073312A1 (en) * | 2003-02-17 | 2004-08-26 | Koninklijke Philips Electronics N.V. | Video coding |
Also Published As
Publication number | Publication date |
---|---|
WO2008006806A2 (en) | 2008-01-17 |
WO2008006806A3 (en) | 2008-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69834902T2 (en) | MOTION COMPENSATED PREDICTIVE PICTURE CODING AND DECODING | |
DE60031230T2 (en) | SCALABLE VIDEO CODING SYSTEM AND METHOD | |
WO2006056531A1 (en) | Transcoding method and device | |
EP1782634A1 (en) | Method and device for coding and decoding | |
DE60317670T2 (en) | Method and apparatus for 3D subband video coding | |
DE69834901T2 (en) | MOTION-COMPENSATED PREDICTIVE IMAGE-AND-DECODING | |
EP1025708A1 (en) | Method and device for processing a digitized image | |
EP1774790A1 (en) | Coding and decoding method and device | |
EP1941744B1 (en) | Methods and devices for the determination and reconstruction of a predicted image area | |
EP1829378B1 (en) | Image encoding method and associated image decoding method, encoding device, and decoding device | |
EP1285537B1 (en) | Method and an arrangement for the coding and decoding of a series of images | |
DE102006032021A1 (en) | A method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels, and a method and decoding device for decoding a first encoded data stream and a second encoded data stream | |
EP1110407A1 (en) | Method and array for coding a digitized image using an image overall motion vector | |
EP1762100A1 (en) | Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device | |
DE10200901B4 (en) | Efficient coding of video signals for scalable simul-cast storage and transmission as well as the associated codec | |
DE10219640A1 (en) | Video coding and decoding method and computer program product | |
WO2001062009A1 (en) | Method and device for coding or coding and decoding a sequence of numbers | |
WO2001028252A1 (en) | Progressive fault-tolerant encoding or decoding of a sequence of images | |
DE102005016858A1 (en) | Method and device for reducing a quantization error | |
DE19944300C2 (en) | Method, arrangement and computer program product for motion estimation when encoding an image object in an image | |
DE102004063902B4 (en) | Computer program comprising a method for processing a group of images and a method for processing a base image and one or more extension images | |
EP1157557A1 (en) | Method and arrangement for transforming an image area | |
DE10243568A1 (en) | Scalable video coding of video image signal involves quantising transformation signal at different quality levels in coding branches, entropy coding, feeding back transformation signal in one branch | |
EP1189452A2 (en) | Digital image coding and decoding apparatus and method | |
DE102005038295A1 (en) | Digital signal e.g. video signal, quantized data value correcting method, involves generating corrected data value by inverse quantization of quantized data value, where inverse quantization is formed by quantization interval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8131 | Rejection |