DE10116799B4

DE10116799B4 - Process for content adaptive extrapolation of discrete image data from objects

Info

Publication number: DE10116799B4
Application number: DE2001116799
Authority: DE
Inventors: Andre Dr. Kaup
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2001-04-04
Filing date: 2001-04-04
Publication date: 2004-05-06
Anticipated expiration: 2021-04-05
Also published as: DE10116799A1

Abstract

Verfahren zur inhaltsadaptiven Extrapolation von diskreten Bilddaten von Objekten (OBJ), bei dem der Beginn und die Richtung der Extrapolation in Abhängigkeit vom Bildinhalt eines zu codierenden Randblocks (RB, RB1, RB2) gewählt wird.Method for content-adaptive extrapolation of discrete image data from objects (OBJ), in which the start and the direction of the extrapolation is selected depending on the image content of an edge block to be coded (RB, RB1, RB2).

Description

Die Erfindung betrifft eine Extrapolation bei der Codierung von Bildblöcken am Rand von Bildobjekten, wobei die Extrapolation derart erfolgt, dass eine Signalergänzung einen möglichst glatten Verlauf aufweist, das heißt Tiefpasscharakter hat, und gleichzeitig möglichst keine Sprungstellen an der Grenzlinie zwischen den bekannten und dem ergänzten Bereich auftreten.The invention relates to extrapolation when coding picture blocks on the edge of image objects, the extrapolation taking place in such a way that a signal supplement one if possible has a smooth course, that is to say a low-pass character, and at the same time if possible no jumps on the borderline between the known and the supplemented Range occur.

Unter diskreten Bilddaten werden im Folgenden Helligkeits- bzw. Farbinformationen von Bildpunkten verstanden.Be under discrete image data hereinafter referred to as brightness or Color information of pixels understood.

Neuere Bewegtbildkompressionsverfahren, beispielsweise nach dem MPEG-4-Standard, basieren auf einer Zerlegung des Bildinhaltes in Bewegtobjekte mit beliebiger Berandung. Die einzelnen Objekte werden in verschiedenen "Video Object Planes" separat codiert, übertragen und im Empfänger wieder zusammengesetzt. Das Codierverfahren für die Video Object Planes beruht auf einer Zerlegung des gesamten Objekts in quadratische Blöcke, wobei für jeden Block separat eine Bewegungsschätzung, Bewegungskompensation und Restfehlerbildcodierung mittels der Diskreten Cosinustransformation (DCT) durchgeführt wird. Probleme entstehen allerdings bei der Codierung der Randblöcke, da in der Regel die Objektberandung nicht mit den Blockrändern übereinstimmt. Für diese Randblöcke muss daher mit einem gesonderten Verfahren eine bewegungskompensierte Prädiktion ermittelt und eine anschließenden Signalergänzung des Objekts auf die jeweilige volle Blockrastergröße durchgeführt werden, so dass beispielsweise eine Standard-DCT der Blockgröße 8 × 8 Pixel eingesetzt werden kann. Für die Rekonstruktion des Bildes ist nach der inversen Transformation lediglich ein Ausschneiden des ursprünglichen Bildbereichs, beispielsweise mit Hilfe einer ebenfalls übertragenen Objektmaske, erforderlich, wobei der übrige nicht interessierende Bereich des Bildblocks verworfen wird.Newer moving picture compression methods, for example according to the MPEG-4 standard, are based on a decomposition of the image content in moving objects with any boundary. The individual objects are in different "video Object plans separately coded, transmitted and in the receiver reassembled. The coding method for the Video Object Planes is based on breaking down the entire object into square blocks, where for each Block separately a motion estimate, Motion compensation and residual error image coding using the discrete Cosine transformation (DCT) is performed. Problems arise however, when coding the edge blocks, since usually the object boundary does not match the block edges. For this edge blocks must therefore use a separate procedure to compensate for movement prediction determined and a subsequent signal supplement of Object to the respective full block grid size, so that for example a standard 8 × 8 pixel block size DCT can be used. For the reconstruction of the image is after the inverse transformation just cut out the original image area, for example with Help of a also transferred Object mask, required, the rest of which are not of interest Area of the image block is discarded.

Solche Extrapolationsverfahren bzw. Signalergänzungen sind beispielsweise aus einer früheren deutschen Patentanmeldung des Erfinders mit der Offenlegungsnummer DE 196 25 402 (=1996 P 01628 DE) bzw. aus den IEEE Transactions on Circuit and Systems for Video Technologie, Vol. 9, No. 1, February 1999 mit dem Titel "Object-Based Texture Coding of Moving Video in MPEG-4" bekannt. Hierbei wird jeder Bildpunkt innerhalb eines zu codierenden 8 × 8 Blocks, der nicht zum Objekt gehört, zunächst mit einem Wert initialisiert. Dieser Wert kann entweder 0 betragen, wie es beispielsweise für ein im Interframemodus zu codierendes Bild sinnvoll ist, oder auch der Mittelwert der im Block vorhandenen Bildpunkte, wie es beispielsweise für ein im Intraframemodus zu codierendes Bild sinnvoll ist. Im Anschluss daran wird jeder Bildpunkt innerhalb des Blocks, der nicht zum Objekt gehört, durch den Mittelwert der bis zu vier direkt horizontal und vertikal benachbarten Bildpunkte ersetzt. Dabei wird typischerweise der Bildblock zeilenweise von links oben nach rechts unten abgearbeitet. Das Verfahren konvergiert gegen eine Signalextrapolation mit Tiefpasscharakter, benötigt aber je nach Signalkonstellation unterschiedlich viele Iterationen. Der Ansatz ist in der Referenzsoftware für den MPEG-4-Standard als sogenanntes LPE-Verfahren (Low Pass Extrapolation) enthalten. Dieses Verfahren besitzt jedoch den prinzipiellen Nachteil, dass die für die Konvergenz erforderliche maximale Zahl von Iterationen a priori nicht bekannt ist. Deshalb wird bei einer praktischen MPEG-4-Implementierung die Zahl der Iterationen vorab, im einfachsten Fall auf nur einen einzigen Durchlauf, festgelegt und die Güte der Extrapolation variiert nachteiligerweise stark mit dem Inhalt des Bildblocks.Such extrapolation methods or signal supplements are, for example, from an earlier German patent application by the inventor with the disclosure number DE 196 25 402 (= 1996 P 01628 DE) or from the IEEE Transactions on Circuit and Systems for Video Technologie, Vol. 9, No. 1, February 1999 with the title "Object-Based Texture Coding of Moving Video in MPEG-4". Each pixel within an 8 × 8 block to be coded that does not belong to the object is initially initialized with a value. This value can either be 0, as is useful, for example, for an image to be coded in interframe mode, or the mean value of the pixels present in the block, as is useful, for example, for an image to be coded in intra-frame mode. Subsequently, each pixel within the block that does not belong to the object is replaced by the mean of the up to four directly horizontally and vertically adjacent pixels. The image block is typically processed line by line from top left to bottom right. The method converges to a signal extrapolation with a low-pass character, but requires a different number of iterations depending on the signal constellation. The approach is included in the reference software for the MPEG-4 standard as the so-called LPE process (Low Pass Extrapolation). However, this method has the fundamental disadvantage that the maximum number of iterations required for convergence is not known a priori. Therefore, in a practical MPEG-4 implementation, the number of iterations is determined in advance, in the simplest case on a single pass, and the quality of the extrapolation disadvantageously varies greatly with the content of the image block.

Aus der Druckschrift DE 199 44 300 A1 ist ein Verfahren zur Codierung von Bildobjekten in einem digitalisierten Bild offenbart, das eine kontextbezogene Bewegungsschätzung einsetzt, welche die Lage der Bildblöcke in den Bildobjekten berücksichtigt.From the publication DE 199 44 300 A1 discloses a method for encoding image objects in a digitized image that uses a contextual motion estimate that takes into account the location of the image blocks in the image objects.

Die der Erfindung zugrunde liegende Aufgabe besteht nun darin, ein Verfahren bzw. eine Vorrichtung zur inhaltsadaptiven Extrapolation von diskreten Bilddaten von Objekten anzugeben, bei dem/bei der die oben genannten Nachteile vermieden und damit im allgemeinen Fall ein besseres Signal-Rausch-Verhältnis (PSNR) erzielbar ist.The basis of the invention The task now is to develop a method or a device for content-adaptive extrapolation of discrete image data from objects specify where the disadvantages mentioned above are avoided and thus in general a better signal-to-noise ratio (PSNR) is achievable.

Diese Aufgabe wird hinsichtlich des Verfahrens durch die Merkmale des Patentanspruchs 1 und hinsichtlich der Vorrichtung durch die Merkmale des Patentanspruchs 6 gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen des erfindungsgemäßen Verfahrens.This task is carried out with regard to the Method by the features of claim 1 and in terms the device solved by the features of claim 6. The concern further claims preferred embodiments of the method according to the invention.

Die Erfindung wird nachfolgend anhand von in den Zeichnungen dargestellten Ausführungsbeispielen näher erläutert. Dabei zeigtThe invention is described below of exemplary embodiments illustrated in the drawings. there shows

1 ein in Bildblöcke aufgeteiltes Bild mit einem Objekt, 1 an image divided into image blocks with an object,

2A eine Darstellung eines Randbildblocks, 2A a representation of a border image block,

2B ein zum Bildblock von 2A gehöriger Teil einer Formmaske eines Objektes und 2 B one to image block from 2A part of a form mask of an object and

3 eine Darstellung eines weiteren Randbildblock zur Erläuterung eines weiteren Ausführungsbeispiels. 3 a representation of another border image block to explain another embodiment.

Die Erfindung besteht im wesentlichen darin, dass bei einer Codierung, zum Beispiel nach dem MPEG-4-Standard, von Bildblöcken eines Objektrandes die Güte einer Extrapolation bzw. das davon abhängige Signal/Rausch-Verhältnis (PSNR) dadurch verbessert wird, dass zuerst ein günstiger Ausgangspunkt bzw. eine günstige Richtung der Extrapolation in Abhängigkeit des Bildinhalts des jeweiligen Bildblocks bestimmt wird.The invention essentially consists in the fact that when coding, for example according to the MPEG-4 standard, image blocks of an object edge the quality of an extrapolation or that of it dependent signal-to-noise ratio (PSNR) is improved by first determining a favorable starting point or a favorable direction of extrapolation depending on the image content of the respective image block.

Im Prinzip wird die Reihenfolge bei der Extrapolation von der Form des Bildobjekts abhängig gemacht. Dem LPE-Verfahren aus dem MPEG-4-Bewegtbildkompressionsverfahren wird also eine Entscheidungseinheit vorgeschaltet, die die Durchlaufrichtung für die Extrapolation bestimmt, indem es die Formmaske des Objekts analysiert.In principle, the order is at the extrapolation depending on the shape of the picture object. The LPE process from the MPEG-4 moving picture compression process So a decision unit is connected upstream, the direction of flow for the Extrapolation is determined by analyzing the shape mask of the object.

In 1 ist ein Bild I mit einem Objekt OBJ dargestellt, das in Bildblöcke, wie beispielsweise den Bildblock B, aufgeteilt ist. Ein solches Bild I weist im Wesentlichen drei verschiedene Bildblöcke auf, nämlich Bildblöcke mit nur zum Objekt gehörigen Bildpunkte (Pixel), sogenannte Leerblöcke L mit nicht zum Objekt gehörigen Bildpunkten und sogenannte Randblöcke RB mit Bildpunkten, die teilweise zum Objekt und teilweise nicht zum Objekt gehören. Die Erfindung betrifft gerade diese Randblöcke, da hierbei eine Extrapolation bzw. Signalergänzung durchgeführt werden muss.In 1 an image I is shown with an object OBJ, which is divided into image blocks, such as image block B, for example. Such an image I essentially has three different image blocks, namely image blocks with only pixels belonging to the object, so-called empty blocks L with pixels not belonging to the object and so-called edge blocks RB with pixels which partly belong to the object and partly not to the object , The invention relates precisely to these edge blocks, since extrapolation or signal supplementation must be carried out here.

In 2A ist ein Randbildblock RB1 mit 8 × 8 Bildpunkten oder Pixeln dargestellt, dessen Bildpunkt E1 in der linken oberen Ecke zum Objekt OBJ gehört und dessen Bildpunkt GE1 in derselben Zeile in der gegenüber liegenden Ecke liegt und nicht zum Objekt OBJ gehört. Darüber hinaus ist in dem Bildblock RB1 eine Filtermaske FM, die zur Berechnung in Richtung R über die Bildpunkte des Randblocks zur Bildung der Signalergänzungen „geschoben" wird. Die Signalergänzung mit Hilfe der Filtermaske FM ist an sich bekannt und bspw. im eingangs genannten IEEE-Paper erläutert. Es handelt sich dabei im Wesentlichen um eine Mittelwertbildung von Bilddaten benachbarter Bildpunkte.In 2A an edge image block RB1 with 8 × 8 pixels or pixels is shown, the pixel E1 of which belongs to the object OBJ in the upper left corner and the pixel GE1 of which lies in the same line in the opposite corner and does not belong to the object OBJ. In addition, in the image block RB1 there is a filter mask FM which is "pushed" over the pixels of the edge block to form the signal supplements for the calculation in the direction R. The signal supplementation with the help of the filter mask FM is known per se and, for example, in the IEEE- The paper essentially explains the averaging of image data of neighboring pixels.

In einem ersten Ausführungsbeispiel der Erfindung wird in dem Eckbildpunkt E1 in der linken oberen Ecke des Randbildblocks RB1, beispielsweise unter Zuhilfenahme einer Formmaske OM, festgestellt, ob dieser Bildpunkt E1 zum Objekt OBJ gehört oder nicht. Gehört dieser Bildpunkt E1, wie in 2A dargestellt, zum Objekt, so erfolgt die normalerweise übliche zeilenweise Abarbeitung der Bildpunkte von links nach rechts und von oben nach unten. Gehört der Eckbildpunkt E1 hingegen nicht zum Objekt OBJ, so wird die Richtung R umgedreht und die Extrapolation erfolgt ausgehend vom gegenüber liegenden Eckpunkt GE1 in entgegengesetzter Richtung zu der im Bild 2A eingetragenen Richtung R, wobei dies jedoch nur dann wirklich sinnvoll ist, wenn GE1 zum Objekt gehört.In a first exemplary embodiment of the invention, it is determined in the corner pixel E1 in the upper left corner of the edge image block RB1, for example with the aid of a shape mask OM, whether this pixel E1 belongs to the object OBJ or not. Does this pixel belong to E1, as in 2A shown, to the object, the usual line-by-line processing of the pixels is from left to right and from top to bottom. If, however, the corner pixel E1 does not belong to the object OBJ, the direction R is reversed and the extrapolation takes place starting from the opposite corner point GE1 in the opposite direction to the direction R entered in Figure 2A, but this is only really useful if GE1 for Object belongs.

Bei diesem einfachen Ausführungsbeispiel der Erfindung können im Prinzip auch die anderen drei Eckpunkte des Randblocks RB1 an Stelle des Eckpunkts E1 herangezogen werden.In this simple embodiment of the Invention can in principle also the other three corner points of margin block RB1 Location of the corner point E1.

Neben einer zeilenweisen Abarbeitung ist natürlich auch eine spaltenweise Abarbeitung denkbar.In addition to line-by-line processing is natural column-by-column processing is also conceivable.

Bei dieser Variante der Erfindung ist der Rechenaufwand besonders gering, da für einen Randbildblock lediglich der Wert eines Punktes der Objektmaske abgefragt werden muss.In this variant of the invention the computational effort is particularly low, since it is only for a border image block the value of a point on the object mask must be queried.

In 3 ist ein weiterer Randblock RB2 zur Erläuterung eines zweiten und dritten Ausführungsbeispiels der Erfindung dargestellt. Der Bildblock enthält wiederum 8 × 8 Bildpunkte, wobei an einer linken Kante K₁ Z(K₁)=2 Bildpunkte, an einer oberen Kante K₂ Z(K₂)=3 Bildpunkte, an einer rechten Kante K₃ Z(K₃)=5 und an einer unteren Kante K₄ alle Z(K₄)=8 Bildpunkte zum Objekt OBJ gehören.In 3 A further edge block RB2 is shown to explain a second and third exemplary embodiment of the invention. The image block in turn contains 8 × 8 pixels, with K ₁ Z (K ₁ ) = 2 pixels on a left edge, K ₂ Z (K ₂ ) = 3 pixels on an upper edge, K ₃ Z (K ₃ on a right edge ) = 5 and on a lower edge K ₄ all Z (K ₄ ) = 8 pixels belong to the object OBJ.

Beim zweiten Ausführungsbeispiel der Erfindung wird die Extrapolation von einem beliebigen Punkt der Kante mit den meisten zum Objekt gehörigen Bildpunkten ausgehend in Richtung zur gegenüberliegenden Kante, also in diesem Beispiel von der unteren Kante K₄ in Richtung der oberen Kante K₂ durchgeführt. Zur Auswertung der zum Objekt gehörigen Bildpunkte kann hier wiederum die Formmaske OM des Objekts herangezogen werden.In the second exemplary embodiment of the invention, the extrapolation is carried out from any point on the edge with most of the image points belonging to the object in the direction of the opposite edge, that is to say in this example from the lower edge K ₄ in the direction of the upper edge K ₂ . The form mask OM of the object can in turn be used to evaluate the pixels belonging to the object.

In einem dritten Ausführungsbeispiel der Erfindung werden alle vier Kanten K₁ ... K₄, beispielsweise wiederum mit der Formmaske OM, daraufhin ausgewertet wie viele Bildpunkte zum Objekt OBJ gehören. Der Ausgangspunkt der Extrapolation wird derart gewählt, dass diejenige Kante, mit der größten Anzahl der zum Objekt gehörigen Pixel, also hier die Kante K₄ mit der größten Kantenobjektpixelzahl Z(K₄)=8, und diejenige Kante, mit der zweitgrößten Anzahl von zum Objekt gehörigen Pixel, also hier die Kante K₃ mit der Kantenobjektpixelzahl Z(K₃)=5, ermittelt wird und derjenige Eckpunkt E2 des Randbildblockes RB2 als Ausgangspunkt für die Extrapolation verwendet wird, der sowohl der Kante mit der größten Kantenobjektpixelzahl als auch der Kante mit der zweitgrößten Kantenobjektpixelzahl angehört. Die Verarbeitung der Pixel kann dabei wiederum spalten-oder zeilenweise erfolgen. Ausgehend vom ermittelten Eckpunkt E2 kann auch eine mäanderförmige Verarbeitungsreihenfolge, bei der also nur in einer Dimension eine Richtung beibehalten wird, erfolgen. Im Beispiel von 3 ist der Ausgangspunkt der Extrapolation der Eckpunkt E2 in der rechten unteren Ecke und die Extrapolation wird in der Richtung R konstant von rechts nach links zeilenweise von unten nach oben durchgeführt.In a third exemplary embodiment of the invention, all four edges K ₁ ... K ₄ , for example again using the form mask OM, are then evaluated as to how many pixels belong to the object OBJ. The starting point of the extrapolation is chosen such that the edge with the largest number of pixels belonging to the object, i.e. here the edge K ₄ with the largest number of edge object pixels Z (K ₄ ) = 8, and that edge with the second largest number of for Pixels belonging to the object, i.e. here the edge K ₃ with the edge object pixel number Z (K ₃ ) = 5, and that corner point E2 of the edge image block RB2 is used as the starting point for the extrapolation, both the edge with the largest edge object pixel number and the edge with the second largest number of edge object pixels. The processing of the pixels can in turn take place in columns or rows. Starting from the determined corner point E2, a meandering processing sequence, in which a direction is therefore only maintained in one dimension, can also take place. In the example of 3 the starting point of the extrapolation is the corner point E2 in the lower right corner and the extrapolation is carried out in the direction R constantly from right to left line by line from bottom to top.

Claims

Process for content adaptive extrapolation of discrete image data of objects (OBJ), in which the start and the Direction of extrapolation depending on the image content of a edge blocks to be coded (RB, RB1, RB2) is selected.

Method according to Claim 1, in which, for at least one image block, a corner pixel (E1) of an image block (RB1) is checked whether it belongs to a respective object, in which, if the object belongs, the extrapolation starts at this corner pixel, in the same row or column of the image block to the opposite corner (GE1) of the image block and then with the same direction (R) in the remaining lines or columns of the image block and where, if the corner pixel does not belong to the object, started in the corner of the image block opposite the corner pixel, in the same row or column of the image block to the corner pixel of the image block and then in the same direction in the remaining rows and columns of the image block is continued.

Method according to Claim 1, in which, for at least one edge block (RB2), an edge object pixel number (Z (K ₁ ), Z (K ₃ )) is determined for two opposite block edges (K ₁ , K ₃ ) in such a way that for each of these Block edges are only counted those pixels that belong to the respective object, for which the extrapolation starts from a pixel of the block edge (K ₃ ) with the largest number of edge pixels, in the same row or column to the opposite edge and then in the remaining rows or columns continues.

Method according to Claim 1, in which, for at least one edge block (RB2), an edge object pixel number (ZK ₁ .. Z (K ₄ )) is determined for the four block edges (K ₁ ... K ₄ ) in such a way that for each this block edges only those pixels are counted that belong to the respective object OBJ, in which the block edges (K ₃ , K ₄ ) are determined with the largest and second largest edge object pixel number, in which the extrapolation is started with a corner pixel (E2), which both belongs to the block edge with the largest and to the block edge with the second largest edge object pixel number, and in which the extrapolation is continued in the same row or column to the opposite corner of the image block and then with the same direction (R) in the remaining rows or columns of the image block ,

Method according to one of the preceding claims, which the object affiliation of a pixel is determined using a shape mask (OM) of the object becomes.

Image coding device with a decision unit, which is the direction of a content adaptive extrapolation of discrete Image data of objects depending from the image content of an edge block to be coded (RB, RB1, RB2) sets.