FR2698233A1 - Digital television signal processing circuit - Google Patents
Digital television signal processing circuit Download PDFInfo
- Publication number
- FR2698233A1 FR2698233A1 FR9213855A FR9213855A FR2698233A1 FR 2698233 A1 FR2698233 A1 FR 2698233A1 FR 9213855 A FR9213855 A FR 9213855A FR 9213855 A FR9213855 A FR 9213855A FR 2698233 A1 FR2698233 A1 FR 2698233A1
- Authority
- FR
- France
- Prior art keywords
- bits
- data
- image
- images
- allocation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
"DISPOSITIF DE TRAITEMENT DE SIGNAUX NUMERIQUES PREALABLEMENT
CODES PAR CODAGE A LONGUEUR VARIABLE"
Description
La présente invention concerne un dispositif de traitement, en vue d'une transmission et/ou d'un stockage, de signaux numériques correspondant à une séquence d'images et préalablement codés, au moins en partie, selon un codage à longueur variable, lesdits signaux étant organisés en blocs d'image et constitués de types de données pouvant être ordonnés selon une hiérarchie déterminée. Cette invention trouve une application par exemple dans le domaine de la transmission d'images animées, et notamment d'images de télévision."DEVICE FOR PROCESSING DIGITAL SIGNALS PRIOR
CODES BY VARIABLE LENGTH CODING "
Description
The present invention relates to a device for processing, for the purpose of transmission and / or storage, of digital signals corresponding to a sequence of images and previously coded, at least in part, according to variable length coding, said codings signals being organized in image blocks and made up of types of data which can be ordered according to a determined hierarchy. This invention finds an application for example in the field of the transmission of moving images, and in particular of television images.
Une norme dite standard MPEG1 a été récemment adoptée pour le stockage d'images numériques animées. Ce standard définit un procédé de codage très efficace pour l'enregistrement d'images au format dit CIF (en anglais, Common
Intermediate Format, 288 lignes x 352 points/ligne, 25 Hz, 1:1), mais également utilisable pour n'importe quel format d'image. Les méthodes de codage compatibles avec ledit standard permettent par exemple de comprimer un signal de télévision numérique de 160 Mbits/s à 5 Mbits/s, c'est-à-dire dans un rapport de 32/1, tout en préservant une qualité d'image très satisfaisante.A standard known as the MPEG1 standard has recently been adopted for the storage of moving digital images. This standard defines a very efficient coding process for recording images in CIF format (in English, Common
Intermediate Format, 288 lines x 352 dots / line, 25 Hz, 1: 1), but also usable for any image format. The coding methods compatible with said standard allow for example to compress a digital television signal from 160 Mbits / s to 5 Mbits / s, that is to say in a ratio of 32/1, while preserving a quality of very satisfactory picture.
Des recherches essaient actuellement d'établir si ce standard peut être aussi utilisé pour la transmission d'images, et, par exemple et principalement, pour la transmission d'images de télévision. Malheureusement, la réponse semble pour le moment négative, du fait de la technique de codage à longueur variable utilisée par le standard MPEG1 (dite VLC, de l'anglais Variable Length Coding) et qui, associée à une transformation orthogonale préalable dite transformation cosinus discrète (notée DCT, de l'anglais
Discrete Cosinus Transform) et rappelée plus loin, permet de réduire la redondance spatiale de l'image.En effet, lorsqu'une erreur de transmission affecte un bit du flot de données numériques obtenu après le codage VLC, le décodeur reçoit un mot de code dont la longueur lui paraît différente de celle du code émis, qu'il ne connaît pas, et il n'a plus de repère temporel pour situer le début du mot de code suivant. I1 en résulte que ce mot de code suivant est décodé de façon erronée, et de même pour les suivants : il y a propagation de l'erreur.Research is currently trying to establish whether this standard can also be used for the transmission of images, and, for example and mainly, for the transmission of television images. Unfortunately, the answer seems negative for the moment, due to the variable length coding technique used by the MPEG1 standard (called VLC, from the English Variable Length Coding) and which, associated with a prior orthogonal transformation called discrete cosine transformation (noted DCT, from English
Discrete Cosine Transform) and recalled below, makes it possible to reduce the spatial redundancy of the image. In fact, when a transmission error affects a bit of the digital data stream obtained after VLC coding, the decoder receives a code word whose length seems to him different from that of the transmitted code, which he does not know, and he no longer has a time mark to locate the beginning of the next code word. It follows that this next code word is decoded in an erroneous manner, and the same for the following: there is propagation of the error.
Toutes les données décodées postérieures à l'emplacement de la première erreur sont fausses tant qu'un nouveau point de repère constitué par un mot de synchronisation n'est pas apparu. Comme ces derniers ne sont pas très nombreux (par exemple, un toutes les seize lignes d'image), même un très faible taux d'erreurs conduit, par propagation d'erreur, à des défauts image inacceptables. Il existe, certes, des techniques de réduction du taux d'erreur à des valeurs très faibles, faisant appel à des codes correcteurs d'erreur très puissants, mais ces techniques augmentent la redondance des signaux, ce qui va à l'encontre de l'objectif justement réalisé par MPEG1.All the decoded data subsequent to the location of the first error is false until a new reference point constituted by a synchronization word has appeared. Since these are not very numerous (for example, one every sixteen image lines), even a very low error rate leads, by error propagation, to unacceptable image defects. There are, of course, techniques for reducing the error rate to very low values, using very powerful error correcting codes, but these techniques increase the redundancy of the signals, which goes against the objective precisely achieved by MPEG1.
Une autre technique qui, au lieu de corriger la ou les erreurs, permet d'en limiter la propagation, est décrite dans le brevet des Etats-Unis d'Amérique USP-4907101. La solution proposée dans ce document consiste, partant du fait que chaque bloc codé contient un nombre variable de mots de code de longueur différentes, à définir un paquet (ou boite) de capacité déterminée égale à la longueur moyenne B des blocs entre deux mots de synchronisation successifs (c'est-à-dire dans une tranche d'image), et à transmettre au moins les premiers bits d'un bloc dans ce paquet. Si un bloc est plus court que ce paquet, il reste dans ce paquet de la place disponible. Si au contraire un bloc est plus long que le paquet, les bits excédentaires sont placés dans ces emplacements laissés disponibles par les blocs courts.Ainsi les paquets de bits transmis sont tous de longueur égale (sauf éventuellement le dernier, car le nombre total de bits d'une tranche n'est en général pas égal à un multiple du nombre de blocs) et le repérage des débuts de blocs au décodage ne pose plus aucun problème. Même si l'un ou plusieurs de ces blocs sont affectés d'erreurs de transmission, il ne peut plus y avoir de propagation de ces erreurs. Another technique which, instead of correcting the error or errors, makes it possible to limit the propagation thereof, is described in the patent of the United States of America USP-4907101. The solution proposed in this document consists, starting from the fact that each coded block contains a variable number of code words of different length, to define a packet (or box) of determined capacity equal to the average length B of the blocks between two words successive synchronization (that is to say in an image slice), and to transmit at least the first bits of a block in this packet. If a block is shorter than this package, there is space available in this package. If, on the contrary, a block is longer than the packet, the excess bits are placed in these places left available by the short blocks. Thus the transmitted bit packets are all of equal length (except possibly the last one, because the total number of bits of a section is generally not equal to a multiple of the number of blocks) and the identification of the beginnings of blocks at decoding no longer poses any problem. Even if one or more of these blocks are affected by transmission errors, there can no longer be any propagation of these errors.
Malheureusement, cette technique, qui s' avère appropriée pour la majeure partie des informations de bloc, n'est plus satisfaisante lorsqu'on veut l'appliquer aux autres informations présentes dans le flot de données MPEG1. On verra en effet plus loin que toutes ces autres informations ont, pour la qualité de l'image, une importance supérieure à celle des informations du bloc, et leur perte peut empêcher tout décodage à la réception. En outre, ces autres informations sont, pour la plupart d'entre elles, codées de manière différentielle, c'està-dire en utilisant ici une technique dite de prédiction à partir des informations similaires présentes dans les blocs précédents (par codage de la différence entre l'information précédente et l'information courante), et toute erreur dans un bloc finit par se propager du fait de cet appel aux informations précédentes. Unfortunately, this technique, which is found to be suitable for most of the block information, is no longer satisfactory when it is desired to apply it to the other information present in the MPEG1 data stream. It will indeed be seen later that all of this other information has, for the quality of the image, a greater importance than that of the information in the block, and their loss can prevent any decoding on reception. In addition, this other information is, for the most part, coded in a differential manner, that is to say by using here a technique called prediction from similar information present in the preceding blocks (by coding the difference between the previous information and the current information), and any error in a block ends up propagating as a result of this call to the previous information.
Le but de l'invention est donc de proposer un dispositif de posttraitement de signaux numériques qui sont de natures différentes et donc d'importance variable, dans lequel il soit possible de limiter la propagation des erreurs malgré l'existence du codage préalable à longueur variable de ces signaux sans pour autant accroître le degré de redondance des informations contenues dans ces signaux. The object of the invention is therefore to propose a device for postprocessing digital signals which are of different natures and therefore of variable importance, in which it is possible to limit the propagation of errors despite the existence of prior variable length coding. of these signals without increasing the degree of redundancy of the information contained in these signals.
A cet effet, l'invention concerne un dispositif tel que défini dans le préambule de la description et qui est en outre caractérisé en ce qu'il comprend
(1) une mémoire adressable de stockage du flot de bits provenant dudit codage à longueur variable
(2) un circuit de comptage recevant également ledit flot de bits en vue de la détermination et du stockage du nombre de bits correspondant dans ce flot à chaque type de données, et ce pour au moins une tranche d'image, une tranche étant définie comme tout sous-ensemble de blocs qui est précédé d'un signal de synchronisation
(3) en sortie de ce circuit de comptage, un circuit d'affectation, à chacune desdites tranches et selon une proportion déterminée à respecter globalement dans une image ou dans un groupe d'images, du nombre de bits à transmettre d'une part dans une voie HP dite de haute priorité et d'autre part dans une voie LP dite de basse priorité, ces deux nombres de bits étant appelés allocations HP et LP respectivement
(4) en sortie desdits circuits, un circuit de commande de redistribution des bits dudit flot, pour chacune desdites tranches et selon le processus suivant
(a) en fonction de la valeur de l'allocation HP, affectation à ladite voie HP, dans l'ordre hiérarchique décroissant, de toutes celles des données qui y tiennent entièrement
(b) en fonction de la valeur de l'allocation LP, affectation à ladite voie LP, dans l'ordre hiérarchique croissant, de toutes celles des données qui y tiennent entièrement
(c) pour les données ainsi affectées, calcul, en nombre de bits et sur l'ensemble des blocs de la tranche concernée, de la longueur moyenne par bloc
(d) pour le type de données ne pouvant pas être affecté exclusivement à l'une ou à l'autre des voies HP et LP, affectation à la voie HP de celles de ces données qui y tiennent, par égale répartition dans les tranches, puis affectation complémentaire des données résiduelles à la voie
LP
(e) pour ce type de données réparties entre les voies HP et LP, calcul similaire de la longueur moyenne par bloc, pour chacune des deux voies lesdites valeurs d'affectation et lesdites longueurs moyennes étant fournies à la mémoire adressable pour une lecture de celle-ci conformément audit processus de redistribution par voie et, pour chaque voie, par paquets de données de même nature constituant des boîtes de longueur égale auxdites longueurs moyennes respectivement.To this end, the invention relates to a device as defined in the preamble to the description and which is further characterized in that it comprises
(1) an addressable memory for storing the bit stream originating from said variable length coding
(2) a counting circuit also receiving said stream of bits with a view to determining and storing the number of bits corresponding in this stream to each type of data, and this for at least one image slice, one slice being defined like any subset of blocks which is preceded by a synchronization signal
(3) at the output of this counting circuit, a circuit for assigning, to each of said slices and according to a determined proportion to be respected overall in an image or in a group of images, the number of bits to be transmitted on the one hand in an HP channel called high priority and on the other hand in an LP channel called low priority, these two numbers of bits being called allocations HP and LP respectively
(4) at the output of said circuits, a circuit for controlling the redistribution of the bits of said stream, for each of said slices and according to the following process
(a) according to the value of the HP allocation, allocation to said HP channel, in descending hierarchical order, of all those of the data which are entirely due to it
(b) according to the value of the LP allocation, allocation to said LP channel, in ascending hierarchical order, of all those of the data which are entirely due to it
(c) for the data thus affected, calculation, in number of bits and over all the blocks of the slice concerned, of the average length per block
(d) for the type of data which cannot be allocated exclusively to one or the other of the HP and LP channels, assignment to the HP channel of those of these data which are held there, by equal distribution in the bands, then additional allocation of residual data to the channel
LP
(e) for this type of data distributed between the HP and LP channels, similar calculation of the average length per block, for each of the two channels, said allocation values and said average lengths being supplied to the addressable memory for a reading of that in accordance with said redistribution process per channel and, for each channel, by data packets of the same kind constituting boxes of length equal to said average lengths respectively.
Le dispositif ainsi proposé parvient à concilier les situations contradictoires suivantes. D'une part la séquence des signaux ici concernés contient diverses informations dont certaines sont plus importantes que d'autres et sur lesquelles les erreurs relatives à leur identification ont des conséquences plus graves en matière de propagation d'erreurs de transmission, ce qui justifierait de les coder et traiter de façon plus soignée que les autres informations. Mais d'autre part un décodage de données est réalisé de façon d'autant plus sûre que le repérage des positions des diverses informations dans les signaux codés est plus simple.La solution technique ici retenue pour la transmission et/ou le stockage recherchés assure la répartition des données hiérarchiques, quelles que soient leurs proportions respectives souvent très variables, d'une manière effectivement très sûre en matière de restitution ultérieure des positions desdites informations. The system thus proposed manages to reconcile the following contradictory situations. On the one hand, the sequence of signals concerned here contains various information, some of which is more important than others and on which errors relating to their identification have more serious consequences in terms of propagation of transmission errors, which would justify code and process them more carefully than other information. But on the other hand, a decoding of data is carried out in a way all the more sure as the location of the positions of the various information in the coded signals is simpler. The technical solution adopted here for the transmission and / or the storage sought ensures the distribution of hierarchical data, whatever their respective proportions which are often very variable, in a manner which is effectively very secure in terms of subsequent restitution of the positions of said information.
La demande de brevet internationale WO-91/02430 décrit un système de traitement de signaux numériques codés à longueur variable dans lesquels sont présentes des informations d'importances distinctes. Il n'est cependant jamais envisagé, dans ce document, de traitement tirant le moindre parti de cette spécificité des informations. Simplement, en rompant l'appartenance initiale de ces données à des blocs de données successifs, elles sont, pour une série de blocs constituant alors des superblocs, regroupées par type de données avant d'appliquer à la nouvelle disposition ainsi constituée un principe de base identique à celui décrit dans le document
USP-4907101.Le décodage ultérieur voit alors sa complexité sensiblement accrue sans qu'il en résulte, au cours de ce décodage, de garantie particulière quant à la sécurité de restitution de celles des ces données qui sont éventuellement prioritaires parce que plus importantes, pour la qualité d'image finale dans le cadre de l'application mentionnée plus haut.International patent application WO-91/02430 describes a system for processing variable length coded digital signals in which information of distinct importance is present. In this document, however, processing is never envisaged making the slightest use of this specificity of the information. Simply, by breaking the initial membership of these data to successive blocks of data, they are, for a series of blocks then constituting superblocks, grouped by type of data before applying to the new arrangement thus constituted a basic principle identical to that described in the document
USP-4907101. The subsequent decoding then sees its complexity significantly increased without the result, during this decoding, of any particular guarantee as to the security of restitution of those of these data which are possibly priority because they are more important, for the final image quality in the context of the application mentioned above.
Dans une réalisation plus complète du dispositif telle que défini, il est prévu, selon l'invention, de considérer les restes éventuels des divisions réalisées pour les calculs de longueurs moyennes par bloc et pour chacune des deux voies HP et LP. Pour cela, le processus de redistribution mis en oeuvre dans le circuit de commande de redistribution de bits comprend également, pour l'ensemble des bits excédentaires regroupant ces restes, une étape similaire de calcul de longueur moyenne par bloc et par voie. In a more complete embodiment of the device as defined, it is provided, according to the invention, to consider the possible remains of the divisions carried out for the calculations of average lengths per block and for each of the two channels HP and LP. For this, the redistribution process implemented in the bit redistribution control circuit also includes, for all of the excess bits grouping together these remains, a similar step of calculating average length per block and per channel.
Enfin la capacité de la mémoire adressable est de préférence égale à celle de l'image ou du groupe d'images dans lequel, ou laquelle, doit être respectée ladite proportion globale déterminée, mais, dans une variante un peu plus simple permettant de réduire la taille mémoire, on peut reprendre comme valeurs de comptages celles déterminées pour l'image ou pour le groupe d'images précédent. Finally, the capacity of the addressable memory is preferably equal to that of the image or group of images in which, or which, said overall proportion must be respected, but, in a slightly simpler variant making it possible to reduce the memory size, the values determined for the image or for the previous group of images can be used as count values.
Les particularités et avantages de l'invention apparaîtront maintenant de façon plus détaillée dans la description qui suit et dans les dessins annexés, donnés à titre d'exemples non limitatifs et dans lesquels
- la figure 1 illustre un balayage dit en zig-zag des coefficients issus de la transformation DCT appliquée à un bloc de 8 x 8 points d'image
- la figure 2 montre un exemple d'une séquence d'images différentes selon le mode de codage adopté pour chacune d'elles, ces codages étant le codage intra, noté I, le codage prédictif monodirectionnel, noté P, et le codage bidirectionnel, noté B
- la figure 3 montre un exemple de réalisation du dispositif de traitement selon l'invention.The features and advantages of the invention will now appear in more detail in the following description and in the accompanying drawings, given by way of non-limiting examples and in which
- Figure 1 illustrates a so-called zig-zag scan of the coefficients from the DCT transformation applied to a block of 8 x 8 image points
FIG. 2 shows an example of a sequence of different images according to the coding mode adopted for each of them, these codings being intra coding, denoted I, unidirectional predictive coding, denoted P, and bidirectional coding, rated B
- Figure 3 shows an embodiment of the processing device according to the invention.
Avant de décrire cet exemple de réalisation d'un dispositif selon l'invention, il faut préciser qu'il est adapté au posttraitement de données de type MPEG, et il paraît donc nécessaire de rappeler les caractéristiques d'un flot de données conforme à ce standard. Before describing this exemplary embodiment of a device according to the invention, it should be specified that it is suitable for postprocessing of MPEG type data, and it therefore appears necessary to recall the characteristics of a data stream conforming to this. standard.
Une séquence numérique d'images animées comprend des informations relatives à la composante de luminance Y, ainsi que des informations relatives aux composantes de la chrominance, ou signaux de différence de couleur U et V. Les niveaux de gris, pour la luminance Y, et les niveaux de couleur, pour les signaux U et V, sont exprimés par des mots numériques de 8 bits regroupés en matrices. Selon le standard
MPEG1, le format d'entrée est tel que la chrominance subit un sous-échantillonnage par quatre, par rapport à la luminance. De ce fait, on dispose de deux valeurs liées à la couleur (l'une pour U, 1' autre pour V) pour quatre valeurs de luminance.Comme les matrices de mots sont divisées en blocs de 8 x 8 points d' image, quatre blocs adjacents de la matrice Y correspondent à un bloc de la matrice U et à un bloc de la matrice V, et ces six blocs, réunis, constituent un macrobloc (MB). Ces blocs et macroblocs sont les unités de subdivision d'image sur lesquelles est effectué le codage. Enfin, une série de macroblocs constitue une tranche, et chaque image est composée d'un certain nombre de tranches, par exemple 36 dans l'exemple ici décrit.A digital sequence of moving images includes information relating to the luminance component Y, as well as information relating to the components of the chrominance, or color difference signals U and V. The gray levels, for the luminance Y, and the color levels, for the U and V signals, are expressed by 8-bit digital words grouped in matrices. According to the standard
MPEG1, the input format is such that the chrominance undergoes a sub-sampling by four, compared to the luminance. As a result, there are two values linked to color (one for U, one for V) for four luminance values. As the word matrices are divided into blocks of 8 x 8 image points, four adjacent blocks of the matrix Y correspond to a block of the matrix U and a block of the matrix V, and these six blocks, taken together, constitute a macroblock (MB). These blocks and macroblocks are the image subdivision units on which coding is carried out. Finally, a series of macroblocks constitutes a slice, and each image is composed of a certain number of slices, for example 36 in the example described here.
Les images sont elles-mêmes de trois types, suivant le mode de codage qui leur est appliqué : les images I, dites intra, qui sont codées indépendamment de toute autre image, les images P, prédites par compensation de mouvement unidirectionnelle à partir des images précédentes (de type I, ou de type P elles-mêmes), et les images B, prédites par compensation de mouvement bidirectionnelle à partir d'une image antérieure et d'une image postérieure (elles-mêmes de type I et/ou P). Plusieurs images associées constituent un groupe d'images (GOP, de l'anglais Group of Pictures), dans lequel, pour la transmission, les images sont placées dans l'ordre dans lequel le décodeur en aura besoin pour décoder les images I, P,
B, leur réorganisation dans leur ordre naturel n' intervenant qu'après le décodage. A leur tour, plusieurs groupes d'images constituent une séquence ou ensemble d'images.The images are themselves of three types, according to the coding mode which is applied to them: the images I, called intra, which are coded independently of any other image, the images P, predicted by unidirectional motion compensation from the images previous (type I, or type P themselves), and B images, predicted by bidirectional motion compensation from an anterior image and a posterior image (themselves type I and / or P ). Several associated images constitute a group of images (GOP, from the English Group of Pictures), in which, for transmission, the images are placed in the order in which the decoder will need them to decode the images I, P ,
B, their reorganization in their natural order occurring only after decoding. In turn, several groups of images constitute a sequence or set of images.
Un point d'une image présente en général des similitudes avec son voisinage, avec les points d'image qui l'entourent. Cette redondance spatiale peut être réduite, en vue de la transmission et/ou du stockage, en exploitant les propriétés statistiques des images dans le-domaine fréquentiel, à l'aide des deux techniques désormais classiques citées plus haut, utilisées conjointement, à savoir la transformation cosinus discrète DCT et le codage à longueur variable VLC. La transformation DCT convertit chaque bloc de points d'image en un bloc de coefficients dont le premier, le coefficient direct (DC), représente la valeur moyenne des niveaux de gris sur l'ensemble du bloc et dont les autres, les coefficients alternatifs (AC), représentent successivement les différentes fréquences d'image croissantes présentes dans le bloc.Ces coefficients sont quantifiés, avec un pas de quantification qui conditionnera au décodage la précision de leur reconstitution (les hautes fréquences sont moins perceptibles par l'oeil humain, ce qui autorise un pas de quantification plus grand), puis lus selon un balayage déterminé, en général, un balayage dit en zig-zag. La figure 1 illustre cet exemple de mode de balayage : à chacun des coefficients (64 dans un bloc de 8 x 8 points d'image) est attribué un numéro correspondant à l'ordre dans lequel les coefficients seront codés (ici O pour le coefficient direct DC et 1 à 63 pour les coefficients AC). Cet ordre des coefficients correspond, de fait, à leur importance selon un critère psychovisuel lié aux fréquences spatiales dans le bloc.Le premier coefficient, en position 0, correspond à une structure de bloc uniforme, et les coefficients des lignes et des colonnes correspondent respectivement à des fréquences spatiales horizontales croissantes et à des fréquences spatiales verticales croissantes, la sensibilité de l'oeil humain décroissant lorsque la fréquence spatiale des structures présentes dans l'image s'accroît. Cette lecture des coefficients, dans le sens des flèches indiquées sur la figure 1, est suivie du codage VLC qui utilise les mots de code les plus courts pour les symboles à coder les plus fréquents et les mots de code les plus longs pour les symboles les moins fréquents (et conduit ainsi à une longueur moyenne de mot de code inférieure à ce qu'elle serait avec une technique de codage à longueur fixe). A point of an image generally presents similarities with its neighborhood, with the image points which surround it. This spatial redundancy can be reduced, with a view to transmission and / or storage, by exploiting the statistical properties of the images in the frequency domain, using the two now classic techniques cited above, used jointly, namely the DCT discrete cosine transformation and VLC variable length coding. The DCT transformation converts each block of image points into a block of coefficients, the first of which, the direct coefficient (DC), represents the average value of the gray levels over the entire block and of which the others, the alternative coefficients ( AC), successively represent the different increasing image frequencies present in the block. These coefficients are quantified, with a quantization step which will condition the decoding accuracy of their reconstruction (the high frequencies are less perceptible by the human eye, this which allows a larger quantization step), then read according to a determined scan, in general, a so-called zig-zag scan. Figure 1 illustrates this example of scanning mode: each of the coefficients (64 in a block of 8 x 8 image points) is assigned a number corresponding to the order in which the coefficients will be coded (here O for the coefficient direct DC and 1 to 63 for AC coefficients). This order of the coefficients corresponds, in fact, to their importance according to a psychovisual criterion linked to the spatial frequencies in the block. The first coefficient, in position 0, corresponds to a uniform block structure, and the coefficients of the rows and columns correspond respectively at increasing horizontal spatial frequencies and at increasing vertical spatial frequencies, the sensitivity of the human eye decreases when the spatial frequency of the structures present in the image increases. This reading of the coefficients, in the direction of the arrows indicated in FIG. 1, is followed by VLC coding which uses the shortest code words for the most frequent symbols to be coded and the longest code words for the most frequent symbols less frequent (and thus leads to an average length of code word less than what it would be with a coding technique with fixed length).
A l'intérieur d'une séquence, une image présente elle aussi, souvent, des similitudes avec les images qui 1' entourent. Cette redondance temporelle autorise à utiliser une image pour en prédire une autre, la première étant, comme on l'a vu plus haut, codée normalement (image intra I), c'està-dire indépendamment de toute autre image, mais ensuite seule la différence entre les points d'image de l'une et de l'autre étant codée (images prédites P ou B). Le choix entre les différents types de prédiction possibles est effectué sur la base du résultat d'une estimation de mouvement des objets contenus dans les images, effectuée elle-même au niveau des macroblocs : on dispose donc, alors, de macroblocs dits intra (car codés de façon autonome) ou de macroblocs prédits.Une image intra I ne contient que des macroblocs intra et permet un décodage autonome, sans référence à d'autres images de la séquence. Une image prédite de type P ne contient que des macroblocs intra ou des macroblocs prédits à partir d'informations contenues dans une image antérieure (macroblocs
P). Une image prédite de type B contient n'importe quel type de macroblocs (intra, ou prédits à partir d'une image antérieure ou d'une image postérieure, ou prédits à l'aide d'une interpolation bidirectionnelle entre une image antérieure et une image postérieure). La figure 2 donne un exemple d'une succession d'images codées de type I, P, B telles qu'affichées (l'ordre de transmission étant différent de l'ordre d'affichage représenté sous ces images, pour permettre le décodage des images P nécessaires au décodage des images B qui les précèdent dans l'ordre d'affichage).La prédiction est effectuée ellemême par exemple par recherche de la corrélation entre le bloc de l'image courante et l'un des blocs présents dans une fenêtre de recherche définie dans l'image de référence antérieure et/ou postérieure associée à cette image courante, le bloc retenu dans ladite image de référence étant celui qui donne la meilleure corrélation. Les flèches, sur la figure 2, indiquent à partir de quelle(s) image(s) une image P ou B est prédite.Within a sequence, an image also often presents similarities to the images that surround it. This temporal redundancy allows one image to be used to predict another, the first being, as we saw above, coded normally (intra I image), that is to say independently of any other image, but then only the difference between the image points of one and the other being coded (predicted images P or B). The choice between the various possible types of prediction is made on the basis of the result of an estimation of movement of the objects contained in the images, itself carried out at the level of macroblocks: we therefore have, then, so-called intrablock (because coded autonomously) or predicted macroblocks. An intra I image contains only intra macroblocks and allows autonomous decoding, without reference to other images of the sequence. A type P predicted image contains only intra macroblocks or macroblocks predicted from information contained in an earlier image (macroblocks
P). A type B predicted image contains any type of macroblock (intra, or predicted from an anterior or posterior image, or predicted using bidirectional interpolation between an anterior image and a posterior image). FIG. 2 gives an example of a succession of coded images of type I, P, B as displayed (the transmission order being different from the display order represented under these images, to allow the decoding of the P images necessary for decoding the B images which precede them in the display order). The prediction is performed itself for example by searching for the correlation between the block of the current image and one of the blocks present in a window. search defined in the anterior and / or posterior reference image associated with this current image, the block retained in said reference image being that which gives the best correlation. The arrows, in Figure 2, indicate from which image (s) a P or B image is predicted.
Un flot de données MPEG comprend donc six niveaux d'informations, chaque niveau englobant le niveau inférieur et quelques informations additionnelles. Au niveau le plus élevé correspond la séquence d'images, qui commence par un en-tête (header, en anglais) comprenant les informations nécessaires au décodage de la séquence (code de départ de séquence, format, cadence d'image, cadence des bits, taille de mémoire, matrices de quantification) et se termine par un code de fin de séquence. An MPEG data stream therefore includes six levels of information, each level including the lower level and some additional information. The highest level corresponds to the sequence of images, which begins with a header including the information necessary for decoding the sequence (sequence start code, format, frame rate, frame rate bits, memory size, quantization matrices) and ends with an end of sequence code.
Au niveau inférieur, le groupe d'images GOP comprend un nombre quelconque d'images, dont au moins une image
I. Bien que ce ne soit pas indispensable, chaque GOP peut être autonome (il commence par une image I et se termine par une image I ou P) et peut être décodé indépendamment de toute image antérieure ou postérieure à lui. En outre, la succession des images I, P, B est souvent périodique, comme dans le cas de l'exemple de la figure 2, mais ce n'est là non plus pas indispensable. Chaque GOP contient un en-tête suivi d'un certain nombre d'images. Cet en-tête marque le début du GOP et contient des informations additionnelles : code de départ de
GOP, durée de la première image affichée du GOP, indicateur de codage autonome du GOP, etc... On a vu plus haut que l'ordre de transmission des images d'un GOP n'est en général pas l'ordre naturel des images avant codage ou après décodage.At the lower level, the GOP group of images includes any number of images, at least one of which
I. Although it is not essential, each GOP can be autonomous (it begins with an I image and ends with an I or P image) and can be decoded independently of any image before or after it. In addition, the succession of images I, P, B is often periodic, as in the case of the example in FIG. 2, but this is not essential either. Each GOP contains a header followed by a number of images. This header marks the start of the GOP and contains additional information: start code for
GOP, duration of the first displayed image of the GOP, autonomous coding indicator of the GOP, etc. We have seen above that the order of transmission of the images of a GOP is generally not the natural order of images before coding or after decoding.
Le niveau encore inférieur, qui correspond à l'image, inclut un en-tête d'image suivi d'un nombre déterminé de tranches d'image. Là encore, l'en-tête marque le début de l'image et contient des informations additionnelles : code de départ de l'image, référence temporelle de l'image, type de l'image (I, P, B), et autres codes ou indicateurs. The still lower level, which corresponds to the image, includes an image header followed by a determined number of image slices. Again, the header marks the start of the image and contains additional information: image start code, image time reference, image type (I, P, B), and other codes or indicators.
Le niveau encore inférieur correspond à la tranche d'image et inclut un en-tête de tranche suivi d'un certain nombre de macroblocs. L'en-tête marque le début de la tranche et contient des informations additionnelles : code de départ de la tranche, pas de quantification des coefficients DCT, etc... The even lower level corresponds to the image slice and includes a slice header followed by a certain number of macroblocks. The header marks the start of the section and contains additional information: start code of the section, no quantification of the DCT coefficients, etc.
Seuls les quatre niveaux supérieurs qui viennent d'être énumérés contiennent des données de synchronisation. Only the upper four levels which have just been listed contain synchronization data.
Cette synchronisation est assurée à chaque fois par un code de départ, ici d'une longueur de 32 bits, comprenant d'une part le mot de synchronisation lui-même (24 bits) et d'autre part huit bits indicateurs du niveau (séquence, GOP, image, tranche).This synchronization is ensured each time by a start code, here a length of 32 bits, comprising on the one hand the synchronization word itself (24 bits) and on the other hand eight level indicator bits (sequence , GOP, image, slice).
Chaque mot de synchronisation est unique pour éliminer tout risque de confusion lors du décodage.Each synchronization word is unique to eliminate any risk of confusion during decoding.
Au niveau inférieur suivant, on trouve un en-tête de macrobloc suivi d'un certain nombre de blocs, ici 6 au maximum (il y a normalement six blocs, comme on l'a vu, mais tout bloc dont les coefficients sont tous nuls n'est pas transmis). Cet en-tête contient lui aussi quelques informations additionnelles telles que l'adresse du macrobloc (pour connaître sa position), son type (pour indiquer son mode de codage : intra, prédiction monodirectionnelle, prédiction bidirectionnelle), facteur de quantification, existence ou non d'un vecteur de mouvement associé, indication de ceux des blocs qui sont codés dans le macrobloc, etc... At the next lower level, there is a macroblock header followed by a certain number of blocks, here maximum 6 (there are normally six blocks, as we have seen, but any block whose coefficients are all zero is not transmitted). This header also contains some additional information such as the address of the macroblock (to know its position), its type (to indicate its coding mode: intra, one-way prediction, two-way prediction), quantification factor, existence or not of an associated motion vector, indication of those of the blocks which are coded in the macroblock, etc.
Le dernier niveau est celui des blocs, qui représentent ici des sections de 8 x 8 points d'image de la matrice de luminance ou des matrices de chrominance. Chaque bloc, on l'a vu, subit une transformation DCT qui le convertit en un bloc de coefficients (coefficient DC et coefficients
ACs). Comme les macroblocs, les blocs sont, selon leur mode de codage, de type intra (et ils commencent alors toujours par un coefficient DC) ou bien prédits (et dans ce cas, ils comprennent au moins un coefficient AC non nul, sinon ils ne sont pas codés). Le codage des coefficients eux-mêmes est différent pour les DCs et pour les ACs.Pour les coefficients
DC, le mot de code traduit la différence entre le DC du bloc courant et le DC du précédent bloc codé (ce précédent coefficient de bloc DC étant donc utilisé à des fins de prédiction, aussi bien dans le cas de la luminance que dans celui de la chrominance). Pour les ACs, il n'y a pas de codage différentiel, le mot de code comprend systématiquement une plage de zéros de longueur variable, suivie de la valeur absolue du premier coefficient non nul, puis du bit de signe de ce coefficient. Chaque bloc se termine par un code de fin de bloc qui prend place dès que tous les coefficients suivants sont nuls.The last level is that of the blocks, which here represent sections of 8 x 8 image points of the luminance matrix or the chrominance matrices. Each block, as we have seen, undergoes a DCT transformation which converts it into a block of coefficients (DC coefficient and coefficients
ACs). Like macroblocks, blocks are, according to their coding mode, of intra type (and they then always start with a DC coefficient) or else predicted (and in this case, they include at least one non-zero AC coefficient, otherwise they do not are not coded). The coding of the coefficients themselves is different for DCs and for ACs.
DC, the code word translates the difference between the DC of the current block and the DC of the previous coded block (this previous DC block coefficient therefore being used for prediction purposes, both in the case of luminance and in that of chrominance). For ACs, there is no differential coding, the code word systematically includes a range of zeros of variable length, followed by the absolute value of the first nonzero coefficient, then by the sign bit of this coefficient. Each block ends with an end of block code which takes place as soon as all the following coefficients are zero.
Ces rappels relatifs à MPEG1 étant effectués, la description de l'invention proprement dite peut être entreprise. L'étude précédente a souligné que certaines données
MPEG1 étaient plus importantes que d'autres. Par exemple, MPEG1 utilise une prédiction compensée en mouvement, et les vecteurs de mouvement décrivant le mouvement des blocs sont des informations essentielles dont la perte conduit sur l'image à des artefacts très visibles : le déplacement de macroblocs entiers. Une erreur sur les DCs entraîne, elle, un changement de couleur complet d'un bloc ou d'un macrobloc. Les vecteurs de mouvement et les DCs, codés de façon différentielle, sont en outre très sensibles à la propagation des erreurs.Enfin, du fait de la technique de prédiction temporelle entre images, des erreurs dans les images de type I ou P se répercutent dans celles de type B, tant qu'une nouvelle image I n'est pas survenue.These reminders relating to MPEG1 being carried out, the description of the invention proper can be undertaken. The previous study pointed out that some data
MPEG1 were more important than others. For example, MPEG1 uses a motion compensated prediction, and the motion vectors describing the movement of the blocks are essential information whose loss leads to very visible artifacts on the image: the displacement of entire macroblocks. An error on the DCs results in a complete color change of a block or a macroblock. Motion vectors and DCs, differentially coded, are also very sensitive to the propagation of errors. Finally, due to the technique of temporal prediction between images, errors in type I or P images are reflected in those of type B, as long as a new image I has not occurred.
La solution technique maintenant décrite prend en compte cette importance variable des diverses données, cette hiérarchie, et crée d'autre part deux niveaux de protection des informations ainsi classées hiérarchiquement. Cependant, avant de décrire le dispositif qui met en oeuvre cette solution, on va présenter les étapes essentielles du processus de cette mise en oeuvre. The technical solution now described takes into account this variable importance of the various data, this hierarchy, and on the other hand creates two levels of protection of the information thus classified hierarchically. However, before describing the device that implements this solution, we will present the essential steps in the process of this implementation.
Le première de ces étapes consiste à examiner et trier les informations MPEG1 par degré d'importance décroissant:
- les en-têtes
- les vecteurs de mouvement
- les coefficients DC
- les coefficients AC.The first of these steps is to examine and sort the MPEG1 information by degree of decreasing importance:
- the headers
- motion vectors
- DC coefficients
- AC coefficients.
Parmi ces informations, les en-têtes, les vecteurs de mouvement et les coefficients DC suffisent, à eux seuls, pour reconstruire une image extrêmement sommaire et peu esthétique, mais cependant reconnaissable par rapport à l'image d'origine.Among this information, the headers, the motion vectors and the DC coefficients alone are sufficient to reconstruct an extremely sketchy and unattractive image, but nevertheless recognizable compared to the original image.
Différents essais et tests statistiques ont montré que, dans un groupe d'images GOP, ces données n'utilisent en général pas plus de 30 % du débit global, pourcentage qui, dans la suite de la description, constituera donc la base de répartition du débit global entre un canal de transmission dit de haute priorité (noté ici HP) et un canal de transmission dit de basse priorité (noté ici LP).Various tests and statistical tests have shown that, in a group of GOP images, these data generally do not use more than 30% of the global bit rate, a percentage which, in the following description, will therefore constitute the basis of distribution of the overall speed between a transmission channel called high priority (noted here HP) and a transmission channel called low priority (noted here LP).
La deuxième étape consiste à réaliser à l'intérieur d'un groupe d'images GOP une modification locale de cette répartition de débit entre les canaux HP et LP. En effet, dans des images de type B, les vecteurs de mouvement occupent souvent plus de 50 % du débit, mais seulement 5 % environ, ou moins encore, dans des images I. Une répartition locale du débit est donc possible, tout en maintenant bien sûr la proportion moyenne égale à 30 % sur la totalité du GOP. Cette adaptation locale de la répartition, qui tente de favoriser les informations les plus importantes, est effectuée dans chaque tranche, car le débit varie énormément d'une tranche à l'autre, les tranches intra comprenant bien plus de coefficients AC, par exemple, que les tranches prédites. The second step consists in carrying out, within a group of GOP images, a local modification of this bit rate distribution between the HP and LP channels. Indeed, in type B images, the motion vectors often occupy more than 50% of the flow, but only about 5%, or even less, in I images. A local distribution of the flow is therefore possible, while maintaining of course the average proportion equal to 30% over the entire GOP. This local adaptation of the distribution, which attempts to favor the most important information, is carried out in each band, because the flow rate varies enormously from one band to another, the intra bands comprising many more AC coefficients, for example, than the predicted slices.
La mise en oeuvre de ces étapes est réalisée à l'aide du dispositif de traitement représenté sur la figure 3. The implementation of these steps is carried out using the processing device shown in FIG. 3.
Ce dispositif comprend tout d'abord un circuit de comptage 10, qui reçoit, parmi le flot de données numériques, successivement chaque groupe d'images GOP et détermine puis stocke en mémoire le nombre de bits qu'utilise chaque catégorie de données pour chaque tranche de ce GOP. Deux situations peuvent alors se présenter
(a) la première d'entre elles est celle où, pour la totalité des tranches du GOP, le nombre global des bits correspondant aux en-têtes, aux vecteurs de mouvement et aux coefficients DC reste inférieur au nombre de bits qui, pour tout le GOP, correspond à l'allocation HP (on appellera ainsi par la suite le nombre de bits "haute priorité", et allocation
LP le nombre de bits "basse priorité" complémentaire par rapport à la totalité des bits d'un GOP).This device firstly comprises a counting circuit 10, which successively receives, among the stream of digital data, each group of GOP images and determines then stores in memory the number of bits used by each category of data for each slice of this GOP. Two situations can then arise
(a) the first of these is that where, for all the slices of the GOP, the overall number of bits corresponding to the headers, the motion vectors and the DC coefficients remains lower than the number of bits which, for all the GOP, corresponds to the allocation HP (we will call thereafter the number of bits "high priority", and allocation
LP the number of complementary "low priority" bits compared to all the bits of a GOP).
(b) la deuxième situation, moins fréquente, est celle où ce nombre global des bits correspondant aux en-têtes, vecteurs de mouvement et coefficients DC est supérieur à l'allocation HP du
GOP et où l'excédent de bits doit être incorporé à l'allocation
LP et être transmis par le canal LP.(b) the second situation, less frequent, is that where this global number of bits corresponding to the headers, motion vectors and DC coefficients is greater than the allocation HP of the
GOP and where the excess bits must be incorporated into the allocation
LP and be transmitted through the LP channel.
La détermination effectuée par le circuit 10 est importante. En effet, l'affectation réelle des bits à transmettre au canal HP ou au canal LP est opérée différemment selon le résultat de cette détermination. Dans le cas de la situation (a) ci-dessus, la totalité des informations les plus importantes peut être transmise par le canal HP, et l'affectation HP réelle de chaque tranche est la suivante
- à chaque tranche est affecté le nombre total exact de bits dont elle a besoin pour cette transmission HP des en-têtes, vecteurs de mouvement et coefficients DC
- la totalité des bits ainsi alloués pour toutes les tranches est soustraite de l'allocation globale HP par GOP, et le nombre de bits résiduel ainsi obtenu (ou allocation HP résiduelle) est utilisé, conjointement avec la totalité de l'allocation globale LP par GOP, pour la transmission de tous les bits restants, qui correspondent à des coefficients AC.The determination made by circuit 10 is important. The actual allocation of the bits to be transmitted to the HP channel or to the LP channel is effected differently depending on the result of this determination. In the case of situation (a) above, all of the most important information can be transmitted by the HP channel, and the actual HP allocation of each section is as follows
- each slice is assigned the exact total number of bits it needs for this HP transmission of headers, motion vectors and DC coefficients
- the totality of the bits thus allocated for all the slices is subtracted from the global allocation HP by GOP, and the number of residual bits thus obtained (or residual HP allocation) is used, jointly with the totality of the global allocation LP by GOP, for the transmission of all the remaining bits, which correspond to AC coefficients.
L'affectation HP ou LP de ces bits restants est réalisée en répartissant l'allocation HP résiduelle entre la totalité des tranches du GOP, avec cependant une priorité pour les tranches appartenant à des images intra I (car ces images I servent de base à la prédiction des images prédites P ou B et doivent donc être le moins possible touchées par des erreurs de transmission). Si l'allocation résiduelle HP est suffisante pour y affecter la totalité des bits appartenant à de telles tranches intra I et qu'il subsiste encore une allocation résiduelle HP, cette dernière est cette fois destinée aux bits des tranches appartenant à des images prédites de type P, puis, éventuellement, s'il y a encore de la place, aux bits des tranches appartenant à des images prédites de type B.Si l'allocation résiduelle HP est au contraire plus faible que la totalité des bits correspondant à des tranches I, cette allocation est répartie entre toutes lesdites tranches I, et les bits non alloués de ces tranches I reçoivent une affectation LP, de même que la totalité des bits restants.The allocation HP or LP of these remaining bits is carried out by distributing the residual allocation HP between all the slices of the GOP, with however a priority for the slices belonging to intra I images (because these I images serve as a basis for the prediction of predicted images P or B and must therefore be affected as little as possible by transmission errors). If the residual allocation HP is sufficient to allocate therein all of the bits belonging to such intra I slots and there is still a residual allocation HP, this latter is this time intended for the bits of the slots belonging to predicted images of the type P, then, possibly, if there is still room, for the bits of the slices belonging to type B predicted images. If the residual allocation HP is on the contrary lower than all the bits corresponding to slices I , this allocation is distributed among all said slots I, and the unallocated bits of these slots I receive an LP allocation, as well as all of the remaining bits.
Dans le cas contraire de la situation (b), la totalité des informations les plus importantes ne peut pas être tout entière transmise par le canal HP, et la fraction excédentaire devra être transmise par le canal LP. Par souci de simplification de l'affectation, le processus de réalisation de cette affectation est ici l'inverse du précédent
- à chaque tranche est affecté le nombre total exact de bits dont elle a besoin pour la transmission LP des informations les moins importantes (les coefficients AC)
- la totalité des bits ainsi alloués pour toutes les tranches est soustraite de l'allocation globale LP par GOP, et le nombre de bits résiduel ainsi obtenu (ou allocation LP résiduelle) est utilisé, conjointement avec la totalité de l'allocation globale HP par GOP, pour la transmission de tous les bits restants, qui correspondent aux en-têtes, vecteurs de mouvement et coefficients DC. Là encore, l'affectation LP ou HP de ces bits restants est effectuée par une répartition de l'allocation LP résiduelle entre la totalité des tranches du
GOP, avec ici une priorité pour les tranches B, puis P, qui craignent moins que les tranches I d'être touchées par des erreurs de transmission. Si l'allocation résiduelle LP est suffisante pour y affecter la totalité des bits appartenant à de telles tranches B, puis P, et qu'il subsiste encore une allocation résiduelle LP, cete dernière est destinée à des bits de tranches appartenant à des images I. Si l'allocation résiduelle LP est au contraire plus faible que la totalité des bits des tranches B et P, cette allocation est répartie entre toutes lesdites tranches B et P, et les bits non alloués de ces tranches B et P reçoivent une affectation HP, de même que la totalité des bits restants.In the opposite case of situation (b), the whole of the most important information cannot be entirely transmitted by the HP channel, and the excess fraction will have to be transmitted by the LP channel. For the sake of simplification of the assignment, the process of achieving this assignment is here the reverse of the previous one.
- each slice is assigned the exact total number of bits it needs for the LP transmission of the least important information (the AC coefficients)
- the totality of the bits thus allocated for all the sections is subtracted from the global allocation LP by GOP, and the number of residual bits thus obtained (or allocation LP residual) is used, jointly with the totality of the global allocation HP by GOP, for the transmission of all the remaining bits, which correspond to the headers, motion vectors and DC coefficients. Here again, the allocation LP or HP of these remaining bits is carried out by a distribution of the residual allocation LP between all the slices of the
GOP, with priority here for tranches B, then P, which are less afraid than tranches I of being affected by transmission errors. If the residual allocation LP is sufficient to allocate all of the bits belonging to such slices B, then P, and there is still a residual allocation LP, the latter is intended for bits of slices belonging to images I If the residual allocation LP is, on the contrary, lower than the totality of the bits of the slices B and P, this allocation is distributed between all the said slices B and P, and the unallocated bits of these slices B and P receive an allocation HP , as well as all of the remaining bits.
Le circuit de comptage 10 a donc, pour résumer, permis de déterminer et mémoriser le nombre total NT(GOP) de bits correspondant à un GOP, le nombre NS(MBK) de macroblocs dans chaque tranche de ce GOP, et le nombre de bits correspondant à chaque tranche et utilisé par chaque catégorie de données : NS(HDR) pour les en-têtes de tranche, Ns(OVH) pour les vecteurs de mouvement (encore appelés en-têtes de macrobloc), NS(DCS) pour les coefficients DC, et Ns(ACS) pour les coefficients AC.Un circuit d'allocation 20, prévu en sortie du circuit 10, permet de réaliser l'ensemble des affectations de bits aux canaux HP et LP telles que décrites ci-dessus dans leur principe et de mémoriser les nombres de bits correspondant à ces affectations, par tranche : N(HHP) et
N(HLP) pour les en-têtes de tranche, N(VHP) et N(VLP) pour les en-têtes de macrobloc, N(DHP) et N(DLP) pour les coefficients
DC, et N(AHP) et N(ALP) pour les coefficients AC (HP et LP désignant toujours, dans ces notations, respectivement le canal
HP et le canal LP).The counting circuit 10 therefore has, to sum up, made it possible to determine and store the total number NT (GOP) of bits corresponding to a GOP, the number NS (MBK) of macroblocks in each slice of this GOP, and the number of bits corresponding to each slice and used by each data category: NS (HDR) for slice headers, Ns (OVH) for motion vectors (also called macroblock headers), NS (DCS) for coefficients DC, and Ns (ACS) for the AC coefficients. An allocation circuit 20, provided at the output of circuit 10, makes it possible to carry out all of the bit assignments to the HP and LP channels as described above in principle. and memorize the numbers of bits corresponding to these assignments, by slice: N (HHP) and
N (HLP) for slice headers, N (VHP) and N (VLP) for macroblock headers, N (DHP) and N (DLP) for coefficients
DC, and N (AHP) and N (ALP) for the AC coefficients (HP and LP always designating, in these notations, respectively the channel
HP and LP channel).
Ces nombres étant connus et mémorisés, une étape suivante consiste à opérer une redistribution de l'ordre des bits de chaque tranche du GOP. Cette redistribution est définie par un circuit de commande de brassage 30 prévu en sortie des circuits 10 et 20. Ce circuit 30 opère par tranche puis, par un rebouclage après traitement d'une tranche, permet d'opérer successivement pour toutes les tranches du GOP. Ledit traitement n'est donc décrit que pour une seule tranche. These numbers being known and memorized, a next step consists in operating a redistribution of the order of the bits of each slice of the GOP. This redistribution is defined by a patch control circuit 30 provided at the output of circuits 10 and 20. This circuit 30 operates by section then, by a loopback after processing a section, makes it possible to operate successively for all the sections of the GOP . Said processing is therefore described only for a single tranche.
Le principe de ce traitement de brassage pour une tranche est le suivant : des paquets de transmission de longueur connue sont définis dans chacun des deux canaux HP et
LP et pour chacune des informations répertoriées précédemment par ordre d'importance décroissante (en-têtes de tranche, entêtes de macroblocs, coefficients DC, coefficients AC), et, en fonction de la répartition HP-LP adoptée et des allocations réalisées par le ciruit 20, une redistribution (ou brassage) des bits de la tranche est organisée pour remplir de façon optimale ces paquets.The principle of this cross-connection processing for a wafer is as follows: transmission packets of known length are defined in each of the two HP channels and
LP and for each of the information listed previously in decreasing order of importance (section headers, macroblock headers, DC coefficients, AC coefficients), and, depending on the HP-LP distribution adopted and the allocations made by the circuit 20, a redistribution (or mixing) of the bits of the slice is organized to optimally fill these packets.
Cette redistribution doit cependant opérer par tests préalables, compte tenu des diverses situations qui peuvent se présenter en fonction des valeurs d'allocations déterminées précédemment. Dans l'exemple de réalisation ici décrit, on distingue quatre situations particulières, qui sont successivement étudiées ci-dessous. This redistribution must however operate by prior tests, taking into account the various situations which may arise depending on the allocation values determined previously. In the embodiment described here, there are four specific situations, which are successively studied below.
Dans la première de ces situations, qui est en général la plus fréquente, le nombre de bits HP (= allocation
HP) est supérieur à la somme des nombres de bits NS(HDR), Ns(OVH) et NS(DCS) (respectivement : en-têtes de tranche, entêtes de macrobloc, coefficients DC). On définit alors, de façon comparable à ce qui a été vu précédemment en référence au document USP-4907101 déjà cité, une boîte HP des vecteurs de mouvement, de longueur égale à la longueur moyenne desdits vecteurs de mouvement sur toute la tranche. Puis on définit, de façon autonome, une boîte HP des coefficients DC de longueur égale à la longueur moyenne desdits coefficients DC sur toute la tranche.L'allocation HP résiduelle est enfin répartie de façon égale entre les coefficients AC, ce qui définit une boîte
HD des coefficients AC, de longueur égale à cette allocation HP résiduelle divisée par le nombre de blocs de la tranche. Pour les coefficients AC résiduels, la division du nombre de bits correspondant par le nombre de blocs dans la tranche définit de même une boîte LP des coefficients AC. On doit ici remarquer que les divisions permettant de calculer les longueurs des boîtes ont en général des restes, et que la longueur, en nombre de bits, de ces restes doit alors être transmise, d'une façon qui est décrite plus loin.In the first of these situations, which is generally the most frequent, the number of HP bits (= allocation
HP) is greater than the sum of the numbers of bits NS (HDR), Ns (OVH) and NS (DCS) (respectively: slice headers, macroblock headers, DC coefficients). We then define, in a manner comparable to what has been seen previously with reference to document USP-4907101 already cited, a box HP of motion vectors, of length equal to the average length of said motion vectors over the entire wafer. Then, an HP box of DC coefficients of length equal to the average length of said DC coefficients is defined autonomously over the entire section. The residual HP allocation is finally distributed equally between the AC coefficients, which defines a box
HD of the AC coefficients, of length equal to this residual HP allocation divided by the number of blocks in the tranche. For the residual AC coefficients, the division of the corresponding number of bits by the number of blocks in the slice likewise defines a box LP of the AC coefficients. It should be noted here that the divisions making it possible to calculate the lengths of the boxes generally have remainders, and that the length, in number of bits, of these remainders must then be transmitted, in a manner which is described later.
Dans la deuxième des situations mentionnées plus haut, le nombre de bits HP, ou allocation HP, est inférieur à la somme NS(HDR) + Ns(OVH) + NS(DCS), mais reste supérieur à NS(HDR) + Ns(OVH) (en-têtes de tranche + en-têtes de macrobloc).On définit alors de même, pour chacun des types de données pouvant être affectés totalement au canal HP (les entêtes de tranche et les en-têtes de macrobloc) ou au canal LP (les coefficients AC), une longueur moyenne associée définissant une boîte de longueur fixe, puis, pour celles des données qui doivent être réparties entre ces deux canaux (les coefficients DC), d'abord la longueur moyenne associée au canal
HP puis celle associée au canal LP, ces deux dernières longueurs définissant de même une boîte de longueur fixe correspondante.In the second of the situations mentioned above, the number of bits HP, or allocation HP, is less than the sum NS (HDR) + Ns (OVH) + NS (DCS), but remains greater than NS (HDR) + Ns ( OVH) (slice headers + macroblock headers). We then define the same, for each of the data types that can be completely assigned to the HP channel (slice headers and macroblock headers) or to LP channel (AC coefficients), an associated average length defining a fixed length box, then, for those of the data to be distributed between these two channels (DC coefficients), first the average length associated with the channel
HP then that associated with the LP channel, these last two lengths likewise defining a box of corresponding fixed length.
Dans la troisième des situations mentionnées, l'allocation HP est inférieure à la somme NS(HDR) + Ns(OVH), mais reste supérieure à NS(HDR) (en-têtes de tranche seuls). Là encore, on définit alors des longueurs moyennes, ou boîtes de longueur fixe, pour chacun des types de données (ici, les ACs et les DCs) pouvant être affectés à l'un des canaux HP ou LP (ici, le canal LP pour les ACs et les DCs), puis, pour celles des données qui doivent être réparties entre les deux canaux (les. en-têtes de macrobloc), d'abord la longueur moyenne associée au canal HP puis celle associée au canal LP, ces deux dernières longueurs définissant de même une boîte de longueur fixe correspondante. In the third of the situations mentioned, the HP allocation is less than the sum NS (HDR) + Ns (OVH), but remains greater than NS (HDR) (unit headers only). Again, we then define average lengths, or fixed length boxes, for each of the data types (here, ACs and DCs) that can be assigned to one of the HP or LP channels (here, the LP channel for ACs and DCs), then, for those of the data which must be distributed between the two channels (the macroblock headers), first the average length associated with the HP channel then that associated with the LP channel, these two last lengths also defining a corresponding fixed length box.
On ne citera que pour mémoire la quatrième des situations évoquées, dans laquelle l'allocation HP est insuffisante pour permettre la transmission de l'en-tête de tranche. Cette situation ne permet plus la mise en oeuvre des principes de répartition par boîtes HP ou
LP : il s'agit d'une situation de repli, où le dispositif reprend un autre mode de fonctionnement, différent de celui selon l'invention, par exemple celui décrit dans le document
USP-4907101 déjà cité.The fourth of the situations mentioned will only be mentioned for the record, in which the HP allocation is insufficient to allow transmission of the section header. This situation no longer allows the principles of distribution by HP boxes or
LP: this is a fallback situation, where the device resumes another operating mode, different from that according to the invention, for example that described in the document
USP-4907101 already cited.
Bien entendu, la présente invention n'est pas limitée à l'exemple de réalisation ci-dessus décrit et représenté, à partir duquel des variantes peuvent être proposées sans pour cela sortir du cadre de l'invention. En particulier, on a vu, dans les trois premières des quatre situations qui viennent d'être mentionnées, que les divisions conduisant à la détermination des boîtes HP et LP associées à chaque type de données de longueur variable pouvaient avoir des restes, qui correspondent à des bits excédentaires (en anglais, leftover bits). Ces bits excédentaires ne sont inclus dans aucune des boîtes définies jusqu'à présent, et l'on définit, pour eux, à nouveau des boîtes HP et LP. La boîte HP est déterminée en soustrayant de l'allocation HP globale le nombre de bits correspondant à toutes les boîtes HP déjà définies (et également le nombre de bits correspondant à l'en-tête de tranche), et la boîte LP est calculée de même, par soustraction de l'allocation LP globale, du nombre de bits correspondant à toutes les boîtes LP existant déjà. Ces calculs sont effectués, comme les précédents, dans le circuit 30 de commande de redistribution de bits, dans lequel ils constituent une étape supplémentaire du processus de redistribution mis en oeuvre. Of course, the present invention is not limited to the embodiment described above and shown, from which variants can be proposed without departing from the scope of the invention. In particular, it has been seen, in the first three of the four situations which have just been mentioned, that the divisions leading to the determination of the HP and LP boxes associated with each type of variable length data could have remainders, which correspond to excess bits (in English, leftover bits). These excess bits are not included in any of the boxes defined so far, and we define, for them, again HP and LP boxes. The HP box is determined by subtracting from the global HP allocation the number of bits corresponding to all the HP boxes already defined (and also the number of bits corresponding to the slice header), and the LP box is calculated from even, by subtracting the global LP allocation, from the number of bits corresponding to all the LP boxes already existing. These calculations are carried out, like the previous ones, in the bit redistribution control circuit 30, in which they constitute an additional step in the redistribution process implemented.
Par ailleurs, pour ne pas avoir à stocker toute une image ou tout un groupe d'images dans la mémoire adressable 40, c'est-à-dire pour réduire le volume de cette mémoire, il est possible d'utiliser pour toute cette image ou tout ce groupe un processus récursif permettant de valider les comptages effectués pour l'image ou le groupe précédent. Il suffit alors de stocker dans la mémoire adressable 40 seulement le flot de bits correspondant au codage d'une seule tranche, et la capacité de cette mémoire peut donc être plus faible que dans le cas précédent. Pour la première image ou pour le premier groupe d'images, aucune utilisation de comptages précédents n'est possible, bien évidemment, et l'on fixe donc les allocations HP et LP à la même valeur pour chacune des tranches, cette valeur étant égale à ladite proportion globale déterminée (dans l'exemple décrit, 30 % et 70 % respectivement). Furthermore, in order not to have to store an entire image or a whole group of images in the addressable memory 40, that is to say to reduce the volume of this memory, it is possible to use for this entire image or this whole group a recursive process allowing to validate the counts made for the image or the previous group. It then suffices to store in the addressable memory 40 only the stream of bits corresponding to the coding of a single slice, and the capacity of this memory can therefore be lower than in the previous case. For the first image or for the first group of images, no use of previous counts is possible, of course, and the HP and LP allocations are therefore fixed at the same value for each of the sections, this value being equal to said determined overall proportion (in the example described, 30% and 70% respectively).
Claims (4)
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9213855A FR2698233A1 (en) | 1992-11-18 | 1992-11-18 | Digital television signal processing circuit |
| US08/148,109 US5502571A (en) | 1992-11-18 | 1993-11-04 | Device for processing digital signals first coded by means of variable length coding and device for inversely processing signals thus processed |
| EP93203146A EP0598444B1 (en) | 1992-11-18 | 1993-11-11 | Apparatus for processing variable length coded digital signals, and corresponding apparatus for inverse processing of such signals |
| DE69319852T DE69319852T2 (en) | 1992-11-18 | 1993-11-11 | Device for processing coded digital signals of variable length and corresponding device for reverse processing |
| AU50747/93A AU675974B2 (en) | 1992-11-18 | 1993-11-17 | Device for processing digital signals first coded by means of variable length coding and device for inversely processing signals thus processed |
| JP5289487A JPH06225280A (en) | 1992-11-18 | 1993-11-18 | Digital signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9213855A FR2698233A1 (en) | 1992-11-18 | 1992-11-18 | Digital television signal processing circuit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2698233A1 true FR2698233A1 (en) | 1994-05-20 |
Family
ID=9435652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR9213855A Withdrawn FR2698233A1 (en) | 1992-11-18 | 1992-11-18 | Digital television signal processing circuit |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2698233A1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5111292A (en) * | 1991-02-27 | 1992-05-05 | General Electric Company | Priority selection apparatus as for a video signal processor |
| US5144425A (en) * | 1991-08-26 | 1992-09-01 | General Electric Company | Apparatus for hierarchically dividing video signals |
-
1992
- 1992-11-18 FR FR9213855A patent/FR2698233A1/en not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5111292A (en) * | 1991-02-27 | 1992-05-05 | General Electric Company | Priority selection apparatus as for a video signal processor |
| US5144425A (en) * | 1991-08-26 | 1992-09-01 | General Electric Company | Apparatus for hierarchically dividing video signals |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2660139A1 (en) | METHOD OF ENCODING AND TRANSMITTING AT AT LEAST TWO QUALITY LEVELS OF DIGITAL IMAGES BELONGING TO A SEQUENCE OF IMAGES, AND CORRESPONDING DEVICES THEREOF. | |
| EP0598444B1 (en) | Apparatus for processing variable length coded digital signals, and corresponding apparatus for inverse processing of such signals | |
| EP0247075B1 (en) | Method for hybrid coding by transformation for the transmission of image signals | |
| EP0618722B1 (en) | Method and device for decoding compressed images | |
| FR2682846A1 (en) | DEVICE FOR HIERARCHICALLY DISTRIBUTING VIDEO SIGNALS. | |
| US8660181B2 (en) | Method of compressing video data and a media player for implementing the method | |
| EP0022713B1 (en) | Device for coding and decoding a digital videophone signal | |
| EP0670663A1 (en) | Method of and apparatus for coding digital signals representing a sequence of images | |
| FR2682847A1 (en) | DEVICE FOR SEPARATING A VIDEO SIGNAL BETWEEN TWO CHANNELS. | |
| JPH09507347A (en) | Quad-tree WALSH conversion video / image coding | |
| FR2764156A1 (en) | PRETREATMENT DEVICE FOR MPEG II CODING | |
| WO2014001703A1 (en) | Method for encoding a current block of a first image component relative to a reference block of at least one second image component, encoding device and corresponding computer program | |
| FR2755527A1 (en) | MOTION-COMPENSATED PREDICTION METHOD AND ENCODER USING SUCH A METHOD | |
| FR2702862A1 (en) | An apparatus and method for processing image data capable of processing high speed image data. | |
| FR2752654A1 (en) | METHOD FOR RECORDING VIDEO IMAGE DATA INTO A MEMORY | |
| EP0689361B1 (en) | Method for the quantization of the coefficients in a digital video coder | |
| EP3345391A2 (en) | Method of coding and decoding images, device for coding and decoding images and computer programmes corresponding thereto | |
| WO1984002821A1 (en) | Method and device for the digital coding of an image, particularly a television image | |
| EP0716395B1 (en) | A method for decoding compressed images | |
| EP0332553A1 (en) | Method for reallocating the choice of processing for sub-sampling upon the criterium of a bit rate reduction of assistance data which serve in the reconstruction of a sub-sampled electronic image | |
| EP0793391A1 (en) | Memory area addressing in an MPEG decoder | |
| EP1302078B1 (en) | Method and apparatus for coding a video image flux | |
| FR2698233A1 (en) | Digital television signal processing circuit | |
| FR2707130A1 (en) | System for receiving and decoding digital signals according to two levels of image definition. | |
| FR2664117A1 (en) | METHOD OF ENCODING ADJUSTABLE PARAMETERS OF A MOTION FIELD IN A SEQUENCE OF ANIMATED IMAGES. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |