FR2901391A1 - Dispositif et procede de codage et de decodage d'au moins une image - Google Patents

Dispositif et procede de codage et de decodage d'au moins une image Download PDF

Info

Publication number
FR2901391A1
FR2901391A1 FR0651815A FR0651815A FR2901391A1 FR 2901391 A1 FR2901391 A1 FR 2901391A1 FR 0651815 A FR0651815 A FR 0651815A FR 0651815 A FR0651815 A FR 0651815A FR 2901391 A1 FR2901391 A1 FR 2901391A1
Authority
FR
France
Prior art keywords
image
texture
data
deformation
quantized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR0651815A
Other languages
English (en)
Inventor
Guen Benjamin Le
Stephane Pateux
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Priority to FR0651815A priority Critical patent/FR2901391A1/fr
Publication of FR2901391A1 publication Critical patent/FR2901391A1/fr
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

L'invention concerne un dispositif et un procédé de codage d'au moins une image (I), comportant les étapes suivantes :-décomposition de ladite au moins une image (I) en des données de déformation ( tauTI(u,v)) définissant une déformation de ladite au moins une image et des données de texture (T(u,v)) définissant une texture de ladite au moins une image dans une base de représentation déterminée,-quantification desdites données de déformation (tauTI(u,v)) pour former des données de déformation quantifiées (tauTIq(u,v)) et des données de déformation de référence (tauTIref(u,v)),-quantification adaptative desdites données de texture (T(u,v)) en fonction desdites données de déformation de référence (tauTIref(u, v)) pour former des données de texture quantifiées (Tq(u,v)), et-définition d'un signal (S) représentatif de ladite au moins une image (I) comportant lesdites données de déformation quantifiées (tauTIq(u, v)) et lesdites données de texture quantifiées (Tq(u,v)).

Description

coefficients d'ondelettes qui sont majoritaires peuvent être facilement
négligées sans détériorer la qualité de l'image. Des recherches ont notamment abouties au standard JPEG2000 qui est basé sur une décomposition en ondelettes 2D séparables, rompant avec le standard JPEG classique à base de DCT. Cependant, cette décomposition en ondelettes séparables ne permet pas une décorrélation optimale des informations. En effet, les ondelettes séparables ont été reconnues comme sous-optimales pour représenter les singularités d'une image fixe, telles que les contours.
Utiliser des directions de filtrage constantes (l'horizontale et la verticale) produit en effet de forts coefficients tout autour d'une discontinuité orientée. Sur une image reconstruite avec perte, cela se traduit visuellement par des effets de rebonds indésirables au voisinage des contours.
Ce constat a suscité un nouvel engouement de découvrir de nouvelles bases conservant les propriétés ayant fait le succès des ondelettes tout en proposant une adaptabilité au contenu. L'objectif de telles bases est de permettre de reconstruire une image plus proche de l'originale avec un même nombre de coefficients.
Indépendamment de cet objectif d'adaptabilité au contenu, la scalabilité est également devenue un défi majeur des recherches actuelles. Par scalabilité, on entend l'adaptabilité du flux binaire généré aux contraintes du réseau et des terminaux. En effet, dans un système hétérogène (e.g. Internet), tous !es clients ne disposent pas même type d'accès aux données : bande passante, les capacités de traitement euvent erre ]irrere ses transn es directionnelle rer e erre . es directionnels fixes analysant 'Image à des échelles, positions et 30 orientations donnée . D'autres suivent une approche adaptative décrite par un modèle géométrique donnant explicitement la forme locale du noyau d'analyse comme le codage par bandelettes. Un tel exemple est divulgué dans le document publié par E. Le Pennec et al., intitulé Sparse Geometric Image Representation with Bandelets , IEEE Trans. on Image Processing, vol 14, no. 4, pages 423-438, Avril 2005. Le modèle géométrique utilisé dans cet exemple est un quadtree adaptatif. En effet, les auteurs E. Le Pennec et al. proposent de découper une image en blocs de manière adaptative. A chaque bloc est associée une courbe paramétrique, ou "courbe de flux", représentant au mieux la direction locale de régularité. Les paramètres de cette courbe pour un bloc donné sont calculés via la minimisation d'une fonctionnelle. Pour découper l'image, les auteurs E. Le Pennec et al. s'aident d'une représentation en quad-tree de la grille d'échantillonnage, de sorte que quatre blocs donnés peuvent être reliés à un bloc père. Dans une optique de compression, le problème est de déterminer s'il est plus avantageux de coder quatre flux géométriques à un niveau donné ou un seul flux au niveau immédiatement supérieur, et de ne conserver que la configuration la meilleure. Le compromis précision/coût du modèle géométrique est commun à toutes les transformées adaptatives. En commençant à un niveau fin (petite taille de blocs), les auteurs E. Le Pennec et al. répondent à cette question à chaque niveau du quad-tree en adoptant un critère débit/distorsion comme heuristique. La courbe de flux obtenue pour chaque bloc permet de décomposer l'image en bandelettes. En effet, cette courbe dicte la déformation à appliquer localement 3u noyau des onclelettes classiques iteç es oe airectionnalité et anisotropie manquaidéforr 1vu la vei uceie. Une ondelette classique est alors appliquée sur l'Imegette déformée en utilisant la technique du lifting. Une particularité des bandelettes est de décomposer aussi les hautes fréquences sur plusieurs niveaux de manière à exploiter la corrélation le long de la direction de régularité estimée. Une fois transmis le quadtree et les coefficients de bandelettes, la procédure de décodage revient à reproduire la déformation des imagettes et à inverser les étapes de lifting. Après reconstruction de l'image pour un débit cible, on remarque alors une meilleure préservation des contours par rapport aux ondelettes classiques, Cependant, pour un modèle géométrique du type quad-tree, seul les feuilles de cet arbre (quad-tree) portent les informations géométriques, à savoir les paramètres des courbes de flux. De ce fait, couper l'arbre à un niveau donné provoque la perte totale de la géométrie portée par les couches inférieures. Ainsi, ce modèle ne permet pas une transmission progressive, ou scalable, de la géométrie. En outre, la géométrie n'évolue pas de façon continue d'un bloc 15 à l'autre. Par conséquent, on observe une perte d'orthogonalité des noyaux d'analyse à chaque jonction de blocs, ce qui réduit l'efficacité de la décomposition (c'est-à-dire, de la décorrélation des coefficients). Par ailleurs, le calcul des courbes de flux est guidé par un critère local du type gradient. Or, le gradient d'une image est une donnée 20 très bruitée qui nécessite de recourir à un lissage, d'où une perte d'adaptation. Une autre technique de codage utilise un maillage pour modéliser la géométrie d'une image. Un maillage est naturellement scalable. En effet, à partir d'un niveau grossier constitué de quelques 25 arêtes, il est possible d'obtenu des raffinements successifs fonction du ès
comme modèle de géométrie mais comme modèle de grille 30 d'échantillonnage, Une fois échantillonnée, l'image est représentée uniquement par des luminances associées aux noeuds, les valeurs à l'intérieur des faces de la grille étant calculées par interpolation. Une étape de codage d'un résidu sur les mailles peut également être effectuée par la suite.
En général, les images naturelles présentent une géométrie complexe. De façon à s'adapter à cette complexité, on est conduits à travailler sur des triangulations non régulières. Un tel exemple est divulgué dans le document publié par S. Brangoulo, et al. intitulé A New Video Coder Powered With Second Generation Wavelets , SP.tE Mathematics of Data/Image Coding, Compression, and Encryption VI, with Applications, Vol. 5208, Num. 22, San Diego, U.S.A., août 2003. Les auteurs proposent ainsi de calculer une nouvelle grille d'échantillonnage adaptée au contenu d'une image. Le modèle de grille utilisé est un maillage triangulaire. Sous cette contrainte, l'approche retenue est la suivante. A partir d'un maillage grossier, irrégulier, construit à l'aide d'un certain nombre de points d'intérêts (portés principalement par des contours), une subdivision des mailles itérative et régulière est mise en oeuvre. Cette subdivision est adaptative et produit une densification des noeuds plus importante dans les directions géométriques à fort contraste, tel que les contours. Le maillage triangulaire calculé, portant en ses noeuds des luminances, représente l'image de façon concise. Cette grille n'étant pas adaptée à une décomposition par des ondelettes séparables classiques, les auteurs S. Brangoulo, et al. ont recours à des bases d'ondelettes utilisées pour les surfaces 3D. L'adaptation au contenu i de la densité ries noeuds se Hie )i s sur lE 3e par )yau d'analyse. Lependan maillage est a topologie égulièrei Ainsi, esL ) eiye ellleu, _en s'affranchissent de ce surcoût en se contraignant un maillage quadrangulaire à topologie régulière possédant un nombre de noeuds fixés. Toutefois, pour les méthodes de codage par maillage, le fait de représenter une image à l'aide d'un nombre réduit de luminances produit visuellement un fort effet de polygonalisation pour des débits réduits. Ceci provient de l'interpolation de type affine à l'intérieur de chaque facette. Il existe d'autres méthodes de codage par maillage utilisées dans le domaine de la compression vidéo. Ces méthodes permettent de calculer un maillage de déformation qui suit l'évolution temporelle d'une séquence vidéo. Ces déformations correspondent à des directions de régularité temporelle. Un tel exemple est divulgué dans le document publié par N. Cammas et al. intitulé Codage vidéo scalable par maillage et ondelettes 3D, Coresa 2003. Dans un premier temps, une estimation de mouvement par maillage triangulaire est effectuée. Partant d'un maillage géométriquement régulier sur une image clé, les noeuds se déplacent d'une image à l'autre de façon à capter les mouvements des objets et de la caméra. Cette estimation permet dans un second temps de séparer explicitement l'information 2D de l'information temporelle. Pour ce faire, les images sont déformées par projection sur des grilles de référence. La déformation est dictée par les positions des noeuds du maillage. A l'issue de la décorrélation temporelle, les images redressées sont codées en réalisant une décomposition par ondelettes selon l'axe temporel puis une décomposition spatiale sur les sous-bandes temporelles résultantes. L'avantage de séparer de manière explicite l'information purement spatiale et le mouvement autorise en outre de pouvoir coder ce
capte
intél leur du groupe d'images perte -?Ion le ue oué. ette r rie cors espordeu un, gulle une image de ù coosi Objet et résumé de l'invention La présente invention concerne un procédé de codage d'au moins une image, comportant les étapes suivantes : -décomposition de ladite au moins une image en des données de déformation définissant une déformation de ladite au moins une image et des données de texture définissant une texture de ladite au moins une image dans une base de représentation déterminée, -quantification desdites données de déformation pour former des données de déformation quantifiées et des données de déformation de référence, -quantification adaptative desdites données de texture en fonction desdites données de déformation de référence pour former des données de texture quantifiées, et -définition d'un signal représentatif de ladite au moins une image 15 comportant lesdites données de déformation quantifiées et lesdites données de texture quantifiées. Ainsi, en décomposant l'image dans une base adaptée à son contenu géométrique on obtient une représentation compacte de l'image bien adaptée à la perception humaine. De plus, la quantification 20 adaptative permet d'avoir une représentation compacte en ne conservant que les informations utiles à cette perception humaine. Par ailleurs, le signal représentatif de l'image selon l'invention est un signal emboîté (scalable) permettant de reconstruire l'image avec une qualité et une résolution spatiale variables s'adaptant aux contraintes des réseaux et 25 terminaux, Ceci permet pal exemple d'afficher des images de meilleure dualité ILe, lob Dparei açc utilisa te stocker ;t Il P. .ii,vrarlidyeuseriieiii, Îes donnees defoi [-nation iléerIveni: une 30 coii espondance entre les coordonnées d'un premier domaine définissant ladite texture de ladite au moins une image et les coordonnées d'un second domaine définissant ladite au moins une image, lesdites données de déformation étant obtenues selon un coût de codage prédéterminé formulé en fonction de la base de représentation déterminée.
Ainsi, on peut définir une correspondance globale de coordonnées assurant une continuité des déformations locales apportées aux noyaux de représentations dans le second domaine définissant l'image et aboutissant à une texture dont le coût de description est minimal. En outre, la définition d'une correspondance globale de coordonnées permet de proposer la formulation suivante du problème à résoudre : Etant donnée une base de représentation 2D choisie dans le premier domaine, pour quelle texture issue de l'image cette base est-elle optimale ? Autrement formulé, quelle déformation aboutit à la texture dont le coût de description (coût de codage) dans cette base est minimal ? Cette formulation du problème est en marge de celle adoptée dans les travaux antérieurs qui raisonnent directement dans le domaine de l'image. Pour calculer les déformations locales à appliquer au noyau de représentation, certains se fondent sur des critères locaux (comme le gradient) en partant de l'hypothèse légitime que les contours portent l'information délicate. D'autres font une recherche exhaustive dans les déformations permises. En revanche, la présente invention permet de n'émettre aucun a priori sur le résultat escompté tout en conservant une approche adaptative. L'image se déforme sur des noyaux de base fixes dans le premier domaine et la déformation inverse définit a nosteriori les cales dei da sec omaine, reponclant ainsi i i . etien apeetive est eilsée au moyen d'une pondération de zones de texture formant ladite texture de ladite moins une image en fonction des déformations subies par lesdites zones de texture par la correspondance entre les coordonnées des premier et second domaines. Ainsi, on peut diminuer le coût de codage dans des zones de texture étirées et atténuer les artefacts provoqués par une perte de résolution dans des zones de texture contractées. Ladite correspondance entre les coordonnées des premier et second domaines peut comporter les étapes suivantes : -définition d'une correspondance initiale associant une texture initiale à ladite au moins une image, -réalisation d'étapes itératives sur une correspondance courante associant une texture courante à ladite au moins une image, lesdites étapes itératives étant réalisées depuis ladite correspondance initiale jusqu'à une correspondance finale définissant ladite déformation. Ainsi, on peut trouver dans la base de représentation choisie dans le premier domaine, une texture optimale de l'image. Par conséquent, la qualité visuelle de l'image peut être optimisée tout en minimisant l'espace mémoire occupée par l'image. Lesdites étapes itératives peuvent comporter les étapes suivantes : -filtrer ladite texture courante pour former une texture cible courante en utilisant ledit critère de coût de codage prédéterminé, -calculer une correspondance suivante en fonction de ladite correspondance courante et de ladite texture cible courante, -obtenir une texture suivante selon ladite correspondance suivante, -répéter (es étapes précédentes jusqu'à ce qu'un critère d'arrêt déterminé isfait définissai IL ail !si ladd -esponda t rage re coura )elo^ on moue e alisal ((Il pH, tic ,ledit coût de codage prédéterminé correspond à une somme pondérée des énergies Ek associées à une kiè' sous-bande de fréquence de ladite base de représentation déterminée, ladite somme étant pondérée par des facteurs de pondération déterminés 0k selon la formule suivante : K E Avantageusement, la texture cible courante T(n)c d'un point (u,v) du premier domaine DT peut être exprimé en fonction de la texture courante (T(n représentée par des textures Tén) associées aux k premières sous-bandes de fréquence selon l'expression suivante : - T Ainsi, l'étape de filtrage correspondant au calcul de la texture cible courante est facilitée par la connaissance de la texture courante. De manière avantageuse, la correspondance suivante correspond à une modélisation paramétrique d'une transformation géométrique entre le second domaine et le premier domaine, ladite modélisation paramétrique comportant des paramètres de transformation définis de manière à minimiser une différence entre ladite texture cible courante et une image déformée par ladite correspondance suivante. Ceci permet d'avoir un modèle de représentation compacte, simplifié et manipulable.
Selon un mode de réalisation particulier, ladite modélisation paramétrique comporte les étapes suivantes : -définir dans ledit second domaine un maillage comportant des nœuds pi el nt au) UeterMillÇ{ p(DIFIL u d'un point correspondant dans ledit second domaine au moyen d'une interpolation réalisée sur des sommets correspondants aux noeuds d'au moins la maille à laquelle appartient ledit point quelconque. Ainsi, que la déformation soit de type locale ou globale, ce mode de réalisation permet de prendre en compte la plus part de 5 transformations usuelles de rotation, de translation, ou de zoom. Ladite base de représentation déterminée appartient au groupe comprenant des ondelettes, DCT, des bandelettes. L'invention vise aussi un procédé de décodage d'un signal de réception représentatif d'au moins une image, ledit signal de réception 10 comprenant des données de déformation quantifiées représentatives d'une déformation de ladite au moins une image et des données de texture quantifiées représentatives d'une texture de ladite au moins une image, comportant les étapes suivantes : -obtention desdites données de déformation quantifiées et desdites 15 données de texture quantifiées, -quantification inverse desdites données de déformation quantifiées pour extraire des données de déformation et des données de déformation de référence, et -quantification adaptative inverse desdites données de texture quantifiées 20 pour extraire des données de texture en utilisant lesdites données de déformation de référence, et -reconstruction de ladite au moins une image à partir desdites données de déformation et desdites données de texture. L'invention vise également un dispositif de codage d'au moins 25 une image, comportant : des moyel ^::i :ompo )ur décomposer ladite au mois texture de ladite au moins une image dans une base de représentation 30 déterminée, -des premiers moyens de quantification pour quantifier lesdites données de déformation afin de former des données de déformation quantifiées et des données de déformation de référence, -des seconds moyens de quantification pour quantifier de manière 5 adaptative lesdites données de texture en fonction desdites données de déformation de référence afin de former des données de texture quantifiées, et -des moyens de définition pour définir un signal représentatif de l'image comportant lesdites données de déformation quantifiées et lesdites 10 données de texture quantifiées. Le dispositif de codage peut être notamment adapté pour la mise en oeuvre du procédé de codage tel que décrit précédemment. L'invention vise également un dispositif de décodage d'un signal de réception représentatif d'au moins une image, ledit signal de réception 15 comprenant des données de déformation quantifiées représentatives d'une déformation de ladite au moins une image et des données de texture quantifiées représentatives d'une texture de ladite au moins une image, ledit dispositif de décodage comportant : -des moyens d'obtention pour obtenir lesdites données de déformation 20 quantifiées et lesdites données de texture quantifiées, -des premiers moyens de quantification inverse pour déquantifier lesdites données de déformation quantifiées afin d'extraire des données de déformation et des données de déformation de référence, et -des seconds moyens de quantification inverse pour déquantifier de 25 manière adaptative lesdites données de texture quantifiées afin d'extraire d nnées axture en utilisant lebu onnée déformation de moins une ilrIdy,L': 1-U desdites données de déformation et desdites données de 30 r :tur L'invention vise aussi un système comportant le dispositif de codage et le dispositif de décodage tels que décrits précédemment. L'invention vise également un signal représentatif d'au moins une image, ledit signal véhiculant des informations comportant des données de déformation quantifiées et des données de texture quantifiées, lesdites informations étant obtenues selon les étapes suivantes : -décomposition de ladite au moins une image en des données de déformation définissant une déformation de ladite au moins une image et des données de texture définissant une texture de ladite au moins une image dans une base de représentation déterminée, -quantification desdites données de déformation pour former lesdites données de déformation quantifiées et des données de déformation de référence, et -quantification adaptative desdites données de texture en fonction desdites données de déformation de référence pour former lesdites données de texture quantifiées. L'invention vise également un programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, le programme d'ordinateur comprenant des instructions de codes de programme pour l'exécution des étapes du procédé de codage selon au moins l'une des caractéristiques ci-dessus, lorsqu'il est exécuté sur un ordinateur.
L'invention vise égaiement un programme d'ordinateur téléchargeab in réseau cat tocké suppor ate ale pa iroces prograh III 0111- , 11 inst
I( iiu, programme pou, e, ecuLlui des étapes du procédé de codage selon les 30 caractéristiques dessus, lorsqu'il est exécuté sur un ordinateur Brève description des dessins D'autres particularités et avantages de l'invention ressortiront à la lecture de la description faite, ci-après, à titre indicatif mais non 5 limitatif, en référence aux dessins annexés, sur lesquels -la figure 1 est une vue schématique d'un système de communication comprenant un dispositif de codage et un dispositif de décodage selon l'invention ; -la figure 2 est une vue schématique d'un dispositif de codage 10 selon la figure 1 ; -la figure 3 est une vue schématique d'une correspondance entre des premier et second domaines, selon l'invention -la figure 4 est une vue schématique détaillant une partie du dispositif de codage de la figure 2 ; 15 -la figure 5 est une vue schématique d'un dispositif de décodage selon la figure 1 ; -la figure 6 est un organigramme illustrant de manière schématique les étapes de décomposition d'une image en des données de déformation et des données de texture, selon l'invention 20 -les figures 7A et 7B illustrent un exemple de représentation d'une texture par une base de représentation dans le premier domaine, selon l'invention ; -les figures 8A et 8B illustrent un exemple d'une déformation entre le premier domaine et le second domaine, selon l'invention ; 25 -la figure 9 un exemple de la décomposition de l'image en une défo ,one texture, selon l'inventi figures..DTD: (ionlaines, selon i'inventici ; et -la figure 11 est une vue schématique d'un système informatique mettant en oeuvre les dispositifs de codage et de décodage selon les figures 2 et 5.
Description détaillée de modes de réalisation Conformément à l'invention, la figure 1 est une vue schématique d'un système de communication 1 comprenant un dispositif de codage 3 et un dispositif de décodage 5, Les dispositifs de codage 3 et de décodage 5 peuvent être reliés entre eux par l'intermédiaire d'un réseau ou ligne de communication 7. Le dispositif de codage 3 comprend un encodeur 9 qui en recevant une image 1 à compresser (ou un ensemble d'images), décompose cette image I en deux informations comportant une correspondance (ou un mapping, en anglais) de coordonnées définissant une déformation globale de l'image I et une texture associée à la déformation de cette image I. L'encodeur 9 peut être connecté à des moyens de transmission 11 pour transmettre ces informations via le réseau de communication 7 au dispositif de décodage 5. En effet, ces informations peuvent être portées par un signal S 20 représentatif de l'image I et correspondant à un flux emboîté (ou scalable). Le dispositif de décodage 5 comprend des moyens de réception 13 pour recevoir un signal de réception S' correspondant au signal S transmis par le dispositif de codage 3. En outre, le dispositif de décodage 25 5 comprend un décodeur 15 qui est le dual de l'encodeur 9. Ainsi en vat" signal décodeur ' const deux orr ions corresp à t, dL HHI Irit.e initiale I, On notera que les dispositifs de codage 3 et de décodage 5 sont destinés à coder et à décoder une image fixe ou une pluralités d'images (par exemple des images animées). Ainsi, les deux informations véhiculées par le signal S (ou S') peuvent correspondre à une pluralité d'images. Autrement dit, la correspondance de coordonnées peut définir une déformation d'une pluralité d'images et la texture associée à cette déformation peut aussi définir une pluralité d'images en tenant compte des redondances spatiales et temporelles dans les images successives.
La figure 2 est une vue schématique du dispositif de codage 3 comportant l'encodeur 9 qui comprend des moyens de décomposition 17 et des moyens de quantification adaptative 19. En outre, le dispositif de codage 3 comporte des moyens de définition 21 en plus des moyens de transmission 11.
On notera que la figure 2 est également une illustration des principales étapes du procédé de codage selon l'invention. Les moyens de décomposition 17 sont destinés à décomposer l'image I (ou la pluralité d'images) en des données de déformation r,.,(u,v) définissant une déformation r de l'image I et des données de texture T(u,v) définissant une texture T de l'image I dans une base de représentation déterminée. En effet, la figure 3 montre un exemple d'une correspondance ou déformation globale rij qui projette l'image I dans un domaine annexe pour former une texture T de l'image I. Plus spécifiquement, les données 25 d- del-formation (u, éçTive=r H. Sry-) l fier 'et les coordonnees y) j'un second lOrna0e igrfidH Vflag f wlissEu"r image I. oétbrrnation les globale ril associe à tout point (u, v) de D-r un correspondant (x, y) dans DI (voir aussi figure 8A). Avantageusement, les données de déformation ra(u,v) sont obtenues selon un coût de codage prédéterminé formulé en fonction de la 5 base de représentation déterminée. En effet, la définition d'une correspondance ou déformation globale r7l permet d'assurer la continuité des déformations locales apportées aux noyaux de représentation 2D dans DI et de les adapter au contenu géométrique de l'image I. 10 En outre, étant donnée une base de représentation 2D choisie dans DT, le coût de codage prédéterminé permet de trouver la texture T optimale issue de l'image L Autrement dit, on peut chercher la déformation T-n qui aboutit à la texture dont le coût de description ou coût de codage dans la base de représentation déterminée est minimal. 15 La base de représentation déterminée peut être une représentation par transformée en cosinus discrète (DCT), par ondelettes, par bandelettes, ou une toute autre représentation. Par ailleurs, les moyens de quantification adaptative 19 comportent des premiers moyens de quantification 19a et des seconds 20 moyens de quantification 19b. Les premiers moyens de quantification 19a sont destinés à quantifier les données de déformation rl (m) pour former des données de déformation quantifiées VT!q v) et des données de déformation de OVe former des données de texture quantifiées Tq(u,v On notera que la quantification des données de déformation rn(uuv) ou de texture T(u,v) peut être réalisée dans une autre base de représentation que celle utilisée lors de la décomposition de l'image I ou éventuellement dans la même base de représentation déterminée.
Ainsi, après la décomposition de l'image I en des données de déformation r(uul,) et des données de texture T(u,v), chaque région ou zone qui compose la texture T provient de la déformation d'une région de l'image I d'origine. L'expression de la texture T dans une base de représentation déterminée (DCT, ondelettes...) permet d'obtenir des coefficients correspondant à la décomposition de régions données de la texture T. En outre, on peut quantifier ces coefficients en fonction des déformations dont sont issues les zones composant la texture T. Avantageusement, la quantification adaptative est réalisée au moyen d'une pondération de zones de texture formant la texture T de l'image I en fonction des déformations subies par les zones de texture par la correspondance entre lescoordonnées des premier et second domaines DT et DI. En outre, afin de conserver la possibilité d'un flux scalable, l'adaptation de la quantification est calculée sur une version de bas niveau de la déformation afin de garantir un bon décodage. En effet, ceci permet de réaliser une quantification inverse par le dispositif de décodage 5 sans perte de données. Par ailleurs, les moyens de définition 21 sont destinés à définir le signal S représentatif de l'image I comportant les données de 2; -nrr i,iiÇ-m uttifieet la moyens de définition 21 comportant des moyens de codage. ..ntropIque 23 éventuerlement un multiplexeur 25. Ainsi, les moyeri de codage entropique 23 réalisent le codage entropique des données de déformation quantifiées rH,/ v) et des données de texture quantifiées Tq(u,v) issus des moyens de quantifications 19 pour former deux trains binaires comportant des données de déformation encodées ou entropiques e(u,v) et des données de texture entropiques Te(u,v) respectivement. Ces deux trains binaires ZT,e et Te(u,v) peuvent ensuite être fusionnés par le multiplexeur 25 pour former un seul train binaire correspondant au signal S représentatif de l'image I. La figure 5 est une vue schématique du dispositif de décodage 10 5 comportant le décodeur 15 et les moyens de réception 13. Le décodeur comporte des moyens d'obtention 31, des moyens de quantification adaptative inverse 33 et des moyens de reconstruction 35. On notera que la figure 5 est également une illustration des principales étapes du procédé de décodage selon l'invention. 15 Les moyens d'obtention 31 comportent des moyens de décodage 37 et éventuellement un démultiplexeur 39. Ainsi, le démultiplexeur 39 sépare le train binaire correspondant au signal reçu S' représentatif de l'image I en deux trains binaires (u,v) et T'e(u,v) correspondant respectivement aux données de 20 déformation entropiques Ile(u,v) et des données de texture entropiques Te(u,v). Les moyens de décodage 37 permettent de reconstituer les symboles de texture et de déformation à partir de ces deux flux extraits du train binaire. isi, les moyens d'obi permeuent d'obtenu- des 25 dont rWIform., rifle
déformation quantifiées Tri- (U v) et aux données de texture quantifiées Tq(u,v). Les moyens de quantification adaptative inverse 33 comportent des premiers moyens de quantification inverse 33a et des seconds moyens de quantification inverse 33b. Les premiers moyens de quantification inverse 33a sont destinés à déquantifier les données de déformation quantifiées ZIZI q (u,v) afin d'extraire des données de déformation TITI (uM et les données de déformation de référence 'rnref (uM .
En outre, les seconds moyens de quantification inverse 33b sont destinés à déquantifier de manière adaptative les données de texture quantifiées T'q(u,v) afin d'extraire des données de texture T'(u,v) en utilisant les données de déformation de référence 'n,,ef (uM . Ainsi, selon le débit choisi au décodage, des versions 15 dégradées ou non de la texture T' et de la déformation 1-'1 peuvent être extraits du flux binaire. Par ailleurs, les moyens de reconstruction 35 sont destinés à reconstruire l'image 1' à partir des données de déformation 'ri, (u,v) et des données de texture T'(u,v). 20 Ainsi, l'image I' est reconstruite à partir de l'image d'origine I de manière directe en re-projetant la texture T' dans le second domaine DI (domaine image). Ceci s'effectue en appliquant à la texture T' la correspondance nu mappinçi inverse. Si celui-ci associe tout pixe sec lomair finissant mage schématique les étapes de décomposition de l'image 1 en des données de orùation 17,, (u,v) et des données de texture T(u,v) en réait:en one un o rtIHnIq' -1 l' le ilILV-Ar 1'làr,?. correspondance entre les coordonnées des premier et second domaines D-let D1. A l'étape El, on définit une correspondance initiale associant une texture initiale T(0) à l'image L Cette correspondance initiale peut correspondre à une correspondance identité définissant la texture initiale T(0) par une texture identique à l'image d'origine I (c'est-à-dire T(0)=I). Les étapes E2 à E6 sont des étapes itératives sur une correspondance courante associant une texture courante T(n) à l'image I à chaque itération n. Ces étapes itératives sont réalisées depuis la correspondance initiale jusqu'à une correspondance finale rra' définissant la déformation ra . En effet, l'étape E2 correspond au filtrage de la texture courante T(n) pour former une texture cible courante T(n)c en utilisant le critère de coût de codage prédéterminé. A chaque étape, l'optimisation de la correspondance passe par la minimisation du coût de codage prédéterminé. Le filtrage de la texture courante T(n) obtenue à l'étape n permet de définir à l'étape suivante le coût de codage à minimiser. On notera que le filtrage est élaboré en fonction du critère de coût de codage prédéterminé dont on donne un exemple ci-après. A l'étape E3, on calcule une correspondance suivante z- " en fonction de la correspondance courante r,' et de la texture cible courante T(n)c. Ainsi, l'étape E3 correspond à une optimisation de la déformation r!, . En effet, connaissant la cléfo màtion à l'étape n et h texture cible étape courai -I L omaine DT. Cette opération est analogue à une estimation de mouvement entre la texture orle courante T(n)c et l'image d'origine L Le résultat de cette estimation permet la mise à jour de rh , c'est-à-dire, le calcul de la correspondance suivante r Ceci permet à l'étape E4, de mettre à jour la texture T en obtenant une texture suivante T(n+i) selon la correspondance suivante . En effet, la texture suivante T(n+i) est calculée en appliquant la nouvelle correspondance (correspondance suivante ) à l'image d'origine L A chaque position (pixel) du premier domaine DT, cette nouvelle correspondance r"- n associe une coordonnée non forcement entière du second domaine DI.
Les étapes E2 à E4 sont répétées jusqu'à ce qu'un critère d'arrêt déterminé soit satisfait définissant ainsi la correspondance finale (A') 1'71 * En effet, l'étape E5 est un test pour vérifier si le critère d'arrêt est satisfait. A titre d'exemple, le critère d'arrêt peut être un nombre maximal d'itérations N, une convergence de la déformation r,, , ou un tout autre critère. Ainsi, tant que le critère d'arrêt n'est pas satisfait, l'itération n est incrémenté à l'étape E6 et les étapes E2 à E5 sont reproduites. En revanche, si le critère d'arrêt est satisfait, on passe à l'étape E7 où la décomposition de l'image I est exprimée en des données de déformation r71 (u.v) définies par la correspondance finale et des données de texture T(u,v). On s'attache désormais à présenter un exemple d'une correspondance c coordonnées Lii inimirn!Pe !P a ans C formulatic ûiksatinn (+ni nntrnme (lefic, Htio Ï511 n r r)5,.-,e représentation, de coût de codage (ou description) associé, ainsi qu'un exemple de déformation.
En effet, les figures 7A et 7B illustrent un exemple de représentation d'une texture par une base de représentation dans le premier domaine DT. Selon cet exemple, la texture est représentée par une base d'ondelettes.
En particulier, en utilisant la décomposition spatiale dyadique usuelle, une texture initiale Tin peut être décomposée en une basse fréquences BFK et un ensemble de hautes fréquences {1-IFk , k = O..K}. En effet, la figure 7A montre que la texture initiale Tin est décomposée en un premier niveau de décomposition (k=0) comprenant une sous-bande d'information de basse fréquence initiale BF0 et une autre sous-bande d'information de haute fréquence initiale HF0. Ceci correspond en relation avec la figure 7B, au découpage de la texture en quatre blocs B1 à B4. Le bloc B1 est associé à la sous-bande d'information de basse fréquence initiale BFo, tandis que les blocs B2 à B4 sont associés à la sous- bande d'information de haute fréquence initiale HFo. Ensuite, la sous-bande d'information de basse fréquence initiale BF0 est décomposée en un deuxième niveau de décomposition (k=1) comprenant une sous-bande d'information de basse fréquence suivante BF1 et une autre sous-bande d'information de haute fréquence suivante HF1. Ceci correspond au découpage du bloc B1 en quatre sous blocs B11 à B14. Le sous bloc B11 est associé à la sous-bande d'information de basse fréquence suivante BF1, tandis que les sous blocs B12 à B14 sont associés à la sous-bande d'information de haute fréquence suivante HF1. Ensuite, les hautes fréquences HF0 et HF1 sont annulées et la texture T1 est reconstruite par le seul sous bloc Bli de fréquence BF1. Dans la pellera TK la textur ;truite On notera qu'une base d ()i IcIeIeties dansne permet pas de représenter de façon optimale les caractéristiques géométriques de type contours non horizontales ou verticales d'une image. Cependant, en choisissant une telle base, la présente invention permet de calculer une déformation qui a tendance à aligner les contours sur l'horizontale ou la verticale dans le premier DT (voir figure 9). Un contour aligné est en effet représenté avec un moindre coût par de telles bases de représentation. On s'attache désormais à donner un exemple d'un coût de codage associé à l'exemple de la décomposition de la texture selon la base de représentation ci-dessus. Le coût de codage peut être défini par les énergies associées à la base de représentation déterminée.
En effet, chaque bande haute fréquence HFk possède une énergie Ek. Cette énergie Ek peut être exprimée comme la somme des carrés des coefficients de la sous-bande. Plus une sous-bande est énergétique, plus elle est coûteuse à coder. D'autre part, à l'intérieur d'une sous-bande donnée, les coefficients hautes fréquences HF suivent une certaine répartition statistique qui influe également sur le coût de description de la sous-bande. Par exemple, si on modélise la distribution des coefficients à l'intérieur d'une sous-bande par une loi normale de variance a2, la sous-bande est d'autant plus difficile à coder que la variance est grande. Ainsi, on peut formuler le coût de codage E de la texture comme une somme pondérée des énergies Ek des hautes fréquences (c'est-à-dire, des énergies Ek associées à une k'è' sous-bande de fréquence) selon la formule suivante :25 En modélisant la répartition des coefficients dans les sous-bandes par des gaussiennes, ces facteurs de pondération 0k correspondent à des fonctions des écart-types dans les sous-bandes. La figure 8A illustre un exemple d'une déformation entre un premier domaine DT et un second domaine DI. Selon cet exemple, la déformation rIl peut être modélisée par un ensemble de paramètres {0,} définis dans le second domaine DI (domaine image). Ainsi, la déformation ru peut être exprimée de la manière suivante :
(x, y 0, (u où O, (u,v) est une fonction de forme définie dans le premier domaine DT. A titre d'exemple la correspondance peut être définie par une modélisation paramétrique. En effet, on peut définir dans le second domaine DI un maillage MI comportant des noeuds Ni ayant des positions déterminées Pl=(xi, y,). De même, on peut définir dans le premier domaine DT une grille MT formé par un ensemble de sommets Si ayant des positions (ui,vi) correspondant (flèche 41) aux positions déterminées (xi, y,) des noeuds Ni. Par ailleurs, on peut déterminer (flèche 43) pour un point quelconque (u,v) du premier domaine DT, la position d'un point correspondant (x, y) dans le second domaine DI au moyen d'une interpolation donnée. Cette interpolation donnée peut être réalisée sur des sommets S, correspondants aux noeuds Ni d'au moins la maille à laquelle appartient le point quelconque (u,v). fonction bilinéaire dont le noyau t.'ir erpoiation linéaire est représenté à la figure 8B.
Cette fonction bilinéaire peut être obtenue en considérant des contributions linéaires des noeuds dans les deux directions spatiales. Ainsi, la déformation ru peut être exprimée de la manière suivante : . 0, (u, v P, 0, (u, v)=021 (u ù u, v ù v,)=4 (u ù u, ) (v ù v, ) On s'attache désormais à présenter un mode de réalisation particulier du codage/décodage d'une image ou d'une séquence d'images.
Pour le codage, on fait toujours référence à l'organigramme de la figure 6.
A l'étape El, la déformation est initialisée à l'identité. La texture est alors simplement l'image d'origine (T( ) = I).
Ainsi, pour n = 0, le coût de codage de la texture noté E(0) correspond au coût de codage de l'image d'origine I. Alors, d'après l'équation (1) : K E(0)
Les étapes de récurrence suivantes ont pour objectif de trouver une texture T plus facile à représenter (dans la base de représentation choisie) que l'image d'origine I. Cette texture T peut alors être codée et décodée avec un débit moindre.
On notera que pour une correspondance courante 'r'7) , la correspond2nce suivante r' n-" correspond à une modélisation (ùt à noter obtenue ne dimensions de mage d'origine L A l'étape E2, on calcul la texture cible courante T(n)c. En effet, connaissant la texture T(n) et la correspondance z-y à l'étape n, on propose de mettre à jour les paramètres de transformation 01 de la modélisation paramétrique de sorte que le coût de codage E(n+l) de la
texture à l'étape n+l soit inférieur à celui à l'étape n (c'est-à-dire E(n+l) < E(n .
Cette récurrence s'arrête par exemple lorsque le nombre d'itérations maximal autorisé N est atteint ou lorsque l'énergie a convergé vers une valeur minimale Emin.
D'après l'équation (1), l'énergie à minimiser à l'étape (n+1) s'écrit : K (2) L'équation (2) dépend donc des énergies E:+ . On remarque que ces énergies dépendent de la texture T(n+l) qui est inconnue à cette étape. Ainsi, ces énergies E(k.n-1 sont difficilement exprimables en fonction des paramètres de la correspondance suivante rr . Cependant, en considérant qu'une texture Tk peut être reconstruite en ne conservant que
la basse fréquence BFk, on peut dériver une expression approchée de chaque énergie E(k"l' exprimable en fonction de la correspondance 'r;,'' Pour ce faire, on peut émettre une hypothèse selon laquelle la somme des énergies dans les sous-bandes {HFk, k = O..K} peut être approximée par une somme de résidus entre la texture T(n'') à l'étape n+1 , et ses basses fréquences Tk H a letape n, selon la formule suivante : I'TId[IlèrE: rite : . ire exprimée de la X u , v) û (u,) k avec ' ` - ' ' =1(7,, Cependant, une minimisation de cette énergie sur les paramètres de transformation exprimée de la manière suivante : revient à minimiser cette énergie Ainsi, on peut définir la texture cible courante T{ c en fonction de la texture courante Tin} représentée par les textures Tk(n) associées aux k premières sous-bandes de fréquence, de la façon suivante : T("), Connaissant la texture courante T(n), l'étape E2 de filtrage correspond alors au calcul de la texture cible courante T(n)c. La reformulation de l'énergie à minimiser en fonction de la texture cible courante T(n)c apporte un gain en complexité. En effet, l'optimisation de la correspondance revient désormais à minimiser l'écart entre deux images uniquement (T(n+l) et T(n)c) et non plus la somme des écarts entre T(n+i) et les K images {Tk}. A l'étape E3, on calcule la correspondance suivante r'l"+'en fonction de la correspondance courante et de la texture cible courante tnc.20 En effet, la texture cible courante T(n)c étant désormais connue, le coût de codage à minimiser ne dépend que de la déformation à mettre à jour selon la formule suivante : E(n'' = ,v -1 Plusieurs techniques peuvent être utilisées pour minimiser le coût de codage E'"-') et ainsi trouver le nouvel ensemble de paramètres On peut par exemple utiliser une descente gradient, ce qui revient à résoudre le système d'équations . La linéarisation de ao(n+I) ce système d'équations aboutit à un système linéaire de type : AAO,("-') = 13, (3) où A est une matrice creuse. La résolution de l'équation (3) donne les mises à jour de l'ensemble de paramètres de transformation {AO,'n+ } à appliquer à la correspondance courante 'r';!) pour obtenir la nouvelle 15 déformation (c'est-à-dire la correspondance suivante r;,"' ). A l'étape E4, on met à jour la texture en obtenant une texture suivante -r(n+ selon la correspondance suivante r;,"+ . En effet, connaissantij,n+n, et en prenant l'exemple d'une image en niveaux de gris (ou luminances), le calcul de T(n+l) peut se faire de la façon suivante. 20 A chaque position entière (pixel) du premier domaine DT, on peut associer une valeur de luminance provenant de l'image d'origine I. Pour ce eàire on cherche la position . responden domair e-rrespondan loiement 25 etre r.lt-er pole Jes al..IX nri(i clemaine plus proches. A titre d'exemple, on peut utiliser une interpolation bilinéaire des luminances similaire à celui de la figure 8B. iiens le second :ette position A l'étape E7, l'algorithme produit deux sorties, à savoir la correspondance de coordonnées, et la texture. En effet, la figure 9 illustre un exemple de la décomposition de l'image I en une déformation -ru et une texture T. Cette décomposition est obtenue en choisissant un maillage quadrangulaire MI comme modèle de déformation, et une base d'ondelettes comme base de représentation dans le premier domaine DT. La texture T est obtenue en redressant le maillage quadrangulaire MI sur une grille régulière (non représentée) dans le premier domaine DT (voir aussi figure 8A). On observe que la déformation rn calculée lors de la décomposition de l'image I a tendance à redresser les contours sur l'horizontale ou la verticale (effet marche d'escalier) et à les étirer. On notera que la texture T est elle-même une image et ses 15 dimensions peuvent être définies de manière arbitraire avant la décomposition de l'image I ou avant la quantification. En effet, les figures 10A et 10B illustrent des déformations entre les premier et second domaines DT et DI correspondant à une contraction et une expansion de la texture T respectivement. 20 En particulier, la figure 10A montre une contraction d'une zone image Zn lorsqu'elle est projetée dans le premier domaine DT pour former une zone texture correspondante Zn. Par ailleurs, la figure 10B montre une dilatation d'une zone image ZI2 lorsqu'elle est projetée dans le premier domaine DT pour former une zone texture correspondante ZT2. 25 On notera qi tir In n'soli itfon (le la texture T uce ne iligeable pour truction san ,agi jitiri Fol ( I H rh le P DT idul,iine texture) peut en effet introduire des pertes de résolutions dans certaines 30 zones. Ceci se ln déformation consiste en une contraction dans le domaine texture (voir figure 10A). A la synthèse, la zone image d'origine Zn peut être reconstruite en étirant la zone texture correspondante Zn. Cet étirement est réalisé en interpolant les valeurs (par exemple les valeurs de luminances) disponibles aux pixels de la texture T. Dans cette configuration, l'information d'origine ne peut donc pas être reconstruite sans perte de résolution. Pour y remédier, il est possible par exemple d'augmenter arbitrairement les dimensions de la texture T ou de certaines de ses zones ou régions. De cette façon, on 10 accroît l'information disponible à la synthèse. On notera que d'autres techniques, comme la rétro-propagation, peuvent être utilisées pour "rehausser" la texture avant le codage et aboutir à une reconstruction sans perte de l'image I d'origine. Néanmoins, d'une manière générale, lors de la projection dans 15 le premier domaine DT, certaines zones se trouvent contractées (figure 10A), d'autres par contre se trouvent étirées (figure 10B). Dans le cas d'une décomposition en ondelettes de la texture T, ceci revient respectivement à diminuer et à augmenter la bande de fréquences représentables. 20 Au moment de quantifier les sous-bandes, il est alors intéressant de pondérer chaque zone en fonction de la déformation qu'elle a subie. En effet, atténuer les fréquences dans une zone étirée permet de diminuer le coût de codage et n'a qu'un faible impact visuel au moment de la reconstruction. De même, un rehaussement des coefficients 25 d'ondelettes dans les zones contractées permet d'atténuer les artefacts 'oqué5 utior es inels à la racine ddt rée : dire- ries n)dllles Ju second domaine Plus l'aire 30 est petite dans le seconcl domaine DI, plus la maille est étirée dans le premier domaine DT, et plus les coefficients d'ondelettes sont atténués, ce qui correspond à un faible coefficient de pondération. Il est préférable que les facteurs de pondération utilisés à l'encodage soient retrouvés de manière exacte au décodage. On notera que ces facteurs de pondération dépendent de la déformation. Alors, lorsque la déformation est transmise de façon scalable, il est avantageux de calculer les facteurs de pondération au codage à partir d'une version "bas niveau" de référence (c'est-à-dire, les données de déformation de référence rnref(u,v)) de la correspondance (niveau de détails faible). Ainsi, la reconstruction de cette version "bas niveau" étant assurée au décodage, les facteurs de pondération peuvent être recalculés sans perte. Prenant par exemple, une structure de maillage possédant une scalabilité en termes de résolution (hiérarchie) et de qualité (précision de la position des noeuds). Alors, une couche de base est définie par un niveau bas de hiérarchie et un niveau bas de qualité. Cette couche de base sert alors à calculer une carte de pondération spatiale. Ainsi, pour chaque maille (appartenant au maillage MI) de la déformation r, , un facteur de pondération est calculé en fonction par exemple de la racine carrée de l'aire de la maille. A cette maille est associé un bloc fixe (appartenant à la grille MT) dans DT (voir figure 8A). On attribue alors à ce bloc le facteur de pondération précédemment calculé. Après avoir parcouru toutes les mailles, on obtient donc une carte de pondération spatiale qui associe un facteur de pondération à chaque pixel de la texture T. pondération spatiale, on définit une carte de pondération dans la base de représentation déterminée. Si l'on considère la décomposition de la texture T par ondelettes dyadiques (figure 7B) chaque coefficient d'ondelettes appartient à une sous-bande donnée. Il a par ailleurs une position donnée dans cette sous-bande. Ce coefficient provient de la décomposition d'une région plus ou moins étendue de la texture d'origine exprimée dans le domaine spatial. Plusieurs heuristiques peuvent alors être utilisées pour attribuer un facteur de pondération à ce coefficient d'ondelettes. On peut par exemple prendre la moyenne, le min, ou le max sur l'ensemble des facteurs de pondération de la région dont il est issu. Ce concept peut être généralisé à une base de décomposition et une déformation ril quelconque. La déformation rl permet de calculer une carte de pondération spatiale et la connaissance de la base de 15 représentation permet quant à elle d'associer un facteur de pondération à chaque coefficient du domaine transformé. Après la quantification, la texture peut être codée de manière scalable en adoptant par exemple un algorithme de type JPEG2000 opérant idéalement une décomposition dans la base d'ondelettes choisie 20 pour la décomposition de l'image. La texture est en effet calculée lors de la décomposition de l'image pour que sa décomposition dans cette base aboutisse à un flux encodé de longueur minimale. Selon la nature de la correspondance de coordonnées, celui-ci peut être encodé sous forme scalable ou non. Une déformation modélisée 25 par t in maillage peut par exemple génêrer un flux emboîté en réisoli ,tion et er'SIOrTS ual don, le in( a i (_1é fi.) egradees ou non de a texture et de la correspondance peuvent ainsi être obtenues après décodage, permettant de reconstruire une version dégradée ou non de l'image I d'origine. Après réception du train binaire, deux flux sont extraits. Un premier flux représentant la texture et un autre flux représentant la déformation. Une étape préalable de décodage permet de reconstituer les coefficients de texture et de la correspondance à partir des mots de code binaires extraits. La texture et la correspondance obtenues peuvent être représentés dans un domaine de représentation quelconque (par exemple, base d'ondelettes).
Avant d'opérer l'étape de synthèse reconstruisant l'image, il est nécessaire d'effectuer la quantification inverse de la texture. Cette opération est duale de la quantification appliquée au codage. Elle s'effectue en deux temps. Dans un premier temps, on extrait de la correspondance 15 décodé le "bas niveau" de référence. Dans un second temps, on réalise la quantification inverse de la texture en s'appuyant sur cette déformation de référence. Cette couche de base permet par exemple de reconstruire la carte de pondération spatiale utilisée lors de la quantification de la texture à l'encodage, et d'en déduire 20 la carte de pondération dans la base de représentation déterminée. Les facteurs de pondération associés à chaque coefficient du domaine transformé (base de représentation) sont simplement les inverses de ceux calculés au codage. Il ne reste plus alors qu'à appliquer ces facteurs de pondération à chaque coefficient de la texture extraite 25 exprimée dans le domaine transformé. ieconstrucuoi iage d'or le s'e fie( vant la -se des étape loi -océdé de h. ,t le second domaine DI (domaine Ji nage en sun,eilt UeiormaLiori inverse. Pour 30 toutes les positions entières (pixels) du second Uomaine DI, on recherche une position correspondante dans le premier domaine D-1-. Cette position non entière est donnée par la déformation inverses,`. Ainsi, si l'on se replace dans le cas d'une image en niveaux de gris, à cette position peut être calculée une valeur de luminance obtenue en interpolant les luminances aux pixels voisins. Cette luminance devient la valeur reconstruite de l'image au pixel du second domaine DI considéré. L'invention vise aussi un programme d'ordinateur téléchargeable depuis un réseau de communication comprenant des instructions de codes de programme pour l'exécution des étapes du procédé de codage et/ou du procédé de décodage selon l'invention lorsqu'il est exécuté sur un ordinateur. Ce programme d'ordinateur peut être stocké sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable. L'invention vise aussi un support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur 20 tel que mentionné ci-dessus. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen 25 d'enregistrement magnétique, par exemple une disquette (floppy disc) ou ~isq pa rations peu transmissibie 19)ffi-e ectiriqHe 1 optique, qui acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question. On notera que le dispositif de codage 3 peut être mis en oeuvre par un système informatique F, tel que représenté sur la figure 11, comportant de manière classique une unité centrale de traitement 60 10 commandant par des signaux B une mémoire 62, une unitéd'entrée 64 et une unité de sortie 66. Tous les éléments sont raccordés entre eux par des bus de données 68. De plus, ce système informatique F peut être utilisé pour exécuter un programme d'ordinateur comportant des instructions pour la 15 mise en oeuvre du procédé d'encodage selon l'invention. On notera que le dispositif de décodage peut être aussi mis en oeuvre par un système informatique comme celui de la figure 11. De plus, ce système informatique peut être utilisé pour exécuter un programme d'ordinateur comportant des instructions pour la 20 mise en oeuvre du procédé de décodage selon l'invention.

Claims (17)

REVENDICATIONS
1. Procédé de codage d'au moins une image (I), caractérisé en ce qu'il comporte les étapes suivantes : -décomposition de ladite au moins une image (I) en des données de déformation (ZT, (u,v)) définissant une déformation (Z.,.,) de ladite au moins une image et des données de texture (T(u,v)) définissant une texture (T) de ladite au moins une image dans une base de représentation déterminée, -quantification desdites données de déformation (z.,., (u, v)) pour former des données de déformation quantifiées (ZTI q (u, v)) et des données de déformation de référence (ZTIYe f (u, v) ), - quantification adaptative desdites données de texture (T(u,v)) en fonction desdites données de déformation de référence (VTlref(u,v)) pour former des données de texture quantifiées (Tq(u,v)), et - définition d'un signal (S) représentatif de ladite au moins une image (I) comportant lesdites données de déformation quantifiées (TTI q (u, v)) et lesdites données de texture quantifiées (Tq(u,v)).
2. Procédé de codage selon la revendication 1, caractérisé en ce que les données de déformation (zä (u,v)) décrivent une correspondance entre les coordonnées d'un premier domaine (D-r) définissant ladite texture (T) de ladite au moins une image et les coordonnées d'un second domaine (DI) définissant ladite au moins une image (I), lesdites données de déformation (rT, (u,v)) étant obtenues selon un coût de codage prédéterminé formulé en fonction de la base de représentation déterminée.
3. Procédé de codage selon la revendication 2, caractérisé en ce que ladite quantification adaptative est réalisée au moyen d'une pondération de zones de texture formant ladite texture (T) de ladite au moins une image en fonction des déformations subies par lesdites zones de texture par la correspondance entre les coordonnées des premier et second domaines (DT, DI).
4. Procédé de codage selon la revendication 2 ou 3, caractérisé en ce que ladite correspondance entre les coordonnées des premier et second 10 domaines (D-r, DI) comporte les étapes suivantes : -définition d'une correspondance initiale (z; ') associant une texture initiale (T( à ladite au moins une image (I), -réalisation d'étapes itératives sur une correspondance courante (z; ' ) associant une texture courante (T{n à ladite au moins une image (I), 15 lesdites étapes itératives étant réalisées depuis ladite correspondance initiale (i; ') jusqu'à une correspondance finale (z;') définissant ladite déformation (zä ).
5. Procédé de codage selon la revendication 4, caractérisé en ce que 20 lesdites étapes itératives comportent les étapes suivantes : -filtrer ladite texture courante (T(n pour former une texture cible courante (T<n)cible) en utilisant ledit critère de coût de codage prédéterminé, -calculer une correspondance suivante (z! +'') en fonction de ladite 25 correspondance courante (z7 ') et de ladite texture cible courante (T(n)c), -obtenir une texture suivante (Tin-f-1>) selon ladite correspondance suivante (n+l) ( ZT1 ), -répéter les étapes précédentes jusqu'à ce qu'un critère d'arrêt déterminé soit satisfait définissant ainsi ladite correspondance finale (r 7 ).
6. Procédé de codage selon l'une quelconque des revendications 1 à 5, caractérisé en ce que ledit coût de codage prédéterminé E correspond à une somme pondérée des énergies Ek associées à une kième sous-bande de fréquence de ladite base de représentation déterminée, ladite somme étant pondérée par des facteurs de pondération déterminés wk selon la formule suivante : K E =EwwEk. k=0
7. Procédé de codage selon la revendication 6, caractérisé en ce que la texture cible courante T(n)c d'un point (u,v) du premier domaine DT est exprimé en fonction de la texture courante (T(n>) représentée par des textures Tk(n) associées aux k premières sous-bandes de fréquence selon l'expression suivante : EwkzT(k"' (u5 v Tc"' = k E wkz k
8. Procédé de codage selon l'une quelconque des revendications 5 à 7, caractérisé en ce que la correspondance suivante (r1) correspond à une modélisation paramétrique d'une transformation géométrique entre le second domaine (DI) et le premier domaine (DT), ladite modélisation paramétrique comportant des paramètres de transformation définis de manière à minimiser une différence entre ladite texture cible courante (T(n)c) et une image déformée par ladite correspondance suivante ().
9. Procédé de codage selon la revendication 8, caractérisé en ce que ladite modélisation paramétrique comporte les étapes suivantes :- définir dans ledit second domaine (DI) un maillage comportant des noeuds ayant des positions déterminées (x;, y;), - définir dans ledit premier domaine (D-r) un ensemble de sommets ayant des positions (u;,v;) correspondant auxdites positions déterminées (x;, y;) 5 des noeuds, - déterminer pour un point quelconque (u,v) du premier domaine DT, la position d'un point correspondant (x, y) dans ledit second domaine (DI) au moyen d'une interpolation réalisée sur des sommets correspondants aux noeuds d'au moins la maille à laquelle appartient ledit point quelconque 10 (u,v).
10.Procédé de codage selon l'une quelconque des revendications 1 à 9, caractérisé en ce que ladite base de représentation déterminée appartient au groupe comprenant des ondelettes, DCT, des bandelettes. 15
11. Procédé de décodage d'un signal de réception (S') représentatif d'au moins une image (I), ledit signal de réception (Sr) comprenant des données de déformation quantifiées (2'TI q (u, v)) représentatives d'une déformation de ladite au moins une image et des données de texture 20 quantifiées (T'q(u,v)) représentatives d'une texture de ladite au moins une image, caractérisé en ce qu'il comporte les étapes suivantes : -obtention desdites données de déformation quantifiées ('t'Tlq (u, v)) et desdites données de texture quantifiées (T'q(u,v)), - quantification inverse desdites données de déformation quantifiées 25 (2'Tlq (u, v)) pour extraire des données de déformation (r'T, (u, v)) et des données de déformation de référence (VTJref (u, v) ), et- quantification adaptative inverse desdites données de texture quantifiées (T'q(u,v)) pour extraire des données de texture (T'(u,v)) en utilisant lesdites données de déformation de référence (ZTI ref (u, v) ), et -reconstruction de ladite au moins une image à partir desdites données de déformation (T'T, (u,v)) et desdites données de texture (T'(u,v)).
12. Dispositif de codage d'au moins une image (I), caractérisé en ce qu'il comporte : - des moyens de décomposition pour décomposer ladite au moins une image (I) en des données de déformation (T.,., (u,v)) définissant une déformation (TT,) de ladite au moins une image et des données de texture (T(u,v)) définissant une texture (T) de ladite au moins une image dans une base de représentation déterminée, - des premiers moyens de quantification pour quantifier lesdites données 15 de déformation (T7,.,(u,v)) afin de former des données de déformation quantifiées (zTlq (u, v)) et des données de déformation de référence 2TI ref (u, v) ), - des seconds moyens de quantification pour quantifier de manière adaptative lesdites données de texture (T(u,v)) en fonction desdites 20 données de déformation de référence (ZTlref (u, v)) afin de former des données de texture quantifiées (Tq(u,v)), et - des moyens de définition pour définir un signal (S) représentatif de l'image (I) comportant lesdites données de déformation quantifiées (rTlq (u, v)) et lesdites données de texture quantifiées (Tq(u,v)). 25
13. Dispositif de décodage d'un signal de réception (S') représentatif d'au moins une image (I), ledit signal de réception (S') comprenant des données de déformation quantifiées (Z'TI q (u, v)) représentatives d'une déformation de ladite au moins une image et des données de texture quantifiées (T'q(u,v)) représentatives d'une texture de ladite au moins une image, caractérisé en ce que ledit dispositif de décodage comporte : -des moyens d'obtention pour obtenir lesdites données de déformation quantifiées (T'TIq (u, v)) et lesdites données de texture quantifiées (T'q(u,v)), -des premiers moyens de quantification inverse pour déquantifier lesdites données de déformation quantifiées (Z'TIq (u, v)) afin d'extraire des 10 données de déformation ('t'TI (u,v)) et des données de déformation de référence (2TI ref (u, v) ), et -des seconds moyens de quantification inverse pour déquantifier de manière adaptative lesdites données de texture quantifiées (Tq(u,v)) afin d'extraire des données de texture (T'(u,v)) en utilisant lesdites données de 15 déformation de référence (ZTI ref (u, v) ), et -des moyens de reconstruction pour reconstruire ladite au moins une image à partir desdites données de déformation (Z'n (u, v)) et desdites données de texture (T'(u,v)). 20
14. Système de communication (1) comportant le dispositif de codage selon la revendication 12 et le dispositif de décodage selon la revendication 13, caractérisé en ce qu'il comporte une ligne de communication (7) reliant entre eux lesdits dispositifs de codage et de décodage. 25
15. Signal représentatif d'au moins une image (I), caractérisé en ce qu'il véhicule des informations comportant des données de déformation quantifiées (ZTI q (u, v)) et des données de texture quantifiées (Tq(u,v)), lesdites informations étant obtenues selon les étapes suivantes : - décomposition de ladite au moins une image (I) en des données de déformation (rn (u,v)) définissant une déformation (il.,) de ladite au moins une image et des données de texture (T(u,v)) définissant une texture (T) de ladite au moins une image dans une base de représentation déterminée, - quantification desdites données de déformation (z,., (u,v)) pour former lesdites données de déformation quantifiées (ZTIq (u, v)) et des données de déformation de référence (ZTI ref (u, v) ), et -quantification adaptative desdites données de texture (T(u,v)) en fonction desdites données de déformation de référence (ZTI ref (u, v)) pour former lesdites données de texture quantifiées (Tq(u,v)).
16. Programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu'il comprend des instructions de codes de programme pour l'exécution des étapes du procédé de codage selon au moins l'une des revendications 1 à 10, lorsqu'il est exécuté sur un ordinateur.
17. Programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu'il comprend des instructions de codes de programme pour l'exécution des étapes du procédé de décodage selon la revendication 11, lorsqu'il est exécuté sur un ordinateur.
FR0651815A 2006-05-18 2006-05-18 Dispositif et procede de codage et de decodage d'au moins une image Pending FR2901391A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR0651815A FR2901391A1 (fr) 2006-05-18 2006-05-18 Dispositif et procede de codage et de decodage d'au moins une image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0651815A FR2901391A1 (fr) 2006-05-18 2006-05-18 Dispositif et procede de codage et de decodage d'au moins une image

Publications (1)

Publication Number Publication Date
FR2901391A1 true FR2901391A1 (fr) 2007-11-23

Family

ID=37876920

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0651815A Pending FR2901391A1 (fr) 2006-05-18 2006-05-18 Dispositif et procede de codage et de decodage d'au moins une image

Country Status (1)

Country Link
FR (1) FR2901391A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028166A1 (fr) * 2002-09-20 2004-04-01 Unisearch Limited Procede de signalisation d'informations de mouvement pour compression video extensible efficace

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028166A1 (fr) * 2002-09-20 2004-04-01 Unisearch Limited Procede de signalisation d'informations de mouvement pour compression video extensible efficace

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRANGOULO S ET AL: "AN ADAPTIVE VIDEO CODER USING SALIENCY AND SECOND GENERATION WAVELETS", PROCEEDINGS OF THE IASTED INTERNATIONAL CONFERENCE SIGNAL AND IMAGE PROCESSING, XX, XX, 23 August 2004 (2004-08-23), pages 286 - 291, XP009050190 *
LAURENT N ET AL: "An hybrid mesh-H264 video coder", PROCEEDINGS 2003 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP-2003. BARCELONA, SPAIN, SEPT. 14 - 17, 2003, INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, NEW YORK, NY : IEEE, US, vol. VOL. 2 OF 3, 14 September 2003 (2003-09-14), pages 865 - 868, XP010669971, ISBN: 0-7803-7750-8 *
WAEL BADAWY ET AL: "A Low Power VLSI Architecture for Mesh-Based Video Motion Tracking", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS II: ANALOG AND DIGITAL SIGNAL PROCESSING, IEEE INC. NEW YORK, US, vol. 49, no. 7, July 2002 (2002-07-01), XP011071601, ISSN: 1057-7130 *

Similar Documents

Publication Publication Date Title
EP1604529B1 (fr) PROCEDES ET DISPOSITIFS DE CODAGE ET DE DECODAGE D&amp;rsquo;UNE SEQUENCE D&amp;rsquo;IMAGES PAR DECOMPOSITION MOUVEMENT/TEXTURE ET CODAGE PAR ONDELETTES
FR2961930A1 (fr) Procede de compression / decompression de maillage tridimensionnel
EP3183879A1 (fr) Procédé de codage d&#39;une image numérique, procédé de décodage, dispositifs, et programmes d&#39;ordinateurs associés
CN105408935B (zh) 上采样和信号增强
JP2010525750A (ja) Pixon法を用いた画像圧縮及び解凍
WO2010043809A1 (fr) Prediction d&#39;une image par compensation en mouvement en avant
EP4311240A2 (fr) Procédé de partitionnement et procédé de signalisation de partitionnement d&#39;une unité d&#39;arborescence de codage
EP0825556B1 (fr) Codeur par transformation de blocs pour segments d&#39;image de formes arbitraires
WO2017037368A2 (fr) Procédé de codage et de décodage d&#39;images, dispositif de codage et de décodage d&#39;images et programmes d&#39;ordinateur correspondants
FR2958489A1 (fr) Procede de codage et procede de reconstruction d&#39;un bloc d&#39;une sequence d&#39;images
FR2784211A1 (fr) Procede de codage d&#39;images fixes ou animees avec reduction et adaptation du debit
CN107231556A (zh) 一种图像处理设备
WO2023225091A1 (fr) Changement d&#39;échelle de coordonnées géométriques pour codage de nuage de points dynamique basé sur l&#39;ia
WO2005008886A2 (fr) Compression contextuelle d&#39;images numeriques
FR2901391A1 (fr) Dispositif et procede de codage et de decodage d&#39;au moins une image
EP1574068A1 (fr) Procede de codage d&#39;une image par ondelettes et procede de decodage correspondant
FR3068556A1 (fr) Procede de decodage d&#39;une image, procede de codage, dispositifs, equipement terminal et programmes d&#39;ordinateurs associes
Kumar et al. Super resolution reconstruction of compressed low resolution images using wavelet lifting schemes
EP3520416B1 (fr) Procédé de codage d&#39;une image, procédé de decodage, dispositifs, equipement terminal et programmes d&#39;ordinateurs associés
JP2007019687A (ja) Csrbfを用いる画像処理方法
EP1359547A2 (fr) Procédé de traitement d&#39;images numériques pour applications bas débit
FR2927745A1 (fr) Procede et dispositif de codage d&#39;un signal numerique.
EP3259909B1 (fr) Procédé de codage et décodage d&#39;images, dispositif de codage et décodage et programmes d&#39;ordinateur correspondants
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质
FR2817697A1 (fr) Procede et dispositif de traitement d&#39;un ensemble de donnees representatives de grandeurs physiques