EP2281396A1 - Procede de codage d ' image avec synthese de texture - Google Patents

Procede de codage d ' image avec synthese de texture

Info

Publication number
EP2281396A1
EP2281396A1 EP09757605A EP09757605A EP2281396A1 EP 2281396 A1 EP2281396 A1 EP 2281396A1 EP 09757605 A EP09757605 A EP 09757605A EP 09757605 A EP09757605 A EP 09757605A EP 2281396 A1 EP2281396 A1 EP 2281396A1
Authority
EP
European Patent Office
Prior art keywords
image
synthesis
regions
patches
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP09757605A
Other languages
German (de)
English (en)
Inventor
Fabien Racape
Dominique Thoreau
Jérôme Vieron
Aurélie Martin
Gabrielle Ombrouck
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of EP2281396A1 publication Critical patent/EP2281396A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the invention lies in the context of image synthesis and more particularly in the field of video compression.
  • the synthesis method applies to the encoder and the decoder.
  • the method consists of synthesizing the content of an image from texture patches, the patches in question being: • blocks of images of reduced dimensions,
  • the rendering of the synthesis thus obtained is compared with the coded source; the parts of the reconstructed image that do not meet a quality level judged to be acceptable by the criterion are then encoded by a more conventional technique; as examples:
  • the metric can be the ssim
  • Figure 1 represents the principle of the algorithm. It has two inputs, a texture patch and an image with the desired dimensions, initialized by a noise to avoid periodicities. It outputs a synthesized image from the texture.
  • the neighborhood consists of the pixels surrounding the current pixel, it is included in a given square of dimension [dxd]. It is called "causal" when it contains only the pixels already synthesized in the current image. It is therefore here causal neighborhoods that are used since the non-causal part of the neighborhood in the current image comprises only noise pixels and is not interesting for the comparison.
  • Figure 2 shows such causal neighborhoods.
  • the output image is periodised so the pixels taken into account are on the other side of the image as shown for the first corner pixel (x) and its neighborhood located at the four corners of the image.
  • the main problem raised by the exhaustive approach remains the computation time necessary to synthesize images of reasonable size. This computing time is correlated to the size of the neighborhood, this multi-resolution approach will improve performance.
  • the main idea introduced in [1] is to use images of lower resolutions so that 5x5 or 3x3 neighborhoods extend on the texture like 15x15 neighborhoods in single resolution. For that, we start by creating pyramids, one for the patch and one for the synthesized image using a sub-sampler filter, as shown in Figure 3.
  • the algorithm then synthesizes the pyramid of the current image, from the lowest resolution to the highest resolution, as follows: • The lowest resolution image is synthesized in the same way as in the case of simple technical resolution.
  • the other images are synthesized in the same way, except that the neighborhoods do not only contain the pixels of the current resolution, but also pixels of the neighborhood of the pixel corresponding to the current at the lower resolution.
  • the last image is the output image synthesized from the patch and lower resolution images.
  • Figure 4 shows a multi-resolution neighborhood.
  • This neighborhood contains the pixels of the causal neighborhood of the current resolution of level n, represented in dark in the diagram on the left, plus the pixels contained in the non-causal neighborhood of the higher resolution of level n + 1, pixels represented in dark plus the parent in the center shown in more light, in the diagram on the right.
  • Figure 5 shows the order of the multi-resolution synthesis.
  • the upper image, level 2 corresponds to the synthesis of the first level, causal neighborhood.
  • the lower images, level 1 and level 0 correspond to the synthesis of the second level, causal neighborhood.
  • the object of the invention is to synthesize an image via texture patches for the purpose of image compression, it is of course necessary to estimate the quality of reproduction of the parts of synthesized images in comparison with the source image. (encoder side).
  • These synthesis-based reconstruction techniques tend to implicitly generate a reconstructed signal that moves away from the original signal in terms of classical sse (sum of squared differences) distortion, but on the other hand offer a visual rendering that can be quite acceptable; it is here that we come up against quality metrics.
  • SSIM Structural Similarity
  • the SSIM is applied by 8x8 block in the image, relative to each pixel of the image.
  • One of the aims of the invention is to overcome the aforementioned drawbacks. It relates to an image decoding method using a technique of image synthesis and image regions using a synthesis algorithm that operates on a set of patches, this operation being done by via a low resolution image, characterized in that it comprises the following steps:
  • the synthesis technique is of the pyramidal type.
  • the low resolution image is in a form of spatial scalability type so that the synthesis algorithm is punctually guided to pyramid levels other than the lower resolution level.
  • the synthesis algorithm operates on an RGB image signal, a YUV image signal or a luminance signal Y alone, the U and V signals being subjected to the same processing as the applied luminance processing.
  • the subject of the invention is also an image compression method using a technique for image synthesis and image regions using a synthesis algorithm that operates on a set of patches, this operation being carried out via a low resolution image, characterized in that it comprises the following steps:
  • the synthesis technique is of the pyramidal type.
  • the low resolution image is in a form of spatial scalability type so that the synthesis algorithm is punctually guided to pyramid levels other than the lower resolution level.
  • the synthesis algorithm operates on an RGB image signal, a YUV image signal or a luminance signal Y alone, the U and V signals being subjected to the same processing as the applied luminance processing.
  • the quality metric is the SSIM (Structural SIMilarity).
  • the invention makes it possible to improve the synthesis of images and image regions by using a synthesis algorithm that operates on a set of patches, this operation being done via a low resolution image.
  • the target application is video compression, a quality metric intervenes to classically code the areas of the poorly reconstructed image or leave the areas in question.
  • a first advantage of the invention is thus to allow an acceptable visual rendering (based on quality metrics) of reconstructed image regions via a synthesis algorithm, this synthesis being guided to the encoder and decoder by a transmitted image of low resolution, in order to in the end, to reduce the bit rate with a given visual quality, and vice versa.
  • this technique does not require a segmentation map as such to be transmitted to the decoder, the synthesis algorithm naturally operating the distribution of the information contained in the different patches via the guidance image. .
  • the rendering imperfections by the synthesis technique are corrected by conventional coding which areas of imperfection are detected by a quality metric, this metric may be ssim.
  • a second advantage of the invention is the scalability of the representation, which makes it possible to decode the signal at a chosen resolution.
  • Another advantage is the possibility of coding the low resolution image according to an existing coding technique, for example H.264, thus ensuring backward compatibility with these coding techniques.
  • the algorithm sub-samples the reference image as many times as there are stages in the Gaussian pyramid used in the multi-resolution algorithm. 2) This low resolution image is then copied as initialization of the synthesized image, replacing the proposed white initialization noise in the approach of LY Wei and M. Levoy. 3) Several patches corresponding to the different textured parts of the image are provided to the algorithm. 4) The low resolution image is then synthesized with a (non-causal) square neighborhood: the non-causal part of the neighborhood computed on the image being constructed then rests on the subsampled reference image. The exhaustive algorithm then tests all the neighborhoods of all the patches provided. The non-causal part of the current neighborhood will then guide the synthesis to the patch that has the characteristics closest to the current part of the subsampled image. 5) The algorithm keeps in memory which patch comes from each synthesized pixel.
  • the synthesized image of dimensions 768x512, represented in FIG. 9, is obtained by this algorithm with the following characteristics: • Voisinages of current resolution: 5 ⁇ 5 pixels
  • Associated metric In order to measure whether the texture synthesis is relevant to the regions of the image produced, a quality metric is used that can reveal the rendering of the structure.
  • Figure 11 shows the general block diagram of the coding method.
  • the applications concerned are those related to video compression. More specifically, very low and low speed applications (ex HD for mobile) as well as super resolution (HD and +).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

Le procédé de codage utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, est caractérisé en ce qu'il comporte les étapes suivantes : décision de codage ou de non codage des régions de l'image synthétisée en comparaison du rendu avec l'image source, selon une métrique de qualité, pour les régions synthétisées avec décision de codage, codage des patchs ainsi que de l'image de basse résolution de façon conventionnelle, pour les régions synthétisées avec décision de non codage, codage selon un schéma de codage conventionnel.

Description

PROCEDE DE CODAGE D ' IMAGE AVEC SYNTHESE DE TEXTURE
L'invention se situe dans le contexte de la synthèse d'images et plus particulièrement dans le domaine de la compression vidéo. Le procédé de synthèse s'applique au codeur et au décodeur.
Le procédé consiste à synthétiser le contenu d'une image à partir de patchs de texture, les patchs en question étant : • des blocs d'images de dimensions réduites,
• des blocs représentatifs, du point de vue texture, de différentes régions composant l'image.
Par ailleurs, sur la base d'une métrique de qualité, le rendu de la synthèse ainsi obtenu est comparé à la source coté codeur ; les parties de l'image reconstruite ne répondant pas à un niveau de qualité jugé comme étant acceptable par le critère sont alors encodées par une technique plus conventionnelle ; à titre d'exemples :
• la métrique peut être la ssim,
• le codage classique H264-avc.
Algorithme de synthèse
En ce qui concerne les méthodes connues de synthèse on peut citer entre autres les techniques basées pixel, en ce sens que les pixels sont construits un à un ; on peut citer un des algorithmes développé par L. -Y. Wei et M. Levoy "Fast texture synthesis using tree-structured vector Quantization". Proceedings of SIG-GRAPH 2000 (JuIy 2000), 479-488. [1] Le but ici est de synthétiser une large zone de texture à partir d'un « patch » plus petit mais qui contient toute l'information requise à propos des motifs. La qualité de l'algorithme réside dans le fait que cette image synthétisée ne doit pas faire apparaître de frontières ou de périodicités visibles.
La figure 1 représente le principe de l'algorithme. Il possède deux entrées, un patch de texture et une image aux dimensions désirées, initialisée par un bruit afin d'éviter les périodicités. Il retourne en sortie une image synthétisée à partir de la texture.
Caractéristiques de la recherche du meilleur pixel La comparaison des voisinages se fait « pixel à pixel » par la norme L2. Ainsi l'erreur minimisée ici est de la forme :
^ "" 2^ 2^ (Xsynth ~ X patch ) pixelsRGB
Avec xsynth et xpatch les valeurs de chaque couleur RGB du pixel considéré de l'image courante et du patch. Chaque pixel du voisinage du pixel courant est donc comparé à son vis-à -vis du voisinage du pixel testé dans le patch.
Le voisinage est constitué des pixels entourant le pixel courant, il est compris dans un carré de dimension [dxd] donnée. Il est dit « causal » lorsqu'il ne comporte que les pixels déjà synthétisés dans l'image courante. Ce sont donc ici des voisinages causaux que l'on utilise puisque la partie non causale du voisinage dans l'image courante ne comporte que des pixels de bruit et n'est pas intéressante pour la comparaison.
La figure 2 représente de tels voisinages causaux. Pour les premiers pixels, premières lignes et premières et dernières colonnes, l'image de sortie est périodisée ainsi les pixels pris en compte sont de l'autre côté de l'image comme montré pour le premier pixel en coin (x) et son voisinage situé aux quatre coins de l'image.
Approche multi-résolution
Le problème principal soulevé par l'approche exhaustive reste le temps de calcul nécessaire pour synthétiser des images de taille raisonnable. Ce temps de calcul étant corrélé à la taille du voisinage, cette approche multi- résolution va permettre d'améliorer les performances. L'idée principale introduite dans [1] est de se servir d'images de résolutions inférieures afin que des voisinages 5x5 ou 3x3 s'étendent sur la texture comme des voisinages 15x15 en simple résolution. Pour cela, on commence par créer des pyramides, une pour le patch et une pour l'image synthétisée à l'aide d'un filtre sous-échantillonneur, comme représenté sur la figure 3.
L'algorithme synthétise alors la pyramide de l'image courante, de la résolution la plus faible à la résolution la plus élevée, comme suit : • L'image de résolution la plus faible est synthétisée de la même manière que dans la cas de la technique simple résolution.
• Les autres images sont synthétisées de la même manière, à ceci près que les voisinages ne contiennent pas uniquement les pixels de la résolution courante, mais aussi des pixels du voisinage du pixel correspondant au courant à la résolution inférieure.
• La dernière image est ainsi l'image de sortie synthétisée à partir du patch et des images de résolution inférieure.
La figure 4 représente un voisinage multi-résolution. Ce voisinage contient les pixels du voisinage causal de la résolution courante de niveau n, représenté en foncé dans le schéma de gauche, plus les pixels contenus dans le voisinage non causal de la résolution supérieure de niveau n+1 , pixels représentés en foncé plus le parent au centre représenté en plus clair, dans le schéma de droite. Dans cet exemple, le voisinage contient 12+9=21 pixels. La figure 5 représente l'ordre de la synthèse multi-résolution. L'image supérieure, niveau 2, correspond à la synthèse du premier niveau, voisinage causal. Les images inférieures, niveau 1 et niveau 0, correspondent à la synthèse du second niveau, voisinage causal.
Métrique de qualité : SSIM
L'objet de l'invention étant de synthétiser une image via des patchs de texture dans un but de compression d'image, il est évidemment nécessaire d'estimer la qualité de restitution des parties d'images synthétisées en comparaison à l'image source (coté codeur). Ces techniques de reconstruction basées synthèse ont tendance à implicitement engendrer un signal reconstruit qui s'éloigne du signal d'origine en termes de distorsion classique de type sse (somme des différences au carré), mais en revanche proposent un rendu visuel qui peut être tout à fait acceptable ; c'est ici qu'on se heurte à la métrique de qualité. A l'heure actuelle il y a beaucoup de travaux sur le sujet, on va cependant s'orienter sur une mesure un peu plus à caractère psycho-visuel appelée Structural Similarity (SSIM) décrite par exemple dans le document de Z.Wang, L. Lu, A.C Bovik,"Video quality assessment based on structural distortion measure" Signal processing image communication vol 19 n°2, pp 121-132, feb 2004.
Cette mesure est composée de trois termes et permet d'estimer les disparités. La formulation de la SSIM est la suivante:
ssiM(s, r) = pμ,μe + qχto, + Q) (5)
(μ2 + μ2 + C1)(C * +σc 2 + C2)
avec :
• μs: moyenne de la luminance des pixels source, • σs: vahance des pixels sources,
• μc: moyenne de la luminance des pixels synthétisés,
• σc: vahance des pixels reconstruits,
• σsc: covariance des pixels source et synthétisés,
• cι = (kιL)2,c2 = (k2L)2 : deux variables destinées à stabiliser la division quand le dénominateur est très faible.
• L est la dynamique des valeurs des pixels, donc ici 256 pour les couleurs codées sur δbits,
• /C1 = 0,01 et /C2 = 0,03 par défaut.
La SSIM est appliquée par bloc 8x8 dans l'image, relativement à chaque pixel de l'image.
Un des buts de l'invention est de pallier les inconvénients précités. Elle a pour objet un procédé de décodage d'image utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, caractérisé en ce qu'il comporte les étapes suivantes:
- décodage des patchs ainsi que de l'image de basse résolution, les patchs pouvant provenir d'images précédemment décodées ou pouvant être décodés indépendamment des images proprement dites,
- reconstruction de régions selon un algorithme de synthèse utilisant ces patchs et cette image basse résolution comme supports,
- décodage de façon conventionnelle, pour les régions non codées par synthèse, les régions ainsi décodées venant se substituer à celle déjà éventuellement reconstruite dans l'image synthétisée.
Selon une mise en œuvre particulière, la technique de synthèse est de type pyramidale.
Selon une mise en œuvre particulière, l'image basse résolution se présente sous une forme de type scalabilité spatiale de façon à ce que l'algorithme de synthèse soit ponctuellement guidé à des niveaux de la pyramide autres que le niveau de plus basse résolution.
Selon une mise en œuvre particulièer, l'algorithme de synthèse opère sur un signal image RVB, un signal image YUV ou bien un signal de luminance Y seul, les signaux U et V subissant le même traitement que le traitement appliqué e la luminance.
L'invention a également pour objet un procédé de compression d'image utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, caractérisé en ce qu'il comporte les étapes suivantes :
- décision de codage ou de non codage des régions de l'image synthétisée en comparaison du rendu avec l'image source, selon une métrique de qualité,
- pour les régions synthétisées avec décision de codage, codage des patchs ainsi que de l'image de basse résolution de façon conventionnelle,
- pour les régions synthétisées avec décision de non codage, codage de ces régions selon un schéma de codage conventionnel, Selon une mise en œuvre particulière, la technique de synthèse est de type pyramidale.
Selon une mise en œuvre particulière, l'image basse résolution se présente sous une forme de type scalabilité spatiale de façon à ce que l'algorithme de synthèse soit ponctuellement guidé à des niveaux de la pyramide autres que le niveau de plus basse résolution.
Selon une mise en œuvre particulière, l'algorithme de synthèse opère sur un signal image RVB, un signal image YUV ou bien un signal de luminance Y seul, les signaux U et V subissant le même traitement que le traitement appliqué e la luminance.
Selon une mise en œuvre particulière, la métrique de qualité est la SSIM (Structural SIMilarity).
L'invention permet d'améliorer la synthèse d'images et de régions d'images en utilisant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution. L'application visée étant la compression vidéo, une métrique de qualité intervient afin de coder classiquement les zones de l'image mal reconstruite ou de laisser en l'état les zones en question. Un premier avantage de l'invention est donc de permettre un rendu visuel acceptable (basé métrique de qualité) de régions d'image reconstruites via un algorithme de synthèse, cette synthèse étant guidée au codeur et décodeur par une image transmise de basse résolution, afin au final de réduire le débit binaire à qualité visuel donné, et inversement. II est à noter que cette technique ne nécessite pas de carte segmentation en tant que telle à transmettre au décodeur, l'algorithme de synthèse opérant naturellement la distribution de l'information contenue dans les différents patchs par l'intermédiaire de l'image de guidage. De plus, les imperfections de rendu par la technique de synthèse sont corrigées par un codage classique lesquelles zones d'imperfection étant détectées par une métrique de qualité, cette métrique pouvant être la ssim. Un deuxième avantage de l'invention est la scalabilité de la représentation, qui permet de décoder le signal à une résolution choisie. Un autre avantage est la possibilité de coder l'image basse résolution selon une technique codage existante, par exemple H.264, assurant ainsi une compatibilité arrière avec ces techniques de codage.
Synthèse guidée
L'idée est de transmettre à l'algorithme de synthèse hiérarchique la version sous-échantillonnée de l'image de référence qui va servir de guide pour la synthèse de la résolution la plus basse de la pyramide. La synthèse de cette image basse résolution se fera avec un voisinage non causal. On choisit par exemple l'approche exhaustive de L. Y. Wei et M. Levoy qui consiste à comparer ce voisinage à tous ceux du patch pour en déterminer le meilleur candidat. Les différentes étapes du procédé, illustrées par la figure 6 qui représente un synoptique de la synthèse guidée, sont alors les suivantes :
1 ) L'algorithme sous échantillonne l'image de référence autant de fois qu'il y a d'étages dans la pyramide gaussienne utilisée dans l'algorithme multi-résolution. 2) Cette image de basse résolution est alors copiée comme initialisation de l'image synthétisée, remplaçant le bruit blanc d'initialisation proposé dans l'approche de L. Y. Wei et M. Levoy. 3) Plusieurs patchs correspondant aux différentes parties texturées de l'image sont fournis à l'algorithme. 4) L'image de basse résolution est alors synthétisée avec un voisinage carré (non causal) : la partie non causale du voisinage calculé sur l'image en cours de construction repose alors sur l'image de référence sous-échantillonnée. L'algorithme exhaustif teste alors tous les voisinages de tous les patchs fournis. La partie non causale du voisinage courant va alors guider la synthèse vers le patch qui possède les caractéristiques les plus proches de la partie en cours de l'image sous-échantillonnée. 5) L'algorithme garde en mémoire de quel patch provient chaque pixel synthétisé.
6) Pour les niveaux supérieurs, la technique de synthèse reste inchangée, ne cherchant que dans le patch mémorisé à la résolution précédente, ceci afin d'accélérer la synthèse., néamoins dans une des variantes du procédé l'algorithme de synthèse peut ponctuellement guidé/containt à des niveaux de la pyramide autre que le niveau de plus basse résolution.
Prenons comme exemple, pour illustrer ce type de synthèse, une image provenant d'un match de football. Cette image de référence est représentée à la figure 7. On remarque que cette image possède deux zones où la synthèse pourrait être un bon moyen de garder les hautes fréquences généralement sacrifiées dans les algorithmes de codage classiques: la pelouse et le public. On choisit donc de transmettre à l'algorithme 3 images d'entrée, représentées à la figure 8, la version sous-échantillonnée deux fois, un échantillon de public et un échantillon de pelouse.
L'image synthétisée de dimensions 768x512, représentée à la figure 9, est obtenue par cet algorithme avec les caractéristiques suivantes : • Voisinages de résolution courante : 5x5 pixels
• Voisinages de résolution n+1 : 3x3 pixels
• Nombre de niveaux de la pyramide : 3
Métrique associée Afin de mesurer si la synthèse de texture se révèle pertinente sur les régions de l'image produite, on utilise une métrique de qualité capable de révéler le rendu de la structure .
En reprenant l'exemple précédent et une métrique possible, la SSIM, on obtient un mapping de la SSIM tel que représenté à la figure 10. Plusieurs modes de décision sont applicables :
- utilisation d'un seuil, appliqué sur la métrique permettant de distinguer les éléments de l'image à encoder ou à non encoder - mise en compétition de la mesure obtenue et de celle obtenue avec les modes de codage « classiques »
La figure 11 représente le synoptique général du procédé de codage.
Les applications concernées sont celles liées à la compression vidéo. Plus spécifiquement les applications très bas et bas débit (ex HD pour mobile) ainsi que la super résolution (HD et +).

Claims

REVENDICATIONS
1. Procédé de décodage d'image utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, caractérisé en ce qu'il comporte les étapes suivantes:
- décodage des patchs ainsi que de l'image de basse résolution, les patchs pouvant provenir d'images précédemment décodées ou pouvant être décodés indépendamment des images proprement dites,
- reconstruction de régions selon un algorithme de synthèse utilisant ces patchs et cette image basse résolution comme supports,
- décodage de façon conventionnelle, pour les régions non codées par synthèse, les régions ainsi décodées venant se substituer à celle déjà éventuellement reconstruite dans l'image synthétisée.
2. Procédé selon la revendication 1 , caractérisé en ce que la technique de synthèse est de type pyramidale.
3. Procédé selon la revendication 2, caractérisé en ce que l'image basse résolution se présente sous une forme de type scalabilité spatiale de façon à ce que l'algorithme de synthèse soit ponctuellement guidé à des niveaux de la pyramide autres que le niveau de plus basse résolution.
4. Procédé selon la revendication 1 , caractérisé en ce que l'algorithme de synthèse opère sur un signal image RVB, un signal image YUV ou bien un signal de luminance Y seul, les signaux U et V subissant le même traitement que le traitement appliqué à la luminance.
5. Procédé de compression d'image utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, caractérisé en ce qu'il comporte les étapes suivantes : - décision de codage ou de non codage des régions de l'image synthétisée en comparaison du rendu avec l'image source, selon une métrique de qualité,
- pour les régions synthétisées avec décision de codage, codage des patchs ainsi que de l'image de basse résolution de façon conventionnelle,
- pour les régions synthétisées avec décision de non codage, codage de ces régions selon un schéma de codage conventionnel,
6. Procédé selon la revendication 5, caractérisé en ce que la technique de synthèse est de type pyramidale.
7. Procédé selon la revendication 6, caractérisé en ce que l'image basse résolution se présente sous une forme de type scalabilité spatiale de façon à ce que l'algorithme de synthèse soit ponctuellement guidé à des niveaux de la pyramide autres que le niveau de plus basse résolution.
8. Procédé selon la revendication 5, caractérisé en ce que l'algorithme de synthèse opère sur un signal image RVB, un signal image YUV ou bien un signal de luminance Y seul, les signaux U et V subissant le même traitement que le traitement appliqué à la luminance.
9. Procédé selon la revendication 5, caractérisé en ce que la métrique de qualité est la SSIM (Structural SIMilarity).
EP09757605A 2008-06-05 2009-06-04 Procede de codage d ' image avec synthese de texture Withdrawn EP2281396A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0853721 2008-06-05
PCT/EP2009/056903 WO2009147224A1 (fr) 2008-06-05 2009-06-04 Procede de codage d ' image avec synthese de texture

Publications (1)

Publication Number Publication Date
EP2281396A1 true EP2281396A1 (fr) 2011-02-09

Family

ID=41152012

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09757605A Withdrawn EP2281396A1 (fr) 2008-06-05 2009-06-04 Procede de codage d ' image avec synthese de texture

Country Status (6)

Country Link
US (1) US20110081093A1 (fr)
EP (1) EP2281396A1 (fr)
JP (1) JP2011522496A (fr)
KR (1) KR20110020242A (fr)
CN (1) CN102047663A (fr)
WO (1) WO2009147224A1 (fr)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9076236B2 (en) 2013-09-12 2015-07-07 At&T Intellectual Property I, L.P. Guided image upsampling using bitmap tracing
US10147459B2 (en) * 2016-09-22 2018-12-04 Apple Inc. Artistic style transfer for videos
US10198839B2 (en) 2016-09-22 2019-02-05 Apple Inc. Style transfer-based image content correction
CN108062743B (zh) * 2017-08-25 2020-07-21 成都信息工程大学 一种含噪图像超分辨率方法
US10909657B1 (en) 2017-09-11 2021-02-02 Apple Inc. Flexible resolution support for image and video style transfer
CN109982082B (zh) * 2019-05-05 2022-11-15 山东大学 一种基于局部纹理特性的hevc多失真准则率失真优化方法
US11367163B2 (en) 2019-05-31 2022-06-21 Apple Inc. Enhanced image processing techniques for deep neural networks
US20220303555A1 (en) * 2020-06-10 2022-09-22 Plantronics, Inc. Combining high-quality foreground with enhanced low-quality background

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US7436405B2 (en) * 2004-05-14 2008-10-14 Microsoft Corporation Terrain rendering using nested regular grids
US7567254B2 (en) * 2005-06-30 2009-07-28 Microsoft Corporation Parallel texture synthesis having controllable jitter
EP1926321A1 (fr) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Représentation hybride de texture
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8537172B2 (en) * 2008-08-25 2013-09-17 Technion Research & Development Foundation Limited Method and system for processing an image according to deterministic and stochastic fields

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009147224A1 *

Also Published As

Publication number Publication date
JP2011522496A (ja) 2011-07-28
KR20110020242A (ko) 2011-03-02
CN102047663A (zh) 2011-05-04
US20110081093A1 (en) 2011-04-07
WO2009147224A1 (fr) 2009-12-10

Similar Documents

Publication Publication Date Title
WO2009147224A1 (fr) Procede de codage d ' image avec synthese de texture
CN112150400B (zh) 图像增强方法、装置和电子设备
FR2762699A1 (fr) Procede et appareil pour le codage et le decodage d'images mobiles, sur la base de regions
CN112801922B (zh) 一种彩色图-灰度图-彩色图转换方法
EP2347590B1 (fr) Prediction d'une image par compensation en mouvement en avant
EP3349446A1 (fr) Procédé et dispositif d'encodage dynamique contrôlé d'un signal numérique multidimensionnel, en particulier un signal d'image et procédé et dispositif correspondant de décodage
FR2927744A1 (fr) Procede et dispositif de filtrage d'un signal numerique.
Han et al. HDR image compression with convolutional autoencoder
FR2933520A1 (fr) Procede et dispositif de restauration d'une sequence video
FR2755564A1 (fr) Procede et dispositif de codage de donnees d'images
WO2000073997A1 (fr) Procede de codage/decodage d'images
FR3120174A1 (fr) Prédiction pondérée d’image, codage et décodage d’image utilisant une telle prédiction pondérée
FR3120173A1 (fr) Détermination d’au moins un mode de codage d’image ou d’au moins un mode de décodage d’image, codage et décodage d’image utilisant une telle détermination
Wang et al. Compressed Domain Multiframe Processing
WO2026087142A1 (fr) Procédé et dispositif de codage et décodage d'images
EP0524871B1 (fr) Un procédé de codage de signaux hybride adaptatif
FR3167813A3 (fr) Procédé et dispositif de codage et décodage d’images
FR3167811A3 (fr) Procédé et dispositif de codage et décodage d’images
EP3203737A1 (fr) Procédé et dispositif d'encodage d'un signal numérique multidimensionnel, en particulier un signal d'image, et procédé et dispositif correspondants de décodage
FR3167812A3 (fr) Procédé et dispositif de codage et décodage d’images
FR3167810A3 (fr) Procédé et dispositif de codage et décodage d’images
FR2978579A1 (fr) Procede de codage d'une image apres redimensionnement par suppression de pixels
FR2944937A1 (fr) Procede et dispositif de restauration d'une sequence video
FR2956552A1 (fr) Procede de codage ou de decodage d'une sequence video, dispositifs associes
Lai et al. Improvement of interpolated color filter array image using modified mean-removed classified vector quantization

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20101118

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20111026

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20120103