FR2790852A1 - Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede - Google Patents

Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede Download PDF

Info

Publication number
FR2790852A1
FR2790852A1 FR9902827A FR9902827A FR2790852A1 FR 2790852 A1 FR2790852 A1 FR 2790852A1 FR 9902827 A FR9902827 A FR 9902827A FR 9902827 A FR9902827 A FR 9902827A FR 2790852 A1 FR2790852 A1 FR 2790852A1
Authority
FR
France
Prior art keywords
image
images
filtering
representative
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR9902827A
Other languages
English (en)
Other versions
FR2790852B1 (fr
Inventor
Philippe Bordes
Philippe Guillotel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Priority to FR9902827A priority Critical patent/FR2790852B1/fr
Priority to FR0000511A priority patent/FR2790853B1/fr
Priority to TW89103326A priority patent/TW490617B/zh
Priority to TW089103327A priority patent/TW517211B/zh
Priority to PCT/EP2000/001688 priority patent/WO2000054220A1/fr
Priority to EP00909269A priority patent/EP1159711B1/fr
Priority to DE60006651T priority patent/DE60006651T2/de
Priority to AU31615/00A priority patent/AU3161500A/en
Priority to PCT/EP2000/001686 priority patent/WO2000054221A1/fr
Priority to CN00804728.6A priority patent/CN1306457C/zh
Priority to AU35533/00A priority patent/AU3553300A/en
Priority to JP2000604372A priority patent/JP4611535B2/ja
Priority to US09/936,033 priority patent/US7003037B1/en
Publication of FR2790852A1 publication Critical patent/FR2790852A1/fr
Application granted granted Critical
Publication of FR2790852B1 publication Critical patent/FR2790852B1/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)

Abstract

La présente invention concerne un procédé d'évaluation de la qualité d'images codées caractérisé en ce qu'il comporte :a) une étape de traitement du signal représentatif de l'image pour obtenir un signal traité,b) une étape de construction à partir du signal représentatif de l'image codée, d'un signal représentatif de l'image champ de mouvement à partir de la séquence source,c) une étape de constitution d'un signal représentatif de la segmentation du champ de mouvement et de stockage des pixels d'images représentatifs de chaque région ayant un champ de mouvement différent à une adresse définie par rapport aux vecteurs vitesse estimés dans l'étape de construction du champ de mouvement permettant de déterminer les pixels ayant des vecteurs vitesse différents,d) une étape de détermination ou de calcul d'un filtre humain psychovisuel à appliquer en fonction de la vitesse estimée de la région,e) une étape de filtrage du signal traité, etf) une étape de construction de la carte des disparités entre les signaux représentatifs de l'image obtenus après l'étape de filtrage et les signaux représentatifs de l'image décodée obtenus après l'étape de filtrage.

Description

La présente invention concerne un procédé et un dispositif d'évaluation de
la qualité des images codées ainsi que l'utilisation de tels
procédé et dispositif.
Dans les systèmes de codage de séquences vidéo numériques, il est connu d'estimer la qualité des images en sortie de processus par
comparaison avec l'image originale en utilisant le rapport signal à bruit.
Ce rapport est en général dénommé PSNR (Peak Signal to Noise Ratio) et obtenu en sommant les différences quadratiques des pixels de l'image finale et de l'image originale. o0 Toutefois, cette mesure ne prend pas en compte les caractéristiques psychovisuelles de la vision humaine (HVS: Human Visual System). En effet, I'oeil humain est plus sensible à certaines fréquences spatiales et sa perception des détails des objets est fortement liée à leur mouvement relatif
et également aux phénomènes de luminosité et de contraste.
Ainsi une séquence, qui peut, selon le processus d'estimation de qualité traditionnelle, apparaître comme résultant d'un bon codage et être supposée avoir une bonne qualité d'images, ne sera pas perçue de cette
façon par l'observateur compte tenu de ses caractéristiques psychovisuelles.
L'objet de l'invention est donc de permettre une appréciation de la qualité des images qui se rapproche autant que possible de la perception
qu'en aura l'observateur.
L'influence du facteur humain (HVS) est partiellement prise en compte dans les codeurs traditionnels de type MPEG2 dans la perception des fréquences spatiales des images décodées par utilisation d'une matrice de pondération sur les hautes fréquences des blocs d'images 8 par 8, mais cette prise en compte n'est absolument pas effectuée dans la perception des
détails des objets en mouvement.
La plupart des travaux mesurant les disparités entre deux images sont essentiellement basés sur une analyse statique des défauts ne prenant
2 2790852
pas en compte le mouvement, ou encore sur une analyse des fréquences spatiales. Par ailleurs, les quelques travaux antérieurs prenant en considération l'aspect temporel, mais ne prenant pas en compte le mouvement proprement dit, utilisent la différence (distorsion) entre un macrobloc courant et le macrobloc à la même position dans l'image précédente. Aucun de ces travaux ne considère l'influence de la vision humaine
avec les problèmes de mouvement dans l'image.
o Le but de l'invention est de pallier les inconvénients de l'art antérieur.
Ce but est atteint par le fait que le procédé d'évaluation de la qualité d'images comporte: a) une étape de traitement du signal représentatif de l'image pour obtenir un signal traité, 1 5 b) une étape de construction à partir du signal représentatif de l'image codée, d'un signal représentatif de l'image champ de mouvement à partir de la séquence source, c) une étape de constitution d'un signal représentatif de la segmentation du champ de mouvement et de stockage des pixels d'images représentatifs de chaque région ayant un champ de mouvement différent à une adresse définie par rapport aux vecteurs vitesse estimés dans l'étape de construction du champ de mouvement permettant de déterminer les pixels ayant des vecteurs vitesse différents, d) une étape de détermination ou de calcul d'un filtre humain psychovisuel à appliquer en fonction de la vitesse estimée de la région, e) une étape de filtrage du signal traité, et f) une étape de construction de la carte des disparités entre les signaux représentatifs de l'image obtenus après l'étape de filtrage et les
signaux représentatifs de l'image décodée obtenus après l'étape de filtrage.
3 2790852
Selon une autre particularité, le procédé d'évaluation de la qualité d'images comporte une étape consistant à appliquer chacune des étapes à
l'image source et à l'image décodée.
Selon une autre particularité, le procédé d'évaluation de la qualité d'images codées comporte une étape de décomposition fréquentielle des images (FFT, sous-bande,....) précédant l'étape de filtrage constituée d'une pondération par un coefficient déduit de courbes prenant en compte la vitesse estimée et la bande de fréquence considérée, pour tenir compte de l'influence relative de la vitesse et de la fréquence spatiale sur la perception
1o des images animées.
Selon une autre particularité, I'étape de filtrage psychovisuel s'applique à des matrices représentatives des différences inter- pyramides entre les pyramides de Laplace des images sources traitées et celles des images décodées traitées après pondération par, d'une part l'influence locale représentative de la fréquence du pixel concerné et d'autre part, un coefficient de filtrage déduit de courbes de filtrage prenant en compte la vitesse estimée et la bande de fréquence correspondant au niveau de la pyramide de Laplace à laquelle le pixel appartient dans une pyramide multirésolution obtenue par construction d'une pyramide à partir de l'image
de chaque région de vitesse différente.
Selon une autre particularité, les courbes de filtrage psychovisuel sont soit constituées par une succession de courbes arrangées sous forme de base de données et mémorisées dans le système, et éventuellement interpolation à partir de ces courbes, soit obtenues par une représentation analytique mise en oeuvre par des moyens de calcul permettant de calculer
chaque courbe.
Selon une autre particularité, I'étape de construction de la carte des disparités s'effectue par recomposition des pyramides multirésolutions
filtrées obtenues à l'étape précédente.
4 2790852
Selon une autre particularité, I'étape de traitement de l'image comporte une étape de décomposition des images sources et décodées en pyramide de Laplace de n niveaux et une étape de construction de la
différence inter-pyramide.
Selon une autre particularité, la vitesse ou valeur locale du mouvement est obtenue par une construction éventuelle de filtres puis
application du filtre construit ou par application d'un filtre médian.
Selon une autre particularité, le procédé comporte une étape de précorrection des images en effectuant une correction Gamma et une
lo correction par la loi de Weber.
Selon une autre particularité, la correction Gamma s'effectue par un dispositif mettant en oeuvre la formule suivante: y = Ks VI avec V = kaEa dans laquelle y est la luminance, V la tension de luminance, E l'éclairement de l'image analysée y est une exposant voisin de 2,2 pour les tubes images en noir et blanc et ya une valeur de 0,45 admise couramment pour la
télévision couleur.
Selon une autre particularité, le filtrage est obtenu par construction du filtre psychovisuel correspondant à la vitesse estimée à partir d'une base de données de filtres et interpolation entre les deux filtres correspondant aux
régions les plus proches de la région dont la vitesse a été estimée.
Selon une autre particularité, l'influence (In) locale relative du pixel pi concerné est obtenue par calcul d'une valeur En représentant la puissance qieme de la différence niveau à niveau inter-pyramides entre les pyramides
sources et pyramides décodées de même niveau du pixel concerné.
Selon une autre particularité, le calcul de In est effectué par utilisation de la formule suivante E,, <m(E) k<it
2790852
avec En = (Diffn(pj)), m(Ek)= Ek si Ek > S et m(Ek) = S si Ek < S avec par exemple S = 0,5% (valeur maximale possible de Ek) Selon une autre particularité, le filtrage comporte un filtrage
directionnel des images selon une direction déterminée plutôt qu'une autre.
Selon une autre particularité, la correction Gamma s'effectue par un dispositif de calcul mettant en oeuvre l'équation suivante: "= Lmax{-e emax e étant la valeur de niveau de grille du pixel, emax étant la valeur maximum exemple 256 si le codage s'effectue sur 8 bits, Lmax étant l'intensité
correspondant à emax en cd/m2.
Selon une autre particularité, la loi de Weber est mise en oeuvre par un dispositif de calcul qui réalise la fonction suivante: Vout = Lma Loglo(l + 100 Ld;"p) 2 L.,ax Selon une autre particularité, le calcul du filtre psychovisuel s'obtient par un dispositif mettant en oeuvre la formule suivante: G(c,v) = [6.1 + 7.3(log(v/3)3] x v(2 exp[- 2ct (v+2)/45.9] avec ct=2nf, f=fréquence spatiale, v=vitesse Un autre but de l'invention est de proposer une utilisation du procédé
selon l'invention.
6 2790852
Cet autre but est atteint par le fait que le procédé de l'invention est utilisé dans un dispositif de codage par rétroaction dynamique en fonction des disparités psychovisuelles calculées par le dispositif de calcul mettant en oeuvre le procédé sur l'un des paramètres utilisés par le dispositif de codage au cours du codage. Selon une autre particularité, les disparités calculées sont comparées à un seuil pour modifier les paramètres de codage de l'appareil
de codage jusqu'à ce que le seuil souhaité soit franchi.
Selon une autre particularité, I'un des paramètres de codage est soit le pas de quantification, soit la taille des images, soit la forme du groupe
d'images GOP.
Selon une autre particularité, le procédé de l'invention est utilisé dans l'analyse de l'homogénéité des disparités calculées pour agir sur les
paramètres de codage.
Selon une autre particularité, le procédé de l'invention est utilisé pour modifier les paramètres de codage des objets différents d'une image dont le
codage est orienté objet en fonction d'une disparité souhaitée constante.
Selon une autre particularité, le procédé de l'invention est utilisé pour
effectuer une réallocation dynamique des débits alloués.
Un dernier but de l'invention est de proposer un dispositif mettant en
ceuvre le procédé.
Ce but est atteint par le fait que le dispositif d'évaluation comporte: un moyen (la, lb) de traitement du signal représentatif de l'image source (10a) et de l'image décodée (lOb) pour obtenir un signal d'image source traitée et d'image décodée traitée, - des moyens (2a, 2b) de construction à partir du signal représentatif de chacune des images, d'un signal représentatif de l'estimation du champ de mouvement à partir de chacune des images des séquences sources et décodées,
7 2790852
- des moyens (3a, 3b) de constitution d'un signal représentatif de la segmentation du champ de mouvement et de stockage des pixels d'images représentatifs de chaque région Ri ayant un champ de mouvement différent à une adresse définie par rapport aux vecteurs vitesse estimée dans l'étape de construction du champ de mouvement permettant de déterminer pour chacune des images sources et décodées celles ayant des vecteurs vitesse différents, - un moyen (4,5) de détermination ou de calcul d'un filtre humain psychovisuel à appliquer en fonction de la vitesse estimée de la région, - des moyens (6a, 6b) de filtrage appliqués à chacune des images sources traitées et décodées traitées et - un moyen (7) de construction de la carte des disparités entre les signaux représentatifs de l'image source traitée obtenus après l'étape de filtrage et les signaux représentatifs de l'image décodée traitée obtenus
après l'étape de filtrage.
Selon une autre particularité, les moyens de filtrage psychovisuel s'appliquent à des matrices représentatives des différences interpyramides calculées par des moyens de calcul entre les pyramides de Laplace des images sources traitées et celles des images décodées traitées après pondération par, d'une part l'influence locale représentative de la fréquence du pixel concerné et, d'autre part un coefficient de filtrage déduit de courbes de filtrage mémorisées ou calculées et prenant en compte la vitesse estimée et la bande de fréquence correspondant au niveau de la pyramide de Laplace à laquelle le pixel appartient dans une pyramide multirésolution obtenue par des moyens de construction de cette pyramide multirésolution à
partir de l'image de chaque région de vitesse différente.
Selon une autre particularité, les moyens de construction de la carte des disparités effectuent une recomposition des pyramides multirésolutions filtrées.
8 2790852
Selon une autre particularité, les moyens de traitement, les moyens de constitution, les moyens de détermination, les moyens de construction, les moyens de filtrage sont constitués d'au moins un microprocesseur associé à des mémoires suffisantes pour contenir les programmes permettant de réaliser les différents moyens et pour contenir les bases de données et les informations intermédiaires nécessaires au calcul et à
l'obtention de la carte des disparités.
D'autres particularités et avantages de la présente invention
apparaîtront plus clairement à la lecture de la description ci-après faite en
io référence aux figures annexées dans lesquelles: - la figure la représente une vue synoptique des étapes d'une première variante du procédé, -la figure lb représente une représentation graphique du résultat des étapes de prétraitement, - la figure lc représente une vue simplifiée de la matrice d'image source, - la figure ld représente une vue simplifiée de la matrice obtenue après segmentation du champ de mouvement, - la figure 2 représente une vue synoptique des différentes étapes d'une deuxième variante du procédé, - la figure 3 représente la famille de courbes de filtrage correspondant à l'influence psychovisuelle de la vision humaine, courbes qui
sont mémorisées dans une base de données pour des vitesses déterminées.
- la figure 4 représente la pyramide multirésolution,
- la figure 5 représente la pyramide de Laplace.
Une première variante de réalisation de l'invention va être explicitée à l'aide de la figure la sur laquelle les étapes réalisées, par le dispositif permettant l'évaluation de la qualité des images en sortie d'un processus de codage, sont obtenues par différents dispositifs traitant, d'une part les signaux d'une image source (10a) et d'autre part les signaux représentatifs
9 2790852
d'une image décodée (10b). Chaque image est représentée par une pluralité de pixels p,, arrangés en matrice comme représentés sur la figure lc et dont la taille dépend de la définition souhaitée pour l'image. A un pixel pij donné correspond une taille de détails caractéristiques exprimée en fonction de la taille de la matrice définissant le nombre de pixels dans l'image, d'une part
par la fréquence en cycle et d'autre part par la vitesse en degré par seconde.
Chacune des étapes du procédé selon la première variante de réalisation est appliquée a la fois à l'image source et à l'image décodée. Par image décodée, il faut entendre toute image vidéo obtenue en sortie d'un dispositif 1o de codage décodage permettant la transmission selon un standard tel que, par exemple, MPEG. Pour mieux fixer les idées, le lecteur pourra également se référer à l'annexe 1 qui représente les différentes étapes numérotées de
i à 7 du procédé mis en oeuvre selon la première variante.
Un premier dispositif (la, lb) de prétraitement des images sources (10a) et décodées (10b) permet de mettre en oeuvre une première étape de traitement dite étape de prétraitement réalisant une correction Gamma des signaux représentatifs de l'image et une correction du contraste par une loi de Weber. La loi de Weber tient compte du fait que l'oeil est sensible aux contrastes et que lorsqu'on regarde un spot lumineux d'intensité I + dl sur un fond ayant une intensité lumineuse 1, le rapport dl/l appelé rapport de Weber est pratiquement constant à environ 2% sur une large plage de seuil lumineux excepté pour les intensités lumineuses très faibles et les intensités lumineuses très élevées. La correction de contraste prend en compte une forme de saturation de l'oeil liée au fait que, par exemple, une zone d'intensité moyenne à côté d'une zone d'intensité forte sera moins bien distinguée qu'une zone d'intensité faible à côté d'une zone d'intensité moyenne. Pour tenir compte de cet effet, on corrige le signal de tension qui va commander l'intensité lumineuse de l'affichage effectué par le tube cathodique par une loi dite de Weber exprimée ci-après: Vout Lo, + 100 dans laquelle Lmax représente l'intensité lumineuse maximum approximativement égale à cent candela par mètre carré (Lmaxc100cd/m2) et Ldis7play l'intensité lumineuse souhaitée. Cette loi mathématique est mise en ceuvre par un dispositif électronique permettant d'effectuer ces calculs. A titre d'exemple, un tel dispositif peut être constitué d'un microprocesseur associé à des mémoires qui contiennent le programme correspondant à l'algorithme de calcul. o0 La correction Gamma permet quant à elle de s'affranchir de la réponse du téléviseur, c'est-à- dire des caractéristiques du tube permettant l'affichage. En effet, les dispositifs d'affichage à tube cathodique sont des dispositifs non linéaires et l'intensité de lumière reproduite sur l'écran d'un moniteur cathodique n'est pas, en l'absence de correction, proportionnelle à i5 sa tension d'entrée. La correction Gamma est un processus de compensation de cette non linéarité de façon à obtenir une reproduction correcte et proportionnelle de l'intensité lumineuse correspondante à la tension d'entrée. L'image d'un écran est subdivisée en pixels organisés en matrice dont la position du pixel pij est définie par les indices i et j de la
matrice. La valeur pj du pixel est représentative de l'intensité souhaitée.
Pour corriger les phénomènes liés au tube cathodique, on applique à cette valeur représentative de la tension destinée à obtenir l'intensité lumineuse souhaitée, une loi de correction qui correspond à l'équation suivante: Ld,pi. = Lmax e Gamma (y) ayant une valeur comprise entre 2, 3 et 2,6 selon les particularités du tube cathodique. Dans cette formule, e est le niveau de grille de la valeur du pixel pij, emax est la valeur maximum possible pour e, par exemple 256, si les signaux de commande sont exprimés sur 8 bits, et Lmr;x est l'intensité correspondant à emax en cd/m2, Lmax étant approximativement égal à
cd/m2.
Une autre formulation de la loi de Gamma peut être la suivante: y=KsV' avec V = kaE'a dans laquelle y est la luminance, V la tension de luminance, E l'éclairement de l'image analysée,y est un exposant voisin de 2,2 pour les tubes images en noir et blanc et ya correspond à une valeur de 0,45 admise couramment
io pour la télévision couleur, Ks et ka des coefficients de proportionnalité.
Cette opération de correction Gamma et de Weber permet de transformer la valeur du pixel reçue en entrée du circuit de prétraitement (la) en une valeur finale P'ij=lg(P,j) pij. Ig qui suit la loi correspondant à la courbe 1 représentée à la figure lb. Chacune des images sources (10Oa) donne naissance à une pluralité de pixels prétraités P'aij et chacune des images décodées (10b) donne également naissance à une seconde pluralité de
pixels prétraités P'bij.
Parallèlement à cette opération de traitement, une deuxième étape (2a, 2b, fig.l) dite d'estimation de mouvement permet la construction pour chaque image source et décodée de l'image champ de mouvement, est mise en oeuvre à partir de chaque séquence d'image. Cette construction du champ de mouvement s'effectue entre t et t-1 par des calculs classiques, tels que ceux faisant appel à la méthode explicitée dans le livre publié par Don Pearson aux éditions Mac Graw Hill Book Company et intitulé "Image processing" "The Essex series in telecommunication and information systems", page 47 et suivantes. Cette estimation de mouvement sur une séquence d'images peut utiliser soit la méthode différentielle, soit la méthode de coïncidence de blocs (Block matching), soit la méthode de Fourier ou la méthode d'estimation en espace tridimensionnel. Pour chaque image, on obtient ainsi un certain nombre de vecteurs de mouvement (v;) et l'image 12r 2790852 peut être ainsi découpée en régions (R,,...,R,v,,.,R,v,, fig.ld) basée sur l'information mouvement, chaque région (R,v,) est donc caractérisée par le fait que tous les pixels de cette région ont un seul vecteur vitesse (vi) associé. Cette répartition de l'image en région à vitesse constante constitue une troisième étape (3a, 3b) dite de segmentation du champ de mouvement appliquée à chaque image source et décodée. Un champ de mouvement est donc rendu homogène grâce à la technique de segmentation et les pixels de mouvement proches sont regroupés en une même région. Ce champ de mouvement ainsi segmenté est alors plus proche du mouvement vrai des io objets de la scène représentée par les images. Cette homogénéisation permet ainsi d'effectuer un léger débruitage et d'avoir un nombre réduit de mouvements différents correspondant à un petit nombre de vitesses vy ce qui réduira le nombre de filtres à calculer et à mémoriser à l'étape suivante pour éviter d'avoir (255)2 mouvements à calculer et à mémoriser dans le i5 cadre d'une image constituée de 255*255 pixels pij. L'estimation du mouvement peut également utiliser la technique fondée sur l'extraction d'objets particuliers dans la scène, tels que des bords ou des coins d'objets consistant à suivre le mouvement de ces éléments particuliers d'une image à l'autre. Ceci fournit des informations de mouvement à différents endroits de I'image et un processus d'interpolation est utilisé pour affecter des vecteurs de mouvement aux aires d'images restantes. Une façon de mesurer les mouvements des angles ou bords d'éléments consiste à appliquer un filtre passe haut à l'image pour isoler les bords et ensuite utiliser la technique fondée sur la méthode des différentiels pour mesurer la valeur du mouvement. La formation de bordures peut être atténuée à l'aide d'un filtre passe bas pour réduire les effets de bruits et pour permettre la mesure de mouvements importants. Un filtre passe bas peut, par exemple, être constitué pour un espace matriciel de dimension 3.3 par la matrice suivante:
13 2790852
1 1 i
1 1 1
i i 1 Un filtre passe haut peut, par exemple, être constitué pour un espace matriciel de dimension 3.3 par la matrice suivante
-0,125 -0,125 -0,125
-0,125 1 -0,125
-0,125 -0,125 -0,125
Ainsi, une table donnant pour une vitesse estimée v les pixels pij de l'image qui appartiennent à cette région ayant cette vitesse estimée v en cycle par degré est mémorisée sous forme de la matrice de la figure ld dans les moyens de mémorisation du dispositif de segmentation du champ de
io mouvement en vue de son utilisation ultérieure.
Le processus se poursuit par une quatrième étape mise en oeuvre en parallèle pour chacune des images sources (10a) et décodées (10b) consistant à construire pour chacune un filtre psychovisuel (4a, 4b). Cette quatrième étape s'effectue, par exemple, à partir d'une base de données de courbes de filtre comportant une pluralité de courbes telles que celles représentées à la figure 3 exprimant l'influence du facteur humain H en fonction de la vitesse du mouvement vy et de la fréquence spatiale fi. A ces valeurs vy, fi correspond une valeur de filtrage H. Si la vitesse vy est comprise entre les vitesses v, et v2 de deux courbes (Hv1,Hv2), le dispositif effectue une interpolation pour déterminer la valeur H correspondante. Cette interpolation peut être, par exemple, linéaire. Cette étape peut également s'effectuer par calcul direct de la valeur H pour une vitesse donnée à partir d'un modèle analytique de l'influence psychovisuelle. Le modèle analytique du filtre peut, par exemple, être représenté par la formule suivante:
G(:x,v) = [6.1 + 7.31 log(v/3)l 3] x v2 exp[-2((v+2)/45.9] avec (,=2if.
A la cinquième étape, le dispositif synthétise une valeur de filtrage h(s,v) dans le domaine spatial pour chaque valeur de filtrage H(fs,v) dans le domaine fréquentiel associée à une vitesse v et une fréquence fs en appliquant une transformée rapide de Fourier inverse (FF-FT') sur les valeurs de filtrage H(fs,v) dans le domaine fréquentiel, ce qui s'exprime par l'expression h(s,v) = FFT-'[H(fs,v)] o fs représente la taille caractéristique des détails en cycle par degré, v leur mouvement exprimé en durée par
io seconde et s la résolution.
La valeur h du domaine spatial ainsi déterminée pour chaque image source (5a) et décodée (5b) dans la cinquième étape sera appliquée au cours d'une sixième étape (6a, respectivement 6b) à chacun des pixels prétraités P'aij de l'image source sortant du prétraitement et de l'image
is décodée P'bij sortant du prétraitement.
De cette sixième étape (6a, 6b) de filtrage, il résulte à chaque fois un couple de valeurs de pixels filtrées P'afij et P'bfij qui est ensuite utilisé dans une dernière étape (7) de construction d'une matrice des disparités (Disp) en effectuant le calcul de l'erreur quadratique entre chaque couple de valeurs
de pixels.
Disp = (P'afij-P'bfj)" avec n = 2 ou autre Cette matrice donnera ainsi une appréciation objective des distorsions perceptibles à l'oeil humain introduites par le processus de
codage décodage que l'on veut estimer.
La deuxième variante de réalisation de l'invention va maintenant être explicitée en liaison avec la figure 2 qui représente les différents moyens
permettant la mise en oeuvre du procédé selon cette deuxième variante.
Pour mieux fixer les idées, le lecteur pourra également se référer à l'annexe 2 qui représente les différentes étapes numérotées de 1 à 11 du procédé mis en oeuvre selon la seconde variante et qui représente également la
2790852
diminution de taille obtenue par les opérations de construction des
pyramides de Laplace.
Dans cette variante, les quatre premières étapes de la première variante sont appliquées à l'image source (10a), à savoir la précorrection (la), la construction de champs de mouvement (2a) et la segmentation (3a) ainsi que la construction du filtre psychovisuel (4a). Les pixels Paj provenant du traitement de l'image source (1 Oa) et résultant de l'étape de prétraitement et les pixels Pbij résultant de l'étape de prétraitement de l'image décodée (10b) sont chacun soumis dans une étape (5.1a et respectivement 5.1b) à io un filtrage de décimation 2 (Fl/2). Ce filtrage est un filtrage passe bas qui permet à partir d'une matrice de pixels représentant une image Pn.1d'un niveau n-1 donné d'obtenir l'image P, de niveau n suivant. Ceci s'exprime par la relation: Pn = F1/2 (Pn-1) avec n > O
P0 étant l'image originale.
A titre d'exemple le filtre de décimation peut être constitué pour un espace matriciel 3.3 par la matrice suivante:
1 2 1
2 4 2
1 2 1
Cette opération de filtrage par décimation 1/2 par un dispositif de calcul a pour résultat de réduire une matrice de pixels de taille m.n représentant l'image source Pso en une matrice Psi de niveau 1 de taille m/2.n/2, la matrice Psn de niveau n étant de taille m/2nn/2n. De même, cette opération de filtrage par décimation 1/2 a pour résultat de réduire une matrice de pixels de taille m.n représentant l'image décodée ou corrompue Pd0 en une matrice Pd, de niveau 1 de taille m/2. n/2, la matrice Pdn de niveau n étant de taille m/2n.n/2n. Le dispositif de calcul mémorise donc pour chaque
16 2790852
image source et décodée le niveau n et le niveau n+1 suivant dans sa mémoire. Ensuite, à l'étape suivante (5.2a, respectivement 5.2b), ledispositif de calcul retranche à chaque image P, de niveau n, l'image Pn+ 1, de niveau immédiatement suivant, expansée par 2 (E2) pour obtenir ce qu'il est convenu d'appeler une succession de matrices constituant ce qu'il est convenu d'appeler une pyramide de Laplace Ln, selon la formule Ln = Pn - E2 (Pn+1) pour n < N avec LN= PN L'opération d'expansion effectuée par E2 consiste à interpoler l'image
Pn+1 (de taille m/2*n/2) pour obtenir une image de taille m*n.
Cette opération d'expansion ou d'interpolation met en jeu plusieurs
matrices d'interpolation en fonction de la position du pixel à interpoler.
Ceci permet de constituer, pour l'image source, une pyramide LSn de matrices mémorisées et pour l'image décodée ou corrompue une seconde pyramide LDn de matrices mémorisées. Selon le choix du filtre F 2, I'image LSn obtenue à la fin de l'étape ci-dessus est une bonne approximation de l'énergie comprise dans une bande de fréquence centrée autour de la valeur fn = 1/(n+1). Pour plus de détails sur les pyramides de Laplace ou encore dites gaussiennes et sur les matrices d'expansion, le lecteur peut se reporter à l'article "the Laplacian pyramid as a compact code image" paru dans la revue IEEE transactions on communications VOL. COM. 31, N 4, Avril 1983
pages 532 à 540 auteurs P. J. Burt et Ed. H. Adelson.
Les pyramides de Laplace (LSn, LDn) sont obtenues par les étapes
(5.2a. et 5.2.b).
A l'étape suivante, le dispositif construit, à partir des régions (Rvj caractérisées par le même vecteur vitesse (v;) et définies en sortie de l'étape de segmentation (3) du champ de mouvement appliquée à l'image source, une pyramide multirésolutions Rn de l'image région en partant de l'image
17 2790852
région originale R0 et en appliquant à cette image région originale R0 un filtre médian G,/^ de décimation 1/2 selon la formule: Rn = G,/ (R, 1l) R0 = I'image région originale, Pour plus de renseignement sur la constitution d'un filtre médian connu de l'homme de métier, le lecteur pourra se référer au chapitre 4 du livre intitulé "non linear digital filters, principles and applications" publié en 1990 aux éditions Kluwer Academic Publishers par I. Pitas et A. N. Venetsapoulos. io La pyramide de mouvement (multirésolution) est réalisée uniquement pour l'image source (10a) et la valeur du pixel de LS, et LDn représente l'énergie qu'il y a dans une bande de fréquence alors que par Rn
on a le mouvement.
Dans cette étape, le dispositif de calcul n'effectue pas le calcul correspondant à l'étape 5.2, c'est-à-dire à la soustraction de l'image Rn correspondant à chaque niveau n de l'image Rn+1 du niveau n+1 immédiatement suivant expansé par 2. A cette étape de calcul, les matrices constituant la pyramide multirésolution sont mémorisées et permettent d'obtenir pour chaque pixel de chaque niveau n de Rn une valeur locale du mouvement. Le filtre médian d'une fenêtre de n.m pixels est obtenu en classant les valeurs des pixels et en retenant le pixel ayant la valeur médiane. L'application du filtre médian G&,A à la matrice de pixels Rn de
dimension m*n permet d'obtenir une matrice Rn.+1 de dimension m/2*n/2.
L'opération de décimation est incluse dans celle du filtre médian. Le filtre médian a le même effet sur les images Rn que le filtre F,/. sur les images Pn: il réduit leur taille par 2 en horizontal et en vertical, sauf qu'au lieu d'être un filtre matriciel classique, c'est un filtre "médian", c'est-à-dire basé sur une
analyse de la statistique locale.
1 8 2790852
Les pyramides de Laplace (LSn, LDo) calculées à l'étape 5.2 sont ensuite utilisées dans une étape de calcul des différences inter pyramides niveau à niveau représentée à l'étape 7 selon la formule
Diff. = LSn - LDn.
Ceci permet d'obtenir des matrices Diff. dont chaque coefficient exprime les valeurs des différences des coefficients des matrices des pyramides de Laplace source (LS,) et décodée (LDn) pour le même niveau n et ceci pour chaque niveau de 0 à n. Dans la pyramide de Laplace LS, la
valeur du pixel représente l'énergie qu'il y a dans une bande de fréquence.
io En faisant la différence inter pyramides LSn - LDn on a pour une bande de
fréquence donnée la disparité fréquentielle entre les deux images.
Ce résultat est en fait pondéré par la sensibilité de l'oeil pour cette fréquence qui est exprimée par la relation de l'influence relative de l'activité de la fréquence fn. Cette influence relative de l'activité de la fréquence fn peut
être masquée par une activité importante dans les fréquences supérieures.
Pour déterminer et tenir compte de cette influence relative de l'activité dans une étape de masquage (8), le dispositif de calcul commence par évaluer l'influence locale En d'un pixel pij qui est définie par la valeur du résultat du calcul des différences inter pyramides appliqué au pixel pij, ce résultat étant élevé à la puissance q: En = (Diffn(Pij))q cette valeur d'influence locale permet au dispositif de calcul de déterminer une matrice exprimant l'influence relative de l'activité par un circuit qui met en oeuvre la formule suivante: " mE,, ZM(Ek) k<n avec m(Ek)= Ek si Ek > S et m(Ek) = S si Ek < S avec par exemple S=0,5% (valeur maximale possible de Ek)
19 2790852
Comme dans la variante précédente, le dispositif de calcul effectue une étape de filtrage 4 par l'utilisation d'une base de données (BD) contenant une pluralité de courbes de filtrage exprimant l'influence du facteur humain sur la perception visuelle des images. Ces courbes de filtrage permettent, à partir des valeurs de la fréquence et de vitesse correspondant
à un pixel pij de déterminer un coefficient H de pondération pour ce pixel.
Ainsi, pour chaque pixel pij de la matrice L, correspondant à une région Rn de vitesse, le dispositif de calcul détermine une valeur H qui vient pondérer l'influence relative In. Cette étape de pondération (9) est obtenue par un io dispositif de calcul mettant en ceuvre l'équation: T. (p,,) = I,,(p,,)x H La mise en oeuvre de cette équation permet d'obtenir une pyramide de matrices. Quand le programme du dispositif de calcul sélectionne un pixel dans une matrice de niveau n de la pyramide de Laplace, à ce niveau n i5 correspond une fréquence spatiale fn et le dispositif de calcul sait associer le pixel de l'image Rn auquel correspond une valeur de vitesse v. Par utilisation des bases de données et des courbes enregistrées dans ces bases de données, le dispositif de calcul détermine soit directement, soit par interpolation entre deux courbes, la valeur du coefficient de gain H. dans cette deuxième méthode, on travaille directement sur des objets (pyramides de Laplace) qui correspondent à des grandeurs fréquentielles. On n'a donc pas besoin de passer dans le domaine spatial, car tous les calculs se font dans le domaine fréquentiel. Cette valeur H va venir pondérer l'influence relative de l'activité (In). Cette étape de pondération (9) permet d'obtenir une pyramide de matrices auxquelles peut s'appliquer une étape (10) facultative assurant le filtrage directionnel pour tenir compte des directions
psychovisuelles privilégiées par le regard humain.
Ainsi, on peut filtrer les images constituées par les matrices T, par des filtres directionnels favorisant une direction par rapport à d'autres, ces filtres étant constitués de matrices de coefficients de dimension n.n
2790852
correspondant à la dimension du facteur d'images T.. Un exemple de
matrice de filtre directionnel à 0 est donné ci-après pour une dimension 5/5.
0 0 0 0 0
0 0 0 0 0
0,094 0,141 0,28 0,141 0,094
o o o o o
0 0 0 0 0
Un exemple de matrice de filtre directionnel à 900 est donné ci-
apres.
0 0 0,125 0 0
0 0 0,188 0 0
0 0 0,375 0 0
0 0 0,188 0 0
0 0 0,125 0 0
Un exemple de matrice de filtre directionnel à 45 est donné ci-
1o apres.
0,016 0 0 0 0
0 0,023 0 0 0
0 0 0,047 0 0
0 0 0 0,023 0
0 0 0 0 0,016
Le résultat de cette étape (10) de filtrage directionnel est envoyé sur un circuit sommateur pour recomposer dans une étape (11) les pyramides multirésolutions P'n par l'équation
21 2790852
P n= E2 (P'n+1) + T" (n<N) avec P'N = T, Ceci entraîne donc
P'N-1 = E2 (TN) + TN-1
Le processus est réitéré jusqu'à obtenir P'0 qui représente la matrice
constituant la carte des disparités.
Ces étapes des deux variantes de réalisation de l'invention sont mises en oeuvre à l'aide de circuits à microprocesseurs exécutant les programmes appropriés permettant de réaliser les étapes exposées précédemment. Ces circuits comportent également des moyens de mémorisation pour mémoriser en plus des programmes à exécuter, les matrices de pixels ou les matrices de régions ou encore les résultats intermédiaires permettant d'attendre l'étape de calcul suivante ou encore les
filtres à appliquer aux résultats intermédiaires ou finaux.
Ceci est utilisé pour comparer les performances subjectives de différents appareils codeurs ou encore pour comparer la performance subjective de différents algorithmes de codage et/ou effectuer la mesure de la perception d'artefacts dus à des traitements d'image. En fonction de ces performances, le circuit de calcul mettant en oeuvre une des deux variantes de réalisation de l'invention peut modifier le codage en faisant, par exemple, rétroagir la mesure de qualité subjective des images codées ainsi effectuées sur les paramètres globaux et/ou locaux du codage. Un paramètre global sur lequel s'effectue la rétroaction peut, par exemple, être le débit moyen et un paramètre local peut, par exemple, être le pas de quantification local utilisé lors du codage. Cette rétroaction peut être dynamique en cours de codage, les erreurs rétroagissant sur le pas de quantification local, la taille des images, la forme du GOP (Group of pictures) etc. La rétroaction peut également s'effectuer de façon itérative dans le cas des codages pour disque vidéo (DVD) ou CD-ROM. Dans ce cas, tant que l'erreur est supérieure à un seuil et/ou n'est pas homogène sur toute l'image, la
22 2790852
rétroaction du circuit de calcul commande une diminution de la sévérité des paramètres de codage globalement et/ou localement. Tant que l'erreur est inférieure à un seuil, la mesure de la qualité subjective des images effectuées par le circuit de calcul permet d'augmenter la sévérité des paramètres de codage. Enfin, une avant-dernière utilisation de la méthode d'estimation ou de mesure de la qualité subjective d'une séquence d'images issues d'un codeur peut concerner le codage orienté objet. Dans ce cas, I'utilisation du dispositif de calcul de l'une des méthodes mise en oeuvre par ce dispositif io permet d'assurer une qualité subjective constante des divers objets de la scène ou d'assurer une qualité subjective relative inter-objets donnée. Enfin, le procédé et le dispositif d'estimation peuvent permettre de modifier les conditions de réallocation dynamique des débits alloués à chacun des canaux d'une diffusion avec multiplexage statistique pour assurer une qualité subjective donnée et homogène des programmes diffusés. D'autres modifications à la portée de l'homme de métier font
également partie de l'esprit de l'invention.
23 2790852
ANNEXE 1
Méthode I Etape 1 Pré-Correction des images: Correction Gamma
de l'écran et Correction du Contrast (Loi de Weber).
Etape 2 Construction de l'image Champ de UMouvement
à partir de la Séquence Source et pour chaque image.
Etape 3 Segmentation du Champ de Mouvement. Pour chaque image, on dispose ainsi d'une Segmentation en Régions basée
sur l'information Mouvement.
Chaque Région(v) est donc caracterisée par un vecteur
vitesse v.
Chaque pixel de chaque image (Source ou Decodée) appartient à une Région correspondant à une vitesse estimée v (en
cycles par degré).
Etape 4 Pour chaque Région(v), Construction du Filtre Psychovisuel correspondant, à partir d'une BDD Filtres [ H(fs
vi)i=l,..N} et interpolation des filtres.
Etape 5 Pour chaque Région(v), Synthèse du Filtre en Spatial par FFT inverse: h(s, v) = FFT- l [H(fs, v)] Etape 6 Filtrage des images Sources et Decodées pour obtenir deux autres images:
24 2790852
SourceF et DecodéeF.
Chaque pixel P de l'image Source/Decodée est filtré par le Filtre h(s,v), correspondant à la Région(v) à laquelle appartient P,
centré sur P et appliqué sur 1' image Source/Decodée.
Etape 7 Construction de la Carte des Disparités ou
Erreurs psychovisuelles.
Err = (SourceF- DecodeeF)n (n=2, ou autre)
2790852
ANNEXE 2
Méthode 2
Etape 1 (voir Méthode 1).
Etape 2 (voir Méthode 1).
Etape 3 (voir Méthode 1).
Etape 4 (voir Méthode 1).
Etape 5 Décomposition des images Sources et Decodée en Pyramide de Laplace de N niveaux construite en deux étapes:
* Chaque niveaux P. est d'abord obtenu par Filtrage-
Décimation /2 (Passe-bas) du niveau immédiatement précédent
(Pyramide multi-résolution, figure 4).
Pn = Fv,(Pn-I) n>0 P0 = image originale * Puis on retranche à chaque niveau Pn le niveaux immédiatement suivant expansé par 2 pour obtenir Ln (Pyramide
de Laplace, figure 5).
Ln = Pn - E2(Pn+I) n<N LN=PN
26 2790852
Ce calcul permet d'obtenir une représentation d'une pyramide multi-
résolution Pnconforme à la figure 4 et une représentation d'une pyramide de Laplace
*Lncomforme à la figure 5.
Si le Filtre F., est bien choisi, l'image Ln est une bonne approximation de l'énergie comprise dans une bande de fréquences centrée autour de f. =l/(n+l). Finalement, on dispose de deux Pyramides de Laplace: LSn
(Source) et LDn (Décodée).
Etape 6 Sur le même principe, on construit la Pyramide multi-
résolution Rn de l'image Régions, en remplaçant F,/, par G,/2 Filtre médian-
Décimation V2. Ainsi, pour chaque pixel de chaque niveau des Pyramides de Laplace
(Etape 5), on dispose de la valeur locale du mouvement.
Etape 7 Calcul des Différences inter-Pyramides niveau à niveau: Diffn = LSn - LDn
Etape 8 Application du principe de masquage fréquentiel (Texture-
Masking): L'influence relative de l'activité à la fréquence fn est masquée
par une activité importante dans les fréquences supérieures (fk<n).
On définit alors l'influence locale relative du pixel pi, In(pi) par: E, avec: En =(Diffn(pi))q =m(E,) k<n
avec q=2 par exemple.
Etape 9 Filtrage des Pyramides de Laplace Source et Decodées:
27 2790852
Chaque pixel pi de L. est pondéré par la valeur H(fn,v), correspondant à la Région(v) à laquelle appartient pi dans R, et par
l'influence relative In.
T,(pi) = I.(pi) x H Etape 10 Filtrage Directionnel: pour tenir compte des directions psychovisuelles privilégiées par le regard humain, on peut filtrer les images T. par
des filtres directionnels favorisant une direction par rapport à d'autres.
Etape 1il Construction de la Carte des Disparités ou
Erreurs psychovisuelles: On recompose les pyramides multi-
résolution P': P'n = E2 (P'n+1) + Tn (n<N)
P'N = TN
La Carte des disparités correspond à P'0.
28 2790852

Claims (27)

REVENDICATIONS
1. Procéde d'évaluation de la qualité d'images codées caractérisé en ce qu'il comporte: a) une étape de traitement du signal représentatif de l'image pour obtenir un signal traité, b) une étape de construction à partir du signal représentatif de l'image codée, d'un signal représentatif de l'image champ de mouvement à partir de la séquence source, o0 c) une étape de constitution d'un signal représentatif de la segmentation du champ de mouvement et de stockage des pixels d'images représentatifs de chaque région ayant un champ de mouvement différent à une adresse définie par rapport aux vecteurs vitesse estimés dans l'étape de construction du champ de mouvement permettant de déterminer les pixels ayant des vecteurs vitesse différents, d) une étape de détermination ou de calcul d'un filtre humain psychovisuel à appliquer en fonction de la vitesse estimée de la région, e) une étape de filtrage du signal traité, et f) une étape de construction de la carte des disparités entre les signaux représentatifs de l'image obtenus après l'étape de filtrage et les
signaux représentatifs de l'image décodée obtenus après l'étape de filtrage.
2. Procédé d'évaluation de la qualité d'images codées selon la revendication 1, caractérisé en ce qu'il comporte une étape consistant à appliquer chacune des étapes précédentes à l'image source et à l'image
décodée.
3. Procédé d'évaluation de la qualité d'images codées selon la revendication 1, caractérisé en ce qu'il comporte une étape de décomposition fréquentielle des images (FFT, sous-bande,....) précédant l'étape de filtrage constituée d'une pondération par un coefficient déduit de courbes prenant en compte la vitesse estimée et la bande de fréquence
29 2790852
considérée, pour tenir compte de l'influence relative de la vitesse et de la
fréquence spatiale sur la perception des images animées.
4. Procédé selon la revendication 1, caractérisé en ce que l'étape de filtrage psychovisuel s'applique à des matrices représentatives des différences inter-pyramides entre les pyramides de Laplace des images sources traitées et celles des images décodées traitées après pondération par, d'une part l'influence locale représentative de la fréquence du pixel concerné et d'autre part, un coefficient de filtrage déduit de courbes de filtrage prenant en compte la vitesse estimée et la bande de fréquence io correspondant au niveau de la pyramide de Laplace à laquelle le pixel appartient dans une pyramide multirésolution obtenue par construction d'une
pyramide a partir de l'image de chaque région de vitesse différente.
5. Procédé selon la revendication 1, caractérisé en ce que les courbes de filtrage psychovisuel sont soit constituées par une succession de courbes arrangées sous forme de base de données et mémorisées dans le système, et éventuellement interpolation à partir de ces courbes, soit obtenues par une représentation analytique mise en oeuvre par des moyens
de calcul permettant de calculer chaque courbe.
6. Procédé selon la revendication 4, caractérisé en ce que l'étape de construction de la carte des disparités s'effectue par recomposition des
pyramides multirésolutions filtrées obtenues à l'étape précédente.
7. Procédé selon la revendication 4 ou 6, caractérisé en ce que l'étape de traitement de l'image comporte une étape de décomposition des images sources et décodées en pyramide de Laplace de n niveaux et une
étape de construction de la différence inter-pyramide.
8. Procédé selon la revendication 1, caractérisé en ce que la vitesse ou valeur locale du mouvement est obtenue par une construction éventuelle de filtres puis application du filtre construit ou par application d'un filtre médian.
2790852
9. Procédé selon la revendication 1 ou 4, caractérisé en ce qu'il comporte une étape de précorrection des images en effectuant une
correction Gamma et une correction par la loi de Weber.
10. Procédé selon la revendication 7, caractérisé en ce que la correction par Gamma y est la suivante: y = Ks Vrs avec V = kaE'ra dans laquelle y est la luminance, V la tension de luminance, E l'éclairement de l'image analysée éclairement, ys est une exposant voisin de 2,2 pour les tubes images en noir et blanc et Ya a une valeur de 0,45 admise couramment
io pour la télévision couleur.
11. Procédé selon la revendication 1, caractérisé en ce que le filtrage est obtenu par construction du filtre psychovisuel correspondant à la vitesse estimée à partir d'une base de données de filtres et interpolation entre les deux filtres correspondant aux régions les plus proches de la région
dont la vitesse a été estimée.
12. Procédé selon la revendication 4, caractérisé en ce que l'influence (In) locale relative du pixel pi concerné est obtenue par calcul d'une valeur En représentant la puissance q ième de la différence niveau à niveau inter-pyramides entre les pyramides sources et pyramides décodées
de même niveau du pixel concerné.
13. Procédé selon la revendication 12, caractérisé en ce que le calcul de In est effectué par utilisation de la formule suivante; E., :m(E,) k <n avec E. = (Diff.(pij))q m(Ek)= Ek si Ek > S et m(Ek) = S si Ek < S avec par exemple S=0,5% (valeur maximale possible de Ek)
3 1 2790852
14. Procédé selon la revendication 4, caractérisé en ce que le filtrage comporte un filtrage directionnel des images selon une direction
déterminée plutôt qu'une autre.
15. Procédé selon la revendication 9, caractérisé en ce que la correction Gamma s'effectue par un dispositif de calcul mettant en oeuvre l'équation suivante L,,pl = Lma( e-a e étant la valeur de niveau de grille du pixel, emax étant la valeur maximum exemple 256 si le codage s'effectue sur 8 bits, Lmax étant l'intensité
lo correspondant à emax en cd/m2.
16. Procédé selon la revendication 9, caractérisé en ce que la loi de Weber est mise en oeuvre par un dispositif de calcul qui réalise la fonction suivante:
Vout= Lmax Log,,l +1oo00.
2 Lmax
17. Procédé selon la revendication 1 ou 4, caractérisé en ce que le calcul du filtre s'obtient par la formule suivante: G(a,v) = [6.1 + 7.31 log(v/3)1 3] x vJ2 exp[-2o(xv+2)/45.9]
avec cc=27tf, f=fréquence spatiale, v=vitesse.
18. Utilisation du procédé selon une des revendications précédentes
dans un dispositif de codage caractérisée par une rétroaction dynamique en fonction des disparités psychovisuelles calculées par le dispositif de calcul mettant en oeuvre le procédé sur l'un des paramètres utilisés par le dispositif
de codage au cours du codage.
19. Utilisation du procédé selon la revendication 18, caractérisée en ce que les disparités calculées sont comparées à un seuil pour modifier les paramètres de codage de l'appareil de codage jusqu'à ce que le seuil
souhaité soit franchi.
32 2790852
20. Utilisation du procédé selon la revendication 19, caractérisée en ce que l'un des paramètres est soit le pas de quantification, soit la taille des
images, soit la forme du groupe d'images GOP.
21. Utilisation du procédé selon la revendication 18, caractérisée en ce que l'homogénéité des disparités calculées est analysée par le dispositif
de calcul pour agir sur les paramètres de codage de l'appareil de codage.
22. Utilisation du procédé selon les revendications précédentes,
caractérisée en ce que les paramètres de codage des objets différents d'une image dont le codage est orienté objet sont modifiés en fonction d'une
io disparité souhaitée constante.
23. Utilisation du procédé selon les revendications 18 à 22,
caractérisée en ce qu'elle consiste à effectuer une réallocation dynamique
des débits alloués à un appareil de codage avec multiplexage.
24. Dispositif d'évaluation de la qualité d'images codées caractérisé i5 en ce qu'il comporte: - un moyen (la, lb) de traitement du signal représentatif de l'image source (10a) et de l'image décodée (10b) pour obtenir un signal d'image source traitée et d'image décodée traitée, - des moyens (2a, 2b) de construction à partir du signal représentatif de chacune des images, d'un signal représentatif de l'estimation du champ de mouvement à partir de chacune des images des séquences sources et décodées, - des moyens (3a, 3b) de constitution d'un signal représentatif de la segmentation du champ de mouvement et de stockage des pixels d'images représentatifs de chaque région Ri ayant un champ de mouvement différent à une adresse définie par rapport aux vecteurs vitesse estimée dans l'étape de construction du champ de mouvement permettant de déterminer pour chacune des images sources et décodées celles ayant des vecteurs vitesse différents,
33 2790852
- un moyen (4,5) de détermination ou de calcul d'un filtre humain psychovisuel à appliquer en fonction de la vitesse estimée de la région, des moyens (6a, 6b) de filtrage appliqués à chacune des images sources traitées et décodées traitées et - un moyen (7) de construction de la carte des disparités entre les signaux représentatifs de l'image source traitée obtenus après l'étape de filtrage et les signaux représentatifs de l'image décodée traitée obtenus
après l'étape de filtrage.
25. Dispositif selon la revendication 24, caractérisé en ce que les io moyens de filtrage psychovisuel s'appliquent à des matrices représentatives des différences inter-pyramides calculées par des moyens de calcul entre les pyramides de Laplace des images sources traitées et celles des images décodées traitées après pondération par d'une part l'influence locale représentative de la fréquence du pixel concerné et d'autre part un i5 coefficient de filtrage déduit de courbes de filtrage mémorisées ou calculées et prenant en compte la vitesse estimée et la bande de fréquence correspondant au niveau de la pyramide de Laplace à laquelle le pixel appartient dans une pyramide multirésolution obtenue par des moyens de construction de cette pyramide multirésolution à partir de l'image de chaque
région de vitesse différente.
26. Dispositif selon la revendication 24, caractérisé en ce que les moyens de construction de la carte des disparités effectuent une
recomposition des pyramides multirésolutions filtrées.
27. Dispositif selon une des revendications 24 à 26, caractérisé en
ce que les moyens de traitement, les moyens de constitution, les moyens de détermination, les moyens de construction, les moyens de filtrage sont constitués d'au moins un microprocesseur associé à des mémoires suffisantes pour contenir les programmes permettant de réaliser les différents moyens et pour contenir les bases de données et les informations
34 2790852
intermédiaires nécessaires au calcul et à l'obtention de la carte des disparités.
FR9902827A 1999-03-08 1999-03-08 Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede Expired - Fee Related FR2790852B1 (fr)

Priority Applications (13)

Application Number Priority Date Filing Date Title
FR9902827A FR2790852B1 (fr) 1999-03-08 1999-03-08 Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede
FR0000511A FR2790853B1 (fr) 1999-03-08 2000-01-17 Procede de compression d'images numerisees dans lequel un facteur de qualite de codage est attache a chaque zone
TW089103327A TW517211B (en) 1999-03-08 2000-02-25 Process for evaluating coded images, device implementing the process and use of the device and process
TW89103326A TW490617B (en) 1999-03-08 2000-02-25 Process for compressing digitized images, in which a coding quality factor is ties to each zone
JP2000604372A JP4611535B2 (ja) 1999-03-08 2000-02-29 符号化された画像を評価するための処理、装置及び、使用
DE60006651T DE60006651T2 (de) 1999-03-08 2000-02-29 Verfahren, vorrichtung und verwendung zur bewertung von kodierten bildern
PCT/EP2000/001688 WO2000054220A1 (fr) 1999-03-08 2000-02-29 Procede, dispositif et utilisation pour evaluer des images codees
PCT/EP2000/001686 WO2000054221A1 (fr) 1999-03-08 2000-02-29 Procede de compression d'images numerisees, dans lequel un facteur qualite de codage est lie a chaque zone
CN00804728.6A CN1306457C (zh) 1999-03-08 2000-02-29 估计编码图像的方法及装置
AU35533/00A AU3553300A (en) 1999-03-08 2000-02-29 Process for compressing digitized images, in which a coding quality factor is tied to each zone
EP00909269A EP1159711B1 (fr) 1999-03-08 2000-02-29 Procede, dispositif et utilisation pour evaluer des images codees
US09/936,033 US7003037B1 (en) 1999-03-08 2000-02-29 Process, device and use for evaluating coded images
AU31615/00A AU3161500A (en) 1999-03-08 2000-02-29 Process, device and use for evaluating coded images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9902827A FR2790852B1 (fr) 1999-03-08 1999-03-08 Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede

Publications (2)

Publication Number Publication Date
FR2790852A1 true FR2790852A1 (fr) 2000-09-15
FR2790852B1 FR2790852B1 (fr) 2001-04-20

Family

ID=9542928

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9902827A Expired - Fee Related FR2790852B1 (fr) 1999-03-08 1999-03-08 Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede

Country Status (9)

Country Link
US (1) US7003037B1 (fr)
EP (1) EP1159711B1 (fr)
JP (1) JP4611535B2 (fr)
CN (1) CN1306457C (fr)
AU (1) AU3161500A (fr)
DE (1) DE60006651T2 (fr)
FR (1) FR2790852B1 (fr)
TW (1) TW517211B (fr)
WO (1) WO2000054220A1 (fr)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3900017B2 (ja) * 2002-06-04 2007-04-04 富士ゼロックス株式会社 画像処理装置
US7436890B2 (en) * 2002-06-05 2008-10-14 Kddi R&D Laboratories, Inc. Quantization control system for video coding
FR2865082A1 (fr) * 2004-01-09 2005-07-15 France Telecom Procede, dispositif, programme d'ordinateur et support de donnees pour estimer la qualite perceptuelle d'une image decodee
US7876977B2 (en) * 2006-02-15 2011-01-25 Conexant Systems, Inc. Image processor and method of image rotation
JP4703504B2 (ja) * 2006-07-21 2011-06-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN101132597B (zh) * 2006-08-25 2010-11-10 华为技术有限公司 资源分配方法、资源分配系统、资源分配实体以及移动台
CN101222604B (zh) * 2007-04-04 2010-06-09 晨星半导体股份有限公司 运算移动估计值与估算图像的移动向量的方法
TWI401944B (zh) * 2007-06-13 2013-07-11 Novatek Microelectronics Corp 用於視訊處理系統之雜訊消除裝置
JP5372020B2 (ja) * 2009-01-22 2013-12-18 株式会社日立ハイテクノロジーズ 電子顕微鏡
CN101583033B (zh) * 2009-06-05 2011-01-26 中山大学 一种利用鲁棒水印保护h.264视频数据的方法
US9392267B2 (en) * 2010-12-15 2016-07-12 Tektronix, Inc. System and methods to measure noise and to generate picture quality prediction from source having no reference
BR112014011326A2 (pt) * 2011-11-28 2017-04-25 Thomson Licensing dispositivo de processamento para a geração de versões de conteúdo 3d e dispositivo associado para obter conteúdo
WO2013147756A1 (fr) * 2012-03-28 2013-10-03 Intel Corporation Ajustement sélectif en fonction du contenu d'une estimation du mouvement
EP2888877B1 (fr) 2012-08-27 2018-05-02 Thomson Licensing Procédé et appareil pour estimer la complexité d'un contenu en vue d'évaluer la qualité d'une vidéo
US9262808B2 (en) * 2013-02-07 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Denoising of images with nonstationary noise
US10332239B2 (en) * 2015-06-12 2019-06-25 Institute Of Automation Chinese Academy Of Sciences Apparatus and method for parallel polyphase image interpolation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4984076A (en) * 1988-07-27 1991-01-08 Kabushiki Kaisha Toshiba Image compression coding system
US5128756A (en) * 1990-12-11 1992-07-07 At&T Bell Laboratories High definition television coding arrangement with graceful degradation
JP3105335B2 (ja) * 1992-02-07 2000-10-30 株式会社ハドソン 画像の直交変換符号化による圧縮・伸張方法
JP3634419B2 (ja) * 1994-07-25 2005-03-30 セイコーエプソン株式会社 画像処理方法および画像処理装置
GB2297450B (en) * 1995-01-18 1999-03-10 Sony Uk Ltd Video processing method and apparatus
JP3025415B2 (ja) * 1995-01-20 2000-03-27 ケイディディ株式会社 ディジタル圧縮・再生画像の画質評価装置
KR0181036B1 (ko) * 1995-04-08 1999-05-01 배순훈 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법
JP3612360B2 (ja) * 1995-04-10 2005-01-19 株式会社大宇エレクトロニクス 移動物体分割法を用いた動画像の動き推定方法
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
AUPN727195A0 (en) * 1995-12-21 1996-01-18 Canon Kabushiki Kaisha Motion detection method and apparatus
JP3458581B2 (ja) * 1996-01-11 2003-10-20 Kddi株式会社 ディジタル画像品質評価装置
US6271825B1 (en) * 1996-04-23 2001-08-07 Rainbow Displays, Inc. Correction methods for brightness in electronic display
JP3116994B2 (ja) * 1996-08-29 2000-12-11 富士ゼロックス株式会社 画質予測装置および方法ならびに画質制御装置および方法
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
JPH11187273A (ja) * 1997-12-22 1999-07-09 Fuji Xerox Co Ltd 画像分析装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WESTEN S J P ET AL: "A QUALITY MEASURE FOR COMPRESSED IMAGE SEQUENCES BASED ON AN EYE- MOVEMENT COMPENSATED SPATIO-TEMPORAL MODEL", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING,US,LOS ALAMITOS, CA: IEEE, 26 October 1997 (1997-10-26), pages 279-282, XP000792766, ISBN: 0-8186-8184-5 *

Also Published As

Publication number Publication date
FR2790852B1 (fr) 2001-04-20
AU3161500A (en) 2000-09-28
CN1306457C (zh) 2007-03-21
EP1159711B1 (fr) 2003-11-19
US7003037B1 (en) 2006-02-21
JP4611535B2 (ja) 2011-01-12
DE60006651D1 (de) 2003-12-24
WO2000054220A1 (fr) 2000-09-14
JP2002539657A (ja) 2002-11-19
CN1343342A (zh) 2002-04-03
EP1159711A1 (fr) 2001-12-05
DE60006651T2 (de) 2004-09-30
TW517211B (en) 2003-01-11

Similar Documents

Publication Publication Date Title
Gibson et al. An investigation of dehazing effects on image and video coding
US6137904A (en) Method and apparatus for assessing the visibility of differences between two signal sequences
KR100935495B1 (ko) 영상의 반복적인 복원과 융합을 기반으로 한자동초점복원장치 및 방법
US6360022B1 (en) Method and apparatus for assessing the visibility of differences between two signal sequences
US9299317B2 (en) Local multiscale tone-mapping operator
FR2790852A1 (fr) Procede d&#39;evaluation d&#39;images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede
EP1341124A1 (fr) Procédé d&#39;accentuation d&#39;image avec estimation du rapport signal-bruit
US7194143B2 (en) Method of enhancement of the visual display of images and other visual data records
CN113850741A (zh) 图像降噪方法、装置、电子设备以及存储介质
US20230156343A1 (en) Blind local reshaping in hdr imaging
Lee et al. Rate-distortion optimized layered coding of high dynamic range videos
KR101336629B1 (ko) 다수의 이전 영상 프레임을 사용하는 lcd 오버드라이브 장치 및 방법
WO2006131866A2 (fr) Procede et systeme de traitement d&#39;images
Oh et al. Film grain noise modeling in advanced video coding
Bordes et al. Perceptually adapted MPEG video encoding
Del Corso et al. MNR: A novel approach to correct MPEG temporal distortions
CN114998138B (zh) 一种基于注意力机制的高动态范围图像去伪影方法
Chen et al. A new framework based on spatio-temporal information for enhancing compressed video
Kumar et al. Synthesis and analysis of prediction errors and error fusion based prior for prediction algorithms
JP4450516B2 (ja) 2つの信号配列間の視程差を評価するための方法及び装置
CA2376684C (fr) Decodeur video optimal base sur les standards de type mpeg
Wang et al. Image demosaicking based on moving least square
JP3143627B2 (ja) エッジ保存雑音低減方式
Dalasari et al. Low Light Video Enhancement along with Objective and Subjective Quality Assessment
Dharmalingam et al. Effective dehazing of night‐time images using open dark channel prior and wavelet transform

Legal Events

Date Code Title Description
ST Notification of lapse