FR2943879A1 - Procede et dispositif d'evaluation de la qualite visuelle d'une image ou d'une sequence d'images, mettant en oeuvre des indicateurs objectifs, et programme d'ordinateur correspondant. - Google Patents

Abstract

L'invention concerne un procédé d'évaluation de la qualité visuelle d'une image ou d'une séquence d'images testée, basé sur une mesure de distorsions par type de zone, comprenant les étapes suivantes, pour une image ou une vidéo à tester : - découpage de ladite image testée en un ensemble de zones spatiales ou de ladite séquence d'images testée en un ensemble de zones spatio-temporelles ; - détermination d'au moins une information représentative de distorsions pour chacune desdites zones ; - classification de chacune desdites zones dans une classe, parmi un ensemble de classes prédéterminées, représentative d'un type de contenu de ladite zone ; - génération d'un rapport comprenant au moins une information pour chacune desdites classes prédéterminées présentes dans ladite image ou séquence d'images testée, à partir desdites informations représentatives de la distorsion et du type de contenu affecté à la zone correspondante.

Description

Procédé et dispositif d'évaluation de la qualité visuelle d'une image ou d'une séquence d'images, mettant en oeuvre des indicateurs objectifs, et programme d'ordinateur correspondant. 1. domaine de l'invention L'invention ressort du domaine du traitement d'images et/ou de vidéos. Elle présente plus particulièrement un intérêt dans le domaine de l'évaluation automatique de la qualité visuelle des images fixes et des vidéos (ou plus généralement séquences temporelles d'images).

Cette évaluation automatique de la qualité visuelle, également appelée évaluation objective de qualité, consiste à utiliser un procédé qui, à partir d'une image fixe ou d'une vidéo, va produire une note de qualité visuelle pour cette image fixe ou cette vidéo. Un tel procédé est considéré comme précis quand les évaluations de qualité qu'il produit, par exemple sous la forme d'une note pour l'image testée ou sous la forme d'une note globale ou d'une série temporelle de notes pour la vidéo testée, sont bien corrélées avec les jugements de qualité fournis par des observateurs humains lors de tests subjectifs normalisés d'évaluation de la qualité visuelle (durant ces tests, les observateurs doivent noter, sur une échelle allant de 0 à 100 ou allant de 1 à 5 par exemple, la qualité visuelle des images ou des vidéos qui leur sont présentées). Un algorithme de mesure de qualité doit fournir soit une note globale de qualité pour l'image fixe testée, soit une note globale de qualité ou soit une série temporelle de notes de qualité pour la vidéo testée. Pour permettre une analyse plus approfondie et plus détaillée de la qualité, il peut en plus également fournir des mesures de distorsions locales pour des zones spatiales d'une image testée ou pour des zones spatio-temporelles d'une vidéo testée. L'invention s'applique ainsi au cas où, pour une zone spatiale d'une image ou pour une zone spatio-temporelle d'une vidéo testée, à appliquer deux traitements en parallèle et/ou en série : - un premier traitement qui réalise une mesure locale des distorsions visuelles sur cette zone, - un deuxième traitement qui réalise une affectation à une catégorie (classification), parmi un ensemble prédéfini de catégories, du contenu local de cette zone. Les catégories prédéfinies utilisées par le traitement de classification de la zone peuvent par exemple indiquer si elle contient un ou plusieurs contours, ou si elle correspond à une zone de texture ou bien à une zone uniforme ou quasi uniforme. La classification peut également être plus discriminante. En effet, des catégories plus précises peuvent également être utilisées afin de distinguer les contours horizontaux des contours verticaux ou des contours obliques. De la même manière, il est possible de distinguer les textures fines des textures moyennement ou fortement contrastées ou encore les zones claires des zones sombres.

Les méthodes automatiques de mesure de qualité visuelle sont utilisées pour plusieurs raisons, en particulier pour tester et valider les équipements d'encodage, de décodage ou de traitement d'images ou de vidéos (formats de codage MPEG-2 ou MPEG-4/AVC par exemple) ou pour vérifier le fonctionnement d'un réseau de transmission d'images fixes ou de vidéos.

Concernant le test d'équipements de traitement d'images ou de vidéos, les méthodes automatiques de mesure de qualité visuelle permettent de comparer les performances de produits concurrents ou de comparer deux versions différentes d'un même produit ou bien aussi d'optimiser les performances d'un équipement paramétrable de codage/décodage ou de transmission. - 2. art antérieur La littérature scientifique contient une multitude de publications ayant trait soit à la mesure automatique de qualité des images fixes ou des vidéos, soit à la classification de zones d'images ou de vidéos.

Concernant la mesure automatique de qualité des images fixes ou des vidéos, les méthodes sont classiquement réparties en trois types différents, notés respectivement A, B, C : A - les méthodes dites avec référence complète (notées FR), les plus nombreuses, dans lesquelles on utilise conjointement l'image (notée ID) ou la vidéo (notée VD) dont la qualité est à mesurer et l'image (IR) ou la vidéo (VR) de référence, supposée être sans dégradation, dont est issue ID ouVD; B - les méthodes dites avec référence réduite (notées RR), moins nombreuses, dans lesquelles on ne dispose, outre l'image (ID) ou la vidéo (VD) dont la qualité est à mesurer, que d'une description réduite (ensemble réduit de caractéristiques) mesurées sur l'image (IR) ou la vidéo (VR) de référence ; C - les méthodes dites sans référence (notées NR), encore moins nombreuses, dans lesquelles on ne dispose que de l'image (ID) ou la vidéo (VD) dont la qualité est à mesurer. Par ailleurs, on peut distinguer aussi les méthodes de mesure automatique de la qualité suivant qu'elles exploitent (notées par le suffixe additionnel SVH) ou pas une modélisation de la vision humaine, cette modélisation pouvant elle-même 20 être de niveau plus ou moins élaboré. Parmi les méthodes de mesures de qualité les plus représentatives, on peut citer : • en méthodes FR, le Rapport Signal à Bruit Crête (noté PSNR : Peak Signal to Noise Ratio en anglais) ou celles qui en dérivent directement 25 (WSNR : Weighted Signal to Noise Ratio en anglais), méthode la plus utilisée jusqu'ici, mais la moins performante en termes de corrélation avec la qualité visuelle directement mesurée par des observateurs (via des tests normalisés de mesure de la qualité), • toujours dans le contexte de méthodes FR mais exploitant maintenant une 30 modélisation bas niveau du système visuel humain : le VDP ( The Visible Difference Prediction en anglais) de S. Daly (1993) pour la qualité d'images, le DVQ ( Digital Video Quality en anglais) de A. Watson (2001) et le PDM ( Perceptual Distortion Metric en anglais) de S. Winkler (1999) pour la vidéo. Ces méthodes exploitent une modélisation plus ou moins élaborée du seuil différentiel de visibilité en vision mono bande ou multi bande, monochrome ou couleur, avec effet de masquage ou non. La façon de cumuler spatialement ou spatio-temporellement les dégradations très locales effectivement perçues pour produire un jugement global de qualité reste cependant souvent très simple. On peut chercher à rajouter à la perception de bas niveau quelques principes perceptifs de plus haut niveau comme les zones de contours (méthode KPN) ou la structure connue a priori des défauts (défauts de bloc : méthode Tapestries). Une approche intermédiaire proposée consiste à remplacer une modélisation explicite bas niveau du système visuel humain par un modèle local basé sur une similarité structurelle : c'est la méthode SSIM (Structural Similarity Index) de Z. Wang et al (2002) pour les images et son extension VSSIM (Video SSIM) de Z.Wang (2004) à la vidéo. D. Chandler et S. Hemami (2007) viennent de proposer une méthode évaluant la qualité des images mélangeant modèle de bas niveau du SVH et une propriété cognitive de plus haut niveau : le principe de précédence dans une décomposition multirésolution par ondelettes. On peut, quand la référence n'est pas connue, effectuer des mesures sur l'image ou la vidéo à qualifier (mesures moyenne marginales) liées chacune à un type de dégradation prédéfini (flou, effet de bloc, oscillations, bruit granulaire, etc....), puis les fusionner de façon appropriée dans une mesure globale de qualité. Les méthodes de Z. Wang (2002) , de Marziliano (2002), de M.Farias (2004) sont typiques de cela. Concernant la classification de zones d'images fixes ou de vidéos, les méthodes proposées sont extrêmement nombreuses, orientées vers de multiples classes d'applications : • amélioration adaptative des images/vidéos, • restauration d'images ou vidéos dégradées par simple adaptation du filtrage d'images/vidéos pour réduire le bruit tout en réduisant le flou et/ou accentuant les contrastes , • codage adaptatif par pré-traitement d'accentuation et post-traitement associé de décodage/visualisation (pré et post traitements eux-mêmes adaptatifs, contrôlés par les caractéristiques locales de l'image/vidéo produisant la classification des zones), • extraction de caractéristiques dépendant de la nature de la zone (contour, texture, uniforme, ...) et du mouvement à des fins de reconnaissances des formes ou d'indexation. On ne cite pas spécifiquement de méthodes proposées car elles n'ont quasiment jamais été associées à un autre objectif que les types d'applications indiqués.

Dans le domaine de la qualité d'images/vidéos par approche FR, pratiquement une seule méthode proposée par le Telecommunications Research and Development Center (CPqD, République Fédérative du Brésil), la méthode CPqD-IES ( Image Evaluation based on Segmentation en anglais), utilise explicitement une segmentation en trois catégories (contour, texture, uniforme) de chacune des trois composantes (une de luminance et deux pour la couleur) pour évaluer la qualité des vidéos. Cette méthode a été évaluée dans la phase II FRTV du groupe de normalisation VQEG de l'ITU (Recommendation J.144, 03/2004). La segmentation est basée pixel et non pas zone spatiale (image) ou spatio-temporelle (vidéo) et ne distingue pas entre texture fine et contrastée. 3. inconvénients de l'art antérieur Ces différentes techniques de l'art antérieur présentent plusieurs inconvénients. Notamment, aucune de ces méthodes ne permet d'obtenir une information précise, rapide et efficace de la qualité de l'image ou la vidéo testée. En conséquence, à l'heure actuelle, les tests de qualité doivent faire intervenir des panels de testeurs, qui délivrent chacun une note en fonction de leur propre jugement. Cette approche est longue et coûteuse, et sa fiabilité reste discutable (un testeur pouvant juger différemment une image en fonction de critères et de conditions non liés à l'image, tels que son état, son humeur, l'environnement, l'heure de la journée...). 4. objectifs de l'invention L'invention a notamment pour objectif de pallier les inconvénients de l'art antérieur. En particulier, un objectif de l'invention est, pour au moins un mode de réalisation, de produire un rapport indiquant au moins une information objective et précise relative aux distorsions et/ou à la qualité d'une image ou d'une séquence d'images 5. résumé de l'invention Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé d'évaluation de la qualité visuelle d'une image ou d'une séquence temporelle d'images testée, basé sur une mesure de distorsions par type de zone. Selon l'invention, ce procédé comprend les étapes suivantes, pour une image ou une vidéo à tester : - découpage de ladite image testée en un ensemble de zones spatiales ou de ladite séquence d'images testée en un ensemble de zones spatio-temporelles ; - détermination d'au moins une information représentative de distorsions pour chacune desdites zones ; - classification de chacune desdites zones dans une classe, parmi un ensemble de classes prédéterminées, représentative d'un type de contenu de ladite zone ; - génération d'un rapport comprenant au moins une information pour chacune desdites classes prédéterminées présentes dans ladite image ou séquence d'images testée, à partir desdites informations représentatives de la distorsion et du type de contenu affecté à la zone correspondante.

Ainsi, la classification est réalisée de façon objective, simple et automatisée. L'invention peut être adaptée à différents types d'évaluation. Selon un premier mode de réalisation, ladite étape de détermination 5 compare chacune desdites zones à la zone correspondante d'une image ou d'une séquence d'images de référence. On met ainsi en oeuvre une évaluation avec référence complète. Selon un deuxième mode de réalisation, ladite étape de détermination compare au moins une information extraite de chacune desdites zones à au moins 10 une information de même nature extraite d'une image ou d'une séquence d'images de référence. On met ainsi en oeuvre une évaluation avec référence réduite. Selon un troisième mode de réalisation, ladite étape de détermination se base uniquement sur la connaissance de ladite image ou séquence d'images testée. 15 On effectue alors une évaluation sans référence. De façon avantageuse, ladite étape de détermination d'au moins une information représentative de la distorsion locale met en oeuvre au moins une des techniques appartenant au groupe comprenant : - un calcul d'une information représentative du pic d'un rapport signal à 20 bruit ; - un calcul de la variation du contraste ; - un calcul de l'importance de l'effet de bloc ; - un calcul d'une information représentative d'une mesure de perception visuelle, tenant compte d'un modèle de la vision humaine et/ou d'un 25 modèle d'un écran d'affichage. Préférentiellement, ladite étape de classification comprend au moins une étape de détermination d'un gradient représentatif d'une activité spatiale dans la zone d'image considérée. Dans ce cas, une étape de détermination d'un gradient peut comprendre les 30 étapes suivantes : - détermination d'un gradient local pour chaque pixel de ladite zone, en fonction de pixels voisins, sous réserve que lesdits pixels voisins appartiennent à ladite zone ; - calcul d'un gradient moyen, correspondant à une moyenne desdits 5 gradients locaux. Ladite étape de classification peut alors, dans un mode de réalisation avantageux, comprendre les étapes suivantes : - détermination d'une première composante du gradient suivant une direction horizontale (AH) ; 10 - détermination d'une deuxième composante du gradient suivant une direction verticale (Ar) ; - détermination d'une troisième composante du gradient suivant une direction oblique à 45° (AD4s) ; - détermination d'une quatrième composante du gradient suivant une 15 direction oblique à 135° (AD135). De façon préférentielle, lesdites classes prédéfinies sont déterminées en fonction de seuils appliqués auxdites composantes du gradient. Par exemple, lesdites classes prédéterminées comprennent au moins les classes suivantes : 20 - une première classe, dite zone homogène ; - une deuxième classe, dite texture fine ; - une troisième classe, dite contours horizontaux ; - une quatrième classe, dite contours verticaux ; - une cinquième classe, dite texture forte ; 25 - une sixième classe, dite contours diagonaux à 45° ; - une septième classe, dite contours diagonaux à 135° . Ladite première classe peut être déterminée en tenant compte desdites première et deuxième composantes du gradient, et éventuellement desdites troisième et quatrième composantes du gradient, lesdites deuxième à quatrième 30 classes en analysant lesdites première et deuxième composantes du gradient, et lesdites cinquième à septième classes sont déterminées en tenant compte en outre desdites troisième et quatrième composantes du gradient. Selon un autre aspect avantageux de l'invention, ladite étape de classification tient compte d'une information représentative de la luminance dans 5 la zone d'image considérée. Selon une autre caractéristique particulière, ladite étape détermination d'au moins une information de qualité peut comprendre au moins une des étapes suivantes : - comptage du nombre de zones d'image appartenant à une desdites classes ; 10 - comptage du nombre de zones d'image appartenant à une desdites classes et présentant une information représentative de la distorsion locale supérieure à un seuil prédéterminé ; - comptage du nombre de zones d'image ou de séquence d'images appartenant à une desdites classes et présentant une information 15 représentative de la distorsion locale différente de celle déterminée pour, respectivement, une image ou une séquence d'images de référence correspondante. Par ailleurs, ladite étape détermination d'au moins une information de qualité peut avantageusement comprendre au moins une des étapes suivantes : 20 - détermination d'une proportion de zones d'image appartenant à une desdites classes pour une image et/ou un ensemble d'images ; - détermination d'une proportion de zones d'image appartenant à une desdites classes et présentant une information représentative de la distorsion locale inférieure à un seuil prédéterminé ; 25 - détermination d'une proportion de zones d'image appartenant à une desdites classes et présentant une information représentative de la distorsion locale différente de celle déterminée pour une image de référence correspondante.

Dans un mode de réalisation particulier, le procédé comprend également une étape de détermination d'une information représentative de la qualité audio et/ou de la qualité audio-vidéo. L'invention concerne également les produits programmes d'ordinateur d'évaluation d'une qualité visuelle d'au moins une image téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, comprenant des instructions de code de programme pour l'exécution du procédé d'évaluation décrit ci-dessus. L'invention concerne encore les dispositifs d'évaluation d'une qualité visuelle d'au moins une image ou d'une séquence d'images testée selon ce procédé, et comprenant : - des moyens de découpage de ladite image à tester en un ensemble de zones spatiales ou de ladite séquence d'images testée en un ensemble de zones spatio-temporelles; - des moyens de détermination d'au moins une information représentative de la distorsion locale pour chacune desdites zones d'image ; - des moyens de classification de chacune desdites zones d'image dans une classe, parmi un ensemble de classes prédéterminées, représentative d'un type de contenu de ladite zone ; - des moyens de génération d'un rapport comprenant au moins une information pour chacune desdites classes prédéterminées présentes dans ladite image ou séquence d'images testée, à partir desdites informations représentatives de la distorsion et du type de contenu affecté à la zone correspondante. 6. liste des figures D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : - la figure 1 est schéma synoptique illustrant de façon simplifiée un mode de réalisation de l'invention ; - la figure 2 illustre un exemple de découpage en zones d'une image ; - les figures 3 et 4 présentent un exemple de partitionnement des plans P et P' respectivement. 7. description d'un mode de réalisation de l'invention 7.1 principes L'invention concerne donc une technique permettant de délivrer des indicateurs objectifs de qualité visuelle, en utilisant conjointement des mesures locales de caractérisation visuelle et une classification locale du contenu des images et des séquences d'images, ou vidéos. Ainsi, l'invention permet d'analyser des modifications visuelles par classification des zones d'images ayant subi des distorsions (dégradations ou améliorations) d'image ou de vidéo. Le procédé de l'invention permet par exemple d'approfondir les tests, en fournissant à l'utilisateur un diagnostic plus détaillé que ne le fait une note globale de qualité visuelle (pour l'image fixe testée ou la vidéo testée) ou même que des mesures de distorsions locales pour une ou des zones d'image ou de vidéo. Pour cela, le procédé permet d'informer l'utilisateur du type de zones touchées par les distorsions les plus importantes et ce, de manière quantitative.

Un premier aspect de l'invention consiste à combiner une méthode de mesure de distorsion locale et une méthode de classification locale du signal d'image ou du signal vidéo sur des zones spatiales d'une image ou des zones spatio-temporelles d'une vidéo. Un deuxième aspect de l'invention est la production, pour chaque type de 25 zone, d'un ou plusieurs indicateurs qui vont regrouper la ou les mesures de distorsion effectuées sur les zones du type considéré. Ceci peut notamment permettre la génération d'un rapport présentant ces indicateurs de façon ordonnée et, en plus éventuellement, une synthèse de ces indicateurs.

Les informations obtenues par la classification peuvent ensuite être utilisées pour fournir à l'utilisateur un rapport qui indique le nombre ou la proportion de zones de chaque catégorie. Il est également possible, selon les modes de réalisation, de regrouper les informations obtenues par la mesure de distorsions locales et par la classification pour fournir à l'utilisateur un rapport de qualité qui indique le nombre ou la proportion de zones de chaque catégorie touchées par les distorsions. Cette information (nombre ou proportion) peut être calculée uniquement pour les zones dont les distorsions dépassent un certain seuil (fixe, adaptatif ou paramétrable par l'utilisateur) ou au contraire utiliser toutes les zones en regroupant leurs distorsions de façon appropriée. Le procédé de l'invention peut également, dans certains modes de réalisation, fournir le rapport de qualité précédemment décrit en normalisant les informations fournies (nombres de zones ou proportion de zones touchées par les distorsions). En effet, une image fixe ou une vidéo contient généralement des proportions inégales de zones de chaque classe (une image peut contenir davantage de zones texturées que de zones de contours). En constatant que le nombre ou la proportion de zones dégradées et classées en tant que contours est faible, l'utilisateur pourrait par conséquent penser que les contours d'une image sont peu dégradés alors qu'en fait c'est l'image elle-même qui contient peu de contours. Afin de faciliter son exploitation, le rapport de qualité peut fournir, pour chaque classe, le nombre ou la proportion de zones touchées par les distorsions en normalisant ce nombre ou cette proportion par, respectivement, le nombre ou la proportion de zones de cette classe.

Selon un autre aspect optionnel, le procédé peut indiquer à l'utilisateur, lorsque la distorsion de l'image fixe ou de la vidéo est mesurée par rapport à une image fixe de référence ou à une vidéo de référence (considérée comme étant non dégradée ou non améliorée), le nombre ou la proportion de zones qui ont changé de classe à cause des distorsions. Par exemple, la quantification effectuée lors de l'encodage d'une image fixe ou d'une vidéo a tendance à supprimer des détails et peut faire qu'une zone qui était considérée comme comportant une texture fine dans une image de référence soit considérée après codage et décodage comme une zone (quasi) uniforme du fait qu'elle a perdu la majeure partie de ses détails. L'information sur le nombre ou la proportion de zones qui ont changé de classes à cause des distorsions est donc une manière d'évaluer l'impact sur la qualité visuelle du traitement qui a engendré ces distorsions. Une variante de l'invention est l'application au problème de la mesure de qualité audio de cette approche qui consiste à utiliser conjointement une méthode de mesure de distorsion locale et une méthode de classification. Une autre variante est l'application de cette approche au problème de la mesure de qualité audio-visuelle d'un objet multimédia (son + image ou son + vidéo). 7.2 présentation d'un exemple de mise en oeuvre de l'invention La figure 1 représente le système global, avec ou sans signal de référence (image fixe ou vidéo), et avec ou sans seuil de distorsion paramétrable par l'utilisateur. L'image, ou la séquence d'images, à tester 11 est tout d'abord découpée en zones (12), par exemple en utilisant un découpage spatial en zones de tailles identiques, comme expliqué ci-après ( 7.3). Dans le cas où l'on utilise une image fixe ou une vidéo de référence 13, 20 celle-ci subit le même découpage en zones (14). Ce découpage peut avoir été effectué précédemment, et être stocké en mémoire. Pour chaque zone 15 de l'image ou de la séquence testée, et le cas échéant pour chaque zone 16 de l'image ou de la séquence de référence, on effectue une mesure 17 de distorsion locale simple, trois méthodes étant proposées ci- 25 après (reprenant les trois types de méthodes de mesure de qualité indiqués précédemment à la section 2) : une méthode avec référence complète (PSNR), une méthode avec référence réduite (variation du contraste), une méthode sans référence (mesure de l'importance de l'effet de bloc).

Pour chacune de ces zones 15 et le cas échéant 16, on effectue une classification 18, en utilisant par exemple la méthode de classification décrite ci-après.

Les mesures délivrées par l'étape de mesure locales 17 et la classification délivrée par l'étape 18 alimente une étape 19 de génération d'un rapport 110 d'analyse des distorsions visuelles, indiquant par exemple le nombre et/ou la proportion de zones touchées par les distorsions.

- Ces calculs tiennent compte d'un seuil S de distorsion 111, qui peut être fixe ou paramétrable par l'utilisateur. 7.3 Découpage (12, 14) en zones spatiales

Cette étape peut consister à découper l'image considérée (image fixe ou image d'une séquence vidéo) en K zones réparties régulièrement de manière à couvrir toute l'image. Si cette image est de largeur L et de hauteur H, alors la chaque zone peut être de largeur L et de hauteur H avec K = KL * KH (on a KL KH considéré ici que L était multiple de KL et H multiple de KH). Par exemple, une image de largeur 256 pixels et de hauteur 256 pixels peut être découpé en 256 zones de largeur 16 pixels et de hauteur 16 pixels, comme cela est représenté sur la figure 2.

Un découpage plus élaboré est possible, par exemple en réalisant une 20 segmentation du plan de l'image en tenant compte de son contenu, par exemple en adaptant les frontières des zones aux contours des objets de l'image.

Pour une vidéo, chaque zone peut avoir également une dimension temporelle et donc correspondre à une zone spatio-temporelle.

7.4 Mesure de distorsion locale (17)

25 7.4.1 Méthode de mesure de distorsion locale avec référence complète : exemple du PSNR

Le PSNR ( Peak Signal to Noise Ratio : Rapport Signal à Bruit Crête) est une méthode simple pour mesurer la distorsion d'une image fixe ou d'une vidéo par rapport à, respectivement, l'image fixe ou la vidéo de référence de laquelle elle est issue par ajout de distorsions. Le PSNR peut être calculé sur une image complète ou sur une zone d'image.

Le PSNR sur une zone d'image décrite par une composante C (composante de luminance par exemple) de largeur L et de hauteur H est donné par :

PSNR =101og 10 (Cn, 2 I MSE) avec : • C : valeur maximale possible de la composante C (c.= 2n-1 pour un codage de chaque composante C d'un pixel sur n bits) • MSE : erreur quadratique moyenne de la composante C du signal testé par rapport à son signal de référence Cref L'erreur quadratique moyenne est calculée de la manière suivante : 1 L H 2 MSE = (C(i,j)-Cref(i,j)) L H i-i ;_i Des mesures plus élaborées peuvent être calculées, prenant en compte une 15 modélisation plus ou moins approfondie du système visuel humain dans la perception des distorsions sur la zone considérée.

7.4.2 Méthode de mesure de distorsion locale avec référence réduite: mesure de variation du contraste

Une méthode de mesure de distorsion avec référence réduite consiste à

20 comparer une ou plusieurs informations provenant de l'image ou de la vidéo testée avec les informations correspondantes venant de son image ou de sa vidéo de référence. Par exemple, il est possible de comparer des contrastes locaux de l'image ou de la vidéo testée avec des contrastes locaux de l'image ou de la vidéo de référence. Après avoir découpé une image ou une vidéo à traiter en N zones,

25 chaque contraste local C pourrait être mesuré sur chaque zone n en utilisant la formule du contraste de Michelson : V111 (n) û Vn,;n (n) Michelson Vn~ax (n) + Vnlln (n) C( avec : • V,.,,ax(n) : valeur maximale du signal sur la zone i considérée • Vn(n) : valeur minimale du signal sur la zone i considérée La mesure de distorsion D(n, m) entre le contraste local issu d'une zone n de l'image ou de la vidéo testée et le contraste local en provenance d'une zone m de l'image ou de la vidéo de référence peut par exemple être calculée en utilisant la valeur absolue de la différence entre ces deux contrastes locaux, de la manière suivante : D(n, m) = C(n)Michelson ù C(m)Michelson 7.4.3 Méthode de mesure de distorsion locale sans référence: mesure de l'importance de l'effet de bloc Une méthode de mesure de distorsion sans référence ne se base que sur l'image ou la vidéo testée, sans aucune connaissance de l'image ou de la vidéo de référence. Ce type de méthodes se base sur la connaissance du système dégradant qui a servi à générer l'image ou la vidéo testée à partir de l'image ou la vidéo de référence. Par conséquent, une méthode de mesure de distorsion sans référence connaît le type de distorsions qui peuvent avoir être introduits. Pour les systèmes dégradants comme ceux correspondant à la compression basée sur un découpage des images en blocs, l'effet de bloc est une de ces distorsions susceptibles d'être introduites. Grâce à la connaissance de la localisation des frontières des blocs, il est possible de mesurer une grandeur caractéristique de l'importance de cet effet de bloc.

La mesure de l'importance IMp d'une frontière verticale entre deux blocs peut se faire de la manière suivante : y<yo+H IMP = S(xo , y) ù S(xo + 1, y) Y=Yo avec : • S(x, y) : valeur du signal au pixel d'abscisse x et d'ordonnée y • xo, yo, H : caractéristiques spatiales de la frontière entre les deux blocs, qui se situe entre les pixels d'abscisse xo et xo +1, et qui, ayant une hauteur H , s'étend de l'ordonnée yo à l'ordonnée yo + H (non comprise). 7.5 Classification locale (18) d'une zone spatiale d'une image La méthode de classification décrite ici est une méthode originale. Pour chaque pixel de la zone d'image considérée, quatre composantes du vecteur gradient sont calculées, correspondant à une mesure de l'activité spatiale selon les quatre directions respectives 0°, 45°, 90° et 135°: • la composante horizontale AH ; • la composante verticale AV ; • la composante première oblique AD45 (suivant la direction 45°) ; • la composante seconde oblique X35 (suivant la direction 135°). Ces calculs utilisent les relations suivantes dans lesquelles I est l'image et (i, j) sont les coordonnées du pixel courant : AH(i,j) = I(i,j +1) - I(i,j) AV(i,j)=I(i+1,j)ùI(i,j) AD45 (i, j) = I (i +1, j -1) ù I (i, j) AD135(i,j)=I(i+1,j+1)ùI(i,j) Chaque calcul de composante de gradient n'est effectué que lorsque les deux pixels d'image mis en jeu dans sa formule appartiennent à la zone considérée (par exemple pour calculer AH(i,j) sur une zone d'image, les pixels 1(i, j + 1) et I(i, j) doivent appartenir simultanément à cette zone). Puis les valeurs moyennes des quatre composantes de gradient sont calculées pour la zone considérée. Ceci permet d'obtenir les quatre valeurs 25 moyennes suivantes : • la composante horizontale moyenne AH ; • la composante verticale moyenne AV ; • la composante première oblique moyenne AD45 (suivant la direction 45°); • la composante seconde oblique moyenne OD135 (suivant la direction 30 135°).

Grâce aux composantes moyennes AH et AV , on peut dans la plupart des cas déterminer la classe de la zone en utilisant un plan partitionné P ù (AH, A V) tel que représenté sur la figure 3. D'après ce plan p = (AH, OV) représenté sur la figure 3, une zone de classe Co est considérée de type zone (quasi) uniforme , une zone de classe ci est une zone considérée de type texture fine , une zone de classe C3 est considérée comme une zone type contours horizontaux , une zone de classe C4 est considérée comme une zone de type contours verticaux et une zone de classe C2 est considérée à ce stade comme de type non déterminé . Pour 10 déterminer le type d'une zone de classe C2 , les deux composantes obliques moyennes du gradient, ADI35 et AD45 , de cette zone sont utilisées avec le partitionnement du plan p' _ (AD45 , AD135 ) représenté sur la figure 4. D'après ce plan, une zone de classe Co' est considérée comme étant une zone de type zone (quasi) uniforme , une zone de classe C est considérée 15 comme une zone de type texture fine , une zone de classe Cz est considérée comme une zone de type texture forte , une zone de classe c3 est considérée comme une zone de type contours diagonaux à 135° , une zone de classe c4' est considérée comme une zone de type contours diagonaux à 45° . De plus, la luminance moyenne des pixels de la zone considérée est 20 calculée. Si cette luminance moyenne est supérieure à un seuil prédéfini, cette zone est considérée comme étant une zone claire. Sinon, cette zone est considérée comme étant une zone sombre. Ceci permet de diviser chaque catégorie en deux sous-catégories (zone sombre ou zone claire), ce qui est motivé par le fait que les distorsions visuelles 25 sont plus gênantes dans les zones de faible luminance (zones sombres). Les seuils (rayons et angles) qui servent à déterminer les frontières des différentes partitions des plans p = (AH, AV) et p' _ (AD45 , AD135 ) et le seuil de luminance permettant de distinguer les zones sombres des zones claires peuvent être adaptatifs en fonction du contenu de la zone, de l'image fixe ou de la vidéo 30 considérée. Ils peuvent aussi être fixes. A titre d'exemple, pour un signal dont l'amplitude est comprise entre 0 et 255, les seuils suivants peuvent être considérés dans le cas où ils sont choisis fixes: • R1 = 8 • R2=10 • R3 =13 • 91 = 20° • 92 = 20° 7.6 Utilisation conjointe de la méthode de mesure de distorsion locale 17 exemple du PSNR) et de la méthode de classification locale 18 Avant le traitement, l'utilisateur peut choisir un seuil S (111) au-delà duquel une zone d'image sera considérée comme assez dégradée. Pour chaque zone de l'image fixe ou de la vidéo testée, on calcule la distorsion locale sur cette zone et on détermine le type de cette zone. La mesure de distorsion locale peut par exemple être effectuée simplement en utilisant le PSNR décrit précédemment mais elle peut également être effectuée de façon plus pertinente avec une mesure de la distorsion perceptive, c'est-à-dire en utilisant un modèle plus ou moins élaboré du fonctionnement de la vision humaine et éventuellement un modèle d'écran d'affichage. Quant à la classification, elle peut être réalisée par exemple en utilisant la méthode de classification décrite précédemment. Cependant, une autre méthode de classification peut également être utilisée, cette autre méthode pouvant conduire à utiliser un nombre différent de types de zones (nombre au moins égal à 2) et/ou d'autres types de zones. Le traitement 19 est par exemple le suivant : • Au départ, on recense les N différents types de zones que peut fournir la méthode de classification. • On définit ensuite des variables notées Acc(n) et AccDist(n) pour chaque type de zone n (n étant compris entre 1 et N) de l'image fixe testée ou de la vidéo testée. Ces variables Acc(n) et AccDist(n) sont toutes initialisées à O. • Puis, si une image fixe de référence ou une vidéo de référence est utilisée, on définit des variables AccRef(n) pour chaque type de zone n (n étant compris entre 1 et N) de cette image fixe de référence ou de cette vidéo de référence. Ces variables AccRef(n) sont toutes également initialisés à O. • Puis, le nombre K de zones Zk (k est compris entre 1 et K) considérées est déterminé. • Puis, on définit l'opérateur T(Zk) qui, à la zone Zk (k étant compris entre 1 et K), associe le type de cette zone (ce type étant compris entre 1 et N). • Pour chaque zone Zk de l'image fixe testée ou de la vidéo testée, l'accumulateur Acc(T (Z,)) correspondant au type T(Zk) de cette zone est augmenté de 1. • Si une image fixe ou une vidéo de référence est utilisée, alors pour chaque zone Zk de l'image fixe de référence ou de la vidéo de référence, l'accumulateur AccRef(T(Zk)) correspondant au type T (Zk) de cette zone est augmenté de 1. • Pour chaque zone Zk de l'image fixe testée ou de la vidéo testée, si cette zone a une distorsion mesurée supérieure au seuil S, alors l'accumulateur AccDist(T (Zk)) correspondant au type T(Zk) de cette zone est augmenté de 1. Lorsque toutes les zones de l'image ou de la vidéo ont été traitées, les indicateurs suivants peuvent être calculés : • La qualité des zones de chaque type peut être indiquée. Pour le type n, cette qualité est notée Q(n). • Le nombre de zones de chaque type de l'image fixe ou de la vidéo testée peut être indiqué à l'utilisateur. Pour le type n, ce nombre est Acc(n). • La proportion (en pourcentage) de zones de chaque type de l'image fixe ou de la vidéo testée peut également être calculée et indiquée à l'utilisateur. Pour le type n, cette proportion Pl(n) est calculée de la manière suivante :

P (n) _Acc(n) K • Le nombre de zones dégradées au-delà du seuil S pour chaque type de l'image fixe ou de la vidéo testée peut être indiqué à l'utilisateur. Pour le type n, ce nombre est AccDist(n). • La proportion (en pourcentage) de zones dégradées au-delà du seuil S pour chaque type de l'image fixe ou de la vidéo testée peut également être calculée et indiquée à l'utilisateur. Pour le type n, cette proportion P2(n) est calculée de la manière suivante : P2 (n) = AccDist(n) • La proportion normalisée (en pourcentage) de zones dégradées au-delà du seuil S pour chaque type de l'image fixe ou de la vidéo testée peut également être calculée et indiquée à l'utilisateur. Cette proportion P3(n) exprime la 15 proportion de zones de type n dégradées au-delà du seuil qui serait obtenue si l'image fixe ou la vidéo testée contenait le même nombre de zones par classe. Pour le type n, cette proportion P3(n) est calculée de la manière suivante :

P3 (n) =P2 (n) siP (n) > 0 P (n) 20 sinon P3(n) 4 Si une image fixe de référence ou une vidéo de référence a été utilisée, lorsque toutes ses zones ont été traitées, alors les indicateurs suivants peuvent 25 également être calculés : • Le nombre de zones de chaque type de l'image fixe de référence ou de la vidéo de référence peut être indiqué à l'utilisateur. Pour le type n, ce nombre est AccRef(n).

K • La proportion (en pourcentage) de zones de chaque type de l'image fixe de référence ou de la vidéo de référence peut également être calculée et indiquée à l'utilisateur. Pour le type n, cette proportion P4(n) est calculée de la manière suivante : P4 (n) =Ace Re f (n) K • La différence entre le nombre de zones d'un type donné dans l'image de référence ou dans la vidéo référence et le nombre de zones de même type 10 dans, respectivement, l'image testée ou la vidéo testée peut également être calculée et indiquée à l'utilisateur. Pour le type n, cette différence AccDiff(n) est donnée par AccRef(n) ù Acc (n). • La différence entre la proportion de zones d'un type donné dans l'image de référence ou dans la vidéo référence et la proportion de zones de même type 15 dans, respectivement, l'image testée ou la vidéo testée peut également être calculée et indiquée à l'utilisateur. Pour le type n, cette proportion Ps(n) est donnée par P4(n) ù Pi(n). • Le nombre de zones qui sont passées du type n dans l'image fixe de référence ou dans la vidéo de référence au type m dans, respectivement, l'image fixe 20 testée ou la vidéo testée (n et m étant compris entre 1 et N) peut également être calculé et indiqué à l'utilisateur. Ce nombre est noté Trans(n,m). • La proportion (en pourcentage) de zones qui sont passées du type n dans l'image fixe de référence ou dans la vidéo de référence au type m dans, respectivement, l'image fixe testée ou la vidéo testée (n et m étant compris 25 entre 1 et N) peut également être calculée et indiquée à l'utilisateur. Cette proportion est notée P6(n,m) et est calculée de la manière suivante : P6 (n, m) _ Trans(n, m) K5 Les informations Trans(n,m) et P6(n,m) peuvent être représentées sous forme de tableau à deux dimensions, une dimension couvrant les valeurs de n et une dimension couvrant les valeurs de m.

Enfin, une synthèse de ces indicateurs peut être effectuée, par exemple en cumulant un indicateur de qualité Qsynthese qui regroupe les indicateurs P2 de chaque type de zone i :

N l Qsynthese = anP2 (n) n=1

7.7 exemples d'applications Toutes ces informations (nombres et proportions) permettent par exemple :

• d'établir un diagnostic précis des distorsions,

• de comparer précisément l'impact de plusieurs traitements différents sur les distorsions par type de zone,

• de comparer précisément l'impact de plusieurs paramétrages différents du même traitement sur les distorsions par type de zone.

Ce procédé pallie ainsi le problème d'un diagnostic subjectif et la limitation des diagnostics qui consistent simplement en une note de distorsion ou de qualité.20

Claims (15)

1. REVENDICATIONS1. Procédé d'évaluation de la qualité visuelle d'une image ou d'une séquence d'images testée, basé sur une mesure de distorsions par type de zone, caractérisé en ce qu'il comprend les étapes suivantes, pour une image ou une vidéo à tester : - découpage de ladite image testée en un ensemble de zones spatiales ou de ladite séquence d'images testée en un ensemble de zones spatio- temporelles ; - détermination d'au moins une information représentative de distorsions pour chacune desdites zones ; - classification de chacune desdites zones dans une classe, parmi un ensemble de classes prédéterminées, représentative d'un type de contenu de ladite zone ; - génération d'un rapport comprenant au moins une information pour chacune desdites classes prédéterminées présentes dans ladite image ou séquence d'images testée, à partir desdites informations représentatives de la distorsion et du type de contenu affecté à la zone correspondante.
2. 2. Procédé d'évaluation selon la revendication 1, caractérisé en ce que ladite étape de détermination compare chacune desdites zones à une zone de référence correspondante d'une image ou d'une séquence d'images de référence.
3. 3. Procédé d'évaluation selon la revendication 1, caractérisé en ce que ladite étape de détermination compare au moins une information extraite de chacune desdites zones à au moins une information de même nature extraite d'une image ou d'une séquence d'images de référence.
4. 4. Procédé d'évaluation selon la revendication 1, caractérisé en ce que ladite étape de détermination se base uniquement sur la connaissance de ladite image ou séquence d'images testée.
5. 5. Procédé d'évaluation selon l'une quelconque des revendications 1 à 4, caractérisé en ce que ladite étape de détermination d'au moins une informationreprésentative de la distorsion locale met en oeuvre au moins une des techniques appartenant au groupe comprenant : - un calcul d'une information représentative du pic d'un rapport signal à bruit ; - un calcul de la variation du contraste ; - un calcul de l'importance de l'effet de bloc ; - un calcul d'une information représentative d'une mesure de perception visuelle, tenant compte d'un modèle de la vision humaine et/ou d'un modèle d'un écran d'affichage.
6. 6. Procédé d'évaluation selon l'une quelconque des revendications 1 à 5, caractérisé en ce que ladite étape de classification comprend au moins une étape de détermination d'un gradient représentatif d'une activité spatiale dans la zone d'image considérée.
7. 7. Procédé d'évaluation selon la revendication 6, caractérisé en ce qu'une étape de détermination d'un gradient comprend les étapes suivantes : - détermination d'un gradient local pour chaque pixel de ladite zone, en fonction de pixels voisins, sous réserve que lesdits pixels voisins appartiennent à ladite zone ; - calcul d'un gradient moyen, correspondant à une moyenne desdits gradients locaux.
8. 8. Procédé d'évaluation selon l'une quelconque des revendications 6 et 7, caractérisé en ce que ladite étape de classification comprend les étapes suivantes : - détermination d'une première composante du gradient suivant une direction horizontale (AH) ; - détermination d'une deuxième composante du gradient suivant une direction verticale (Ar) ; - détermination d'une troisième composante du gradient suivant une direction oblique à 45° (AD4s) ; - détermination d'une quatrième composante du gradient suivant une 30 direction oblique à 135° (AD135).
9. 9. Procédé d'évaluation selon l'une quelconque des revendications 6 à 8, caractérisé en ce que lesdites classes prédéfinies sont déterminées en fonction de seuils appliqués auxdites composantes du gradient.
10. 10. Procédé d'évaluation selon l'une quelconque des revendications 1 à 9, caractérisé en ce que ladite étape de classification tient compte d'une information représentative de la luminance dans la zone d'image considérée.
11. 11. Procédé d'évaluation selon l'une quelconque des revendications 1 à 10, caractérisé en ce que ladite étape détermination d'au moins une information de qualité comprend au moins une des étapes suivantes : - comptage du nombre de zones d'image appartenant à une desdites classes ; - comptage du nombre de zones d'image appartenant à une desdites classes et présentant une information représentative de la distorsion locale supérieure à un seuil prédéterminé ; - comptage du nombre de zones d'image ou de séquence d'images appartenant à une desdites classes et présentant une information représentative de la distorsion locale différente de celle déterminée pour, respectivement, une image ou une séquence d'images de référence correspondante.
12. 12. Procédé d'évaluation selon l'une quelconque des revendications 1 à 11, 20 caractérisé en ce que ladite étape détermination d'au moins une information de qualité comprend au moins une des étapes suivantes : - détermination d'une proportion de zones d'image appartenant à une desdites classes pour une image et/ou un ensemble d'images ; - détermination d'une proportion de zones d'image appartenant à une 25 desdites classes et présentant une information représentative de la distorsion locale inférieure à un seuil prédéterminé ; - détermination d'une proportion de zones d'image appartenant à une desdites classes et présentant une information représentative de la distorsion locale différente de celle déterminée pour une image de 30 référence correspondante.
13. 13. Procédé d'évaluation selon l'une quelconque des revendications 1 à 12, , caractérisé en ce qu'il comprend une étape de détermination d'une information représentative de la qualité audio et/ou de la qualité audio-vidéo.
14. 14. Produit programme d'ordinateur d'évaluation d'une qualité visuelle d'au moins une image téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu'il comprend des instructions de code de programme pour l'exécution du procédé d'évaluation selon l'une au moins des revendications 1 à 13.
15. 15. Dispositif d'évaluation d'une qualité visuelle d'au moins une image ou d'une séquence d'images testée selon le procédé de l'une quelconque des revendications 1 à 14, caractérisé en ce qu'il comprend : - des moyens de découpage de ladite image à tester en un ensemble de zones spatiales ou de ladite séquence d'images testée en un ensemble de zones 15 spatio-temporelles; - des moyens de détermination d'au moins une information représentative de la distorsion locale pour chacune desdites zones d'image ; - des moyens de classification de chacune desdites zones d'image dans une classe, parmi un ensemble de classes prédéterminées, représentative d'un 20 type de contenu de ladite zone ; - des moyens de génération d'un rapport comprenant au moins une information pour chacune desdites classes prédéterminées présentes dans ladite image ou séquence d'images testée, à partir desdites informations représentatives de la distorsion et du type de contenu affecté à la zone 25 correspondante.