FR3045903A1 - Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes - Google Patents

Abstract

L'invention concerne un procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage, ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance et des composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminé, ledit dispositif d'affichage étant apte à restituer des valeurs de composantes de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminé, de longueur supérieure à celle du premier intervalle, ledit procédé comprenant les étapes de : Détermination (E1) d'une information représentative d'un niveau global de luminosité de l'image perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image; Calcul (E2) d'un exposant d'expansion (y) en fonction de l'information de niveau global de luminosité déterminée ; Transformation (E3) des premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées. Selon l'invention, l'exposant d'expansion calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.

Description

Procédé de traitement d'une image numérique, dispositif, équipement terminal et programme d'ordinateur associés 1. Domaine de l'invention

Le domaine de l'invention est celui du traitement d'images numériques et de séquences d'images numériques dont les informations de couleur sont représentées dans un premier intervalle de valeurs, en vue de leur restitution sur un dispositif d'affichage apte à les représenter sur un deuxième intervalle de valeurs, supérieur au premier. L'invention peut notamment, mais non exclusivement, s'appliquer à la conversion d'intensités de couleurs d'images numériques représentées selon un format standard ou SDR (pour « Standard Dynamic Range », en anglais) en vue de leur restitution sur un dispositif d'affichage conforme à un format HDR (pour « High Dynamic Range », en anglais). 2. Présentation de l'art antérieur

On voit apparaître aujourd'hui une nouvelle génération de dispositifs de restitution de contenus audiovisuels, tels que des téléviseurs, dits HDR, qui sont capables d'afficher des images avec une gamme étendue d'intensités de couleurs. Ces écrans offrent un niveau de luminosité très élevé (pour « high peak », en anglais) et des niveaux de contraste accrus entre les zones sombres et claires de l'image, qui procurent à l'utilisateur une proximité inégalée avec la réalité.

Actuellement, cette technologie coexiste encore avec le format SDR, qui reste la référence pour la transmission de contenus audiovisuels, si bien que pour profiter des capacités accrues d'un écran HDR, il est nécessaire de convertir le contenu SDR reçu au format HDR avant de l'afficher.

On connaît de l'article de Akyuz et al, intitulé « Do HDR displays support LDR content? A Psychophysical Evaluation », publié par ACM SIGGRAPH 2007 Papers, page 38, en 2007, une méthode d'expansion des intensités de couleur d'une image numérique d'entrée, basée sur un simple opérateur linéaire. Elle consiste à calculer la composante de luminance de l'image de sortie Y2 comme une simple fonction linéaire de la composante de luminance Yi de l'image d'entrée, selon une formule du type : j _ j Yi (.x>ÿ)~Yi,min / π \ ^2(x,y) Lmax· v _Y y·*·) v ri,max 1 i,mm où (x,y) sont les coordonnées d'un élément d'image dans l'image d'entrée, Ylmax la valeur maximale prise par la composante de luminance dans l'image d'entrée et Ylmln sa valeur minimale.

Les résultats subjectifs obtenus par Akyuz avec cet opérateur sont considérés comme les meilleurs de la Littérature pour des images normalement exposées.

On connaît aussi de l'article de Masia et al, intitulé « Evaluation of Reverse Tone Mapping Through Varying Exposure Conditions » publié dans la revue « ACM Transactions on Graphics », éditée par ACM, volume 28, page 160, en 2009, une méthode d'expansion des intensités de couleur d'une image numérique. Elle consiste en particulier à appliquer un opérateur global d'expansion d'intensité, non linéaire, aux informations de luminosité des éléments de l'image d'entrée. Cet opérateur prend la forme d'un exposant exprimé comme une fonction affine d'un indicateur représentatif de l'image, appelé clé de l'image (pour « image key », en anglais).

Cet indicateur clé est bien connu de l'homme de métier et s'exprime de la façon suivante

(2) où

, n le nombre d'éléments de l'image, Y(x,y) est l'intensité de luminance d'un élément de l'image et δ est un nombre réel positif qui prend une petite valeur permettant d'éviter les singularités quand l'intensité d'un pixel est nulle.

Le logarithme de la luminance est en effet connu comme une bonne approximation d'un niveau de luminosité ou d'illumination perçu par le système visuel humain. La clé de l'image k donne donc une indication d'un niveau global de luminosité ou de luminosité (pour « global brightness », en anglais) de l'image, tel que perçu par un observateur. L'opérateur global d'expansion des intensités de luminosité de l'image d'entrée prend la forme suivante : γ - a.k + b (3) où a est un nombre réel qui vaut 10.44 et b est un nombre réel dont la valeur est fixée à - 6,282.

Sur l'ensemble d'images testées présenté dans l'article, on constate que la valeur de l'opérateur y augmente avec la valeur de la clé de l'image, les valeurs extrêmes étant égales à 1,1 et 2,26.

Un avantage de cette solution est qu'elle permet d'améliorer la qualité perçue des images de façon simple et réalisable en temps réel. En particulier, elle donne de bons résultats sur des images sur exposées présentant un niveau de contraste suffisant. 3. Inconvénients de l'art antérieur

Un inconvénient des méthodes décrites dans l'art antérieur est qu'elles ne sont pas adaptées à tout type d'images. En particulier, pour des images présentant des niveaux de contraste et de luminosité plus extrêmes que les images testées, elles donnent aux images traitées une apparence artificielle inesthétique et peu fidèle aux images d'entrée. 4. Objectifs de l'invention L'invention vient améliorer la situation. L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur.

Plus précisément, un objectif de l'invention est de proposer une solution qui garantisse un rendu plus réaliste et plus respectueux du style d'éclairage originel de l'image d'entrée, tout en restant simple à mettre en oeuvre et compatible avec des contraintes temps-réel. 5. Exposé de l'invention

Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage, ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance séparée de composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminé, ledit dispositif d'affichage étant apte à restituer des valeurs de composantes de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminé, de longueur supérieure à celle du premier intervalle, ledit procédé comprenant les étapes de : Détermination d'une information représentative d'un niveau global de luminosité de l'image perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image;

Calcul d'un exposant d'expansion en fonction de l'information de niveau global de luminosité déterminée ;

Transformation des premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées.

Le procédé selon l'invention est remarquable en ce que l'exposant d'expansion calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.

Ainsi l'invention propose une solution nouvelle et inventive d'expansion de la gamme de valeurs des informations de luminance pour adapter le format d'une image d'entrée à celui du dispositif d'affichage dont la gamme est plus étendue.

Contrairement à l'art antérieur, qui choisit un exposant d'expansion dont la valeur augmente avec le niveau global de luminosité de l'image, l'invention propose un exposant d'expansion dont la valeur diminue lorsque le niveau global de luminosité augmente.

Les inventeurs ont identifié cinq classes de styles d'images représentatives des différentes combinaisons possibles de niveaux de luminosité et de contraste d'un large ensemble de séquences de tests. Ils ont ensuite mis en oeuvre une expérimentation au cours de laquelle ils ont appliqué différentes valeurs d'exposants correcteurs aux séquences d'images de chacune de ces classes de style, puis demandé au panel d'observateurs d'en évaluer la qualité perçue. A partir des résultats obtenus, les inventeurs ont constaté d'une part qu'une valeur d'exposant correcteur particulière pouvait être associée à chacune des classes. D'autre part ils ont établi une relation mathématique simple entre le niveau global de luminosité des images d'une classe et la valeur d'exposant correcteur à appliquer aux images de cette classe permettant d'obtenir une image de sortie adaptée d'un point de vue perceptuel.

Selon l'invention, l'exposant calculé est proportionnel au logarithme de l'inverse de l'information représentative d'un niveau global de luminosité de l'image.

Un avantage de cette relation mathématique est qu'elle permet un rendu fidèle du style d'éclairage de l'image tout en restant simple à mettre en œuvre avec des ressources de calcul limitées compatibles avec des exigences de traitement en temps réel.

Selon une caractéristique avantageuse de l'invention, l'étape de détermination d'un niveau global de luminosité comprend l'obtention d'une valeur médiane de la composante de luminance de l'image, la normalisation de la valeur médiane obtenue et en ce que l'information représentative d'un niveau global de luminosité de l'image est proportionnelle à la valeur médiane obtenue normalisée.

Un avantage de recourir à la médiane des valeurs de luminance d'une image est qu'elle prend des valeurs qui restent stables d'une image à l'autre d'une séquence d'images. On évite ainsi tout effet de scintillement ou battement (pour « flickering », en anglais) lors de la restitution de la séquence.

Selon un autre aspect de l'invention, l'étape de détermination d'une information représentative d'un niveau global de luminosité comprend en outre une étape préalable de conversion de la première composante de luminance du premier espace colorimétrique en une composante de clarté d'un deuxième espace colorimétrique, préalable à l'étape de calcul de l'exposant d'expansion et en ce que la valeur médiane est obtenue à partir de la composante de clarté.

Par exemple la premier composante de luminance est convertie dans l'espace colorimétrique CIEL*a*b*connu pour produire une composante de clarté perceptuellement linéaire. Un premier avantage est que les valeurs de clarté sont mieux réparties sur l'intervalle de valeurs possibles. Un deuxième avantage est de rendre l'information de niveau global de luminosité plus proche de celle réellement perçue par un observateur.

Selon encore un autre aspect de l'invention, l'étape de normalisation de la valeur médiane entre 0 et 1, préalable à l'étape de calcul de l'exposant d'expansion et en ce qu'il comprend une étape de correction (pour « clipping », en anglais) de la valeur médiane normalisée, une valeur comprise entre 0 et a, nombre réel positif non nul inférieur à 1, étant mise à la valeur a et une valeur comprise entre b et 1, avec b nombre réel supérieur à a et inférieur à 1, étant mise à la valeur b.

Un avantage de contenir les valeurs les plus extrêmes de la médiane est de borner les valeurs possibles de l'exposant d'expansion, ce qui permet d'éviter de produire des saturations des valeurs de luminances et de dénaturer le style d'éclairage originel de l'image d'entrée.

Selon un autre aspect de l'invention, l'étape de transformation met en œuvre les équations suivantes : Y2 = LmaX-YÎ avec

où Yi désigne la première composante de luminance, Y2 la deuxième composante de luminance, log10le logarithme décimal, γ l'exposant d'expansion appliqué à la première composante de luminance Y1 et Lmedn* la valeur médiane de luminance normalisée et clippée .

Un avantage de cette expression mathématique qui relie la deuxième composante de luminance à la première est qu'elle est simple à mettre en oeuvre, tout en garantissant un rendu réaliste et respectueux du style d'éclairage originel de l'image d'entrée, quel que soit le niveau global de luminosité de l'image d'entrée.

Le procédé qui vient d'être décrit dans ses différents modes de réalisation est avantageusement mis en œuvre par un dispositif de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage, ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance séparée de composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminé, ledit dispositif d'affichage étant apte à restituer des valeurs de composantes de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminé, de longueur supérieure à celle du premier intervalle, ledit dispositif comprenant une machine de calcul reprogrammable ou une machine de calcul dédiée, apte à et configurée pour : Déterminer une information représentative d'un niveau de luminosité globale de l'image, perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image;

Calculer un exposant d'expansion en fonction de l'information de niveau global de luminosité déterminée ;

Transformer les premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées

Un tel dispositif est remarquable en ce que l'exposant d'expansion calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.

Corrélativement, l'invention concerne aussi un équipement terminal comprenant un récepteur apte à et configuré pour recevoir une séquence d'images numériques par l'intermédiaire d'un réseau de communication et un émetteur apte à et configuré pour transmettre la séquence d'images à un dispositif d'affichage apte et configuré pour la restituer, caractérisé en ce qu'il comprend un dispositif de traitement d'au moins une image numérique selon l'invention.

Cet équipement terminal peut être un ordinateur personnel, un boîtier décodeur TV, un téléviseur numérique etc. L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en oeuvre des étapes d'un procédé tel que décrit précédemment, lorsque ce programme est exécuté par un processeur. L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en oeuvre des étapes d'un procédé de traitement d'une image numérique tel que décrit précédemment, lorsque ce programme est exécuté par un processeur.

Ces programmes peuvent utiliser n'importe quel langage de programmation. Ils peuvent être téléchargés depuis un réseau de communication et/ou enregistrés sur un support lisible par ordinateur. L'invention se rapporte enfin à un support d'enregistrement ou médium de stockage, lisible par un processeur, intégrés ou non au dispositif de traitement d'une image numérique selon l'invention, éventuellement amovible, mémorisant respectivement un programme d'ordinateur mettant en oeuvre un procédé de traitement, tel que décrit précédemment. 6. Liste des figures D'autres avantages et caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : la figure 1 présente de façon schématique une chaîne de traitement d'une image ou d'une séquence d'image d'entrée au format SDR en vue de fournir une image respectivement une séquence d'images de sortie au format HDR ; la figure 2 présente de façon schématique les étapes d'un procédé de traitement d'une image numérique selon l'invention ; la figure 3 détaille l'étape de détermination d'une information représentative d'un niveau global de luminosité selon un mode de réalisation de l'invention ; les figures 4A et 4B présentent des exemples de fonctions décroissantes de l'information de niveau global de luminosité selon deux modes de réalisation de l'invention ; la figure 5 détaille les étapes de calcul d'un exposant d'expansion et de dérivation des composantes de couleur selon un mode de réalisation de l'invention ; la figure 6 présente des exemples de classes de styles d'éclairage des images d'entrées définies en fonction de leur luminosité et de leur contraste ; les figures 7A à 7E présentent des exemples de courbes d'exposant d'expansion obtenus par le procédé de traitement selon l'invention pour des images d'entrées appartenant à des classes de styles d'éclairage prédéterminées ; la Figure 8 présente de façon comparée des exemples d'images de sortie obtenues après traitement selon l'invention et selon deux solutions de l'art antérieur ; la figure 9 présente de façon comparée les résultats de tests subjectifs réalisés sur un ensemble d'images avec le procédé de traitement selon l'invention et deux solutions de l'art antérieur ; et la figure 10 présente de façon schématique un exemple de structure matérielle d'un dispositif de traitement d'une image numérique selon un mode de réalisation de l'invention. 7. Description d'un mode de réalisation particulier de l'invention

Pour rappel, un objectif de l'invention est de proposer une méthode pour étendre la gamme d'intensités de couleurs d'une image d'entrée conforme à un format standard en vue de sa restitution sur un dispositif d'affichage disposant d'une gamme d'intensités de couleurs plus étendue. Le principe général de l'invention repose sur la détermination d'une information représentative d'un niveau global de luminosité de l'image tel que perçu par un observateur et sur l'application aux intensités de l'image d'un exposant d'expansion, exprimé comme une fonction décroissante du niveau global de luminosité de l'image.

En relation avec la Figure 1, on considère une chaîne de traitement d'une séquence d'images d'entrée (IIn) au format SDR, avec n entier compris entre 0 et N, avec N entier non nul, en vue de son affichage au format HDR.

Les images de la séquence d'entrée sont bidimensionnelles (2D). Leurs éléments sont des pixels. Bien sûr, l'invention n'est pas limitée à cet exemple et s'applique aussi à des images tridimensionnelles (3D) ou multivues, dont les éléments sont des voxels.

Les images de cette séquence peuvent prendre différentes dimensions spatiales telles que par exemple des images SD (pour « Standard Définition », en anglais, HD (pour High définition », en anglais), UHD (pour « Ultra High Définition », en anglais), 4K, qui correspond à quatre fois la définition d'une image HD et 8K, qui correspond à huit fois la définition d'une image HD. La séquence d'entrée peut présenter des valeurs de fréquence (pour « frame rate », en anglais) variées parmi les valeurs suivantes de 24, 25, 30, 50, 60, 120 etc. Les intensités de couleur de ses éléments d'images, peuvent être codées sur une profondeur de bits (« bit depth », en anglais) par exemple égale à 8, 10, 12 ou encore 16 bits.

On suppose que cette séquence d'images a préalablement été obtenue soit sous forme brute (pour « raw », en anglais) directement en sortie d'un module d'acquisition, tel que par exemple une caméra vidéo, soit sous forme décompressée en sortie d'un décodeur qui l'avait reçue par l'intermédiaire d'un réseau de communication.

Par exemple, la séquence d'images d'entrée (IIn) est au format R'G'B' (pour « Red Green Blue », en anglais)..., tel que spécifié dans la norme BT.709 qui définit les valeurs des paramètres des normes de TVHD pour la production et l'échange international de programmes audiovisuels. Les informations de couleurs sont exprimées selon trois composantes R', G', B' qui prennent chacune des valeurs comprises entre 0 et 255.

Bien sûr, l'invention ne se restreint pas à cet espace colorimétrique et peut aussi bien traiter des images d'entrée conformes à d'autres formats tel que BT.2020, BT.601, DCI-P3, etc.

Ces informations de couleurs R'G'B' correspondent à un codage informatique ou électrique des couleurs des éléments d'image. Une opération de conversion électrique optique est réalisée en Tl pour rétablir les intensités optiques des couleurs de l'image. Les intensités optiques RGB ainsi obtenues prennent des valeurs comprises entre 0 et 1.

Ces intensités optiques RGB sont présentées, en T2 à un module ITMO (pour «Inverse Tone Mapping Operator », en anglais) qui a pour fonction d'étendre la gamme de valeurs des intensités de couleur d'un premier intervalle [0 :1] à un deuxième intervalle de valeurs [0 :Lmax] où Lmax représente la longueur du deuxième intervalle, Lmax étant un entier supérieur à 1.

Ce module ΓΓΜΟ met en oeuvre le procédé selon l'invention qui va être présenté ci-après en relation avec la Figure 2. A la sortie de ce module, la séquence d'images produite est au format optique RGB avec des intensités comprises entre 0 et Lmax.

Chaque image de la séquence est soumise en T3 à une opération inverse de conversion optique électrique de façon à obtenir en sortie une séquence d'images dont les intensités de couleur correspondent à un codage informatique exploitable pour un dispositif d'affichage, tel qu'un téléviseur. Par exemple, la conversion mise en œuvre fournit des intensités de couleur au format Y'CbCr qui décompose les intensités de couleurs en une composante de luminance Y' séparée des composantes de chrominance Cb, Cr. Ce format Y'CbCr est une manière de représenter l'espace colorimétrique en vidéo qui est bien adaptée aux problématiques de transmission. Ces composantes sont codées sur 10 bits. En variante, une conversion supplémentaire fournit en T4 une séquence d'images de sortie au format R'G'B', codée sur au moins 10 bits.

La séquence d'images obtenue est transmise en T5 à un dispositif d'affichage, tel que par exemple un téléviseur numérique HDR par exemple conforme à la norme ST2084 ou STD-B67.

En relation avec la Figure 2, on décrit maintenant les étapes du procédé de traitement d'une image numérique selon un mode de réalisation de l'invention.

On suppose que les intensités de couleur optiques de l'image d'entrée sont exprimées au format RGB.

Au cours d'une première étape E0, on convertit les intensités de couleur de l'image d'entrée dans un espace colorimétrique qui comprend une composante Y de luminance et des composantes X et Z de chrominance. On comprend que dans cet espace, on sépare une information représentative d'une luminosité de l'image en chacun de ses points, des informations dites de chrominance qui en définissent la couleur.

En El, on détermine une information représentative d'un niveau global de luminosité de l'image d'entrée, tel que perçu par le système visuel d'un observateur.

Selon un premier mode de réalisation de l'invention, l'information déterminée est la clé k de l'image telle que définie par Masia.

Selon un deuxième mode de réalisation de l'invention, décrit en relation avec la Figure 3, on détermine l'information de niveau global de luminosité d'une autre manière, définie ci-dessous :

En Eli, on convertit la composante de luminance Y en une autre composante de luminance L*, dite de clarté, d'un espace colorimétrique dit CIEL*a*b*. La composante L* de clarté peut prendre des valeurs comprises entre 0 (noir) et 100 (blanc). Il s'agit d'un espace colorimétrique pour les couleurs de surface, défini par la Commission internationale de l'éclairage. (CIE), en même temps que l'espace colorimétrique CIE L*u*v* pour les couleurs de lumière. Fondé sur les évaluations du système CIE XYZ, il a été conçu pour figurer plus fidèlement les écarts entre les couleurs perçues par la vision humaine.

Dans ce modèle, trois grandeurs caractérisent les couleurs, la clarté L*, dérivée de la luminance (Y) de l'évaluation XYZ, et deux paramètres a* et b*, qui expriment l'écart de la couleur par rapport à celle d'une surface grise de même clarté, comme la chrominance d'une séquence d'images.

Au cours d'une étape E12, on calcule la valeur médiane L*med de la composante de clarté L* sur l'ensemble des éléments de l'image d'entrée Un.

On suppose que l'image IIn compte M éléments d'image, avec M entiers non nuis.

On calcule par exemple la valeur médiane en triant les valeurs des composantes de clarté des éléments de l'image dans l'ordre croissant, la valeur médiane Vmed correspondant à la position (M+l)/2.

Au cours d'une étape E13, on normalise la valeur médiane obtenue, de façon à ce que sa valeur soit comprise entre 0 et 1. On a :

(4)

En E14, on restreint (pour « clipping », en anglais) les valeurs possibles pour la valeur médiane de la clarté normalisée, en excluant les valeurs extrêmes de l'intervalle [0,1]. Le nouvel intervalle de valeurs possibles est [0.05, 0;95].

On obtient donc une information représentative d'un niveau global de luminosité de l'image d'entrée égale à la valeur médiane normalisée et « clippée » de la composante de clarté : (5)

En relation avec la Figure 2, l'étape suivante E2 du procédé de traitement selon l'invention calcule un coefficient d'expansion γ fonction de l'information représentative d'un niveau de luminosité de l'image d'entrée ILG. Ce coefficient d'expansion est destiné à être appliqué à la composante de luminance Yi de l'image d'entrée Un. Selon l'invention, le coefficient d'expansion γ est calculé comme une fonction décroissante de l'information ILG.

Selon un premier mode de réalisation de l'invention, présenté en relation avec la Figure 4A, le coefficient d'expansion γ est calculé comme une fonction polynomiale décroissante de l'information ILG. Par exemple, on définit le coefficient d'expansion γ comme suit : γ — a.lLG2 — β-ILG + p (6) avec a=1.5, /?=2.6 etp= 2.2

Selon un deuxième mode de réalisation de l'invention, présenté en relation avec la Figure 4B, le coefficient d'expansion γ est une calculé comme une fonction logarithmique de l'inverse de l'information de luminosité ILG de l'image d'entrée :

(7)

Dans ces deux exemples, l'information ILG est choisie égale à

Bien sûr, l'invention ne se limite pas à ce cas particulier. On peut envisager d'autres façons de calculer l'information ILG, par exemple à partir de la clé de l'image k.

Un avantage de cette fonction est qu'elle correspond bien au modèle de perception du système visuel humain. En outre, elle est simple à calculer.

Bien sûr, l'invention ne se limite pas à l'utilisation de ces deux exemples. D'autres modèles de courbes peuvent être utilisés.

Au cours d'une étape E3, on transforme la composante de luminance Yi de l'image d'entrée par application du coefficient d'expansion γ :

Yi' = Yl (8)

et on multiplie, pour chaque élément de l'image d'entrée lin, la valeur de luminance Y par l'amplitude de l'intervalle de valeurs de luminances du dispositif d'affichage Lmax· Y2 = Lmax-Yl (9)

Par exemple, avec un standard d'écran HDR tel que ST2084, si le niveau maximal de luminosité de l'écran est de 1000 nits ou cd/m2, alors Lmax vaut 1000.

En E4, on dérive les valeurs d'intensité lumineuse de l'espace colorimétrique RGB, par exemple de la façon suivante :

(10)

(U)

(12)

On obtient ainsi une image de sortie (IOn) dont les intensités de couleurs prennent une gamme de valeurs plus étendue et adaptée à l'amplitude offerte par le dispositif d'affichage.

Pour une séquence d'images, on répète les étapes El à E4 pour chaque image.

Sur la Figure 5, on a représenté les étapes du procédé de traitement d'une image d'entrée (IIn) selon l'invention, lorsque l'image d'entrée est au format standard SDR et le dispositif d'affichage est configuré pour restituer des images (IOn) au format HDR. L'invention qui vient d'être présentée a été testée sur un ensemble représentatif de séquences d'images appartenant à des styles ou classes d'éclairage variés.

On désigne par style d'éclairage ou de lumière d'une image (pour « lighting style », en anglais), les conditions de luminosité et de contraste choisies par un artiste pour créer une image, photographie ou séquence vidéo. Ces conditions contribuent à conférer à l'image une ambiance particulière. La notion de style est connue et très utilisée en photographie, à la télévision, comme au cinéma. On recense notamment les trois classes suivantes : le ton moyen MK (pour « Medium-Key lighting », en anglais) est un style de prises d'images associant un contraste moyen à une luminosité modérée. La plupart des contenus images et vidéos entre dans cette catégorie.

Le ton foncé LK (pour « Low-Key lighting », en anglais) est un style de prise d'images volontairement sombre, donc présentant une faible luminosité associée à un fort contraste. Le style low key intervient dans plusieurs effets tels que le clair-obscur Contrairement à l'éclairage standard basé sur trois sources lumineuses, la technique du Low-Key ne fait généralement intervenir qu'une seule source.

Le ton clair HK (pour « High-Key lighting », en anglais) est un style de prise d'images associant une luminosité élevée à un faible contraste pour exprimer une ambiance légère. C'est un style très utilisé dans le domaine de la mode et de la publicité.

En prenant en compte les deux dimensions données par la luminance et le contraste, les inventeurs proposent une classification 2D comprenant les deux styles supplémentaires suivants : le ton sombre DK (pour « Dark-Key lighting », en anglais) est un style de prise d'images volontairement sous-exposées, donc présentant une faible luminosité, qui est combinée avec un faible contraste. Il est particulièrement prisé pour les scènes de nuit, instaurer une ambiance inquiétante, rehausser le suspense de films d'horreur ou de polars ; le ton brillant BK (pour « Bright-Key lighting », en anglais) est un style de prise d'images associant un fort niveau de contraste à une luminosité élevée. Ce style concerne communément les prises de vue extérieures les jours de ciel clair et ensoleillés.

En relation avec la Figure 6, on a positionné respectivement les cinq styles d'éclairage qui viennent d'être décrits sur un diagramme, en fonction d'informations représentatives de niveaux globaux de luminosité et de contraste, tels que perçus par un observateur. On constate que les classes LK et DK ont des niveaux de luminosité comparables et se distinguent l'une de l'autre par leur niveau de contraste. Il en est de même pour les classes HK et BK.

En relation avec les Figures 7A à 7E, 8 et 9, on présente maintenant les résultats obtenus par l'invention. Les figures 7A à 7E comparent, pour les cinq classes d'images, les courbes des valeurs de luminance étendues Y2 de l'image de sortie en fonction de celles Yi de l'image d'entrée, respectivement obtenues par l'invention et les méthodes de Akyuz et Masia, déjà décrites. Pour rappel, la méthode d'Akyuz utilise un exposant d'expansion égal à 1 tandis que la méthode de Masia exploite un exposant exprimé comme une fonction affine de la clé de l'image.

Pour l'image de la Figure 7A, appartenant à la classe de style Dark Key, l'exposant d'expansion γ calculé par l'invention vaut 1,72 et celui calculé par Masia vaut -0.35. Avec la méthode d'Akyuz, l'expansion est linéaire, si bien que toutes les luminances sont augmentées de la même façon.

Le coefficient calculé par Masia est négatif, ce qui a pour effet de saturer les valeurs de luminance Y2. En relation avec la Figure 8, qui présente une image de la séquence de sortie obtenue par chacune des méthodes et l'image d'origine correspondante, ainsi que des scores d'esthétique et de fidélité attribués par des observateurs, on vérifie que l'image obtenue par la méthode de Masia est très blanche et a perdu tout contraste. L'image produite par la méthode de Akyuz est de qualité correcte mais le style d'éclairage originel a été dénaturé.

Pour l'image de la Figure 7B, appartenant à la classe de style Low Key, l'exposant d'expansion y calculé par l'invention vaut 1,5 et celui calculé par Masia vaut -0.80. Les mêmes constats s'appliquent pour les images produites par Akyuz et Masia.

Pour l'image de la Figure 7C, appartenant à la classe de style Medium Key, l'exposant d'expansion y calculé par l'invention vaut 1,34 et celui calculé par Masia vaut 0.39. La courbe obtenue par la méthode selon l'invention se situe en deçà de la droite d'Akyuz. Elle étire donc moins les valeurs de luminance intermédiaires que le fait Akyuz. Ceci se vérifie sur la Figure 8, qui montre que la version de l'image MK étendue par l'invention paraît globalement moins exposée que la version produite par Akyuz. L'image produite par Masia est surexposée et le rendu est peu naturel.

Pour l'image de la Figure 7D, appartenant à la classe de style Bright Key, l'exposant d'expansion y calculé par l'invention vaut 1,06 et celui calculé par Masia vaut 1,7. Le résultat obtenu par Akyuz est trop éclairé. Celui obtenu par Masia est trop contrasté. En relation avec la Figure 8, les scores obtenus par Masia sont nettement moins bons que ceux de Akyuz et ceux de l'invention, notamment à cause d'un battement entre les images de la séquence de sortie.

Pour l'image de la Figure 7E, appartenant à la classe de style High Key, l'exposant d'expansion y calculé par l'invention vaut 1,02 et celui calculé par Masia vaut -2.65. La courbe de l'invention est très proche de la droite d'Akyuz, mais légèrement en deçà. La Figure 8 met en évidence une surexposition plus importante de la version produite par Akyuz que celle de l'invention. En relation avec la Figure 8, l'image produite par Masia est très blanche, dépourvue de tout contraste..

De façon générale, on constate que la méthode de Masia a tendance à saturer les valeurs de luminance sur toute la gamme de valeurs prises par l'image d'entrée, ce qui aura pour effet de donner une impression de sur exposition et de perte de contraste.

La méthode d'Akyuz amplifie linéairement les luminances sur toute la gamme de valeurs. Le rendu des images est acceptable, mais le style originel des images a été dénaturé.

Ces résultats mettent en évidence les bons résultats obtenus par l'invention qui restitue fidèlement les styles d'éclairage des images qu'elle traite.

En relation avec la Figure 9, on présente les scores moyens attribués par un ensemble d'observateurs aux images produites par les trois méthodes testées. On distingue un score d'esthétique, issu d'un test sans référence et un score de fidélité, issu d'un test avec référence. On constate que les scores obtenus par le procédé de traitement selon l'invention sont toujours supérieurs à ceux des autres méthodes, que ce soit d'un point de vue de l'esthétique ou de la fidélité.

On notera que l'invention qui vient d'être décrite, peut être mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, les termes « module » et « entité », utilisés dans ce document, peuvent correspondre soit à un composant logiciel, soit à un composant matériel, soit encore à un ensemble de composants matériels et/ou logiciels, aptes à mettre en œuvre la ou les fonctions décrites pour le module ou l'entité concerné(e).

En relation avec la figure 10, on présente maintenant un exemple de structure simplifiée d'un dispositif 100 de codage d'une image numérique selon l'invention. Le dispositif 100 met en œuvre le procédé de codage selon l'invention qui vient d'être décrit en relation avec la Figure 1.

Cette figure 10 illustre seulement une manière particulière, parmi plusieurs possibles, de réaliser l'algorithme détaillé ci-dessus, en relation avec la figure 2. En effet, la technique de l'invention se réalise indifféremment sur une machine de calcul reprogrammable (un ordinateur PC, un processeur DSP ou un microcontrôleur) exécutant un programme comprenant une séquence d'instructions, ou sur une machine de calcul dédiée (par exemple un ensemble de portes logiques comme un FPGA ou un ASIC, ou tout autre module matériel).

Dans le cas où l'invention est implantée sur une machine de calcul reprogrammable, le programme correspondant (c'est-à-dire la séquence d'instructions) pourra être stocké dans un médium de stockage amovible (tel que par exemple une disquette, un CD-ROM ou un DVD-ROM) ou non, ce médium de stockage étant lisible partiellement ou totalement par un ordinateur ou un processeur.

Par exemple, le dispositif 100 comprend une unité de traitement 110, équipée d'un processeur μΐ, et pilotée par un programme d'ordinateur Pgl 120, stocké dans une mémoire 130 et mettant en œuvre le procédé de selon l'invention. A l'initialisation, les instructions de code du programme d'ordinateur Pgi 120 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 110. Le processeur de l'unité de traitement 110 met en oeuvre les étapes du procédé décrit précédemment, selon les instructions du programme d'ordinateur 120.

Dans cet exemple de réalisation de l'invention, le dispositif 100 comprend une machine de calcul reprogrammable ou une machine de calcul dédiée, apte à et configurée pour : obtenir une image d'entrée GET II ; convertir CONV les intensités de couleur RGB de l'image d'entrée dans un espace colorimétrique qui comprend une composante Y de luminance et des composantes X et Z de chrominance ; Déterminer DET ILG une information représentative d'un niveau global de luminosité de l'image, perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image;

Calculer CALC un exposant d'expansion y en fonction de l'information de niveau global de luminosité déterminée ;

Transformer TRANSF les premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées.

Selon l'invention, l'exposant d'expansion y calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.

Avantageusement, la machine de calcul est configurée pour mettre en œuvre les modes de réalisation de l'invention qui viennent d'être décrits en relation avec les Figures 2 à 5.

Le dispositif 100 comprend en outre une unité Mi 140 de stockage, telle qu'une mémoire ou un buffer, apte à stocker par exemple la séquence d'images d'entrée, le coefficient d'expansion y calculé et les valeurs intermédiaires de luminance, et/ou la séquence d'images de sortie.

Ces unités sont pilotées par le processeur μΐ de l'unité de traitement 110.

De façon avantageuse, un tel dispositif 100 peut être intégré à un équipement terminal d'utilisateur TU, par exemple un ordinateur, un boîtier décodeur TV (pour « set top box », en anglais), un téléviseur numérique. Le dispositif 100 est alors agencé pour coopérer au moins avec les modules suivants du terminal TU : un module E/R d'émission/réception de données, par l'intermédiaire duquel un signal comprenant des données codées représentatives de la séquence d'images d'entrée est reçu d'un réseau de télécommunications, par exemple un réseau radio, filaire ou hertzien ; et/ou un module d'acquisition de la séquence d'images d'entrée, tel que par exemple une caméra vidéo, par exemple via un câble HDMI. - un dispositif d'affichage, configuré pour restituer des images ayant une gamme d'intensités de couleur étendue, par exemple un téléviseur HDR professionnel de type Sony ® BVM-X300 OLED, équipé de fonctions de transfert SLoq3 et ST2084. Ce dispositif est conforme aux standards de colorimétrie BT.709 et BT.2020. Il offre une luminosité maximale de 1000 nits.

Grâce à ses bonnes performances et à sa simplicité de mise en oeuvre, l'invention qui vient d'être décrite permet plusieurs usages. Sa première application est la conversion de contenus vidéo au format SDR en une version affichable sur un dispositif de restitution HDR. Par exemple, elle peut être mise en oeuvre à réception d'un contenu vidéo diffusé en temps réel (« live », en anglais) au format SDR, comme post traitement, en vue de son affichage de la séquence d'images sur un écran HDR.

Pour la production de contenus TV en temps réel mettant en oeuvre plusieurs modules d'acquisition, SDR et HDR, elle peut être utilisée pour convertir à la volée un contenu SDR en HDR avant son mixage avec des contenus HDR. Elle peut aussi trouver son intérêt dans la post production cinématographique.

Enfin, l'invention peut être mise en oeuvre, en tout point d'une chaîne de transmission pour transcoder un contenu transmis au format HDR BT.709 dans un format HDR, tel que spécifié par le standard ST2084 ou STD-B67.

Il va de soi que les modes de réalisation qui ont été décrits ci-dessus ont été donnés à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l'homme de l'art sans pour autant sortir du cadre de l'invention.

Claims (10)

1. REVENDICATIONS

   1. Procédé de traitement d'au moins une image numérique (IIn) en vue de sa restitution sur un dispositif d'affichage (20), ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance (Yi) et des composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminées, ledit dispositif d'affichage étant apte à restituer des valeurs de composante de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminées, de longueur supérieure à celle du premier intervalle, ledit procédé comprenant les étapes de : Détermination (El) d'une information représentative d'un niveau global de luminosité (ILG) de l'image perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image; Calcul (E2) d'un exposant d'expansion (y) en fonction de l'information de niveau global de luminosité déterminée ; Transformation (E3) des premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs prédéterminées. caractérisé en ce que l'exposant d'expansion calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.
2. 2. Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon la revendication 1, caractérisé en ce que l'exposant calculé est proportionnel au logarithme de l'inverse de l'information représentative d'un niveau global de luminosité de l'image.
3. 3. Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon la revendication 2, caractérisé en ce que l'étape de détermination (El) d'un niveau global de luminosité comprend l'obtention (E12) d'une valeur médiane de la composante de luminance de l'image, la normalisation de la valeur médiane obtenue et en ce que l'information représentative d'un niveau global de luminosité de l'image est proportionnelle à la valeur médiane obtenue normalisée.
4. 4. Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon la revendication précédente, caractérisé en ce que l'étape de détermination (El) d'une information représentative d'un niveau global de luminosité comprend en outre une étape préalable (Eli) de conversion de la première composante de luminance du premier espace colorimétrique en une composante de luminance, dite de clarté d'un deuxième espace colorimétrique, préalable à l'étape de calcul de l'exposant d'expansion et en ce que la valeur médiane est obtenue à partir de la composante de clarté.
5. 5. Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon l'une des revendications 3 ou 4, caractérisé en ce que le procédé comprend une étape de normalisation (E13) de la valeur médiane entre 0 et 1, préalable à l'étape de calcul de l'exposant d'expansion et en ce qu'il comprend une étape (E14) de correction de la valeur médiane normalisée, une valeur comprise entre 0 et a, nombre réel positif non nul inférieur à 1, étant mise à la valeur a et une valeur comprise entre b et 1, avec b nombre réel supérieur à a et inférieur à 1, étant mise à la valeur b.
6. 6. Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon la revendication précédente, caractérisé en ce que l'étape de transformation (E3) met en oeuvre les équations suivantes :

   où Yi désigne la première composante de luminance, Y2 la deuxième composante de luminance, Lmax la longueur du deuxième intervalle de valeurs de luminance, log10 le logarithme décimal, γ l'exposant d'expansion appliqué à la première composante de luminance Y1 etLmedn*la valeur médiane de luminance normalisée et clippée .
7. 7. Dispositif (100) de traitement d'au moins une image numérique (IIn) en vue de sa restitution sur un dispositif d'affichage (20), ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance (Yi) séparée de composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminé, ledit dispositif d'affichage étant apte à restituer des valeurs de composantes de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminé, de longueur supérieure à celle du premier intervalle, ledit dispositif comprenant une machine de calcul reprogrammable ou une machine de calcul dédiée, apte à et configurée pour : Déterminer (DET ILG) une information représentative d'un niveau de luminosité globale de l'image, perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image; Calculer (CALC y) un exposant d'expansion en fonction de l'information de niveau global de luminosité déterminée ; Transformer (TRANSF) les premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées, caractérisé en ce que l'exposant d'expansion (y) calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.
8. 8. Equipement terminal (10) apte à et configuré pour obtenir une séquence d'images numériques et pour transmettre une séquence d'images numériques à un dispositif d'affichage (20) apte et configuré pour la restituer, caractérisé en ce qu'il comprend un dispositif (100) de traitement d'au moins une image numérique selon la revendication 7.
9. 9. Produit programme d'ordinateur (Pgi), comprenant des instructions de code de programme pour la mise en oeuvre d'un procédé selon l'une quelconque des revendications 1 à 6, lorsque ledit programme est exécuté sur un ordinateur.
10. 10. Médium de stockage lisible par ordinateur et non transitoire, stockant un produit programme d'ordinateur (Pgi) selon la revendication 9.