FR2996034A1 - Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede. - Google Patents

Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede. Download PDF

Info

Publication number
FR2996034A1
FR2996034A1 FR1258915A FR1258915A FR2996034A1 FR 2996034 A1 FR2996034 A1 FR 2996034A1 FR 1258915 A FR1258915 A FR 1258915A FR 1258915 A FR1258915 A FR 1258915A FR 2996034 A1 FR2996034 A1 FR 2996034A1
Authority
FR
France
Prior art keywords
images
acquisition
dynamic range
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1258915A
Other languages
English (en)
Other versions
FR2996034B1 (fr
Inventor
Jacques Joffre
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to FR1258915A priority Critical patent/FR2996034B1/fr
Publication of FR2996034A1 publication Critical patent/FR2996034A1/fr
Application granted granted Critical
Publication of FR2996034B1 publication Critical patent/FR2996034B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

La présente invention concerne un procédé pour générer une image à gamme dynamique étendue apte à représenter une scène présentant un contraste de luminosité élevé, caractérisé en ce qu'il comprend des étapes (i) d'obtention d'une pluralité d'images d'acquisition de la scène exposées de telle sorte qu'aucune zone d'intérêt de la scène ne soit surexposée, (ii) de génération d'au moins une image composite avec un rapport signal sur bruit amélioré par superposition d'au moins une partie des images d'acquisition, et (iii) de génération d'une image à gamme dynamique étendue de la scène en utilisant ladite ou lesdites image(s) composite(s). L'invention concerne aussi un dispositif d'imagerie implémentant le procédé.

Description

-1- « Procédé pour créer des images à gamme dynamique étendue en imagerie fixe et vidéo, et dispositif d'imagerie implémentant le procédé » Domaine technique La présente invention concerne un procédé pour réaliser des images à gamme dynamique étendue (HDR) applicable en imagerie fixe et vidéo. Elle concerne également un dispositif d'imagerie apte à réaliser des images et/ou des vidéos à gamme dynamique étendue (HDR).
Le domaine de l'invention est plus particulièrement mais de manière non limitative celui de l'imagerie à gamme dynamique étendue, ou imagerie HDR. Etat de la technique antérieure Le problème de la représentation correcte d'une scène photographique présentant de grands écarts de luminosité, telle que par exemple une vue 15 prise dans un appartement sombre ouvrant sur un beau paysage ensoleillé, a été posé depuis les débuts de la photographie. Ce problème est actuellement résolu par des techniques de traitement d'image connues sous de nom d'imagerie HDR (« High Dynamic Range Imaging » en Anglais), ou imagerie à grande gamme dynamique en français. 20 Il existe ainsi de nombreux logiciels disponibles commercialement, ainsi que des dispositifs de prise de vue, qui proposent des fonctions pour faire de l'imagerie HDR. Cependant, si la technologie HDR est très efficace pour les sujets statiques, un problème se pose lorsque la scène photographiée possède des 25 éléments mobiles, ce qui est souvent le cas pour les photos courantes. En effet, dans les méthodes connues, la capture d'une scène pour en réaliser une image à grande gamme dynamique (HDR) nécessite l'acquisition de plusieurs images avec des niveaux d'exposition différents, afin d'enregistrer correctement les détails contenus dans les zones sombres 30 (ombres) et dans les zones fortement éclairées (hautes lumières) de la scène. Ces images peuvent par exemple être acquises avec des temps d'exposition différents et/ou des ouvertures différentes. Typiquement, on acquiert trois images : une image à une exposition nominale (par exemple avec un temps d'exposition de 1/125 s), une deuxième image sous-exposée 35 (par exemple avec un temps d'exposition de 1/500 s, ce qui correspond à un -2- niveau d'exposition plus faible) pour acquérir correctement les zones claires, et une troisième image surexposée (par exemple avec temps d'exposition de 1/30 s, ce qui correspond à un niveau d'exposition plus élevé) pour acquérir correctement les zones sombres de la scène.
Le déplacement de certains éléments de la scène entre les acquisitions d'images peut engendrer sur l'image HDR obtenue à partir de ces images acquises des zones « fantômes » inesthétiques. Des techniques pour supprimer ces zones « fantômes » existent mais elles ont tendance à dégrader la qualité des zones traitées. De plus l'utilisation d'une image acquise avec un temps d'exposition relativement élevé (1/30 s dans l'exemple précédent) ne peut que dégrader la netteté des zones sombres en mouvement. La nécessité, avec les méthodes d'imagerie HDR connues, d'acquérir ou de disposer de plusieurs images avec des niveaux d'exposition différents, constitue également une limitation gênante car un traitement à posteriori des images n'est possible que si une séquence d'images acquises dans des conditions spécifiques est disponible. En outre, l'extension de ces techniques d'imagerie HDR aux prises de vues animées ou aux séquences vidéos nécessite la mise en oeuvre de 20 capteurs spécifiques, capables d'acquérir en continu des images avec différents niveaux d'exposition. La présente invention a pour objet de proposer un procédé pour réaliser des images à gamme dynamique étendue (HDR) qui résolve les inconvénients de l'art antérieur. 25 La présente invention a également pour objet de proposer un procédé d'imagerie HDR : - qui soit moins sensible aux effets de déplacement entre les images, ou qui permette une meilleure correction des zones « fantômes » ; - qui ne nécessite pas nécessairement l'acquisition de séquences 30 d'images spécifiques ; - qui soit plus aisément applicable aux séquences vidéo ou à la prise de vue en vidéo. Exposé de l'invention -3- Ces objectifs sont atteints avec un procédé pour générer une image à gamme dynamique étendue apte à représenter une scène présentant un contraste de luminosité élevé, caractérisé en ce qu'il comprend des étapes : - d'obtention d'une pluralité d'images d'acquisition de la scène exposées 5 de telle sorte qu'aucune zone d'intérêt de la scène ne soit surexposée, - de génération d'au moins une image composite avec un rapport signal sur bruit amélioré par superposition d'au moins une partie des images d'acquisition, et - de génération d'une image à gamme dynamique étendue de la scène 10 en utilisant ladite ou lesdites image(s) composite(s). Le procédé selon l'invention peut en outre comprendre une étape de recalage des images d'acquisition de sorte à les mettre en correspondance spatiale, avant de générer la ou les images composites. Bien entendu, une partie au moins des images d'acquisition peuvent déjà 15 être en correspondance spatiale, auquel cas cette étape permet de s'assurer que les images d'acquisition sont bien en correspondance spatiale. Le procédé selon l'invention peut comprendre : - l'obtention d'images d'acquisition exposées de manière sensiblement identique, c'est-à-dire par exemple en utilisant sensiblement les mêmes 20 paramètres d'exposition, ou des paramètres d'exposition correspondant à un niveau d'exposition sensiblement identique ; - l'obtention d'images d'acquisition exposées selon un niveau d'exposition le plus élevé possible, c'est-à-dire par exemple en utilisant un temps d'exposition le plus long possible tout en veillant à ne saturer aucune 25 zone d'intérêt de la scène. La génération d'une image composite peut comprendre une étape de sommation des niveaux de pixels en correspondance spatiale dans les images d'acquisition utilisées. Suivant des modes de mise en oeuvre, le procédé selon l'invention peut 30 comprendre en outre une étape de génération d'une pluralité d'images composites équivalant à des images de niveaux d'exposition différents, lesquelles images composites étant obtenues respectivement par superposition d'un nombre différent d'images d'acquisition. Il peut comprendre en outre des étapes : -4- - de sélection, dans des images composites équivalant à des images de niveau d'exposition différent, de zones de luminosité correspondant à des zones de la scène avec des niveaux de luminosité différents, et - de génération d'une image à gamme dynamique étendue à partir d'une 5 combinaison desdites zones de luminosité. Suivant des modes de mise en oeuvre, le procédé selon l'invention peut comprendre en outre une étape de transcodage des niveaux d'intensité des pixels d'au moins une image composite sur une gamme dynamique plus restreinte correspondant à celle d'une image à gamme dynamique étendue 10 (14), lequel transcodage étant effectué de telle sorte à conserver les informations utiles dans les zones de hautes et de basses luminosités de la scène. Le procédé selon l'invention peut comprendre en outre des étapes : - d'identification de points de contrôle représentatifs d'éléments 15 invariants de la scène dans les images d'acquisition, - d'alignement desdites images d'acquisition par application de transformations rigides aux positions des pixels de sortes à y faire coïncider ces points de contrôle, Il peut également comprendre des étapes : 20 - d'identification dans les images d'acquisition, ou dans les images d'acquisition préalablement alignées, de pixels correspondant à des zones de déplacement locaux entre lesdites images d'acquisition, et - de correction de la position de ces pixels de sorte à les ramener dans leur position dans une image d'acquisition de référence. 25 Suivant un autre aspect, il est proposé un procédé pour générer une séquence vidéo à gamme dynamique étendue, comprenant des étapes : - de génération d'images à gamme dynamique étendue en mettant en oeuvre le procédé pour créer une image à gamme dynamique étendue selon l'invention avec des d'images d'acquisition obtenues à partir d'une séquence 30 vidéo d'acquisition, et - de combinaison desdites images à gamme dynamique étendue de sorte à générer une séquence vidéo à gamme dynamique étendue. Suivant des modes de mise en oeuvre, une même image d'acquisition de la séquence vidéo d'acquisition peut être utilisée pour la génération de 35 plusieurs images à gamme dynamique étendue consécutives. -5- Suivant des modes de mise en oeuvre, le procédé selon l'invention peut comprendre en outre : - une étape d'acquisition au moyen d'un capteur d'imagerie d'une pluralité d'images d'acquisition, ou d'une séquence vidéo d'acquisition (30) ; - une étape d'obtention d'une pluralité d'images d'acquisition à partir d'une séquence vidéo d'acquisition issue d'un enregistrement vidéo ou d'un film argentique. Suivant un autre aspect, il est proposé un dispositif d'imagerie, notamment de type appareil photo numérique ou caméra numérique, comprenant un capteur d'imagerie et des moyens de calcul implémentant un procédé selon l'invention, de sorte à être apte à produire des images à gamme dynamique étendue et/ou des séquences vidéos à gamme dynamique étendue. Suivant encore un autre aspect, il est proposé un dispositif programme 15 d'ordinateur comprenant des instructions pour exécuter les étapes du procédé selon l'invention, apte à être exécuté sur un ordinateur. Ainsi, suivant un aspect particulièrement avantageux, le procédé selon l'invention met en oeuvre des images d'acquisition exposées de manière sensiblement identique. 20 Il s'agit d'une différence importante avec les procédés d'imagerie HDR de l'art antérieur qui reposent tous sur l'utilisation d'images d'acquisition avec des niveaux d'exposition différents. Cette différence amène un certain nombre d'avantages : - l'acquisition des images est simplifiée, une acquisition à haute cadence 25 suffit, et il n'est plus nécessaire de faire varier l'exposition entre les images (bracketing) ; - la contrainte au niveau du dispositif d'imagerie est relâchée, et le procédé selon l'invention est directement compatible avec l'essentiel des capteurs d'imagerie. En particulier, il n'est plus nécessaire de programmer des 30 séquences d'acquisition d'images particulières ; - le procédé selon l'invention peut aisément être mis en oeuvre pour traiter des images animées (vidéo), dans la mesure où il ne nécessite pas ou peu de modification du processus d'acquisition des images ; -6- - le procédé selon l'invention peut également être utilisé en post-traitement, y compris sur des séquences d'images fixes ou animées qui n'avaient pas été acquises dans le but de faire de l'imagerie HDR; - Il peut également être mis en oeuvre avec des séquences d'images 5 argentiques, des films animés argentiques, ou des vidéos stockées sous des formats numériques ou analogiques (VHS, ...). En outre, le recalage des images et l'élimination des effets « fantômes » dus aux mouvements, qui sont des problèmes notoires de l'imagerie HDR, sont considérablement facilités avec le procédé selon l'invention car les 10 images à traiter sont exposées de manière sensiblement identique, et sont donc très similaires. Description des figures et modes de réalisation D'autres avantages et particularités de l'invention apparaîtront à la lecture de la description détaillée de mises en oeuvre et de modes de 15 réalisation nullement limitatifs, et des dessins annexés suivants : - la figure 1 illustre le déroulement global du procédé selon l'invention, - la figure 2 illustre les différentes images mises en oeuvre dans le procédé selon l'invention, - la figure 3 illustre un exemple de fonction de transcodage permettant 20 de transposer les niveaux d'intensités d'une image composite (axe COMP) dans la gamme dynamique d'une image HDR (axe HDR), - La figure 4 illustre un premier mode de réalisation d'une séquence vidéo HDR, - La figure 5 illustre un deuxième mode de réalisation d'une séquence 25 vidéo HDR. Nous allons décrire dans un premier temps des modes de mise en oeuvre du procédé selon l'invention pour créer des images à gamme dynamique étendue 14, ou images HDR 14. En référence aux figures 1 et 2, le procédé selon l'invention a pour objet 30 de créer une image à gamme dynamique étendue 14, ou image HDR 14, qui est apte à représenter une scène présentant un contraste de luminosité élevé. Dans le mode de mise en oeuvre présenté, une image HDR 14 est une image qui peut être stockée dans un fichier numérique sous un format de codage d'image classique tel que par exemple RAW, JPEG ou PNG. C'est -7- également une image apte à être représentée sur un dispositif d'affichage classique tel qu'un écran. Une image HDR 14 est donc codée sur un nombre Mh de niveaux d'intensité par couleur correspondant par exemple à 8 bits ou 16 bits par 5 couleur. L'image HDR 14 est générée à partir d'une pluralité d'images d'acquisition 10. Ces images d'acquisition 10 peuvent être des images préalablement stockées sous forme de fichiers numériques, ou issues d'un capteur d'imagerie. 10 Les images d'acquisition 10 sont de préférence des images qui peuvent être stockées dans des fichiers numériques sous un format de codage d'image classique tel que par exemple RAW, JPEG ou PNG. Elles sont également aptes à être représentées sur un dispositif d'affichage classique tel qu'un écran. Il s'agit donc d'images codées sur un nombre Ma de niveaux d'intensité 15 par couleur correspondant également par exemple à 8 bits ou 16 bits par couleur. Les images d'acquisition 10 et les images HDR 14 sont donc des images codées sur un nombre comparable de niveaux d'intensité par couleur, Ma et Mh respectivement. Pour simplifier la description sans perte de généralité, on 20 peut supposer dans la description des modes de mise en oeuvre de l'invention ci-dessous que les images d'acquisition 10 et les images HDR 14 sont codées sur le même nombre de niveaux d'intensité M. L'amplitude des luminosités présentes dans une scène réelle excède fréquemment la dynamique des capteurs d'imagerie, ainsi d'ailleurs que la 25 dynamique permise par le codage des formats de stockage d'images numériques. Dans ce cas il est impossible d'obtenir directement une image qui présente des détails à la fois dans les hautes lumières et dans les basses lumières. Un objet de l'imagerie HDR est précisément de permettre la 30 représentation sur une image HDR 14 codée sur le nombre M de niveaux par couleur de toute l'amplitude utile des luminosités de la scène. Le procédé selon l'invention comprend une première étape 1 d'obtention d'une pluralité d'images d'acquisition 10 d'une scène, soit par exemple N images d'acquisition 10 codées sur M niveaux. -8- Selon un aspect particulièrement avantageux du procédé selon l'invention, ces N images d'acquisition 10 doivent être de préférence exposées de manière sensiblement identique. Cette exposition doit être ajustée de telle sorte que les zones utiles dans les hautes lumières de la scène ne soient pas saturées dans les images d'acquisition 10. Bien entendu, si l'amplitude de luminosité de la scène excède la dynamique du système d'imagerie, les zones de basses lumières sont sous-exposées dans les images d'acquisition 10. Il est donc préférable que les images d'acquisition 10 soient exposées selon un niveau d'exposition le plus élevé possible.
On rappelle que le niveau d'exposition d'une image est fonction de la quantité de lumière ou de l'énergie lumineuse reçue sur le capteur d'imagerie, pour une intensité lumineuse incidente sur le système optique d'imagerie donnée. Ce niveau d'exposition dépend donc en particulier de l'ouverture du dispositif d'imagerie et du temps d'exposition du capteur.
Suivant une pratique courante en photographie, le niveau d'exposition peut s'exprimer en indices de lumination IL, traduit en anglais par « Exposure Value » Ev. Une variation de +/-1 Ev (ou +/-1 IL) du niveau d'exposition correspond respectivement à une réduction de moitié ou un doublement de la quantité de lumière incidente sur le capteur (pour une intensité lumineuse incidente sur le système optique d'imagerie donnée). Il est préférable que les images d'acquisition 10 soient aussi semblables que possible. Les N images d'acquisition 10 peuvent par exemple être acquises en mode rafale ou en mode d'acquisition continue avec un appareil photo numérique, dans un intervalle de temps très court. On trouve de tels appareils dans le commerce qui permettent d'acquérir jusqu'à 60 images par seconde ou plus, et/ou de réaliser des vidéos à 24 ou 60 images/s. Suivant un aspect avantageux de l'invention, les images d'acquisition 10 doivent être exposées pour les hautes lumières. Cela permet d'acquérir ces images avec des temps d'exposition courts (1/1000 s par exemple), et ainsi 30 de minimiser les effets de flou dus aux mouvements. Le procédé selon l'invention comprend ensuite une étape d'alignement 2 ou de recalage des images d'acquisition 10, de sorte à les mettre en correspondance spatiale. Cela permet d'obtenir des images d'acquisition 10 alignées entre elles de 35 telle sorte que les pixels de chaque image, à une position donnée dans -9- l'image, correspondent autant que possible à un même endroit ou un même lieu de la scène. Dans un premier temps, on corriger les déplacements rigides, c'est-à-dire par exemple ceux dus aux mouvements du dispositif d'imagerie par 5 rapport à la scène. On détermine des points de contrôle sur chaque image d'acquisition 10, correspondant à des éléments caractéristiques de la scène qui sont aisément et précisément identifiables. Il est à noter d'ailleurs que ces points de contrôle peuvent être déterminés avec d'autant plus de précision dans le procédé selon 10 l'invention que les images d'acquisition 10 sont obtenues avec des expositions identiques et donc sont très similaires. On aligne ensuite les images d'acquisition 10 par rapport à ces points de contrôle, en appliquant des transformations rigides (translations, rotations, homothéties, ...). 15 Ensuite, on corrige les déplacements locaux d'objets ou de personnes dans la scène. On déplace dans chaque image d'acquisition 10 les pixels correspondants aux parties en mouvement de la scène vers leur position dans une image de référence, c'est-à-dire une image d'acquisition 10 choisie comme telle. Pour cela, on applique des transformations élastiques locales 20 aux pixels. De nouveau, ces déplacements peuvent être corrigés avec d'autant plus de précision dans le procédé selon l'invention que les images d'acquisition 10 sont obtenues avec des expositions identiques et donc sont très similaires. En outre, si les images sont acquises à une cadence élevée, les déplacements 25 entre images d'acquisition 10 sont d'autant plus faibles et faciles à corriger. Le procédé selon l'invention comprend ensuite une étape de combinaison 3 des images d'acquisition 10 pour générer au moins une image composite 11. On combine par exemple N images d'acquisition 10 d'indice i = [1...N] 30 pour générer une image composite 11. Cette combinaison est effectuée pixel par pixel. La valeur Vc(X,Y) d'un pixel de coordonnées (X,Y) de l'image composite 11 est calculée à partir d'une sommation des valeurs Vi(X,Y), avec i = [1...N], des pixels de coordonnées (X,Y) correspondantes des N images d'acquisition 10 : 35 Vc(X,Y) = V1(X,Y) + V2(X,Y) +... + VN(X,Y). -10- Au besoin, on applique un filtrage sur la base d'un critère statistique pour exclure ou remplacer dans cette sommation des pixels dont la valeur Vi(X,Y) est manifestement aberrante. Par exemple, on peut rejeter ou remplacer par la valeur médiane de l'ensemble des pixels V1(X,Y) VN(X,Y) un pixel dont la valeur Vi(X,Y) est plus éloignée qu'un nombre prédéfini d'écarts-types de cette valeur médiane. L'image composite 11 comprend un plus grand nombre de niveaux d'intensité que des images d'acquisition 10, de l'ordre de N x M niveaux si les N images d'acquisition 10 utilisées sont codées sur M niveaux.
En pratique, avec des images d'acquisition 10 codées sur 8 ou 16 bits par couleur, il suffit de coder les images composites 11 sur 32 bits. Avantageusement, la combinaison des images d'acquisition 10 par sommation des niveaux des pixels permet une amélioration significative du rapport signal sur bruit de l'image composite 11, en particulier dans les zones 15 de basses lumières. Le bruit dans les images d'acquisition 10, qui est dû notamment au processus d'acquisition et à la numérisation, a un niveau qui est en général de l'ordre de quelques bits de poids faible (LSB). Ce bruit se traduit par des variations aléatoires du niveau d'intensité des pixels. Or, dans les zones 20 faiblement exposées de ces images, les niveaux d'intensité utiles (correspondant aux détails de la scène) sont proches du niveau de bruit, et le rapport signal sur bruit est très faible. Il s'ensuit que même si on amplifie ces niveaux d'intensité, les images obtenues dans ces zones faiblement exposées sont très dégradées et très bruitées. 25 La sommation au niveau des pixels des images d'acquisition 10 entraîne une sommation du bruit de ces images. Ce bruit peut être décrit par des variables aléatoires relativement indépendantes (le bruit de chaque image), mais de même distribution statistique. Il s'ensuit que le rapport signal sur bruit SNRc(X,Y) en chaque pixel de l'image composite 11 obtenue par 30 combinaison de N images d'acquisition 10 est égal à : SNRc(X,Y) = N / -V(N) x SNR(X,Y), où SNR(X,Y) est le rapport signal sur bruit au pixel des images d'acquisition 10. -11- En d'autres termes, en normalisant les niveaux d'intensité sur M niveaux, on constate une diminution nette du niveau de bruit d'un facteur un sur racine carrée de N (1/-V(N)). L'amélioration du rapport signal sur bruit permet d'améliorer la représentation de la scène dans les zones faiblement exposées de l'image composite 11, comparée aux images d'acquisition 10. Il permet également d'abaisser la limite d'exposition à partir de laquelle un objet est détectable dans l'image composite 11, laquelle limite étant de l'ordre de SNRc = 1. En d'autres termes, un objet peut être détectable dans l'image 10 composite 11 mais pas dans les images d'acquisition 10 car il y est noyé dans le bruit. Il est à noter que ce processus de sommation numérique de N images d'acquisition 10 produit pour les basses lumières de la scène un résultat comparable avec celui que produirait une augmentation d'un facteur N du 15 niveau d'exposition sur le capteur d'imagerie lors de l'acquisition des images d'acquisition 10, avec toutefois des avantages notables : - la sensibilité aux mouvements est moindre puisque les acquisitions peuvent se faire avec des temps d'exposition courts et que les images d'acquisition 10 sont recalées avant d'être combinées, 20 - il n'y a pas d'effets de saturation dans les hautes lumières puisqu'il n'y a pas de problèmes de dynamique de codage des images composites 11. En pratique, en utilisant un nombre N = 10 d'images d'acquisition 10, on obtient une image composite 11 avec un niveau de bruit (normalisé sur M niveaux) réduit d'un facteur 1/-V(N) - 3. 25 Le procédé selon l'invention comprend ensuite une étape 4 de génération de l'image à gamme dynamique étendue (HDR). Comme expliqué précédemment, une image composite 11 comprend toute l'information utile dans les zones de faible, moyenne et forte exposition. Toutefois, cette image est codée sur une dynamique trop importante (32 bits 30 par exemple) pour pouvoir être affichée directement sur un dispositif d'affichage (écran ou imprimante) avec à la fois les zones de basses lumières et les zones de hautes lumières distinctement reproduites. On génère donc une image à gamme dynamique étendue, ou image HDR 14, qui peut être stockée dans un fichier numérique sous un format de codage -12- d'image classique, par exemple à 8 ou 16 bits par couleur, tout en permettant une représentation correcte des zones de basses et de hautes lumières. En référence à la figure 3, l'image HDR 14 est générée en appliquant une fonction de transcodage 20 (« tone mapping ») à l'image composite 11. Cette fonction 20 fait correspondre aux niveaux d'intensité codés sur une gamme dynamique d'au moins N x M niveaux de l'image composite 11 des niveaux d'intensité codés sur la gamme dynamique de l'image HDR, soit sur M niveaux. La figure 3 montre un exemple, non limitatif, d'une telle fonction de transcodage 20. La fonction présentée est non-linéaire par morceaux, de telle sorte à attribuer dans l'image HDR une dynamique relative différente aux zones de basses lumières 23, de moyennes lumières 22 et de hautes lumières 21 de l'image composite 11, et à privilégier la représentation des zones de luminosités extrêmes.
Suivant une variante de mise en oeuvre du procédé selon l'invention, on génère une pluralité d'images composites 11 équivalant (ou correspondant) à des images de niveaux d'exposition différents. On recrée ainsi des images telles qu'elles auraient été obtenues en faisant varier l'exposition entre les acquisitions, selon un mode de prise de 20 vue en fourchette ou « bracketing ». Par exemple : - pour reproduire l'équivalent d'une prise de vue avec des niveaux d'exposition de +1, 0, -1 Ev, il faut générer trois images composites 11 avec au minimum respectivement 1, 2, et 4 images d'acquisition 10. 25 - pour reproduire l'équivalent d'une prise de vue avec des niveaux d'exposition de +2, 0, -2 Ev, il faut générer trois images composites 11 avec au minimum respectivement 1, 4, et 16 images d'acquisition 10. Les images composites 11 sont ensuite normalisées sur une dynamique de M niveaux correspondant à la dynamique des l'images HDR 14 (et des 30 images d'acquisitions 10). Cette normalisation s'effectue de telle sorte à reproduite le processus de saturation du capteur : - les pixels des images composites 11 dont le niveau d'intensité est inférieur au niveau d'intensité maximal M gardent leur valeur, -13- - les pixels des images composites 11 dont le niveau d'intensité est supérieur au niveau d'intensité maximal M prennent le niveau d'intensité maximal M. Si l'image composite 11 de plus faible dynamique est générée à partir de 5 plus qu'une image d'acquisition, les niveaux d'intensité sont en outre normalisés en conséquence. L'image HDR 14 est ensuite générée en mettant en oeuvre une technique de fusion d'exposition (« exposure blending ») : - les zones de luminosité correspondant à des zones de basses lumières 10 de la scène sont extraites de l'image composite 11 avec le niveau d'exposition le plus élevé, - les zones de luminosité correspondant à des zones de moyennes lumières de la scène sont extraites de l'image composite 11 avec le niveau d'exposition moyen, 15 - les zones de luminosité correspondant à des zones de hautes lumières de la scène sont extraites de l'image composite 11 avec le niveau d'exposition le plus faible, c'est-à-dire celle qui est générée avec une image d'acquisition 10 (au minimum). Les extractions des zones de luminosité se font sur la base des niveaux 20 d'intensité des pixels qui les composent. Les zones de luminosité correspondant à des zones de basses, moyennes et hautes lumières de la scène sont ensuite combinées pour générer l'image HDR 14. Cette variante a l'avantage de permettre la mise en oeuvre d'algorithmes 25 de fusion d'exposition éprouvés, mais qui nécessitent l'utilisation d'images avec des niveaux d'exposition échelonnés. On conserve toutefois tous les avantages du procédé selon l'invention liés à l'utilisation d'images d'acquisition identiques 10. Suivant des variantes de modes de mise en oeuvre, les images 30 d'acquisition 10 peuvent être recalées spatialement avec toutes sortes de méthodes, dont notamment : - des méthodes manuelles, en déplaçant les images et/ou les pixels dans un logiciel de traitement d'images ; -14- - des méthodes semi-automatiques, avec une sélection manuelle de points de contrôle et/ou de zones de déformation et une application d'algorithmes pour effectuer le recalage ; - des méthodes entièrement automatiques, par exemples basées sur des 5 techniques de segmentation ou de corrélation d'images. Suivant des variantes de modes de mise en oeuvre, toutes sortes de fonctions de transcodage 20 peuvent être mises en oeuvre, dont notamment : - des fonctions qui ne sont pas bijectives, - des fonctions qui font correspondre à différents niveaux d'intensité de 10 l'image composite 11 un même niveau d'intensité de l'image HDR 14, - des fonctions qui prennent en compte les niveaux d'intensité de pixels avoisinants. Nous allons maintenant décrire des modes de mise en oeuvre du procédé selon l'invention pour générer des séquences vidéo à gamme dynamique 15 étendue 14, ou vidéos HDR 14. Les termes « séquence vidéo », « séquence vidéo HDR » ou « vidéo HDR » désignent toute séquence d'images destinées à être affichées séquentiellement de sorte à représenter une scène animée. Ces séquences peuvent être stockées sous forme d'une succession d'images individuelles, ou 20 sous une forme propre à l'imagerie vidéo. La mise en oeuvre du procédé selon l'invention pour générer des séquences vidéo HDR 14 est particulièrement aisée, dans la mesure où elle ne nécessite que des images d'acquisition 10 exposées de manière sensiblement identique. En effet, un capteur d'imagerie classique ou même un 25 enregistrement vidéo ou un film argentique existant permettent d'obtenir directement des séquences d'images d'acquisition 10 exploitables. La figure 5 présente un premier mode de mise en oeuvre du procédé selon l'invention pour réaliser une séquence vidéo HDR. Une séquence vidéo d'acquisition 30, comprenant une pluralité d'images 30 d'acquisition 10, est acquise à cadence élevée, par exemple au moyen d'un capteur d'imagerie. Les images d'acquisition 10 sont utilisées par séquences successives de N images (avec par exemple N = 10 images) pour générer les images HDR 14 en mettant en oeuvre le procédé selon l'invention. Ces images HDR 14 sont 35 ensuite combinées sous la forme d'une séquence vidéo HDR 31. Chaque -15- image d'acquisition 10 n'est utilisée qu'une fois. Il s'ensuit que la cadence d'image de la séquence vidéo HDR 31 est N fois plus lente que la cadence d'image de la séquence vidéo d'acquisition 30. La séquence vidéo d'acquisition 30 doit donc être acquise avec une cadence d'images N fois supérieure à la cadence d'images désirée pour la séquence vidéo HDR 31. La figure 6 présente un second mode de mise en oeuvre du procédé selon l'invention pour réaliser une séquence vidéo HDR. Dans ce mode, les images HDR 14 de la séquence vidéo HDR 31 sont générées en utilisant un historique glissant de N images d'acquisition 10 de la séquence vidéo d'acquisition 30. Une image d'acquisition 10 est donc utilisée pour générer N images HDR 14 successives. Il s'ensuit que la cadence d'image de la séquence vidéo HDR 31 est identique à la cadence d'image de la séquence vidéo d'acquisition 30. Ce mode de réalisation est particulièrement bien adapté au traitement à 15 posteriori de séquences vidéos 30 qui n'ont pas été acquises dans le but de réaliser des vidéos HDR 31. On évite ainsi notamment les problèmes de fluidité des images et de synchronisation du son. Le procédé selon l'invention peut ainsi être utilisé pour améliorer des séquences vidéo existantes, y compris par exemple des vidéos codées de 20 manière analogiques ou des films argentiques. Tout autre mode d'utilisation des images d'acquisition 10 d'une séquence vidéo 30 est également possibles : - il est en particulier possible d'utiliser chaque image d'acquisition 10 de la séquence vidéo d'acquisition 30 pour générer un nombre successif d'images 25 HDR 14 compris entre 1 et N, lorsque les images HDR 14 sont générées à partir de N images d'acquisition 10 ; - il est également possible de sauter ou de ne pas utiliser des images d'acquisition 10 de la séquence vidéo d'acquisition 30 lors de la génération de la séquence vidéo HDR 31.
30 Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention.

Claims (16)

  1. REVENDICATIONS1. Procédé pour générer une image à gamme dynamique étendue (14) 5 apte à représenter une scène présentant un contraste de luminosité élevé, caractérisé en ce qu'il comprend des étapes : - d'obtention d'une pluralité d'images d'acquisition (10) de la scène exposées de telle sorte qu'aucune zone d'intérêt de la scène ne soit surexposée, 10 - de génération d'au moins une image composite (11) avec un rapport signal sur bruit amélioré par superposition d'au moins une partie des images d'acquisition (10), et - de génération d'une image à gamme dynamique étendue (14) de la scène en utilisant ladite ou lesdites image(s) composite(s) (11). 15
  2. 2. Le procédé de la revendication 1, qui comprend en outre une étape de recalage des images d'acquisition (10) de sorte à les mettre en correspondance spatiale. 20
  3. 3. Le procédé de l'une des revendications 1 ou 2, qui comprend l'obtention d'images d'acquisition (10) exposées de manière sensiblement identique.
  4. 4. Le procédé de l'une des revendications précédentes, qui comprend 25 l'obtention d'images d'acquisition (10) exposées selon un niveau d'exposition le plus élevé possible.
  5. 5. Le procédé de l'une des revendications précédentes, dans lequel la génération d'une image composite (11) comprend une étape de sommation 30 des niveaux de pixels en correspondance spatiale dans les images d'acquisition (10) utilisées.
  6. 6. Le procédé de l'une des revendications 1 à 5, qui comprend en outre une étape de génération d'une pluralité d'images composites (11) équivalant 35 à des images de niveaux d'exposition différents, lesquelles images composites-17- (11) étant obtenues respectivement par superposition d'un nombre différent d'images d'acquisition (10).
  7. 7. Le procédé de la revendication 6, qui comprend en outre des étapes : - de sélection, dans des images composites (11) équivalant à des images de niveau d'exposition différent, de zones de luminosité correspondant à des zones de la scène avec des niveaux de luminosité différents, et - de génération d'une image à gamme dynamique étendue (14) à partir d'une combinaison desdites zones de luminosité. 10
  8. 8. Le procédé de l'une des revendications 1 à 5, qui comprend une étape de transcodage (20) des niveaux d'intensité des pixels d'au moins une image composite (11) sur une gamme dynamique plus restreinte correspondant à celle d'une image à gamme dynamique étendue (14), lequel transcodage 15 étant effectué de telle sorte à conserver les informations utiles dans les zones de hautes et de basses luminosités de la scène.
  9. 9. Le procédé de l'une des revendications précédentes, qui comprend en outre des étapes : 20 - d'identification de points de contrôle représentatifs d'éléments invariants de la scène dans les images d'acquisition (10), - d'alignement desdites images d'acquisition (10) par application de transformations rigides aux positions des pixels de sortes à y faire coïncider ces points de contrôle. 25
  10. 10. Le procédé de l'une des revendications précédentes, qui comprend en outre des étapes : - d'identification dans les images d'acquisition (10) de pixels correspondant à des zones de déplacement locaux entre lesdites images 30 d'acquisition, et - de correction de la position de ces pixels de sorte à les ramener dans leur position dans une image d'acquisition (10) de référence.
  11. 11. Procédé pour générer une séquence vidéo à gamme dynamique 35 étendue (31), caractérisé en ce qu'il comprend des étapes :-18- - de génération d'images à gamme dynamique étendue (14) en mettant en oeuvre le procédé selon l'une quelconque des revendications 1 à 10 avec des d'images d'acquisition (10) obtenues à partir d'une séquence vidéo d'acquisition (30), et - de combinaison desdites images à gamme dynamique étendue (14) de sorte à générer une séquence vidéo à gamme dynamique étendue (31).
  12. 12. Le procédé de la revendication 11, dans lequel une même image d'acquisition (10) de la séquence vidéo d'acquisition (30) est utilisée pour la 10 génération de plusieurs images à gamme dynamique étendue (14) consécutives.
  13. 13. Le procédé de l'une des revendications 1 à 12, qui comprend en outre une étape d'acquisition au moyen d'un capteur d'imagerie d'une 15 pluralité d'images d'acquisition (10), ou d'une séquence vidéo d'acquisition (30).
  14. 14. Le procédé de l'une des revendications 11 ou 12, qui comprend en outre une étape d'obtention d'une pluralité d'images d'acquisition (10) à partir 20 d'une séquence vidéo d'acquisition (30) issue d'un enregistrement vidéo ou d'un film argentique.
  15. 15. Dispositif d'imagerie, notamment de type appareil photo numérique ou caméra numérique, caractérisé en ce qu'il comprend un capteur d'imagerie 25 et des moyens de calcul implémentant le procédé selon l'une quelconque des revendications 1 à 13, de sorte à être apte à produire des images à gamme dynamique étendue (14) et/ou des séquences vidéos à gamme dynamique étendue (31). 30
  16. 16. Dispositif programme d'ordinateur comprenant des instructions pour exécuter les étapes du procédé selon l'une quelconque des revendications 1 à 14, apte à être exécuté sur un ordinateur.
FR1258915A 2012-09-24 2012-09-24 Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede. Expired - Fee Related FR2996034B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1258915A FR2996034B1 (fr) 2012-09-24 2012-09-24 Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1258915A FR2996034B1 (fr) 2012-09-24 2012-09-24 Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.

Publications (2)

Publication Number Publication Date
FR2996034A1 true FR2996034A1 (fr) 2014-03-28
FR2996034B1 FR2996034B1 (fr) 2015-11-20

Family

ID=47557198

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1258915A Expired - Fee Related FR2996034B1 (fr) 2012-09-24 2012-09-24 Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.

Country Status (1)

Country Link
FR (1) FR2996034B1 (fr)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615746A (zh) * 2015-09-28 2018-01-19 谷歌有限责任公司 用于智能成像的集成方案
CN107615752A (zh) * 2015-05-29 2018-01-19 佳能株式会社 摄像器件和摄像设备
EP3316213A1 (fr) * 2016-10-31 2018-05-02 HDRlog SARL Systèmes et procédés pour améliorer la qualité de médias visuels
WO2019022728A1 (fr) * 2017-07-26 2019-01-31 Hewlett-Packard Development Company, L.P. Évaluation de plages dynamiques de dispositifs d'imagerie
WO2022023668A1 (fr) * 2020-07-29 2022-02-03 Spaceable Procede et systeme pour imager une scene dans l'espace
WO2022023669A1 (fr) * 2020-07-29 2022-02-03 Spaceable Procede pour traiter des images a contraste eleve, notamment des images prises dans l'espace, et systeme d'affichage mettant en oeuvre ce procede

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218830A1 (en) * 2003-04-29 2004-11-04 Kang Sing Bing System and process for generating high dynamic range video
EP1507234A1 (fr) * 2003-07-18 2005-02-16 Microsoft Corporation Système et procédé pour produire des images d'une gamme dynamique élevée des expositions multiples d'une scène mobile
US20100157078A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated High dynamic range image combining
US20100271512A1 (en) * 2009-04-23 2010-10-28 Haim Garten Multiple exposure high dynamic range image capture
US20120002082A1 (en) * 2010-07-05 2012-01-05 Johnson Garrett M Capturing and Rendering High Dynamic Range Images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218830A1 (en) * 2003-04-29 2004-11-04 Kang Sing Bing System and process for generating high dynamic range video
EP1507234A1 (fr) * 2003-07-18 2005-02-16 Microsoft Corporation Système et procédé pour produire des images d'une gamme dynamique élevée des expositions multiples d'une scène mobile
US20100157078A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated High dynamic range image combining
US20100271512A1 (en) * 2009-04-23 2010-10-28 Haim Garten Multiple exposure high dynamic range image capture
US20120002082A1 (en) * 2010-07-05 2012-01-05 Johnson Garrett M Capturing and Rendering High Dynamic Range Images

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JACOBS K ET AL: "Automatic High-Dynamic Range Image Generation for Dynamic Scenes", IEEE COMPUTER GRAPHICS AND APPLICATIONS, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 27, no. 2, March 2008 (2008-03-01), pages 84 - 93, XP011205233, ISSN: 0272-1716 *
KANG S B ET AL: "High dynamic range video", ACM TRANSACTIONS ON GRAPHICS (TOG), ACM, US, vol. 22, no. 3, 27 July 2003 (2003-07-27), pages 319 - 325, XP002305364, ISSN: 0730-0301, DOI: 10.1145/882262.882270 *
LUKAS CERMAN: "High Dynamic Range Images from Multiple Exposures", DIPLOMA THESIS, 26 January 2001 (2001-01-26), Prague, pages 1 - 52, XP055004913, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.88.4809&rep=rep1&type=pdf> [retrieved on 20110816] *
MERTENS T ET AL: "Exposure Fusion", COMPUTER GRAPHICS AND APPLICATIONS, 2007. PG '07. 15TH PACIFIC CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 29 October 2007 (2007-10-29), pages 382 - 390, XP031338475, ISBN: 978-0-7695-3009-3 *
WARD G: "Fast, robust image registration for compositing high dynamic range photographs from hand-held exposures", JOURNAL OF GRAPHICS TOOLS, ASSOCIATION FOR COMPUTING MACHINERY, NEW YORK, US, vol. 8, no. 2, January 2003 (2003-01-01), pages 17 - 30, XP002305365, ISSN: 1086-7651 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615752A (zh) * 2015-05-29 2018-01-19 佳能株式会社 摄像器件和摄像设备
EP3304888A4 (fr) * 2015-05-29 2018-10-31 C/o Canon Kabushiki Kaisha Dispositif de capture d'image et appareil d'imagerie
US10735679B2 (en) 2015-05-29 2020-08-04 Canon Kabushiki Kaisha Image pickup device and imaging apparatus
CN107615752B (zh) * 2015-05-29 2021-01-12 佳能株式会社 摄像器件和摄像设备
CN107615746A (zh) * 2015-09-28 2018-01-19 谷歌有限责任公司 用于智能成像的集成方案
EP3316213A1 (fr) * 2016-10-31 2018-05-02 HDRlog SARL Systèmes et procédés pour améliorer la qualité de médias visuels
WO2019022728A1 (fr) * 2017-07-26 2019-01-31 Hewlett-Packard Development Company, L.P. Évaluation de plages dynamiques de dispositifs d'imagerie
WO2022023668A1 (fr) * 2020-07-29 2022-02-03 Spaceable Procede et systeme pour imager une scene dans l'espace
WO2022023669A1 (fr) * 2020-07-29 2022-02-03 Spaceable Procede pour traiter des images a contraste eleve, notamment des images prises dans l'espace, et systeme d'affichage mettant en oeuvre ce procede
FR3113165A1 (fr) * 2020-07-29 2022-02-04 Spaceable Procédé et système pour imager une scène dans l’espace

Also Published As

Publication number Publication date
FR2996034B1 (fr) 2015-11-20

Similar Documents

Publication Publication Date Title
US11558558B1 (en) Frame-selective camera
CA2834963C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d&#39;une image numerique en couleurs
EP1410331B1 (fr) Procede et systeme pour modifier une image numerique en prenant en compte son bruit
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
US8890983B2 (en) Tone mapping for low-light video frame enhancement
FR2996034A1 (fr) Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d&#39;imagerie implementant le procede.
US20180109711A1 (en) Method and device for overexposed photography
FR2919943A1 (fr) Procede de traitement d&#39;objet numerique et systeme associe
EP2457379B1 (fr) Procédé d&#39;estimation d&#39;un défaut d&#39;un système de capture d&#39;images et systèmes associés
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
WO2016202926A1 (fr) Procédé et dispositif de production d&#39;une image numérique
JP6965132B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
EP1047264B1 (fr) Procédé et dispositif de traitement et de restitution d&#39;images, à rééchantillonnage
FR2851393A1 (fr) Dispositif de traitement d&#39;image, procede de traitement d&#39;image et programme-produit de traitement d&#39;image
JP5882644B2 (ja) 画像処理装置、その制御方法、及びプログラム
Schedl et al. Coded exposure HDR light‐field video recording
FR2887347A1 (fr) Procede et dispositif de construction d&#39;une carte de profondeur d&#39;une image numerique
Schleicher et al. High dynamic range imaging by varying exposure time, gain and aperture of a video camera
EP4349002A1 (fr) Procede de traitement de données de pixels, dispositif et programme correspondant
Meuel et al. Physical High Dynamic Range Imaging with Conventional Sensors
FR2858087A1 (fr) Procede de simulation numerique d&#39;un rendu de support d&#39;images
FR2887346A1 (fr) Procede et dispositif d&#39;amelioration d&#39;une image numerique

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 9

ST Notification of lapse

Effective date: 20200910

RN Application for restoration

Effective date: 20200930

FC Decision of inpi director general to approve request for restoration

Effective date: 20201016

PLFP Fee payment

Year of fee payment: 11

PLFP Fee payment

Year of fee payment: 12