FR3078808A1 - Procede de traitement d'image inter-trame et intra-trame - Google Patents
Procede de traitement d'image inter-trame et intra-trame Download PDFInfo
- Publication number
- FR3078808A1 FR3078808A1 FR1852021A FR1852021A FR3078808A1 FR 3078808 A1 FR3078808 A1 FR 3078808A1 FR 1852021 A FR1852021 A FR 1852021A FR 1852021 A FR1852021 A FR 1852021A FR 3078808 A1 FR3078808 A1 FR 3078808A1
- Authority
- FR
- France
- Prior art keywords
- image
- image capture
- frame
- image processing
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 120
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
L'invention concerne un procédé de réalisation de traitement d'image intra-trame et inter-trame comprenant : alterner des première et deuxième opérations de capture d'image, la première opération de capture d'image comprenant la capture d'une ou plusieurs premières images (IA) sur la base d'un premier ensemble de paramètres de capture d'image (PA), et la deuxième opération de capture d'image comprenant la capture d'une ou plusieurs deuxièmes images (IB) sur la base d'un deuxième ensemble de paramètres de capture d'image (PB), les valeurs des paramètres du premier ensemble étant modifiées entre chacune des premières opérations de capture d'image et les valeurs des paramètres du deuxième ensemble restant constantes entre chacune des deuxièmes opérations de capture d'image ou variant de moins qu'une quantité significative.
Description
PROCEDE DE TRAITEMENT D'IMAGE INTER-TRAME ET INTRA-TRAME
Domaine de l'invention
La présente description concerne le domaine du traitement d'image, et en particulier un procédé et un dispositif de traitement d'image inter-trame et intra-trame.
Exposé de l'art antérieur
Les algorithmes de traitement d'image intra-trames et inter-trames peuvent être utilisés dans une grande diversité d'applications.
Le traitement d'image intra-trame implique l'extraction d'informations dans une seule trame, et peut par exemple être utilisé pour des applications comme la détection d'objets, l'analyse d'histogrammes d'image et dans des procédés de classification de scènes.
Le traitement d'image inter-trame implique l'extraction d'informations à partir d'une séquence de deux ou plusieurs trames, et peut par exemple être utilisé pour des applications comme la détection de mouvement, le suivi d'objets, et dans des procédés de filtrage temporel.
Dans certains modes de fonctionnement d'un processeur d'image, il peut être souhaitable d'utiliser à la fois un traitement intra-trame et un traitement inter-trame sur des images
B16615 - DD18070ST capturées. Toutefois, on rencontre une difficulté technique pour appliquer à la fois des algorithmes de traitement d'image intratrames et inter-trames tout en conservant une robustesse en présence de conditions de scène changeantes.
On a donc besoin dans la technique d'un procédé et d'un dispositif améliorés pour réaliser à la fois des traitements d'image intra-trames et inter-trames.
Résumé
Un objet de modes de réalisation de la présente description est de résoudre au moins partiellement un ou plusieurs problèmes de l'art antérieur.
Selon un aspect, on prévoit un procédé de réalisation de traitement d'image intra-trame et inter-trame, comprenant : alterner des première et deuxième opérations de capture d'image, la première opération de capture d'image comprenant la capture d'une ou plusieurs premières images en utilisant un capteur d'image sur la base d'un premier ensemble de paramètres de capture d'image, et la deuxième opération de capture d'image comprenant la capture d'une ou plusieurs deuxièmes images en utilisant le capteur d'image sur la base d'un deuxième ensemble de paramètres de capture d'image, les valeurs des paramètres du premier ensemble étant modifiées entre chacune des premières opérations de capture d'image et les valeurs des paramètres du deuxième ensemble restant constantes entre chacune des deuxièmes opérations de capture d'image ou variant de moins qu'une quantité significative.
Selon un mode de réalisation, le procédé comprend en outre : réaliser un traitement d'image intra-trame sur chaque image capturée pendant la première opération de capture d'image ; et réaliser un traitement d'image inter-trame sur chaque image capturée pendant la deuxième opération de capture d'image.
Selon un mode de réalisation, les valeurs des paramètres du deuxième ensemble varient de moins qu'une quantité significative qui provoquerait une fausse détection positive d'un événement pendant le traitement d'image inter-trame même en l'absence de changement dans la scène image.
B16615 - DD18070ST
Selon un mode de réalisation, les traitements d'image intra-trame et inter-trame sont tous les deux réalisés pendant un premier mode de fonctionnement, et une transition vers un deuxième mode de fonctionnement survient lorsqu'une condition est vérifiée, la condition étant basée sur le traitement d'image intra-trame et/ou sur le traitement d'image inter-trame.
Selon un mode de réalisation, la condition est qu'un mouvement est détecté sur la base du traitement d'image intertrame.
Selon un mode de réalisation, les valeurs des paramètres du premier ensemble sont modifiées sur la base d'une ou plusieurs premières images capturées pendant chaque première opération de capture d'image.
Selon un mode de réalisation, les valeurs des paramètres du deuxième ensemble restent constantes pendant une pluralité des deuxièmes opérations de capture d'image et sont périodiquement mises à jour sur la base d'une ou plusieurs des premières et/ou deuxièmes images.
Selon un mode de réalisation, le procédé comprend en outre : calculer, sur la base d'un traitement d'image intra-trame d'une ou plusieurs des premières images, des valeurs modifiées d'un ou plusieurs des paramètres du premier ensemble afin d'ajuster le temps d'exposition des premières images pendant les premières opérations de capture d'image.
Selon un mode de réalisation, chacune des premières et deuxièmes opérations de capture d'image consiste à capturer une seule image.
Selon un autre aspect, on prévoit un dispositif de capture d'image pour réaliser un traitement d'image intra-trame et inter-trame, le dispositif de capture d'image comprenant : un capteur d'image agencé pour alterner entre des première et deuxième opérations de capture d'image, la première opération de capture d'image comprenant la capture d'une ou plusieurs premières images sur la base d'un premier ensemble de paramètres de capture et la deuxième opération de capture d'image comprenant la capture
B16615 - DD18070ST d'une ou plusieurs deuxièmes images sur la base d'un deuxième ensemble de paramètres de capture d'image ; et un circuit de mise à jour de paramètres agencé pour modifier les valeurs des paramètres du premier ensemble entre chacune des premières opérations de capture d'image et pour maintenir les valeurs des paramètres du deuxième ensemble constantes entre chacune des deuxièmes opérations de capture d'image ou pour faire varier les valeurs des paramètres du deuxième ensemble de moins qu'une quantité significative.
Selon un mode de réalisation, le dispositif de capture d'image comprend en outre : un circuit de traitement d'image agencé pour réaliser un traitement d'image intra-trame sur les images capturées par les premières opérations de capture d'image et pour réaliser un traitement d'image inter-trame sur les images capturées par les deuxièmes opérations de capture d'image.
Selon un mode de réalisation, le circuit de traitement d'image est agencé : pour réaliser le traitement d'image intratrame et inter-trame pendant un premier mode ; pour évaluer une condition sur la base du traitement d'image intra-trame et/ou inter-trame ; et pour passer dans un deuxième mode lorsque la condition est vérifiée.
Selon un mode de réalisation, le circuit de mise à jour de paramètres est agencé pour faire varier les valeurs des paramètres du deuxième ensemble de moins qu' une quantité significative qui pourrait provoquer une fausse détection positive d'un événement par le circuit de traitement d'image pendant le traitement d'image inter-trame même en l'absence de changement dans la scène image.
Selon un mode de réalisation, le circuit de traitement d'image est intégré dans le même circuit intégré que le capteur d'image.
Selon un mode de réalisation, le circuit de traitement d'image est en outre agencé pour calculer, sur la base d'un traitement d'image intra-trame d'une ou plusieurs des premières images, des valeurs modifiées d'un ou plusieurs des paramètres du
B16615 - DD18070ST premier ensemble afin d'ajuster le temps d'exposition des premières images.
Brève description des dessins
Les caractéristiques et avantages susmentionnés, et d'autres, apparaîtront clairement avec la description détaillée suivante de modes de réalisation, donnée à titre d'illustration et non de limitation, en faisant référence aux dessins joints dans lesquels :
la figure 1 illustre schématiquement un dispositif de capture d'image selon un exemple de réalisation ;
la figure 2 représente une séquence de trames capturées selon un exemple de réalisation de la présente description ;
la figure 3 illustre schématiquement un dispositif de capture d'image selon un exemple de réalisation de la présente description ;
la figure 4 est un chronogramme représentant des exemples de signaux dans le dispositif de capture d'image de la figure 3 ; et la figure 5 est un diagramme d'états représentant des états d'un dispositif de traitement d'image de la figure 3 selon un exemple de réalisation.
Description détaillée
Le tenue image intra-trame est utilisé ici pour désigner une trame capturée d'une séquence vidéo, à laquelle un traitement d'image intra-trame est appliqué.
Le terme traitement d'image intra-trame ou traitement intra-trame est utilisé ici pour désigner le traitement d'une trame d'une séquence vidéo pour extraire des informations provenant de seulement la trame donnée. Des exemples d'applications de traitement d'image intra-trame comprennent :
- l'analyse d'histogrammes d'image, le mappage local des tons et/ou l'équilibrage des blancs ;
- la classification de scènes et/ou la détection d'objets ; et
B16615 - DD18070ST
- la reconnaissance de forme, comprenant l'extraction de bords, de contours, de gradients, de formes floues et/ou de points clés, le comptage d'objets et/ou la segmentation d'image.
Le terme image inter-trame est utilisé ici pour désigner une trame capturée d'une séquence vidéo, à laquelle un traitement d'image inter-trame est appliqué.
Le terme traitement d'image inter-trame ou traitement inter-trame est utilisé ici pour désigner un traitement d'image de vidéo afin d'extraire des informations d'une pluralité de trames, en général successives. Des exemples d'applications de traitement d'image inter-trame comprennent :
- la détection de mouvement, par exemple pour des détecteurs de réveil, impliquant par exemple l'extraction d'un premier plan d'image par rapport au fond, l'extraction du fond étant basée par exemple sur un modèle de mélange gaussien ;
- le suivi d'obj ets ; et
- le filtrage temporel et/ou l'analyse de pulsations, afin par exemple de détecter un signal de réveil sous forme d'une communication lumineuse à une fréquence spécifique et/ou ayant une certaine signature.
Le terme paramètre de capture d'image est utilisé pour désigner l'un quelconque d'une grande gamme de paramètres qui peuvent être réglés lorsqu'une image doit être capturée par un capteur d'image. Cela comprend par exemple :
- des paramètres réglant le temps d'exposition, y compris le temps d'intégration d'une photodiode, ou d'un autre type de photosite, de chaque pixel et/ou le temps d'ouverture d'un obturateur, afin de réduire les effets de quantification de données et de bruit en réglant la plage dynamique sur la base de la scène ;
- des paramètres réglant le plan focal, par exemple en ajustant la puissance optique et/ou la profondeur de champ d'un objectif, afin d'obtenir une image nette ;
B16615 - DD18070ST
- des paramètres réglant le gain, y compris le gain de conversion de chaque pixel et le gain dans le circuit de lecture se trouvant en bas des colonnes de la matrice de pixels ;
- des paramètres réglant un zoom ou une région d'intérêt (ROI), comme des réglages optiques permettant de zoomer sur une zone d'intérêt particulière, et l'extraction d'une zone d'intérêt particulière par la sélection de certains pixels dans la matrice de pixels pendant le traitement numérique ; et
- des paramètres réglant la sensibilité du capteur d'image dans une bande spectrale spécifique, par exemple dans une bande se trouvant dans la lumière visible et le spectre infrarouge proche.
La figure 1 illustre schématiquement un exemple de dispositif de capture d'image 100 comprenant un capteur d'image (IMAGE SENSOR) 102 et un circuit de traitement d'image (IMAGE PROCESSING CIRCUIT) 104. Le circuit de traitement d'image 104 reçoit des données d'image sur des lignes de sortie 106 du capteur d'image 102, et fournit des données de sortie (DATA) sur des lignes de sortie 108 du dispositif de capture d'image. Les données de sortie sur les lignes 108 comprennent par exemple des informations détectées sur la base des images capturées. Le circuit de traitement d'image 104 est intégré dans un même circuit intégré avec le capteur d'image 102. Cela procure l'avantage que certains traitements d'image peuvent être réalisés sur la puce sur la base des données d'image capturées par le capteur d'image 102, et que le nombre de broches de sortie du dispositif de capture d'image 100 peut ainsi être réduit.
Le capteur d'image 102 capture des images sur la base de paramètres de capture d'image (CTRL PARAMETERS) fournis sur des lignes d'entrée 110 du dispositif de capture d'image 100.
Les inventeurs de la présente description ont trouvé que, dans le cas où l'on souhaite réaliser à la fois des traitements d'image intra-trame et inter-trame sur les images capturées par le capteur d'image 102 en utilisant le circuit de traitement d'image 104, il y a une difficulté technique pour
B16615 - DD18070ST fournir des paramètres de capture d'image appropriés pour les deux types de traitement d'image.
En effet, dans le cas d'un traitement d'image intratrame, la qualité d'image de chaque image capturée doit être élevée. En particulier, des contraintes pendant un traitement d'image intra-trame peuvent être relâchées en fournissant des images ayant une focalisation et un temps d'exposition adaptés de manière appropriée, ce qui fait que les images sont nettes et correctement exposées et fournissent une plage dynamique acceptable. En effet, des traitements comme la détection de contours ou de bords sont considérablement plus difficiles si les bords de l'image sont flous, ou si le contraste est insuffisant. L'obtention d'une focalisation et d'une exposition appropriées implique par exemple l'adaptation continue des paramètres de capture d'image afin d'ajuster le temps d'exposition, la focalisation, la plage dynamique, le contraste, la granularité, etc., sur la base de la scène.
Au contraire, dans le cas d'un traitement d'image intertrame, il est souhaitable de détecter des éléments qui changent dans la scène entre une image et la suivante. Par conséquent, les paramètres de capture d'image pour régler le temps d'exposition, la focalisation, la plage dynamique, le contraste, la granularité, etc., doivent rester relativement constants d'une image à la suivante afin de permettre une détection précise de changements dans la scène. En effet, dans le contexte particulier de la détection de mouvement, qui en général est basée sur la détection de changements d'éléments caractéristiques de l'image, une modification brutale des paramètres de capture d'image peut conduire à une fausse détection positive. Dans ce cas, ce qui est détecté par l'algorithme de détection de mouvement est donc un artefact dû à la modification de paramètres de capture d'image d'une trame à une autre.
Bien qu'une solution puisse être de tenter de trouver un compromis entre les paramètres de capture d'image adaptés à des traitements d'image inter-trames et intra-trames en limitant
B16615 - DD18070ST les variations dans les paramètres de capture d'image entre des images successives, cela impliquerait encore l'ajout de complexité aux algorithmes de traitement d'image mis en œuvre par le circuit de traitement d'image 104. En effet, il faudrait une plus grande complexité pour obtenir des traitements d'image intra-trame et inter-trame robustes pour des images capturées en utilisant des paramètres de capture d'image en dessous de l'optimal. Une telle complexité supplémentaire n'est pas souhaitable, en particulier dans le cas d'un circuit de traitement d'image intégré sur une puce comme le circuit 104 de la figure 1, puisque cela impliquerait une surface de puce, une consommation d'énergie et/ou un temps de traitement plus grands.
La figure 2 représente un procédé de capture d'image selon un mode de réalisation de la présente description. Un capteur d'image est par exemple contrôlé afin d'alterner entre la capture d'images IA, appropriées pour un traitement d'image intratrame, et d'images IB appropriées pour un traitement d'image inter-trame. En d'autres termes, la capture d'images intra-trames et inter-trames est par exemple entrelacée. Les images IA son capturées sur la base d'un ensemble de paramètres de capture d'image PA, dont les valeurs par exemple s'adaptent rapidement à des changements dans les conditions de la scène image. Les paramètres PA sont par exemple mis à jour entre la capture de chaque image IA. Les images IB sont capturées sur la base d'un ensemble de paramètres de capture d'image PB, dont les valeurs restent relativement constantes.
Dans certains modes de réalisation, les paramètres de capture d'image PB restent constants pendant certaines périodes, comme pendant une période 202 représentée en figure 2 englobant la capture d'au moins deux images IB. Après cette période, les paramètres de capture d'image PB sont par exemple mis à jour pour refléter les nouvelles conditions de scène image et sont prêts pour la capture d'une image IB suivante 204. Les paramètres PB sont ensuite par exemple maintenus constants pendant une autre période.
B16615 - DD18070ST
En variante, les paramètres de capture d'image PB peuvent être autorisés à varier de moins qu'une quantité significative entre les captures d'images successives IB. Une quantité significative correspond par exemple à une variation qui pourrait déclencher une fausse détection positive d'un événement pendant l'opération de traitement d'image inter-trame en l'absence de changement dans la scène image. Dans certains modes de réalisation, un réétalonnage périodique des paramètres de capture d'image PB est aussi réalisé afin de refléter de plus grands changements dans les conditions de la scène image, comme cela a été décrit précédemment.
Bien que dans l'exemple de la figure 2, le capteur d'image alterne entre les captures d'images ΙΆ et IB pour chaque image capturée, de façon plus générale le capteur d'image pourrait alterner entre des opérations de capture d'images intra-trames et inter-trames, chaque opération de capture d'image intra-trame correspondant à la capture d'une ou plusieurs images appropriées pour un traitement d'image intra-trame, et chaque opération de capture d'image inter-trame correspondant à la capture d'une ou plusieurs images appropriées pour un traitement d'image intertrame. Toutefois, dans certains modes de réalisation, chaque opération de capture d'image intra-trame et inter-trame est limitée à la capture de 20 images ou trames, et de préférence à la capture de 10 images ou trames.
La figure 3 illustre schématiquement un dispositif de capture d'image 300 selon un exemple de réalisation de la présente description. Le dispositif 300 comprend un capteur d'image (IMAGE SENSOR) 302, qui est par exemple un capteur CMOS, et un circuit de traitement d'image 303 comprenant une portion 304 agencée pour réaliser un traitement d'image intra-trame, et une portion 306 agencée pour réaliser un traitement d'image inter-trame. La portion 304 fournit par exemple des données de sortie de traitement intra-trame OUTA sur des lignes de sortie du dispositif 300, et la portion 306 fournit par exemple des données de sortie de traitement inter-trame OUTB sur des lignes de sortie du
B16615 - DD18070ST dispositif 300. Le circuit de traitement d'image 303 est par exemple mis en œuvre par du matériel dédié.
Le circuit de traitement d'image 303 est par exemple intégré dans le même circuit intégré que le capteur d'image 302, bien que dans des variantes de réalisation ils puissent être mis en œuvre par des puces séparées. De manière plus générale, le dispositif de capture d'image 300 est par exemple un système sur puce CMOS complètement personnalisé, comprenant tous les éléments précédemment décrits du dispositif 300, dans lequel le capteur d'image 302 représente la matrice de pixels sur le plan focal.
Le dispositif de capture d'image 300 comprend en outre par exemple des démultiplexeurs 308 et 310 contrôlés respectivement par des signaux de commande SI et S2 générés par un circuit de commande (CTRL) 311. Le démultiplexeur 308 fournit des paramètres de capture d'image P au capteur d'image 302 afin de contrôler les opérations de capture d'image, ces paramètres étant sélectionnés dans un ensemble PA approprié pour capturer des images pour un traitement d'image intra-trame, et un ensemble PB approprié pour capturer des images pour un traitement d'image inter-trame. Le démultiplexeur 310 distribue les images (IMAGE) capturées par le capteur d'image 302 aux portions 304 et 306 du circuit de traitement d'image 303.
L'ensemble PA de paramètres de capture d'image est par exemple fourni par un circuit de mise à jour de paramètres (PARAMETER UPDATE) 312, sur la base par exemple du résultat d'un traitement d'image intra-trame réalisé par un algorithme (ALGORITHM A) 314 de la portion 304 du circuit de traitement d'image 303, et/ou sur la base du résultat d'un traitement d'image inter-trame réalisé par un algorithme (ALGORITHM B) 316 de la portion 306 du circuit de traitement d'image 303.
L'ensemble PB de paramètres de capture d'image est par exemple fourni par le circuit de mise à jour de paramètres 312 par l'intermédiaire d'une mémoire (MEM) 318, qui par exemple contrôle la fréquence avec laquelle les paramètres PB sont mis à jour. La mémoire 318 est par exemple sous le contrôle du circuit
B16615 - DD18070ST de commande 311, qui par rafraîchissement R indiquant doivent être rafraîchis.
exemple fournit un signal où les paramètres le moment de
PB
On va maintenant décrire fonctionnement du dispositif de capture référence à la figure 4.
plus en détail d'image 300 en faisant le
La figure 4 est un chronogramme représentant des exemples des signaux R, PA, PB, SI, P, S2 et IMAGE dans le circuit 300 de la figure 3.
Le signal SI alterne par exemple entre des niveaux haut et bas, et dans l'exemple de la figure 4, le niveau haut provoque la fourniture de 1'ensemble de paramètres PA au capteur d'image 302, et le niveau bas provoque la fourniture de l'ensemble de paramètres PB au capteur d'image 302.
L'ensemble de paramètres PA est par exemple rafraîchi avant la capture de chaque image intra-trame IA, par exemple pendant la période basse du signal SI, de sorte que l'ensemble de paramètres PA reste constant pendant que le signal SI est haut. Dans l'exemple de la figure 4, l'ensemble de paramètres PA passe d'un ensemble de valeurs PA1 à des ensembles de valeurs PA2, PA3, PA4, PA5, PA6, etc.
L'ensemble de paramètres PB est par exemple rafraîchi par le signal de rafraîchissement R à un instant tl pour prendre un ensemble de valeurs PB1, puis de nouveau à un instant t2 pour prendre un ensemble de valeurs PB2. Les instants tl et t2 sont par exemple choisis de manière à tomber pendant des périodes hautes du signal SI de sorte que l'ensemble de paramètres PB reste constant pendant les périodes basses du signal SI. Dans l'exemple de la figure 4, l'ensemble de paramètres PB reste à l'ensemble de valeurs PB1 pendant quatre images inter-trames, avant de passer à l'ensemble de valeurs PB2 à la suite de l'impulsion haute du signal de rafraîchissement R à l'instant t2. Bien sûr, dans des variantes de réalisation, en fonction du traitement d'image intertrame à appliquer, l'ensemble de paramètres PB pourrait rester
B16615 - DD18070ST constant pendant un plus petit nombre d'images ou pendant un plus grand nombre d'images.
Le signal S2 par exemple alterne entre des niveaux haut et bas. Chaque niveau haut du signal S2 est par exemple synchronisé avec l'application de l'ensemble de paramètres PA et amène l'image de sortie provenant du capteur d'image 302 à être traitée comme une image à traitement intra-trame, qui est dirigée vers la portion 304 du circuit de traitement d'image 303 pour un traitement d'image intra-trame. Chaque niveau bas du signal S2 est par exemple synchronisé avec l'application de l'ensemble de paramètres PB et amène l'image de sortie provenant du capteur d'image 302 à être traitée comme une image à traitement intertrame, qui est dirigée vers la portion 306 du circuit de traitement d'image 303 pour un traitement d'image inter-trame.
Le circuit de traitement d'image 303 peut fonctionner dans l'un de plusieurs modes de fonctionnement différents, et dans au moins certains de ces modes de fonctionnement à la fois des traitements d'images intra-trames et inter-trames sont par exemple réalisés. Par exemple, les traitements d'images intra-trames et inter-trames sont réalisés pendant un mode de fonctionnement donné du circuit 303, et une transition vers un autre mode de fonctionnement survient lorsqu'une condition est remplie, la condition étant basée sur le traitement d'image intra-trame et/ou sur le traitement d'image inter-trame.
On va maintenant décrire plus en détail un exemple particulier des modes de fonctionnement du circuit de traitement d'image 303 en faisant référence à la figure 5.
La figure ’5 est un diagramme d'états représentant un exemple du fonctionnement du circuit de traitement d'image 303 selon un exemple de réalisation dans lequel sont réalisées une détection d'obj et et une détection de mouvement.
Selon l'exemple de la figure 5, le dispositif de capture d'image 300 est un capteur d'image CMOS intelligent toujours en marche ayant de multiples niveaux de réveil, modes ou états notés Ml, M2 et M3 en figure 5. Par exemple, le dispositif 300 se trouve
B16615 - DD18070ST à une position fixe, et est réveillé par un mouvement détecté dans son champ de vision.
Le circuit de traitement d'image 303 commence par exemple dans un premier état ou mode Ml, correspondant à un mode de sommeil profond. Dans ce mode, des images intra-trames IA et des images inter-trames IB sont capturées alternativement par le capteur d'image 302, et le circuit de traitement d'image 303 réalise des traitements d'images intra-trames et des traitements d'images inter-trames.
Pendant le mode Ml, les images intra-trames IA sont par exemple utilisées pour suivre la luminosité moyenne puis pour réaliser, par rétroaction, un ajustement d'auto-exposition pour la capture d'images intra-trames IA ultérieures. Les images intertrames IB sont par exemple utilisées pour détecter un mouvement avec un temps d'exposition fixe.
Par exemple, la luminosité moyenne dans les images intra-trames IA est calculée par l'algorithme 314 dans la portion 304 du circuit de traitement d'image 303, et est utilisée par le circuit de mise à jour de paramètres 312 pour mettre à jour 1'ensemble de paramètres PA entre la capture de chaque image intra-trame. Le temps d'exposition des images intra-trames peut ainsi être contrôlé automatiquement sur la base de la luminosité moyenne calculée.
Les images inter-trames IB sont par exemple utilisées pour détecter des différences entre trames dues à des changements dans la scène, par exemple le mouvement d'objets entre des images. Dans certains modes de réalisation, le temps d'exposition des images inter-trames est aussi rafraîchi périodiquement sur la base du calcul de luminosité détecté sur la base des images intratrames IA.
Dans le mode Ml, un mouvement est détecté lorsqu'une condition Q^2 est vérifiée, qui correspond par exemple au fait que la quantité de changement entre des images inter-trames successives dépasse un certain seuil. Lorsque cette condition est vérifiée, le circuit 303 passe par exemple dans le mode M2.
B16615 - DD18070ST
Autrement, si la condition Q^2 n'est pas vérifiée, le circuit 303 reste dans le mode Ml (Qi_i) .
Dans le mode M2, les images inter-trames IB sont par exemple utilisées pour confirmer la détection de mouvement, par exemple en détectant un autre mouvement, et pour identifier une région d'intérêt (ROI) sur la base de l'emplacement du mouvement détecté dans les images. En outre, l'auto-exposition basée sur les images intra-trames IA, comme cela a été décrit précédemment pour le mode Ml, est par exemple aussi appliquée dans le mode M2, mais seulement à la région d'intérêt identifiée.
Le mouvement est confirmé lorsqu'une condition Q2_^3 est vérifiée, et le circuit 303 passe alors dans le mode M3. Autrement, si aucun mouvement suffisant n'est détecté, le circuit 303 revient au mode Ml (Q2_i) ·
Dans le mode M3, les images intra-trames IA sont par exemple utilisées pour la détection d'objets d'intérêt dans la région d'intérêt. En outre, les images inter-trames IB continuent à être utilisées pour la détection de mouvement. Le circuit 303 reste par exemple dans le mode M3 si un objet d'intérêt est détecté dans la région d'intérêt ou si le mouvement continue à être détecté (Q3_3)· Autrement, s'il n'y a pas assez de mouvement détecté sur la base des images inter-trames IB et si aucun objet intéressant n'est détecté, le circuit 303 revient par exemple au mode M2 (Q3-2) ·
Un avantage des modes de réalisation décrits ici est que des traitements d'images inter-trames et intra-trames réalisés par un circuit de traitement d'image peuvent être rendus plus robustes en alternant entre la capture d'images intra-trames et d'images inter-trames, et en ajustant des paramètres de capture d'image pour les images intra-trames et les images inter-trames indépendamment entre elles.
Avec la description ainsi faite d'au moins un mode de réalisation illustratif, diverses altérations, modifications et améliorations apparaîtront facilement à l'homme de l'art. Par exemple, il apparaîtra clairement que les principes décrits ici
B16615 - DD18070ST pourraient être appliqués à la capture de tout type d'image dans une scène image. Par exemple, le capteur d'image peut être sensible à la lumière visible ou à la lumière infrarouge, ou à toute combinaison de longueurs d'onde, et peut comprendre divers 5 types, ou combinaisons de types, de photosites.
En outre, bien que la figure 3 fournisse un exemple du circuit de mise à jour des paramètres de capture d'image, il apparaîtra clairement à l'homme de l'art qu'il existe de nombreuses variantes qui pourraient être appliquées. Par exemple, le multiplexeur 310 pourrait être omis dans certains modes de réalisation.
En outre, les divers éléments décrits en relation avec les divers modes de réalisation pourraient être combinés, dans des variantes de réalisation, selon diverses combinaisons.
Claims (15)
- REVENDICATIONS1. Procédé de réalisation de traitement d'image intratrame et inter-trame, comprenant :alterner des première et deuxième opérations de capture d'image, la première opération de capture d'image comprenant la capture d'une ou plusieurs premières images (IA) en utilisant un capteur d'image (302) sur la base d'un premier ensemble de paramètres de capture d'image (PA), et la deuxième opération de capture d'image comprenant la capture d'une ou plusieurs deuxièmes images (IB) en utilisant le capteur d'image (302) sur la base d'un deuxième ensemble de paramètres de capture d'image (PB), les valeurs des paramètres du premier ensemble étant modifiées entre chacune des premières opérations de capture d'image et les valeurs des paramètres du deuxième ensemble restant constantes entre chacune des deuxièmes opérations de capture d'image ou variant de moins qu'une quantité significative.
- 2. Procédé selon la revendication 1, comprenant en outre :réaliser un traitement d'image intra-trame sur chaque première image (IA) capturée pendant la première opération de capture d'image ; et réaliser un traitement d'image inter-trame sur chaque deuxième image (IB) capturée pendant la deuxième opération de capture d'image.
- 3. Procédé selon la revendication 2, dans lequel les valeurs des paramètres du deuxième ensemble varient de moins qu'une quantité significative qui provoquerait une fausse détection positive d'un événement pendant le traitement d'image inter-trame même en l'absence de changement dans la scène image.
- 4. Procédé selon la revendication 2 ou 3, dans lequel les traitements d'image intra-trame et inter-trame sont tous les deux réalisés pendant un premier mode de fonctionnement (Ml), et dans lequel une transition vers un deuxième mode de fonctionnement (M2) survient lorsqu'une condition (Qi_2) est vérifiée, laB16615 - DD18070ST condition étant basée sur le traitement d'image intra-trame et/ou basée sur le traitement d'image inter-trame.
- 5. Procédé selon la revendication 4, dans lequel la condition est qu'un mouvement est détecté sur la base du traitement d'image inter-trame.
- 6. Procédé selon l'une quelconque des revendications 1 à 5, dans lequel les valeurs des paramètres du premier ensemble sont modifiées sur la base d'une ou plusieurs premières images (IA) capturées pendant chaque première opération de capture d'image.
- 7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel les valeurs des paramètres du deuxième ensemble (PB) restent constantes pendant une pluralité des deuxièmes opérations de capture d'image et sont périodiquement mises à jour sur la base d'une ou plusieurs des premières et/ou deuxièmes images.
- 8. Procédé selon l'une quelconque des revendications 1 à 7, comprenant en outre :calculer, sur la base d'un traitement d'image intratrame d'une ou plusieurs des premières images, des valeurs modifiées d'un ou plusieurs des paramètres du premier ensemble afin d'ajuster le temps d'exposition des premières images pendant les premières opérations de capture d'image.
- 9. Procédé selon l'une quelconque des revendications 1 à 8, dans lequel chacune des premières et deuxièmes opérations de capture d'image consiste à capturer une seule image.
- 10. Dispositif de capture d'image pour réaliser un traitement d'image intra-trame et inter-trame, le dispositif de capture d'image comprenant :un capteur d'image (302) agencé pour alterner entre des première et deuxième opérations de capture d'image, la première opération de capture d'image comprenant la capture d'une ou plusieurs premières images (IA) sur la base d'un premier ensemble de paramètres de capture (PA), et la deuxième opération de capture d'image comprenant la capture d'une ou plusieurs deuxièmes imagesB16615 - DD18070ST (IB) sur la base d'un deuxième ensemble de paramètres de capture d'image (PB) ; et un circuit de mise à jour de paramètres (312, 314, 316) agencé pour modifier les valeurs des paramètres du premier ensemble entre chacune des premières opérations de capture d'image et pour maintenir les valeurs des paramètres du deuxième ensemble constantes entre chacune des deuxièmes opérations de capture d'image ou pour faire varier les valeurs des paramètres du deuxième ensemble de moins qu'une quantité significative.
- 11. Dispositif de capture d'image selon la revendication10, comprenant en outre :un circuit de traitement d'image (303) agencé pour réaliser un traitement d'image intra-trame sur les images capturées par les premières opérations de capture d'image et pour réaliser un traitement d'image inter-trame sur les images capturées par les deuxièmes opérations de capture d'image.
- 12. Dispositif de capture d'image selon la revendication11, dans lequel le circuit de traitement d'image (303) est agencé :pour réaliser le traitement d'image intra-trame et inter-trame pendant un premier mode (Ml) ;pour évaluer une condition (Qi_2) sur la base du traitement d'image intra-trame et/ou inter-trame ; et pour passer dans un deuxième mode (M2) lorsque la condition (Qi_2) est vérifiée.
- 13. Dispositif de capture d'image selon la revendication11 ou 12, dans lequel le circuit de mise à jour de paramètres (312, 314, 316) est agencé pour faire varier les valeurs des paramètres du deuxième ensemble de moins qu'une quantité significative qui pourrait provoquer une fausse détection positive d'un événement par le circuit de traitement d'image (303) pendant le traitement d'image inter-trame même en l'absence de changement dans la scène image.
- 14. Dispositif de capture d'image selon l'une quelconque des revendications 11 à 13, dans lequel le circuit de traitementB16615 - DD18070ST d'image (303) est intégré dans le même circuit intégré que le capteur d'image (302).
- 15. Dispositif de capture d'image selon l'une quelconque des revendications 11 à 14, dans lequel le circuit de traitement 5 d'image (303) est en outre agencé pour calculer, sur la base d'un traitement d'image intra-trame d'une ou plusieurs des premières -images, des valeurs modifiées d'un ou plusieurs des paramètres du premier ensemble afin d'ajuster le temps d'exposition des premières images.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1852021A FR3078808B1 (fr) | 2018-03-08 | 2018-03-08 | Procede de traitement d'image inter-trame et intra-trame |
| EP19156548.0A EP3537708A1 (fr) | 2018-03-08 | 2019-02-11 | Procédé de traitement d'images inter-trames et procédé intra-trames |
| US16/278,157 US10701278B2 (en) | 2018-03-08 | 2019-02-17 | Method of inter-frame and intra-frame image processing |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1852021A FR3078808B1 (fr) | 2018-03-08 | 2018-03-08 | Procede de traitement d'image inter-trame et intra-trame |
| FR1852021 | 2018-03-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3078808A1 true FR3078808A1 (fr) | 2019-09-13 |
| FR3078808B1 FR3078808B1 (fr) | 2021-07-16 |
Family
ID=63014636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1852021A Active FR3078808B1 (fr) | 2018-03-08 | 2018-03-08 | Procede de traitement d'image inter-trame et intra-trame |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10701278B2 (fr) |
| EP (1) | EP3537708A1 (fr) |
| FR (1) | FR3078808B1 (fr) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102611722B1 (ko) * | 2019-01-07 | 2023-12-07 | 삼성전자주식회사 | 이미지 처리 장치 및 이미지 처리 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140176758A1 (en) * | 2012-12-20 | 2014-06-26 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup system, and method of controlling image pickup apparatus |
| US20150130981A1 (en) * | 2013-11-12 | 2015-05-14 | Casio Computer Co., Ltd. | Data display apparatus which controls display of a plurality of data, image display apparatus which individually displays a series of images, data display method, image display method, and storage medium |
| EP2985997A2 (fr) * | 2014-07-25 | 2016-02-17 | Allegro DVT | Codeur vidéo à faible latence |
| EP3091729A1 (fr) * | 2014-07-29 | 2016-11-09 | Panasonic Intellectual Property Management Co., Ltd. | Dispositif d'imagerie |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7233350B2 (en) | 2002-01-05 | 2007-06-19 | Candela Microsystems, Inc. | Image sensor with interleaved image output |
| US7173663B2 (en) | 2002-10-31 | 2007-02-06 | Freescale Semiconductor, Inc. | Automatic exposure control system for a digital camera |
| US8059174B2 (en) | 2006-05-31 | 2011-11-15 | Ess Technology, Inc. | CMOS imager system with interleaved readout for providing an image with increased dynamic range |
| KR101323733B1 (ko) * | 2006-12-29 | 2013-10-31 | 삼성전자주식회사 | 고속 고화질 연사 기능을 가지는 영상 입력 장치 및 이를이용한 연사 방법 |
| US9100581B2 (en) | 2010-04-02 | 2015-08-04 | Microsoft Technology Licensing, Llc | Time interleaved exposures and multiplexed illumination |
| US8646692B2 (en) | 2011-09-30 | 2014-02-11 | Hand Held Products, Inc. | Devices and methods employing dual target auto exposure |
| JP6172967B2 (ja) * | 2013-02-20 | 2017-08-02 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
-
2018
- 2018-03-08 FR FR1852021A patent/FR3078808B1/fr active Active
-
2019
- 2019-02-11 EP EP19156548.0A patent/EP3537708A1/fr active Pending
- 2019-02-17 US US16/278,157 patent/US10701278B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140176758A1 (en) * | 2012-12-20 | 2014-06-26 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup system, and method of controlling image pickup apparatus |
| US20150130981A1 (en) * | 2013-11-12 | 2015-05-14 | Casio Computer Co., Ltd. | Data display apparatus which controls display of a plurality of data, image display apparatus which individually displays a series of images, data display method, image display method, and storage medium |
| EP2985997A2 (fr) * | 2014-07-25 | 2016-02-17 | Allegro DVT | Codeur vidéo à faible latence |
| EP3091729A1 (fr) * | 2014-07-29 | 2016-11-09 | Panasonic Intellectual Property Management Co., Ltd. | Dispositif d'imagerie |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190281203A1 (en) | 2019-09-12 |
| US10701278B2 (en) | 2020-06-30 |
| FR3078808B1 (fr) | 2021-07-16 |
| EP3537708A1 (fr) | 2019-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7546026B2 (en) | Camera exposure optimization techniques that take camera and scene motion into account | |
| US9160934B2 (en) | Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same | |
| CN104038702B (zh) | 摄像设备及其控制方法 | |
| US8452169B2 (en) | Control of artificial lighting of a scene to reduce effects of motion in the scence on an image being acquired | |
| US9794493B2 (en) | Image capturing apparatus, image capturing method, and control method | |
| WO2019148978A1 (fr) | Procédé et appareil de traitement d'images, support de stockage et dispositif électronique | |
| US10582178B2 (en) | Systems and methods for active depth imager with background subtract | |
| US9953428B2 (en) | Digital camera unit with simultaneous structured and unstructured illumination | |
| US20090274387A1 (en) | Method of capturing high dynamic range images with objects in the scene | |
| BE1022491B1 (fr) | Procede pour eviter la saturation de pixel. | |
| FR2882160A1 (fr) | Procede de capture d'images comprenant une mesure de mouvements locaux | |
| KR20110074556A (ko) | 개별 휘도 및 색차 센서를 이용한 이미지 캡처 | |
| FR2913510A1 (fr) | Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles | |
| US7342570B2 (en) | Optical mouse and image capture chip thereof | |
| US9875423B2 (en) | Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic | |
| CN106254760B (zh) | 摄像装置和摄像方法 | |
| JP6723092B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
| US10129486B2 (en) | Image capturing apparatus, control method therefor, and storage medium | |
| FR2996034A1 (fr) | Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede. | |
| FR2990038A1 (fr) | Procede et dispositif de detection d'un objet dans une image | |
| RU59923U1 (ru) | Пзс-видеокамера | |
| FR3078808A1 (fr) | Procede de traitement d'image inter-trame et intra-trame | |
| FR2929734A1 (fr) | Procede et systeme de videosurveillance. | |
| JP2009100252A (ja) | 撮像装置 | |
| US20200036877A1 (en) | Use of ir pre-flash for rgb camera's automatic algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20190913 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |