FR3119038A1 - Contrôle visuel d’un élément se déplaçant sur une ligne de production - Google Patents
Contrôle visuel d’un élément se déplaçant sur une ligne de production Download PDFInfo
- Publication number
- FR3119038A1 FR3119038A1 FR2100582A FR2100582A FR3119038A1 FR 3119038 A1 FR3119038 A1 FR 3119038A1 FR 2100582 A FR2100582 A FR 2100582A FR 2100582 A FR2100582 A FR 2100582A FR 3119038 A1 FR3119038 A1 FR 3119038A1
- Authority
- FR
- France
- Prior art keywords
- checked
- image
- generation
- video sequence
- conformity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims description 37
- 238000011179 visual inspection Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8803—Visual inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
L’invention concerne un procédé de contrôle visuel comprenant : - une première acquisition (S0) d’une première séquence vidéo (SV1) ; - une première extraction (S1) d’une première image (I1) à partir de ladite première séquence vidéo (SV1) ; - une sélection (S2) sur ladite première image (I1) d’un élément déclencheur (TRI) et d’un élément à contrôler (E) ; et - une génération (S3) d’un test de conformité en générant par apprentissage un vecteur caractéristique de référence (V_REF) ; - une reconnaissance (S5) en temps réel dudit déclencheur (TRI) dans une deuxième séquence vidéo (SV2) ; - une détermination (S8) d’un vecteur caractéristique (V_E) dudit élément à contrôler (E) dans une deuxième image (I2) ; et - une vérification (S9) d’un niveau de conformité par application dudit test de conformité en comparant le vecteur caractéristique (V_E) dudit au moins un élément à contrôler (E) avec ledit vecteur caractéristique de référence (V_REF).
Description
La présente invention concerne le domaine du contrôle qualité dans un environnement industriel.
La présente invention porte plus particulièrement sur une solution de contrôle visuel des produits en cours de fabrication sur une ligne de production.
Un des objectifs de la présente invention est de permettre un déploiement facile et rapide d’un système visuel de contrôle d’une ligne de production dans un environnement industriel.
Par ligne de production au sens de la présente invention, on entend dans toute la description qui suit une ligne (ou chaîne) comprenant l’ensemble ou une partie des opérations de fabrication nécessaires à la réalisation d’un produit manufacturé. Les produits en cours de fabrication vont donc se déplacer sur cette ligne de production d’un poste vers un autre via un convoyeur, un tapis roulant ou équivalent.
Art antérieur
Les process qualité dans l’industrie sont souvent très contraignants.
Ceci est particulièrement vrai dans l’industrie automobile notamment.
La mise en place de systèmes de contrôle visuel automatisé est ainsi devenue essentielle dans les process qualité. Le contrôle visuel fait classiquement référence à des techniques d’analyse automatisée d’images pour déterminer les caractéristiques des objets se déplaçant sur une ligne de production.
Le contrôle utilisant la vision industrielle permet une détection précoce des erreurs et un débit élevé des lignes de production.
De plus, contrairement aux opérateurs humains, les systèmes de vision industrielle ont tendance à être plus cohérents et ne sont pas sujets à la fatigue, aux maladies et aux stress qui peuvent avoir un impact sur les performances.
Les industriels sont donc de plus en plus à la recherche de systèmes de contrôle visuel capables de garantir à leur client le respect des normes qualité et la conformité des pièces qui sortent de leurs lignes de production tout en maintenant leur performance industrielle.
Il existe aujourd’hui de très nombreuses solutions de contrôle visuel destinées à l’industrie.
Ainsi, l’état de l’art nous rapporte qu’il est souvent utilisé sur les lignes de production des systèmes de contrôle visuel dans lesquels une pluralité de caméras capture des images comprenant les objets se déplaçant sur la ligne de production ; ces images sont ensuite analysées par des algorithmes de traitement d’images pour vérifier les défauts.
On connaît ainsi le document US2013070113 A1 qui propose un système de vision industrielle complexe mettant en œuvre plusieurs caméras. Un tel système permet d’obtenir une bonne résolution : en effet, chacune des caméras capture individuellement une image d'une partie d’un objet selon un champ de vision restreint avec une haute résolution ; le système combine ensuite l’ensemble des images acquises pour créer une représentation de l’objet en entier.
Un tel système est cependant très complexe et très couteux à mettre à place. Il requiert par ailleurs des ressources informatiques très importantes et imposent un déploiement très long avec des opérateurs spécialisés.
La technologie proposée dans ce document US2013070113A1 est très complexe et reste adaptée à des industries telles que par exemple l’industrie électronique pour le contrôle visuel des semi-conducteurs.
On connaît aussi le document US6175652B1 qui porte sur un système de vision artificielle à caméra unique pour analyser des caractéristiques basées sur des images d'objets multiples et le document US6483935B1 qui porte sur un système de contrôle à caméra unique configuré pour compter les pièces selon plusieurs champs de vision.
Les systèmes de vision industrielle proposée dans ces documents sont relativement peu coûteux et conviennent à un certain nombre d'applications telles que l'inspection de pièces d'automobiles.
En revanche, le déploiement de ces systèmes reste complexe et fastidieux et nécessite l’intervention d’opérateurs spécialisés.
Le Demandeur soumet ainsi que les différentes technologies de l’état de la technique connu ne sont pas pleinement satisfaisantes et requièrent des ressources informatiques importantes avec des temps de calcul très longs et un déploiement complexe.
La présente invention vise à améliorer la situation décrite ci-dessus
La présente invention vise notamment à remédier à au moins un des différents problèmes techniques mentionnés ci-dessus en proposant un contrôle visuel à apprentissage automatique.
L’objet de la présente invention concerne ainsi selon un premier aspect un procédé de contrôle visuel d’un élément se déplaçant sur une ligne de production.
Selon la présente invention, le procédé est mis en œuvre par des moyens informatiques et comprend les étapes suivantes :
A) lors d’une phase initiale d’apprentissage
- une première acquisition à un instant d’apprentissage d’une première séquence vidéo à l’aide d’une caméra arrangée selon un point de contrôle déterminé pour comprendre la ligne de production dans son champ de vision ;
- une première extraction d’au moins une première image à partir de la première séquence vidéo ;
- une sélection sur l’au moins une première image extraite d’au moins un élément déclencheur et d’au moins un élément à contrôler ; et
- une génération d’un test de conformité en générant à partir de l’au moins une première image comprenant l’au moins un élément à contrôler un vecteur caractéristique de référence, ledit vecteur comprenant un ensemble de valeurs caractéristiques représentatives d’un élément de référence ;
- une première acquisition à un instant d’apprentissage d’une première séquence vidéo à l’aide d’une caméra arrangée selon un point de contrôle déterminé pour comprendre la ligne de production dans son champ de vision ;
- une première extraction d’au moins une première image à partir de la première séquence vidéo ;
- une sélection sur l’au moins une première image extraite d’au moins un élément déclencheur et d’au moins un élément à contrôler ; et
- une génération d’un test de conformité en générant à partir de l’au moins une première image comprenant l’au moins un élément à contrôler un vecteur caractéristique de référence, ledit vecteur comprenant un ensemble de valeurs caractéristiques représentatives d’un élément de référence ;
B) lors d’une phase de production
- une deuxième acquisition à un instant courant, postérieur à l’instant d’apprentissage, d’une deuxième séquence vidéo à l’aide de la caméra arrangée selon le point de contrôle déterminé ;
- une reconnaissance en temps réel de l’au moins un élément déclencheur dans la deuxième séquence vidéo afin d’émettre un signal de déclenchement ;
- sur réception du signal de déclenchement, une deuxième extraction à partir de la deuxième séquence vidéo d’au moins une deuxième image comprenant l’au moins un élément déclencheur et une analyse de l’au moins une deuxième image pour détecter l’au moins un élément à contrôler ;
- une détermination d’un vecteur caractéristique pour l’au moins un élément à contrôler ;
- une vérification d’un niveau de conformité par application du test de conformité en comparant le vecteur caractéristique de l’au moins un élément à contrôler avec le vecteur caractéristique de référence.
- une deuxième acquisition à un instant courant, postérieur à l’instant d’apprentissage, d’une deuxième séquence vidéo à l’aide de la caméra arrangée selon le point de contrôle déterminé ;
- une reconnaissance en temps réel de l’au moins un élément déclencheur dans la deuxième séquence vidéo afin d’émettre un signal de déclenchement ;
- sur réception du signal de déclenchement, une deuxième extraction à partir de la deuxième séquence vidéo d’au moins une deuxième image comprenant l’au moins un élément déclencheur et une analyse de l’au moins une deuxième image pour détecter l’au moins un élément à contrôler ;
- une détermination d’un vecteur caractéristique pour l’au moins un élément à contrôler ;
- une vérification d’un niveau de conformité par application du test de conformité en comparant le vecteur caractéristique de l’au moins un élément à contrôler avec le vecteur caractéristique de référence.
Grâce à cette succession d’étapes techniques, caractéristique de la présente invention, on dispose d’une technique d’apprentissage permettant lors d’une première phase d’automatiser la détection d’anomalie en construisant un test de conformité selon des méthodes d’intelligence artificielle de typeMachine Learning.
Aucune compétence technique n’est requise pour le déploiement de cette solution sur un site industriel : aucune connaissance en informatique, en vidéo ni encore en technique d’apprentissage parMachine Learning. Par ailleurs, il n’est pas nécessaire d’arrêter la ligne de production pour mettre en place cette solution, contrairement à de très nombreuses méthodes de l’art antérieur.
On notera que la technique proposée ici n’exige pas un recours à une connexion au réseau Internet
On notera également qu’il est possible à tout moment de réitérer cette phase d’apprentissage en ajoutant de nouvelles images pour réentraîner le modèle ainsi mettre à jour le vecteur caractéristique et disposer d’un test de conformité à jour.
Avantageusement, la génération du test de conformité comprend un traçage de points caractéristiques de l’au moins un élément à contrôler pour suivre l’au moins un élément à contrôler dans la première séquence vidéo et collecter une pluralité d’éléments à contrôler.
Avantageusement, la génération du test de conformité est réalisée par apprentissage sur la pluralité d’éléments à contrôler.
Avantageusement, la génération du test de conformité comprend une normalisation de la première image.
Avantageusement, la génération du test de conformité comprend une analyse sémantique de l’au moins un élément à contrôler selon une pluralité de descripteurs déterminés.
Ainsi, le vecteur caractéristique de référence comprend des valeurs représentatives de la sémantique l’image (forme, texture, etc.).
Avantageusement, la génération du test de conformité comprend un partitionnement supervisé (ou «supervised clustering») des valeurs caractéristiques de chaque vecteur caractéristique pour déterminer au moins un cluster (ou classe).
Avantageusement, la génération du test de conformité comprend un calcul de scores de similarité en fonction des distances entre les vecteurs caractéristiques et le centre de chaque cluster.
Avantageusement, la première extraction comprend un affichage de la première séquence vidéo sur une interface graphique tactile et une sélection de ladite au moins une première image en interagissant manuellement avec l’interface.
On comprend alternativement que cette sélection peut aussi se faire via une simple interface graphique.
Avantageusement, l’étape de sélection de l’élément déclencheur comprend une première sélection d’une zone d’intérêt sur l’au moins une première image en interagissant manuellement avec l’interface.
On comprend alternativement que cette sélection peut aussi se faire via une simple interface graphique.
Avantageusement, l’étape de sélection de l’élément à contrôler comprend une deuxième sélection d’une sous-zone d’intérêt dans la zone d’intérêt correspondant à l’élément déclencheur, ladite deuxième sélection étant réalisée en interagissant manuellement avec l’interface. Là encore, on comprendra que cette sélection peut aussi se faire via une simple interface graphique.
L’utilisation d’une interface graphique tactile facilite l’expérience utilisateur qui peut sélectionner intuitivement l’image, le déclencheur et l’élément à contrôler via l’écran tactile.
Avantageusement, la vérification du niveau de conformité comprend, en cas de détection d’une anomalie, une génération d’un signal d’avertissement.
Selon un deuxième aspect, l’objet de la présente invention concerne un programme d’ordinateur qui comporte des instructions adaptées pour l’exécution des étapes du procédé selon le premier aspect de l’invention, ceci notamment lorsque le programme d’ordinateur est exécuté par au moins un processeur.
Un tel programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme d’un code source, d’un code objet, ou d’un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
Selon un troisième aspect, l’objet de la présente invention concerne un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon le premier aspect de l’invention.
D’une part, le support d’enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire ROM, un CD-ROM ou une mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique ou un disque dur.
D'autre part, ce support d’enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d’ordinateur selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d’ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
L’objet de la présente invention concerne selon un quatrième aspect un système informatique de contrôle visuel d’un élément se déplaçant sur une ligne de production, ledit système comprenant des moyens informatiques configurés pour une mise en œuvre des étapes du procédé tel que décrit ci-dessus.
L’objet de la présente invention concerne selon un cinquième aspect une valise sur roulette comprenant un système informatique de contrôle visuel tel que décrit ci-dessus.
Ainsi, par ses différentes caractéristiques techniques fonctionnelles et structurelles décrites ci-dessus, l’opérateur dispose d’un outil simple d’utilisation dont le déploiement se fait en quelques minutes sans connaissance préalable de l’environnement industriel dans lequel il évolue.
Brève description des figures
La
La
Description détaillée
Une valise comprenant un système de contrôle visuel selon un exemple de réalisation de la présente invention ainsi que le procédé qui lui est associé vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 et 2.
Dans l’exemple décrit ici, on se place dans une situation classique de l’industrie automobile où il est requis dans une démarche qualité de réaliser un contrôle visuel sur des pièces manufacturées, appelées ici objets, se déplaçant sur une ligne de production LP comme illustré en .
Dans cet exemple, il est requis de mettre en place un contrôle qualité sur une voiture en cours de fabrication se déplaçant sur une ligne de production LP. Il est plus particulièrement recherché la détection précoce d’éventuelles anomalies sur un rétroviseur ou sur une jante de roue.
On comprendra ici qu’il s’agit d’un exemple à titre purement illustratif qui ne présente en aucun cas un caractère limitatif ; en effet, la présente invention trouvera des exemples d’applications avantageuses pour d’autres types de pièces et/ou d’autres secteurs de l’industrie.
Dans ce contexte, un des objectifs est donc de proposer une solution qui permet à l'industrie d'accompagner le contrôle qualité et conformité en toute autonomie en fournissant à l’industrie, et notamment l’industrie automobile, un outil de contrôle visuel qui est simple à déployer et ne nécessite pas l’intervention d’un opérateur spécialisé.
La détection automatique d’anomalie sur les produits se déplaçant sur la ligne de production LP est rendue possible dans l’exemple qui va suivre grâce à la valise 200 proposée dans le cadre de la présente invention.
On dispose donc dans cet exemple d’une valise 200 sur roulettes.
Une telle valise 200 transportable est facile d’utilisation ; elle permet un déplacement aisé de l’ensemble des composants du système 100 à l’endroit précis où l’opérateur souhaite établir son point de contrôle PC pour contrôler la ligne de production LP.
Comme indiqué ci-dessus, cette valise 200 comprend les différents moyens techniques et informatiques du système 100 permettant une bonne mise en œuvre de l’invention.
A cet effet, le système 100 comprend :
- des moyens 10 de capture d’images, appelés ici caméra ;
- un circuit de traitement d’images 50 ;
- une interface graphique 30 éventuellement tactile 30 telle que par exemple une type tablette numérique ;
- un ou plusieurs processeurs 40 ;
- des moyens d’avertissement 60 de type verrine apte à émettre un signal visuel et/ou sonore.
- des moyens 10 de capture d’images, appelés ici caméra ;
- un circuit de traitement d’images 50 ;
- une interface graphique 30 éventuellement tactile 30 telle que par exemple une type tablette numérique ;
- un ou plusieurs processeurs 40 ;
- des moyens d’avertissement 60 de type verrine apte à émettre un signal visuel et/ou sonore.
On notera ici que le système 100 comprend également une interface de communication 70 apte à établir une communication sans fil de type par exemple radiofréquence, 3G, 4G ou 5G (ou équivalent) ou déployant d’autres technologie de typeWifi®,Bluetooth®,ZigBee® ou RFID.
Une telle interface permet notamment d’assurer une communication avec la tablette 30 et éventuellement avec la caméra 10 si besoin.
Le ou les processeurs 40 configurés pour l’exécution des instructions du ou des logiciels embarqués. Le processeur 40 peut inclure de la mémoire intégrée, une interface d’entrée/sortie, et différents circuits connus de l’homme du métier. Il peut s’agir d’un processeur (ou d’un microprocesseur) de type CPU, GPU, TPU, FPGA, etc. il s’agit là d’exemples d’implémentation possibles pour l’homme du métier.
Dans cet exemple, aucune connaissance préalable des objets n’est nécessaire ni aucune connexion au réseau n’est requise ; ceci constitue l’un des nombreux avantages de la présente invention.
Pour atteindre ces avantages, le concept sous-jacent à la présente invention repose sur une exploitation des technologies relatives à l’intelligence artificielle pour détecter en temps réel, avec précision et de façon automatique les anomalies présentes sur les différents produits se déplaçant sur la ligne de production LP.
On prévoit ainsi dans le cadre de la présente invention une phase d’apprentissage P0.
Lors de cette phase P0, l’opérateur muni de sa valise 200 se déplace dans l’environnement industrielle et se positionne à proximité de la ligne de production LP à inspecter.
Il ouvre alors la valise 200 pour accéder à l’ensemble des éléments du système 100.
Dans cette valise 200, il saisit la caméra 10 de type haute résolution par exemple et positionne celle-ci selon un point de contrôle PC déterminé de manière à ce que le champ de vision de la caméra 10 comprenne la ligne de production LP.
L’opérateur enclenche alors la phase d’apprentissage P0 à un instant d’apprentissage déterminé en lançant une première acquisition S0 d’une première séquence vidéo SV1.
Cette première séquence vidéo SV1 comprend alors un flux d’images comprenant une pluralité d’objets se déplaçant sur la ligne de production LP.
On peut prévoir de façon optionnelle des étapes préalables de réglage de la netteté, de la luminosité et/ou de la résolution pour améliorer la qualité de l’image. Ceci peut être souhaitable dans certains environnements industriels, notamment sur les chaînes de production des industries qui fonctionnent de jour comme de nuit et dans lesquels bien souvent l’éclairage peut être mauvais.
On notera ici que l’interface graphique comprend des moyens de traitement d’images permettant de contrôler (de façon continue ou discontinue) la qualité de l’image (variation de lumière ou équivalents, etc.) pour détecter de façon précoce des anomalies et lever toute ambiguïté. Un signal est alors émis pour lever l’alerte en cas d’anomalie ou non. On parle également de désambiguation.
Cette première séquence SV1 est ensuite enregistrée sur des moyens de mémorisation 20 de type mémoire volatile at/ou non volatile et/ou sur un dispositif de stockage mémoire qui peut comprendre de la mémoire volatile et/ou non volatile, telle que EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, disque magnétique ou optique.
Dans cet exemple, l’opérateur visualise ensuite sur la tablette 30 cette première séquence vidéo SV1 pour en extraire lors d’une étape S1 au moins une première image I1.
Cette extraction S1 se fait par interaction avec la tablette 30 en sélectionnant ladite première image I1 de la séquence SV1 ; alternativement, cette extraction S1 peut se faire automatiquement par des moyens logiciels qui analysent le flux d’images et sélectionnent une ou plusieurs images en fonction d’un critère de qualité déterminé (netteté par exemple ou autres).
Ainsi, l’opérateur visualise sur sa tablette 30 une image I1 comprenant au moins un objet se déplaçant sur la ligne de production LP.
Ici, par objet, on comprend un produit manufacturé ou en cours de fabrication (ici la voiture en cours de fabrication).
Il convient, après extraction S1 de l’image I1, de sélectionner dans cette image I1 un élément déclencheur TRI et un élément à contrôler E.
Cette étape de sélection S2 est réalisée par l’intermédiaire de la tablette 30 : L’opérateur sélectionne S2_1 sur la première image I1 une zone d’intérêt correspondant au déclencheur en interagissant manuellement avec l’interface 30. Cette sélection S2_1 se fait par exemple en dessinant avec le doigt sur l’écran de la tablette un cadre comprenant le déclencheur TRI.
Dans l’exemple décrit ici, un tel déclencheur TRI correspond à un objet ou une partie d’un objet toujours présent sur l’élément à contrôler ; ici, il peut s’agir par exemple de la partie avant de la voiture ou d’une roue.
Comme on pourra le comprendre dans la suite de la description, un tel déclencheur TRI permet par la suite de déclencher la prise et l’analyse d’images en phase de production P1.
Une fois le déclencheur TRI sélectionné sur la première image I1, l’opérateur sélectionne S2_2 une sous-zone d’intérêt correspondant à l’élément à contrôler E, par exemple le rétroviseur à contrôler ou la jante à contrôler.
On notera ici que l’objet déclencheur TRI ne doit pas être l’élément à contrôler E, car il est souhaitable que la capture d’images soit déclenchée même si l’élément à contrôler E est manquant ou anormale.
De la même façon, cette sélection S2_2 se fait en dessinant avec le doigt sur l’écran un cadre comprenant l’élément à contrôler dans la zone d’intérêt préalablement sélectionnée.
Le concept de sélection de déclencheur TRI et d’élément à contrôler E est souhaitable pour améliorer la robustesse de l’algorithme et limiter le temps de traitement et les ressources informatiques en phase de production P1.
Suite à cette sélection S2, il est prévu une génération S3 d’un test de conformité.
Cette génération de test de conformité est caractéristique de la présente invention ; celle-ci est réalisée par des techniques d’apprentissage de typeMachine Learningmises en œuvre par un processeur 40 couplé à des moyens de traitement d’images 50 compris dans le système 100 et intégrés dans la valise 200.
Aucune connexion au réseau Internet ou à un serveur distant n’étant ici requis.
Dans cet exemple, la génération S3 du test de conformité comprend un traçage de points caractéristiques de l’élément à contrôler E. Un tel traçage vise à suivre l’élément à contrôler E dans la première séquence vidéo SV1 pour ainsi collecter une pluralité d’éléments à contrôler.
Par cette technique de traçage, il est ainsi possible de réaliser cette étape de génération S3 du test de conformité par un apprentissage sur une pluralité d’éléments à contrôler E ; le processeur peut alors collecter une pluralité d’élément à contrôler E à partir d’une même séquence vidéo SV1, ce qui permet donc à partir d’une unique séquence d’avoir suffisamment de données pour avoir un test robuste.
Pour améliorer cette robustesse, on peut prévoir une normalisation de la première image I1.
Ensuite, on prévoit une transformation de la première image I1 en une liste de descripteurs de type «features» pour permettre une analyse sémantique de l’élément à contrôler E selon cette liste de descripteurs : la génération du test de conformité comprend ainsi une génération à partir de chaque élément à contrôler d’un vecteur caractéristique de référence V_REF comprenant un ensemble de valeurs caractéristiques représentatives de chaque élément de référence.
Il est ensuite prévu un partitionnement supervisé des valeurs caractéristiques de chaque vecteur caractéristique pour déterminer au moins un cluster (ou classe), puis un calcul de scores de similarité en fonction des distances entre les vecteurs caractéristiques et le centre de chaque cluster.
Le résultat, pour une image, est donc une liste de scores de similarités correspondant aux diversités (rétroviseur rouge 95%, rétroviseur bleu 0%). Un seuil sur ce score est fixé (80% par défaut, empirique), en-deçà duquel la classe trouvée ne peut pas être considérée comme nominale : (exemple rétroviseur rouge 32%, rétroviseur bleu 1% : anomalie, on ne reconnait rien suffisamment). L’indice de similarité se présente alors comme un score qui a été conçu pour donner un sens “humain” et intuitif à la compréhension du résultat.
On comprend ici qu’un seuil global s’applique à chaque classe. Pour chaque analyse d’un élément à contrôler et indépendamment de la classe détectée, si le score de similarité est inférieur au seuil global, une alerte est levée. Le seuil par classe permet d’affiner la définition du seuil pour chacune des classes du point de contrôle. Ainsi, pour chaque analyse, si le score de similarité est inférieur au seuil de la classe détecté, une alerte sera levée. Le tableau sous chaque seuil est la matrice de confusion, elle permet de faciliter la définition du seuil car sa variation modifie le contenu de la matrice de confusion
Par ces différentes étapes, simples à mettre en œuvre et courte, il est possible lors d’une phase d’apprentissage de générer un test de conformité permettent par la suite lors d’une phase ultérieure de production P1 de contrôler de façon automatique le niveau de conformité des éléments à contrôler et ainsi de détecter les éventuelles anomalies sur une ligne de production.
Grâce à cette phase préalable d’apprentissage P0, la phase P1 se fait par un traitement à la volée.
Cette phase P1 comprend plus particulièrement une deuxième acquisition S4 à un instant courant, postérieur à l’instant d’apprentissage, d’une deuxième séquence vidéo SV2.
Cette acquisition S4 est réalisée ici à l’aide de la caméra 10 arrangée selon le point de contrôle PC.
Un traitement d’images est réalisé sur cette deuxième séquence vidéo pour reconnaître S5 en temps réel l’élément déclencheur TRI dans cette deuxième séquence vidéo SV2, par exemple la partie avant du véhicule ou une roue.
On prévoit ici la mise en œuvre d’un algorithme de traitement d’images de type «image recognition »pour cette reconnaissance du déclencheur TRI.
Une fois le déclencheur détecté, le processeur génère un signal de déclenchement SD qui active le circuit de traitement d’images 50 de manière à extraire lors d’une étape S6 une ou plusieurs deuxièmes images I2 à partir de cette deuxième séquence vidéo SV2 ; ce ou ces deuxièmes images qui comprennent chacune l’élément déclencheur TRI (par exemple la partie avant de la voiture ou la roue de la voiture) sont ensuite analysées S7 par traitement d’images pour détecter le ou les éléments à contrôler E (rétroviseur ou jante).
On prévoit ensuite une détermination S8 d’un vecteur caractéristique V_E pour chaque élément à contrôler E détecté, et on peut alors vérifier lors d’une étape S9 un niveau de conformité par application du test de conformité en comparant le vecteur caractéristique V_E de chaque élément à contrôler E.
En cas détection d’une anomalie (distance supérieure à un seuil déterminé), il est prévu une génération d’un signal d’avertissement SA à destination des moyens d’avertissement 60 de manière à ce que la verrine (par exemple un gyrophare) émette un signal visuel et/ou sonore pour prévenir les opérateurs sur la ligne de production.
Ainsi, la présente invention en mettant à disposition une valise 200 portative rend possible le déploiement d’une solution de contrôle automatique par vision en milieu industriel, incluant notamment les lignes de montage, les convoyeurs, les tapis roulants. En exploitant les technologies d’apprentissage par intelligence artificielle, le système 100 embarqué dans cette valise 200 est ergonomique et facile d’usage ; il permet en outre de créer et de déployer des analyses visuelles industrielles en moins de 30 minutes, sans faire intervenir d’opérateurs spécialisés contrairement aux autres solutions de l’état de l’art.
La valise 200 telle que proposée dans le cadre de la présente invention embarque en effet tous les moyens techniques et informatiques permettant de mettre en place facilement et rapidement un système 100 d’analyse d’image automatique (détection sélective de l’assemble et/ou analyse (e.g. tri, détection de défauts) sur une ligne de production, ceci sans programmation, sans codage informatique, sans paramétrage scientifique, sans connaissance technique préalable de l’environnement industriel.
On notera également qu’une connexion à un serveur tierce reste possible pour télécharger un test de conformité prédéterminé afin de réaliser un test de conformité spécifique par exemple pour identifier une anomalie difficilement décelable.
Bien évidemment, on comprend ici que le système 100 de la valise 200 peut comprendre des moyens d’alimentation (non représentés ici) de type batterie rechargeable. On peut également prévoir un câble d’alimentation pour une alimentation électrique sur secteur.
La caméra 10 est reliée au système 100 par un câble Ethernet de type POE ou par l’interface de communication 70.
Il devra être observé que cette description détaillée porte sur un exemple de réalisation particulier de la présente invention, mais qu’en aucun cas cette description ne revêt un quelconque caractère limitatif à l’objet de l’invention ; bien au contraire, elle a pour objectif d’ôter toute éventuelle imprécision ou toute mauvaise interprétation des revendications qui suivent. Il devra également être observé que les signes de références mis entre parenthèses dans les revendications qui suivent ne présentent en aucun cas un caractère limitatif ; ces signes ont pour seul but d’améliorer l’intelligibilité et la compréhension des revendications qui suivent ainsi que la portée de la protection recherchée.
Claims (15)
- Procédé de contrôle visuel d’un élément se déplaçant sur une ligne de production (LP), ledit procédé mis en œuvre par des moyens informatiques comprenant les étapes suivantes :
A) lors d’une phase initiale d’apprentissage (P0)
- une première acquisition (S0) à un instant d’apprentissage d’une première séquence vidéo (SV1) à l’aide d’une caméra (10) arrangée selon un point de contrôle (PC) déterminé pour comprendre ladite ligne de production (LP) dans son champ de vision ;
- une première extraction (S1) d’au moins une première image (I1) à partir de ladite première séquence vidéo (SV1) ;
- une sélection (S2) sur ladite au moins une première image (I1) extraite d’au moins un élément déclencheur (TRI) et d’au moins un élément à contrôler (E) ; et
- une génération (S3) d’un test de conformité en générant à partir de ladite au moins une première image (I1) comprenant ledit au moins un élément à contrôler (E) un vecteur caractéristique de référence (V_REF) comprenant un ensemble de valeurs caractéristiques représentatives d’un élément de référence ;
B) lors d’une phase de production (P1)
- une deuxième acquisition (S4) à un instant courant, postérieur à l’instant d’apprentissage, d’une deuxième séquence vidéo (SV2) à l’aide de ladite caméra (10) arrangée selon ledit point de contrôle (PC) ;
- une reconnaissance (S5) en temps réel dudit au moins un élément déclencheur (TRI) dans la deuxième séquence vidéo (SV2) afin d’émettre un signal de déclenchement (SD) ;
- sur réception dudit signal de déclenchement (SD), une deuxième extraction (S6) à partir de ladite deuxième séquence vidéo (SV2) d’au moins une deuxième image (I2) comprenant ledit au moins un élément déclencheur (TRI) et une analyse (S7) de ladite au moins une deuxième image (I2) pour détecter ledit au moins un élément à contrôler (E) ;
- une détermination (S8) d’un vecteur caractéristique (V_E) pour ledit au moins un élément à contrôler (E) ;
- une vérification (S9) d’un niveau de conformité par application dudit test de conformité en comparant le vecteur caractéristique (V_E) dudit au moins un élément à contrôler (E) avec ledit vecteur caractéristique de référence (V_REF). - Procédé selon la revendication 1, dans lequel la génération (S3) du test de conformité comprend un traçage de points caractéristiques dudit au moins un élément à contrôler (E) pour suivre ledit au moins un élément à contrôler (E) dans la première séquence vidéo (SV1) et collecter une pluralité d’éléments à contrôler (E).
- Procédé selon la revendication 2, dans lequel la génération (S3) du test de conformité est réalisée par apprentissage sur ladite pluralité d’éléments à contrôler (E).
- Procédé selon la revendication 3, dans lequel la génération (S3) du test de conformité comprend une normalisation de la première image (I1).
- Procédé selon la revendication 3 ou 4, dans lequel la génération (S3) du test de conformité comprend une analyse sémantique dudit au moins un élément à contrôler (E) selon une pluralité de descripteurs déterminés.
- Procédé selon l’une quelconque des revendications 3 à 5, dans lequel la génération (S3) du test de conformité comprend un partitionnement supervisé des valeurs caractéristiques de chaque vecteur caractéristique (V_E) pour déterminer au moins un cluster.
- Procédé selon la revendication 6, dans lequel la génération (S3) du test de conformité comprend un calcul de scores de similarité en fonction des distances entre les vecteurs caractéristiques (V_E) et le centre de chaque cluster.
- Procédé selon l’une quelconque des revendications précédentes, dans lequel la première extraction (S1) comprend un affichage de la première séquence vidéo (SV1) sur une interface graphique tactile (30) et une sélection de ladite au moins une première image (I1) en interagissant manuellement avec ladite interface (30).
- Procédé selon la revendication 8, dans lequel l’étape de sélection (S2) dudit élément déclencheur (TRI) comprend une première sélection (S2_1) d’une zone d’intérêt sur ladite au moins une première image (I1) en interagissant manuellement avec ladite interface (40).
- Procédé selon la revendication 9, dans lequel l’étape de sélection (S2) dudit élément à contrôler comprend une deuxième sélection (S2_2) d’une sous-zone d’intérêt dans ladite zone d’intérêt correspondant à l’élément déclencheur (TRI), ladite deuxième sélection (S2_2) étant réalisée en interagissant manuellement avec ladite interface (40).
- Procédé selon l’une quelconque des revendications précédentes, dans lequel la vérification (S9) du niveau de conformité comprend, en cas détection d’une anomalie, une génération d’un signal d’avertissement (SA).
- Programme d’ordinateur comportant des instructions adaptées pour l’exécution des étapes du procédé selon l’une quelconque des revendications 1 à 11 lorsque ledit programme d’ordinateur est exécuté par au moins un processeur.
- Support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon l’une quelconque des revendications 1 à 11.
- Système informatique (100) de contrôle visuel d’un élément se déplaçant sur une ligne de production (LP), ledit système (100) comprenant des moyens informatiques configurés pour une mise en œuvre des étapes du procédé selon l’une quelconque des revendications 1 à 11.
- Valise (200) sur roulette comprenant un système informatique (100) selon la revendication 14.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2100582A FR3119038B1 (fr) | 2021-01-21 | 2021-01-21 | Contrôle visuel d’un élément se déplaçant sur une ligne de production |
| EP22705424.4A EP4281930A1 (fr) | 2021-01-21 | 2022-01-19 | Contrôle visuel d' un élément se déplaçant sur une ligne de production |
| PCT/FR2022/050102 WO2022157452A1 (fr) | 2021-01-21 | 2022-01-19 | Contrôle visuel d' un élément se déplaçant sur une ligne de production |
| KR1020237026558A KR20230133315A (ko) | 2021-01-21 | 2022-01-19 | 생산 라인에서 이동중인 요소에 대한 시각 검사 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2100582A FR3119038B1 (fr) | 2021-01-21 | 2021-01-21 | Contrôle visuel d’un élément se déplaçant sur une ligne de production |
| FR2100582 | 2021-01-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3119038A1 true FR3119038A1 (fr) | 2022-07-22 |
| FR3119038B1 FR3119038B1 (fr) | 2023-03-17 |
Family
ID=74871649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2100582A Active FR3119038B1 (fr) | 2021-01-21 | 2021-01-21 | Contrôle visuel d’un élément se déplaçant sur une ligne de production |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4281930A1 (fr) |
| KR (1) | KR20230133315A (fr) |
| FR (1) | FR3119038B1 (fr) |
| WO (1) | WO2022157452A1 (fr) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6175652B1 (en) | 1997-12-31 | 2001-01-16 | Cognex Corporation | Machine vision system for analyzing features based on multiple object images |
| US6483935B1 (en) | 1999-10-29 | 2002-11-19 | Cognex Corporation | System and method for counting parts in multiple fields of view using machine vision |
| US6567538B1 (en) * | 1999-08-02 | 2003-05-20 | The United States Of America As Represented By The Secretary Of Agriculture | Real time measurement system for seed cotton or lint |
| US20130070113A1 (en) | 2011-09-13 | 2013-03-21 | Cognex Corporation | Master and Slave Machine Vision System |
| US20170344822A1 (en) * | 2014-12-23 | 2017-11-30 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Semantic representation of the content of an image |
-
2021
- 2021-01-21 FR FR2100582A patent/FR3119038B1/fr active Active
-
2022
- 2022-01-19 KR KR1020237026558A patent/KR20230133315A/ko unknown
- 2022-01-19 EP EP22705424.4A patent/EP4281930A1/fr active Pending
- 2022-01-19 WO PCT/FR2022/050102 patent/WO2022157452A1/fr active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6175652B1 (en) | 1997-12-31 | 2001-01-16 | Cognex Corporation | Machine vision system for analyzing features based on multiple object images |
| US6567538B1 (en) * | 1999-08-02 | 2003-05-20 | The United States Of America As Represented By The Secretary Of Agriculture | Real time measurement system for seed cotton or lint |
| US6483935B1 (en) | 1999-10-29 | 2002-11-19 | Cognex Corporation | System and method for counting parts in multiple fields of view using machine vision |
| US20130070113A1 (en) | 2011-09-13 | 2013-03-21 | Cognex Corporation | Master and Slave Machine Vision System |
| US20170344822A1 (en) * | 2014-12-23 | 2017-11-30 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Semantic representation of the content of an image |
Non-Patent Citations (3)
| Title |
|---|
| CLAUSEN SASCHA ET AL: "Parcel Tracking by Detection in Large Camera Networks", 14 February 2019, ADVANCES IN DATABASES AND INFORMATION SYSTEMS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 89 - 104, ISBN: 978-3-319-10403-4, XP047502663 * |
| JOSE J LOPEZ ET AL: "Computer-based detection and classification of flaws in citrus fruits", NEURAL COMPUTING AND APPLICATIONS, SPRINGER-VERLAG, LO, vol. 20, no. 7, 20 June 2010 (2010-06-20), pages 975 - 981, XP019952382, ISSN: 1433-3058, DOI: 10.1007/S00521-010-0396-2 * |
| SCIMECA LUCA ET AL: "Self-supervised Learning Through Scene Observation for Selective Item Identification in Conveyor Belt Systems", 16 September 2020, ADVANCES IN INTELLIGENT DATA ANALYSIS XIX; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], PAGE(S) 171 - 183, ISBN: 978-3-540-35470-3, ISSN: 0302-9743, XP047578821 * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230133315A (ko) | 2023-09-19 |
| EP4281930A1 (fr) | 2023-11-29 |
| WO2022157452A1 (fr) | 2022-07-28 |
| FR3119038B1 (fr) | 2023-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3056289B1 (fr) | Procédé et dispositif de tri sélectif | |
| EP3271869B1 (fr) | Procédé de traitement d'un signal asynchrone | |
| FR2909202A1 (fr) | Procede d'analyse de la disposition de produits dans un lineaire de magasin. | |
| EP3633552B1 (fr) | Procédés d'apprentissage de paramètres d'un réseau de neurones à convolution et de détection d'éléments d'intérêt visibles dans une image | |
| WO2016097520A1 (fr) | Procede de detection de defaut sur une surface de pneumatique | |
| EP3866064A1 (fr) | Procede d'authentification ou d'identification d'un individu | |
| EP3614306A1 (fr) | Procédé de localisation et d'identification de visage et de détermination de pose, à partir d'une vue tridimensionnelle | |
| EP3679517A1 (fr) | Procede de determination des bords saillants d'une cible sur une image | |
| FR3119038A1 (fr) | Contrôle visuel d’un élément se déplaçant sur une ligne de production | |
| FR3033913A1 (fr) | Procede et systeme de reconnaissance d'objets par analyse de signaux d'image numerique d'une scene | |
| FR3110746A1 (fr) | Dispositif de contrôle pour vérifier la conformité d’un kit de pièces | |
| EP3966739B1 (fr) | Procédé d'analyse automatique d'images pour reconnaître automatiquement au moins une caractéristique rare | |
| EP2180436B1 (fr) | Système de procédé d'apprentissage semi-supervisé pour la classification de données à partir de paramètres discriminants | |
| FR3049709B1 (fr) | Procede de detection d'un defaut sur une surface par eclairage multidirectionnel et dispositif associe | |
| FR3107378A1 (fr) | Procédé de détection et de classification des défauts des canalisations | |
| FR3101715A1 (fr) | Procédé et système multimodal d’identification d’objets | |
| WO2024023453A1 (fr) | Dispositif de surveillance d'opération industrielle | |
| EP3757943B1 (fr) | Procédé et dispositif de télémétrie passive par traitement d'image et utilisation de modeles en trois dimensions | |
| FR3104775A1 (fr) | Dispositif de reconnaissance d’objet pour la Gestion de Maintenance Assistée par Ordinateur | |
| FR3051559A1 (fr) | Procede d'optimisation de la detection de cibles marines et radar mettant en oeuvre un tel procede | |
| FR3126253A1 (fr) | Procédé pour normaliser la variabilité d’une image, application de ce procédé à la détection d’anomalie et système d’inspection visuelle implémentant cette détection | |
| WO2023031305A1 (fr) | Procédé de mise en relation d'une image candidate avec une image de référence | |
| FR3103041A1 (fr) | Procédé et dispositif de traitement d’image | |
| FR3140191A1 (fr) | Procédé de génération automatique d’un algorithme d’aide à une prise de décision ; Produit programme d’ordinateur et dispositif informatique associés. | |
| EP4202770A1 (fr) | Reseau de neurones avec generation a la volee des parametres du reseau |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20220722 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |