EP3948664A1 - Procede et systeme d'identification d'objets a partir d'images labellisees desdits objets - Google Patents

Procede et systeme d'identification d'objets a partir d'images labellisees desdits objets

Info

Publication number
EP3948664A1
EP3948664A1 EP20712507.1A EP20712507A EP3948664A1 EP 3948664 A1 EP3948664 A1 EP 3948664A1 EP 20712507 A EP20712507 A EP 20712507A EP 3948664 A1 EP3948664 A1 EP 3948664A1
Authority
EP
European Patent Office
Prior art keywords
labeled
images
module
invariants
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20712507.1A
Other languages
German (de)
English (en)
Inventor
Stefan Berechet
Ion Berechet
Gérard Berginc
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Sispia SARL
Original Assignee
Thales SA
Sispia SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA, Sispia SARL filed Critical Thales SA
Publication of EP3948664A1 publication Critical patent/EP3948664A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher

Definitions

  • the field of the invention is that of the identification of objects from labeled images (labeled) of said objects.
  • the term “labeled image” of a wood defect is understood to mean an image in which a defect has been linked to a known defect belonging to the group formed for example by crack, termite hole, shock hole.
  • machine learning or “Machine Learning” in Anglo-Saxon, which works by automatic learning of a base of labeled invariants (attributes or characteristics).
  • An algorithm is trained with a large amount of input data resulting in the creation of a model that allows output to be provided.
  • the model here is a representation of the question asked and how to answer it.
  • the second machine learning approach requires a representative, not necessarily factorial, labeled database of labeled invariants in order to be able to recognize or identify a given object.
  • the success rate of this approach rarely or slightly exceeds that of the business expert.
  • the third approach by Deep Learning needs large labeled 2D / 3D databases, obtained in factorial. She succeeds in identifying a given object with a success rate or accuracy greater than 95%, hence the interest of this approach.
  • the aim of the invention is to overcome the drawbacks of the identification approaches of the prior art.
  • said first identification module having a first identification precision corresponding to that of the business expert
  • a second identification module suitable for receiving as input the images of the object to be identified and the invariants labeled by the business expert and capable of delivering as output a second plurality of images of said object labeled by machine learning and a second plurality of invariants labeled by machine learning; said second identification module having a second precision corresponding to that of machine learning;
  • a third identification module suitable for receiving as input the images of the object to be identified and capable of delivering as output a third plurality of images labeled by deep machine learning and a third plurality of invariants labeled by machine learning, said third identification module having a third precision corresponding to that of
  • the system further comprises:
  • - a module for the approval and pooling of labeled images receiving as input the first, second, and third pluralities of images labeled respectively by the business expert, by machine learning and by deep machine learning and delivering a plurality of 'mutualized labeled images for adjustment with the best precision;
  • an aggregation and pooling module of labeled invariants receiving as input the first, second, and third labeled invariant pluralities
  • the first, second, and third identification modules use as input for their respective identification, the plurality of labeled pooled adjustment images and / or the plurality of pooled labeled adjustment invariants resulting from the aggregation and pooling modules.
  • the identification system benefits not only from the result at the output of the identification module exhibiting the best precision in the learning phase for the identification of a chosen object but also from reusing (pooling ) the best input identification result for the test phase (interrogation) on subsequent object identifications to be processed.
  • the identification system in accordance with the invention makes it possible to remedy the drawbacks of each individual approach, to reduce the discrepancies between the updating of the databases, or even between the knowledge extracted and increases the precision of each approach. respective thanks to the pooling of databases (2D / 3D images, 2D / 3D invariants coupled with the best precision) enriched by the best response.
  • the best mutualized precision is equal to the maximum between the precision of the Business Expert, the precision of Machine Learning and the precision of Deep Learning.
  • the mutualized adjustment label is equal to the Professional Expert label if the Professional Expert precision is greater than the Machine Learning precision and the Deep Learning precision
  • the mutualized label of the object is equal the Machine Learning Label if the Machine Learning Precision is greater than the Deep Learning Precision and the Business Expert Precision
  • the shared Label is equal for the Deep Learning Label if the Deep Learning Precision is greater than the Expertise Precision and the Machine Learning Precision.
  • the mutualized labeled images of adjustment are obtained by consolidating the images of the object with the mutualized label of the object.
  • the mutualized labeled adjustment invariants are obtained by consolidating the aggregated Invariants with the mutualized Label of the object, the aggregated Invariants are obtained by the aggregation of the
  • Invariants labeled Business Expert Invariants labeled Machine Learning and Invariants labeled Deep Learning.
  • the present invention also relates to a method of identifying an object from labeled images of said object implemented by said identification system according to the invention.
  • the present invention also relates to a computer program downloadable from a communication network and / or recorded on a computer readable medium and / or executable by a processor, which comprises instructions for the execution of the conforming method to the invention when said program is executed on a computer.
  • FIG 1 schematically represents the aggregation and pooling of the results of three approaches: Business Expert, Machine Learning and Deep Learning, [0033]
  • FIG 2 schematically represents the process of identifying objects by the Business expert using the shared database of labeled 2D / 3D invariants,
  • FIG. 3 schematically represents the complete process of learning and identifying objects by Machine Learning using the shared database of labeled 2D / 3D invariants
  • FIG 4 schematically represents the complete process of learning and identifying objects by Deep Learning using the shared database of labeled 2D / 3D images
  • FIG. 1 a, b, c, d are illustrations of 2D images of the defects to be identified and the associated labels
  • FIG 6 is a label obtained by Business Expert approach
  • FIG 7 is a label obtained by Deep Learning approach.
  • the system comprises a first IDEM identification module driven by a business expert EM who receives as input IMO images of an object to be identified (2D and / or 3D), IVO invariants extracted by a EXTIV extraction algorithm.
  • the first IDEM identification module delivers ILEM labeled images of the object by the business expert (human) according to predefined rules linked to the object to be identified and to the expert's profession, invariants labeled by the IVLEM business expert, and a PEM precision from the EM business expert.
  • the hole belongs to the list of specific labels in the wood industry.
  • the hole (figure 6) in the beam was identified by the business expert by the label "Hole t_1".
  • the identification system comprises a second IDLM identification module driven by machine learning also called Machine Learning which receives as input IMO images of an object to be identified (2D and / or 3D), invariants (geometric or others) and IVO invariants extracted by
  • the second IDLM identification module delivers ILML-labeled images of the object by machine learning, IVLML-labeled invariants, and PML precision of machine learning.
  • the identification system also further comprises a third IDDL identification module driven by deep machine learning or "Deep Learning” which receives as input IMO images of an object to be identified (2D and / or 3D).
  • the third IDDL identification module delivers ILDL labeled images of the object by Deep Learning, IVLDL labeled invariants, and PDL precision of Deep Learning.
  • the third IDDL identification module has PDL accuracy corresponding to that of deep machine learning.
  • the MAMR module has as inputs:
  • the MAMR module generates:
  • the PMIM and PMIV mutualized Precisions are chosen so as to be equal at most between the Precision of the PEM Business Expert, the Precision of the PML Machine Learning and the Precision of the Deep Learning PDL.
  • the aggregation and pooling module outputs a result which corresponds to the label selected, also called "Label LAB" of the shared object.
  • the shared labeled 2D / 3D images are obtained by consolidating the 2D / 3D images of the object with the shared LAB label of the object.
  • the shared labeled 2D / 3D Invariants are obtained by consolidating the aggregated Invariants with the shared LAB Label of the object.
  • Aggregated 2D / 3D Invariants are obtained by aggregating Invariants labeled by the Business Expert, Invariants labeled by Machine Learning and Invariants labeled by Deep Learning.
  • the shared labeled 2D / 3D images and the associated shared Precisions will enrich a shared database of 2D / 3D images labeled BMIM with associated PMIM Precisions.
  • pooled labeled 2D / 3D Invariants and pooled Precisions will enrich a pooled database of BMIV labeled 2D / 3D invariants and with associated PMIV Precisions.
  • the shared base of 2D / 3D images labeled BMIM with associated details PMIM will be used for the adjustment of the IDLM and IDDL identification modules (dotted in Figure 1).
  • the shared database of 2D / 3D invariants labeled BMIV and with associated details PMIV will be used by the IDEM module (dotted in Figure 1).
  • BMIM images
  • BMIV invariants
  • 2D / 3D IMO images of an object to be identified are sent:
  • the EXTIV 2D / 3D Invariant Extraction Algorithmic Module generates the 2D / 3D IVO Invariants of the object from the 2D / 3D IMO Images of the object.
  • the 2D / 3D IVO Invariants of the object are sent:
  • the complete process of identifying objects by the Business Expert will call on the shared database BMIV-labeled 2D / 3 invariants to adjust its human identification if the invariants stored in the database have better precision than those from the EXTIV extraction module.
  • the 2D / 3D Invariant Extraction Algorithmic Module EXTIV generates 2D / 3D Invariants of the object from the 2D / 3D Images of the object.
  • the search is positive, that is to say when the labeled 2D / 3D Invariants resulting from the mutualized Base of 2D / 3D invariants BMIV are better than those resulting from the extraction module, then the labeled invariants with associated details from the BMIV database are in turn sent to the Business Expert as an aid in the human identification of the object. Otherwise, in the event of a negative search, the expert relies on the invariants from the EXTIV extraction module.
  • the Business Expert generates the ILEM Label of the object and the associated PEM Precision on the basis of the invariants thus updated and optimized thanks to the database of labeled and shared invariants.
  • the CREM results consolidation algorithmic module generates the 2D / 3D Images of the object labeled by the Business Expert, the 2D / 3D Invariants of the object labeled by the Business Expert and the Accuracy of the Expert Business by consolidating
  • the process includes a Machine Learning phase in order to adjust (optimize, update) the Machine Model
  • the process includes a questioning phase of the Machine Learning Model IDML, adjusted during the phase
  • the 2D / 3D Invariant Extraction Algorithmic Module generates 2D / 3D Invariants of the object from 2D / 3D Images of the object
  • the results Consolidation algorithmic module generates 2D / 3D Images of the object labeled by Machine Learning, 2D / 3D Invariants of the object labeled by Machine Learning and Machine Learning Precision by consolidating (associating) the Label of the object to the 2D / 3D Images of the object, to the 2D / 3D Invariants of the object and to the associated Precision.
  • a Deep Learning Learning phase makes it possible to adjust the Deep Learning Model on the correspondence 2D / 3D Images x Labels from the shared database of labeled 2D / 3D images with associated details.
  • the process includes a questioning phase of the Deep Learning IDDL Model, adjusted during the phase
  • the Interrogation Module of the IDDL adjusted Deep Learning Model generates both the Label of the object, the associated Precision and the 2D / 3D Invariants of the object,
  • the algorithmic module for Consolidation of CRDL results generates the 2D / 3D Images of the object labeled by Deep Learning, the 2D / 3D Invariants of the object labeled by Deep Learning and the Precision of Deep Learning by consolidating (associating) the Label of the object to the 2D / 3D Images of the object, to the 2D / 3D Invariants of the object and to the associated Precision.
  • Figures 5a to 5d there is illustrated an example of four images of a wooden beam comprising anomalies or defects to be identified.
  • the problem here is to identify the crippling defect in the wood industry on a large quantity of wooden beams to be treated.
  • the hole belongs to the list of specific labels in the wood industry.
  • the hole (figure 6) in the beam has been identified by business expert and machine learning and labeled with the label “Hole t_1”.
  • f2Joc location of Fissure_2 [x1, y1, x2, y2]
  • tm2Joc location holes_ termites_2 [x1, y1]
  • tm3_loc location holes_ termites_3 [x1, y1]
  • tm5_loc location holes_ termites_5 [x1, y1]
  • tm7_loc location holes_ termites_7 [x1, y1]
  • b_mony condition of the wood (good, average, bad).
  • Labels obtained by the Deep Learning Approach and the regions of interest associated with anomalies or defects on the same image of the wooden beam. These Labels are of the type: Hole, Fissure and Termite Hole.
  • the structure of the Machine Learning Approach used for the classification of defects is of the Support Vector Machine (SVM) type.
  • SVM Support Vector Machine
  • the structure of the Deep Learning Approach used for the detection and classification of defects is of the "Faster R-CNN (Regions with Convolutional Neural Network features) object classification” type.
  • the aggregation of invariants uses adaptive Boolean operators: AND, OR and XOR.
  • Other methods are applicable: Bayesian probabilistic methods, the Dempster-Shafer method ”based on belief theory, Borda Count rank methods, Ordered Weighted Averaging operator (OWA), Aggregator Weight-Functional Operator (AWFO) , Hidden Markov Chains (CMC), rule-based fuzzy logic
  • the invention thus makes it possible to remedy the drawbacks of each individual approach, to reduce the discrepancies between the updating of the databases, or even between the knowledge extracted, and increases the details of each respective approach thanks to the pooling of the databases.
  • the Deep Learning approach uses the Labels acquired in learning by the Approach Business Expert and Machine Learning Approach Labels,
  • the Machine Learning Approach uses the invariants acquired in learning by the Business Expert Approach and the invariants of the Deep Learning Approach,
  • the identification system benefits not only from the result at the output of the identification module having the best precision in the learning phase for the identification of a chosen object but also to reuse
  • the fields of application of the invention are broad, covering the detection, classification, recognition and identification of objects of interest.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

Le système d'identification d'objets à partir d'images comprend un module d'agréation et de mutualisation d'images recevant en entrée les première, deuxième, et troisième pluralités d'images labellisées respectivement par l'expert métier, par apprentissage automatique et par apprentissage automatique profond et délivrant en sortie une pluralité d'images labélisées mutualisées d'ajustement ayant la meilleure précision; et un module d'agrégation et de mutualisation d'invariants recevant en entrée les première, deuxième, et troisième pluralités invariants labellisés respectivement par l'expert métier, par apprentissage automatique et par apprentissage automatique profond et délivrant en sortie une pluralité d'invariants labélisés mutualisés d'ajustement ayant la meilleure précision. En réponse à une nouvelle pluralité d'images de l'objet à identifier, les premier, deuxième, et troisième modules d'identification sont conçus pour utiliser en entrée, séparément et séquentiellement pour leur identification respective, la pluralité d'images labellisés mutualisés d'ajustement et/ou la pluralité d'invariants labellisés mutualisés d'ajustement issus des modules d'agrégation et de mutualisation.

Description

PROCEDE ET SYSTEME D’IDENTIFICATION D’OBJETS A PARTIR D’IMAGES
LABELLISEES DESDITS OBJETS
[0001 ] Le domaine de l’invention est celui de l’identification d’objets à partir d’images labellisées (étiquetées) desdits objets.
[0002] Elle trouve une application dans de nombreux secteurs, qui peuvent aller de la reconnaissance faciale et vocale, des voitures autonomes, de la robotique civile et militaire jusqu’à la reconnaissance d’images médicales, en passant par la détection de défauts en industrie telle que celle du bois par exemple.
[0003] Dans l’exemple de l’industrie du bois, on entend par « image labellisée » d’un défaut du bois, une image dans laquelle on a relié un défaut à un défaut connu appartenant au groupe formé par exemple par fissure, trou de termite, trou de choc.
[0004] On connaît au moins trois approches différentes pour classifier, reconnaître ou identifier des défauts à partir d’images labellisées de ces défauts.
[0005] En premier lieu, on connaît l’approche dite « par Expert Métier », basée sur l’expérience et le savoir-faire de l’Expert de l’objet à identifier, par exemple l’Expert en industrie du bois. L’expert métier traite alors en entrée une grande quantité d’images de poutres et attribue en sortie un « label » correspondant à la présence ou non d’un défaut connu. Une telle approche est par exemple celle décrite dans le document US9135747B.
[0006] En deuxième lieu, on connaît en intelligence artificielle l’approche appelée par « apprentissage automatique » ou « Machine Learning » en anglo-saxon, qui fonctionne par apprentissage automatique d’une base d’invariants (attributs ou caractéristiques) labellisés. Un algorithme est entraîné avec une grande quantité de données en entrée aboutissant à la création d’un modèle qui permet de fournir une sortie. Le modèle est ici une représentation de la question posée et de la manière d’y répondre.
[0007] En troisième lieu, on connaît en intelligence artificielle l’approche appelée par « apprentissage automatique profond » ou « Deep Learning » en anglo-saxon, qui fonctionne par la mise en correspondance des images contenant l’objet et les labels associés. Une telle approche est par exemple celle décrite en reconnaissance faciale dans US2015/0125049 de Facebook. [0008] La première approche par Expert Métier est limitée par l’expertise et la capacité humaine à classifier des objets complexes. Généralement, le taux de réussite de l’expert métier est entre 85% et 90% (Taux de réussite = Nombre d’identifications réussies / Nombre d’identifications réalisées * 100).
[0009] La deuxième approche par Machine Learning a besoin d’une base de données d’invariants labélisés représentative, pas nécessairement factorielle, afin de pouvoir reconnaître ou identifier un objet donné. Le taux de réussite de cette approche dépasse rarement ou de peu celui de l’expert métier.
[0010] La troisième approche par Deep Learning a besoin d’importantes bases de données 2D/3D labélisées, obtenues en factoriel. Elle réussit à identifier un objet donné avec un taux de réussite ou de précision supérieur à 95%, d’où l’intérêt de cette approche.
[001 1 ] Dans la pratique, la notion de taux de réussite est également appelée précision ou confiance associée aux réponses des modèles d’identification d’objets.
[0012] Par la suite, on retient la notion de précision et on l’associe spécifiquement aux réponses de chaque approche.
[0013] L’inconvénient de l’existant réside dans le fait que chaque approche est utilisée individuellement ou éventuellement en cascade, l’une après l’autre, ne permettant pas d’interagir entre les approches. Cela induit des temps d’application très longs, des discordances entre la mise à jour des bases de données, voire entre les connaissances extraites ainsi que la limitation des confiances en identification.
[0014] De plus, au fur à mesure de l’implémentation automatique des techniques d’intelligence Artificielle (Machine Learning, Deep Learning) dans des applications de détection, de classification, de reconnaissance et d’identification d’objets, l’action de l’Expert Métier diminue et implicitement son expérience s’affaiblit. Cela induit à court ou à moyen terme à un appauvrissement du savoir-faire de l’Expert Métier en faveur d’une connaissance artificielle de plus en plus riche et élargie.
[0015] Le but de l’invention est de remédier aux inconvénients des approches d’identification de l’art antérieur.
[0016] Elle vise à faire travailler en simultané et séquentiellement les trois approches via des procédés mis en parallèle avec un enrichissement mutuel et continu des bases de données labellisées nécessaires aux apprentissages automatiques des modèles. [0017] Elle porte sur un système d’identification d’un objet à partir d’images dudit objet à identifier, comprenant :
- un module d’extraction d’invariants de l’objet à partir d’images dudit objet ;
- un premier module d’identification dudit objet propre à recevoir en entrée les images de l’objet à identifier et les invariants issus du module d’extraction
d’invariants, et apte à délivrer en sortie une première pluralités d’images dudit objet labellisées par un expert métier, et une première pluralité d’invariants labellisés par ledit expert métier; ledit premier module d’identification ayant une première précision d’identification correspondant à celle de l’expert métier ;
- un deuxième module d’identification propre à recevoir en entrée les images de l’objet à identifier et les invariants labellisés par l’expert métier et apte à délivrer en sortie une deuxième pluralité d’images dudit objet labellisées par apprentissage automatique et une deuxième pluralité d’invariants labellisés par apprentissage automatique; ledit deuxième module d’identification ayant une deuxième précision correspondant à celle de l’apprentissage automatique ; et
- un troisième module d’identification propre à recevoir en entrée les images de l’objet à identifier et apte à délivrer en sortie une troisième pluralité d’images labellisées par apprentissage automatique profond et une troisième pluralité d’invariants labellisés par apprentissage automatique, ledit troisième module d’identification ayant une troisième précision correspondant à celle de
l’apprentissage automatique profond.
[0018] Selon une définition générale de l’invention, le système comprend en outre :
- un module d’agréation et de mutualisation d’images labélisées recevant en entrée les première, deuxième, et troisième pluralités d’images labellisées respectivement par l’expert métier, par apprentissage automatique et par apprentissage automatique profond et délivrant en sortie une pluralité d’images labélisées mutualisées d’ajustement ayant la meilleure précision ; et
- un module d’agrégation et de mutualisation d’invariants labélisés recevant en entrée les première, deuxième, et troisième pluralités invariants labellisés
respectivement par l’expert métier, par apprentissage automatique et par
apprentissage automatique profond et délivrant en sortie une pluralité d’invariants labélisés mutualisés d’ajustement ayant la meilleure précision ; et
- en réponse à une nouvelle pluralité d’images de l’objet à identifier, les premier, deuxième, et troisième modules d’identification utilisent en entrée pour leur identification respective, la pluralité d’images labellisés mutualisés d’ajustement et/ou la pluralité d’invariants labellisés mutualisés d’ajustement issus des modules d’agrégation et de mutualisation.
[0019] Grâce à l’invention, le système d’identification bénéficie non seulement du résultat en sortie du module d’identification présentant la meilleure précision en phase d’apprentissage pour l’identification d’un objet choisi mais aussi de réutiliser (mutualiser) le meilleur résultat d’identification en entrée pour la phase de test (d’interrogation) sur les identifications ultérieures d’objet à traiter.
[0020] Il en résulte une identification aboutissant à des meilleurs résultats.
[0021 ] Ainsi le système d’identification conforme à l’invention permet de remédier aux inconvénients de chaque approche individuelle, de réduire les discordances entre la mise à jour des bases de données, voire entre les connaissances extraites et augmente les précisions de chaque approche respective grâce à la mutualisation des bases de données (images 2D/3D, invariants 2D/3D couplés à la meilleure précision) enrichies par la meilleure réponse.
[0022] De manière surprenante, c’est en mutualisant les bases de données issues des modules d’identification par Expert Métier, Machine Learning et Deep Learning en parallèle et synergie et non en silo comme dans l’art antérieur et en choisissant la meilleure précision qu’un système d’identification performant peut être obtenu, de plus sans entraîner de temps de traitement supplémentaire important.
[0023] En pratique, une base mutualisée d’images labellisées est enrichie
séquentiellement et continuellement par les résultats du module d’agrégation et de mutualisation d’images.
[0024] De même, une base mutualisée d’invariants labellisés est enrichie
séquentiellement et continuellement par les résultats du module d’agrégation et de mutualisation d’invariants.
[0025] Selon un mode de réalisation, la meilleure précision mutualisée est égale au maximum entre la précision de l’Expert Métier, la précision du Machine Learning et la précision du Deep Learning.
[0026] Selon un autre mode de réalisation, le label mutualisé d’ajustement est égal au label Expert Métier si la précision Expert Métier est supérieure à la précision Machine Learning et à la précision Deep Learning, le label mutualisé de l’objet est égal au Label Machine Learning si la Précision Machine Learning est supérieure à la Précision Deep Learning et à la Précision Expert Métier, le Label mutualisé est égal au Label Deep Learning si la Précision Deep Learning est supérieure à la Précision Expert Métier et à la Précision Machine Learning.
[0027] Selon encore un autre mode de réalisation, les Images labélisées mutualisées d’ajustement sont obtenues par la consolidation des images de l’objet avec le label mutualisé de l’objet.
[0028] Selon encore un autre mode de réalisation les invariants labélisés mutualisés d’ajustement sont obtenus par la consolidation des Invariants agrégés avec le Label mutualisé de l’objet, les Invariants agrégés sont obtenus par l’agrégation des
Invariants labélisés Expert Métier, des Invariants labélisés Machine Learning et des Invariants labélisés Deep Learning.
[0029] La présente invention a également pour objet un procédé d’identification d’un objet à partir d’images labellisées dudit objet mis en oeuvre par ledit système d’identification conforme à l’invention.
[0030] La présente invention a également pour objet un programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, lequel comprend des instructions pour l’exécution du procédé conforme à l’invention lorsque ledit programme est exécuté sur un ordinateur.
[0031 ] D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d’exemple non limitatif et en référence aux dessins annexés dans lesquels :
[0032] [Fig 1] représente schématiquement l’agrégation et la mutualisation des résultats de trois approches : Expert Métier, Machine Learning et Deep Learning, [0033] [Fig 2] représente schématiquement le processus d’identification d’objets par l’Expert Métier faisant appel à la Base mutualisée d’invariants 2D/3D labélisés,
[0034] [Fig 3] représente schématiquement le processus complet, d’apprentissage et d’identification d’objets par Machine Learning faisant appel à la Base mutualisée d’invariants 2D/3D labélisés,
[0035] [Fig 4] représente schématiquement le processus complet, d’apprentissage et d’identification d’objets par Deep Learning faisant appel à la Base mutualisée d’images 2D/3D labélisées,
[0036] [Fig 5]a, b, c, d sont des illustrations d’images 2D des défauts à identifier et des labels associés,
[0037] [Fig 6] est un label obtenu par approche Expert Métier, et [0038] [Fig 7] est un label obtenu par approche Deep Learning.
[0039] D’une figure à l’autre, les mêmes éléments sont repérés par les mêmes références.
[0040] En référence à la figure 1 , on a représenté un système d’identification d’objets qui va utiliser en parallèle les trois approches d’identification par Expert Métier, Machine Learning et Deep Learning.
[0041 ] En premier lieu, le système comprend un premier module d’identification IDEM entraîné par un expert métier EM qui reçoit en entrée des images IMO d’un objet à identifier (2D et/ou 3D), des invariants IVO extraits par un algorithme d’extraction EXTIV.
[0042] Par exemple, dans l’industrie du bois, les invariants ainsi extraits
appartiennent au groupe formé par la texture, la surface, la zone remplie et la zone vide, le diamètre équivalent, la longueur de l’axe majeur, la longueur de l’axe mineur, le périmètre...
[0043] En sortie, le premier module d’identification IDEM délivre des images labellisées ILEM de l’objet par l’expert métier (humain) selon des règles prédéfinies liées à l’objet à identifier et au métier de l’expert, des invariants labellisés par l’expert métier IVLEM, et une précision PEM de l’expert métier EM.
[0044] Par exemple, en identification de défauts dans une poutre en bois, le trou appartient à la liste de labels spécifiques en industrie du bois. Ici le trou (figure 6) dans la poutre a été identifié par l’expert métier par le label « Trou t_1 ».
[0045] En second lieu, le système d’identification comprend un deuxième module d’identification IDLM entraîné par apprentissage automatique appelé encore Machine Learning qui reçoit en entrée des images IMO d’un objet à identifier (2D et/ou 3D), des invariants (géométriques ou autres) et des invariants IVO extraits par
l’algorithme d’extraction EXTIV.
[0046] En sortie, le deuxième module d’identification IDLM délivre des images labellisées ILML de l’objet par machine learning, des invariants labellisés IVLML, et une précision PML du machine learning.
[0047] Enfin en troisième lieu, le système d’identification comprend encore en outre un troisième module d’identification IDDL entraîné par apprentissage automatique profond ou « Deep Learning » qui reçoit en entrée des images IMO d’un objet à identifier (2D et/ou 3D). [0048] En sortie, le troisième module d’identification IDDL délivre des images labellisées ILDL de l’objet par Deep Learning, des invariants labellisés IVLDL, et une précision PDL du Deep Learning.
[0049] Le troisième module d’identification IDDL a une précision PDL correspondant à celle de l’apprentissage automatique profond.
[0050] Comme on le verra plus en détail ci-après, il est prévu d’utiliser un module algorithmique d’Agrégation et de Mutualisation MAMR qui reçoit les résultats issus de trois approches Expert Métier EM, Machine Learning ML et Deep Learning DL afin de mutualiser les résultats issus de l’apprentissage et ne retenir que ceux ayant la meilleure précision afin de les réutiliser dans l’identification des nouvelles images de l’objet à traiter en phase de test.
[0051 ] En pratique, le module MAMR a comme entrées :
- les Images 2D/3D ILEM de l’objet labélisées par l’Expert Métier, les
lnvariants2D/3D IVLEM de l’objet labélisés par l’Expert Métier et la Précision de l’Expert Métier PEM,
- les Images 2D/3D de l’objet labélisées par Machine Learning ILML, les
lnvariants2D/3D de l’objet labélisés par Machine Learning IVLML et la Précision du Machine Learning PML,
- les Images 2D/3D de l’objet labélisées par Deep Learning ILDL, les Invariants 2D/3D IVLDL de l’objet labélisés par Deep Learning et la Précision du Deep Learning PDL.
[0052] En sortie, le module MAMR génère :
- des Images 2D/3D de l’objet labélisées et mutualisées ILM,
- des Invariants 2D/3D de l’objet labélisés et mutualisés IVLM,
- une Précision mutualisée image PMIM et
- une Précision mutualisée invariant PMIV.
[0053] Avantageusement, les Précisions mutualisées PMIM et PMIV sont choisies de manière à être égales au maximum entre la Précision de l’Expert Métier PEM, la Précision du Machine Learning PML et la Précision du Deep Learning PDL.
[0054] Le module d’agrégation et de mutualisation délivre en sortie un résultat qui correspond au label retenu, appelé encore « Label LAB » de l’objet mutualisé.
[0055] Le label retenu, mutualisé LAB est égal :
- au Label de l’objet donné par l’Expert Métier EM si la Précision de l’Expert Métier PEM est supérieure à la Précision de la Machine Learning PML et à la Précision du Deep Learning PDL,
- au Label de l’objet donné par Machine Learning si la Précision du Machine
Learning PML est supérieure à la Précision du Deep Learning PDL et à la Précision de l’Expert Métier PEM,
- au Label de l’objet donné par Deep Learning si la Précision du Deep Learning PDL est supérieure à la Précision de l’Expert Métier PEM et à la Précision du Machine Learning PML.
[0056] Les Images 2D/3D labélisées mutualisées sont obtenues par la consolidation des Images 2D/3D de l’objet avec le Label mutualisé LAB de l’objet.
[0057] Les Invariants 2D/3D labélisées mutualisés sont obtenus par la consolidation des Invariants agrégés avec le Label mutualisé LAB de l’objet.
[0058] Les Invariants 2D/3D agrégés sont obtenus par l’agrégation des Invariants labélisés par l’Expert Métier, des Invariants labélisés par Machine Learning et des Invariants labélisés par Deep Learning.
[0059] Très avantageusement, les images 2D/3D labélisées mutualisées et les Précisions mutualisées associées vont enrichir une Base mutualisée d’images 2D/3D labélisées BMIM avec Précisions associées PMIM. De même, les Invariants 2D/3D labélisés mutualisés et les Précisions mutualisées vont enrichir une Base mutualisée d’invariants 2D/3D labélisés BMIV et avec Précisions associées PMIV.
[0060] La Base mutualisée d’images 2D/3D labélisées BMIM avec Précisions associées PMIM sera utilisée pour l’ajustement des modules d’identification IDLM et IDDL (en pointillé dans la figure 1 ). La Base mutualisée d’invariants 2D/3D labélisés BMIV et avec Précisions associées PMIV sera utilisée par le module IDEM (en pointillé dans la figure 1 ).
[0061 ] Le processus complet d’enrichissement et d’utilisation des bases mutualisées de données labélisées BMIM (images) et BMIV (invariants) comporte de nombreuses étapes d’acquisition et de traitement de données.
[0062] Les images 2D/3D IMO d’un objet à identifier sont envoyées :
- vers l’Approche 1 d’identification d’objets IDEM par l’Expert Métier (figure 2),
- vers un Module algorithmique d’Extraction d’invariants 2D/3D EXTIV de l’objet (figure 2),
- vers l’Approche 3 IDDL d’identification d’objets par Deep Learning (figure 4),
[0063] Le Module algorithmique d’Extraction d’invariants 2D/3D EXTIV génère les Invariants 2D/3D IVO de l’objet à partir des Images 2D/3D IMO de l’objet. [0064] Les Invariants 2D/3D IVO de l’objet sont envoyés :
- vers l’Approche 1 IDEM d’identification d’objets par l’Expert Métier (figure 2),
- vers l’Approche 2 IDLM d’identification d’objets par Machine Learning (figure 3), [0065] En référence à la figure 2, l’Approche 1 IDEM d’identification d’objets par l’Expert Métier génère en sortie :
- les Images 2D/3D de l’objet labélisées par l’Expert Métier ILEM,
- les lnvariants2D/3D de l’objet labélisés par l’Expert Métier IVLEM,
- la Précision de l’Expert Métier PEM,
à partir de ses entrées :
- les images 2D/3D de l’objet à identifier,
- les Invariants 2D/3D de l’objet.
[0066] En référence à la figure 3, l’Approche 2 d’identification d’objets par Machine Learning génère en sortie :
- les Images 2D/3D de l’objet labélisées par Machine Learning ILML,
- les lnvariants2D/3D de l’objet labélisés par Machine Learning IVML,
- la Précision du Machine Learning PML,
à partir de ses entrées :
- les Images 2D/3D de l’objet à identifier,
- les Invariants 2D/3D de l’objet.
[0067] En référence à la figure 4, l’Approche 3 d’identification d’objets par Deep Learning génère en sortie :
- les Images 2D/3D de l’objet labélisées ILDL par Deep Learning,
- les lnvariants2D/3D de l’objet labélisés par Deep Learning IVLDL,
- la Précision du Deep Learning PDL,
à partir de ses entrées les images 2D/3D de l’objet à identifier.
[0068] En référence à la figure 2, en réponse à des nouvelles images IMO de l’objet à identifier (phase de test), le processus complet d’identification d’objets par l’Expert Métier va faire appel à la Base mutualisée d’invariants 2D/3 labélisés BMIV pour ajuster son identification humaine si les invariants stockés dans la base de données présente une meilleure précision que ceux issus du module d’extraction EXTIV.
[0069] En premier lieu, les nouvelles images 2D/3D IMO d’un objet à identifier sont envoyées :
- vers l’Expert Métier pour identifier l’objet, - vers un Module algorithmique d’Extraction d’invariants 2D/3D EXTIV de l’objet,
- vers un Module algorithmique de Consolidation des résultats CREM.
[0070] De manière classique, le Module algorithmique d’Extraction d’invariants 2D/3D EXTIV génère les Invariants 2D/3D de l’objet à partir des Images 2D/3D de l’objet.
[0071 ] Les Invariants 2D/3D IVO de l’objet sont envoyés :
- vers un Module de Recherche des Invariants 2D/3D labélisés RIVL correspondant dans la Base mutualisée d’invariants 2D/3D labélisés avec Précisions associées BMIV,
- vers un Module algorithmique de Consolidation de résultats CREM.
[0072] Lorsque la recherche est positive, c’est-à-dire lorsque les Invariants 2D/3D labélisés issus de la Base mutualisée d’invariants 2D/3D BMIV sont meilleurs que ceux issus du module d’extraction, alors les invariants labélisés avec Précisions associées issus de la base de données BMIV sont envoyés à leur tour vers l’Expert Métier comme aide à l’identification humaine de l’objet. Sinon, en cas de recherche négative l’expert s’appuie sur les invariants issus du module d’extraction EXTIV.
[0073] L’Expert Métier génère le Label ILEM de l’objet et la Précision associée PEM sur la base des invariants ainsi mis à jour et optimisés grâce à la base de données d’invariants labellisés et mutualisés.
[0074] Le Module algorithmique de Consolidation de résultats CREM génère les Images 2D/3D de l’objet labélisées par l’Expert Métier, les Invariants 2D/3D de l’objet labélisés par l’Expert Métier et la Précision de l’Expert Métier en consolidant
(associant) le Label de l’objet aux Images 2D/3D de l’objet, aux Invariants 2D/3D de l’objet et à la Précision associée.
[0075] De manière similaire, en phase de test sur de nouvelles images à traiter, le processus complet d’identification d’objets par Machine Learning va faire appel à la Base mutualisée d’invariants 2D/3D labélisés (figure 3). Le processus comporte deux phases en interaction.
[0076] En premier lieu, le processus comprend une phase d’Apprentissage par Machine Learning afin d’ajuster (optimiser, mettre à jour) le Modèle Machine
Learning sur la correspondance Invariants 2D/3D et Labels à partir des invariants issus de la Base mutualisée d’invariants 2D/3D labélisés avec Précisions associées.
[0077] En second lieu (en phase de test), le processus comprend une phase d’interrogation du Modèle Machine Learning IDML, ajusté durant la phase
d’Apprentissage, qui comporte les éléments suivants : - les images 2D/3D d’un objet à identifier sont envoyées :
- vers un Module algorithmique d’Extraction d’invariants 2D/3D de l’objet,
- vers un Module algorithmique de Consolidation des résultats,
- le Module algorithmique d’Extraction d’invariants 2D/3D génère les Invariants 2D/3D de l’objet à partir des Images 2D/3D de l’objet,
- les Invariants 2D/3D de l’objet sont envoyés
- vers un Module Interrogation du Modèle Machine Learning ajusté,
- vers le Module algorithmique de Consolidation des résultats,
- le Module Interrogation du Modèle Machine Learning ajusté génère le Label de l’objet et la Précision associée,
- le Module algorithmique de Consolidation de résultats génère les Images 2D/3D de l’objet labélisées par Machine Learning, les Invariants 2D/3D de l’objet labélisés par Machine Learning et la Précision du Machine Learning en consolidant (associant) le Label de l’objet aux Images 2D/3D de l’objet, aux Invariants 2D/3D de l’objet et à la Précision associée.
[0078] De manière similaire, le processus complet d’identification d’objets par Deep Learning va faire appel à la Base mutualisée d’images 2D/3D labélisées (figure 4). Le processus comporte lui aussi deux phases en interaction.
[0079] En premier lieu, une phase d’Apprentissage par Deep Learning permet d’ajuster le Modèle Deep Learning sur la correspondance Images 2D/3D x Labels à partir de la Base mutualisée d’images 2D/3D labélisées avec Précisions associées.
[0080] En second lieu (en phase de test), le processus comprend une phase d’interrogation du Modèle Deep Learning IDDL, ajusté durant la phase
d’Apprentissage.
[0081 ] En pratique, les images 2D/3D d’un objet à identifier sont envoyées :
- vers un Module Interrogation du Modèle Deep Learning ajusté IDDL,
- vers un Module algorithmique de Consolidation des résultats CRDL.
[0082] Le Module Interrogation du Modèle Deep Learning ajusté IDDL génère à la fois le Label de l’objet, la Précision associée et les Invariants 2D/3D de l’objet,
[0083] Le Module algorithmique de Consolidation de résultats CRDL génère les Images 2D/3D de l’objet labélisées par Deep Learning, les Invariants 2D/3D de l’objet labélisé par Deep Learning et la Précision du Deep Learning en consolidant (associant) le Label de l’objet aux Images 2D/3D de l’objet, aux Invariants 2D/3D de l’objet et à la Précision associée. [0084] En référence aux figures 5a à 5d on a illustré un exemple de quatre images d’une poutre en bois comprenant des anomalies ou des défauts à identifier.
[0085] En figures 5a à 5d, on a représenté une pluralité de défauts possibles sur une poutre : fissure, trou de termite, trou de choc, ...
[0086] La problématique ici est d’identifier le défaut rédhibitoire en industrie du bois sur une grande quantité de poutres en bois à traiter.
[0087] Par exemple, en identification de défauts dans une poutre en bois, le trou appartient à la liste de labels spécifiques en industrie du bois. Ici le trou (figure 6) dans la poutre a été identifié par expert métier et machine learning et labélisé par le label « Trou t_1 ».
[0088] En figure 7, ce même trou a été identifié et labellisé par deep learning par le label « Trou ». Chaque module d’identification (EM, ML, DL) a le même label mais avec une précision différente.
[0089] En référence à la figure 6 on a représenté des Labels obtenus par l’Approche Experts Métiers des anomalies ou des défauts sur l’une des images de la poutre en bois :
Trou t_1 :
t1 Joc : localisation du Trou_1 [x1 ,y1 ,x2,y2]
t1_d : diamètre du Trou_1 en mm
t1_p : profondeur du Trou_1 en mm
Fissure f_1 :
f1 Joc : localisation de la Fissure l [x1 ,y1 ,x2,y2]
f 1 J : longueur de la Fissurejl en mm
f1_e : épaisseur de la Fissurejl en mm
Fissure f_2 :
f2Joc : localisation de la Fissure_2 [x1 ,y1 ,x2,y2]
f2J : longueur de la Fissure_2 en mm
f2_e : épaisseur de la Fissure_2 en mm
Trous termites tm_(n) :
tm1 Joc : localisation trous_ termites Jl [x1 ,y1 ]
tm2Joc : localisation trous_ termites_2 [x1 ,y1 ] tm3_loc : localisation trous_ termites_3 [x1 ,y1 ]
tm4_loc : localisation trous_ termites_4 [x1 ,y1 ]
tm5_loc : localisation trous_ termites_5 [x1 ,y1 ]
tm6_loc : localisation trous_ termites_6 [x1 ,y1 ]
tm7_loc : localisation trous_ termites_7 [x1 ,y1 ]
Bois :
b_es : essence du bois
b_état : état du bois (bon, moyen, mauvais).
[0090] En référence à la figure 7 on a représenté des Labels obtenus par l’Approche Deep Learning et les régions d’intérêt associées aux anomalies ou aux défauts sur la même image de la poutre en bois. Ces Labels sont de type : Trou, Fissure et Trou termites.
[0091 ] A titre d’exemple non limitatif, la structure de l’Approche Machine Learning utilisée pour la classification de défauts (apprentissage supervisé) est de type Support Vector Machine (SVM).
[0092] A titre d’exemple non limitatif, la structure de l’Approche Deep Learning utilisée pour la détection et la classification de défauts est de type « Faster R-CNN (Régions with Convolutional Neural Network features) object classification ».
[0093] A titre d’exemple non limitatif, l’agrégation des invariants utilise des opérateurs booliens adaptatifs : ET, OU et XOR. D’autres méthodes sont applicables : les méthodes Bayésiennes probabilistes, la méthode de Dempster-Shafer» basée sur la théorie des croyances, les méthodes de rangs de Borda Count, Ordered Weighted Averaging operator (OWA), Aggregator Weight-Functional Operator (AWFO), les Chaînes de Markov cachées (CMC), la logique floue basée sur des règles
d’inférence et les réseaux de neurones artificiels.
[0094] Ainsi l’invention permet de remédier aux inconvénients de chaque approche individuelle, de réduire les discordances entre la mise à jour des bases de données, voire entre les connaissances extraites et augmente les précisions de chaque approche respective grâce à la mutualisation des bases de données (images 2D/3D, invariants 2D/3D couplés à la meilleure précision) enrichies par la meilleure réponse [0095] Grâce à l’invention :
- l’approche Deep Learning utilise les Labels acquis en apprentissage par l’Approche Expert Métier et les Labels de l’Approche Machine Learning,
- l’Approche Machine Learning utilise les invariants acquis en apprentissage par l’Approche Expert Métier et les invariants de l’Approche Deep Learning,
- l’Approche Expert Métier utilise les invariants de l’Approche Deep Learning et les invariants de l’Approche Machine Learning,
pour une meilleure précision d’identification.
[0096] De plus, le système d’identification bénéficie non seulement du résultat en sortie du module d’identification présentant la meilleure précision en phase d’apprentissage pour l’identification d’un objet choisi mais aussi de réutiliser
(mutualiser) le meilleur résultat d’identification en entrée pour la phase de test sur les identifications ultérieures d’objet à traiter.
[0097] Les domaines d’application de l’invention sont larges, couvrant la détection, la classification, la reconnaissance et l’identification d’objets à intérêt.

Claims

REVENDICATIONS
1. Système d’identification d’un objet à partir d’images dudit objet à identifier, comprenant :
- un module d’extraction d’invariants (EXTIV) de l’objet à partir d’images dudit objet ;
- un premier module d’identification (IDEM) dudit objet propre à recevoir en entrée les images de l’objet à identifier et les invariants issus du module d’extraction d’invariants, et apte à délivrer en sortie une première pluralités d’images dudit objet labellisées par un expert métier (EM), et une première pluralité d’invariants labellisés par ledit expert métier (EM); ledit premier module d’identification (IDEM) ayant une première précision d’identification (PEM) correspondant à celle de l’expert métier (EM) ;
- un deuxième module d’identification (IDML) propre à recevoir en entrée les images de l’objet à identifier et les invariants issus du module d’extraction d’invariants et apte à délivrer en sortie une deuxième pluralité d’invariants labellisés par apprentissage automatique et une deuxième pluralité d’images dudit objet labellisées par
correspondance avec les invariants labélisés ledit deuxième module d’identification (IDML) ayant une deuxième précision (PML) correspondant à celle de
l’apprentissage automatique ; et
- un troisième module d’identification (IDDL) propre à recevoir en entrée les images de l’objet à identifier et apte à délivrer en sortie une troisième pluralité d’images labellisées par apprentissage automatique profond et une troisième pluralité
d’invariants labellisés par apprentissage automatique profond, ledit troisième module d’identification (IDDL) ayant une troisième précision (PDL) correspondant à celle de l’apprentissage automatique profond ;
caractérisé en ce qu’il comprend en outre :
- un module d’agréation et de mutualisation (MAMR) recevant en entrée les première, deuxième, et troisième pluralités d’images labellisées respectivement par l’expert métier, par apprentissage automatique et par apprentissage automatique profond et délivrant en sortie une pluralité d’images labélisées mutualisées d’ajustement ayant la meilleure précision ; et
- le module d’agrégation et de mutualisation (MAMR) recevant également en entrée les première, deuxième, et troisième pluralités invariants labellisés respectivement par l’expert métier, par apprentissage automatique et par apprentissage automatique profond et délivrant également en sortie une pluralité d’invariants labélisés mutualisés d’ajustement ayant la meilleure précision ; et
- en ce qu’en réponse à la réception d’une nouvelle pluralité d’images de l’objet à identifier, les premier, deuxième, et troisième modules d’identification sont conçus pour utiliser en entrée, séparément et séquentiellement pour leur identification respective, la pluralité d’images labellisés mutualisés d’ajustement et/ou la pluralité d’invariants labellisés mutualisés d’ajustement issus du module d’agrégation et de mutualisation (MAMR).
2. Système selon la revendication 1 , caractérisé en ce qu’il comprend en outre une base mutualisée d’images labellisées enrichie séquentiellement et
continuellement par les résultats du module d’agrégation et de mutualisation.
3. Système selon la revendication 1 ou la revendication 2 caractérisé en ce qu’il comprend en outre une base mutualisée d’invariants labellisés enrichie
séquentiellement et continuellement par les résultats du module d’agrégation et de mutualisation.
4. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que la meilleure précision (PMIM) est égale au maximum entre la précision du premier module (PEM), la précision du deuxième module (PML) et la précision du troisième module (PDL).
5. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que le label mutualisé d’ajustement (LAB) est égal au label du premier module (ILEM) si la précision du premier module (PEM) est supérieure à la précision du deuxième (PML) et du troisième modules (PDL) ; en ce que le Label d’ajustement de l’objet (LAB) est égal au Label du deuxième module (ILML) si la précision du deuxième module est supérieure à celle du troisième (PDL) et du premier module (PEM), et en ce que le Label d’ajustement (LAB) est égal à celui du troisième module si la précision du troisième module est supérieure à celle du premier (PEM) et à celle du deuxième module (PML).
6. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que les Images labélisées d’ajustement sont obtenues par la consolidation des Images de l’objet avec le Label d’ajustement de l’objet.
7. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que les Invariants labélisés mutualisés d’ajustement sont obtenus par la consolidation des Invariants agrégés avec le Label d’ajustement de l’objet.
8. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que les Invariants agrégés sont obtenus par l’agrégation des Invariants labélisés des premier, second et troisième modules d’identification.
9. Procédé d’identification d’un objet à partir d’images labellisées dudit objet mis en oeuvre par un système selon l’une des revendications 1 à 8.
10. Programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, caractérisé en ce qu’il comprend des instructions pour l’exécution du procédé selon la revendication 9 lorsque ledit programme est exécuté sur un ordinateur.
EP20712507.1A 2019-03-28 2020-03-16 Procede et systeme d'identification d'objets a partir d'images labellisees desdits objets Pending EP3948664A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1903232A FR3094532B1 (fr) 2019-03-28 2019-03-28 Procédé et système d'identification d'objets à partir d'images labellisées desdits objets
PCT/EP2020/057107 WO2020193253A1 (fr) 2019-03-28 2020-03-16 Procede et systeme d'identification d'objets a partir d'images labellisees desdits objets

Publications (1)

Publication Number Publication Date
EP3948664A1 true EP3948664A1 (fr) 2022-02-09

Family

ID=68072534

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20712507.1A Pending EP3948664A1 (fr) 2019-03-28 2020-03-16 Procede et systeme d'identification d'objets a partir d'images labellisees desdits objets

Country Status (6)

Country Link
US (1) US20220180620A1 (fr)
EP (1) EP3948664A1 (fr)
JP (1) JP2022525812A (fr)
KR (1) KR20210140740A (fr)
FR (1) FR3094532B1 (fr)
WO (1) WO2020193253A1 (fr)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253522B2 (ja) * 2003-03-28 2009-04-15 株式会社日立ハイテクノロジーズ 欠陥分類方法及び装置
FR2981772B1 (fr) 2011-10-21 2017-12-22 Thales Sa Procede de reconstruction 3d d'un objet d'une scene
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation

Also Published As

Publication number Publication date
KR20210140740A (ko) 2021-11-23
JP2022525812A (ja) 2022-05-19
FR3094532A1 (fr) 2020-10-02
WO2020193253A1 (fr) 2020-10-01
FR3094532B1 (fr) 2021-09-10
US20220180620A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
Rezende et al. Malicious software classification using transfer learning of resnet-50 deep neural network
WO2022121289A1 (fr) Procédés et systèmes d'exploitation d'échantillons de données de classe minoritaire destinés à la formation d'un réseau de neurones
US10719780B2 (en) Efficient machine learning method
Prajwala A comparative study on decision tree and random forest using R tool
US10650508B2 (en) Automatic defect classification without sampling and feature selection
US20200143209A1 (en) Task dependent adaptive metric for classifying pieces of data
Salunkhe et al. A hybrid approach for class imbalance problem in customer churn prediction: A novel extension to under-sampling
CN112487406B (zh) 一种基于机器学习的网络行为分析方法
CN114092742A (zh) 一种基于多角度的小样本图像分类装置和方法
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
US11397868B2 (en) Fungal identification by pattern recognition
WO2020193253A1 (fr) Procede et systeme d'identification d'objets a partir d'images labellisees desdits objets
Feng Investigation of training data issues in ensemble classification based on margin concept: application to land cover mapping
EP4099228A1 (fr) Apprentissage automatique sans annotation ameliore par regroupements adaptatifs en ensemble ouvert de classes
Santosa et al. A robust feature construction for fish classification using grey Wolf optimizer
Karmakar et al. Multilevel Random Forest algorithm in image recognition for various scientific applications
CN115293639A (zh) 一种基于隐马尔可夫模型的战场态势研判方法
CN115410250A (zh) 阵列式人脸美丽预测方法、设备及存储介质
EP4012619A1 (fr) Méthode de compression d'un réseau de neurones artificiel
FR3114180A1 (fr) Système et procédé pour éviter un oubli catastrophique dans un réseau neuronal artificiel
Mokeev On application of convolutional neural network for classification of plant images
Ayala-Niño et al. Evaluation of machine learning models to identify peach varieties based on leaf color
Altabaji et al. Identification of Banana Leaf Diseases and Detection
EP3552155A1 (fr) Procede et dispositif d'obtention d'un systeme de labellisation d'images
US20230290125A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210921

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230731