FR3074596A1 - Procede de caracterisation d'echantillons utilisant des reseaux de neurones - Google Patents

Procede de caracterisation d'echantillons utilisant des reseaux de neurones Download PDF

Info

Publication number
FR3074596A1
FR3074596A1 FR1761522A FR1761522A FR3074596A1 FR 3074596 A1 FR3074596 A1 FR 3074596A1 FR 1761522 A FR1761522 A FR 1761522A FR 1761522 A FR1761522 A FR 1761522A FR 3074596 A1 FR3074596 A1 FR 3074596A1
Authority
FR
France
Prior art keywords
sample
neural network
images
input data
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1761522A
Other languages
English (en)
Other versions
FR3074596B1 (fr
Inventor
Valeriu Vrabie
Eric Perrin
Sihem Mezghani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite de Reims Champagne Ardenne URCA
Original Assignee
Universite de Reims Champagne Ardenne URCA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to FR1761522A priority Critical patent/FR3074596B1/fr
Application filed by Universite de Reims Champagne Ardenne URCA filed Critical Universite de Reims Champagne Ardenne URCA
Priority to CN201880077916.3A priority patent/CN111630356B/zh
Priority to JP2020547304A priority patent/JP2021504864A/ja
Priority to EP18814839.9A priority patent/EP3717877A2/fr
Priority to PCT/EP2018/083210 priority patent/WO2019106179A2/fr
Priority to US16/768,573 priority patent/US11828652B2/en
Priority to CA3083079A priority patent/CA3083079A1/fr
Publication of FR3074596A1 publication Critical patent/FR3074596A1/fr
Application granted granted Critical
Publication of FR3074596B1 publication Critical patent/FR3074596B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiation Pyrometers (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Character Discrimination (AREA)

Abstract

La présente invention concerne un procédé de caractérisation d'un échantillon, utilisant un ensemble d'images spectrales de l'échantillon à caractériser préalablement acquises, notamment par thermographie infrarouge ou imagerie spectrale, et au moins un réseau de neurones, le procédé comprenant les étapes consistant à : - générer au moins un volume de valeurs d'un paramètre observé à partir desdites images spectrales, pour une pluralité de coordonnées des pixels des images et une pluralité d'acquisitions, - extraire au moins un jeu de données d'entrée à partir dudit volume de données, ces données d'entrée correspondant aux valeurs du paramètre observé, pour un pixel de mêmes coordonnées selon différentes acquisitions, valeurs auxquelles au moins une fonction de transformation a été appliquée, - entraîner ledit au moins un réseau de neurones en utilisant les données d'entrée pour en extraire au moins une caractéristique de l'échantillon à caractériser.

Description

RESEAUX DE NEURONES
La présente invention concerne les procédés et dispositifs de caractérisation d’échantillons à partir d’images spectrales, notamment acquises par thermographie infrarouge, et utilisant des réseaux de neurones profonds.
La plupart des systèmes connus de surveillance, notamment pour la prévention des accidents, l’aiguillage du trafic, ou de décision, par exemple pour la détection et/ou le contrôle non destructif de composants et/ou de divers phénomènes, reposent sur Putilisation de nombreux capteurs et sur l’utilisation de techniques connues de détection. Les rayonnements infrarouge, proche-infrarouge (NIR, « near-infrared » en anglais) et ultraviolet (UV) peuvent être utilisés. En particulier, le rayonnement électromagnétique infrarouge lointain, appelé aussi chaleur radiative, émis en permanence par tout corps ayant une température supérieure au zéro absolu (-273,15°C) est utilisé. Des détecteurs spécifiques permettent de capter ce rayonnement dans certaines longueurs d’ondes et de les retranscrire en valeurs de luminance liées à la température de surface de l’objet, créant des images thermiques.
La miniaturisation des caméras thermographiques infrarouge, la baisse de leur coût d’acquisition et le développement des capacités de calcul des ordinateurs ont encouragé futilisation de telles caméras comme technique non destructive de remplacement dans plusieurs applications, telles que l'inspection industrielle, l’évaluation des dommages, la fatigue des matériaux, ou l’estimation d'épaisseur de revêtements. La possibilité de pénétrer dans la couche de revêtement sans avoir aucune influence sur les pigments justifie Futilisation des techniques infrarouges pour l’inspection des épaisseurs de revêtements tels que de la peinture.
Cette technique présente certaines limitations, comme par exemple une haute sensibilité à la réflexion externe, des variations d'émissivité, et l'utilisation d’une source de chaleur comme source excitatrice qui ne peut être considérée comme uniforme du point de vue énergétique, à cause par exemple de l’utilisation d’un ou plusieurs flashs de forte puissance. Cette inhomogénéité va directement influer sur la signature thermique du revêtement de la cible observée à la fois pendant la période de chauffage et celle de refroidissement. Afin de résoudre ce problème, la distribution de température lors d’une inspection thermographique a été étudiée et des mesures visant à réduire les effets de la distribution de température non uniforme ont été suggérées, comme l’utilisation d’un algorithme de reconstruction d'images basé sur une transformation de Fourier pour inhiber l'effet d'un chauffage non uniforme. D'autres méthodes sont utilisées pour améliorer le contraste thermique et surmonter ces artefacts externes, notamment par rutilisation d’un contraste thermique, d’un contraste thermique absolu, ou d’un contraste différentiel absolu modifié. H est également connu d’utiliser un algorithme basé sur la régression des moindres carrés partiels pour améliorer automatiquement la visibilité de défauts dans des échantillons en éliminant partiellement le bruit de fond. D’autres méthodes s’appuyant sur rutilisation de statistiques d’ordre supérieur ou bien la décomposition en valeurs singulières ont été développées. Cependant, ces résultats de débruitage ne sont pas encore optimaux.
Un réseau de neurones multicouche à perceptron a été employé pour détecter et caractériser des défauts en utilisant la thermographie infrarouge pulsée. Les résultats montrent que les images de phase sont moins sensibles au bruit mais une augmentation de fréquence d’échantillonnage est fortement recommandée pour cette étude. On trouve Γillustration de tels résultats par exemple dans l’article Defect détection in pulsed thermography: a comparison of Kohonen and Perceptron neural networks, de Steve Vallerand et al. Proc. SPIE 3700, Thermosense XXI, March 1999.
Il a été démontré récemment qu’il est possible d’utiliser des algorithmes d’apprentissage profond, dits « deep learning » en anglais, pour classer des données, par exemple des images, sons, ou textes, en extrayant des caractéristiques pour représenter les données à différents niveaux d’abstraction. Le recours à l’apprentissage profond permet d’obtenir des résultats robustes et d’envisager des applications diverses. Ces algorithmes mettent en œuvre des modèles constitués de plusieurs couches supervisées ou non, où les étapes non linéaires de traitement de l’information sont par nature hiérarchisées. Les réseaux de neurones à convolution (CNN) sont, de façon connue composés de plusieurs couches, chaque couche agissant comme un filtre et entraînant une réduction de dimensionnalité des données qui sont ensuite transmises à la couche suivante. Les couches sont composées de neurones, eux-mêmes composés d’une fonction d’activation, d’un poids et d’un biais sur chacune de ses entrées.
Comme représenté à la figure f illustrant F état de Fart, dans de telles structures, des données d’entrées DE sont reçues au niveau de capteurs SI, S2, S3, chaque capteur étant apte à recueillir tes signaux représentatifs d’une caractéristique F (ou «feature » en angiais) de l’échantillon à anaiyser. Ces signaux sont transmis à un réseau de neurones M constitué de muitipies couches. Ce modèie M est entraîné à F aide d’un ou piusieurs iots de données d’apprentissage DApp, notamment constitués d’images, au niveau desquelles des caractéristiques F ont été annotées et qui sont soumises à un algorithme d’apprentissage AApp permettant l’apprentissage de la reconnaissance desdits caractéristiques. On obtient en sortie une classification C, selon un ensemble de classes Cl, C2, C3, des données fournies en entrée DE.
Ces algorithmes (et notamment les réseaux de neurones à convolution) s’appuyant sur l’apprentissage de nombreux modèles de données, ils sont ainsi très gourmands en calcul et nécessitent une base de données importante pour leur apprentissage. L’implémentation de ces algorithmes sur des systèmes embarqués est limitée par la capacité de calcul et par les ressources, notamment mémoire, disponibles. Les systèmes développés récemment, en utilisant par exemple un nano-ordinateur de type Raspberry Pi, sont pour l’instant capables d’analyser entre 2 et 4 trames d’image par seconde provenant d’un flux vidéo. Ce n’est pas encore assez rapide pour gérer des flux vidéo de manière satisfaisante.
La demande CN 10 6022365 divulgue un procédé de détection de défauts sur la surface d’un matériau, utilisant un réseau de neurones RBF (« radial basis function » en anglais) et des images de thermographie infrarouge pour créer un classifieur.
La demande CN 10 5760883 décrit, dans le domaine de la surveillance de l'état de fonctionnement d'un équipement minier, une méthode pour identifier automatiquement les composants clés d'un convoyeur à courroie, utilisant la thermographie infrarouge et un réseau de neurones dit BP (« back-propagation » en anglais) pour extraire les caractéristiques des composants.
La demande CN 10 2621150 concerne un procédé pour identifier des dommages sur un revêtement d'avion, utilisant un algorithme de Séparateur à Vaste Marge (SVM, « Support Vector Machines » en anglais) se fondant sur une matrice de cooccurrences de niveau de gris et un signal caractérisant différents types de dommages pour établir un classifieur. La détection de dommages sur le revêtement de l'avion et les dommages eux-mêmes peuvent être classifiés et identifiés, pour un traitement de maintenance ultérieur.
D’autres approches pour effectuer des tâches d’apprentissage s’appuyant notamment sur des systèmes logiciels et DSP spécifiques (« digital signal processor » en anglais), ou bien utilisant des FPGA (« Field Programmable Gâte Array » en anglais) comme présenté par exemple dans l’article « Optimizing Convolutional Neural Network on DSP » de S. Jagannathan et al., IEEE International Conférence on Consumer Electronics 2016, permettent d’atteindre des performances intéressantes, environ trois fois plus rapides que des systèmes à base de processeurs graphiques GPU (« graphie processor unit » en anglais).
Il est connu d’utiliser des réseaux CNN pré-entrainés en modifiant uniquement leurs couches finales, ce qui permet de proposer des réseaux hybrides constitués d’un réseau CNN pré-entrainé, notamment sur une machine avec une forte puissance de calcul, et d’un classifieur supervisé à entraîner, par exemple un algorithme SVM. Ceci permet de réduire la base d’apprentissage nécessaire et d’envisager son implémentation sur un système embarqué à bas coût, par exemple sur un nano-ordinateur de type Raspberry Pi. L’article de Huang F.J. et al, « Large-scale learning with SVM and convolutional nets for generic object categorization », IEEE CVPR 2006, vol 2, pp 4, décrit un réseau hybride constitué d’un réseau à convolution et d’un SVM, dédié à la classification d’objets.
La demande internationale WO 99/05487 décrit futilisation d'une sonde à fibres optiques et d'un réseau neuronal hybride pour augmenter la précision de l'analyse de lésions tissulaires.
Il demeure par conséquent un besoin pour perfectionner encore l’estimation de manière fiable de certaines caractéristiques d’échantillons à partir d’images spectrales obtenues à l’aide d’un dispositif dont les conditions d’excitation sont variables et non uniformes, notamment via un dispositif de caractérisation par thermographie infrarouge.
L’invention répond au besoin rappelé ci-dessus grâce, selon l’un de ses aspects, à un procédé de caractérisation d’un échantillon, utilisant un ensemble d’images spectrales de l’échantillon à caractériser préalablement acquises, notamment par thermographie infrarouge ou imagerie spectrale, et au moins un réseau de neurones, le procédé comprenant les étapes consistant à :
- générer au moins un volume de valeurs D(Nx, Ny, Ne) d’un paramètre observé à partir desdites images spectrales, pour une pluralité de coordonnées (x, y) des pixels N des images et une pluralité d’acquisitions Ne,
- extraire au moins un jeu de données d’entrée D’x,y(Ne) à partir dudit volume de données D(Nx, Ny, Ne), ces données d’entrée correspondant aux valeurs du paramètre observé, pour un pixel de mêmes coordonnées selon différentes acquisitions Ne, valeurs auxquelles au moins une fonction de transformation a été appliquée,
- entraîner ledit au moins un réseau de neurones, notamment au moins une couche du réseau, en utilisant les données d’entrée pour en extraire au moins une caractéristique de l’échantillon à caractériser, et
- utiliser ladite au moins une caractéristique extraite par le réseau de neurones pour effectuer une classification des données d’entrée selon une pluralité de classes, chaque classe étant représentative d’au moins une caractéristique de l’échantillon à caractériser.
De préférence, ledit au moins un réseau de neurones, notamment au moins une couche du réseau, a été entraîné au préalable sur des images autres que des images spectrales, dites « images naturelles », notamment des images naturelles d’animaux, d’objets, de végétaux, de personnes. Seule la couche finale du réseau nécessite d’être entraînée avec les données d’entrée.
De préférence, la classification est réalisée par un classifieur indépendant du réseau de neurones. Le classifieur peut être du type séparateur à vaste marge (SVM). Dans une variante, le classifieur est de type Softamx ou RBF à noyau gaussien. La classification peut se faire au niveau d’au moins une couche d’un perceptron. Dans une variante, la classification est réalisée par le réseau de neurones utilisé pour l’extraction des caractéristiques, de préférence par la couche finale de ce réseau.
Grâce à Γutilisation d’une structure hybride comportant un réseau pré-entrainé et un classifieur, l’invention permet une mise en œuvre rapide du système, la base de données et le temps d’apprentissage étant réduits. L’implémentation du procédé selon l’invention peut ainsi se faire sur un système embarqué à bas coût, par exemple un nanoordinateur, encore appelé nano-PC, ou une carte dédiée, permettant le fonctionnement d’applications gourmandes en ressources et/ou nécessitant du temps-réel.
L’utilisation d’un classifieur SVM permet de travailler avec des données de grandes dimensions, ce qui rend possible le traitement de nombreuses données de différents types, d’améliorer les performances de reconnaissance de manière significative, et de réduire considérablement les temps de calcul.
La robustesse de l’architecture hybride selon l’invention permet de disposer d’une technique de post-traitement de données thermographiques infrarouge faiblement sensible à la non uniformité du dépôt d’énergie généré par le système d’excitation et aux conditions de mesure, par exemple placements différents de la caméra d’acquisition d’images spectrales en termes de distances ou bien d’angles de l’objectif par rapport à l’échantillon, ou conditions d’éclairage pour des acquisitions différentes, selon l’heure, la température, ou la saison de l’année.
Signaux unidimensionnels
Les différentes acquisitions peuvent correspondre à des instants d’acquisition différents sur une période d’acquisition prédéfinie, notamment dans le cas de la thermographie infrarouge.
Dans une variante, notamment dans le cas de l’imagerie spectrale, les différentes acquisitions correspondent à des acquisitions selon différentes longueurs d’onde, réalisées au même instant.
L’imagerie spectrale regroupe les imageries multispectrale ou hyper spectrale. L’imagerie multispectrale consiste en l’acquisition d’un nombre faible et limité de bandes discrètes, et ne nécessite pas Putilisation d’un spectromètre pour faire l’analyse des données. L’imagerie hyperspectrale permet l’acquisition d’un nombre important de bandes spectrales étroites via l’usage d’un système de séparation de bandes spectrales tel qu’un spectromètre.
Le volume de données D contient avantageusement P pixels, pour chaque pixel N dans le plan x, y correspondent les coordonnées (Nx, Ny, Ne), où Ne est la coordonnée de l’acquisition. Il s’agit ainsi du même pixel P d’un plan à un autre, enregistré à des instants différents ou pour des longueurs d’onde différentes.
L’évolution spectrale d’un pixel, par exemple l’évolution temporelle de la température, est ainsi considérée comme un signal unidimensionnel, formant un n-uplet de valeurs, et utilisée directement pour la classification.
Les données d’entrée sont avantageusement transmises au réseau de neurones sous la forme d’images représentant des courbes correspondant aux valeurs D’x,y(Ne) du jeu de données d’entrée en fonction de l’acquisition Ne. Cela permet la transposition aux signaux unidimensionnels des principes des réseaux de type à apprentissage profond pour l’étude d’images naturelles, notamment la convolution et la réduction de dimensionnalité pour l’extraction des caractéristiques. Le fait que le réseau de neurones soit pré-entrainé sur des images naturelles réduit le nombre de données d’apprentissage nécessaires.
Pour l’apprentissage, les images peuvent être redimensionnées selon les dimensions standards imposées par le réseau de neurones utilisé.
La fonction de transformation appliquée aux valeurs Dx,y(Ne) du paramètre observé peut être la fonction identité, les valeurs restant inchangées et étant utilisées telles quelles par le réseau de neurones.
Dans une variante, ladite au moins une fonction de transformation appliquée aux valeurs du paramètre observé Dx,y(Ne) est une fonction de centrage, de normalisation et/ou de lissage. Les réponses spectrales Dx,y(Ne) peuvent ainsi chacune être centrées, par exemple par rapport à une valeur moyenne calculée sur l’ensemble des images ayant servies à l’apprentissage dudit réseau, ou par rapport à la première image issue de la première acquisition, et/ou normalisées par rapport à leur maximum, ou par rapport à une valeur de référence, correspondant notamment à une longueur d’onde prédéfinie.
La méthode de lissage utilisée peut être la méthode dite de « Savitzky et Golay » (SG), consistant à approximer sur une fenêtre glissante de taille m le segment de réponse spectrale à l’aide d’un polynôme de degré n, avec m compris entre 10 et 20 points et n compris entre 1 et 6, par exemple m= 15 points et n = 4. Le lissage permet de réduire les irrégularités et singularités des réponses. Utiliser des réponses spectrales lissées pour calculer des dérivées permet d’éviter Γapparition d’artéfacts ou l’amplification du bruit dû à la dérivation dans les signaux résultants.
Une fonction de calcul de la dérivée première peut être appliquée aux valeurs D(Nx, Ny, Ne) du paramètre observé pour obtenir les données d’entrée (D’x,y(Ne)). Dans le cas où le paramètre observé est la température de l’échantillon, ce calcul permet de prendre en compte la vitesse de refroidissement de l’échantillon.
Une fonction de calcul de la dérivée seconde peut être appliquée aux valeurs D(Nx, Ny, Ne) du paramètre observé pour obtenir les données d’entrée (D’x,y(Ne)). Dans le cas où le paramètre observé est la température de l’échantillon, ce calcul permet de prendre en compte l’accélération du refroidissement de l’échantillon.
Thermographie infrarouge
De préférence, les images spectrales utilisées sont des images thermiques acquises par thermographie infrarouge, le paramètre observé étant la température de l’échantillon.
Le principe de la thermographie infrarouge repose sur la mesure de l’énergie émise par la surface d’un corps dans un intervalle donné de longueurs d’ondes, correspondant à l’acquisition temporelle du rayonnement thermique dans les bandes infrarouges du spectre électromagnétique. Cette énergie est transmise à travers une optique appropriée vers un détecteur. Ces systèmes dits radiométriques permettent une mesure sans contact de champs de températures de surface à des cadences atteignant plusieurs centaines de Hertz pour des images dont la taille moyenne est d’environ 80000 pixels. Le processus de mesure ne provoque en général qu'une légère augmentation de la température, ne risquant pas de perturber l’acquisition des données. De manière connue, les variations de température détectables vont de quelques dixièmes à quelques dizaines de degrés Celsius/Kelvin. Une excitation thermique du spécimen peut être réalisée. L’analyse numérique des données thermiques est ensuite réalisée.
La surface de l’échantillon à caractériser peut être excitée thermiquement préalablement à l’acquisition des images thermiques.
Réseau de neurones et extraction des caractéristiques
Ledit au moins un réseau de neurones peut être un réseau de neurones à convolutions.
Le réseau de neurones peut comporter une ou plusieurs couches de convolution et/ou une ou plusieurs couches entièrement connectées.
De manière connue, chaque couche de convolution produit une activation d’une image d’entrée, les premières couches extrayant des caractéristiques de base, comme le contour, et les couches supérieures extrayant des caractéristiques de plus haut niveau, comme l’information de texture.
Les caractéristiques extraites à partir des données d’entrée peuvent être l’épaisseur ou la gamme d’épaisseur de l’échantillon ou de certaines parties de l’échantillon, une quantité représentative d’une propriété de l’échantillon, par exemple une épaisseur de couche de peinture, une épaisseur d’une couche intermédiaire, par exemple de type Sol Gel provenant de procédés de solution-gélification, le niveau de stress hydrique d’une plante, la variation de pigmentation de végétaux, par exemples des feuilles, des fleurs ou des fruits de plantes.
Dispositif de caractérisation
L’invention a encore pour objet, selon un autre de ses aspects, un dispositif de caractérisation d’un échantillon, notamment par thermographie infrarouge ou imagerie spectrale, comportant :
- un moyen d’acquisition d’un ensemble d’images spectrales de l’échantillon à caractériser, notamment une caméra thermique,
- un module de traitement de données apte à :
• générer au moins un volume de valeurs (D(Nx, Ny, Ne)) d’un paramètre observé à partir desdites images spectrales, pour une pluralité de coordonnées (Nx, Ny) des pixels des images et une pluralité d’acquisitions (Ne), • extraire au moins un jeu de données d’entrée (D’x,y(Ne)) à partir dudit volume de données (D(Nx, Ny, Ne)), ces données d’entrée correspondant aux valeurs du paramètre observé, pour un pixel de mêmes coordonnées (x, y) selon différentes acquisitions (Ne), auxquelles au moins une fonction de transformation a été appliquée, et
- un module d’analyse, comportant au moins un réseau de neurones, apte au moins à entraîner ledit au moins un réseau de neurones en utilisant les données d’entrée pour en extraire au moins une caractéristique de l’échantillon à caractériser, et à utiliser ladite caractéristique extraite par le réseau de neurones pour effectuer une classification des données d’entrée selon une pluralité de classes, chaque classe étant représentative d’au moins une caractéristique de l’échantillon à caractériser.
Ledit au moins un réseau de neurones a été de préférence entraîné au préalable sur des images autres que des images spectrales, notamment des images naturelles d’animaux, d’objets, de végétaux, de personnes.
Le réseau de neurones peut comporter une ou plusieurs couches de convolution et/ou une ou plusieurs couches entièrement connectées.
Le dispositif selon l’invention peut comporter un classifieur indépendant du réseau de neurones pour réaliser la classification.
Le dispositif peut comporter un moyen d’excitation thermique de l’échantillon à caractériser, notamment un moyen d’excitation surfacique par éclairement, de préférence un moyen d’excitation surfacique par éclairement pulsé tel qu’une lampe flash.
Le dispositif peut comporter en outre un module de prise de décision communiquant avec le module d’analyse, et un moyen d’action apte à agir sur l’échantillon, ledit module de prise de décision étant apte à asservir ledit moyen d’action rétroactivement en fonction des résultats de classification obtenus à partir dudit module d’analyse et à déclencher une action appropriée envers l’échantillon. Cela permet de réaliser un contrôle de l’échantillon, et d’effectuer un suivi fiable, par exemple dans des applications de contrôle non destructif.
Le moyen d’action peut être une buse de pulvérisation d’un produit phytosanitaire sur des cultures, apte à pulvériser une quantité de produit adaptée aux résultats de classification. Les caractéristiques à extraire peuvent être la masse foliaire, le type de végétation, voire le type de maladie de la plante examinée.
Les caractéristiques énoncées ci-dessus pour le procédé s’appliquent au dispositif et vice-versa.
Le dispositif de caractérisation selon l’invention peut être implanté aisément sur un système embarqué soit à bas coût, par exemple un nano-PC par exemple de type Raspberry PI, soit spécifique, par exemple une carte dédiée de type TX1 de Nvidia®, selon l’application visée. La majeure partie du traitement peut se dérouler dans le système embarqué intelligent, par exemple un nano-PC pouvant être équipé d’une caméra haute définition.
Procédé de contrôle
L’invention a encore pour objet, selon un autre de ses aspects, un procédé de contrôle d’un échantillon, comportant l’étape consistant à générer avec le dispositif de caractérisation d’un échantillon tel que défini précédemment, en fonction des résultats de classification, une information relative à l’échantillon en vue d’une prise de décision consistant à décider d’une action à mener envers l’échantillon à caractériser, et notamment à transmettre une consigne d’action à un moyen d’action apte à la mettre en œuvre.
Produit programme d’ordinateur
L’invention a encore pour objet, selon un autre de ses aspects, un produit programme d’ordinateur pour la mise en œuvre du procédé de caractérisation d’un échantillon tel que défini précédemment, utilisant un ensemble d’images spectrales de l’échantillon à caractériser préalablement acquises, notamment par thermographie infrarouge ou imagerie spectrale, et au moins un réseau de neurones, le produit programme d’ordinateur comportant un support et enregistrées sur ce support des instructions lisibles par un processeur pour lorsqu'exécutées :
- au moins un volume de valeurs (D(Nx, Ny, Ne)) d’un paramètre observé à partir desdites images spectrales est généré, pour une pluralité de coordonnées (Nx, Ny) des pixels des images et une pluralité d’acquisitions (Ne),
- au moins un jeu de données d’entrée (D’x,y(Ne)) est extrait à partir dudit volume de données (D(Nx, Ny, Ne)), ces données d’entrée correspondant aux valeurs du paramètre observé, pour un pixel de mêmes coordonnées (x, y) selon différentes acquisitions (Ne), auxquelles au moins une fonction de transformation a été appliquée,
- ledit au moins un réseau de neurones est entraîné en utilisant les données d’entrée pour en extraire au moins une caractéristique de l’échantillon à caractériser, et
- ladite au moins une caractéristique extraite par le réseau de neurones est utilisée pour effectuer une classification des données d’entrée selon une pluralité de classes, chaque classe étant représentative d’au moins une caractéristique de l’échantillon à caractériser.
Description détaillée
L’invention pourra être mieux comprise à la lecture de la description qui va suivre, d’exemples de mise en œuvre non limitatifs de l’invention, et à l’examen du dessin annexé, sur lequel :
- la figure 1, précédemment décrite, illustre une méthode de classification utilisant un algorithme d’apprentissage profond selon l’art antérieur,
- la figure 2 représente un exemple d’étapes de préparation des données dans le procédé selon l’invention, en vue de leur fourniture à au moins un réseau de neurones,
- la figure 3 illustre des étapes de classification de données par un réseau de neurones dans le procédé selon l’invention,
- la figure 4 représente un exemple de dispositif de caractérisation d’un échantillon selon l’invention, et
- les figures 5 à 10 sont des tableaux montrant les performances de classification du procédé selon l’invention.
On a représenté à la figure 2 un exemple d’étapes de préparation des données dans le procédé selon l’invention, en vue de leur fourniture à au moins un réseau de neurones. Dans cet exemple, des images spectrales sont acquises par une caméra thermique, formant ainsi des images dites thermiques. Le paramètre observé à partir de ces images est la température de la surface de l’échantillon E.
A partir d’un échantillon E à caractériser, lors d’une étape A, un ensemble d’images thermiques 2 est acquis sur une période d’acquisition T prédéfinie, en utilisant par exemple une caméra thermique infrarouge.
Lors d’une étape B, un volume de données D(Nx, Ny, Ne) correspondant aux valeurs instantanées de température est généré à partir des images thermiques 2, dans un repère où Nx et Ny correspondent aux coordonnées des pixels N des images 2 dans les directions (x,y) et Ne correspond à Γacquisition, exprimée soit en numéro de l’image soit en temps, soit en longueur d’ondes dans le cas de l’imagerie multispectrale ou hyperspectrale.
Un jeu de données d’entrée unidimensionnelles D’x,y(Ne) est extrait à partir du volume de données D(Nx, Ny, Ne), lors d’une étape EP. Dans l’exemple considéré, ces données d’entrée D’x,y(Ne) correspondent aux valeurs instantanées de température, pour un pixel de mêmes coordonnées (x, y) selon différents instants d’enregistrement Ne, auxquelles au moins une fonction de transformation est appliquée, détaillée dans la suite.
Lors d’une étape I, des images Ux représentant des courbes correspondant aux valeurs D’x,y du jeu de données d’entrée en fonction de l’instant d’enregistrement Ne sont générées pour chaque jeu de données, et sont transmises à un réseau de neurones RN(cnn), à convolution dans l’exemple considéré. Le réseau de neurones utilisé dans le procédé selon l’invention peut néanmoins être de tout type.
Avantageusement, le procédé selon l’invention comprend en outre une étape PT de prétraitement des données faisant suite à l’étape EP d’extraction. Préférentiellement, cette étape PT de préparation de données consiste à appliquer au moins une fonction de transformation aux valeurs Dx,y(Ne), notamment une fonction de centrage, de normalisation et/ou de lissage. Lors d’une étape NL, différentes fonctions peuvent être appliquées au jeu de données d’entrée, par exemple la fonction identité formant le jeu JO correspondant au jeu de données d’origine, prétraitées ou non, et/ou une fonction de calcul de la dérivée première formant le jeu Jl, et/ou une fonction de calcul de la dérivée seconde formant le jeu J2.
Dans l’exemple considéré, dans une application d’évaluation de l’hétérogénéité d’une couche de peinture, l’échantillon E à inspecter est une plaque métallique d’acier de dimension 370x500mm avec une couche de revêtement de peinture déposée en 4 bandes dont les épaisseurs varient de 59 à 95 pm, comme on peut le voir sur la figure 2. Cet échantillon a été placé horizontalement contre un support isolant afin d’éviter tout phénomène de conduction entre l’échantillon et le sol. Une excitation globale thermique surfacique de l’échantillon peut être réalisée afin d’avoir une grande rapidité de chauffage de l’ensemble de la surface. De préférence et comme dans l’exemple illustré, la technique de la thermographie infrarouge pulsée est utilisée : une onde thermique est envoyée sur la surface de réchantillon dont le profil d’excitation se rapproche le plus possible d’une impulsion de Dirac. Des lampes halogènes peuvent être utilisées, mais l’élévation de température induite par l’éclairement sur une longue durée peut endommager la surface de l’échantillon. Alternativement et de préférence, plusieurs lampes flash générant une grande quantité d’énergie dans un temps très court, positionnées à différents angles, sont utilisées.
Dans l’exemple considéré, la caméra thermique enregistre toutes les 5 millisecondes une image thermique, ou thermogramme, de la face avant de la surface de l’échantillon. Suite à l’acquisition de ces images thermiques, est généré un volume de données tel que décrit précédemment. La période d’acquisition est comprise entre ...0.5 secondes et 2 secondes, étant par exemple égale à 1 secondes.
Comme décrit précédemment et comme visible à la figure 3, chaque pixel du volume de données enregistré par la caméra est un signal unidimensionnel qui est représenté par une image Ux utilisée comme entrée d’un réseau de neurones RNcnn. Ce réseau de neurones RNcnn a été de préférence entraîné préalablement sur des images autres que des images spectrales, dites naturelles, provenant par exemple de la base de données « www.image.net » contenant plus de 1000 classes d’images et plus d’un million d’images. Ce réseau de neurones peut appartenir à un modèle d’analyse MP comprenant en outre un perceptron P, comportant par exemple une couche d’entrée, une ou plusieurs couches cachées et une couche de sortie. Ce modèle d’analyse MP est initialement apte à classifier des images par le réseau de neurone RN puis le perceptron P selon des classes K (Kl, K2...).
Comme décrit précédemment, le réseau de neurones est entraîné en utilisant les données d’entrée Ux pour en extraire des caractéristiques EF, correspondant à différentes épaisseurs de peinture dans l’exemple considéré. Dans le cas où le réseau de neurones appartient à un modèle d’analyse MP comprenant un perceptron P, l’extraction des caractéristiques peut être réalisée par au moins une des couches du perceptron.
Les caractéristiques extraites sont utilisées pour effectuer une classification des réponses thermiques selon une pluralité de classes Cl, C2, chaque classe étant représentative d’une caractéristique de l’échantillon à caractériser, ici différentes épaisseurs. La classification est, dans cet exemple et de préférence, réalisée par un classifieur indépendant du réseau de neurones, du type séparateur à vaste marge (SVM).
Dans l’exemple considéré, à chacune des épaisseurs de revêtement de peinture, visibles à la figure 2, est associée une classe Cl, C2, C3, C4, de dimensions spatiales différentes. Des acquisitions sur ce revêtement ont été réalisées à deux instants différents Tl et T2, créant deux volumes de données, le premier de dimensions 110x611x400, et le deuxième de dimensions 103x631x400. Reconstituer des conditions de mesures identiques entre chaque prise de mesures étant difficile, c’est-à-dire reproduire le même positionnement des échantillons, des lampes, et de la caméra, les volumes de données n’ont pas les mêmes dimensions, hormis la dimension temporelle puisque la période d’acquisition est toujours la même. Comme décrit précédemment, des jeux de données unidimensionnelles J0, J1 et J2 ont été générés à partir de ces volumes.
La figure 5 montre les performances de classification pour le jeu de données J0 issu du deuxième volume, dont un ensemble de 8000 signaux qui ont été sélectionnés aléatoirement (2000 pour chaque classe). 70% des données ont été sélectionnées de façon aléatoire pour l’apprentissage, correspondant au «training data set», et les 30% restant pour le test de classification, correspondant au « test data set ». On observe sur la diagonale que 97% des mesures de la classe 1, 95% de celles de la classe 2, 92% de celles de la classe 3 et 91% de celles de la classe 4 sont bien classées et que la précision moyenne est de 93,5%.
De même, la figure 6 montre les performances de classification pour le jeu de données Jl. On voit en regardant la diagonale que 96% des mesures de la classe 1, 91% de celles de la classe 2, 91% de celles de la classe 3 et 87% de celles de la classe 4 sont bien classées et que la précision moyenne est de 91,25%.
La figure 7 montre les performances de classification pour le jeu de données J2. On voit en regardant la diagonale que 94% des mesures de la classe 1, 86% de celles de la classe 2, 85% de celles de la classe 3 et 89% de celles de la classe 4 sont bien classées et que la précision moyenne est donc de 88,1%. La comparaison des résultats de classification sur les 3 jeux JO, Jl et J2 montre que les meilleurs résultats sont ceux obtenus en prenant les données d’entrée JO normalisées et lissées.
Le procédé selon l’invention permet de reconnaître la réponse thermique de chaque pixel et de l’associer à la bonne classe, pour retrouver de manière fiable, dans l’exemple décrit, l’épaisseur de chaque bande de revêtement de l’échantillon.
Le tableau de la figure 8 montre l’indépendance des résultats de classification par rapport au dépôt d’énergie, c’est-à-dire la vérification du fait qu’une variation de l’homogénéité du dépôt d’énergie sur l’échantillon a un impact très faible sur les résultats de classification de chacun des pixels du volume de données. Ceci permet la réalisation de mesures expérimentales dans lesquelles le paramètre d’uniformité du dépôt d’énergie en surface est peu gênant.
Ces performances de classification ont été établies pour un jeu de données JO contenant 16 000 signaux soit 4000 signaux par classe, chaque classe comprenant 1000 signaux acquis avec quatre lampes flash, 1000 signaux acquis avec trois lampes flash, 1000 signaux acquis avec deux lampes flashs, et 1000 signaux acquis avec une seule lampe flash. Chacune des classes comporte ainsi des pixels éclairés par un nombre différent de lampes « flash ». Ce type de sélection de données augmente de manière importante les différents types de réponses thermiques en fonction de l’éclairage et permet de ce fait au réseau RNcnn d’extraire des caractéristiques les plus significatives possibles, augmentant les performances de l’algorithme et donc la fiabilité des résultats de classification.
On voit en regardant la diagonale que 97% des mesures de la classe 1, 92% des mesures de la classe 2, 86% des mesures de la classe 3 et 91% des mesures de la classe 4 sont bien classées. La précision moyenne est de 91,5%.
Le tableau de la figure 9 a été réalisé en appliquant le classifieur à 4000 signaux différents de ceux employés pour l’apprentissage et l’extraction des caractéristiques par le réseau de neurones RNcnn, mais acquis à une même période temporelle T2, pour lesquels chaque classe est constituée de la même façon que lors de l’apprentissage, c’est-à-dire 1000 signaux à 4 flashs, 1000 signaux à 3 flashs, 1000 signaux à 2 flashs, et 1000 signaux à 1 flash. Comme visible sur la figure 9, 93,075% des mesures de la classe 1, 97,65% des mesures de la classe 2, 97,8% des mesures de la classe 3, et 94,8% des mesures de la classe 4 sont correctement classifiées.
Le tableau de la figure 10 montre l’indépendance des résultats de classification par rapport aux conditions de mesure. La réalisation de deux mesures strictement identiques espacées dans le temps sur un même échantillon est en effet quasiment impossible à obtenir. Les positions des lampes, la distance de la caméra par rapport à l’échantillon, les angles d’inclinaison et la rotation de ce dernier par rapport à la caméra sont des paramètres variables qui peuvent influer sur les résultats de classification.
Dans cet exemple, le jeu de données d’apprentissage, acquis à une période temporelle T2, est identique à celui employé pour réaliser le tableau de la figure 9, la performance de classification étant quant à elle évaluée en appliquant l’algorithme à 4000 signaux différents des signaux employés pour l’apprentissage, et acquis à une période temporelle Tl différente, et pour lesquels chaque classe est constituée de la même façon que lors de l’apprentissage, c’est-à-dire 1000 signaux à 4 flashs, 1000 signaux à 3 flashs, 1000 signaux à 2 flashs, et 1000 signaux à 1 flash.
Comme visible sur la figure 10, 98,6% des mesures de la classe 1, 91,65% des mesures de la classe 2, 91,975% des mesures de la classe 3, et 95,65% des mesures de la classe 4 sont bien classifiées. Les résultats de classification des différents pixels appartenant aux 4 différentes classes est très faiblement dépendant des variations de conditions de mesure.
On va maintenant décrire, en référence à la figure 4, un exemple de dispositif 20 de caractérisation d’un échantillon E selon l’invention. Ce dispositif 20 est, dans l’exemple considéré, un drone de contrôle non destructif par imagerie spectrale.
Le dispositif 20 de caractérisation comporte un moyen d’acquisition AQ d’un ensemble d’images spectrales de l’échantillon E, notamment une caméra thermique ou spectrale, balayant toutes les gammes spectrales, par exemple l’infrarouge, le visible, le proche infrarouge, le moyen infrarouge, l’infrarouge lointain correspondant à l’infrarouge dit thermique ou thermographique, et toute combinaison de ces gammes, notamment visible et proche infrarouge.
Le dispositif 20 de caractérisation comporte également un module de traitement de données MAM apte à générer au moins un volume de valeurs instantanées de données D(Nx, Ny, Ne), et à extraire au moins un jeu de données d’entrée D’x,y(Ne) à partir dudit volume de données D(Nx, Ny, Ne), comme décrit précédemment.
Dans l’exemple considéré, le dispositif 20 de caractérisation comporte en outre un module d’analyse MP, comportant au moins un réseau de neurones RNcnn permettant d’extraire des caractéristiques des données d’entrée, le module d’analyse MP étant apte à utiliser les caractéristiques extraites pour effectuer une classification des données d’entrée selon une pluralité de classes.
Le dispositif 20 de caractérisation peut comporter un moyen d’excitation thermique EX de l’échantillon E à caractériser.
Le dispositif 20 de caractérisation peut comporter en outre un module de prise de décision MD communiquant avec le module d’analyse MP et un moyen d’action ACT apte à agir sur l’échantillon E. Le module de prise de décision MP est avantageusement apte à asservir ledit moyen d’action ACT rétroactivement en fonction des résultats de classification obtenus et à déclencher une action appropriée envers l’échantillon E.
L’invention n’est pas limitée aux exemples qui viennent d’être décrits.
Une application possible de l’invention est la conception d’un dispositif 20 de pulvérisation intelligent, dans le cadre de l’agriculture intelligente ou smart-agriculture. Dans un tel pulvérisateur intelligent, chaque buse de pulvérisation, correspondant au moyen d’action ACT, peut être associée à un réseau hybride embarqué selon l’invention, par exemple, sur un nano-PC utilisant une caméra bas coût par exemple dans le domaine du visible et/ou du proche infrarouge qui permet de détecter la masse foliaire, le type de végétation, voire le type de maladie de la plante examinée, de manière à pulvériser le bon produit phytosanitaire avec la quantité juste nécessaire. L’imagerie multispectrale ou hyperspectrale peut alors être utilisée pour acquérir les images. Les plantes peuvent être du maïs, du blé, ou encore de la vigne. La croissance des plantes peut être également suivie grâce à l’invention et l’apparition éventuelle d’une maladie peut être prédite.
L’invention n’est pas limitée à un réseau de neurones à convolution. Des réseaux de type « Deep Neural Network » (DNN) ou de type « Deep Belief Network » (DBN) peuvent être envisagés.
On peut réaliser le traitement de plusieurs groupes de données en parallèle par des réseaux en parallèle.
L’invention peut être mise en œuvre sur tout type de matériel, par exemple un ordinateur personnel, un téléphone intelligent, un nano-ordinateur, ou une carte dédiée.
L’invention n’est pas limitée à des applications de caractérisation de revêtements par thermographie infrarouge. Les rayonnements dans les domaines du visible, du proche-infrarouge, du moyen infrarouge, de l’infrarouge lointain, des Terahertz ou de l’ultraviolet pourraient être utilisés. L’invention est particulièrement adaptée à des applications de contrôle non destructif, afin de préserver la qualité des échantillons testés.
L’invention peut être utilisée dans des applications diverses, par exemple dans des capteurs embarqués intelligents à bas coût, ou dans des infrastructures décentralisées de type «fog computing », dans lesquelles l’objectif est de gagner en efficacité et de réduire la quantité de données transférées.
L’invention peut être utilisée dans de nombreux autres domaines, tels que le militaire, la surveillance électrique, la géologie, ou encore la biologie ou la bioinformatique, en particulier pour suivre des procédés de fabrication et la qualité des matériaux.

Claims (22)

  1. REVENDICATIONS
    1. Procédé de caractérisation d’un échantillon (E), utilisant un ensemble d’images spectrales de l’échantillon à caractériser préalablement acquises, notamment par thermographie infrarouge ou imagerie spectrale, et au moins un réseau de neurones (RNcnn), le procédé comprenant les étapes consistant à :
    - générer au moins un volume de valeurs (D(Nx, Ny, Ne)) d’un paramètre observé à partir desdites images spectrales, pour une pluralité de coordonnées (x, y) des pixels (N) des images et une pluralité d’acquisitions (Ne),
    - extraire au moins un jeu (Jx) de données d’entrée (D’x,y(Ne)) à partir dudit volume de données (D(Nx, Ny, Ne)), ces données d’entrée correspondant aux valeurs du paramètre observé, pour un pixel de mêmes coordonnées selon différentes acquisitions (Ne), valeurs auxquelles au moins une fonction de transformation a été appliquée,
    - entraîner ledit au moins un réseau de neurones (RNcnn) en utilisant les données d’entrée (Jx) pour en extraire au moins une caractéristique de l’échantillon (E) à caractériser, et
    - utiliser ladite au moins une caractéristique extraite par le réseau de neurones (RNcnn) pour effectuer une classification des données d’entrée selon une pluralité de classes, chaque classe étant représentative d’au moins une caractéristique de l’échantillon (E) à caractériser.
  2. 2. Procédé selon la revendication 1, dans lequel ledit au moins un réseau de neurones (RNcnn) a été entraîné au préalable sur des images autres que des images spectrales, notamment des images d’animaux, d’objets, de végétaux, ou de personnes.
  3. 3. Procédé selon la revendication 1 ou 2, dans lequel ledit au moins un réseau de neurones (RNcnn) est un réseau de neurones à convolution (CNN).
  4. 4. Procédé selon l’une quelconque des revendications 1 à 3, dans lequel la classification est réalisée par un classifieur indépendant du réseau de neurones.
  5. 5. Procédé selon la revendication précédente, dans lequel le classifieur est du type séparateur à vaste marge.
  6. 6. Procédé selon l’une quelconque des revendications précédentes, dans lequel les données d’entrée (Jx) sont transmises au réseau de neurones (RNcnn) sous la forme d’images (Ux) représentant des courbes correspondant aux valeurs (D’x,y) du jeu de données d’entrée en fonction de l’acquisition (Ne).
  7. 7. Procédé selon l’une quelconque des revendications précédentes, dans lequel ladite au moins une fonction de transformation appliquée aux valeurs du paramètre observé (D(Nx, Ny, Ne)) est une fonction de centrage, de normalisation et/ou de lissage.
  8. 8. Procédé selon l’une quelconques des revendications 1 à 6, dans lequel la fonction de transformation appliquée aux valeurs du paramètre observé (D(Nx, Ny, Ne)) est la fonction identité.
  9. 9. Procédé selon l’une quelconques des revendications 1 à 7, dans lequel une fonction de calcul de la dérivée première est appliquée aux valeurs du paramètre observé (D(Nx, Ny, Ne)) pour obtenir les données d’entrée (D’x,y(Ne)).
  10. 10. Procédé selon l’une quelconque des revendications précédentes, dans lequel une fonction de calcul de la dérivée seconde est appliquée aux valeurs du paramètre observé (D(Nx, Ny, Ne)) pour obtenir les données d’entrée (D’x,y(Ne)).
  11. 11. Procédé selon l’une quelconques des revendications précédentes, dans lequel les caractéristiques extraites à partir des données d’entrée sont l’épaisseur ou la gamme d’épaisseur de l’échantillon (E) ou de certaines parties de l’échantillon, une quantité représentative d’une propriété de l’échantillon, notamment une épaisseur de couche de peinture, une épaisseur d’une couche intermédiaire, le niveau de stress hydrique d’une plante, la variation de pigmentation de végétaux.
  12. 12. Procédé selon l’une quelconques des revendications précédentes, dans lequel les images spectrales utilisées sont des images thermiques acquises par thermographie infrarouge, le paramètre observé étant la température de l’échantillon (E).
  13. 13. Procédé selon la revendication précédente, dans lequel la surface de l’échantillon (E) à caractériser est excitée thermiquement préalablement à l’acquisition des images thermiques.
  14. 14. Dispositif (20) de caractérisation d’un échantillon (E), notamment par thermographie infrarouge ou imagerie spectrale, comportant :
    - un moyen d’acquisition (AQ) d’un ensemble d’images spectrales de l’échantillon (E) à caractériser, notamment une caméra thermique,
    - un module de traitement de données (MAM) apte à :
    • générer au moins un volume de valeurs (D(Nx, Ny, Ne)) d’un paramètre observé à partir desdites images spectrales, pour une pluralité de coordonnées (x, y) des pixels (N) des images et une pluralité d’d’acquisitions (Ne), • extraire au moins un jeu de données d’entrée (D’x,y(Ne)) à partir dudit volume de données (D(Nx, Ny, Ne)), ces données d’entrée correspondant aux valeurs du paramètre observé, pour un pixel de mêmes coordonnées selon différentes acquisitions (Ne), valeurs auxquelles au moins une fonction de transformation a été appliquée, et
    - un module d’analyse (MP), comportant au moins un réseau de neurones (RNcnn), apte au moins à entraîner ledit au moins un réseau de neurones en utilisant les données d’entrée pour en extraire au moins une caractéristique de l’échantillon (E) à caractériser, et à utiliser ladite caractéristique extraite par le réseau de neurones pour effectuer une classification des données d’entrée selon une pluralité de classes, chaque classe étant représentative d’une caractéristique de l’échantillon (E) à caractériser.
  15. 15. Dispositif selon la revendication précédente, dans lequel ledit au moins un réseau de neurones (RNcnn) a été entraîné au préalable sur des images autres que des images spectrales, notamment des images d’animaux, d’objets, de végétaux, ou de personnes.
  16. 16. Dispositif selon la revendication 14 ou 15, le réseau de neurones (RNcnn) comportant une ou plusieurs couches de convolution et/ou une ou plusieurs couches entièrement connectées.
  17. 17. Dispositif selon l’une quelconque des revendications 14 à 16, comportant un classifieur indépendant du réseau de neurones (RNcnn) pour réaliser la classification.
  18. 18. Dispositif selon l’une quelconque des revendications 14 à 17, comportant un moyen d’excitation thermique (EX) de l’échantillon (E) à caractériser, notamment un moyen d’excitation surfacique par éclairement, de préférence un moyen d’excitation surfacique par éclairement pulsé tel qu’une lampe flash.
  19. 19. Dispositif selon l’une quelconque des revendications 14 à 18, comportant en outre un module de prise de décision (MD) communiquant avec le module d’analyse (MP) et un moyen d’action (ACT) apte à agir sur l’échantillon (E), ledit module de prise de décision étant apte à asservir ledit moyen d’action rétroactivement en fonction des résultats de classification obtenus à partir dudit module d’analyse et à déclencher une action appropriée envers Γéchantillon.
  20. 20. Dispositif selon la revendication précédente, dans lequel le moyen d’action (ACT) est une buse de pulvérisation d’un produit phytosanitaire sur des cultures, apte à pulvériser une quantité de produit adaptée aux résultats de classification.
  21. 21. Procédé de contrôle d’un échantillon (E), comportant l’étape consistant à générer avec le dispositif (20) de caractérisation d’un échantillon selon l’une quelconque des revendications 14 à 19, en fonction des résultats de classification, une information relative à l'échantillon en vue d’une prise de décision consistant à décider d’une action à mener envers l’échantillon à caractériser, et notamment à transmettre une consigne d’action à un moyen d’action apte à la mettre en œuvre.
  22. 22. Produit programme d’ordinateur pour la mise en œuvre du procédé de caractérisation d’un échantillon (E) selon l’une quelconque des revendications 1 à 13, utilisant un ensemble d’images spectrales de l’échantillon à caractériser préalablement acquises, notamment par thermographie infrarouge ou imagerie spectrale, et au moins un réseau de neurones (RNcnn), le produit programme d’ordinateur comportant un support et enregistrées sur ce support des instructions lisibles par un processeur pour lorsqu'exécutées :
    - au moins un volume de valeurs (D(Nx, Ny, Ne)) d’un paramètre observé à partir desdites images spectrales est généré, pour une pluralité de coordonnées (x, y) des pixels (N) des images et une pluralité d’acquisitions (Ne),
    - au moins un jeu de données d’entrée (D’x,y(Ne)) est extrait à partir dudit volume de données (D(Nx, Ny, Ne)), ces données d’entrée correspondant aux valeurs du paramètre observé, pour un pixel de mêmes coordonnées selon différentes acquisitions (Ne), valeurs auxquelles au moins une fonction de transformation a été appliquée,
    - ledit au moins un réseau de neurones (RNcnn) est entraîné en utilisant les données d’entrée pour en extraire au moins une caractéristique de l’échantillon (E) à caractériser, et ladite au moins une caractéristique extraite par le réseau de neurones (RNcnn) est utilisée pour effectuer une classification des données d’entrée selon une pluralité de classes, chaque classe étant représentative d’une caractéristique de l’échantillon (E) à caractériser.
FR1761522A 2017-12-01 2017-12-01 Procede de caracterisation d'echantillons utilisant des reseaux de neurones Active FR3074596B1 (fr)

Priority Applications (7)

Application Number Priority Date Filing Date Title
FR1761522A FR3074596B1 (fr) 2017-12-01 2017-12-01 Procede de caracterisation d'echantillons utilisant des reseaux de neurones
JP2020547304A JP2021504864A (ja) 2017-12-01 2018-11-30 ニューラルネットワークを使用してサンプルを特徴付けるための方法
EP18814839.9A EP3717877A2 (fr) 2017-12-01 2018-11-30 Procede de caracterisation d'echantillons utilisant des reseaux de neurones
PCT/EP2018/083210 WO2019106179A2 (fr) 2017-12-01 2018-11-30 Procede de caracterisation d'echantillons utilisant des reseaux de neurones
CN201880077916.3A CN111630356B (zh) 2017-12-01 2018-11-30 用于使用神经网络来表征样本的方法
US16/768,573 US11828652B2 (en) 2017-12-01 2018-11-30 Method for characterising samples using neural networks
CA3083079A CA3083079A1 (fr) 2017-12-01 2018-11-30 Procede de caracterisation d'echantillons utilisant des reseaux de neurones

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1761522 2017-12-01
FR1761522A FR3074596B1 (fr) 2017-12-01 2017-12-01 Procede de caracterisation d'echantillons utilisant des reseaux de neurones

Publications (2)

Publication Number Publication Date
FR3074596A1 true FR3074596A1 (fr) 2019-06-07
FR3074596B1 FR3074596B1 (fr) 2019-12-06

Family

ID=62067607

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1761522A Active FR3074596B1 (fr) 2017-12-01 2017-12-01 Procede de caracterisation d'echantillons utilisant des reseaux de neurones

Country Status (7)

Country Link
US (1) US11828652B2 (fr)
EP (1) EP3717877A2 (fr)
JP (1) JP2021504864A (fr)
CN (1) CN111630356B (fr)
CA (1) CA3083079A1 (fr)
FR (1) FR3074596B1 (fr)
WO (1) WO2019106179A2 (fr)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3608701A1 (fr) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Procédé de fourniture d'au moins un procédé d'évaluation pour échantillons
US11244050B2 (en) * 2018-12-03 2022-02-08 Mayachitra, Inc. Malware classification and detection using audio descriptors
CN110333260B (zh) * 2019-07-19 2022-07-26 北京锐百凌科技有限公司 防爆高光谱远红外气云成像控制传输及信息处理、定向发布系统
KR102256181B1 (ko) * 2019-12-30 2021-05-27 한국과학기술원 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템
DE102020205456A1 (de) 2020-04-29 2021-11-04 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Erzeugen von Qualitätsinformation über ein Beschichtungsprofil, Verfahren, Vorrichtung und Computerprogramm zum Erzeugen einer Datenbank, Überwachungsgerät
US11393182B2 (en) 2020-05-29 2022-07-19 X Development Llc Data band selection using machine learning
FR3114653A1 (fr) 2020-09-30 2022-04-01 Antonin VAN EXEM Procede d’analyse de la pollution des sols
FR3117297B1 (fr) * 2020-12-08 2023-05-05 Otodo Procédé d’aide à l’appairage d’un objet domestique connecté avec une unité centralisée
AU2021203867B2 (en) * 2020-12-28 2023-02-02 Sensetime International Pte. Ltd. Image identification methods and apparatuses, image generation methods and apparatuses, and neural network training methods and apparatuses
CN113063751B (zh) * 2021-03-25 2022-04-22 司法鉴定科学研究院 一种基于红外光谱成像技术的法医学肺脂肪栓塞分析方法
CN113888507B (zh) * 2021-09-30 2024-06-28 浙江大学 一种抗白叶枯病水稻光谱指标筛选方法及系统
CN113984772A (zh) * 2021-10-25 2022-01-28 浙江大学 基于多源数据融合的作物病害信息检测方法、系统及装置
CN114387226A (zh) * 2021-12-23 2022-04-22 中国联合网络通信集团有限公司 大米等级划分方法、装置、设备及存储介质
WO2024051907A1 (fr) * 2022-09-06 2024-03-14 Frontier Innovation Aps Système d'une flotte de systèmes de dispositifs de caractérisation de surface
WO2024051906A1 (fr) * 2022-09-06 2024-03-14 Frontier Innovation Aps Système de dispositif de caractérisation de surface
CN117538658B (zh) * 2023-11-16 2024-08-16 深圳市美信检测技术股份有限公司 基于红外光谱及热成像的人工智能故障定位方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043042A1 (fr) * 1997-03-25 1998-10-01 Applied Spectral Imaging Ltd. Procedes de bio-imagerie spectrale pour la classification de cellules
WO1999005487A1 (fr) * 1997-07-25 1999-02-04 Physical Optics Corporation Evaluation precise d'une lesion tissulaire par une analyse utilisant un reseau neuronal hybride
EP2696191A1 (fr) * 2011-04-06 2014-02-12 Universitat Autònoma De Barcelona Procédé de caractérisation et de classification de calculs rénaux

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621150B (zh) 2012-03-23 2014-02-05 南京航空航天大学 基于灰度共生矩阵和支持向量机的飞机蒙皮损伤识别方法
JP6451741B2 (ja) * 2014-07-11 2019-01-16 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム
US10139279B2 (en) 2015-05-12 2018-11-27 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
ES2846786T3 (es) * 2015-07-02 2021-07-29 Ecorobotix Sa Vehículo robot y procedimiento que utiliza un robot para un tratamiento automático de organismos vegetales
WO2017096353A1 (fr) * 2015-12-03 2017-06-08 The Cleveland Clinic Foundation Évaluation clinique automatisée de l'œil
US9519844B1 (en) * 2016-01-22 2016-12-13 The Boeing Company Infrared thermographic methods for wrinkle characterization in composite structures
CN105760883A (zh) 2016-02-15 2016-07-13 西安科技大学 基于红外热像的带式输送机关键部件自动识别方法
US9865052B2 (en) * 2016-03-18 2018-01-09 Niramai Health Analytix Pvt Ltd Contour-based determination of malignant tissue in a thermal image
CN106022365B (zh) 2016-05-16 2019-04-02 电子科技大学 基于数据融合和rbf神经网络的表面缺陷深度估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043042A1 (fr) * 1997-03-25 1998-10-01 Applied Spectral Imaging Ltd. Procedes de bio-imagerie spectrale pour la classification de cellules
WO1999005487A1 (fr) * 1997-07-25 1999-02-04 Physical Optics Corporation Evaluation precise d'une lesion tissulaire par une analyse utilisant un reseau neuronal hybride
EP2696191A1 (fr) * 2011-04-06 2014-02-12 Universitat Autònoma De Barcelona Procédé de caractérisation et de classification de calculs rénaux

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANNE-KATRIN MAHLEIN: "Plant Disease Detection by Imaging Sensors - Parallels and Specific Demands for Precision Agriculture and Plant Phenotyping", PLANT DISEASE, vol. 100, no. 2, 1 February 2016 (2016-02-01), US, pages 241 - 251, XP055505859, ISSN: 0191-2917, DOI: 10.1094/PDIS-03-15-0340-FE *
CHEN YUSHI ET AL: "Deep Feature Extraction and Classification of Hyperspectral Images Based on Convolutional Neural Networks", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 54, no. 10, 1 October 2016 (2016-10-01), pages 6232 - 6251, XP011619618, ISSN: 0196-2892, [retrieved on 20160811], DOI: 10.1109/TGRS.2016.2584107 *
FU JIE HUANG ET AL: "Large-scale Learning with SVM and Convolutional for Generic Object Categorization", CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2006 IEEE COMPUTER SOCIETY , NEW YORK, NY, USA 17-22 JUNE 2006, IEEE, PISCATAWAY, NJ, USA, vol. 1, 17 June 2006 (2006-06-17), pages 284 - 291, XP010922832, ISBN: 978-0-7695-2597-6 *
MALDAGUE X ET AL: "A study of defect depth using neural networks in pulsed phase thermography: modelling, noise, experiments", REVUE GENERALE DE THERMI, ELSEVIER EDITIONS SCIENTIFIQUES ET MEDICALES,PARIS, FR, vol. 37, no. 8, 1 September 1998 (1998-09-01), pages 704 - 717, XP004553470, ISSN: 0035-3159, DOI: 10.1016/S0035-3159(98)80048-2 *
WEI HU ET AL: "Deep Convolutional Neural Networks for Hyperspectral Image Classification", JOURNAL OF SENSORS, vol. 2015, 1 January 2015 (2015-01-01), US, pages 1 - 12, XP055505593, ISSN: 1687-725X, DOI: 10.1155/2015/258619 *
YANGQING JIA: "Caffe: Convolutional Architecture for Fast Feature Embedding", 20 June 2014 (2014-06-20), XP055505760, Retrieved from the Internet <URL:https://arxiv.org/pdf/1408.5093.pdf> [retrieved on 20180910] *

Also Published As

Publication number Publication date
WO2019106179A2 (fr) 2019-06-06
EP3717877A2 (fr) 2020-10-07
CA3083079A1 (fr) 2019-06-06
US11828652B2 (en) 2023-11-28
CN111630356B (zh) 2023-10-03
FR3074596B1 (fr) 2019-12-06
JP2021504864A (ja) 2021-02-15
CN111630356A (zh) 2020-09-04
WO2019106179A3 (fr) 2019-07-25
US20200333185A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
FR3074596A1 (fr) Procede de caracterisation d&#39;echantillons utilisant des reseaux de neurones
Lowe et al. Hyperspectral image analysis techniques for the detection and classification of the early onset of plant disease and stress
EP2427752B1 (fr) Procede d&#39;identification d&#39;une scene a partir d&#39;images polarisees multi longueurs d&#39;onde
CA2778682A1 (fr) Procede et dispositif d&#39;analyse d&#39;images hyper-spectrales
FR3069940B1 (fr) Procede et systeme de cartographie de l’etat sanitaire de cultures
Yao et al. Hyperspectral image classification and development of fluorescence index for single corn kernels infected with Aspergillus flavus
Men et al. A residual network with attention module for hyperspectral information of recognition to trace the origin of rice
EP3937628A1 (fr) Dispositif de contrôle de traitement agricole
Thakur et al. Deep transfer learning based photonics sensor for assessment of seed-quality
FR3071644A1 (fr) Procede et dispositif de classification de plantes
Tamayo-Monsalve et al. Coffee maturity classification using convolutional neural networks and transfer learning
Zhang et al. Classification method of CO2 hyperspectral remote sensing data based on neural network
Villacrés et al. Construction of 3D maps of vegetation indices retrieved from UAV multispectral imagery in forested areas
Li et al. Rapid detection and visualization of mechanical bruises on “Nanfeng” mandarin using the hyperspectral imaging combined with ICA_LSQ method
Hongyu et al. Rapid diagnosis of tomato NPK nutrition level based on hyperspectral technology.
Uryasheva et al. Computer vision-based platform for apple leaves segmentation in field conditions to support digital phenotyping
Shen et al. Single convolutional neural network model for multiple preprocessing of Raman spectra
FR3093613A1 (fr) Dispositif de contrôle de traitement agricole
EP3682201A1 (fr) Dispositif de capture d&#39;une image hyperspectrale
Lopez-Juarez et al. A hybrid non-invasive method for internal/external quality assessment of potatoes
Lang et al. Classification of materials using a pulsed time-of-flight camera
Frederick et al. Classifying adaxial and abaxial sides of diseased citrus leaves with selected hyperspectral bands and YOLOv8
Zhao et al. Application of hyperspectral imaging in measurement real-time of seeds
FR2733596A1 (fr) Procede et dispositif d&#39;identification de particules
Barman et al. Computer and Information Sciences

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20190607

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7