FR3098962A1

FR3098962A1 - Système de détection d’une particularité hyperspectrale

Info

Publication number: FR3098962A1
Application number: FR1908084A
Authority: FR
Inventors: Gérald Germain
Original assignee: Carbon Bee
Current assignee: Carbon Bee
Priority date: 2019-07-17
Filing date: 2019-07-17
Publication date: 2021-01-22
Anticipated expiration: 2039-07-17
Also published as: FR3098962B1

Abstract

SYSTEME DE DÉTECTION HYPERSPECTRALE Le système de détection d’une particularité hyperspectrale comprend un module informatisé de construction (16) d'une image hyperspectrale tridimensionnelle (15) à partir de différentes (R0-R7) d’un plan focal. Un module de construction (16) intègre un réseau de neurones (20) qui calcule une intensité (Ιx,y,λ) de chaque voxel (Vx,y,λ) de l’image hyperspectrale tridimensionnelle (15) en fonction d'une intensité lumineuse (lR (x,y); ΙG (x,y); IB(x,y) ; IIR(x,y)) dans les images non-diffractées (17-18) et des intensités lumineuses (In( u , v )) dans les diffractions (R0-R7) de l’image compressée (14) dont les coordonnées u,v sont dépendantes des coordonnées x, y, λ du voxel (Vx,y, λ). Le système de détection comprend un module informatisé de caractérisation (21) qui détermine un indice hyperspectral à partir de l’image hyperspectrale tridimensionnelle (15). Figure pour l’abrégé : Fig. 1

Description

Système de détection d’une particularité hyperspectrale

La présente invention se rapporte à un système de détection d’une particularité hyperspectrale.

L'invention trouve une application particulièrement avantageuse pour les systèmes embarqués destinés à acquérir une ou plusieurs images hyperspectrales.

L'invention peut être appliquée à l'ensemble des domaines techniques faisant appel à des images hyperspectrales. Ainsi, et de manière non exhaustive, l'invention peut être utilisée dans le domaine médical, pour réaliser du phénotypage ; dans le domaine végétal pour la détection de symptômes de stress, de maladies ou la différenciation des espèces et dans le domaine de l'analyse chimique, pour des mesures de concentration.

Au sens de l'invention, une image hyperspectrale comporte trois dimensions : deux dimensions « spatiales » et une troisième dimension « spectrale » exprimant les variations de la réflectance lumineuse pour différentes longueurs d'onde.

Une image hyperspectrale est généralement codée sous la forme de voxels. Au sens de l'invention, un voxel correspond à un pixel d'un plan focal d'une scène observée pour une longueur d'onde particulière. Un voxel comporte donc trois coordonnées : l'abscisse x et l'ordonnée y (ci-après nommées « coordonnées spatiales ») illustrant la position du pixel sur le plan focal et une longueur d'onde λ (ci-après nommée « coordonnée spectrale »).

L'obtention de cette image hyperspectrale peut être réalisée simplement en utilisant une succession de filtres chromatographiques distincts et en capturant l'image de la scène observée sous l'influence respective de chacun de ces filtres chromatographiques. Cette solution est insatisfaisante, car elle requiert autant de filtres chromatographiques que de longueurs d'onde à analyser. Il s'ensuit une complexifïcation importante de l'optique d'acquisition pour mettre en œuvre le déplacement des différents filtres devant un capteur fixe.

Pour résoudre ce problème, la thèse de doctorat « Non-scanning imaging spectrometry », Descour, Michael Robert, 1994, The university of Arizona, propose d'acquérir une seule image de la scène observée contenant toutes les informations sur l'influence des différentes longueurs d'onde.

Cette méthode, dénommée CTIS (pour « Computed-Tomography Imaging Spectrometer »), propose de capturer une image diffractée du plan focal de la scène observée au moyen d'un réseau de diffraction disposé en amont d'un capteur numérique. Cette image diffractée, acquise par le capteur numérique, prend la forme de multiples projections du plan focal de la scène observée et contient l'ensemble des informations spectrales.

Cette méthode CTIS permet également d'acquérir instantanément, c'est-à-dire en une seule prise de vue, une image contenant toutes les informations nécessaires pour retrouver l'image hyperspectrale. Cependant, le capteur numérique acquiert simultanément l'image originale et ses diffractions, réduisant significativement le nombre de pixels disponibles pour chacun de ces éléments. La précision spatiale ainsi obtenue est relativement faible au regard des exigences de certaines applications de l'imagerie hyperspectrale.

En outre, bien que l'acquisition soit rapide, cette méthode CTIS est particulièrement complexe à utiliser en raison du processus d'estimation de l'image hyperspectrale mis en œuvre à partir des diffractions. En effet, la fonction de transfert de l'optique de diffraction doit être inversée pour reconstituer l'image hyperspectrale. Malheureusement, la matrice de cette fonction de transfert n'est que partiellement définie et le résultat peut seulement être approché itérativement par des méthodes d'inversion coûteuses en temps de calcul. Cette méthode CTIS a fait l'objet de nombreux travaux de recherche visant à en améliorer l'implémentation. Récemment, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, a proposé une stratégie d'implantation optimisée dans laquelle le temps d'obtention d'une image hyperspectrale est de 11 min sur un ordinateur puissant avec 16 cœurs de processeur.

En l'état actuel, les implémentations de la méthode CTIS ne permettent pas d'obtenir rapidement des images hyperspectrales précises (d'un point de vue spatial ou spectral). Pour pallier les temps de traitements, le processus classique d'analyse consiste à acquérir in situ les données pour les traiter ultérieurement. Cette approche pose de nombreuses contraintes quant aux procédures d'acquisition et à l'évaluation préalable de la qualité des futures images hyperspectrales. Le problème technique de l'invention consiste à améliorer le processus d'obtention d'une image hyperspectrale par diffraction du plan focal.

Récemment, WO 2019/053,364 a proposé de reconstituer une image hyperspectrale tridimensionnelle de la scène au moyen d’un réseau de neurones.

La présente invention vise à caractériser rapidement une scène hyperspectrale.

Dans ce but, on prévoit un système de détection d’une particularité hyperspectrale comprenant :
- un module informatisé de construction d'une image hyperspectrale tridimensionnelle à partir de différentes diffractions d’un plan focal;
caractérisé en ce que ledit module de construction intègre un réseau de neurones configuré pour calculer une intensité de chaque voxel de ladite image hyperspectrale tridimensionnelle en fonction :
. d'une intensité lumineuse dans chacune d’au moins une image non-diffractée aux coordonnées x et y; et
. des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées u,v sont dépendantes des coordonnées x, y, λ dudit voxel,
et en ce que le système de détection comprend en outre un module informatisé de caractérisation adapté pour déterminer un indice hyperspectral à partir de l’image hyperspectrale tridimensionnelle.

Grace à ces aspects, on obtient une caractérisation rapide et efficace d’une image bidimensionnelle.

Selon un mode de réalisation, l'intensité de chaque voxel est recherchée dans M représentations chromatiques selon la relation suivante : avec :
• n=floor(M(d_t-1)/D_MAX) ;
• n compris entre 0 et M, le nombre de diffractions de l'image compressée ;
• λ=(d_t-1)mod(D_MAX/M) ;
• d_tcompris entre 1 et D_MAX;
• x_tcompris entre 0 et X_MAX;
• y_tcompris entre 0 et Y_MAX;
• X_MAXla taille selon l’axe x du tenseur d’ordre trois de la couche d’entrée ;
• Y_MAXla taille selon l’axe y du tenseur d’ordre trois de la couche d’entrée ;
• D_MAXla profondeur du tenseur d’ordre trois de la couche d’entrée ;
• λ_sliceXcorrespondant à la constante du pas spectral du pixel en X de ladite image compressée;
• λ_sliceYcorrespondant à la constante du pas spectral du pixel en Y de ladite image compressée;
• x_0ffsetxncorrespondant au décalage suivant l'axe X de la diffraction n ;
• y_0ffsetYncorrespondant au décalage suivant l'axe Y de la diffraction n.

Selon un mode de réalisation, le système de détection comprend un dispositif de capture d’une image hyperspectrale tridimensionnelle comprenant un système d'acquisition d'une image compressée d'un plan focal; et un système d'acquisition d'au moins une image non-diffractée dudit plan focal, le module informatisé de construction faisant partie du dispositif de capture.

Selon un mode de réalisation, le système d’acquisition est un système d'acquisition d'au moins deux images non-diffractées dudit plan focal obtenues avec des filtres chromatographiques distincts, le réseau de neurones étant configuré pour calculer une intensité de chaque voxel de ladite image hyperspectrale tridimensionnelle, le poids de chaque intensité dépendant de la proximité entre la longueur d'onde recherchée et la couleur du filtre chromatographique de ladite image non-diffractée.

Selon un mode de réalisation, ladite image compressée et lesdites images non-diffractées sont obtenues par un ensemble de miroirs semi-transparents de sorte à capter ledit plan focal sur plusieurs capteurs simultanément.

Selon un mode de réalisation, ladite image compressée et lesdites images non-diffractées sont obtenues par plusieurs capteurs juxtaposés, chaque capteur intégrant une étape de prétraitement visant à extraire un plan focal présent sur l'ensemble des capteurs.

Selon un mode de réalisation, trois images non-diffractées sont obtenues par un capteur de type RVB.

Selon un mode de réalisation, une image non- diffractée est obtenue par un capteur infrarouge.

Selon un mode de réalisation, une image non- diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.

Selon un mode de réalisation, une image non- diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres.

Selon un mode de réalisation, ladite image compressée est obtenue par un capteur comportant :
- une première lentille convergente configurée pour focaliser les informations d'une scène sur une ouverture ;
- un collimateur configuré pour capter les rayons traversant ladite ouverture et pour transmettre ces rayons sur un réseau de diffraction ; et
- une seconde lentille convergente configurée pour focaliser les rayons issus du réseau de diffraction sur une surface de captation.

Selon un autre aspect, l’invention se rapporte à un procédé de détection d’une particularité hyperspectrale comprenant :
- un module informatisé de construction d'une image hyperspectrale tridimensionnelle à partir de différentes diffractions d’un plan focal intègre un réseau de neurones configuré pour calculer une intensité de chaque voxel de ladite image hyperspectrale tridimensionnelle en fonction :
. d'une intensité lumineuse dans chacune d’au moins une image non-diffractée aux coordonnées x et y, et
. des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées u,v sont dépendantes des coordonnées x, y, λ dudit voxel,
- un module informatisé de caractérisation détermine un indice hyperspectral à partir de l’image hyperspectrale tridimensionnelle.

Selon un autre aspect, l’invention se rapporte à un programme d’ordinateur adapté, lorsqu’il est exécuté par un processeur, pour mettre en œuvre ce procédé.

DESCRIPTION SOMMAIRE DES FIGURES

La manière de réaliser l’invention ainsi que les avantages qui en découlent, ressortiront bien du mode de réalisation qui suit, donné à titre indicatif mais non limitatif, à l’appui des figures annexées dans lesquelles les figures 1 à 4 représentent :

- : une représentation schématique de face d'un dispositif de capture d'une image hyperspectrale selon un mode de réalisation de l'invention ;

- [Fig. 2 : une représentation schématique structurelle des éléments du dispositif de la figure 1 ;

- : une représentation schématique des poids d'influence du réseau de neurones de la figure 2 ;

- : une représentation schématique de l'architecture du réseau de neurones de la figure 2.

MANIERE DE DECRIRE L’INVENTION

Par « compressée », on fait référence à une image bi-dimensionnelle d’une scène tri-dimensionnelle comprenant des informations spatiales et spectrales de la scène tri-dimensionnelle. Les informations spatiales et spectrales de la scène tridimensionnelle sont ainsi projetées au moyen d’un système optique sur une surface de captation bidimensionnelle. Une telle image « compressée » peut comprendre une ou plusieurs images diffractées de la scène tridimensionnelle, ou des parties de celles-ci. En complément, elle peut aussi comprendre une partie d’une image non-diffractée de la scène. Ainsi, le terme « compressé » est utilisé parce qu’une représentation en deux-dimensions d’une information spectrale tri-dimensionnelle est possible. Par « spectral », on comprend qu’on va au-delà, en terme de nombre de fréquences détectées, d’une image RGB « standard » de la scène.

Par « standard », on fait référence, par opposition à une image « compressée », à une image ne présentant pas de diffraction de la scène hyperspectrale. Une telle image peut quand même être obtenue par des manipulations optiques par l’intermédiaire de miroirs réfléchissants ou de lentilles.

Par « particularité », on fait référence à une caractéristique de la scène – cette caractéristique peut être spatiale, spectrale, correspondre à une forme, une couleur, une texture, une signature spectrale ou une combinaison de celles-ci, et peut notamment être interprétée de manière sémantique.

Par « objet », on fait référence au sens commun utilisé pour ce terme. Une détection d’objet sur une image correspond à la localisation et à une interprétation sémantique de la présence de l’objet sur la scène imagée. Un objet peut être caractérisé par sa forme, sa couleur, sa texture, sa signature spectrale ou une combinaison de ces caractéristiques.

Selon un premier mode de réalisation, le système de détection comprend un dispositif de capture 10 et un module informatisé de caractérisation 21. La figure 1 illustre un dispositif de capture 10 d'une image hyperspectrale 15 en trois dimensions comportant trois capteurs juxtaposés 11-13. Un premier capteur 11 permet d'obtenir une image compressée 14' d'un plan focal P11' d'une scène observée. Tel qu'illustré sur la figure 2, ce premier capteur 11 comporte une première lentille convergente 30 qui focalise le plan focal P11' sur une ouverture 31. Un collimateur 32 capte les rayons traversant l'ouverture 31 et transmet ces rayons à un réseau de diffraction 33. Une seconde lentille convergente 34 focalise ces rayons issus du réseau de diffraction 33 sur une surface de captation 35.

La structure de ce réseau optique est relativement similaire à celle décrite dans la publication scientifique « Computed-tomography imaging spectrometer : expérimental calibration and reconstruction results », publiée dans APPLIED OPTICS, volume 34 (1995) nombre 22.

Cette structure optique permet d'obtenir une image compressée 14’, illustrée sur la figure 3, présentant plusieurs diffractions R0-R7 du plan focal P11' disposées autour d'une image non diffractée de petite taille. Dans l'exemple des figures 1 à 4, l'image compressée présente huit diffractions R0-R7 distinctes obtenues avec deux axes de diffraction du réseau de diffraction 33 disposés aussi éloignés que possible l’un de l’autre dans un plan normal à l’axe optique, c’est-à-dire sensiblement orthogonaux l’un à l’autre.

En variante, trois axes de diffractions peuvent être utilisés sur le réseau de diffraction 33 de sorte à obtenir une image compressée 14’ avec seize diffractions. Les trois axes de diffraction peuvent être équirépartis, c’est-à-dire séparés les uns des autres par un angle de 60°.

Ainsi, de manière générale, l’image compressée comprend 2^R+1diffractions si on utilise R réseaux de diffraction équirépartis, c’est-à-dire séparés par le même angle les uns des autres.

La surface de captation 35 peut correspondre à un capteur CCD (pour « charge- coupled device » dans la littérature anglo-saxonne, c'est-à-dire un dispositif à transfert de charge), à un capteur CMOS (pour « complementary metal-oxide-semiconductor » dans la littérature anglo-saxonne, une technologie de fabrication de composants électroniques), ou à tout autre capteur connu. Par exemple, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, propose d'associer cette structure optique à un appareil photo numérique standard pour capter l'image compressée.

De préférence, chaque pixel de l'image compressée 14’ est codé sur 8 bits permettant ainsi de représenter 256 couleurs.

Un second capteur 12 permet d'obtenir une image non diffractée 17' d'un plan focal P12' de la même scène observée, mais avec un décalage induit par le décalage entre le premier 11 et le second capteur 12. Ce second capteur 12 correspond à un capteur RVB, c'est-à-dire un capteur permettant de coder l'influence des trois couleurs Rouge, Verte et Bleue du plan focal P12'. Il permet de rendre compte de l'influence de l'utilisation d'un filtre bleu F1, d'un filtre vert F2 et d'un filtre rouge F3 sur la scène observée.

Ce capteur 12 peut être réalisé par un capteur CMOS ou CCD associé à filtre de Bayer. En variante, tout autre capteur peut être utilisé pour acquérir cette image RVB 17'. De préférence, chaque couleur de chaque pixel de l'image RVB 17' est codée sur 8 bits. Ainsi, chaque pixel de l'image RVB 17' est codé sur 3 fois 8 bits. En variante, on pourrait utiliser un capteur monochrome.

Un troisième capteur 13 permet d'obtenir une image infrarouge 18', IR, d'un troisième plan focal P13' de la même scène observée avec également un décalage avec le premier 11 et le second capteur 12. Ce capteur 13 permet de rendre compte de l'influence de l'utilisation d'un filtre infrarouge F4 sur la scène observée.

Tout type de capteur connu peut être utilisé pour acquérir cette image IR 18’. De préférence, chaque pixel de l'image IR 18’ est codé sur 8 bits. En variante, on utilise seulement l’un ou l’autre du capteur 12 et du capteur 13.

La distance entre les trois capteurs 11-13 peut être inférieure à 1 cm de sorte à obtenir un recoupement important des plans focaux P11'-P13' par les trois capteurs 11-13. Les capteurs sont par exemple alignés selon l’axe x. La topologie et le nombre des capteurs peuvent varier sans changer l'invention.

Par exemple, les capteurs 11-13 peuvent acquérir une image de la même scène observée en utilisant des miroirs semi-transparents pour transmettre les informations de la scène observée aux différents capteurs 11-13. La figure 1 illustre un dispositif 10 comportant trois capteurs 11-13. En variante, d'autres capteurs peuvent être montés sur le dispositif 10 pour augmenter les informations contenues dans l'image hyperspectrale. Par exemple, le dispositif 10 peut intégrer un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nano- mètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.

Tel qu'illustré sur la figure 2, le dispositif 10 comporte également un module de construction 16 d'une image hyperspectrale 15 à partir des différentes diffractions R0- R7 de l'image compressée 14’ et des images non-diffractées 17’, 18’.

Dans l'exemple des figures 1 à 4, dans lequel les capteurs 11-13 sont juxtaposés, une étape de prétraitement est réalisée pour extraire un plan focal P11–P13 présent sur chacune des images 14', 17'-18' acquises par les trois capteurs 11-13. Ce prétraitement consiste, pour chaque plan focal P11'-P13', à isoler 25 la partie commune des plans focaux P11'-P13' puis à extraire 26 cette partie commune pour former l'image 14, 17- 18 de chaque plan focal P11-P13 observé par le capteur 11-13 spécifique. La partie de chaque image 14', 17'-18' à isoler peut être définie directement dans une mémoire du dispositif de capture 10 en fonction des choix de positionnement des capteurs 11-13 entre eux, ou une étape d'apprentissage peut être utilisée pour identifier la partie à isoler 25.

De préférence, les images 17'-18' issues de capteurs RVB et IR sont recoupées en utilisant une corrélation croisée en deux dimensions. L'extraction du plan focal de l'image compressée 14' est calculée par interpolation des décalages en x et y entre les capteurs 12-13 ramenés à la position du capteur 11 de l'image compressée en connaissant la distance entre chaque capteur 11-13. Cette étape de prétraitement n'est pas toujours nécessaire, notamment, lorsque les capteurs 11-13 sont configurés pour capturer le même plan focal, par exemple avec l'utilisation de miroirs semi-transparents.

Lorsque les images 14, 17 et 18 de chaque plan focal P11-P13 observées par chaque capteur 11-13 sont obtenues, le module de constructions 16 met en œuvre un réseau de neurones 20 pour former une image hyperspectrale 15 à partir des informations de ces trois images 14, 17-18.

Ce réseau de neurones 20 vise à déterminer l'intensité Ι_χ,γ,λde chaque voxel V_χ,γ,λde l'image hyperspectrale 15.

Pour ce faire, tel qu'illustré sur la figure 4, le réseau de neurones 20 comporte une couche d'entrée 40, apte à extraire les informations des images 14, 17-18, et une couche de sortie 41, apte à traiter ces informations de sorte à créer une information pour le voxel V_χ,γ,λconsidéré.

Le premier neurone de la couche d'entrée 40 permet d'extraire l'intensité I_IR(x,y) de l'image IR 18 en fonction des coordonnées x et y du voxel V_χ,γ,λrecherché. Par exemple, si l'image IR 18 est codée sur 8 bits, ce premier neurone transmet à la couche de sortie 41 la valeur sur 8 bits du pixel de l'image IR 18 aux coordonnées x et y recherchées. Le second neurone de la couche d'entrée 40 effectue la même tâche pour la couleur rouge 17a de l'image RVB 17.

Selon l'exemple précédent, chaque couleur étant codée sur 8 bits, l'intensité recherchée l_R(x ;y) est également codée sur 8 bits. Le troisième neurone recherche l'intensité I_v(x ;y) de la même manière pour la couleur verte 17b et le quatrième neurone recherche l’intensité I_B(x ;y) pour la couleur bleue 17c. Ainsi, pour ces quatre premiers neurones, il est très facile d'obtenir l'intensité, car il suffit d'utiliser la position en x et y du voxel recherché.

Les neurones suivants de la couche d'entrée 40 sont plus complexes, car chacun des neurones suivants est associé à une diffraction R0-R7 de l'image compressée 14.

Ces neurones recherchent l'intensité l_n(u,v) d'une diffraction spécifique en des pixels de coordonnées (u,v) de l’image compressée 14 qui sont fonction de la position en x et y, mais également de la longueur d'onde λ du voxel V_χ,γ,λrecherché.

Cette relation entre les trois coordonnées du voxel V_χ,γ,λet la position enu et vpeut être codée dans une mémoire lors de l'intégration du réseau de neurones 20.

De préférence, une phase d'apprentissage permet de définir cette relation en utilisant un modèle connu dont les paramètres sont recherchés à partir de représentations d'objets connus. Un exemple de modèle est défini par la relation suivante :

avec :
n=floor(M(d_t-1)/D_MAX) ;
n compris entre 0 et M, le nombre de diffractions de l'image compressée ;
λ=(d_t-1)mod(D_MAX/M) ;
d_tcompris entre 1 et D_MAX;
x_tcompris entre 0 et X_MAX;
y_tcompris entre 0 et Y_MAX;
X_MAXla taille selon l’axe x du tenseur d’ordre trois de la couche d’entrée ;
Y_MAXla taille selon l’axe y du tenseur d’ordre trois de la couche d’entrée ;
D_MAXla profondeur du tenseur d’ordre trois de la couche d’entrée ;
λ_sliceX, la constante du pas spectral selon l’axe x de ladite image compressée ;
λ_sliceY, la constante du pas spectral selon l’axe y de ladite image compressée ;
x_offsetX(n) correspondant au décalage suivant l'axe x de la diffraction n ;
y_offsetY(n) correspondant au décalage suivant l'axe y de la diffraction n.
Floor est un opérateur de troncature bien connu.
Mod représente l’opérateur mathématique modulo.

Une phase d'apprentissage permet donc de définir les paramètres λ_sliceX, λ_sliceY, x_offsetx(n), et y_offsetY(n), de sorte que chaque neurone puisse trouver rapidement l'intensité du pixel correspondant. En variante, d'autres modèles sont possibles, notamment en fonction de la nature du réseau de diffraction 33 utilisé.

Selon l'exemple précédent, la sortie de ces neurones de la couche d'entrée 40 est également codée sur 8 bits.

Toutes ces différentes intensités de la couche d'entrée 40 sont injectées dans un seul neurone de la couche de sortie 41 qui a pour fonction de combiner toutes ces informations et de fournir la valeur de l'intensité Ι_χ,γ,λdu voxel recherché.

Pour ce faire, ce neurone de sortie 41 associe un poids à chaque information en fonction de la longueur d'onde λ du voxel recherché. Suite à cette modulation sur l'influence des contributions de chaque image 17-18 et de chaque diffraction R0-R7, ce neurone de sortie 41 peut faire la somme des contributions pour en déterminer une intensité moyenne qui formera l'intensité Ι_x,γ,λdu voxel V_x,y,λrecherché, par exemple codé sur 8 bits. Ce processus est répété pour toutes les coordonnées du voxel V_x,y,λ, de sorte à obtenir un hypercube contenant toutes les informations spatiales et spectrales issues des images non-diffractées 17-18 et de chaque diffraction R0-R7. Par exemple, tel qu'illustré sur la figure 3, pour rechercher l'intensité I_x,y,λd'un voxel V_x,y,λdont la longueur d'onde est de 500 nm, c'est-à-dire une longueur d'onde comprise entre celle bleu (480 nm) et celle du vert (525 nm), le neurone de sortie 41 va utiliser les informations spatiales des images non diffractées obtenues avec des filtres bleu F1 et vert F2 ainsi que les informations des différentes diffractions R0-R7 obtenues en fonction de la longueur d'onde considérée. II est possible de configurer le réseau de neurones 20 pour ne pas prendre en compte certaines diffractions R0-R7 de sorte à limiter le temps de calcul de la somme des contributions. Dans l'exemple de la figure 3, la troisième diffraction R2 n'est pas considérée par le neurone de la couche de sortie 41. Le poids de chaque contribution en fonction de la longueur d'onde λ du voxel V_x,y,λrecherché peut également être défini lors de l'implantation du réseau de neurones 20 ou déterminé par une phase d'apprentissage. L'apprentissage peut être réalisé en utilisant des scènes connues captées par les trois capteurs 11-13 et en déterminant les poids de chaque contribution pour chaque longueur d'onde λ de sorte que les informations issues de chaque scène connue correspondent aux informations contenues dans les scènes connues. Cet apprentissage peut être réalisé indépendamment ou simultanément avec l'apprentissage des relations entre les trois coordonnées du voxel V_x,y,λet la position en u et v sur l'image compressée 14. Ce réseau de neurones 20 peut être implémenté dans un système embarqué de sorte à traiter en temps réel les images issues des capteurs 11-13 pour définir et stocker une image hyperspectrale 15 entre deux acquisitions des capteurs 11-13. Par exemple, le système embarqué peut comporter une alimentation pour les capteurs 11-13, un processeur configuré pour réaliser les calculs des neurones de la couche d'entrée 40 et de la couche de sortie 41 et une mémoire intégrant les poids de chaque neurone de la couche d'entrée 40 en fonction de la longueur d'onde λ. En variante, les différents traitements peuvent être réalisés indépendamment sur plusieurs circuits électroniques sans changer l'invention. Par exemple, un circuit d'acquisition peut acquérir et transmettre les informations issues des neurones de la première couche 40 à un second circuit qui contient le neurone de la seconde couche 41.

L'invention permet ainsi d'obtenir une image hyperspectrale 15 rapidement et avec une grande discrétisation dans la dimension spectrale. L'utilisation d'un réseau de neurones 20 permet de limiter la complexité des opérations à effectuer lors de l'analyse de l'image compressée 14. En outre, le réseau de neurones 20 permet également l'association des informations de cette image compressée 14 avec celles d'images non- diffractées 17-18 pour améliorer la précision dans la dimension spatiale.

Un module informatisé de caractérisation 21 est utilisé en aval pour déterminer un indice hyperspectral, tel qu’un adventice ou un symptôme foliaire de carence ou de maladie. Par exemple, l’entrée du module informatisé de caractérisation est l’image hyperspectrale 15 en trois dimensions. Le module informatisé de caractérisation peut par exemple appliquer un traitement prédéfini, caractérisant l’adventice ou le symptôme foliaire de carence ou de maladie, à l’image hyperspectrale 15 en trois dimensions, et donnant en sortie une présence ou une absence de l’adventice ou du symptôme foliaire de carence ou de maladie.

Un indice est par exemple déterminé, pour un pixel (x ;y), pour un groupe pré-déterminé de pixels, pour un groupe non-prédéterminé de pixels, ou pour l’ensemble des pixels, à partir des intensités de l’image hyperspectrale 15 en trois dimensions en ce(s) pixel(s), pour une bande spectrale ou une pluralité de bandes spectrales, et par comparaison de cet indice avec une échelle prédéfinie.

Le module informatisé de caractérisation peut par exemple appliquer, tel que décrit dans l’article « Hyperspectral image analysis techniques for the detection and classification of the early onset of plant disease and stress », Amy Lowe, Nicola Harrison et Andrew P. French, Plant Methods (2017), une détection basée sur des indices (par exemple l’indice « Normalised Difference Vegetation Index » – NDVI - ou « Photochemical Reflectance Index » (PRI)), afin de pré-traiter l’image hyperspectrale 15 en trois dimensions en sélectionnant un sous-ensemble de bandes spectrales qui sont assemblées au moyen d’un indice. Par exemple l’indice PRI est une image bidimensionnelle composée des bandes à 531 nm et 570 nm par l’équation Img = (R₅₃₁– R₅₇₀)/(R₅₃₁+ R₅₇₀), où R_nreprésente l’intensité du voxel de coordonnées (x ;y ;n) du cube hyperspectral. L’image résultante permet d’identifier la présence des végétaux dans l’image. La valeur en un pixel est comparée à une échelle pré-définie pour classifier la détection en ce pixel. Typiquement, dans l’image résultante, une valeur en un pixel comprise entre -0,2 et 0,2 indique la présence d’un végétal en bonne santé en ce pixel.

D’autres indices sont applicables, chacun permettant de traiter l’image hyperspectrale et de détecter la présence soit d’un adventice, soit d’un symptôme foliaire de carence ou maladie, soit la présence de végétal. Les indices potentiellement applicables sont notamment les suivants :

« Normalised difference vegetation index » (NDVI), défini par l’équation : (RNIR − RRED)/(RNIR + RRED), avec RRED = 680 nm, RNIR = 800 nm, permettant de détecter la présence de végétaux ;
« Red edge » NDVI, défini par l’équation (R₇₅₀− R₇₀₅)/(R₇₅₀+ R₇₀₅), permettant de détecter la présence de végétaux ;
« Simple ratio index » (SRI), défini par l’équation RNIR/RRED avec RRED = 680 nm, RNIR = 800 nm, permettant de détecter la présence de végétaux ;
« Photochemical reflectance index » (PRI), défini par l’équation (R₅₃₁− R₅₇₀)/(R₅₃₁+ R₅₇₀), permettant de détecter la vigueur (ou bonne santé) d’un végétal ;
« Plant senescence reflectance index » (PSRI), défini par l’équation (Red–Green)/NIR, où Red représente la somme des intensités des voxels de longueurs d’onde comprises entre 620 et 700 nm, Green représente la somme des intensités des voxels de longueurs d’onde comprises entre 500 et 578 nm, NIR représente la somme des intensités des voxels de longueurs d’onde comprises entre 700 et 1000 nm, permettant de détecter la senescence d’un végétal, le stress d’un végétal ou la maturité d’un fruit ;
« Normalised phaeophytinization index » (NPQI), défini par l’équation (R₄₁₅− R₄₃₅)/(R₄₁₅+ R₄₃₅), permettant de mesurer la dégradation de la chlorophylle foliaire ;
« Structure Independent Pigment Index » (SIPI), défini par l’équation (R₈₀₀− R₄₄₅)/(R₈₀₀+ R₆₈₀), permettant de détecter la vigueur (ou bonne santé) d’un végétal ; et
« Leaf rust disease severity index » (LRDSI), défini par l’équation 6.9 × (R₆₀₅/R₄₅₅) − 1.2, permettant de détecter la maladie de la rouille des feuilles du blé.

Tout autre indice adapté à la détection d’une maladie ou d’un stress en particulier peut être utilisé.

Selon un autre aspect, l’invention peut être mise en œuvre dans le domaine de la recherche de la présence d’hydrocarbure dans l’eau pour l’image acquise. Par exemple, on peut appliquer l’indice HI = [(λ_B-λ_A)/ (λ_C-λ_A)].(R_C-R_A)+R_A-R_B, où R correspond à la valeur de réflectance et A correspond à 1343 nm, B correspond à 1453 nm, et C correspond à 1563 nm, tel que défini dans "Evaluation of the ability of spectral indices of hydrocarbons and seawater of identifying oil slicks utilizing hyperspectral images", Remote sensing 9/3/2018, Dong Zhao, et al.

Références

dispositif de capture 10
premier capteur 11
second capteur 12
troisième capteur 13
image compressée 14, 14'
image hyperspectrale 15
module de construction 16
image non diffractée 17'
couleur rouge 17a, verte 17b, bleue 17c
image infrarouge 18'
réseau de neurones 20
module de caractérisation 21
isoler 25
extraire 26
première lentille convergente 30
ouverture 31
collimateur 32
réseau de diffraction 33
seconde lentille convergente 34
surface de captation 35
couche d'entrée 40
couche de sortie 41

Claims

Système de détection d’une particularité hyperspectrale comprenant
- un module informatisé de construction (16) d'une image hyperspectrale tridimensionnelle (15) à partir de différentes diffractions (R0-R7) d’un plan focal;
caractérisé en ce que ledit module de construction (16) intègre un réseau de neurones (20) configuré pour calculer une intensité (Ι_x,y, _λ) de chaque voxel (V_x,y,λ) de ladite image hyperspectrale tridimensionnelle (15) en fonction :
. d'une intensité lumineuse (l_R ₍ _x _,y ₎; Ι_G ₍ _x,y ₎; I_B( _x,y ₎; I_IR( _x,y ₎) dans chacune d’au moins une image non-diffractée (17-18) aux coordonnées x et y; et
. des intensités lumineuses (I_n( _u _, _v ₎) dans chacune des diffractions (R0-R7) de ladite image compressée (14) dont les coordonnées u,v sont dépendantes des coordonnées x, y, λ dudit voxel (V_x,y, _λ),
et en ce que le système de détection comprend en outre un module informatisé de caractérisation (21) adapté pour déterminer un indice hyperspectral à partir de l’image hyperspectrale tridimensionnelle (15).
Système de détection selon la revendication 1 , dans lequel l'intensité (I_x _, _y _, _λ ) de chaque voxel (V_x,y, _λ) est recherchée dans M représentations chromatiques (R0-R7) selon la relation suivante :
avec :
• n=floor(M(d_t-1)/D_MAX) ;
• n compris entre 0 et M, le nombre de diffractions de l'image compressée ;
• λ=(d_t-1)mod(D_MAX/M) ;
• d_tcompris entre 1 et D_MAX;
• x_tcompris entre 0 et X_MAX;
• y_tcompris entre 0 et Y_MAX;
• X_MAXla taille selon l’axe x du tenseur d’ordre trois de la couche d’entrée ;
• Y_MAXla taille selon l’axe y du tenseur d’ordre trois de la couche d’entrée ;
• D_MAXla profondeur du tenseur d’ordre trois de la couche d’entrée
• λ_sliceXcorrespondant à la constante du pas spectral du pixel en X de ladite image compressée (14) ;
• λ_s _l _iceYcorrespondant à la constante du pas spectral du pixel en Y de ladite image compressée (14) ;
• x_0ffsetxncorrespondant au décalage suivant l'axe X de la diffraction n ;
• y_0ffsetYncorrespondant au décalage suivant l'axe Y de la diffraction n.
Système de détection selon l’une quelconque des revendications 1 à 2, comprenant un dispositif de capture d’une image hyperspectrale tridimensionnelle (15) comprenant un système d'acquisition d'une image compressée (14) d'un plan focal; et
un système d'acquisition (12-13) d'au moins une image non-diffractée (17-18) dudit plan focal,
le module informatisé de construction (16) faisant partie du dispositif de capture.
Système de détection selon la revendication 3, dans lequel le système d’acquisition est un système d'acquisition (12-13) d'au moins deux images non-diffractées (17-18) dudit plan focal obtenues avec des filtres chromatographiques (F1-F4) distincts, le réseau de neurones (20) étant configuré pour calculer une intensité (Ι_x,y,λ) de chaque voxel (V_x,y,λ) de ladite image hyperspectrale tridimensionnelle (15), le poids de chaque intensité (l_R ₍ _x,y ₎; Ι_G( _x,y ₎; I_B( _x,y ₎; I_IR( _x,y ₎) dépendant de la proximité entre la longueur d'onde recherchée (λ) et la couleur du filtre chromatographique de ladite image non-diffractée (17-18).
Système de détection selon l'une des revendications 3 à 4, dans lequel ladite image compressée (14) et lesdites images non-diffractées (17-18) sont obtenues par un ensemble de miroirs semi-transparents de sorte à capter ledit plan focal sur plusieurs capteurs (11-13) simultanément.
Système de détection selon l'une des revendications 3 à 4, dans lequel ladite image compressée (14) et lesdites images non-diffractées (17-18) sont obtenues par plusieurs capteurs (11-13) juxtaposés, chaque capteur (11-13) intégrant une étape de prétraitement visant à extraire un plan focal présent sur l'ensemble des capteurs (11-13).
Système de détection selon l'une des revendications 3 à 6, dans lequel trois images non- diffractées (17) sont obtenues par un capteur (12) de type RVB.
Système de détection selon l'une des revendications 3 à 7, dans lequel une image non- diffractée (18) est obtenue par un capteur (12) infrarouge.
Système de détection selon l'une des revendications 3 à 8, dans lequel une image non- diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.
Système de détection selon l'une des revendications 3 à 9, dans lequel une image non- diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres.
Système de détection selon l'une des revendications 3 à 10, dans lequel ladite image compressée (14) est obtenue par un capteur (11) comportant :
- une première lentille convergente (30) configurée pour focaliser les informations d'une scène sur une ouverture (31) ;
- un collimateur (32) configuré pour capter les rayons traversant ladite ouverture (31) et pour transmettre ces rayons sur un réseau de diffraction (33) ; et
- une seconde lentille convergente (34) configurée pour focaliser les rayons issus du réseau de diffraction (33) sur une surface de captation (35).
Procédé de détection d’une particularité hyperspectrale comprenant
- un module informatisé de construction (16) d'une image hyperspectrale tridimensionnelle (15) à partir de différentes diffractions (R0-R7) d’un plan focal intègre un réseau de neurones (20) configuré pour calculer une intensité (Ι_x _,y,λ) de chaque voxel (V_x,y,λ) de ladite image hyperspectrale tridimensionnelle (15) en fonction :
. d'une intensité lumineuse (l_R ₍ _x _,y ₎; Ι_G ₍ _x,y ₎; I_B( _x,y ₎; I_IR( _x,y ₎) dans chacune d’au moins une image non-diffractée (17-18) aux coordonnées x et y, et
. des intensités lumineuses (I_n( _u _, _v ₎) dans chacune des diffractions (R0-R7) de ladite image compressée (14) dont les coordonnées u,v sont dépendantes des coordonnées x, y, λ dudit voxel (V_x,y, _λ),
- un module informatisé de caractérisation (21) détermine un indice hyperspectral à partir de l’image hyperspectrale tridimensionnelle (15).
Programme d’ordinateur comprenant des portions de code de programme pour l’exécution des étapes du procédé selon la revendication 12, lorsqu’il est exécuté sur un ordinateur.