FR3071124A1

FR3071124A1 - Dispositif de capture d'une image hyperspectrale

Info

Publication number: FR3071124A1
Application number: FR1758396A
Authority: FR
Inventors: Gerald Germain
Original assignee: Carbon Bee
Current assignee: Carbon Bee
Priority date: 2017-09-12
Filing date: 2017-09-12
Publication date: 2019-03-15
Anticipated expiration: 2037-09-12
Also published as: WO2019053364A1; FR3071124B1; US20210250526A1; EP3682201A1

Abstract

L'invention concerne un dispositif de capture d'une image hyperspectrale (15) comportant : - des moyens d'acquisition d'une image diffractée (14) d'un plan focal ; - des moyens d'acquisition d'au moins deux images non-diffractées (17-18) dudit plan focal obtenues avec des filtres chromatographiques (F1-F4) distincts ; et - des moyens de construction d'une image hyperspectrale (15) à partir des différentes diffractions (R0-R7) comportant un réseau de neurones configuré pour calculer une intensité de chaque voxel de ladite image hyperspectrale (15) en fonction : - d'une intensité lumineuse dans chacune des images non-diffractées (17-18) aux coordonnées x et y, le poids de chaque intensité dépendant de la proximité entre la longueur d'onde recherchée et la couleur du filtre chromatographique de ladite image non-diffractée ; et - des intensités lumineuses dans chacune des diffractions de l'image diffractée (14) dont les coordonnées x, y sont dépendantes des coordonnées x, y et ? dudit voxel.

Description

DISPOSITIF DE CAPTURE D’UNE IMAGE HYPERSPECTRALE

Domaine technique

La présente invention se rapporte à un dispositif de capture d’une image hyperspectrale.

L’invention trouve une application particulièrement avantageuse pour les systèmes embarqués destinés à acquérir une ou plusieurs images hyperspectrales.

L’invention peut être appliquée à l’ensemble des domaines techniques faisant appel à des images hyperspectrales. Ainsi, et de manière non exhaustive, l’invention peut être utilisée dans le domaine médical, pour réaliser du phénotypage ; dans le domaine végétal pour la détection de symptômes de stress, de maladies ou la différenciation des espèces et dans le domaine de l’analyse chimique, pour des mesures de concentration.

Art anterieur

Au sens de l’invention, une image hyperspectrale comporte trois dimensions : deux dimensions « spatiales » et une troisième dimension « spectrale » exprimant les variations de la réflectance lumineuse pour différentes longueurs d’onde.

Une image hyperspectrale est généralement codée sous la forme de voxels. Au sens de l’invention, un voxel correspond à un pixel d’un plan focal d’une scène observée pour une longueur d’onde particulière. Un voxel comporte donc trois coordonnées : l’abscisse x et l’ordonnée y (ci-après nommées «coordonnées spatiales») illustrant la position du pixel sur le plan focal et une longueur d’onde λ (ci-après nommée « coordonnée spectrale »).

L’obtention de cette image hyperspectrale peut être réalisée simplement en utilisant une succession de filtres chromatographiques distincts et en capturant l’image de la scène observée sous l’influence respective de chacun de ces filtres chromatographiques.

Cette solution est insatisfaisante, car elle requiert autant de filtres chromatographiques que de longueurs d’onde à analyser. Il s’ensuit une complexification importante de l’optique d’acquisition pour mettre en œuvre le déplacement des différents filtres devant un capteur fixe.

Pour résoudre ce problème, la thèse de doctorat « Non-scanning imaging spectrometry», Descour, Michael Robert, 1994, The university of Arizona, propose d’acquérir une seule image de la scène observée contenant toutes les informations sur l’influence des différentes longueurs d’onde.

Cette méthode, dénommée CTIS (pour « Computed-Tomography Imaging Spectrometer »), propose de capturer une image diffractée du plan focal de la scène observée au moyen d’un réseau de diffraction disposé en amont d’un capteur numérique. Cette image diffractée, acquise par le capteur numérique, prend la forme de multiples projections du plan focal de la scène observée et contient l’ensemble des informations spectrales.

Cette méthode CTIS permet également d’acquérir instantanément, c’est-à-dire en une seule prise de vue, une image contenant toutes les informations nécessaires pour retrouver l’image hyperspectrale. Cependant, le capteur numérique acquiert simultanément l’image originale et ses diffractions, réduisant significativement le nombre de pixels disponibles pour chacun de ces éléments. La précision spatiale ainsi obtenue est relativement faible au regard des exigences de certaines applications de l’imagerie hyperspectrale.

En outre, bien que l’acquisition soit rapide, cette méthode CTIS est particulièrement complexe à utiliser en raison du processus d’estimation de l’image hyperspectrale mis en œuvre à partir des diffractions. En effet, la fonction de transfert de l’optique de diffraction doit être inversée pour reconstituer l’image hyperspectrale. Malheureusement, la matrice de cette fonction de transfert n’est que partiellement définie et le résultat peut seulement être approché itérativement par des méthodes d’inversion coûteuses en temps de calcul.

Cette méthode CTIS a fait l’objet de nombreux travaux de recherche visant à en améliorer l’implémentation. Récemment, la publication scientifique « Practical Spectral Photography», publiée dans Eurographics, volume 31 (2012) nombre 2, a proposé une stratégie d’implantation optimisée dans laquelle le temps d’obtention d’une image hyperspectrale est de 11 min sur un ordinateur puissant avec 16 cœurs de processeur.

En l’état actuel, les implémentations de la méthode CTIS ne permettent pas d’obtenir rapidement des images hyperspectrales précises (d’un point de vue spatial ou spectral). Pour pallier les temps de traitements, le processus classique d’analyse consiste à acquérir in situ les données pour les traiter ultérieurement. Cette approche pose de nombreuses contraintes quant aux procédures d’acquisition et à l’évaluation préalable de la qualité des futures images hyperspectrales.

Le problème technique de l’invention consiste à améliorer le processus d’obtention d’une image hyperspectrale par diffraction du plan focal.

Expose de l’invention

La présente invention se propose de répondre à ce problème technique en utilisant la non-linéarité intrinsèque d’un réseau de neurones pour obtenir l’image hyperspectrale issue de l’image diffractée.

L’utilisation du réseau de neurones permet de multiplier les entrées du réseau de neurones sans augmenter exponentiellement la complexité des traitements effectués. Ainsi, l’invention propose de coupler l’image diffractée avec des images spatialement précises, obtenues à l’aide de filtres chromatographiques distincts. Cette « fusion de données » permet d’améliorer la précision spatiale de l’image hyperspectrale.

A cet effet, l’invention concerne un dispositif de capture d’une image hyperspectrale, ledit dispositif comportant :

- des moyens d’acquisition d’une image diffractée d’un plan focal selon deux ou trois axes de diffraction ;

chaque diffraction dudit plan focal permettant de représenter ledit plan focal sous un angle spécifique ; et

- des moyens de construction d’une image hyperspectrale à partir des différentes diffractions.

L’invention se caractérise en ce que le dispositif comporte des moyens d’acquisition d’au moins deux images non-diffractées dudit plan focal obtenues avec des filtres chromatographiques distincts. Lesdits moyens de construction intègrent un réseau de neurones configuré pour calculer une intensité de chaque voxel de ladite image hyperspectrale en fonction :

d’une intensité lumineuse dans chacune des images non-diffractées aux coordonnées x et y, le poids de chaque intensité dépendant de la proximité entre la longueur d’onde recherchée et la couleur du filtre chromatographique de ladite image non-diffractée ; et des intensités lumineuses dans chacune des diffractions de ladite image diffractée dont les coordonnées x, y sont dépendantes des coordonnées x, y et λ dudit voxel.

L’invention permet ainsi de corréler les informations contenues dans les différentes diffractions de l’image diffractée avec des informations contenues dans des images non-diffractées.

L’image diffractée contenant une information limitée spatialement, mais très complète spectralement et les images non-diffractées contenant une information très complète spatialement, mais spéctralement limitée, l’invention permet d’extraire le meilleur de ces deux types d’information afin d’obtenir une image hyperspectrale très précise spatialement et spectralement.

Le réseau de neurones permet de corréler facilement les informations en les associant simultanément selon leurs influences, c’est-à-dire leurs pondérations respectives par rapport au voxel recherché dans l’image hyperspectrale.

Au sens de l’invention, un voxel correspond à un pixel du plan focal de la scène observée pour une longueur d’onde particulière. Un voxel comporte donc trois coordonnées : l’abscisse x et l’ordonnée y (ci-après nommées «coordonnées spatiales») illustrant la position du pixel sur le plan focal et une longueur d’onde λ (ci-après nommée « coordonnée spectrale »).

Pour chaque voxel, les pixels pertinents des images non-diffractées sont recherchés en fonction de ses coordonnées. Les coordonnées spatiales peuvent être utilisées directement tandis que la coordonnée spectrale permet de pondérer l’intérêt des pixels. Cette pondération s’effectue en fonction de la distance entre la longueur d’onde recherchée et celle du filtre chromatographique employé.

En ce qui concerne l’image diffractée, l’invention dispose de plusieurs méthodes de détermination des pixels pertinents. Parmi celles-ci, un apprentissage du réseau de neurones permet d’indiquer la position de chaque voxel dans une ou plusieurs diffractions. Par exemple, un apprentissage par rétropropagation du gradient ou ses dérivés à partir de données de calibrage peut être utilisé.

L’invention permet ainsi d’obtenir chaque voxel de l’image hyperspectrale plus rapidement que les méthodes de résolution itérative matricielles présentes dans l’état de l’art. En outre, la détermination de chaque voxel peut s’effectuer indépendamment. Comme il n’existe pas d’interdépendance entre les estimations, l’invention peut ainsi réaliser tous les calculs parallèlement. Il s’ensuit une facilitation d’implantation du dispositif de capture de l’image hyperspectrale dans un système embarqué.

En pratique, contrairement à l’état de l’art classique de la méthode CTIS, l’invention permet d’obtenir une image hyperspectrale en temps réel entre deux acquisitions du plan focal de la scène observée. Ce faisant, il n’est plus nécessaire de différer le traitement des images diffractées et il n’est plus nécessaire de stocker ces images diffractées après l’obtention de l’image hyperspectrale.

Selon un mode de réalisation, l’intensité de chaque voxel est recherchée dans huit représentations chromatiques selon la relation suivante :

^xn _ + ^xoffsetX_n T λ. ^-sliceX /η (y + yoffsetY_n T λ. ÀsliceY avec :

• n compris entre 0 et 7 ;

• À_siicex correspondant à la constante du pas spectral du pixel en X de ladite image diffractée ;

• À_siiceY correspondant à la constante du pas spectral du pixel en Y de ladite image diffractée ;

• ^xoffsetx_n correspondant au décalage suivant l'axe X de la diffraction n ;

• YoffsetYncorrespondant au décalage suivant l'axe Y de la diffraction n.

Ces relations permettent de rechercher rapidement l’intensité des pixels d’intérêts dans chaque diffraction. En effet, certains pixels peuvent être négligés si la longueur d’onde de l’image diffractée n’est pas significative.

Selon un mode de réalisation, ladite intensité du pixel dans chacune des diffractions de l’image diffractée est recherchée en réalisant un produit de convolution entre l’intensité du pixel de ladite image diffractée et l’intensité de ses proches voisins dans lesdites diffractions de l’image diffractée.

Ce mode de réalisation permet de limiter l’impact de la précision de la détection du positionnement du pixel dans les différentes diffractions.

Selon un mode de réalisation, ladite image diffractée et lesdites images nondiffractées sont obtenues par un ensemble de miroirs semi-transparents de sorte à capter ledit plan focal sur plusieurs capteurs simultanément. Ce mode de réalisation permet de capter instantanément des plans identiques.

Selon un mode de réalisation, ladite image diffractée et lesdites images nondiffractées sont obtenues par plusieurs capteurs juxtaposés, chaque capteur intégrant une étape de prétraitement visant à extraire un plan focal présent sur l’ensemble des capteurs. Ce mode de réalisation permet de conserver de la puissance optique par rapport au mode de réalisation avec les miroirs semi-transparents.

Selon un mode de réalisation, trois images non-diffractées sont obtenues par un capteur de type RVB. Ce mode de réalisation permet d’obtenir plusieurs images nondiffractées avec un seul capteur.

Selon un mode de réalisation, une image non-diffractée est obtenue par un capteur infrarouge. Ce mode de réalisation permet d’obtenir une information invisible à l’œil humain.

Selon un mode de réalisation, une image non-diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres. Ce mode de réalisation permet d’obtenir une information sur la température de la scène observée.

Selon un mode de réalisation, une image non-diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres. Ce mode de réalisation permet d’obtenir une information sur les rayons X présents sur la scène observée.

Selon un mode de réalisation, ladite image diffractée est obtenue par un capteur comportant :

- une première lentille convergente configurée pour focaliser les informations d’une scène sur une ouverture ;

- un collimateur configuré pour capter les rayons traversant ladite ouverture et pour transmettre ces rayons sur un réseau de diffraction ; et

- une seconde lentille convergente configurée pour focaliser les rayons issus du réseau de diffraction sur une surface de captation.

Ce mode de réalisation est particulièrement simple à réaliser et peut être adapté sur un capteur existant.

Description sommaire des figures

La manière de réaliser l’invention ainsi que les avantages qui en découlent ressortiront bien du mode de réalisation qui suit, donné à titre indicatif, mais non limitatif, à l’appui des figures annexées dans lesquelles les figures 1 à 4 représentent :

- Ligure 1 : une représentation schématique de face d’un dispositif de capture d’une image hyperspectrale selon un mode de réalisation de l’invention ;

- Ligure 2 : une représentation schématique structurelle des éléments du dispositif de la figure 1 ;

- Ligure 3 : une représentation schématique des poids d’influence du réseau de neurones de la figure 2 ; et

- Ligure 4 : une représentation schématique de l’architecture du réseau de neu- rones de la figure 2.

MANIERE DE DECRIRE L’INVENTION

La figure 1 illustre un dispositif de capture 10 d’une image hyperspectrale 15 comportant trois capteurs juxtaposés 11-13. Un premier capteur 11 permet d’obtenir une image diffractée 14’ d’un plan focal Pli’ d’une scène observée. Tel qu’illustré sur la figure 2, ce premier capteur 11 comporte une première lentille convergente 30 qui focalise le plan focal Pli’ sur une ouverture 31. Un collimateur 32 capte les rayons traversant l’ouverture 31 et transmet ces rayons à un réseau de diffraction 33. Une seconde lentille convergente 34 focalise ces rayons issus du réseau de diffraction 33 sur une surface de captation 35.

La structure de ce réseau optique est relativement similaire à celle décrite dans la publication scientifique « Computed-tomography imaging spectrometer : experimental calibration and reconstruction results », publiée dans APPLIED OPTICS, volume 34 (1995) nombre 22.

Cette structure optique permet d’obtenir une image diffractée 14, illustrée sur la figure 3, présentant plusieurs diffractions R0-R7 du plan focal Pli’ disposées autour d’une image non diffractée de petite taille. Dans l’exemple des figures 1 à 4, l’image diffractée présente huit diffractions R0-R7 distinctes obtenues avec deux axes de diffraction du réseau de diffraction 33.

En variante, trois axes de diffractions peuvent être utilisés sur le réseau de diffraction 33 de sorte à obtenir une image diffractée 14 avec seize diffractions.

La surface de captation 35 peut correspondre à un capteur CCD (pour « chargecoupled device » dans la littérature anglo-saxonne, c’est-à-dire un dispositif à transfert de charge), à un capteur CMOS (pour « complementary metal-oxide-semiconductor » dans la littérature anglo-saxonne, une technologie de fabrication de composants électroniques), ou à tout autre capteur connus. Par exemple, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, propose d’associer cette structure optique à un appareil photo numérique standard pour capteur l’image diffractée.

De préférence, chaque pixel de l’image diffractée 14 est codé sur 8 bits permettant ainsi de représenter 256 couleurs.

Un second capteur 12 permet d’obtenir une image non diffractée 17’ d’un plan focal P12’ de la même scène observée, mais avec un décalage induit par le décalage entre le premier 11 et le second capteur 12. Ce second capteur 12 correspond à un capteur RVB, c’est-à-dire un capteur permettant de coder l’influence des trois couleurs Rouge, Verte et Bleue du plan focal P12’. Il permet de rendre compte de l’influence de l’utilisation d’un filtre bleu Fl, d’un filtre vert F2 et d’un filtre rouge F3 sur la scène observée.

Ce capteur 12 peut être réalisé par un capteur CMOS ou CCD associé à filtre de Bayer. En variante, tout autre capteur peut être utilisé pour acquérir cette image RVB 17’. De préférence, chaque couleur de chaque pixel l’image RVB 17’ est codée sur 8 bits. Ainsi, chaque pixel de l’image RVB 17’ est codé sur 3 fois 8 bits.

Un troisième capteur 13 permet d’obtenir une image infrarouge 18’, IR, d’un troisième plan focal P13’ de la même scène observée avec également un décalage avec le premier 11 et le second capteur 12. Ce capteur 13 permet de rendre compte de l’influence de l’utilisation d’un filtre infrarouge F4 sur la scène observée.

Tout type de capteur connu peut être utilisé pour acquérir cette image IR 18. De préférence, chaque pixel de l’image IR 18 est codé sur 8 bits.

La distance entre les trois capteurs 11-13 peut être inférieure à 1 cm de sorte à obtenir un recoupement important des plans focaux Pll’-P13’ par les trois capteurs 11-13. La topologie et le nombre des capteurs peuvent varier sans changer l’invention.

Par exemple, les capteurs 11-13 peuvent acquérir une image de la même scène observée en utilisant des miroirs semi-transparents pour transmettre les informations de la scène observée aux différents capteurs 11-13.

La figure 1 illustre un dispositif 10 comportant trois capteurs 11-13. En variante, d’autres capteurs peuvent être montés sur le dispositif 10 pour augmenter les informations contenues dans l’image hyperspectrale. Par exemple, le dispositif 10 peut intégrer un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.

Tel qu’illustré sur la figure 2, le dispositif 10 comporte également des moyens de construction 16 d’une image hyperspectrale 15 à partir des différentes diffractions R0R7 de l’image diffractée 14 et des images non-diffractées 17, 18.

Dans l’exemple des figures 1 à 4, dans lequel les capteurs 11-13 sont juxtaposés, une étape de prétraitement est réalisée pour extraire un plan focal P11-P13 présent sur chacune des images 14’, 17’-18’ acquises par les trois capteurs 11-13. Ce prétraitement consiste, pour chaque plan focal Ρ1Γ-Ρ13’, à isoler 25 la partie commune des plans focaux Ρ1Γ-Ρ13’ puis à extraire 26 cette partie commune pour former l’image 14, 1718 de chaque plan focal P11-P13 observé par le capteur 11-13 spécifique. La partie de chaque image 14’, 17’-18’ à isoler 25 peut être définie directement dans une mémoire du dispositif de capteur 10 en fonction des choix de positionnement des capteurs 11-13 entre eux, ou une étape d’apprentissage peut être utilisée pour identifier la partie à isoler 25.

De préférence, les images 17’-18’ issues de capteur RVB et IR sont recoupées en utilisant une corrélation croisée en deux dimensions. L’extraction du plan focal de l’image diffractée 14’ est calculée par interpolation des décalages en x et y entre les capteurs 12-13 ramenés à la position du capteur 11 de l’image diffractée en connaissant la distance entre chaque capteur 11-13.

Cette étape de prétraitement n’est pas toujours nécessaire, notamment, lorsque les capteurs 11-13 sont configurés pour capturer le même plan focal, par exemple avec l’utilisation de miroirs semi-transparents.

Lorsque les images 14, 17 et 18 de chaque plan focal P11-P13 observées par chaque capteur 11-13 sont obtenues, les moyens de constructions 16 mettent en œuvre un réseau de neurones 20 pour former une image hyperspectrale 15 à partir des informations de ces trois images 14, 17-18’.

Ce réseau de neurones 20 vise à déterminer l’intensité 1*^ de chaque voxel Fr,y,zde l’image hyperspectrale 15.

Pour ce faire, tel qu’illustré sur la figure 4, le réseau de neurones 20 comporte une couche d’entrée 40, apte à extraire les informations des images 14, 17-18, et une couche de sortie 41, apte à traiter ces informations de sorte à créer une information pour le voxel 14,y,Â considéré.

Le premier neurone de la couche d’entrée 40 permet d’extraire l’intensité IiR(_x,_y) de l’image IR 18 en fonction des coordonnées x et y du voxel IÇy ^recherché. Par exemple, si l’image IR 18 est codée sur 8 bits, ce premier neurone transmet à la couche de sortie 41 la valeur sur 8 bits du pixel de l’image IR 18 aux coordonnées x et y recherchées.

Le second neurone de la couche d’entrée 40 effectue la même tâche pour la couleur rouge de l’image RVB 17.

Selon l’exemple précédent, chaque couleur étant codée sur 8 bits, l’intensité recherchée lR(_Xfy) est également codée sur 8 bits. Le troisième neurone recherche l’intensité Iy(x,y) de la même manière et le quatrième neurone recherche l’intensitéZ_B(_xy). Ainsi, pour ces quatre premiers neurones, il est très facile d’obtenir l’intensité, car il suffit d’utiliser la position en x et y du voxel V_{x y} ^recherché.

Les neurones suivants de la couche d’entrée 40 sont plus complexes, car chacun des neurones suivants est associé à une diffraction R0-R7 de l’image diffractée 14.

Ces neurones recherchent l’intensité d’une diffraction spécifique I_n(_x,y) en fonction de la position en x et y, mais également de la longueur d’onde λ du voxel V_x^recherché.

Cette relation entre les trois coordonnées du voxel V^y^et la position en x et y peut être codée dans une mémoire lors de l’intégration du réseau de neurones 20.

De préférence, une phase d’apprentissage permet de définir cette relation en utilisant un modèle connu dont les paramètres sont recherchés à partir de représentations d’objets connus.

Un exemple de modèle est défini par la relation suivante :

(X + XoffsetX_n F λ. ^-sliceX y F yoffsetY_n F λ. ^-sliceY avec :

n compris entre 0 et 7 ;

• k_si_iceX correspondant à la constante du pas spectral du pixel en X de ladite image diffractée ;

• k_si_iceY correspondant à la constante du pas spectral du pixel en Y de ladite image diffractée ;

• YoffsetYncorrespondant au décalage suivant l'axe Y de la diffraction n.

Une phase d’apprentissage permet donc de définir les paramètres X_SÎlceX, k_si_iceY, ^xoffsetx_n, ^et YoffsetYn de sorte que chaque neurone puisse trouver rapidement l’intensité du pixel correspondant. En variante, d’autres modèles sont possibles, notamment en fonction de la nature du réseau de diffraction 33 utilisé.

En outre, l’information liée à l’intensité du pixel I_n(_x,y) recherchée par chaque neurone peut être déterminée par un produit de convolution entre l’intensité du pixel de l’image diffractée 14 et de ses proches voisins dans les différentes diffractions R0-R7.

Selon l’exemple précédent, la sortie de ces neurones de la couche d’entrée 40 est également codée sur 8 bits.

Toutes ces différentes intensités de la couche d’entrée 40 sont injectées dans un seul neurone de la couche de sortie 41 qui a pour fonction de faire le tri entre la pertinence de toutes ces informations et de fournir la valeur de l’intensité I_Xfy^ du voxel 1/^2 recherché.

Pour ce faire, ce neurone de sortie 41 associe un poids à chaque information en fonction de la longueur d’onde λ du voxel ^recherché. Suite à cette modulation sur l’influence des contributions de chaque image 17-18 et de chaque diffraction R0-R7, ce neurone de sortie 41 peut faire la somme des contributions pour en déterminer une intensité moyenne qui formera l’intensité I_xy^du voxel V_{x y} ^recherché, par exemple codé sur 8 bits.

Ce processus est répété pour toutes les coordonnées du voxel f®/de sorte à obtenir un hypercube contenant toutes les informations spatiales et spectrales issues des images non-diffractées 17-18 et de chaque diffraction R0-R7.

Par exemple, tel qu’illustré sur la figure 3, pour rechercher l’intensité /^y ^d’un voxel y,/dont la longueur d’onde est de 500 nm, c’est-à-dire une longueur d’onde comprise entre celle bleu (480 nm) et celle du vert (525 nm).

Le neurone de sortie 41 va utiliser les informations spatiales des images non diffractées obtenues avec des filtres bleu Fl et vert F2 ainsi que les informations des différentes diffractions R0-R7 obtenues en fonction de la longueur d’onde considérée.

Il est possible de configurer le réseau de neurones 20 pour ne pas prendre en compte certaines diffractions R0-R7 de sorte à limiter le temps de calcul de la somme des contributions. Dans l’exemple de la figure 3, la troisième diffraction R2 n’est pas considérée par le neurone de la couche de sortie 41.

Le poids de chaque contribution en fonction de la longueur d’onde λ du voxel 1/^2recherché peut également être défini lors de l’implantation du réseau de neurones 20 ou déterminé par une phase d’apprentissage. L’apprentissage peut être réalisé en utilisant des scènes connues captées par les trois capteurs 11-13 et en déterminant les poids de chaque contribution pour chaque longueur d’onde λ de sorte que les informations issues de chaque scène connue correspondent aux informations contenues dans les scènes connues. Cet apprentissage peut être réalisé indépendamment ou simultanément avec l’apprentissage des relations entre les trois coordonnées du voxel 14,y,Â^et la position en x et y sur l’image diffractée 14.

Ce réseau de neurones 20 peut être implémenté dans un système embarqué de sorte à traiter en temps réel les images issues des capteurs 11-13 pour définir et stocker une image hyperspectrale 15 entre deux acquisitions des capteurs 11-13. Par exemple, le système embarqué peut comporter une alimentation pour les capteurs 11-13, un processeur configuré pour réaliser les calculs des neurones de la couche d’entrée 40 et de la couche de sortie 41 et une mémoire intégrant les poids de chaque neurone de la couche d’entrée 40 en fonction de la longueur d’onde λ. En variante, les différents traitements peuvent être réalisés indépendamment sur plusieurs circuits électroniques sans changer l’invention.

Par exemple, un circuit d’acquisition peut acquérir et transmettre les informations issues des neurones de la première couche 40 à un second circuit qui contient le neurone de la seconde couche 41.

L’invention permet ainsi d’obtenir une image hyperspectrale 15 rapidement et avec une grande discrétisation dans la dimension spectrale. L’utilisation d’un réseau de neurones 20 permet de limiter la complexité des opérations à effectuer lors de l’analyse de l’image diffractée 14. En outre, le réseau de neurones 20 permet également 10 l’association des informations de cette image diffractée 14 avec celles d’images nondiffractées 17-18 pour améliorer la précision dans la dimension spatiale.

Claims

REVENDICATIONS

1. Dispositif de capture (10) d’une image hyperspectrale (15), ledit dispositif comportant :

- des moyens d’acquisition (11) d’une image diffractée (14) d’un plan focal selon deux ou trois axes de diffraction ; chaque diffraction (R0-R7) dudit plan focal permettant de représenter ledit plan focal sous un angle spécifique ; et

- des moyens de construction (16) d’une image hyperspectrale (15) à partir des différentes diffractions (R0-R7) ;

caractérisé en ce qii\\ comporte des moyens d’acquisition (12-13) d’au moins deux images non-diffractées (17-18) dudit plan focal obtenues avec des filtres chromatographiques (F1-F4) distincts ;

et en ce que lesdits moyens de construction (16) intègrent un réseau de neurones (20) configuré pour calculer une intensité de chaque voxel (ν_{χ γ λ}) de ladite image hyperspectrale (15) en fonction :

d’une intensité lumineuse (/«(_x,y) ; Ιβ(χ,γρ IiR(x,yy) dans chacune des images non-diffractées (17-18) aux coordonnées x et y, le poids de chaque intensité (jR(x,y) ; Ιβίχ,γγ h(x,yp hR(x,yy) dépendant de la proximité entre la longueur d’onde recherchée (A) et la couleur du filtre chromatographique de ladite image non-diffractée (17-18) ; et des intensités lumineuses (/_n(_x,_y)) dans chacune des diffractions (R0-R7) de ladite image diffractée (14) dont les coordonnées x, y sont dépendantes des coordonnées x, y, λ dudit voxel (V_xy^).
2. Dispositif selon la revendication 1, dans lequel l’intensité (/_n(_x,_y)) de chaque voxel (Εχ,γ,ι) est recherchée dans huit représentations chromatiques (R0-R7) selon la relation suivante :

(X + %offsetX_n 3” / ^-sliceX

V 3” yoffsetY_n 3” ^sliceT avec :

• n compris entre 0 et 7 ;

• Àsiicex correspondant à la constante du pas spectral du pixel en X de ladite image diffractée (14) ;

• ÀsticeY correspondant à la constante du pas spectral du pixel en Y de ladite image diffractée (14) ;

• ^xoffsetx_n correspondant au décalage suivant l'axe X de la diffraction n ;

• XoffsetYncorrespondant au décalage suivant l'axe Y de la diffraction n.
3. Dispositif selon la revendication 1 ou 2, dans lequel ladite intensité (Z_n(_x,_y)) du pixel dans chacune des diffractions (R0-R7) de l’image diffractée (14) est recherchée en réalisant un produit de convolution entre l’intensité (Z_n(_x,_y)) du pixel de ladite image diffractée (14) et l’intensité de ses proches voisins dans lesdites diffractions (R0-R7) de l’image diffractée (14).
4. Dispositif selon l’une des revendications 1 à 3, dans lequel ladite image diffractée (14) et lesdites images non-diffractées (17-18) sont obtenues par un ensemble de miroirs semi-transparents de sorte à capter ledit plan focal sur plusieurs capteurs (11-13) simultanément.
5. Dispositif selon l’une des revendications 1 à 3, dans lequel ladite image diffractée (14) et lesdites images non-diffractées (17-18) sont obtenues par plusieurs capteurs (11-13) juxtaposés, chaque capteur (11-13) intégrant une étape de prétraitement visant à extraire un plan focal présent sur l’ensemble des capteurs (11-13).
6. Dispositif selon l’une des revendications 1 à 5, dans lequel trois images nondiffractées (17) sont obtenues par un capteur (12) de type RVB.
7. Dispositif selon l’une des revendications 1 à 6, dans lequel une image nondiffractées (18) est obtenue par un capteur (12) infrarouge.
8. Dispositif selon l’une des revendications 1 à 7, dans lequel une image nondiffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.
9. Dispositif selon l’une des revendications 1 à 8, dans lequel une image nondiffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres.

5
10. Dispositif selon l’une des revendications 1 à 9, dans lequel ladite image diffractée (14) est obtenue par un capteur (11) comportant :

- une première lentille convergente (30) configurée pour focaliser les informations d’une scène sur une ouverture (31) ;

- un collimateur (32) configuré pour capter les rayons traversant ladite ouver10 ture (31) et pour transmettre ces rayons sur un réseau de diffraction (33) ; et

- une seconde lentille convergente (34) configurée pour focaliser les rayons issus du réseau de diffraction (33) sur une surface de captation (35).

7/4