FR3091380A1 - Hyperspectral detection device by fusion of sensors - Google Patents
Hyperspectral detection device by fusion of sensors Download PDFInfo
- Publication number
- FR3091380A1 FR3091380A1 FR1901202A FR1901202A FR3091380A1 FR 3091380 A1 FR3091380 A1 FR 3091380A1 FR 1901202 A FR1901202 A FR 1901202A FR 1901202 A FR1901202 A FR 1901202A FR 3091380 A1 FR3091380 A1 FR 3091380A1
- Authority
- FR
- France
- Prior art keywords
- image
- scene
- hyperspectral
- compressed
- focal plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title description 4
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 31
- 230000003595 spectral effect Effects 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 13
- 241001674048 Phthiraptera Species 0.000 claims 1
- RAAUBRQLKXXMQK-UHFFFAOYSA-N 2-azaniumyl-5-chloro-4-oxopentanoate Chemical compound OC(=O)C(N)CC(=O)CCl RAAUBRQLKXXMQK-UHFFFAOYSA-N 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000000701 chemical imaging Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
DISPOSITIF DE DÉTECTION HYPERSPECTRAL PAR FUSION DE CAPTEUR L'invention concerne un dispositif de capture (2) d'une scène hyperspectrale et de détection directe (1), depuis un ensemble d'images compressées (11 et 13) capturées et un ensemble d’images standards (12), de particularités dans ladite scène hyperspectrale comportant : - un moyen d'acquisition (2) d’au moins une image compressée (11 et 13) d'un plan focal hyperspectral ; et - un moyen d’acquisition (2) d’au moins une image standard (12) dudit plan focal hyperspectral ; et - des moyens de détection directe (1) à partir de l’ensemble des images compressées (11 et 13) et de l’ensemble des images standards (12) comportant un réseau de neurones (14) architecturé pour calculer une image (15) dont l'intensité lumineuse aux coordonnées x et y représente la probabilité de présence de la particularité à la même coordonnée x et y dudit plan focal hyperspectral.The invention relates to a device for capturing (2) a hyperspectral scene and direct detection (1) from a set of captured compressed images (11 and 13) and a set of standard images (12), of particularities in said hyperspectral scene comprising: - a means of acquisition (2) of at least one compressed image (11 and 13) of a hyperspectral focal plane; and - means for acquiring (2) at least one standard image (12) of said hyperspectral focal plane; and - direct detection means (1) from all of the compressed images (11 and 13) and from all of the standard images (12) comprising a neural network (14) structured to calculate an image (15 ) whose light intensity at the x and y coordinates represents the probability of the presence of the feature at the same x and y coordinate of said hyperspectral focal plane.
Description
DescriptionDescription
Titre de l'invention : Dispositif de détection hyperspectrale par fusion de capteursTitle of the invention: Hyperspectral detection device by fusion of sensors
Domaine techniqueTechnical area
[0001] La présente invention se rapporte à un dispositif de détection d'objets ou de particularités dans le plan focal d'une scène basé sur un ensemble de capteurs d’images standards et de capteurs utilisant un procédé de compression de la scène hyperspectrale en trois dimensions en une image non homogène en deux dimensions, et un traitement de l’information afin de fusionner les différents capteurs et de détecter les particularités recherchées dans la scène.The present invention relates to a device for detecting objects or features in the focal plane of a scene based on a set of standard image sensors and sensors using a compression method of the hyperspectral scene in three dimensions in a non-homogeneous image in two dimensions, and an information processing in order to merge the different sensors and to detect the particularities sought in the scene.
[0002] L'invention trouve une application particulièrement avantageuse pour les systèmes destinés à détecter des objets ou particularités dans une scène à partir de leur forme, leur texture et leur réflectance lumineuse.The invention finds a particularly advantageous application for systems intended to detect objects or particularities in a scene from their shape, their texture and their light reflectance.
[0003] L'invention peut être appliquée à un grand nombre de domaines techniques dans lesquels une détection hyperspectrale est recherchée. De manière non exhaustive, l'invention peut être utilisée, par exemple, dans le domaine médical et dentaire, pour aider au diagnostic. Dans le domaine végétal et mycologique, l'invention peut également être utilisée pour réaliser du phénotypage, détecter des symptômes de stress ou maladie ou différencier des espèces. Dans le domaine de l'analyse chimique, l'invention peut tout autant être utilisée pour mesurer les concentrations. Dans le domaine de la lutte contre la contrefaçon, l'invention peut être utilisée pour discerner une contrefaçon.The invention can be applied to a large number of technical fields in which hyperspectral detection is sought. In a non-exhaustive manner, the invention can be used, for example, in the medical and dental field, to aid in diagnosis. In the plant and mycological field, the invention can also be used to carry out phenotyping, to detect symptoms of stress or disease or to differentiate between species. In the field of chemical analysis, the invention can also be used to measure concentrations. In the fight against counterfeiting, the invention can be used to discern counterfeiting.
Art antérieurPrior art
[0004] Au sens de l'invention, une détection à acquisition hyperspectrale correspond à la détection de particularités dans le plan focal d'une scène directement depuis un ensemble de capteurs d’images standards et de capteurs mesurant une image en deux dimensions acquise contenant un représentation des informations spatiales et spectrales du plan focal de la scène.Within the meaning of the invention, a hyperspectral acquisition detection corresponds to the detection of features in the focal plane of a scene directly from a set of standard image sensors and sensors measuring an acquired two-dimensional image containing a representation of the spatial and spectral information of the focal plane of the scene.
[0005] Différentes méthodes de compression du plan focal d'une scène hyperspectrale sont décrits dans la littérature. L'objet de ces méthodes est d'acquérir le plan focal de la scène hyperspectrale en une seule acquisition sans nécessité de balayer le plan focal de la scène dans les dimensions spatiales ou spectrale.Various methods of compressing the focal plane of a hyperspectral scene are described in the literature. The object of these methods is to acquire the focal plane of the hyperspectral scene in a single acquisition without the need to scan the focal plane of the scene in spatial or spectral dimensions.
[0006] Par exemple, la thèse « Non-scamiing imaging spectrometry », Descour, Michael Robert, 1994, The university of Arizona, propose une façon d'acquérir une seule image en deux dimensions de la scène observée contenant toutes les informations sur l'influence des différentes longueurs d'onde. Cette méthode, dénommée CTIS (pour «For example, the thesis "Non-scamiing imaging spectrometry", Descour, Michael Robert, 1994, The university of Arizona, proposes a way of acquiring a single two-dimensional image of the observed scene containing all the information on the influence of different wavelengths. This method, called CTIS (for “
Computed-Tomography Imaging Spectrometer »), propose de capturer une image diffractée du plan focal de la scène observée au moyen d'un réseau de diffraction disposé en amont d'un capteur numérique. Cette image diffractée acquise par le capteur numérique prend la forme de multiples projections pour lesquels chaque projection permet de représenter le plan focal de la scène observée et contient l'ensemble des informations spectrales du plan focal.Computed-Tomography Imaging Spectrometer ”), proposes to capture a diffracted image of the focal plane of the scene observed by means of a diffraction grating arranged upstream of a digital sensor. This diffracted image acquired by the digital sensor takes the form of multiple projections for which each projection makes it possible to represent the focal plane of the scene observed and contains all of the spectral information of the focal plane.
[0007] Une autre méthode, dénommée CASSI (pour « Coded Aperture Snapshot Spectral Imaging »), décrite dans la thèse « Compressive spectral imaging », D. Kittle, 2010, propose une façon d'acquérir une seule image encodée en deux dimensions contenant toutes les informations spatiales et spectrales. Cette méthode, propose de capturer une image diffractée, au moyen d'un prisme de diffraction, et encodée, au moyen d'un masque d'encodage, du plan focal de la scène observée.Another method, called CASSI (for “Coded Aperture Snapshot Spectral Imaging”), described in the thesis “Compressive spectral imaging”, D. Kittle, 2010, offers a way to acquire a single two-dimensional encoded image containing all spatial and spectral information. This method proposes to capture a diffracted image, by means of a diffraction prism, and encoded, by means of an encoding mask, of the focal plane of the observed scene.
[0008] Ces méthodes, bien que satisfaisantes pour résoudre la problématique d'acquisition instantanée du plan focal de la scène hyperspectrale, nécessitent des algorithmes complexes et coûteux en ressources de calcul afin d'estimer la scène hyperspectrale non compressée. La publication « Review of snapshot spectral imaging technologies », Nathan Hagen, Michael W. Kudenov, Optical Engineering 52(9), September 2013, présente une comparaison des méthodes d'acquisition hyperspectrales ainsi que les complexités algorithmiques associées à chacune d'elles.These methods, although satisfactory for solving the problem of instantaneous acquisition of the focal plane of the hyperspectral scene, require complex algorithms and costly in computing resources in order to estimate the uncompressed hyperspectral scene. The publication “Review of snapshot spectral imaging technologies”, Nathan Hagen, Michael W. Kudenov, Optical Engineering 52 (9), September 2013, presents a comparison of hyperspectral acquisition methods as well as the algorithmic complexities associated with each one.
[0009] En effet, la méthode CTIS nécessite un processus d'estimation basé sur une matrice en deux dimensions représentant la fonction de transfert de l'optique de diffraction. Cette matrice doit être inversée pour reconstituer l'image hyperspectrale. La matrice de la fonction de transfert n'étant pas complètement définie, des méthodes d'inversion matricielle itératives et coûteuses en ressources de calcul permettent d'approcher le résultat pas à pas.[0009] Indeed, the CTIS method requires an estimation process based on a two-dimensional matrix representing the transfer function of the diffraction optics. This matrix must be inverted to reconstruct the hyperspectral image. The matrix of the transfer function not being completely defined, iterative and costly matrix inversion methods of computing resources allow to approach the result step by step.
[0010] La méthode CASSI et ses dérivés nécessitent également des calculs matriciels non complètement définis, et utilisent des méthodes de calcul itératives et coûteuse en ressources de calcul afin d'approcher le résultat.The CASSI method and its derivatives also require matrix calculations that are not completely defined, and use iterative calculation methods that are costly in computing resources in order to approach the result.
[0011] En outre, l'image hyperspectrale en trois dimensions reconstruite par ces méthodes de calcul ne contient pas d'information spatiales ou spectrale supplémentaires par rapport à l'image compressée en deux dimensions obtenue par ces méthodes d'acquisitions. L'estimation par le calcul de l'image hyperspectrale n'est donc pas nécessaire pour une détection directe des particularités recherchées dans le plan focal de la scène, à la condition d'utiliser une méthode de détection directe des particularités depuis l'image compressée et non homogène en deux dimensions.In addition, the three-dimensional hyperspectral image reconstructed by these calculation methods does not contain additional spatial or spectral information compared to the two-dimensional compressed image obtained by these acquisition methods. The estimation by the calculation of the hyperspectral image is therefore not necessary for a direct detection of the particularities sought in the focal plane of the scene, on the condition of using a method of direct detection of the particularities from the compressed image and not homogeneous in two dimensions.
[0012] Des méthodes de traitement d'image dans l'objectif de détecter des particularités sont largement décrites dans la littérature scientifique. Par exemple une méthode basée sur des réseaux de neurones est décrite dans « auto-association by multilayer perceptrons and singular value décomposition. » Biological cybernetics, 59(4):291-294, 1988. ISSN 0340-1200, H. Bourlard and Y. Kamp. A.Image processing methods with the aim of detecting particularities are widely described in the scientific literature. For example, a method based on neural networks is described in “auto-association by multilayer perceptrons and singular value decomposition. Biological cybernetics, 59 (4): 291-294, 1988. ISSN 0340-1200, H. Bourlard and Y. Kamp. AT.
[0013] De nouvelles méthodes basées sur des réseaux de neurones profonds et convolutifs sont également largement employées avec des résultats présentant des taux de fausses détections très bas. Par exemple, une telle méthode est décrite dans « Stacked Autoencoders Using Low-Power Accelerated Architectures for Object Récognition in Autonomous Systems », Neural Processing Letters, vol. 43, no. 2, pp. 445-458,2016, J. Maria, J. Amaro, G. Falcao, L. A. Alexandre.New methods based on deep and convolutional neural networks are also widely used with results showing very low rates of false detections. For example, such a method is described in "Stacked Autoencoders Using Low-Power Accelerated Architectures for Object Recognition in Autonomous Systems", Neural Processing Letters, vol. 43, no. 2, pp. 445-458,2016, J. Maria, J. Amaro, G. Falcao, L. A. Alexandre.
[0014] Ces méthodes sont particulièrement adaptées à détecter des éléments dans une image couleur (possédant généralement 3 canaux - Rouge, Vert et Bleu) d'une scène en prenant en compte les caractéristiques de formes, de textures et de couleurs de la particularité à détecter. Ces méthodes considèrent l'image homogène, et traitent par convolution l'entièreté de l'image par le même procédé.These methods are particularly suitable for detecting elements in a color image (generally having 3 channels - Red, Green and Blue) of a scene by taking into account the characteristics of shapes, textures and colors of the particularity to detect. These methods consider the image homogeneous, and process the entire image by convolution by the same process.
[0015] Le traitement des images compressées en deux dimensions obtenues par les méthodes CTIS et CASSI ne peut donc pas être opéré au moyen d'un réseau de neurones profond et convolutif standard. En effet, l'image obtenue par ces méthodes ne sont pas homogènes, et contiennent des particularités non linéaires dans les dimensions soient spectrales, soit spatiales.The processing of the two-dimensional compressed images obtained by the CTIS and CASSI methods cannot therefore be operated by means of a standard deep and convolutional neural network. Indeed, the image obtained by these methods are not homogeneous, and contain non-linear features in the dimensions either spectral or spatial.
[0016] La présente invention utilise différentes images standards et compressées d’un même plan focal hyperspectral. Une méthode de fusion d’image par réseau de neurones profond et convolutif est présentée dans « Multimodal deep leamingfor robust rgb-d object récognition. In Intelligent Robots and Systems (IROS) », Eitel, A., Springenberg, J. T., Spinello, L., Riedmiller, M., and Burgard, W. (2015) IEEE/RSJ International Conférence on , pages 681#687. IEEE. Ce document présente une structure de réseau de neurones profond et convolutif utilisant deux chemins de traitement, un chemin par type d’image d’une même scène, complété par des couches fusionnant les deux chemins ; la fonction implémentée par ce réseau de neurones profond et convolutif est une classification des images. Cette structure n’est pas adaptée en l’état pour la présente invention, car non adaptée aux images compressées en deux dimensions d’un plan focal hyperspectral en trois dimensions, et ayant pour fonction la classification de la scène et non la détection de particularités dans cette scène.The present invention uses different standard and compressed images of the same hyperspectral focal plane. A deep and convolutional neural network image fusion method is presented in "Multimodal deep leamingfor robust rgb-d object recognition. In Intelligent Robots and Systems (IROS) ”, Eitel, A., Springenberg, J. T., Spinello, L., Riedmiller, M., and Burgard, W. (2015) IEEE / RSJ International Conférence on, pages 681 # 687. IEEE. This document presents a deep and convolutional neural network structure using two processing paths, one path per type of image of the same scene, supplemented by layers merging the two paths; the function implemented by this deep and convolutional neural network is a classification of images. This structure is not suitable as it is for the present invention, since it is not suitable for compressed images in two dimensions of a hyperspectral focal plane in three dimensions, and having for function the classification of the scene and not the detection of particularities in this scene.
[0017] Le problème technique de l'invention consiste à détecter directement les particularités ou objets recherchés depuis l'acquisition d’au moins une représentation compressée, non homogène, et non linéaire en deux dimensions contenant toute l'information spatiale et spectrale d'une scène hyperspectrale en trois dimensions et l’acquisition d’au moins une représentation standard en deux dimensions de la même scène hyperspectrale au moyen d'un réseau de neurones profond et convolutif.The technical problem of the invention consists in directly detecting the particularities or objects sought after the acquisition of at least a compressed, non-homogeneous, and non-linear representation in two dimensions containing all the spatial and spectral information of a three-dimensional hyperspectral scene and the acquisition of at least one standard two-dimensional representation of the same hyperspectral scene using a deep and convolutional neural network.
Exposé de l’inventionStatement of the invention
[0018] La présente invention se propose de répondre à ce problème technique en détectant directement les particularités recherchées au moyen d'un réseau de neurones formels profond et convolutif, dont l'architecture est adaptée à une fusion et une détection directe, appliqué sur un ensemble d’images standards ainsi qu’un ensemble d'images compressées en deux dimensions d’une scène hyperspectrale en trois dimensions du même plan focal hyperspectral de la scène ; les ensembles d’images standards et images compressées sont ainsi fusionnées au moyen dudit réseau de neurones formels profond et convolutif en tenant compte des décalages de prises d’images des différentes sources optiques, et une détection directe desdites particularités recherchées est faite depuis l’information fusionnées au moyen de ce même réseau de neurones profond et convolutif.The present invention proposes to respond to this technical problem by directly detecting the specific features sought by means of a deep and convolutional formal neural network, the architecture of which is adapted to direct fusion and detection, applied to a set of standard images as well as a set of compressed images in two dimensions of a hyperspectral scene in three dimensions of the same hyperspectral focal plane of the scene; the sets of standard images and compressed images are thus merged by means of said deep and convolutional formal neural network taking account of the image shift offsets from the different optical sources, and a direct detection of said sought-after particularities is made from the information fused using this same deep and convolutional neural network.
[0019] L'image hyperspectrale en trois dimensions ne contient pas plus d'information spatiales et spectrale que l'image compressée obtenue par les méthodes d'acquisition CTIS ou CASSI puisque l'image hyperspectrale est reconstituée à partir de l'image compressée. Ainsi l'invention propose de détecter directement dans les images compressées, auxquelles est ajouté au moins une image standard de la même scène hyperspectrale, les particularités recherchées dans le plan focal d'une scène.The three-dimensional hyperspectral image does not contain more spatial and spectral information than the compressed image obtained by the CTIS or CASSI acquisition methods since the hyperspectral image is reconstructed from the compressed image. Thus the invention proposes to detect directly in the compressed images, to which is added at least one standard image of the same hyperspectral scene, the particularities sought in the focal plane of a scene.
[0020] A cet effet, l'invention concerne un dispositif de détection directe de particularités dans le plan focal hyperspectral d'une scène, ledit dispositif comportant : un moyen d'acquisition d'au moins une image compressée et non homogène en deux dimensions d'un plan focal d'une scène hyperspectrale en trois dimensions ; et un moyen d’acquisition d’au moins une image standard du plan focal de ladite scène hyperspectrale ; et un moyen de détection directe de particularités dans ladite scène hyperspectrale à partir de l’ensemble desdites au moins une image compressée et non homogène en deux dimensions et desdites au moins une image standard.To this end, the invention relates to a device for direct detection of features in the hyperspectral focal plane of a scene, said device comprising: means for acquiring at least one compressed and non-homogeneous image in two dimensions a focal plane of a three-dimensional hyperspectral scene; and means for acquiring at least one standard image of the focal plane of said hyperspectral scene; and a means for direct detection of features in said hyperspectral scene from all of said at least one compressed and non-homogeneous image in two dimensions and from said at least one standard image.
[0021] L'invention se caractérise en ce que le moyen de détection directe de particularités dans ladite scène hyperspectrale intègre un réseau de neurones profond et convolutif architecturé pour calculer une probabilité de présence de la ou les particularités recherchées dans ladite scène hyperspectrale depuis l’ensemble desdites au moins une image compressée et non homogènes et desdites au moins une image standard et générer une image pour chaque particularité recherchée dont la valeur de chaque pixel aux cordonnées x et y correspond à la probabilité de présence de ladite particularité aux mêmes coordonnées % et y du plan focal hyperspectral de la scène ; ledit réseau de neurones profond et convolutif étant architecturé de façon à prendre en compte les décalages des plans focaux des différents capteurs et intégrer la fonction homographique permettant de fusionner les informations des différents capteurs en prenant en compte les parallaxes des différentes images.The invention is characterized in that the means for direct detection of features in said hyperspectral scene integrates a deep and convolutional neural network structured to calculate a probability of presence of the feature (s) sought in said hyperspectral scene from the set of said at least one compressed and non-homogeneous image and said at least one standard image and generate an image for each sought-after feature whose value of each pixel with coordinates x and y corresponds to the probability of the presence of said feature at the same coordinates% and y the hyperspectral focal plane of the scene; said deep and convolutional neural network being structured so as to take into account the shifts of the focal planes of the different sensors and integrate the homographic function making it possible to merge the information of the different sensors by taking into account the parallaxes of the different images.
[0022] Ladite au moins une image compressée obtenue par le système optique contient le plan focal de la scène non diffractée au centre, ainsi que les projections diffractées suivant les axes des différents filtres de diffractions. Ainsi, le réseau de neurone utilise, pour la détection directe des particularités recherchées, les informations de ladite au moins une image diffractée suivantes : l'intensité lumineuse dans la partie centrale et non-diffractée du plan focal de la scène aux coordonnées x et y ; et des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées x' et y ' sont dépendantes des coordonnées % et y de la partie centrale non diffractée du plan focal de la scène.Said at least one compressed image obtained by the optical system contains the focal plane of the non-diffracted scene in the center, as well as the diffracted projections along the axes of the different diffraction filters. Thus, the neuron network uses, for the direct detection of the particularities sought, the information from said at least one diffracted image as follows: the light intensity in the central and non-diffracted part of the focal plane of the scene at the coordinates x and y ; and light intensities in each of the diffractions of said compressed image whose coordinates x 'and y' are dependent on the coordinates% and y of the non-diffracted central part of the focal plane of the scene.
[0023] L'invention permet ainsi de corréler les informations contenues dans les différentes diffractions de l'image diffractée avec des informations contenues dans la partie centrale non-diffractées de l'image obtenue.The invention thus makes it possible to correlate the information contained in the different diffractions of the diffracted image with information contained in the non-diffracted central part of the image obtained.
[0024] Les différentes diffractions de l'image compressée contenant une information spectrale importante mais dont chaque pixel contient une somme des diffractions à différentes longueurs d'onde, l'invention peut également utiliser la partie centrale de l'image, non diffractée, et permet de rechercher dans l'image complète les caractéristiques spatiales (forme, texture, etc.) et spectrale (réflectance).The different diffractions of the compressed image containing important spectral information but each pixel of which contains a sum of the diffractions at different wavelengths, the invention can also use the central part of the image, not diffracted, and allows you to search the complete image for spatial (shape, texture, etc.) and spectral (reflectance) characteristics.
[0025] En pratique, contrairement à l'état de l'art classique de la méthode CTIS, l'invention permet de détecter des particularités dans ladite scène hyperspectrale en temps réel entre deux acquisitions du plan focal hyperspectral de la scène observée. Ce faisant, il n'est plus nécessaire de différer le traitement des images compressées et il n'est plus nécessaire de stocker ces images compressées après la détection. Egalement il n'est plus nécessaire de reconstituer l'image hyperspectrale avant d'appliquer la méthode de détection.In practice, unlike the state of the conventional art of the CTIS method, the invention makes it possible to detect features in said hyperspectral scene in real time between two acquisitions of the hyperspectral focal plane of the scene observed. In doing so, it is no longer necessary to postpone the processing of the compressed images and it is no longer necessary to store these compressed images after detection. Also, it is no longer necessary to reconstruct the hyperspectral image before applying the detection method.
[0026] En variante, ladite au moins une image compressée obtenue par le système optique contient le plan focal diffracté et encodé suivant le schéma de codage d'un masque introduit dans le chemin optique avant diffraction de la scène. Ainsi, le réseau de neurone utilise, pour la détection directe des particularités recherchées, les informations suivantes : le schéma du masque d'encodage utilisé pour encoder les diffractions du plan focal de la scène ; et des intensités lumineuses dans l'image compressée et diffractée dont les coordonnées x' et y ' sont dépendantes des coordonnées % et y du plan focal de la scène observée.Alternatively, said at least one compressed image obtained by the optical system contains the diffracted focal plane and encoded according to the coding scheme of a mask introduced into the optical path before diffraction of the scene. Thus, the neural network uses the following information for the direct detection of the specific features sought: the diagram of the encoding mask used to encode the diffractions of the focal plane of the scene; and light intensities in the compressed and diffracted image whose x 'and y' coordinates are dependent on the% and y coordinates of the focal plane of the observed scene.
[0027] En pratique, contrairement à l'état de l'art classique de la méthode CASSI, l'invention permet de détecter des particularités dans une scène hyperspectrale en temps réel entre deux acquisitions du plan focal hyperspectral de la scène observée. Ce faisant, il n'est plus nécessaire de différer le traitement des images compressées et il n'est plus nécessaire de stocker ces images compressées après la détection. Egalement il n'est plus nécessaire de reconstituer l'image hyperspectrale avant d'appliquer la méthode de détection.In practice, unlike the conventional state of the art of the CASSI method, the invention makes it possible to detect features in a hyperspectral scene in real time between two acquisitions of the hyperspectral focal plane of the scene observed. In doing so, it is no longer necessary to postpone the processing of the compressed images and it is no longer necessary to store these compressed images after detection. Also, it is no longer necessary to reconstruct the hyperspectral image before applying the detection method.
[0028] Selon un mode de réalisation, ladite au moins une image compressée est obtenue par un capteur infrarouge. Ce mode de réalisation permet d'obtenir une information invisible à l’œil humain.According to one embodiment, said at least one compressed image is obtained by an infrared sensor. This embodiment provides information invisible to the human eye.
[0029] Selon un mode de réalisation, ladite au moins une image compressée est obtenue par un capteur dont la longueur d'onde est comprise entre 300 nanomètre et 2000 nanomètres. Ce mode de réalisation permet d’obtenir une information dans le domaine visible et invisible à l’œil humain.According to one embodiment, said at least one compressed image is obtained by a sensor whose wavelength is between 300 nanometer and 2000 nanometers. This embodiment makes it possible to obtain information in the field visible and invisible to the human eye.
[0030] Selon un mode de réalisation, ladite au moins une image standard est obtenue par un capteur infrarouge. Ce mode de réalisation permet d'obtenir une information invisible à l’œil humain.According to one embodiment, said at least one standard image is obtained by an infrared sensor. This embodiment provides information invisible to the human eye.
[0031] Selon un mode de réalisation, ladite au moins une image standard est obtenue par un capteur dont la longueur d'onde est comprise entre 300 nanomètre et 2000 nanomètres. Ce mode de réalisation permet d’obtenir une information dans le domaine visible et invisible à l’œil humain.According to one embodiment, said at least one standard image is obtained by a sensor whose wavelength is between 300 nanometer and 2000 nanometers. This embodiment makes it possible to obtain information in the field visible and invisible to the human eye.
[0032] Selon un mode de réalisation, ladite au une moins image standard et ladite au moins une image compressée sont obtenues par un ensemble de miroirs semi-transparents de sorte à capter ledit plan focal hyperspectral sur plusieurs capteurs simultanément. Ce mode de réalisation permet de capter instantanément des plans identiques.According to one embodiment, said at least one standard image and said at least one compressed image are obtained by a set of semi-transparent mirrors so as to capture said hyperspectral focal plane on several sensors simultaneously. This embodiment makes it possible to instantly capture identical plans.
[0033] Selon un mode de réalisation, ladite au moins une image compressée est obtenue par un capteur comportant : une première lentille convergente configurée pour focaliser les informations d'une scène sur une ouverture ; un collimateur configuré pour capter les rayons traversant ladite ouverture et pour transmettre ces rayons sur un réseau de diffraction ; et une seconde lentille convergente configurée pour focaliser les rayons issus du réseau de diffraction sur une surface de captation.According to one embodiment, said at least one compressed image is obtained by a sensor comprising: a first converging lens configured to focus the information of a scene on an opening; a collimator configured to capture the rays passing through said opening and to transmit these rays over a diffraction grating; and a second converging lens configured to focus the rays from the diffraction grating on a collection surface.
[0034] Ce mode de réalisation est particulièrement simple à réaliser et peut être adapté sur un capteur existant.This embodiment is particularly simple to perform and can be adapted on an existing sensor.
[0035] Selon un mode de réalisation, ladite au moins une image compressée est obtenue par un capteur comportant : une première lentille convergente configurée pour focaliser les informations d'une scène sur un masque ;un collimateur configuré pour capter les rayons traversant ledit masque et pour transmettre ces rayons sur un prisme ; et une seconde lentille convergente configurée pour focaliser les rayons issus du prisme sur une surface de captation.According to one embodiment, said at least one compressed image is obtained by a sensor comprising: a first converging lens configured to focus the information of a scene on a mask; a collimator configured to capture the rays passing through said mask and to transmit these rays on a prism; and a second converging lens configured to focus the rays from the prism on a sensing surface.
[0036] Ce mode de réalisation est particulièrement simple à réaliser et peut être adapté sur un capteur existant.This embodiment is particularly simple to perform and can be adapted on an existing sensor.
[0037] En ce qui concerne la détection de particularités depuis ladite au moins une image compressée et ladite au moins une image standard, l'invention utilise une réseau de neurones profond et convolutif de détermination des probabilités de présence de ces particularités. Un apprentissage dudit réseau de neurones profond et convolutif permet d'indiquer la probabilité de présence des particularités recherchées pour chaque coordonnées % et y de ladite scène hyperspectrale. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé.Regarding the detection of features from said at least one compressed image and said at least one standard image, the invention uses a deep and convolutional neural network for determining the probabilities of the presence of these features. Learning of said deep and convolutional neural network makes it possible to indicate the probability of the presence of the particularities sought for each% and y coordinates of said hyperspectral scene. For example, learning by back-propagation of the gradient or its derivatives from training data can be used.
[0038] Le réseau de neurones profond et convolutif servant à la détection directe depuis ladite au moins une image compressée et ladite au moins une image standard a une structure de couche d'entrée adaptée à la détection directe. L'invention dispose de plusieurs architectures des couches profondes dudit réseau de neurones. Parmi celle-ci, une architecture auto-encoder telle que décrite dans le document « SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation », Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla permet d'indiquer la probabilité de présence des particularités recherchées pour chaque coordonnées % et y de la scène hyperspectrale. Par ailleurs, le document « Multimodal deep leaming for robust rgb-d abject récognition. In Intelligent Robots and Systems (IROS) », Eitel, A., Springenberg, J. T., Spinello, L., Riedmiller, M., and Burgard, W. (2015) IEEE/RSJ International Conférence on , pages 681#687. IEEE, décrit une architecture de réseau de neurones convolutif adapté au traitement de différentes images d’un même plan focal.The deep and convolutional neural network used for direct detection from said at least one compressed image and said at least one standard image has an input layer structure suitable for direct detection. The invention has several architectures of the deep layers of said neural network. Among these, an auto-encoder architecture as described in the document “SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation”, Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla allows to indicate the probability of presence of the sought-after particularities for each% and y coordinates of the hyperspectral scene. In addition, the document “Multimodal deep leaming for robust rgb-d abject recognition. In Intelligent Robots and Systems (IROS) ”, Eitel, A., Springenberg, J. T., Spinello, L., Riedmiller, M., and Burgard, W. (2015) IEEE / RSJ International Conférence on, pages 681 # 687. IEEE, describes a convolutional neural network architecture adapted to the processing of different images of the same focal plane.
[0039] Lesdites couches d'entrées du réseau de neurones sont adaptées afin d’être remplies avec les données de ladite au moins une image compressée et ladite au moins une image standard obtenues par le moyen d'acquisition. Ainsi, chaque couche d'entrée des différents chemins de traitement des images est un tenseur d'ordre trois et possède deux dimensions spatiales de taille X MAX et Y MAX , et une dimension de profondeur de taille D MAXSaid input layers of the neural network are adapted to be filled with the data of said at least one compressed image and said at least one standard image obtained by the acquisition means. Thus, each input layer of the different image processing paths is a tensor of order three and has two spatial dimensions of size X MAX and Y MAX , and a depth dimension of size D MAX
[0040] L'invention utilise la relation non linéaire f(x ,, y t, d t ) —> (x img, y img ) définie pour x , [0..ΧΜΑχ[, yt [0..ΥΜΑχ[ et dt [0..DMAX[ permettant de calculer les coordonnées ximg et y img du pixel de ladite au moins une image compressée dont l'intensité est copiée dans le tenseur d'ordre trois de ladite couche d'entrée du chemin de traitement des images compressées du réseau de neurones aux coordonnées (xt, yt, dt).The invention uses the non-linear relation f (x ,, y t , d t ) -> (x img , y img ) defined for x, [0..Χ ΜΑ χ [, y t [0 .. Υ ΜΑ χ [and d t [0..D MAX [allowing to calculate the coordinates x img and y img of the pixel of said at least one compressed image whose intensity is copied in the tensor of order three of said layer d entry of the processing path for compressed images of the neural network at coordinates (x t , y t , d t ).
[0041] Selon un mode de réalisation, la méthode de capture comporte un moyen d'acquisition d’au moins une image compressée contenant les diffractions dudit plan focal hyperspectral obtenue avec des filtres de diffraction. Ladite image compressée obtenue contient le plan focal de la scène non diffractée au centre, ainsi que les projections diffractées suivant les axes des différents filtres de diffractions. Une couche d'entrée du réseau de neurone contient une copie des huit représentations chromatiques de la scène hyperspectrale de l'image compressée selon la relation non linéaire suivante :According to one embodiment, the capture method comprises a means of acquiring at least one compressed image containing the diffractions of said hyperspectral focal plane obtained with diffraction filters. Said compressed image obtained contains the focal plane of the non-diffracted scene in the center, as well as the diffracted projections along the axes of the different diffraction filters. An input layer of the neural network contains a copy of the eight chromatic representations of the hyperspectral scene of the compressed image according to the following non-linear relationship:
’ f i j x _ i img X + X-offse txi ) + Λ .Λ snceχ j a / . } y = y + y ( n ) + λ .λ r img 7 7 offsetY^ stici. 1 j'fijx _ i img X + X-offse txi) + Λ .Λ s n ce χ j a /. } y = y + y (n) + λ .λ r img 7 7 offsetY ^ stici. 1 day
- n = floor (dt/dMAX) ;- n = floor (d t / d MAX );
À = d j- Tîi o d d \,j A xÀ = d j- Tîi odd \, j A x
- n compris entre 0 et 7, le nombre de diffraction de l'image compressée ;- n between 0 and 7, the number of diffraction of the compressed image;
- d t compris entre 0 et D max- d t between 0 and D max
- x t compris entre 0 et X m a x- x t between 0 and X max
- y fcompris entre 0 et Ymax ;- y between 0 and Ymax;
- Dmax, la constante de profondeur du tenseur du troisième ordre de ladite couche d'entrée ;- D max , the depth constant of the third order tensor of said input layer;
- Λ 51 jc e y, la constante du pas spectral du pixel en X de ladite image compressée ;- Λ 5 1 j this y, the spectral step constant of the pixel in X of said compressed image;
- Λ sijce la constante du pas spectral du pixel en Y de ladite image compressée ;- Λ s ij ce the spectral pitch constant of the pixel in Y of said compressed image;
- X offXetX ( 77 ) correspondant au décalage suivant l'axe X de la diffraction n ;- X offXetX (77) corresponding to the offset along the X axis of the diffraction n ;
- y ( n ) correspondant au décalage suivant l'axe Y de la diffraction n - y (n) corresponding to the offset along the Y axis of the diffraction n
[0042] Selon un mode de réalisation, la méthode de capture comporte un moyen d'acquisition d'au moins une image compressée contenant une représentation en deux dimensions encodée dudit plan focal hyperspectral obtenue avec un masque et un prisme. L'image compressée obtenue contient le plan focal de la scène diffractée et encodée au centre. Une couche d'entrée du réseau de neurone contient une copie de l'image compressée selon la relation non linéaire suivante :According to one embodiment, the capture method comprises a means of acquiring at least one compressed image containing a two-dimensional encoded representation of said hyperspectral focal plane obtained with a mask and a prism. The compressed image obtained contains the focal plane of the diffracted scene and encoded in the center. An input layer of the neural network contains a copy of the image compressed according to the following nonlinear relationship:
- d i compris entre 0 et D ma X '>- d i between 0 and D ma X '>
- x f compris entre 0 et X ma x- x f between 0 and X ma x
- yt compris entre 0 et Y ma x offse (^'correspondant au décalage suivant l'axe X de la diffraction n - including t between 0 and Y my x offset (^ 'corresponding to the offset along the X axis of the diffraction n
- y f ycorrespondant au décalage suivant l'axe Y de la diffraction n - y f y corresponding to the offset along the Y axis of the diffraction n
[0043] L'architecture du réseau de neurones profond et convolutif est composé d’un encodeur par image compressée et d’un encodeur par image standard permettant de rechercher les caractéristiques élémentaires propres à la détection souhaitée, suivi d'un décodeur permettant de fusionner les caractéristiques élémentaires propres de chacune des images traitées par les encodeurs et de générer une image de probabilités de présence des caractéristiques à détecter dans ledit plan focal hyperspectral. La structure d'encodeurs/décodeur permet de rechercher les caractéristiques élémentaires et propres à la caractéristique principale recherchée dans ledit plan focal hyperspectral.The architecture of the deep and convolutional neural network is composed of an encoder by compressed image and an encoder by standard image making it possible to search for the elementary characteristics specific to the desired detection, followed by a decoder making it possible to merge the specific elementary characteristics of each of the images processed by the encoders and of generating an image of probabilities of presence of the characteristics to be detected in said hyperspectral focal plane. The encoder / decoder structure makes it possible to search for the elementary characteristics specific to the main characteristic sought in said hyperspectral focal plane.
[0044] Chaque encodeur est composée d'une succession de couche de neurones de convolution en alternance avec des couches de pooling (opérateur de décimation de la couche précédente) permettant de réduire la dimension spatiale.Each encoder is composed of a succession of convolutional neural layers alternating with pooling layers (operator of decimation of the previous layer) making it possible to reduce the spatial dimension.
[0045] Le décodeur est composé d'une succession de couche de neurones de déconvolution en alternance avec des couches de unpooling (opération d'interpolation de la couche précédente) permettant une augmentation de la dimension spatiale.The decoder is composed of a succession of layers of deconvolution neurons alternating with layers of unpooling (operation of interpolation of the previous layer) allowing an increase in the spatial dimension.
[0046] Par exemple, une telle structure d'encodeur/décodeur est décrite dans « SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation », Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla.For example, such an encoder / decoder structure is described in "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla.
[0047] Par exemple, une telle structure d’encodeurs fusionnant différentes images d’un même plan focal est décrit dans « Multimodal deep leaming for robust rgb-d abject récognition. In Intelligent Robots and Systems (IROS) », Eitel, A., Springenberg, J. T., Spinello, L., Riedmiller, M., and Burgard, W. (2015) IEEE/RSJ International Conférence on , pages 681#687. IEEE.For example, such an encoder structure merging different images from the same focal plane is described in "Multimodal deep leaming for robust rgb-d abject recognition. In Intelligent Robots and Systems (IROS) ”, Eitel, A., Springenberg, J. T., Spinello, L., Riedmiller, M., and Burgard, W. (2015) IEEE / RSJ International Conférence on, pages 681 # 687. IEEE.
[0048] Un ensemble de couches de neurones entièrement connectées peut être positionné entre l'encodeur et le décodeur.A set of fully connected neural layers can be positioned between the encoder and the decoder.
Description sommaire des figuresBrief description of the figures
[0049] La manière de réaliser l’invention ainsi que les avantages qui en découlent, ressortiront bien du mode de réalisation qui suit, donné à titre indicatif mais non limitatif, à l’appui des figures annexées dans lesquelles les figures 1 à 5 représentent :The manner of carrying out the invention as well as the advantages which ensue therefrom will emerge clearly from the embodiment which follows, given by way of indication but not limitation, in support of the appended figures in which Figures 1 to 5 represent :
- [fig.l] : une représentation schématique de face des éléments d’un dispositif de capture et de détection dans une scène hyperspectrale selon un mode de réalisation de l’invention ;- [fig.l]: a schematic front view of the elements of a capture and detection device in a hyperspectral scene according to an embodiment of the invention;
- [fig.2] : une représentation schématique structurelle des éléments du dispositif de la Fig. 1 ;- [fig.2]: a schematic structural representation of the elements of the device of FIG. 1;
- [fig.3] : une représentation schématique des diffractions obtenues par le dispositif d’acquisition de la Eig. 2 ;- [fig.3]: a schematic representation of the diffractions obtained by the Eig acquisition device. 2;
- [fig.4] : une représentation schématique de l’architecture du réseau de neurone de la Fig. 2.- [fig.4]: a schematic representation of the architecture of the neuron network of Fig. 2.
- [fig.5] : une représentation schématique de la connexion de la première couche du réseau de neurone de la Eig. 2.- [fig.5]: a schematic representation of the connection of the first layer of the Eig neuron network. 2.
Manière de décrire l’inventionHow to describe the invention
[0050] La Eig. 1 illustre un dispositif de capture 2 d'une scène hyperspectrale 3 comportant un ensemble de capteurs permettant d'obtenir au moins une image compressée en deux dimensions 11 ou 13 et au moins une image standard 12 d'un plan focal hyperspectral 3 d'une scène observée.The Eig. 1 illustrates a device 2 for capturing a hyperspectral scene 3 comprising a set of sensors making it possible to obtain at least one image compressed in two dimensions 11 or 13 and at least one standard image 12 of a hyperspectral focal plane 3 of a scene observed.
[0051] Tel qu'illustré sur la Fig. 2, le dispositif de capture 2 comportant au moins un dispositif d’acquisition d’une image compressée comporte une première lentille convergente 21 qui focalise le plan focal 3 sur une ouverture 22. Un collimateur 23 capte les rayons traversant l'ouverture 22 et transmet ces rayons à un réseau de diffraction 24. Une seconde lentille convergente 25 focalise ces rayons issus du réseau de diffraction 24 sur une surface de captation 26.As illustrated in FIG. 2, the capture device 2 comprising at least one device for acquiring a compressed image comprises a first converging lens 21 which focuses the focal plane 3 on an opening 22. A collimator 23 captures the rays passing through the opening 22 and transmits these rays to a diffraction grating 24. A second converging lens 25 focuses these rays coming from the diffraction grating 24 on a collection surface 26.
[0052] La structure de cet assemblage optique est relativement similaire à celle décrite dans la publication scientifique « Computed-tomography imaging spectrometer : experimental calibration and reconstruction results », publiée dans APPLIED OPTICS, volume 34 (1995) nombre 22.The structure of this optical assembly is relatively similar to that described in the scientific publication "Computed-tomography imaging spectrometer: experimental calibration and reconstruction results", published in APPLIED OPTICS, volume 34 (1995) number 22.
[0053] Cette structure optique permet d'obtenir une image diffractée 11, illustrée sur la Fig. 3, présentant plusieurs diffractions R0-R7 du plan focal 3 disposées autour d'une image non diffractée de petite taille C. Dans l'exemple de la Fig. 3, l'image diffractée présente huit diffractions R0-R7 distinctes obtenues avec deux axes de diffraction du réseau de diffraction 24.This optical structure makes it possible to obtain a diffracted image 11, illustrated in FIG. 3, having several diffractions R0-R7 of the focal plane 3 arranged around a non-diffracted image of small size C. In the example of FIG. 3, the diffracted image presents eight distinct R0-R7 diffractions obtained with two diffraction axes of the diffraction grating 24.
[0054] En variante, trois axes de diffractions peuvent être utilisés sur le réseau de diffraction 24 de sorte à obtenir une image diffractée 11 avec seize diffractions.Alternatively, three diffraction axes can be used on the diffraction grating 24 so as to obtain a diffracted image 11 with sixteen diffractions.
[0055] Les surfaces de captation 26, 32 et 46 peuvent correspondre à un capteur CCD (pour « charge-coupled device » dans la littérature anglo-saxonne, c'est-à-dire un dispositif à transfert de charge), à un capteur CMOS (pour « complementary metaloxide-semiconductor » dans la littérature anglo-saxonne, une technologie de fabrication de composants électroniques), ou à tout autre capteur connus. Par exemple, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, propose d'associer cette structure optique à un appareil photo numérique standard pour capteur l'image diffractée.The capture surfaces 26, 32 and 46 may correspond to a CCD sensor (for "charge-coupled device" in the English literature, that is to say a charge transfer device), to a CMOS sensor (for “complementary metaloxide-semiconductor” in Anglo-Saxon literature, a technology for manufacturing electronic components), or any other known sensor. For example, the scientific publication "Practical Spectral Photography", published in Eurographics, volume 31 (2012) number 2, proposes to associate this optical structure with a standard digital camera for capturing the diffracted image.
[0056] En variante, tel qu'illustré sur la Fig. 2, le dispositif de capture 1 comportant au moins un dispositif d’acquisition d’une image compressée peut comporter une première lentille convergente 41 qui focalise le plan focal 3 sur un masque 42. Un collimateur 43 capte les rayons traversant le masque 42 et transmet ces rayons à un prisme 44. Une seconde lentille convergente 45 focalise ces rayons issus du prisme 44 sur une surface de captation 46.As a variant, as illustrated in FIG. 2, the capture device 1 comprising at least one device for acquiring a compressed image can comprise a first converging lens 41 which focuses the focal plane 3 on a mask 42. A collimator 43 captures the rays passing through the mask 42 and transmits these rays to a prism 44. A second converging lens 45 focuses these rays coming from the prism 44 onto a collection surface 46.
[0057] La structure de cet assemblage optique est relativement similaire à celle décrite dans la publication scientifique « Compressive Coded Aperture Spectral Imaging », Gonzalo R. Arce, David J. Brady, Lawrence Carin, Henry Arguello, and David S. Kittle.The structure of this optical assembly is relatively similar to that described in the scientific publication "Compressive Coded Aperture Spectral Imaging", Gonzalo R. Arce, David J. Brady, Lawrence Carin, Henry Arguello, and David S. Kittle.
[0058] De préférence, chaque pixel des images compressée 11, standard 12, et compressée 13 est codé sur trois couleurs rouge, vert et bleu et sur 8 bits permettant ainsi de re11Preferably, each pixel of the compressed 11, standard 12, and compressed 13 images is coded in three colors red, green and blue and on 8 bits thus making it possible to re11
[0059][0059]
[0060][0060]
[0061][0061]
[0062][0062]
[0063][0063]
[0064][0064]
[0065][0065]
[0066] présenter 256 niveaux sur chaque couleur.Present 256 levels on each color.
En variante, les surfaces de captation 26, 32 ou 46 peuvent être un dispositif dont les longueurs d'ondes captées ne sont pas dans la partie visible. Par exemple, le dispositif 2 peut intégrer des capteurs dont la longueur d'onde est comprise entre 300 nanomètre et 2000 nanomètres.As a variant, the capture surfaces 26, 32 or 46 can be a device whose wavelengths captured are not in the visible part. For example, the device 2 can integrate sensors whose wavelength is between 300 nanometers and 2000 nanometers.
Lorsque les images 11,12 ou 13 du plan focal hyperspectral observé sont obtenues, le moyen de détection met en œuvre un réseau de neurone 14 pour détecter une particularité dans la scène observée à partir des informations des images compressées 11 et 13, et de l’image standard 12.When the images 11, 12 or 13 of the hyperspectral focal plane observed are obtained, the detection means implements a neuron network 14 to detect a peculiarity in the scene observed from the information of the compressed images 11 and 13, and the standard image 12.
En variante, seules les images compressée 11 et standard 12 sont utilisées et traitées par le réseau de neurone 14.As a variant, only the compressed 11 and standard 12 images are used and processed by the neuron network 14.
En variante, seules les images compressée 13 et standard 12 sont utilisées et traitées par le réseau de neurone 14.As a variant, only the compressed 13 and standard 12 images are used and processed by the neuron network 14.
En variante, seules les images compressées 11 et 13 sont utilisées et traitées par le réseau de neurone 14.As a variant, only the compressed images 11 and 13 are used and processed by the neuron network 14.
Ce réseau de neurones 14 vise à déterminer la probabilité de présence de la particularité recherchée pour chaque pixel localisé aux coordonnées % et y de la scène hyperspectrale 3 observée.This neural network 14 aims to determine the probability of the presence of the specific feature sought for each pixel located at the% and y coordinates of the hyperspectral scene 3 observed.
Pour ce faire, tel qu'illustré sur la Fig. 4, le réseau de neurones 14 comporte un encodeur 51 pour chaque image compressée et pour chaque image non compressée ; chaque encodeur possède une couche d'entrée 50, apte à extraire les informations de l'image 11,12 ou 13. Le réseaux de neurone fusionne les informations provenant des différents encodeurs 50 au moyen de couches de convolution ou de couches entièrement connectée. Un décodeur 53 et sa couche de sortie, apte à traiter ces informations de sorte à générer une image dont l'intensité de chaque pixel à la coordonnée x et y, correspond à la probabilité de présence de la particularité aux coordonnées % et y de la scène hyperspectrale 3, est insérée suite à la fusion des informations.To do this, as illustrated in FIG. 4, the neural network 14 includes an encoder 51 for each compressed image and for each uncompressed image; each encoder has an input layer 50, capable of extracting the information from the image 11, 12 or 13. The neuron networks merge the information coming from the different encoders 50 by means of convolution layers or fully connected layers. A decoder 53 and its output layer, capable of processing this information so as to generate an image whose intensity of each pixel at the x and y coordinate corresponds to the probability of the presence of the particularity at the% and y coordinates of the hyperspectral scene 3, is inserted following the fusion of information.
Tel qu’illustré sur la Fig. 5, la couche d’entrée 50 d’un encodeur 51 est remplie avec les différentes diffractions de l’image compressée 11 selon la relation non linéaire Ximg = X + y = y + y „ ( η ) + Λ .λ ç| z img 7 7 offset} '' ' siîlcïj avec :As shown in Fig. 5, the input layer 50 of an encoder 51 is filled with the different diffractions of the compressed image 11 according to the non-linear relation X img = X + y = y + y „(η) + Λ .λ ç | z img 7 7 offset} '''siîlcïj with:
- n = floor (dr / dMAX) ;- n = floor (d r / d MAX );
À — d in o d d y '·,À - d in o d d ',
- n compris entre 0 et 7, le nombre de diffraction de l'image compressée ;- n between 0 and 7, the number of diffraction of the compressed image;
- d f compris entre 0 et D ;- d f between 0 and D;
suivante :next :
f(xf,yrI dt) =f (x f , y rI d t ) =
- x f compris entre 0 et Xy 4 γ ;- x f between 0 and Xy 4 γ;
- yt compris entre 0 et Y max ;- including t between 0 and Y max;
- Λ s]iCP χ, la constante de profondeur du tenseur du troisième ordre de ladite couche d'entrée ;- Λ i] f χ CP, the constant a depth of the tensor of the third order of said input layer;
- Λ siiCe la constante du pas spectral du pixel en X de ladite image compressée ;- Λ s ii Ce the spectral step constant of the pixel in X of said compressed image;
- Λ snce y, la constante du pas spectral du pixel en Y de ladite image compressée ;- Λ s n ce y, the spectral step constant of the pixel in Y of said compressed image;
- X offse ) correspondant au décalage suivant l'axe X de la diffraction n ;- X o ff se ) corresponding to the offset along the X axis of the diffraction n ;
- y γ(ϊΐ ) correspondant au décalage suivant l'axe Y de la diffraction 11 - y γ (ϊΐ) corresponding to the shift along the Y axis of the diffraction 11
[0067] L'architecture dudit réseau de neurones 14 est composé d'un ensemble de couches convolutives telle que la couche 50 assemblée linéairement et en alternance avec des couches de décimation (pooling), ou d'interpolation (unpooling).The architecture of said neural network 14 is composed of a set of convolutional layers such as layer 50 assembled linearly and alternately with decimation (pooling) or interpolation (unpooling) layers.
[0068] Une couche convolutive de profondeur d, noté CONV(d), est définie par d noyaux de convolution, chacun de ces noyaux de convolution étant appliqué au volume du tenseur d'entrée d'ordre trois et de taille X nil r,Y . ,, d ,. La couche convolutive input input génère ainsi un volume de sortie, tenseur d'ordre trois, ayant une profondeur d. Une fonction d'activation ACT est appliquée sur les valeurs calculées du volume de sortie.A convolutional layer of depth d, denoted CONV (d), is defined by d convolution kernels, each of these convolution kernels being applied to the volume of the order three input tensor and of size X nil r , Y. ,, d,. The convolutive input input layer thus generates an output volume, tensor of order three, having a depth d. An ACT activation function is applied to the calculated values of the output volume.
[0069] Les paramètres de chaque noyau de convolution d'une couche convolutive sont spécifiés par la procédure d'apprentissage du réseau de neurone.The parameters of each convolution kernel of a convolutional layer are specified by the learning procedure of the neuron network.
[0070] Différente fonction d'activation ACT peuvent être utilisée. Par exemple, cette fonction peut être une fonction ReLu, définie par l'équation suivante : R e L u ( x ) = m a x ( 0, x )Different ACT activation function can be used. For example, this function can be a ReLu function, defined by the following equation: R e L u (x) = m a x (0, x)
[0071] En alternance avec les couches convolutive, des couches de décimation (pooling), ou couche d'interpolation (unpooling) sont insérées.Alternating with the convolutional layers, decimation layers (pooling), or interpolation layer (unpooling) are inserted.
[0072] Une couche de décimation permet de réduire la largeur et la hauteur du tenseur d'ordre trois en entrée pour chaque profondeur dudit tenseur d'ordre trois. Par exemple, une couche de décimation MaxPool(2,2) sélectionne la valeur maximale d'une tuile glissante sur la surface de 2x2 valeurs. Cette opération est appliquée sur l'ensemble des profondeurs du tenseur d'entrée et génère une tenseur de sortie ayant la même profondeur et une largeur divisée par deux, ainsi qu'une hauteur divisée par deux.A decimation layer makes it possible to reduce the width and the height of the tensor of order three at the input for each depth of said tensor of order three. For example, a MaxPool decimation layer (2,2) selects the maximum value of a sliding tile on the surface of 2x2 values. This operation is applied to all the depths of the input tensor and generates an output tensor having the same depth and a width divided by two, as well as a height divided by two.
[0073] Une architecture de réseau de neurone permettant la détection directe de particularités dans la scène hyperspectral peut être la suivante : Inputl Input2 Input3 CONV(64) CONV(64) CONV(64)A neuron network architecture allowing the direct detection of particularities in the hyperspectral scene can be as follows: Inputl Input2 Input3 CONV (64) CONV (64) CONV (64)
MaxPool(2,2) MaxPool(2,2) MaxPool(2,2)MaxPool (2.2) MaxPool (2.2) MaxPool (2.2)
CONV(64) CONV(64) CONV(64)CONV (64) CONV (64) CONV (64)
MaxPool(2,2) MaxPool(2,2) MaxPool(2,2)MaxPool (2.2) MaxPool (2.2) MaxPool (2.2)
CONV(64)CONV (64)
CONV(64)CONV (64)
MaxUnpool(2,2)MaxUnpool (2,2)
CONV(64)CONV (64)
MaxUnpool(2,2)MaxUnpool (2,2)
CONV(64)CONV (64)
MaxUnpool(2,2)MaxUnpool (2,2)
CONV(l)CONV (l)
OutputOutput
[0074] Les poids dudit réseau de neurones 14 sont calculés au moyen d'un apprentissage. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé pour calculer ces poids.The weights of said neural network 14 are calculated by means of learning. For example, backward propagation of the gradient or its derivatives from training data can be used to calculate these weights.
[0075] En variante, le réseau de neurone 14 peut déterminer la probabilité de présence de plusieurs particularités distinctes au sein de la même scène observée. Dans ce cas, la dernière couche convolutive aura une profondeur correspondant au nombre de particularités distinctes à détecter. Ainsi la couche convolutive CONV(l) est remplacée par une couche convolutive CONV(x), où x correspond au nombre de particularités distinctes à détecter.Alternatively, the neuron network 14 can determine the probability of the presence of several distinct features within the same scene observed. In this case, the last convolutional layer will have a depth corresponding to the number of distinct features to be detected. Thus the convolutional layer CONV (l) is replaced by a convolutional layer CONV (x), where x corresponds to the number of distinct features to be detected.
Claims (1)
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1901202A FR3091380B1 (en) | 2019-02-07 | 2019-02-07 | Hyperspectral detection device by fusion of sensors |
| FR1905916A FR3091381B1 (en) | 2018-12-19 | 2019-06-04 | HYPERSPECTRAL DETECTION DEVICE |
| US17/416,380 US20210383151A1 (en) | 2018-12-19 | 2019-12-18 | Hyperspectral detection device |
| PCT/EP2019/085847 WO2020127422A1 (en) | 2018-12-19 | 2019-12-18 | Hyperspectral detection device |
| EP19820789.6A EP3714399A1 (en) | 2018-12-19 | 2019-12-18 | Hyperspectral detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1901202A FR3091380B1 (en) | 2019-02-07 | 2019-02-07 | Hyperspectral detection device by fusion of sensors |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3091380A1 true FR3091380A1 (en) | 2020-07-03 |
| FR3091380B1 FR3091380B1 (en) | 2020-12-11 |
Family
ID=67956852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1901202A Active FR3091380B1 (en) | 2018-12-19 | 2019-02-07 | Hyperspectral detection device by fusion of sensors |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3091380B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3141601A1 (en) | 2022-11-03 | 2024-05-10 | Carbon Bee | System and method for controlling a distribution circuit of a product for the treatment of a space comprising plants, distribution machine comprising such a system |
-
2019
- 2019-02-07 FR FR1901202A patent/FR3091380B1/en active Active
Non-Patent Citations (13)
| Title |
|---|
| "Computed-tomography imaging spectrometer : expe-rimental calibration and reconstruction results", APPLIED OPTICS, vol. 34, 1995 |
| "Practical Spectral Photography", EUROGRAPHICS, vol. 31, 2012 |
| D. KITTLE, COMPRESSIVE SPECTRAL IMAGING, 2010 |
| EITEL, A.SPRINGENBERG, J. T.SPINELLO, L.RIEDMILLER, M.BURGARD, W.: "IEEE/RSJ International Conférence", 2015, IEEE, article "Multimodal deep learning for robust rgb-d object recognition. In Intelligent Robots and Systems (IROS", pages: 681 - 687 |
| EITEL, A.SPRINGENBERG, J. T.SPINELLO, L.RIEDMILLER, M.BURGARD, W.: "Multimodal deep learning for robust rgb-d object recognition. In Intelligent Robots and Systems (IROS", IEEE/RSJ INTERNATIONAL CONFÉRENCE ON, 2015, pages 681 - 687 |
| EITEL, A.SPRINGENBERG, J. T.SPINELLO, L.RIEDMILLER, M.BURGARD, W.: "Multimodal deep learning for robust rgb-d object recognition. In Intelligent Robots and Systems (IROS)", IEEE/RSJ INTERNATIONAL CONFÉRENCE, 2015, pages 681 - 687 |
| GONZALO R. ARCEDAVID J. BRADYLAWRENCE CARINHENRY ARGUELLODAVID S. KITTLE, COMPRESSIVE CODED APERTURE SPECTRAL IMAGING |
| H. BOURLARDY. KAMP. A.: "auto-association by multilayer perceptrons and singular value decomposition.", BIOLOGICAL CYBERNETICS, vol. 59, no. 4, 1988, pages 291 - 294, XP000861877, ISSN: 0340-1200, doi:10.1007/BF00332918 |
| J. MARIAJ. AMAROG. FALCAOL. A. ALEXANDRE: "Stacked Au-toencoders Using Low-Power Accelerated Architectures for Object Recognition in Au-tonomous Systems", NEURAL PROCESSING LETTERS, vol. 43, no. 2, pages 445 - 458,2016 |
| LAURA GALVIS ET AL: "Coded aperture design in compressive spectral imaging based on side information", APPLIED OPTICS, vol. 56, no. 22, 1 August 2017 (2017-08-01), pages 6332, XP055653512, ISSN: 1559-128X, DOI: 10.1364/AO.56.006332 * |
| MICHAEL ROBERT: "Descour", 1994, THE UNIVERSITY OF ARIZONA, article "Non-scanning imaging spectrometry" |
| NATHAN HAGENMICHAEL W. KUDENOV: "Review of snapshot spectral imaging technologies", OPTICAL ENGINEERING, vol. 52, no. 9, September 2013 (2013-09-01), XP060026022, doi:10.1117/1.OE.52.9.090901 |
| XIONG ZHIWEI ET AL: "HSCNN: CNN-Based Hyperspectral Image Recovery from Spectrally Undersampled Projections", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW), IEEE, 22 October 2017 (2017-10-22), pages 518 - 525, XP033303494, DOI: 10.1109/ICCVW.2017.68 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3141601A1 (en) | 2022-11-03 | 2024-05-10 | Carbon Bee | System and method for controlling a distribution circuit of a product for the treatment of a space comprising plants, distribution machine comprising such a system |
| WO2024094539A1 (en) | 2022-11-03 | 2024-05-10 | Carbon Bee | System and method for controlling a distribution circuit distributing a product for the treatment of a space comprising plants, and distribution machine comprising such a system |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3091380B1 (en) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR3091381A1 (en) | HYPERSPECTRAL DETECTION DEVICE | |
| WO2020127422A1 (en) | Hyperspectral detection device | |
| Monakhova et al. | Spectral DiffuserCam: lensless snapshot hyperspectral imaging with a spectral filter array | |
| US10101206B2 (en) | Spectral imaging method and system | |
| US20180046139A1 (en) | Lens-Free Imaging | |
| Zhang et al. | Physics-based iterative projection complex neural network for phase retrieval in lensless microscopy imaging | |
| Yu et al. | Single-photon compressive imaging with some performance benefits over raster scanning | |
| FR3071124B1 (en) | DEVICE FOR CAPTURING A HYPERSPECTRAL IMAGE | |
| EP3937628A1 (en) | Agricultural treatment control device | |
| Saragadam et al. | Programmable spectrometry: Per-pixel material classification using learned spectral filters | |
| Qiao et al. | Snapshot coherence tomographic imaging | |
| FR3091380A1 (en) | Hyperspectral detection device by fusion of sensors | |
| Nimmer et al. | Spectral imaging based on 2D diffraction patterns and a regularization model | |
| EP3956712B1 (en) | Device for hyperspectral holographic microscopy by sensor fusion | |
| WO2018064660A1 (en) | Lensless imaging device | |
| FR3091382A1 (en) | HYPERSPECTRAL ACQUISITION DETECTION DEVICE | |
| CA2778676A1 (en) | Device and method for adjusting the raised pattern of hyper-spectral images | |
| Liu et al. | Spatial anomaly detection in hyperspectral imaging using optical neural networks | |
| FR3093613A1 (en) | AGRICULTURAL TREATMENT CONTROL DEVICE | |
| FR3098962A1 (en) | System for detecting a hyperspectral feature | |
| FR3061786A1 (en) | DATA STREAM PROCESSING IN AN ACQUISITION SYSTEM | |
| KR20160071318A (en) | High-resolution imaging devices using low-resolution sensors and compressive sensing exploiting joint sparsity | |
| FR3095064A1 (en) | BIOMETRIC DOUBT-RELATED PROCESSES AND DEVICES | |
| WO2023106143A1 (en) | Device and filter array used in system for generating spectral image, system for generating spectral image, and method for manufacturing filter array | |
| WO2023286613A1 (en) | Filter array, light detection device, and light detection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200703 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |