FR3091382A1 - HYPERSPECTRAL ACQUISITION DETECTION DEVICE - Google Patents

HYPERSPECTRAL ACQUISITION DETECTION DEVICE Download PDF

Info

Publication number
FR3091382A1
FR3091382A1 FR1873313A FR1873313A FR3091382A1 FR 3091382 A1 FR3091382 A1 FR 3091382A1 FR 1873313 A FR1873313 A FR 1873313A FR 1873313 A FR1873313 A FR 1873313A FR 3091382 A1 FR3091382 A1 FR 3091382A1
Authority
FR
France
Prior art keywords
scene
image
hyperspectral
compressed image
focal plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1873313A
Other languages
French (fr)
Other versions
FR3091382B1 (en
Inventor
Gérald Germain
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lysia
Original Assignee
Lysia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lysia filed Critical Lysia
Priority to FR1873313A priority Critical patent/FR3091382B1/en
Priority to FR1905916A priority patent/FR3091381B1/en
Priority to ARP190103716A priority patent/AR117353A1/en
Priority to PCT/EP2019/085847 priority patent/WO2020127422A1/en
Priority to US17/416,380 priority patent/US20210383151A1/en
Priority to EP19820789.6A priority patent/EP3714399A1/en
Publication of FR3091382A1 publication Critical patent/FR3091382A1/en
Application granted granted Critical
Publication of FR3091382B1 publication Critical patent/FR3091382B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

DISPOSITIF DE DÉTECTION à ACQUISITION HYPERSPECTRALE L'invention concerne un dispositif de capture (2) d'une scène hyperspectrale et de détection directe (1), depuis l'image compressée (11) capturée, de particularités dans ladite scène comportant : - des moyens d'acquisition (2) d'une image compressée (11) d'un plan focal hyperspectral ; et - des moyens de détection directe (1) à partir de l'image compressée (11) comportant un réseau de neurones (12) architecturé pour calculer une image (13) dont l'intensité lumineuse aux coordonnées x et y représente la probabilité de présence de la particularité à la même coordonnée x et y du plan focal hyperspectral.The invention relates to a device for capturing (2) a hyperspectral scene and for direct detection (1), from the captured compressed image (11), of particularities in said scene comprising: - means acquisition (2) of a compressed image (11) of a hyperspectral focal plane; and - direct detection means (1) from the compressed image (11) comprising a neural network (12) structured to calculate an image (13) whose light intensity at the coordinates x and y represents the probability of presence of the peculiarity at the same x and y coordinate of the hyperspectral focal plane.

Description

DescriptionDescription

Titre de l'invention : Dispositif de détection à acquisition hyperspectraleTitle of the invention: Hyperspectral acquisition detection device

Domaine techniqueTechnical area

[0001] La présente invention se rapporte à un dispositif de détection d'objets ou de particularités dans le plan focal d'une scène basé sur une mesure utilisant un procédé de compression de la scène hyperspectrale en trois dimensions en une image non homogène en deux dimensions, et un traitement de l'image obtenue permettant de détecter les particularités recherchées dans la scène.The present invention relates to a device for detecting objects or features in the focal plane of a scene based on a measurement using a method of compressing the hyperspectral scene in three dimensions into a non-homogeneous image in two dimensions, and a processing of the image obtained making it possible to detect the particularities sought in the scene.

[0002] L'invention trouve une application particulièrement avantageuse pour les systèmes embarqués destinés à détecter des objets ou particularités dans une scène à partir de leur forme, leur texture et leur réflectance lumineuse.The invention finds a particularly advantageous application for on-board systems intended to detect objects or features in a scene from their shape, their texture and their light reflectance.

[0003] L'invention peut être appliquée à un grand nombre de domaines techniques dans lesquels une détection hyperspectrale est recherchée. De manière non exhaustive, l'invention peut être utilisée, par exemple, dans le domaine médical et dentaire, pour aider au diagnostic. Dans le domaine végétal et mycologique, l'invention peut également être utilisée pour réaliser du phénotypage, détecter des symptômes de stress ou maladie ou différencier des espèces. Dans le domaine de l'analyse chimique, l'invention peut tout autant être utilisée pour mesurer les concentrations. Dans le domaine de la lutte contre la contrefaçon, l'invention peut être utilisée pour discerner une contrefaçon.The invention can be applied to a large number of technical fields in which hyperspectral detection is sought. In a non-exhaustive manner, the invention can be used, for example, in the medical and dental field, to aid in diagnosis. In the plant and mycological field, the invention can also be used to carry out phenotyping, to detect symptoms of stress or disease or to differentiate between species. In the field of chemical analysis, the invention can also be used to measure concentrations. In the fight against counterfeiting, the invention can be used to discern counterfeiting.

Technique antérieurePrior art

[0004] Au sens de l'invention, une détection à acquisition hyperspectrale correspond à la détection de particularités dans le plan focal d'une scène directement depuis une image en deux dimensions acquise contenant un représentation des informations spatiales et spectrales du plan focal de la scène.Within the meaning of the invention, a hyperspectral acquisition detection corresponds to the detection of features in the focal plane of a scene directly from an acquired two-dimensional image containing a representation of the spatial and spectral information of the focal plane of the scene.

[0005] Différentes méthodes de compression du plan focal d'une scène hyperspectrale sont décrits dans la littérature. L'objet de ces méthodes est d'acquérir le plan focal de la scène hyperspectrale en une seule acquisition sans nécessité de balayer le plan focal de la scène dans les dimensions spatiales ou spectrale.Various methods of compressing the focal plane of a hyperspectral scene are described in the literature. The object of these methods is to acquire the focal plane of the hyperspectral scene in a single acquisition without the need to scan the focal plane of the scene in spatial or spectral dimensions.

[0006] Par exemple, la thèse Non-scanning imaging spectrometry, Descour, Michael Robert, 1994, The university of Arizona, propose une façon d'acquérir une seule image en deux dimensions de la scène observée contenant toutes les informations sur l'influence des différentes longueurs d'onde. Cette méthode, dénommée CTIS (pour Computed-Tomography Imaging Spectrometer), propose de capturer une image diffractée du plan focal de la scène observée au moyen d'un réseau de diffraction disposé en amont d'un capteur numérique. Cette image diffractée acquise par le capteur numérique prend la forme de multiples projections pour lesquels chaque projection permet de représenter le plan focal de la scène observée et contient l'ensemble des informations spectrales du plan focal.For example, the Non-scanning imaging spectrometry thesis, Descour, Michael Robert, 1994, The university of Arizona, proposes a way to acquire a single two-dimensional image of the observed scene containing all the information on the influence of different wavelengths. This method, called CTIS (for Computed-Tomography Imaging Spectrometer), proposes to capture a diffracted image of the focal plane of the scene observed by means of a diffraction grating arranged upstream of a digital sensor. This diffracted image acquired by the digital sensor takes the form of multiple projections for which each projection makes it possible to represent the focal plane of the scene observed and contains all of the spectral information of the focal plane.

[0007] Une autre méthode, dénommée CASSI (pour Coded Aperture Snapshot Spectral Imaging), décrite dans la thèse Compressive spectral imaging, D. Kittle, 2010, propose une façon d'acquérir une seule image encodée en deux dimensions contenant toutes les informations spatiales et spectrales. Cette méthode, propose de capturer une image diffractée, au moyen d'un prisme de diffraction, et encodée, au moyen d'un masque d'encodage, du plan focal de la scène observée.Another method, called CASSI (for Coded Aperture Snapshot Spectral Imaging), described in the thesis Compressive spectral imaging, D. Kittle, 2010, proposes a way to acquire a single two-dimensional encoded image containing all the spatial information. and spectral. This method proposes to capture a diffracted image, by means of a diffraction prism, and encoded, by means of an encoding mask, of the focal plane of the observed scene.

[0008] Ces méthodes, bien que satisfaisantes pour résoudre la problématique d'acquisition instantanée du plan focal de la scène hyperspectrale, nécessite des algorithmes complexes et coûteux en ressources de calcul afin d'estimer la scène hyperspectrale non compressée. La publication Review of snapshot spectral imaging technologies, Nathan Hagen, Michael W. Kudenov, Optical Engineering 52(9), September 2013, présente une comparaison des méthodes d'acquisition hyperspectrales ainsi que les complexités algorithmiques associées à chacune d'elles.These methods, although satisfactory for solving the problem of instantaneous acquisition of the focal plane of the hyperspectral scene, require complex algorithms and expensive in computing resources in order to estimate the uncompressed hyperspectral scene. The review of snapshot spectral imaging technologies, Nathan Hagen, Michael W. Kudenov, Optical Engineering 52 (9), September 2013, presents a comparison of hyperspectral acquisition methods and the algorithmic complexities associated with each.

[0009] En effet, la méthode CTIS nécessite un processus d'estimation basé sur une matrice en deux dimensions représentant la fonction de transfert de l'optique de diffraction. Cette matrice doit être inversée pour reconstituer l'image hyperspectrale. La matrice de la fonction de transfert n'étant pas complètement définie, des méthodes d'inversion matricielle itératives et coûteuses en ressources de calcul permettent d'approcher le résultat pas à pas.[0009] Indeed, the CTIS method requires an estimation process based on a two-dimensional matrix representing the transfer function of the diffraction optics. This matrix must be inverted to reconstruct the hyperspectral image. The matrix of the transfer function not being completely defined, iterative and costly matrix inversion methods of computing resources allow to approach the result step by step.

[0010] La méthode CASSI et ses dérivés nécessitent également des calculs matriciels non complètement définis, et utilisent des méthodes de calcul itératives et coûteuse en ressources de calcul afin d'approcher le résultat.The CASSI method and its derivatives also require matrix calculations that are not completely defined, and use iterative calculation methods that are costly in computing resources in order to approach the result.

[0011] En outre, l'image hyperspectrale en trois dimensions reconstruite par ces méthodes de calcul ne contient pas d'information spatiale ou spectrale supplémentaires par rapport à l'image compressée en deux dimensions obtenue par ces méthodes d'acquisitions. L'estimation par le calcul de l'image hyperspectrale n'est donc pas nécessaire pour une détection directe des particularités recherchées dans le plan focal de la scène, à la condition d'utiliser une méthode de détection directe des particularités depuis l'image compressée et non homogène en deux dimensions.In addition, the three-dimensional hyperspectral image reconstructed by these calculation methods does not contain additional spatial or spectral information compared to the two-dimensional compressed image obtained by these acquisition methods. The estimation by the calculation of the hyperspectral image is therefore not necessary for a direct detection of the particularities sought in the focal plane of the scene, on the condition of using a method of direct detection of the particularities from the compressed image and not homogeneous in two dimensions.

[0012] Des méthodes de traitement d'image dans l'objectif de détecter des particularités sont largement décrites dans la littérature scientifique. Par exemple une méthode basée sur des réseaux de neurones est décrite dans auto-association by multilayer perceptrons and singular value décomposition. Biological cybernetics, 59(4):291-294, 1988. ISSN 0340-1200, H. Bourlard and Y. Kamp. A.Image processing methods with the aim of detecting particularities are widely described in the scientific literature. For example, a method based on neural networks is described in auto-association by multilayer perceptrons and singular value decomposition. Biological cybernetics, 59 (4): 291-294, 1988. ISSN 0340-1200, H. Bourlard and Y. Kamp. AT.

[0013] De nouvelles méthodes basées sur des réseaux de neurones profonds et convolutifs sont également largement employées avec des résultats présentant des taux de fausses détections très bas. Par exemple, une telle méthode est décrite dans Stacked Autoencoders Using Low-Power Accelerated Architectures for Object Récognition in Autonomous Systems, Neural Processing Letters, vol. 43, no. 2, pp. 445-458,2016, J. Maria, J. Amaro, G. Falcao, L. A. Alexandre.New methods based on deep and convolutional neural networks are also widely used with results showing very low rates of false detections. For example, such a method is described in Stacked Autoencoders Using Low-Power Accelerated Architectures for Object Récognition in Autonomous Systems, Neural Processing Letters, vol. 43, no. 2, pp. 445-458,2016, J. Maria, J. Amaro, G. Falcao, L. A. Alexandre.

[0014] Ces méthodes sont particulièrement adaptées à détecter des éléments dans une image couleur (possédant généralement 3 canaux - Rouge, Vert et Bleu) d'une scène en prenant en compte les caractéristiques de formes, de textures et de couleurs de la particularité à détecter. Ces méthodes considèrent l'image homogène, et traitent par convolution l'entièreté de l'image par le même procédé.These methods are particularly suitable for detecting elements in a color image (generally having 3 channels - Red, Green and Blue) of a scene by taking into account the characteristics of shapes, textures and colors of the particularity to detect. These methods consider the image homogeneous, and process the entire image by convolution by the same process.

[0015] Le traitement des images compressées en deux dimensions obtenues par les méthodes CTIS et CASSI ne peut donc pas être opéré au moyen d'un réseau de neurones profond et convolutif standard. En effet, l'image obtenue par ces méthodes ne sont pas homogènes, et contiennent des particularités non linéaires dans les dimensions soient spectrales, soit spatiales.The processing of the two-dimensional compressed images obtained by the CTIS and CASSI methods cannot therefore be operated by means of a standard deep and convolutional neural network. Indeed, the image obtained by these methods are not homogeneous, and contain non-linear features in the dimensions either spectral or spatial.

[0016] Le problème technique de l'invention consiste à détecter directement les particularités ou objets recherchés depuis l'acquisition d'une représentation compressée, non homogène, et non linéaire en deux dimensions contenant toute l'information spatiale et spectrale d'une scène hyperspectrale en trois dimensions au moyen d'un réseau de neurones convolutif adapté aux particularités de l'image obtenue.The technical problem of the invention consists in directly detecting the particularities or objects sought after the acquisition of a compressed, non-homogeneous, and non-linear representation in two dimensions containing all the spatial and spectral information of a scene hyperspectral in three dimensions by means of a convolutional neural network adapted to the particularities of the image obtained.

Exposé de l’inventionStatement of the invention

[0017] La présente invention se propose de répondre à ce problème technique en détectant directement les particularités recherchées au moyen d'un réseau de neurones formels profond et convolutif, dont l'architecture est adaptée à une détection directe, appliqué sur l'image compressée en deux dimensions du plan focal hyperspectral de la scène.The present invention proposes to respond to this technical problem by directly detecting the specific features sought by means of a deep and convolutional formal neural network, the architecture of which is adapted to direct detection, applied to the compressed image. in two dimensions from the hyperspectral focal plane of the scene.

[0018] L'image hyperspectrale en trois dimensions ne contient pas plus d'information spatiales et spectrale que l'image compressée obtenue par les méthodes d'acquisition CTIS ou CASSI puisque l'image hyperspectrale est reconstituée à partir de l'image compressée. Ainsi l'invention propose de détecter directement dans l'image compressée les particularités recherchées dans le plan focal d'une scène.The three-dimensional hyperspectral image does not contain more spatial and spectral information than the compressed image obtained by the CTIS or CASSI acquisition methods since the hyperspectral image is reconstructed from the compressed image. Thus the invention proposes to detect directly in the compressed image the particularities sought in the focal plane of a scene.

[0019] A cet effet, l'invention concerne un dispositif de détection de particularités dans le plan focal hyperspectral d'une scène, ledit dispositif comportant : un moyen d'acquisition d'une image compressée et non homogène en deux dimensions d'un plan focal d'une scène hyperspectrale en trois dimensions ; et un moyen de détection directe de particularités dans ladite scène hyperspectrale à partir de l'image compressée et non homogène en deux dimensions ;To this end, the invention relates to a device for detecting features in the hyperspectral focal plane of a scene, said device comprising: means for acquiring a compressed and non-homogeneous image in two dimensions of a focal plane of a three-dimensional hyperspectral scene; and means for direct detection of features in said hyperspectral scene from the compressed and non-homogeneous image in two dimensions;

[0020] L'invention se caractérise en ce que le moyen de détection directe de particularités dans la scène hyperspectrale intègre un réseau de neurones profond et convolutif architecture pour calculer une probabilité de présence de la ou les particularités recherchées dans ladite scène hyperspectrale depuis l'image compressée et générant une image pour chaque particularité recherchée dont la valeur de chaque pixel aux cordonnées x et y correspond à la probabilité de présence de ladite particularité aux mêmes coordonnées % et y du plan focal hyperspectral de la scène.The invention is characterized in that the means for direct detection of features in the hyperspectral scene integrates a deep neural network and convolutional architecture to calculate a probability of presence of the feature (s) sought in said hyperspectral scene from the compressed image and generating an image for each particular feature sought, the value of each pixel with coordinates x and y corresponding to the probability of the presence of said feature at the same% and y coordinates of the hyperspectral focal plane of the scene.

[0021] L'image compressée obtenue par le système optique contient le plan focal de la scène non diffractée au centre, ainsi que les projections diffractées suivant les axes des différents filtres de diffractions. Ainsi, le réseau de neurone utilise, pour la détection directe des particularités recherchées, les informations suivantes : l'intensité lumineuse dans la partie centrale et non-diffractée du plan focal de la scène aux coordonnées x et y ; et des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées x' et y ' sont dépendantes des coordonnées % et y de la partie centrale non diffractée du plan focal de la scène.The compressed image obtained by the optical system contains the focal plane of the non-diffracted scene in the center, as well as the diffracted projections along the axes of the different diffraction filters. Thus, the neural network uses the following information for the direct detection of the specific features sought: the light intensity in the central and non-diffracted part of the focal plane of the scene at the x and y coordinates; and light intensities in each of the diffractions of said compressed image whose coordinates x 'and y' are dependent on the coordinates% and y of the non-diffracted central part of the focal plane of the scene.

[0022] L'invention permet ainsi de corréler les informations contenues dans les différentes diffractions de l'image diffractée avec des informations contenues dans la partie centrale non-diffractées de l'image obtenue.The invention thus makes it possible to correlate the information contained in the different diffractions of the diffracted image with information contained in the non-diffracted central part of the image obtained.

[0023] Les différentes diffractions de l'image diffractée contenant une information spectrale importante mais dont chaque pixel contient une somme des diffractions à différentes longueurs d'onde, l'invention peut également utiliser la partie centrale de l'image, non diffractée, et permet de rechercher dans l'image complète les caractéristiques spatiales (forme, texture, etc.) et spectrale (réflectance).The different diffractions of the diffracted image containing important spectral information but each pixel of which contains a sum of the diffractions at different wavelengths, the invention can also use the central part of the image, not diffracted, and allows you to search the complete image for spatial (shape, texture, etc.) and spectral (reflectance) characteristics.

[0024] En pratique, contrairement à l'état de l'art classique de la méthode CTIS, l'invention permet de détecter des particularités dans une scène hyperspectrale en temps réel entre deux acquisitions du plan focal hyperspectral de la scène observée. Ce faisant, il n'est plus nécessaire de différer le traitement des images compressées et il n'est plus nécessaire de stocker ces images compressées après la détection. Egalement il n'est plus nécessaire de reconstituer l'image hyperspectrale avant d'appliquer la méthode de détection.In practice, unlike the state of the conventional art of the CTIS method, the invention makes it possible to detect features in a hyperspectral scene in real time between two acquisitions of the hyperspectral focal plane of the scene observed. In doing so, it is no longer necessary to postpone the processing of the compressed images and it is no longer necessary to store these compressed images after detection. Also, it is no longer necessary to reconstruct the hyperspectral image before applying the detection method.

[0025] En variante, l'image compressée obtenue par le système optique contient le plan focal diffracté et encodé suivant le schéma de codage d'un masque introduit dans le chemin optique avant diffraction de la scène. Ainsi, le réseau de neurone utilise, pour la détection directe des particularités recherchées, les informations suivantes : le schéma du masque d'encodage utilisé pour encoder les diffractions du plan focal de la scène ; et des intensités lumineuses dans l'image compressée et diffractée dont les coordonnées x' et y ' sont dépendantes des coordonnées % et y du plan focal de la scène observée.Alternatively, the compressed image obtained by the optical system contains the diffracted focal plane and encoded according to the coding scheme of a mask introduced into the optical path before diffraction of the scene. Thus, the neural network uses the following information for the direct detection of the specific features sought: the diagram of the encoding mask used to encode the diffractions of the focal plane of the scene; and light intensities in the compressed and diffracted image whose x 'and y' coordinates are dependent on the% and y coordinates of the focal plane of the observed scene.

[0026] En pratique, contrairement à l'état de l'art classique de la méthode CASSI, l'invention permet de détecter des particularités dans une scène hyperspectrale en temps réel entre deux acquisitions du plan focal hyperspectral de la scène observée. Ce faisant, il n'est plus nécessaire de différer le traitement des images compressées et il n'est plus nécessaire de stocker ces images compressées après la détection. Egalement il n'est plus nécessaire de reconstituer l'image hyperspectrale avant d'appliquer la méthode de détection.In practice, unlike the state of the conventional art of the CASSI method, the invention makes it possible to detect features in a hyperspectral scene in real time between two acquisitions of the hyperspectral focal plane of the scene observed. In doing so, it is no longer necessary to postpone the processing of the compressed images and it is no longer necessary to store these compressed images after detection. Also, it is no longer necessary to reconstruct the hyperspectral image before applying the detection method.

[0027] Selon un mode de réalisation, la méthode de capture est une réalisation mécanique compacte et intégrable dans un dispositif portable et autonome et dans lequel la méthode de détection est exécutée par ledit dispositif portable et autonome.According to one embodiment, the capture method is a compact mechanical embodiment and can be integrated into a portable and autonomous device and in which the detection method is executed by said portable and autonomous device.

[0028] Selon un mode de réalisation, la méthode de capture est une réalisation mécanique compacte et intégrable devant l'objectif de l'appareil photographique d'un ordiphone et dans lequel la méthode de détection est exécutée par l'ordiphone.According to one embodiment, the capture method is a compact mechanical embodiment which can be integrated in front of the lens of the camera of a smartphone and in which the detection method is executed by the smartphone.

[0029] Selon un mode de réalisation, ladite image compressée est obtenue par un capteur infrarouge. Ce mode de réalisation permet d'obtenir une information invisible à l’œil humain.According to one embodiment, said compressed image is obtained by an infrared sensor. This embodiment provides information invisible to the human eye.

[0030] Selon un mode de réalisation, ladite image compressée est obtenue par un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres. Ce mode de réalisation permet d’obtenir une information sur les rayons X présents sur la scène observée.According to one embodiment, said compressed image is obtained by a sensor whose wavelength is between 0.001 nanometer and 10 nanometers. This embodiment makes it possible to obtain information on the X-rays present on the observed scene.

[0031] Selon un mode de réalisation, ladite image compressée est obtenue par un capteur dont la longueur d'onde est comprise entre 10000 nanomètres et 20000 nanomètres. Ce mode de réalisation permet d'obtenir une information sur la température de la scène observée.According to one embodiment, said compressed image is obtained by a sensor whose wavelength is between 10,000 nanometers and 20,000 nanometers. This embodiment makes it possible to obtain information on the temperature of the scene observed.

[0032] Selon un mode de réalisation, ladite image compressée est obtenue par un capteur comportant : une première lentille convergente configurée pour focaliser les informations d'une scène sur une ouverture ; un collimateur configuré pour capter les rayons traversant ladite ouverture et pour transmettre ces rayons sur un réseau de diffraction ; et une seconde lentille convergente configurée pour focaliser les rayons issus du réseau de diffraction sur une surface de captation.According to one embodiment, said compressed image is obtained by a sensor comprising: a first converging lens configured to focus the information of a scene on an opening; a collimator configured to capture the rays passing through said opening and to transmit these rays over a diffraction grating; and a second converging lens configured to focus the rays from the diffraction grating on a collection surface.

[0033] Ce mode de réalisation est particulièrement simple à réaliser et peut être adapté sur un capteur existant.This embodiment is particularly simple to perform and can be adapted on an existing sensor.

[0034] Selon un mode de réalisation, ladite image compressée est obtenue par un capteur comportant : une première lentille convergente configurée pour focaliser les informations d'une scène sur un masque ; un collimateur configuré pour capter les rayons traversant ledit masque et pour transmettre ces rayons sur un prisme ; et une seconde lentille convergente configurée pour focaliser les rayons issus du prisme sur une surface de captation.According to one embodiment, said compressed image is obtained by a sensor comprising: a first converging lens configured to focus the information of a scene on a mask; a collimator configured to capture the rays passing through said mask and to transmit these rays over a prism; and a second converging lens configured to focus the rays from the prism on a sensing surface.

[0035] Ce mode de réalisation est particulièrement simple à réaliser et peut être adapté sur un capteur existant.This embodiment is particularly simple to perform and can be adapted on an existing sensor.

[0036] En ce qui concerne la détection de particularités depuis ladite image compressée, l'invention utilise une réseau de neurones profond et convolutif de détermination des probabilités de présence de ces particularités. Un apprentissage dudit réseau de neurones profond et convolutif permet d'indiquer la probabilité de présence des particularités recherchées pour chaque coordonnées % et y de ladite scène hyperspectrale. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé.With regard to the detection of features from said compressed image, the invention uses a deep and convolutional neural network for determining the probabilities of the presence of these features. Learning of said deep and convolutional neural network makes it possible to indicate the probability of the presence of the particularities sought for each% and y coordinates of said hyperspectral scene. For example, learning by back-propagation of the gradient or its derivatives from training data can be used.

[0037] Le réseau de neurones profond et convolutif servant à la détection directe depuis l'image compressée a une structure de couche d'entrée adaptée à la détection directe. L'invention dispose de plusieurs architectures des couches profondes dudit réseau de neurones. Parmi celle-ci, une architecture auto-encoder telle que décrite dans le document SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation, Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla permet d'indiquer la probabilité de présence des particularités recherchées pour chaque coordonnées % et y de la scène hyperspectrale.The deep and convolutional neural network used for direct detection from the compressed image has an input layer structure suitable for direct detection. The invention has several architectures of the deep layers of said neural network. Among these, an auto-encoder architecture as described in the SegNet document: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation, Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla allows to indicate the probability of the presence of the particularities sought for each % and y coordinates of the hyperspectral scene.

[0038] Ladite couche d'entrée du réseau de neurones est adaptée à la structure de l'image compressée obtenue par le moyen d'acquisition. Ainsi, la couche d'entrée est un tenseur d'ordre trois et possède deux dimensions spatiales de taille X MAX et YMAX , et une dimension de profondeur de taille D MAX .Said input layer of the neural network is adapted to the structure of the compressed image obtained by the acquisition means. Thus, the input layer is a tensor of order three and has two spatial dimensions of size X MAX and Y MAX , and a depth dimension of size D MAX .

[0039] L'invention utilise la relation non linéaire f(x ,, y t, d t ) —> (x img, y img ) définie pour x , [0..ΧΜΑχ[, yt [0..ΥΜΑχ[ et dt [0..DMAX[ permettant de calculer les coordonnées ximg et y img du pixel de ladite image compressée dont l'intensité est copiée dans le tenseur d'ordre trois de ladite couche d'entrée du réseau de neurones aux coordonnées (xt, yt, dt The invention uses the non-linear relation f (x ,, y t , d t ) -> (x img , y img ) defined for x, [0..Χ ΜΑ χ [, y t [0 .. Υ ΜΑ χ [and d t [0..D MAX [allowing to calculate the coordinates x img and y img of the pixel of said compressed image whose intensity is copied in the tensor of order three of said input layer of neural network at coordinates (x t , y t , d t ) ·

[0040] Selon un mode de réalisation, la méthode de capture comporte un moyen d'acquisition d'une image compressée contenant les diffractions dudit plan focal hyperspectral obtenue avec des filtres de diffraction. L'image compressée obtenue contient le plan focal de la scène non diffractée au centre, ainsi que les projections diffractées suivant les axes des différents filtres de diffractions. La couche d'entrée du réseau de dt] = neurone est une copie des huit représentations chromatiques de la scène hyperspectrale de l'image compressée selon la relation non linéaire suivante :According to one embodiment, the capture method comprises a means of acquiring a compressed image containing the diffractions of said hyperspectral focal plane obtained with diffraction filters. The compressed image obtained contains the focal plane of the non-diffracted scene in the center, as well as the diffracted projections along the axes of the different diffraction filters. The input layer of the network of d t ] = neuron is a copy of the eight chromatic representations of the hyperspectral scene of the compressed image according to the following non-linear relationship:

Ximg ~ x + X offsetx( n sliceX j avec : X img ~ x + X o ffsetx ( n sliceX j with:

y. = y + y i mgy. = y + y i mg

Π = floor (dt / dMAX ) ;A = dtmo ddMAX ;n compris entre 0 et 7, le nombre de diffraction de l'image compressée ;d f compris entre 0 et D max ’,x t compris entre 0 et X max /compris entre 0 et Y max ;Λ s / jc? γ, la constante de profondeur du tenseur du troisième ordre de ladite couche d'entrée ;λ sncex^ la constante du pas spectral du pixel en X de ladite image compressée ;λ sn y, la constante du pas spectral du pixel en Y de ladite image compressée ;X offs) correspondant au décalage suivant l'axe X de la diffraction n ;y ( /1 ) coroffsetY' ' respondant au décalage suivant l'axe Y de la diffraction n Π = floor (d t / d MAX ); A = d t mo dd MAX ; n between 0 and 7, the number of diffraction of the compressed image; df between 0 and D max ', xt between 0 and X max / between 0 and Y max; Λ s / j c ? γ, the depth constant of the third order tensor of said input layer; λ s n ce x ^ l a spectral step constant of the pixel in X of said compressed image; λ s n y, the spectral step constant of the pixel in Y of said compressed image; X o ff s ) corresponding to the offset along the X axis of the diffraction n ; y (/ 1) coroffsetY '' corresponding to the offset along the Y axis of the diffraction n

[0041] Selon un mode de réalisation, la méthode de capture comporte un moyen d'acquisition d'une image compressée contenant une représentation en deux dimensions encodée dudit plan focal hyperspectral obtenue avec un masque et un prisme. L'image compressée obtenue contient le plan focal de la scène diffractée et encodée au centre. La couche d'entrée du réseau de neurone est une copie de l'image compressée selon la relation non linéaire suivante :According to one embodiment, the capture method comprises a means of acquiring a compressed image containing a two-dimensional encoded representation of said hyperspectral focal plane obtained with a mask and a prism. The compressed image obtained contains the focal plane of the diffracted scene and encoded in the center. The input layer of the neuron network is a copy of the image compressed according to the following non-linear relationship:

iX + Xoffset’ SiX ~ 1 'Havecjfi X + X offset ' SiX ~ 1 ' Havecjf

I m a s k ( x t, y t ), s i η ο n j ( y + y , s i y > 1 / r 7 offset' 7 I ]mask (xf, yt), sinon I compris entre 0 et DΜχx ;x t compris entre 0 et Χ^χχ ;Λ snce y-compris entre 0 et Y x/ χ x ',^-offse t y correspondant au décalage suivant l'axe X de la diffraction n Y of fse ^-correspondant au décalage suivant l'axe Y de la diffraction n I mask (x t , y t ), if η ο nj (y + y, siy> 1 / r 7 offset ' 7 I] mask (x f , y t ), otherwise I between 0 and D Μ χ x ; x t between 0 and Χ ^ χχ; Λ s n ce including between 0 and Y x / χ x ', ^ - o ff se ty corresponding to the shift along the X axis of the diffraction n Y o ff se ^ - corresponding to the offset along the Y axis of the diffraction n

[0042] Ces relations non linéaires permettent de rechercher rapidement l'intensité des pixels d'intérêts dans chaque diffraction. En effet, certains pixels peuvent être négligés si la longueur d'onde de l'image diffractée n'est pas significative.These non-linear relationships make it possible to quickly find the intensity of the pixels of interest in each diffraction. Indeed, some pixels can be neglected if the wavelength of the diffracted image is not significant.

[0043] L'architecture du réseau de neurones profond et convolutif est composé d'un encodeur permettant de rechercher les caractéristiques élémentaires propres à la détection souhaitée, suivi d'un décodeur permettant de générer une image de probabilités de présence des caractéristiques à détecter dans ladite image compressée du plan focal hyperspectral. La structure d'encodeur/décodeur permet de rechercher les caractéristiques élémentaires et propres à la caractéristique principale recherchée dans ladite image compressée.The architecture of the deep and convolutional neural network is composed of an encoder making it possible to search for the elementary characteristics specific to the desired detection, followed by a decoder making it possible to generate an image of probabilities of presence of the characteristics to be detected in said compressed image of the hyperspectral focal plane. The encoder / decoder structure makes it possible to search for the elementary characteristics specific to the main characteristic sought in said compressed image.

[0044] Selon un mode de réalisation, l'encodeur est composée d'une succession de couche de neurones de convolution en alternance avec des couches de pooling (opérateur de décimation de la couche précédente) permettant de réduire la dimension spatiale.According to one embodiment, the encoder is composed of a succession of convolutional neural layers alternating with pooling layers (operator of decimation of the previous layer) making it possible to reduce the spatial dimension.

[0045] Selon un mode de réalisation, le décodeur est composé d'une succession de couche de neurones de déconvolution en alternance avec des couches de unpooling (opération d'interpolation de la couche précédente) permettant une augmentation de la dimension spatiale.According to one embodiment, the decoder is composed of a succession of layers of deconvolution neurons alternating with layers of unpooling (operation of interpolation of the previous layer) allowing an increase in the spatial dimension.

[0046] Par exemple, une telle structure d'encodeur/décodeur est décrite dans le SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation, Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla.For example, such an encoder / decoder structure is described in the SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation, Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla.

[0047] Selon un mode de réalisation, un ensemble de couches de neurones entièrement connectées peut être positionné entre l'encodeur et le décodeur.According to one embodiment, a set of fully connected neural layers can be positioned between the encoder and the decoder.

DESCRIPTION SOMMAIRE DES FIGURESSUMMARY DESCRIPTION OF FIGURES

[0048] La manière de réaliser l’invention ainsi que les avantages qui en découlent, ressortiront bien du mode de réalisation qui suit, donné à titre indicatif mais non limitatif, à l’appui des figures annexées dans lesquelles les figures 1 à 5 représentent :The manner of carrying out the invention as well as the advantages which ensue therefrom, will emerge clearly from the embodiment which follows, given for information but not limitation, in support of the appended figures in which Figures 1 to 5 represent :

[fig.l] : une représentation schématique de face des éléments d’un dispositif de capture et de détection dans une scène hyperspectrale selon un mode de réalisation de l’invention ;[fig.l]: a schematic front view of the elements of a capture and detection device in a hyperspectral scene according to an embodiment of the invention;

[fig.2] : une représentation schématique structurelle des éléments du dispositif de la Fig. 1 ;[fig.2]: a schematic structural representation of the elements of the device of FIG. 1;

[fig.3] : une représentation schématique structurelle alternative des éléments du dispositif de la Fig. 1 ;[fig.3]: an alternative structural schematic representation of the elements of the device of FIG. 1;

[fig.4] : une représentation schématique des diffractions obtenues par le dispositif d’acquisition de la Fig. 2 ;[fig.4]: a schematic representation of the diffractions obtained by the acquisition device of FIG. 2;

[fig.5] : une représentation schématique de l’architecture du réseau de neurone de la Fig. 2.[fig.5]: a schematic representation of the architecture of the neuron network of FIG. 2.

MANIERE DE DECRIRE L’INVENTIONWAY TO DESCRIBE THE INVENTION

[0049] La Fig. 1 illustre un dispositif de capture 2 d'une scène hyperspectrale 3 comportant un capteur permettant d'obtenir une image compressée en deux dimensions 11 d'un plan focal 3 d'une scène observée.[0049] FIG. 1 illustrates a device 2 for capturing a hyperspectral scene 3 comprising a sensor making it possible to obtain a two-dimensional compressed image 11 of a focal plane 3 of an observed scene.

[0050] Tel qu'illustré sur la Fig. 2, le dispositif de capture 1 comporte une première lentille convergente 21 qui focalise le plan focal 3 sur une ouverture 22. Un collimateur 23 capte les rayons traversant l'ouverture 22 et transmet ces rayons à un réseau de diffraction 24. Une seconde lentille convergente 25 focalise ces rayons issus du réseau de diffraction 24 sur une surface de captation 26.As illustrated in FIG. 2, the capture device 1 comprises a first converging lens 21 which focuses the focal plane 3 on an opening 22. A collimator 23 captures the rays passing through the opening 22 and transmits these rays to a diffraction grating 24. A second converging lens 25 focuses these rays from the diffraction grating 24 on a collection surface 26.

[0051] La structure de cet assemblage optique est relativement similaire à celle décrite dans la publication scientifique Computed-tomography imaging spectrometer : experimental calibration and reconstruction results, publiée dans APPLIED OPTICS, volume 34 (1995) nombre 22.The structure of this optical assembly is relatively similar to that described in the scientific publication Computed-tomography imaging spectrometer: experimental calibration and reconstruction results, published in APPLIED OPTICS, volume 34 (1995) number 22.

[0052] Cette structure optique permet d'obtenir une image diffractée 11, illustrée sur la Fig. 3, présentant plusieurs diffractions R0-R7 du plan focal 3 disposées autour d'une image non diffractée de petite taille C. Dans l'exemple de la Fig. 4, l'image diffractée présente huit diffractions R0-R7 distinctes obtenues avec deux axes de diffraction du réseau de diffraction 24.This optical structure makes it possible to obtain a diffracted image 11, illustrated in FIG. 3, having several diffractions R0-R7 of the focal plane 3 arranged around a non-diffracted image of small size C. In the example of FIG. 4, the diffracted image presents eight distinct R0-R7 diffractions obtained with two diffraction axes of the diffraction grating 24.

[0053] En variante, trois axes de diffractions peuvent être utilisés sur le réseau de diffraction 24 de sorte à obtenir une image diffractée 11 avec seize diffractions.Alternatively, three diffraction axes can be used on the diffraction grating 24 so as to obtain a diffracted image 11 with sixteen diffractions.

[0054] Les surfaces de captation 26 ou 46 peuvent correspondre à un capteur CCD (pour charge-coupled device dans la littérature anglo-saxonne, c'est-à-dire un dispositif à transfert de charge), à un capteur CMOS (pour complementary metaloxide-semiconductor dans la littérature anglo-saxonne, une technologie de fabrication de composants électroniques), ou à tout autre capteur connus. Par exemple, la publication scientifique Practical Spectral Photography, publiée dans Eurographics, volume 31 (2012) nombre 2, propose d'associer cette structure optique à un appareil photo numérique standard pour capteur l'image diffractée.The capture surfaces 26 or 46 may correspond to a CCD sensor (for charge-coupled device in the English literature, that is to say a charge transfer device), to a CMOS sensor (for complementary metaloxide-semiconductor in Anglo-Saxon literature, a technology for manufacturing electronic components), or any other known sensor. For example, the scientific publication Practical Spectral Photography, published in Eurographics, volume 31 (2012) number 2, proposes to associate this optical structure with a standard digital camera for capturing the diffracted image.

[0055] En variante, tel qu'illustré sur la Fig. 3, le dispositif de capture 1 peut comporter une première lentille convergente 41 qui focalise le plan focal 3 sur un masque 42. Un collimateur 43 capte les rayons traversant le masque 42 et transmet ces rayons à un prisme 44. Une seconde lentille convergente 45 focalise ces rayons issus du prisme 44 sur une surface de captation 46.Alternatively, as illustrated in FIG. 3, the capture device 1 may include a first converging lens 41 which focuses the focal plane 3 on a mask 42. A collimator 43 captures the rays passing through the mask 42 and transmits these rays to a prism 44. A second converging lens 45 focuses these rays coming from the prism 44 on a collection surface 46.

[0056] La structure de cet asssemblage optique est relativement similaire à celle décrite dans la publication scientifique Compressive Coded Aperture Spectral hnaging, Gonzalo R. Arce, David J. Brady, Lawrence Carin, Henry Arguello, and David S. Kittle.The structure of this optical assembly is relatively similar to that described in the scientific publication Compressive Coded Aperture Spectral hnaging, Gonzalo R. Arce, David J. Brady, Lawrence Carin, Henry Arguello, and David S. Kittle.

[0057] En variante, les surfaces de captation 26 ou 46 peuvent correspondre au dispositif d'acquisition photographique d'un ordiphone ou tout autre dispositif portable incluant un disposition d'acquisition photographique, en ajoutant le dispositif de capture de la scène hyperspectrale 3 devant le dispositif d'acquisition photographique.Alternatively, the capture surfaces 26 or 46 may correspond to the photographic acquisition device of a smartphone or any other portable device including a photographic acquisition arrangement, by adding the device for capturing the hyperspectral scene 3 in front the photographic acquisition device.

[0058] De préférence, chaque pixel de l'image diffractée 11 est codé sur trois couleurs rouge, vert et bleu et sur 8 bits permettant ainsi de représenter 256 niveaux sur chaque couleur.Preferably, each pixel of the diffracted image 11 is coded in three colors red, green and blue and on 8 bits thus making it possible to represent 256 levels on each color.

[0059] En variante, les surfaces de captation 26 ou 46 peuvent être un dispositif dont les longueurs d'ondes captées ne sont pas dans la partie visible. Par exemple, le dispositif 2 peut intégrer un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.Alternatively, the capture surfaces 26 or 46 can be a device whose sensed wavelengths are not in the visible part. For example, the device 2 can integrate a sensor whose wavelength is between 0.001 nanometer and 10 nanometers or a sensor whose wavelength is between 10,000 nanometer and 20,000 nanometers.

[0060] Lorsque l'image 11 du plan focal hyperspectral observé est obtenue, le moyen de détection met en œuvre un réseau de neurone 12 pour détecter une particularité dans la scène observée à partir des informations de l'image compressée 11.When the image 11 of the hyperspectral focal plane observed is obtained, the detection means implements a neuron network 12 to detect a particular feature in the scene observed from the information of the compressed image 11.

[0061] Ce réseau de neurones 12 vise à déterminer la probabilité de présence de la particularité recherchée pour chaque pixel localisé aux coordonnées % et y de la scène hyperspectrale observée.This neural network 12 aims to determine the probability of the presence of the specific feature sought for each pixel located at the% and y coordinates of the hyperspectral scene observed.

[0062] Pour ce faire, tel qu'illustré sur la Fig. 3, le réseau de neurones 12 comporte une couche d'entrée 30, apte à extraire les informations de l'image 11, et une couche de sortie 31, apte à traiter ces informations de sorte à générer une image dont l'intensité de chaque pixel à la coordonnée x et y, correspond à la probabilité de présence de la particularité aux coordonnées % et y de la scène hyperspectrale 3.To do this, as illustrated in FIG. 3, the neural network 12 comprises an input layer 30, capable of extracting the information from the image 11, and an output layer 31, capable of processing this information so as to generate an image whose intensity of each pixel at the x and y coordinate, corresponds to the probability of the presence of the particularity at the% and y coordinates of the hyperspectral scene 3.

[0063] L'architecture dudit réseau de neurones 12 est composé d'un ensemble de couches convolutives telle que la couche 31 assemblée linéairement et en alternance avec des couches de décimation (pooling), ou d'interpolation (unpooling).The architecture of said neural network 12 is composed of a set of convolutional layers such as layer 31 assembled linearly and alternately with decimation (pooling) or interpolation (unpooling) layers.

[0064] Une couche convolutive de profondeur d, noté CONV(d), est définie par d noyaux de convolution, chacun de ces noyaux de convolution étant appliqué au volume du tenseur d'entrée d'ordre trois et de taille X jn ni, r,Y . d ,. La couche convolutive input’ mput génère ainsi un volume de sortie, tenseur d'ordre trois, ayant une profondeur d. Une fonction d'activation ACT est appliquée sur les valeurs calculées du volume de sortie. Les paramètres de chaque noyau de convolution d'une couche convolutive sont spécifiés par la procédure d'apprentissage du réseau de neurone.A convolutional layer of depth d, denoted CONV (d), is defined by d convolution nuclei, each of these convolution nuclei being applied to the volume of the input tensor of order three and of size X j n ni , r , Y. d,. The convolutive input 'mput layer thus generates an output volume, tensor of order three, having a depth d. An ACT activation function is applied to the calculated values of the output volume. The parameters of each convolution kernel of a convolutional layer are specified by the learning procedure of the neuron network.

[0065] Différente fonction d'activation ACT peuvent être utilisée. Par exemple, cette fonction peut être une fonction ReLu, définie par l'équation suivante :Different ACT activation function can be used. For example, this function can be a ReLu function, defined by the following equation:

R C Lu ( X ) = FM <2 X ( 0, X ) En alternance avec les couches convolutive, des couches de décimation (pooling), ou couche d'interpolation (unpooling) sont insérées.R C Lu (X) = FM <2 X (0, X) Alternating with the convolutional layers, decimation layers (pooling) or interpolation layer (unpooling) are inserted.

[0066] Une couche de décimation permet de réduire la largeur et la hauteur du tenseur d'ordre trois en entrée pour chaque profondeur dudit tenseur d'ordre trois. Par exemple, une couche de décimation MaxPool(2,2) sélectionne la valeur maximale d'une tuile glissante sur la surface de 2x2 valeurs. Cette opération est appliquée sur l'ensemble des profondeurs du tenseur d'entrée et génère une tenseur de sortie ayant la même profondeur et une largeur divisée par deux, ainsi qu'une hauteur divisée par deux.A decimation layer makes it possible to reduce the width and the height of the tensor of order three at the input for each depth of said tensor of order three. For example, a MaxPool decimation layer (2,2) selects the maximum value of a sliding tile on the surface of 2x2 values. This operation is applied to all the depths of the input tensor and generates an output tensor having the same depth and a width divided by two, as well as a height divided by two.

[0067] Une architecture de réseau de neurone permettant la détection directe de particularités dans la scène hyperspectral peut être la suivante :A neuron network architecture allowing the direct detection of features in the hyperspectral scene can be as follows:

InputInput

CONV(64) MaxPool(2,2)CONV (64) MaxPool (2,2)

CONV(64) MaxPool(2,2)CONV (64) MaxPool (2,2)

CONV(64) MaxPool(2,2)CONV (64) MaxPool (2,2)

CONV(64) CONV(64)CONV (64) CONV (64)

MaxUnpool(2,2) CONV(64)MaxUnpool (2,2) CONV (64)

MaxUnpool(2,2) CONV(64)MaxUnpool (2,2) CONV (64)

MaxUnpool(2,2) CONV(l)MaxUnpool (2,2) CONV (l)

OutputOutput

[0068] Les poids dudit réseau de neurones sont calculés au moyen d'un apprentissage. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé pour calculer ces poids.The weights of said neural network are calculated by means of learning. For example, backward propagation of the gradient or its derivatives from training data can be used to calculate these weights.

[0069] En variante, le réseau de neurone 12 peut déterminer la probabilité de présence de plusieurs particularités distinctes au sein de la même scène observée. Dans ce cas, la dernière couche convolutive aura une profondeur correspondant au nombre de particularités distinctes à détecter. Ainsi la couche convolutive CONV(l) est remplacée par une couche convolutive CONV(x), où x correspond au nombre de particularités distinctes à détecter.Alternatively, the neuron network 12 can determine the probability of the presence of several distinct features within the same scene observed. In this case, the last convolutional layer will have a depth corresponding to the number of distinct features to be detected. Thus the convolutional layer CONV (l) is replaced by a convolutional layer CONV (x), where x corresponds to the number of distinct features to be detected.

Claims (1)

Revendications Claims [Revendication 1] [Claim 1] Dispositif de capture (2) d'une image (11) du plan focal d'une scène hyperspectrale et de détection directe (1) de particularités dans cette scène (3), ledit dispositif comportant : un moyen d'acquisition (2) d'une image compressée et non homogène en deux dimensions (11) d'un plan focal d'une scène hyperspectrale en trois dimensions ; et un moyen de détection (1) directe de particularités ou d'objet dans ladite scène hyperspectrale (3) à partir de l'image compressée et non homogène en deux dimensions ; caractérisé en ce qu ’il comporte un moyen de détection directe (1) intégrant un réseau de neurones profond et convolutif (12) architecture pour calculer une probabilité de présence de la ou les particularités recherchées dans la scène hyperspectrale (3) depuis l'image compressée (11) et générer une image pour chaque particularité recherchée dont la valeur de chaque pixel aux cordonnées % et y correspond à la probabilité de présence de ladite particularité aux mêmes coordonnées % et y du plan focal hyperspectral de la scène(3). Device for capturing (2) an image (11) of the focal plane of a hyperspectral scene and for direct detection (1) of features in this scene (3), said device comprising: a means of acquisition (2) of a compressed and non-homogeneous two-dimensional image (11) of a focal plane of a three-dimensional hyperspectral scene; and means for direct detection (1) of features or object in said hyperspectral scene (3) from the compressed and non-homogeneous image in two dimensions; characterized in that it comprises a direct detection means (1) integrating a deep and convolutional neural network (12) architecture for calculating a probability of presence of the characteristic (s) sought in the hyperspectral scene (3) from the image compressed (11) and generate an image for each particular feature sought whose value of each pixel with coordinates% and y corresponds to the probability of presence of said feature at the same coordinates% and y of the hyperspectral focal plane of the scene (3). [Revendication 2] [Claim 2] Dispositif selon la revendication 1, dans lequel la méthode de capture comporte un moyen d'acquisition d'une image compressée (11) contenant les diffractions dudit plan focal hyperspectral (3) obtenue avec des filtres de diffraction (24). L'image compressée (11) obtenue contient le plan focal de la scène non diffractée (C) au centre, ainsi que les projections diffractées (R0-R7) suivant les axes des différents filtres de diffractions (24). La couche d'entrée du réseau de neurone (30) est une copie des huit représentations chromatiques (R0-R7) de la scène hyperspectrale (3) de l'image compressée (11) selon la relation non linéaire suivante : f i v \ — ~ X + Xoffse.tx( n ) + ^ ·λ sîicex 1 HXt> y at ) - ' y = y + y ( n ) + λ .λ γ img z 2 offsetY' ’ s/reeij avec : - n = floor(dt/dMAX) ; Λ = d τη o dd μ . γ γ ; - n compris entre 0 et 7, le nombre de diffraction de l'image compressée ; - d t compris entre 0 et D MA x ; - x t compris entre 0 et X ma x ;Device according to claim 1, in which the capture method comprises means for acquiring a compressed image (11) containing the diffractions of said hyperspectral focal plane (3) obtained with diffraction filters (24). The compressed image (11) obtained contains the focal plane of the non-diffracted scene (C) in the center, as well as the diffracted projections (R0-R7) along the axes of the different diffraction filters (24). The input layer of the neural network (30) is a copy of the eight chromatic representations (R0-R7) of the hyperspectral scene (3) of the compressed image (11) according to the following non-linear relationship: fiv \ - ~ X + X offse.tx ( n ) + ^ · λ sîicex 1 H X t> y a t ) - 'y = y + y (n) + λ .λ γ img z 2 offsetY''s / reeij with: - n = floor (d t / d MAX ); Λ = d τη o dd μ. γ γ; - n between 0 and 7, the number of diffraction of the compressed image; - d t between 0 and D MA x ; - x t between 0 and X ma x;
- Λ siice y compris entre 0 et Y max- Λ s ii ce between 0 and Y max - λ snce χ, la constante de profondeur du tenseur du troisième ordre de ladite couche d'entrée ;- λ s n ce χ, the depth constant of the third order tensor of said input layer; - λ s] χ, la constante du pas spectral du pixel en X de ladite image compressée ;- λ s ] χ, the spectral step constant of the pixel in X of said compressed image; - Λ v γ, la constante du pas spectral du pixel en Y de ladite image compressée ;- Λ v γ, the spectral step constant of the pixel in Y of said compressed image; - X offse t γ ( w ) correspondant au décalage suivant l'axe X de la diffraction n ;- X o ff se t γ ( w ) corresponding to the offset along the X axis of the diffraction n ; - y ( n ) correspondant au décalage suivant l'axe Y de la dif- fraction n [Revendication 3] Dispositif selon la revendication 1, dans lequel la méthode de capture comporte un moyen d'acquisition d'une image compressée contenant une représentation en deux dimensions encodée dudit plan focal hyperspectral obtenue avec un masque et un prisme. L'image compressée obtenue contient le plan focal de la scène diffractée et encodée au centre. La couche d'entrée du réseau de neurone est une copie de l'image compressée selon la relation non linéaire suivante :- y (n) corresponding to the offset along the Y axis of the fraction n [Claim 3] Device according to claim 1, in which the capture method comprises a means of acquiring a compressed image containing a representation in two encoded dimensions of said hyperspectral focal plane obtained with a mask and a prism. The compressed image obtained contains the focal plane of the diffracted scene and encoded in the center. The input layer of the neuron network is a copy of the image compressed according to the following non-linear relationship: [x + x Offsetsix 3:1 | m a s k ( x t, y t ), s i η ο n (y + y , siy >1 ) lz 7 offset’ 7 I ]mask (xt, ysinon \ avec :[ x + x O ffse t ' six 3: 1 | mask (x t , y t ), if η ο n (y + y, siy> 1) l z 7 offset ' 7 I] mask (x t , ysinon \ with: - d t compris entre 0 et D MA x ;- d t between 0 and D MA x ; - x t compris entre 0 et Xmax- x t between 0 and Xmax - λ s]ice ^compris entre 0 et Ymax ;- λ s ] i ce ^ between 0 and Ymax; X offse ^correspondant au décalage suivant l'axe X de la diffraction n .X offse ^ corresponding to the offset along the X axis of the diffraction n. -y offse Ω , correspondant au décalage suivant l'axe Y de la diffraction [Revendication 4] Dispositif selon les revendications 1 à 3 dans lequel la méthode de capture est une réalisation mécanique compacte et intégrable dans un dispositif portable et autonome et dans lequel la méthode de détection-y offse Ω, corresponding to the offset along the Y axis of the diffraction [Claim 4] Device according to claims 1 to 3 in which the capture method is a compact mechanical embodiment and can be integrated into a portable and autonomous device and in which the detection method est exécutée par ledit dispositif portable et autonome. is executed by said portable and autonomous device. [Revendication 5] [Claim 5] Dispositif selon les revendications 1 à 3 dans lequel la méthode de capture est une réalisation mécanique compacte et intégrable devant l'objectif de l'appareil photographique d'un ordiphone et dans lequel la méthode de détection est exécutée par l'ordiphone. Device according to Claims 1 to 3, in which the capture method is a compact mechanical embodiment which can be integrated in front of the lens of the camera of a smartphone and in which the detection method is executed by the smartphone. [Revendication 6] [Claim 6] Dispositif selon l'une des revendications 1 à 4, dans lequel l'image compressée (11) est obtenue par un capteur infrarouge. Device according to one of claims 1 to 4, in which the compressed image (11) is obtained by an infrared sensor. [Revendication 7] [Claim 7] Dispositif selon l'une des revendications 1 à 4, dans lequel l'image compressée (11) est obtenue par un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres. Device according to one of claims 1 to 4, in which the compressed image (11) is obtained by a sensor whose wavelength is between 0.001 nanometer and 10 nanometers. [Revendication 8] [Claim 8] Dispositif selon l'une des revendications 1 à 4, dans lequel l'image compressée (11) est obtenue par un capteur dont la longueur d'onde est comprise entre 10000 nanomètres et 20000 nanomètres. Device according to one of claims 1 to 4, in which the compressed image (11) is obtained by a sensor whose wavelength is between 10,000 nanometers and 20,000 nanometers. [Revendication 9] [Claim 9] Dispositif selon l'une des revendications 1 à 8, dans lequel ladite image compressée (11) est obtenue par un capteur (26) comportant : une première lentille convergente (21) configurée pour focaliser les informations d'une scène sur une ouverture (22) ; un collimateur (23) configuré pour capter les rayons traversant ladite ouverture (22) et pour transmettre ces rayons sur un réseau de diffraction (24) ; et une seconde lentille convergente (25) configurée pour focaliser les rayons issus du réseau de diffraction (24) sur une surface de captation (26). Device according to one of claims 1 to 8, in which said compressed image (11) is obtained by a sensor (26) comprising: a first converging lens (21) configured to focus the information of a scene on an aperture (22 ); a collimator (23) configured to capture the rays passing through said opening (22) and to transmit these rays over a diffraction grating (24); and a second converging lens (25) configured to focus the rays from the diffraction grating (24) on a collection surface (26). [Revendication 10] [Claim 10] Dispositif selon l'une des revendications 1 à 8, dans lequel ladite image compressée (11) est obtenue par un capteur (46) comportant : une première lentille convergente (41) configurée pour focaliser les informations d'une scène sur un masque (42) ; un collimateur (43) configuré pour capter les rayons traversant ledit masque (42) et pour transmettre ces rayons sur un prisme (44) ; et une seconde lentille convergente (45) configurée pour focaliser les rayons issus du prisme (44) sur une surface de captation (46). Device according to one of claims 1 to 8, in which said compressed image (11) is obtained by a sensor (46) comprising: a first converging lens (41) configured to focus the information of a scene on a mask (42 ); a collimator (43) configured to capture the rays passing through said mask (42) and to transmit these rays over a prism (44); and a second converging lens (45) configured to focus the rays from the prism (44) on a sensing surface (46).
1/31/3
FR1873313A 2018-12-19 2018-12-19 HYPERSPECTRAL ACQUISITION DETECTION DEVICE Active FR3091382B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
FR1873313A FR3091382B1 (en) 2018-12-19 2018-12-19 HYPERSPECTRAL ACQUISITION DETECTION DEVICE
FR1905916A FR3091381B1 (en) 2018-12-19 2019-06-04 HYPERSPECTRAL DETECTION DEVICE
ARP190103716A AR117353A1 (en) 2018-12-19 2019-12-17 HYPERSPECTRAL DETECTION DEVICE
PCT/EP2019/085847 WO2020127422A1 (en) 2018-12-19 2019-12-18 Hyperspectral detection device
US17/416,380 US20210383151A1 (en) 2018-12-19 2019-12-18 Hyperspectral detection device
EP19820789.6A EP3714399A1 (en) 2018-12-19 2019-12-18 Hyperspectral detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1873313A FR3091382B1 (en) 2018-12-19 2018-12-19 HYPERSPECTRAL ACQUISITION DETECTION DEVICE

Publications (2)

Publication Number Publication Date
FR3091382A1 true FR3091382A1 (en) 2020-07-03
FR3091382B1 FR3091382B1 (en) 2021-11-05

Family

ID=67660145

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1873313A Active FR3091382B1 (en) 2018-12-19 2018-12-19 HYPERSPECTRAL ACQUISITION DETECTION DEVICE

Country Status (2)

Country Link
AR (1) AR117353A1 (en)
FR (1) FR3091382B1 (en)

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
"Computed-tomography imaging spectrometer : expe-rimental calibration and reconstruction results", APPLIED OPTICS, vol. 34, 1995
"Practical Spectral Photography", EUROGRAPHICS, vol. 31, 2012
CHEN YUSHI ET AL: "Deep Feature Extraction and Classification of Hyperspectral Images Based on Convolutional Neural Networks", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 54, no. 10, 1 October 2016 (2016-10-01), pages 6232 - 6251, XP011619618, ISSN: 0196-2892, [retrieved on 20160811], DOI: 10.1109/TGRS.2016.2584107 *
D. KITTLE, COMPRESSIVE SPECTRAL IMAGING, 2010
DESCOUR, MICHAEL ROBERT: "Non-scanning imaging spectrometry", 1994, THE UNIVERSITY OF ARIZONA
GONZALO R. ARCEDAVID J. BRADYLAWRENCE CARINHENRY ARGUELLODAVID S. KITTLE, COMPRESSIVE CODED APERTURE SPECTRAL IMAGING
H. BOURLARDY. KAMP. A, BIOLOGICAL CYBERNETICS, vol. 59, no. 4, 1988, pages 291 - 294, ISSN: 0340-1200
HE MINGYI ET AL: "Multi-scale 3D deep convolutional neural network for hyperspectral image classification", 2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), IEEE, 17 September 2017 (2017-09-17), pages 3904 - 3908, XP033323307, DOI: 10.1109/ICIP.2017.8297014 *
J. MARIAJ. AMAROG. FALCAOL. A. ALEXANDRE: "Stacked Au-toencoders Using Low-Power Accelerated Architectures for Object Récognition in Au-tonomous Systems", NEURAL PROCESSING LETTERS, vol. 43, no. 2, pages 445 - 458,2016
NATHAN HAGENMICHAEL W. KUDENOV: "Review of snapshot spectral imaging technologies", OPTICAL ENGINEERING, vol. 52, no. 9, September 2013 (2013-09-01), XP060026022, doi:10.1117/1.OE.52.9.090901
QIANGQIANG YUAN ET AL: "Hyperspectral Image Denoising Employing a Spatial-Spectral Deep Residual Convolutional Neural Network", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 1 June 2018 (2018-06-01), XP081182154, DOI: 10.1109/TGRS.2018.2865197 *

Also Published As

Publication number Publication date
AR117353A1 (en) 2021-07-28
FR3091382B1 (en) 2021-11-05

Similar Documents

Publication Publication Date Title
FR3091381A1 (en) HYPERSPECTRAL DETECTION DEVICE
WO2020127422A1 (en) Hyperspectral detection device
EP3671176B1 (en) Incoherent lensfree cell holography and microscopy on a chip
JP5947377B2 (en) Multispectral two-dimensional imaging method and system for extremely weak light
US10101206B2 (en) Spectral imaging method and system
Zhang et al. Physics-based iterative projection complex neural network for phase retrieval in lensless microscopy imaging
US20180046139A1 (en) Lens-Free Imaging
FR3071124B1 (en) DEVICE FOR CAPTURING A HYPERSPECTRAL IMAGE
EP3937628A1 (en) Agricultural treatment control device
FR3091380A1 (en) Hyperspectral detection device by fusion of sensors
EP3956712B1 (en) Device for hyperspectral holographic microscopy by sensor fusion
FR3091382A1 (en) HYPERSPECTRAL ACQUISITION DETECTION DEVICE
CA2778676A1 (en) Device and method for adjusting the raised pattern of hyper-spectral images
US20140160476A1 (en) Method and Apparatus for Performing Spectral Classification
FR3098962A1 (en) System for detecting a hyperspectral feature
US20230375462A1 (en) System and method for polarization imaging
FR3095064A1 (en) BIOMETRIC DOUBT-RELATED PROCESSES AND DEVICES
WO2023106143A1 (en) Device and filter array used in system for generating spectral image, system for generating spectral image, and method for manufacturing filter array
Mur Single-pixel imaging: compressed video acquisition and reconstruction using Deep learning
WO2023286613A1 (en) Filter array, light detection device, and light detection system
Toivonen Practical Spectral Diffraction Imaging
FR2859279A1 (en) DEVICE AND METHOD FOR SPECTROSCOPIC MEASUREMENT WITH AN IMAGING DEVICE COMPRISING A PHOTODETECTORS MATRIX
Xu Compressive Hyperspectral Imaging and Machine Vision
WO2014088590A1 (en) Method and apparatus for performing spectral classification
FR3110994A1 (en) A method of reconstructing an image, including an exact color image, associated computer program, device and system

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20200703

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6