FR3104873A1 - Terminal communiquant avec imageur perfectionné - Google Patents
Terminal communiquant avec imageur perfectionné Download PDFInfo
- Publication number
- FR3104873A1 FR3104873A1 FR1914465A FR1914465A FR3104873A1 FR 3104873 A1 FR3104873 A1 FR 3104873A1 FR 1914465 A FR1914465 A FR 1914465A FR 1914465 A FR1914465 A FR 1914465A FR 3104873 A1 FR3104873 A1 FR 3104873A1
- Authority
- FR
- France
- Prior art keywords
- visible
- terminal according
- filter
- band
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003595 spectral effect Effects 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims abstract description 13
- 230000005855 radiation Effects 0.000 claims abstract description 13
- 229910052710 silicon Inorganic materials 0.000 claims abstract description 13
- 239000010703 silicon Substances 0.000 claims abstract description 13
- 239000000758 substrate Substances 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 4
- 230000035945 sensitivity Effects 0.000 claims abstract description 3
- 238000001914 filtration Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 11
- 238000005305 interferometry Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 235000013305 food Nutrition 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0256—Compact construction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0264—Electrical interface; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0272—Handheld
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0801—Means for wavelength selection or discrimination
- G01J5/0802—Optical filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
- G01J2003/2806—Array and filter array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Un terminal communiquant comprend une unité centrale, une mémoire, un dispositif d’affichage, un dispositif d’entrée, une caméra opérant dans le visible et un circuit de communication sans fil, un capteur acoustique et un transducteur acoustique, terminal caractérisé en ce qu’il comprend en outre un capteur d'images apte à générer une série d’images de pixels dans un ensemble de bandes spectrales non visibles située au-delà de la gamme de sensibilité spectrale du silicium, ce capteur d'image comprenant une matrice de de cellules photosensibles au rayonnement dans lesdites bandes spectrales non-visible, prévues sur un substrat non-silicium accouplé à un circuit de lecture sur substrat silicium, et un filtre passe-bande définissant l’ensemble desdites bandes spectrales non-visibles interposé sur le trajet du rayonnement. Application notamment à l’imagerie en IR proche à bas coût, embarquée.
Description
La présente invention concerne d’une façon générale un terminal communiquant doté d’un imageur perfectionné.
Dans l’état de la technique connue, un terminal communiquant tel qu’un téléphone intelligent ou une tablette comprend de façon intégrée une ou plusieurs caméras opérant dans la gamme visible.
Il existe la possibilité de générer avec de telles caméras des images multispectrales dans le visible à très faible coût, mais ces images ne sont en général pas pertinentes pour l’analyse physico-chimique de matières, vivantes ou inertes, contenus dans de tels images. Ainsi, dans la bande visible, il existe des perturbations chromatiques importantes (pour prendre un exemple, des colorants volontairement et involontairement introduits dans un produit), perturbations qui peuvent fausser complètement l’analyse. En outre, la signature spectrale d’une matière est formée par la vibration des radicaux dans des molécules, et ces vibrations sont liées à la puissance de liaisons chimiques. Il en résulte que la signature spectrale des matières est située essentiellement dans la bande infra-rouge invisible à l’œil humain, et en règle générale invisible aux capteurs sur substrat de silicium qui équipent les caméras des terminaux du commerce.
On connaît certes des imageurs IR, notamment ceux commercialisés par la société Hamamatsu, Japon, FLIR, U.S.A., Lynred, France. Ces imageurs sont toutefois réalisés avec des technologies et avec un coût qui les rendent impossibles à intégrer dans des terminaux grand public. En outre, certains imageurs nécessitent un refroidissement, qui contribue à faire obstacle à une telle intégration.
La présente invention vise ainsi à perfectionner les terminaux existants, en étendant leurs possibilités d’imagerie.
On propose à cet effet un terminal communiquant, comprenant une unité centrale, une mémoire, un dispositif d'affichage, un dispositif d'entrée, une caméra opérant dans le visible et un circuit de communication sans fil, un capteur acoustique et un transducteur acoustique, terminal caractérisé en ce qu'il comprend en outre un capteur d'images apte à générer une série d'images de pixels dans un ensemble de bandes spectrales non visibles située au-delà de la gamme de sensibilité spectrale du silicium, ce capteur d'image comprenant une matrice de de cellules photosensibles au rayonnement dans lesdites bandes spectrales non-visible, prévues sur un substrat non-silicium accouplé à un circuit de lecture sur substrat silicium, et un filtre passe-bande définissant l'ensemble desdites bandes spectrales non-visibles interposé sur le trajet du rayonnement.
Grâce à l’invention, un terminal communiquant peut être utilisé pour réaliser une analyse spectrale en imagerie, pour différents types d’applications. On citera notamment la discrimination de substances chimiques, la détermination de l'état de santé des végétaux, le diagnostic médical, la vérification sanitaire de produits alimentaires, etc.
On propose selon l’invention les caractéristiques facultatives suivantes, prises individuellement ou en toutes combinaisons que l’homme du métier appréhendera comme étant techniquement compatibles:
* le filtre passe-bande est programmable dynamiquement.
* le filtre est basé sur l'interférométrie de Fabry-Pérot.
* le filtre est à commande piézo-électrique.
* le filtre est à commande électrostatique.
* le terminal est configuré pour réaliser une prise de vues avec une pluralité de phases d'exposition de la matrice de cellules photosensibles et une pluralité de réglages de bande pour le filtre passe-bande.
* le filtre passe-bande comprend une pluralité de zones filtrantes dans des bandes spectrales fixes différentes, placées respectivement devant des sous-matrices de la matrice de cellules photosensibles.
* les zones filtrantes sont agencées selon une grille.
* les zones filtrantes sont agencées selon un ensemble de bandes parallèles à un bord de la matrice de cellules photosensibles.
* le terminal est configuré pour réaliser une prise de vues avec une pluralité de phases d'exposition de la matrice de cellules photosensibles et une pluralité d'axes de visée différents du capteur d'images non-visibles.
* le terminal comprend un circuit de traitement apte à recaler entre elles les images capturées lors de la pluralité de phases d'exposition, de manière à ce qu'à une même cellule photosensible de la matrice puissent être affectées au moins deux valeurs de luminosité dans au moins deux bandes spectrales différentes.
* ledit circuit de traitement est apte à recevoir en entrée des données de recalage déterminées à partir d'une pluralité d'images visibles prises avec la caméra visible pendant les mêmes phases d'exposition.
* ledit circuit de traitement est apte à recevoir en entrée des données de recalage issues d'un capteur de position et/ou de mouvement du terminal.
* le terminal comprend un circuit apte à combiner une image issue d'une caméra opérant dans le visible et une image issue du capteur d'images non-visibles.
* le terminal comprend un circuit apte à traiter au moins un élément contenu dans une image issue d'une caméra opérant dans le visible sur la base d'une signature, dans la bande spectrale non visible, dudit élément, telle que déterminée par le capteur d'image.
* la ou les bandes spectrales non-visibles sont des bandes situées dans l'infrarouge, notamment l'infrarouge proche.
D’autres aspects, buts et avantages de la présente invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci-, donnée à titre d’exemple non limitatif et faite en référence aux dessins annexés, sur lesquels:
En référence à la Fig.1, un terminal communiquant T comprend de façon connue en soi, dans un boîtier B, une ou plusieurs cartes électroniques C portant les circuits conventionnels (processeur, mémoire, circuits d’entrée/sortie, circuits de communication sans fil pour réseaux cellulaires, réseaux WiFi, Bluetooth®, etc., un écran tactile ET, au moins une caméra CA opérant dans la gamme visible, un microphone MI et un transducteur acoustique ou haut-parleur TR.
Le terminal T comprend également un imageur IM opérant dans la gamme non visible, en l’occurrence dans la gamme infrarouge proche.
En référence à la Fig.2, cet imageur 100 comprend une couche 110 de capture photoélectrique IR comprenant un ensemble ce cellules individuelles agencées de façon matricielle, réalisées par exemple dans sur un substrat InGaAs.
En contact avec cette couche de capture, une couche de lecture 120 réalisée de préférence sur substrat silicium en technologie CMOS est reliée à la couche de capture 110 par un ensemble de de contacts 112, 122 prévus respectivement sur les surfaces en vis-à-vis des couches 110 et 120, et par des billes métalliques de contact 140, la solidarisation mécanique et électrique des deux couches étant réalisée soit par fusion thermique, soit par compression, de façon connue en soi. Cette technique de mise en contact peut être mise en œuvre avec les technologies actuelles avec un pas de 10 µm voire moins (cf. également plus loin), ce qui permet par exemple de réaliser un imageur au standard VGA (en termes de nombre de pixels, soit 640 x 480) de l’ordre de quelques millimètres x quelques millimètres.
De façon plus détaillée, la couche de capture 110 est comme on l’a dit une matrice de photo-détecteurs sur substrat non-silicium (tel que InGaAs), et cette matrice est greffée sur le circuit de lecture 120 de préférence en technologie CMOS sur substrat silicium. A chaque pixel de la matrice sont associés un ou plusieurs contacts électriques 112, 122 entre le circuit de capture et le circuit de lecture.
La couche de capture est choisie pour pouvoir opérer à température ambiante, typiquement dans une bande spectrale comprise entre 700 et 2600 nm. Il peut s’agir, de façon non limitative, d’un capteur à base de InGaAs ou de germanium, d’un capteur en technologie de point quantique («quantum dot» en terminologie anglo-saxonne), etc.
La connexion électrique entre la couche de capture 110 et la couche de lecture 120 est réalisée par exemple à l’aide des techniques les plus récentes de connexions multipoints à haute densité, et par exemple les technologies sont inFO, CoWos développées par TSMC (Taiwan Semiconductor Manufacturing Corporation). Ces technologies assemblent des puces ayant de très nombreux points de connexion avec un pas de connexion électrique typiquement inférieur à 10µm, qui permet d’atteindre, dans une taille suffisamment miniature pour une application à un terminal, une définition spatiale de l’ordre du VGA (640 x 480 cellules) avec un coût abordable pour des très grandes séries.
De plus ces technologies sont développées pour l'industrie de la microélectronique avec un taux de défaillance de connexion sensiblement inférieur à un pour un million, alors que dans la fabrication de capteurs infrarouge, un taux de défaillance inférieure à un pour mille est généralement considéré comme acceptable.
A ces couches 110 et 120 est associée, côté couche de capture 110, une couche de filtrage 130. L’imageur comprend également une optique, qui peut être conventionnelle, de façon non représentée.
On va maintenant décrire plusieurs formes de réalisation possibles pour la couche de filtrage.
Dans une première forme de réalisation, le filtre 130 est un filtre programmable dynamiquement à bande étroite variable, contrôlable électriquement, susceptible de laisser passer le rayonnement dans des longueurs d’onde comprises typiquement entre 700 et 2600 nm.
Selon cette première forme de réalisation et en référence à la Fig. 3, le filtre 130 est typiquement un filtre interférentiel selon le principe de Fabry-Pérot. Voir par exemple Hervé Bertin« Etude de matrices de filtres Fabry Pérot accordables en technologie MOEMS intégré 3D : Application à l’imagerie multispectrale ». Université Paris Sud - Paris XI, 2013. Français. NNT : 2013PA112132ff. tel-00860624.
Ce filtre est composé de deux miroirs parallèles 131, 132 disposés face à face à une distancedl’un de l’autre. Selon le principe de ce filtre, malgré l'opacité de chaque miroir, la combinaison des deux miroirs s’avère transparente à certaines longueurs d'onde. La longueur d'onde de transparence maximale étant est déterminée par la distance de séparation d.
Dans l’exemple de la Fig. 3, cette distancedest contrôlée par des éléments piézo-électriques 133 reliant les miroirs 131, 132 l’un à l’autre au niveau de leur périphérie, la géométrie (hauteur) de ces éléments 133 étant commandée par un générateur 134 d’une tension électrique variable VFPen combinaison avec des électrodes 135, 136 équipant les éléments piézo-électriques.
Pour réaliser un tel filtre, on pourra s’inspirer des technologies développées par la société VTT, Finlande, et telles que décrites par exemple dans la demande de brevet US 2014 124 263 A1.
La Fig. 4 illustre un premier exemple d’une dynamique de capture et de filtrage permettant de générer, au cours d’une même opération (un seul déclenchement par l’utilisateur), une pluralité d’images de pixels dans plusieurs bandes étroites du domaine infrarouge proche.
Les créneaux en tiretés CR illustrent les phases d’exposition des pixels de la couche de capture 110 (typiquement d’une durée de l’ordre de quelques millisecondes a quelques dizaines de millisecondes chacune), tandis que la courbe en escalier CO illustre la tension de commande du filtre programmable 130. Dans l’exemple illustré, on réalise, en une durée totale de l’ordre de quelques dizaines à quelques centaines de millisecondes, la prise de cinq images dans cinq bandes différentes de l’infrarouge. Dans la pratique, on peut prévoir un nombre d’expositions et un nombre de bandes sensiblement plus grands, selon l’application.
La Fig. 5 illustre un autre exemple de la courbe de commande du filtre, notée ici CO2. La courbe est ici à pente constante, ce qui rend le filtre, pour chacune des bandes, moins sélectif dans la mesure où le centre de la bande de transparence varie au cours de la capture pour chaque créneau.
La Fig. 5 illustre également le fait que la pente de la courbe de commande du filtre peut être modifiée, avec une courbe CO3 de pente moins forte, et donc un resserrement des bandes de longueurs d’onde IR dans lesquelles sont prises les images.
On comprend qu’il est également possible de prévoir différentes courbes, mémorisées et/ou paramétriques, permettant de réaliser des jeux différents d’images IR (nombre, espacement entre les bandes, sélectivité des bandes) lors d’une capture.
Chaque ensemble d’images IR ainsi capturée est mémorisé dans la mémoire du terminal, pour traitement ultérieur. La profondeur de chaque pixel, pour chaque bande de longueurs d’onde, peut être typiquement de 8 bits ou de 16 bits.
Selon un autre exemple de réalisation du filtre dynamique, celui-ci est à commande électrostatique. Ainsi, en référence à la Fig. 6, les miroirs 131, 132 sont reliées périphériquement l’un à l’autre par des éléments d’appui élastique 137, discrets ou continus, tandis que les deux miroirs possèdent chacune une couche électriquement conductrice, respectivement 138, 139, en un matériau approprié pour ne pas bloquer le rayonnement IR aux bandes considérées, les deux couches conductrices étant reliées à une source électrique. Les polarités inverses des deux couches créent une force d’attraction variable, uniforme, qui permet en combinaison avec les éléments élastiques 137 de faire varier la distance d entre les miroirs tout en conservant leur parallélisme. Une technique analogue peut être inspirée du filtre variable MEMS-FPI développé par la société Hamamatsu, Japon.
Le filtre 130 dans sa version dynamique, peut, selon une autre forme de réalisation, être basé sur le principe de l'interféromètre de Michelson, en étant réalisé en micro-optique intégrée (voir par exemple« Multispectral Filter Arrays : Recent Advances and Practical Implementation »publié dans le journal SENSORS (DOI : 10.3390/s141121626, article qui donne par ailleurs une revue des techniques de filtres monochromatiques.)
Dans une autre forme de réalisation, et maintenant en référence aux Figs. 7 et 8, le filtre 130 est un filtre à bandes fixes en mosaïque, réalisé en associant à des groupes donnés de pixels de la couche de capture 110 des filtres dans des bandes IR différentes les unes des autres. Ainsi, dans l’exemple théorique des Figs. 7 et 8, on associe à une matrice de 12 x 9 pixels Pxy de la couche de capture une matrice de 4 x 3 zones de filtrage, soit douze zones 140n, dans douze bandes de longueurs d’onde IR différentes. Ainsi, lors d’une exposition, tous les pixels d’un groupe correspondant à l’une des zones 140n sont reçoivent une fraction d’image pour une bande IR donnée correspondant à la zone en question.
Cette approche est avantageusement utilisée avec une prise de vues au cours laquelle, délibérément, on déplace l’axe optique de l’imageur IR, par exemple selon un mouvement circulaire, mais avantageusement avec une composante horizontale et une composante verticale, en définissant une pluralité de créneaux d’exposition régulièrement espacés dans le temps (par exemple espacés de 10 à 100 ms l’un par rapport au suivant).
On obtient ainsi, lors d’une même prise de vues, et comme illustré sur la Fig. 9 (où les images sont représentées chacune par leur grille de zones filtrantes, ici 4 x 4 zones filtrantes), un ensemble d’images individuelles Ip, dont les positions dans un plan de projection virtuel correspondent respectivement à des positions de leur axe optique lors de l’exposition correspondante de la couche de pixels.
On comprend que cette approche possède de façon inhérente une résolution spatiale réduite des images multispectrales. Ceci peut être compensé en utilisant des images à haute définition prises par la caméra visible CA en même temps que les phases d’exposition de l’imageur IR, ces images permettant une détermination précise des variations de l’axe de visée de la caméra CA, et donc de l’axe de visée de l’imageur IM. Après un traitement numérique de recalage des images prises par l’imageur IM, une image IR multispectrale finale de meilleure résolution peut être obtenue.
Ainsi, dans les images IR recalées de la Fig. 9, un même point P a pu être capturé dans trois images différentes I1, I2, et I3, par des zones de pixels situées respectivement derrière trois zones de filtrage 1401, 1402 et 1403.
On obtient ainsi une image IR où de nombreux pixels ont N dimensions correspondant chacune à une intensité dans une certaine bande IR, plus ou moins étroite selon les caractéristiques du filtre correspondant.
On comprend que, dans l’illustration de la Fig. 9, les différentes images capturées présentent une dispersion importante. Mais dans la pratique, les images peuvent être plus nombreuses et plus concentrées, pour ainsi pouvoir créer une image partielle constituée de pixels ayant N dimensions, N étant le nombre de zones filtrantes 140n du filtre 130. Ainsi la Fig. 10 illustre un ensemble d’images Im, In, … plus resserrées, où la zone utile de l’image finale sera une constituée d’une proportion importante de la scène prise.
On notera qu’un traitement numérique de recalage similaire peut être mis en œuvre dans la première forme de réalisation du filtre (filtre programmable), pour recaler ensemble les images prises dans des bandes spectrales différentes pendant les différentes phases d’exposition.
Structurellement, le filtre 130 à zones filtrantes dans des bandes différentes peut par exemple être mise en œuvre en s’inspirant de la technologie des filtres RVB des capteurs C-MOS visibles, avec toutefois un nombre de longueurs d’onde dans l’IR plus important que les 3 couleurs de base RVB, et une résolution spatiale typiquement plus faible. Par exemple pour un capteur d’image IR de résolution VGA (640 x 480 pixels), on peut prévoir une zone filtrante pour un sous ensemble de 80 x 80 pixels, soit une grille de 8 x 6 zones filtrantes, dans des bandes IR toutes différentes ou choisies parmi un nombre plus limité de bandes.
Plus concrètement, ces zones filtrantes 140n peuvent être réalisés par exemple par une technique de dépôt en couche mince directement sur la couche de capture 110, par exemple selon une technologie développée par la société IMEC, Belgique, ou encore par une technique de nano-impression plasmonique (cf. brevet US 8274739 attribué à la société Nanolambda, Inc., U.S.A.).
Dans une variante du filtre en mosaïque, illustrée sur la Fig. 11, les zones filtrantes sont organisées non pas en grille comme dans le cas des Figs. 7 à 10, mais en bandes, avec ici N bandes horizontales 150n. Dans cette configuration, le mouvement préconisé de l’imageur lors d’une prise de vues s’effectue (au moins approximativement) selon une direction transversale à la grande dimension des bandes filtrantes 150n (flèche FL).
Ainsi on comprend que, lors de ce mouvement, chaque emplacement de la scène prise sera successivement capturé par des pixels situés en face d’une bande filtrante, puis par des pixels situés au droit de la bande filtrante suivante, etc., pour ainsi, comme dans le cas précédent, réaliser une image IR multidimensionnelle, où au niveau de chaque pixel on obtient une pluralité de valeurs de luminosité IR dans des bandes IR différentes. Le recalage des images pour faire correspondre les différents pixels à leurs points respectifs dans la scène peut être effectué comme précédemment.
Ce filtre en bande peut, en variante, être remplacé par un filtre à bande variable continûment, de façon connue en soi, réalisé par exemple sous la forme d’un filtre de Fabry-Pérot avec des miroirs présentant une faible inclinaison l’un par rapport à l’autre, soit selon l’un seulement des deux axes du plan (bande passante variant continûment selon cet axe), soit selon les deux axes du plan (bande passante variant continûment selon les deux axes).
Selon une variante de la mise en œuvre du recalage numérique réalisé en exploitant des images visibles à haute définition comme précité, lorsque le terminal T est équipé d’une centrale inertielle ou autre dispositif de détermination de mouvements, on utilise les données fournies par ce dispositif lors de chaque créneau d’exposition pour déterminer les variations de l’axe de visée entre ces différents créneaux et ainsi recaler les différentes images les unes par rapport aux autres.
Selon une autre forme de réalisation de l’invention, non illustrée, on fait en sorte que l’axe optique de la caméra visible CA et l’axe optique de l’imageur non-visible IM soient confondus, en utilisant par exemple un séparateur dichroïque qui, de façon connue en soi, est capable de diriger le rayonnement dans une certaine bande (typiquement la lumière visible) vers un premier capteur, à savoir celui de la caméra CA, et le rayonnement dans une autre bande (typiquement la bande IR proche) vers un second capteur, à savoir celui de l’imageur IR. Cette approche permet en particulier d’éviter les erreurs de recalage lorsqu’on se base sur des images visibles d’axe optique distinct de celui des images IR, du fait de l’effet de parallaxe. On peut ainsi obtenir des images IR multi-bandes d’une plus grande netteté.
On comprend que, quelle que soit la forme de réalisation du filtre 130, l’imageur selon l’invention permet de générer des images 2D multispectrales dans l’IR, avec N dimensions selon plusieurs bandes IR pour un très grand nombre de pixels, par opposition aux spectromètres, notamment spectromètres miniatures, qui n’analysent qu’un seul rayonnement dans sa globalité et qui nécessitent un environnement contrôlé (notamment absence de rayonnement parasite) pour opérer correctement. En effet, la corrélation spatiale entre les pixels permet de compenser la variabilité environnementale et d’extraire des informations utiles sensiblement plus riches que dans une analyse monopoint.
Plus précisément, la possibilité d'exploiter des images 2D dans plusieurs longueurs d'onde permet d’extraire des informations pertinentes avec une plus grande fiabilité.
Le terminal selon l’invention, grâce à ses fonctions de connectivité à des serveurs spécialisés, permet de confronter les images IR multispectrales capturées avec des sources de données, notamment données de référence, permettant d’en tirer des conclusions dans de nombreux domaines tels que ceux listés en introduction.
Comme indiqué plus haut, la présente invention a de nombreuses applications tels que la possibilité, pour le grand public à l’aide de son smartphone, de connaitre la qualité de fruits, de connaitre la santé de plantes, de juger la qualité des aliments dans les magasins, d’auto-diagnostiquer certaines maladies, etc.
Un imageur IR équipant un terminal communiquant selon l’invention peut être avantageusement associé avec une caméras visible prévue de façon classique dans le terminal. Ainsi par recalage et combinaison de l’image IR et de l’image visible, il est possible de mettre en avant, étiqueter, etc. des objets ayant une certaine signature IR dans l’image visible à haute définition.
L’invention peut être physiquement implémentée dans un terminal de différentes manières. L’optique peut se situer en amont du filtre, ou inversement, en particulier selon la nature du filtre. En outre, des renvois angulaires du rayonnement peuvent être prévus, en fonction notamment des contraintes d’intégration.
Claims (16)
- Terminal communiquant, comprenant une unité centrale, une mémoire, un dispositif d’affichage, un dispositif d’entrée, une caméra opérant dans le visible et un circuit de communication sans fil, un capteur acoustique et un transducteur acoustique, terminal caractérisé en ce qu’il comprend en outre un capteur d'images apte à générer une série d’images de pixels dans un ensemble de bandes spectrales non visibles située au-delà de la gamme de sensibilité spectrale du silicium, ce capteur d'image comprenant une matrice de de cellules photosensibles au rayonnement dans lesdites bandes spectrales non-visible, prévues sur un substrat non-silicium accouplé à un circuit de lecture sur substrat silicium, et un filtre passe-bande définissant l’ensemble desdites bandes spectrales non-visibles interposé sur le trajet du rayonnement.
- Terminal selon la revendication 1, caractérisé en ce que le filtre passe-bande est programmable dynamiquement.
- Terminal selon la revendication 2, caractérisé en ce que le filtre est basé sur l’interférométrie de Fabry-Pérot.
- Terminal selon la revendication 3, caractérisé en ce que le filtre est à commande piézo-électrique.
- Terminal selon la revendication 3, caractérisé en ce que le filtre est à commande électrostatique.
- Terminal selon l’une des revendications 2 à 5, caractérisé en ce qu’il est configuré pour réaliser une prise de vues avec une pluralité de phases d’exposition de la matrice de cellules photosensibles et une pluralité de réglages de bande pour le filtre passe-bande.
- Terminal selon la revendication 1, caractérisé en ce que le filtre passe-bande comprend une pluralité de zones filtrantes dans des bandes spectrales fixes différentes, placées respectivement devant des sous-matrices de la matrice de cellules photosensibles.
- Terminal selon la revendication 7, caractérisé en ce que les zones filtrantes sont agencées selon une grille.
- Terminal selon la revendication 7, caractérisé en ce que les zones filtrantes sont agencées selon un ensemble de bandes parallèles à un bord de la matrice de cellules photosensibles.
- Terminal selon l’une des revendications 7 à 9, caractérisé en ce qu’il est configuré pour réaliser une prise de vues avec une pluralité de phases d’exposition de la matrice de cellules photosensibles et une pluralité d’axes de visée différents du capteur d’images non-visibles.
- Terminal selon la revendication 10, caractérisé en ce qu’il comprend un circuit de traitement apte à recaler entre elles les images capturées lors de la pluralité de phases d’exposition, de manière à ce qu’à une même cellule photosensible de la matrice puissent être affectées au moins deux valeurs de luminosité dans au moins deux bandes spectrales différentes.
- Terminal selon la revendication 11, caractérisé en ce que ledit circuit de traitement est apte à recevoir en entrée des données de recalage déterminées à partir d’une pluralité d’images visibles prises avec la caméra visible pendant les mêmes phases d’exposition.
- Terminal selon la revendication 11, caractérisé en ce que ledit circuit de traitement est apte à recevoir en entrée des données de recalage issues d’un capteur de position et/ou de mouvement du terminal.
- Terminal selon l’une des revendications 1 à 13, caractérisé en ce qu’il comprend un circuit apte à combiner une image issue d’une caméra opérant dans le visible et une image issue du capteur d’images non-visibles.
- Terminal selon l’une des revendications 1 à 14, caractérisé en ce qu’il comprend un circuit apte à traiter au moins un élément contenu dans une image issue d’une caméra opérant dans le visible sur la base d’une signature, dans la bande spectrale non visible, dudit élément, telle que déterminée par le capteur d’image.
- Terminal selon l’une des revendications 1 à 15, caractérisé en ce que la ou les bandes spectrales non-visibles sont des bandes situées dans l’infrarouge, notamment l’infrarouge proche.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1914465A FR3104873B1 (fr) | 2019-12-16 | 2019-12-16 | Terminal communiquant avec imageur perfectionné |
PCT/IB2020/061927 WO2021124085A1 (fr) | 2019-12-16 | 2020-12-15 | Terminal communiquant avec imageur perfectionné |
CN202080094326.9A CN115176132A (zh) | 2019-12-16 | 2020-12-15 | 具有改进型成像仪的通信终端 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1914465 | 2019-12-16 | ||
FR1914465A FR3104873B1 (fr) | 2019-12-16 | 2019-12-16 | Terminal communiquant avec imageur perfectionné |
Publications (2)
Publication Number | Publication Date |
---|---|
FR3104873A1 true FR3104873A1 (fr) | 2021-06-18 |
FR3104873B1 FR3104873B1 (fr) | 2023-05-26 |
Family
ID=69903441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1914465A Active FR3104873B1 (fr) | 2019-12-16 | 2019-12-16 | Terminal communiquant avec imageur perfectionné |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN115176132A (fr) |
FR (1) | FR3104873B1 (fr) |
WO (1) | WO2021124085A1 (fr) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8274739B2 (en) | 2006-12-29 | 2012-09-25 | Nanolambda, Inc. | Plasmonic fabry-perot filter |
US20130229646A1 (en) * | 2012-03-02 | 2013-09-05 | Seiko Epson Corporation | Component analyzer |
US20140124263A1 (en) | 2011-03-01 | 2014-05-08 | Prysmian S.P.A. | Joint for hv cables insulated with impregnated paper or paper-polypropylene laminate (ppl) |
WO2014143338A2 (fr) * | 2012-12-21 | 2014-09-18 | Flir Systems, Inc. | Imageur à réseau de multiples modules d'imagerie infrarouge |
WO2015195746A1 (fr) * | 2014-06-18 | 2015-12-23 | Innopix, Inc. | Système d'imagerie spectrale pour une détection à distance et non invasive de substances cibles à l'aide de réseaux de filtres spectraux et de réseaux de capture d'image |
US20170205344A1 (en) * | 2016-01-15 | 2017-07-20 | The Mitre Corporation | Active hyperspectral imaging system |
US20170303790A1 (en) * | 2016-04-25 | 2017-10-26 | Samsung Electronics Co., Ltd. | Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system |
EP3306289A1 (fr) * | 2015-06-07 | 2018-04-11 | Yoon, Hojun | Dispositif portatif d'appareil de prise de vues hyperspectral utilisant une pluralité de sources de lumière à semi-conducteurs |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9818193B2 (en) * | 2012-01-30 | 2017-11-14 | Scanadu, Inc. | Spatial resolution enhancement in hyperspectral imaging |
-
2019
- 2019-12-16 FR FR1914465A patent/FR3104873B1/fr active Active
-
2020
- 2020-12-15 WO PCT/IB2020/061927 patent/WO2021124085A1/fr active Application Filing
- 2020-12-15 CN CN202080094326.9A patent/CN115176132A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8274739B2 (en) | 2006-12-29 | 2012-09-25 | Nanolambda, Inc. | Plasmonic fabry-perot filter |
US20140124263A1 (en) | 2011-03-01 | 2014-05-08 | Prysmian S.P.A. | Joint for hv cables insulated with impregnated paper or paper-polypropylene laminate (ppl) |
US20130229646A1 (en) * | 2012-03-02 | 2013-09-05 | Seiko Epson Corporation | Component analyzer |
WO2014143338A2 (fr) * | 2012-12-21 | 2014-09-18 | Flir Systems, Inc. | Imageur à réseau de multiples modules d'imagerie infrarouge |
WO2015195746A1 (fr) * | 2014-06-18 | 2015-12-23 | Innopix, Inc. | Système d'imagerie spectrale pour une détection à distance et non invasive de substances cibles à l'aide de réseaux de filtres spectraux et de réseaux de capture d'image |
EP3306289A1 (fr) * | 2015-06-07 | 2018-04-11 | Yoon, Hojun | Dispositif portatif d'appareil de prise de vues hyperspectral utilisant une pluralité de sources de lumière à semi-conducteurs |
US20170205344A1 (en) * | 2016-01-15 | 2017-07-20 | The Mitre Corporation | Active hyperspectral imaging system |
US20170303790A1 (en) * | 2016-04-25 | 2017-10-26 | Samsung Electronics Co., Ltd. | Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system |
Non-Patent Citations (2)
Title |
---|
"Multispectral Filter Arrays: Recent Advances and Practical Implementation", JOURNAL SENSORS |
HERVÉ BERTIN: "Etude de matrices de filtres Fabry Pérot accordables en technologie MOEMS intégré 3D : Application à l'imagerie multispectrale", 2013, UNIVERSITÉ PARIS SUD |
Also Published As
Publication number | Publication date |
---|---|
FR3104873B1 (fr) | 2023-05-26 |
CN115176132A (zh) | 2022-10-11 |
WO2021124085A1 (fr) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BE1022488B1 (fr) | Systeme d'appareil de prise de vues a temps-de-vol | |
US7417746B2 (en) | Fabry-perot tunable filter systems and methods | |
JP5723881B2 (ja) | マルチスペクトル撮像 | |
US9749521B2 (en) | Image sensor with in-pixel depth sensing | |
EP0738074B1 (fr) | Procédé de détection à cycles d'intégration et de lecture répartis pour caméra à balayage, et barrette de détection correspondante | |
EP3973693B1 (fr) | Dispositif de capture d'images à expositions multiples et système de surveillance d'un conducteur associé | |
CA2831805A1 (fr) | Capteur a regard fixe multispectral en materiau hybride | |
EP3627210B1 (fr) | Système de vision en réalité virtuelle ou augmentée avec capteur d'image de l'oeil, et procédé associé | |
CA2889811A1 (fr) | Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques | |
CN103608654A (zh) | 分光图像拍摄装置 | |
US20150229851A1 (en) | Hyperspectral single pixel imager with fabry perot filter | |
EP3348048B1 (fr) | Caméra plénoptique | |
FR2959013A1 (fr) | Dispositif de detection de rayonnement electromagnetique a sensibilite reduite au bruit spacial | |
JP6118058B2 (ja) | 固体撮像素子、撮像装置、及び制御方法 | |
FR3104873A1 (fr) | Terminal communiquant avec imageur perfectionné | |
EP3465112B1 (fr) | Procédé de limitation de la diaphonie dans un capteur d'imagerie | |
FR2940720A1 (fr) | Dispositif de saisie d'images comprenant des moyens de correction de mise au point | |
US20190019829A1 (en) | Image sensor | |
FR3079707A1 (fr) | Capteur d'images aeroporte realisant des prises de vue matricielle par decalage temporel et sommation multi-spectrales | |
EP4090012B1 (fr) | Systeme de videoconference permettant de reduire un effet de parallaxe associe a la direction du regard d'un utilisateur | |
WO2019063892A1 (fr) | Redimensionnement des entites de detection d'un capteur d'image matriciel hybride | |
WO2023110922A1 (fr) | Camera multispectrale a acquisition " snapshot " (instantanee) | |
FR3046276A1 (fr) | Procede pour obtenir une image fusionnee d'une empreinte papillaire | |
US8247754B2 (en) | Solid state focal plane array for hyperspectral imaging applications | |
CA3200228A1 (fr) | Imageur multispectral a domaine spectral elargi |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20210618 |
|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |
|
PLFP | Fee payment |
Year of fee payment: 5 |