FR3101504A1 - Dispositif de capture d’images et procédé de capture d’images - Google Patents

Dispositif de capture d’images et procédé de capture d’images Download PDF

Info

Publication number
FR3101504A1
FR3101504A1 FR1910701A FR1910701A FR3101504A1 FR 3101504 A1 FR3101504 A1 FR 3101504A1 FR 1910701 A FR1910701 A FR 1910701A FR 1910701 A FR1910701 A FR 1910701A FR 3101504 A1 FR3101504 A1 FR 3101504A1
Authority
FR
France
Prior art keywords
intensity
pixel
local
electromagnetic radiation
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1910701A
Other languages
English (en)
Other versions
FR3101504B1 (fr
Inventor
Liangbin XIANG
Aleksandar Popovic
Sylvain BEAUDOIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Comfort and Driving Assistance SAS
Original Assignee
Valeo Comfort and Driving Assistance SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort and Driving Assistance SAS filed Critical Valeo Comfort and Driving Assistance SAS
Priority to FR1910701A priority Critical patent/FR3101504B1/fr
Publication of FR3101504A1 publication Critical patent/FR3101504A1/fr
Application granted granted Critical
Publication of FR3101504B1 publication Critical patent/FR3101504B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

L’invention concerne dispositif de capture d’image (1) comprenant une matrice (19) de pixels (21 ; 21’) comprenant des premier pixels (21) disposés en vis-à-vis de premiers filtres (171) aptes à transmettre une première partie d’un rayonnement électromagnétique comprise dans une plage de longueurs d’onde données de l’infrarouge, ainsi que des seconds pixels (21’) disposés en vis-à-vis des seconds filtres (172 ; 173 ; 174), aptes à transmettre une seconde partie du rayonnement située dans le visible et la première partie du rayonnement. Selon l’invention, le dispositif de capture d’images (1) comprenant un calculateur (12) programmé pour :- évaluer une intensité visible locale (Rv ; Gv ; Bv) représentative d’une intensité de la seconde partie du rayonnement dans une région incluant au moins un second filtre (172 ; 173 ; 174) donné; - évaluer, sur la base de ladite intensité visible locale (Rv ; Gv ; Bv) et d’un signal généré par le second pixel (21’) en vis-à-vis dudit second filtre (172 ; 173 ; 174) donné, une information infrarouge (RIR ; GIR ; BIR) associé audit second pixel (21’) représentative d’une partie du signal généré par le second pixel (21’) correspondant à la première partie du rayonnement. Figure. 5

Description

Dispositif de capture d’images et procédé de capture d’images
Domaine technique auquel se rapporte l'invention
La présente invention concerne un dispositif de capture d’images et un procédé de capture d’images.
Arrière-plan technologique
Des dispositifs de capture d’images permettant de visualiser une scène donnée, à la fois dans le domaine du visible et dans le domaine de l’infrarouge, et cela avec un même capteur d’images, ont été développés récemment.
Le capteur d’images d’un tel dispositif, en quelque sorte hybride, est parfois appelé capteur d’images « RGB-IR » (selon l’acronyme anglo-saxon de Red Green Blue – InfraRed, c’est-à-dire Rouge Vert Bleu – InfraRouge).
Ce capteur d’images comprend une matrice de pixels photosensibles et un réseau de filtres optiques coïncidant avec ces différents pixels photosensibles.
Une partie de ces filtres optiques sont des filtres colorés. Ils transmettent chacun une partie du rayonnement visible reçu par le capteur d’images, cette partie correspondant en pratique à un rouge, à un vert, ou à un bleu. Ces différents filtres colorés, permettent d’acquérir une image en couleurs, par exemple de type « RGB ». Les images en couleurs peuvent par exemple être utilisées pour des fonctions telles que la vidéoconférence ou la prise de photos. Ces filtres colorés transmettent également une partie du rayonnement infrarouge reçu par le capteur d’images.
Les autres filtres optiques élémentaires du capteur d’images transmettent uniquement la partie infrarouge du rayonnement reçu par le capteur. Ils permettent d’acquérir une image infrarouge de la scène en question.
L’image en couleurs et l’image dans le domaine de l’infrarouge, qui contiennent des informations complémentaires, sont ainsi obtenues avec un même capteur, ce qui est intéressant notamment en termes de coût de revient et d’encombrement. Les images infrarouges peuvent notamment être utilisées pour surveiller le comportement du conducteur, de jour comme de nuit.
La résolution des images infrarouges est toutefois relativement faible puisque que de tels capteurs d’images possèdent un nombre limité de pixels sensibles à la uniquement à la partie infrarouge du rayonnement reçu ; classiquement, la proportion de ces pixels est de 25%. La résolution de l’image infrarouge peut être ramenée à la résolution du capteur d’images en interpolant le signal acquis par ces pixels.
Mais cela se fait se fait au détriment de la qualité de l’image, ce qui empêche la réalisation de fonctions de détection avancée comme par exemple la détection de la direction du regard ou de l’ouverture des yeux.
Objet de l’invention
Dans ce contexte, on propose selon l’invention un dispositif de capture d’image comprenant :
- un réseau de filtres optiques recevant un rayonnement électromagnétique et comprenant des premier filtres optiques aptes à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde données de l’infrarouge, ainsi que des seconds filtres optiques aptes à transmettre une seconde partie du rayonnement électromagnétique située dans le visible et la première partie du rayonnement électromagnétique,
- une matrice de pixels photosensibles comprenant des premiers pixels photosensibles disposés en vis-à-vis des premiers filtres optiques de façon à recevoir la première partie du rayonnement électromagnétique, ainsi que des seconds pixels photosensibles disposés en vis-à-vis des seconds filtres optiques de façon à recevoir la première partie et la seconde partie du rayonnement électromagnétique, chaque pixel photosensible générant ainsi un signal représentatif de l’intensité du rayonnement électromagnétique qu'il capte ;
le dispositif de capture d’images étant caractérisé en ce qu’il comprend en outre un calculateur programmé pour :
- évaluer une intensité visible locale représentative d’une intensité de la seconde partie du rayonnement électromagnétique dans une région incluant au moins un second filtre optique donné parmi les seconds filtres optiques ;
- évaluer, sur la base de l’intensité visible locale et du signal généré par le second pixel photosensible en vis-à-vis du second filtre optique donné, une information infrarouge associée au second pixel photosensible et représentative d’une partie du signal généré par le second pixel correspondant à la première partie du rayonnement électromagnétique.
Ainsi, grâce à l’invention, on peut isoler l’information infrarouge associée à un second pixel qui pourtant est sensible à la fois à la partie visible et à la partie infrarouge du rayonnement électromagnétique. Cette information infrarouge peut est utilisée pour reconstruire une image infrarouge. Cette méthode de reconstruction permet d’augmenter sensiblement la qualité de l’image infrarouge et permet donc de réaliser les fonctions de détection avancée précitées.
D’autres caractéristiques non limitatives et avantageuses du dispositif conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :
- le calculateur est programmé pour évaluer l’information infrarouge du second pixel photosensible en effectuant la différence entre l’intensité visible locale et le signal généré par le second pixel photosensible ;
- le calculateur est programmé pour évaluer l’intensité visible locale en prenant en compte une intensité infrarouge locale qui est représentative d’une intensité de la première partie du rayonnement électromagnétique dans la région et qui est estimée sur la base d’au moins un signal généré par un premier pixel photosensible voisin du second pixel photosensible ;
- le calculateur est programmé pour estimer l’intensité infrarouge locale en interpolant, de façon linéaire ou gaussienne, au moins le signal généré par un premier pixel photosensible ;
- le calculateur est programmé pour évaluer l’intensité visible locale en prenant en compte une intensité globale locale qui est représentative d’une intensité de la première et de la seconde partie du rayonnement électromagnétique dans la région et qui est estimée sur la base d’au moins deux signaux générés par des seconds pixels photosensibles voisins du premier pixel photosensible ;
- le calculateur est programmé pour estimer l’intensité globale locale en interpolant, de façon linéaire ou gaussienne, les au moins deux signaux générés des seconds pixels photosensibles ;
- le calculateur est programmé pour évaluer l’intensité visible locale en effectuant la différence entre l’intensité globale locale et de l’intensité infrarouge locale ;
- le calculateur est programmé pour estimer l’intensité infrarouge locale sur la base d’un unique signal généré par un premier pixel photosensible qui est adjacent au second pixel photosensible ;
- le calculateur est programmé pour estimer l’intensité globale locale sur la base d’au moins deux signaux générés par des seconds pixels photosensibles adjacents au premier pixel photosensible générant l’unique signal ;
- le calculateur est programmé pour estimer l’intensité globale locale sur la base des au moins deux signaux générés par des seconds pixels photosensibles qui sont disposés en vis-à-vis d’un second filtre optique identique au second filtre optique donné ;
- le calculateur est programmé pour évaluer l’information infrarouge associé à chaque second pixel photosensible de la matrice de pixels photosensibles du dispositif de capture d’images ;
- le calculateur est programmé pour reconstruire une image infrarouge en combinant au moins une information infrarouge et les signaux générés par les premiers pixels photosensibles.
L’invention propose également un procédé de capture d’images au moyen d’un dispositif de capture d’images comprenant :
- un réseau de filtres optiques recevant un rayonnement électromagnétique et comprenant des premier filtres optiques aptes à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde données de l’infrarouge, ainsi que des seconds filtres optiques aptes à transmettre une seconde partie du rayonnement électromagnétique située dans le visible et la première partie du rayonnement électromagnétique,
- une matrice de pixels photosensibles comprenant des premiers pixels photosensibles disposés en vis-à-vis des premiers filtres optiques de façon à recevoir la première partie du rayonnement électromagnétique, ainsi que des seconds pixels photosensibles disposés en vis-à-vis des seconds filtres optiques de façon à recevoir la première partie et la seconde partie du rayonnement électromagnétique, chaque pixel photosensible générant ainsi un signal représentatif de l’intensité du rayonnement électromagnétique qu'il capte ;
le procédé de capture d’images comprenant les étapes suivantes :
- évaluation d’une intensité visible locale représentative d’une intensité de la seconde partie du rayonnement électromagnétique dans une région incluant au moins un second filtre optique donné parmi les seconds filtres optiques;
- évaluation, sur la base de l’intensité visible locale et du signal généré par le second pixel photosensible en vis-à-vis dudit second filtre optique donné, d’une information infrarouge associée au second pixel photosensible et représentative d’une partie du signal généré par le second pixel correspondant à la première partie du rayonnement électromagnétique.
D’autres caractéristiques non limitatives et avantageuses du procédé conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :
- le procédé comprend une étape d’évaluation de l’intensité visible locale en prenant en compte une intensité infrarouge locale qui est représentative d’une intensité de la première partie du rayonnement électromagnétique dans la région et qui est estimée sur la base d’au moins un signal généré par un premier pixel photosensible voisin du second pixel photosensible ;
- le procédé comprend une étape d’évaluation de l’intensité visible locale en prenant en compte une intensité globale locale qui est représentative d’une intensité de la première et de la seconde partie du rayonnement électromagnétique dans la région et qui est estimée sur la base d’au moins deux signaux générés par des seconds pixels photosensibles voisins du premier pixel photosensible.
Description détaillée d’un exemple de réalisation
La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.
Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
Sur les dessins annexés :
représente schématiquement en coupe un véhicule automobile comprenant un dispositif de capture d’images conforme à l’invention ;
représente schématiquement un réseau de filtres optiques dont est pourvu un capteur d’images du dispositif de capture d’images de la figure 1, vu de face ;
représente schématique ce même capteur d’images, vu de côté ;
représente l’efficacité quantique du capteur d’images des figures 2 ou 3 ;
représente un schéma bloc d’une séquence d’étapes permettant de déterminer une information infrarouge d’un second pixel photosensible du capteur d’images des figures 2 ou 3 ;
représente les différentes valeurs calculées, pour un groupe de pixels photosensibles, à chaque étape de la méthode présentée en figure 5 ; et
représente des schémas d’interpolation pour les différentes valeurs de la figure 6.
Bien entendu, diverses autres modifications peuvent être apportées à l’invention dans le cadre des revendications annexées.
Pour faciliter la lecture, le « rayonnement électromagnétique » sera parfois simplement nommé « rayonnement », on s’attachera néanmoins à utiliser la dénomination complète lorsqu’il faudra décrire précisément ses effets.
L’invention est ici décrite dans le cas où elle est utilisée au sein d’un système de surveillance du conducteur. Dans le cas de ce système de surveillance, le dispositif de capture d’images 1 est orienté de manière à ce que son champ de vision 15 couvre une zone habituellement occupée par la tête du conducteur 3 lorsque celui-ci est en position de conduite. Le dispositif de capteur d’images 1 peut ainsi capturer des images du visage du conducteur 3. L’invention peut toutefois s’appliquer également à toute autre utilisation envisageable d’un tel capteur.
Comme le montre la figure 1, le dispositif de capture d’images 1 est situé dans un habitacle 7 du véhicule, dans une région proche d’un pare-brise 5 du véhicule. Il est par exemple intégré dans une planche de bord ou dans une console de commande du véhicule.
Le dispositif de capture d’images 1 comprend :
- un capteur d’images 9 qui comprend une matrice 19 de pixels photosensibles 21, 21’,
- un système optique 10 tel qu’un objectif, qui forme sur le capteur d’images 9 une image du contenu du champ de vision 15 du dispositif de capture d’images 1,
- un module de prétraitement 11, pour amplifier des signaux produits par les pixels photosensibles 21, 21’ du le capteur d’images 9, puis pour réaliser une conversion analogique-numérique de ces signaux,
- un calculateur 12, configuré pour traiter ces signaux afin de produire une ou plusieurs images représentatives du contenu du champ de vision 15 du dispositif de capture d’images 1.
Le dispositif de capture d’images 1 peut également comprendre un illuminateur infrarouge 6, par exemple une LED infrarouge, qui éclaire en direction du champ de vision 15, de façon à illuminer ici le visage du conducteur 3. L’illuminateur infrarouge 6 permet de réaliser des images infrarouges du conducteur 3 même lorsque la luminosité extérieure est très faible. L’illuminateur infrarouge 6 peut par exemple être piloté par le calculateur 12 comme c’est le cas sur la figure 1.
Le capteur d’images 9 est un capteur que l’on peut qualifier d’hybride, permettant de visualiser le contenu du champ de vision 15 à la fois dans le domaine de l’infrarouge, et dans le domaine du visible.
Pour cela, le capteur d’images 9 est muni d’un réseau 170 de filtres optiques particulier (figure 2 et 3), comprenant une alternance de premiers filtres optiques 171, au moins partiellement transmissifs dans le domaine de l’infrarouge, et de seconds filtres optiques 172, 173, 174 au moins partiellement transmissifs dans le domaine du visible et dans le domaine de l’infrarouge. Ce réseau 170 de filtres optiques permet, avec une même matrice 19 de pixels photosensibles 21, 21’, d’obtenir à la fois une première image, qui est une image dans le domaine de l’infrarouge (appelée « image infrarouge » dans la suite), et une seconde image qui est une image dans le domaine du visible (appelée « image en couleurs » dans la suite).
Grâce à ce capteur d’images 9 particulier, le dispositif de capture d’images 1 est à même d’acquérir à la fois l’image infrarouge et l’image en couleurs, tout en restant peu encombrant. L’image infrarouge peut par exemple être utilisée pour surveiller le conducteur 3 et déterminer son niveau d’inaptitude à la conduite IL. L’image en couleurs est plus agréable à visualiser pour l’œil humain et contient plus d’informations qu’une image infrarouge (habituellement affichée en niveau de gris). L’image en couleurs peut donc être acquise à des fins multiples, par exemple elle peut être utilisée pour communiquer avec un appareil électronique distant, par exemple dans le cadre d’une téléconférence, ou bien encore être gardée en mémoire pour des raisons de sécurité ou en tant que « photo souvenir » immortalisant un trajet.
Comme on peut le voir sur la figure 3, chaque filtre optique 171, 173 du réseau 170 de filtres optiques du capteur d’images 9 est disposé en vis-à-vis de l’un des pixels photosensibles 21, 21’ de la matrice 19, de manière à filtrer le rayonnement électromagnétique provenant du champ de vision 15 du dispositif de capture d’images 1 (rayonnement qui a été collecté par le système optique 10), avant que ce rayonnement n’atteigne le pixel photosensible 21, 21’ en question. Chaque pixel photosensible 21, 21’ reçoit ainsi une partie du rayonnement électromagnétique qui a été transmise par le filtre optique 171, 172, 173, 174 auquel il est associé (ce filtre optique constituant un élément filtrant, pour le rayonnement électromagnétique qu’il reçoit).
Les premiers filtres optiques 171 sont aptes chacun à transmettre une première partie du rayonnement électromagnétique située dans le domaine de l’infrarouge. Cette partie du rayonnement transmise par les premiers filtres optiques 171 est appelée portion infrarouge. Ici, les premiers filtres optiques 171 transmettent majoritairement des longueurs d’onde situées dans une plage de longueurs d’onde de l’infrarouge. Cette plage de longueurs d’onde s’étend majoritairement au-delà de 700 nm. Elle peut par exemple s’étendre de 700 nm à 1100 nm.
Chacun des seconds filtres optiques 172, 173, 174 est apte à transmettre au moins une composante d’une seconde partie du rayonnement électromagnétique située dans le domaine visible et une partie du rayonnement électromagnétique située dans le domaine infrarouge. La seconde partie du rayonnement, transmise par les seconds filtres optiques 172, 173, 174, est appelée portion visible. Ici, la seconde partie du rayonnement est comprise dans les plages de longueurs d’onde allant de 400 nm à 650 nm.
Les premiers filtres 171 transmettent également une partie négligeable de la seconde partie du rayonnement électromagnétique. Ils se distinguent des seconds filtres optiques 172, 173, 174 en ce qu’ils transmettent très majoritairement la première partie du rayonnement électromagnétique. Comme le montre la figure 4, leur efficacité dans le domaine visible est très faible (au moins six fois inférieure à celle dans l’infrarouge).
Les seconds filtres optiques 172, 173, 174 quant à eux sont des filtres que l’on peut qualifier de « double passe bande » possédant deux domaines de transmission distincts. Une bande passante basse fréquence transmet la portion infrarouge du rayonnement. Une bande passante haute fréquence transmet la portion visible du rayonnement.
La figure 4 montre l’efficacité quantique d’un pixel photosensible 21, 21’ en vis-à-vis d’un premier filtre optique 171 (courbe 171’) et les efficacités quantiques de pixels photosensibles 21, 21’ en vis-à-vis des seconds filtres optiques 172, 173, 174 (courbes 172’, 173’, 174’). L’efficacité quantique représente le taux de conversion de photons en charges électriques. En d’autres termes, ce graphique montre la transmission en fonction de la longueur d’onde pour chaque filtre optique 171, 172, 173, 174. Pour une longueur d’onde donnée, plus la transmission est élevée, plus la probabilité qu’un photon de cette longueur d’onde parvienne jusqu’au pixel photosensible 21, 21’ et génère une charge électrique est grande.
Par exemple, chacun des premiers filtres optiques 171 transmet principalement les photons dont la longueur d’onde est comprise entre 800 nm et 900 nm et absorbe les autres photons. Il absorbe notamment très fortement (mais pas totalement en pratique) les photons visibles. Cela est notamment illustré par le fait que la courbe 171’ représentant l’efficacité quantique d’un premier filtre 171 présente un unique pic à 850 nm.
Chacune des courbes 172’, 173’, 174’ présentant l’efficacité quantique des seconds filtres optiques 172, 173, 174 présente un pic dans le domaine visible. Les trois pics sont situés à trois longueurs d’onde différentes dans le domaine visible, soient respectivement un pic dans le rouge autour de 610 nm, un pic dans le vert autour de 540 nm et un pic dans le bleu autour de 450 nm. De plus, chaque courbe 172’, 173’, 174’ présente un pic à 850 nm d’une amplitude environs deux fois plus faible que celle de leur pic respectif dans le domaine visible. Cela montre que des pixels photosensibles 21, 21’ en vis-à-vis des seconds filtres optiques 172, 173, 174, sont sensibles à la fois à une partie infrarouge d’un rayonnement et à une partie visible (rouge, verte ou bleue) d’un rayonnement.
Les seconds filtres optiques 172, 173, 174 comprennent des filtres optiques rouges 172, des filtres optiques verts 173 et des filtres optiques bleus 174. Les termes « rouge », « vert » et « bleu » sont utilisés dans leur sens commun. Les valeurs des bandes passantes rouge, verte et bleue énoncées ci-après et illustrées en figure 4 sont données à titre d’exemple non limitatif.
Les filtres optiques rouges 172 ont ici une bande passante haute fréquence comprise principalement entre 550 nm et 700 nm. La portion visible du rayonnement transmise par bande passante haute fréquence des filtres optiques rouges 172 est constituée majoritairement de longueurs d’onde comprises entre 550 nm et 700 nm. Dans l’ensemble, les longueurs d’onde transmisses par les filtres rouges 172 sont donc majoritairement comprises entre 550 nm et 700 nm et entre 800 nm et 900 nm.
Les filtres optiques verts 173 ont ici une bande passante haute fréquence comprise principalement entre 450 nm et 650 nm. La portion visible du rayonnement transmise par bande passante haute fréquence des filtres optiques verts 173 est constituée majoritairement de longueurs d’onde comprises entre 450 nm et 650 nm. Dans l’ensemble, les longueurs d’onde transmisses par les filtres verts 173 sont donc majoritairement comprises entre 450 nm et 650 nm et entre 800 et 900 nm.
Les filtres optiques bleus 174 ont ici une bande passante haute fréquence comprise principalement entre 400 nm et 550 nm. La portion visible du rayonnement transmise par bande passante haute fréquence des filtres optiques bleus 174 est constituée majoritairement de longueurs d’onde comprises entre 400 nm et 550 nm. Dans l’ensemble, les longueurs d’onde transmisses par les filtres bleus 174 sont donc majoritairement comprises entre 400 nm et 550 nm et entre 800 et 900 nm.
Les différents filtres optiques 171, 172, 173, 174 du réseau 170 de filtres optiques sont agencés les uns par rapport aux autres de manière à former un motif 175, répété régulièrement pour former le réseau 170 de filtres optiques. Ce motif 175 comprend ici les quatre filtres optiques présentés ci-dessus. Une partie d’un tel réseau 170 est illustré en figure 2.
Pour ce qui des pixels photosensibles 21, 21’, la matrice 19 comprend :
- des premiers pixels photosensibles 21, chacun disposé de façon à capter la première partie du rayonnement électromagnétique transmise par l’un des premiers filtres optiques 171 (c’est-à-dire la portion infrarouge du rayonnement) et
- des seconds pixels photosensibles 21’, chacun disposé de façon à capter la composante, rouge, verte ou bleue, transmises par l’un des seconds filtres optiques 172, 173, 174 (c’est-à-dire une composante de la portion visible du rayonnement) et la première partie du rayonnement électromagnétique.
Les premiers pixels photosensibles 21 sont par la suite appelés « pixels IR » (pour pixels InfraRouge).
Les seconds pixels photosensibles 21’ sont par la suite appelés « pixels couleurs », un pixel couleur pouvant être un « pixel rouge » 200 s’il est disposé en vis-à-vis d’un filtre rouge 172, un « pixel vert » 180 s’il est disposé en vis-à-vis d’un filtre vert 173 ou un « pixel bleu » 190 s’il est disposé en vis-à-vis d’un filtre bleu 174.
Comme le montre la figure 2, le motif 175 est ici un le motif « 4x4 » carré de quatre pixels photosensibles 21, 21’ de large et qui comprend quatre pixels IR 21 (représentés par les lettres IR), deux pixels rouges 200 (représentés par la lettre R), huit pixels verts 180 (représentés par la lettre G) et deux pixels bleus 190 (représentés par la lettre B). Le motif 175 comprend donc seize pixels photosensibles 21 ,21’ dont quatre pixels IR 21, soit 25% de pixels IR 21 et 75% de pixels couleurs 21’. Ce motif 175 présente l’avantage de posséder proportionnellement plus de pixel vert 180, ce qui est intéressant car l’œil humain possède une meilleure résolution dans cette partie du spectre visible.
La figure 4 ne représente que quatre motifs « 4x4 », ce qui représente une partie restreinte de la matrice 19 de pixels photosensibles 21, 21’. En pratique, un capteur d’images 9 de 1 Mégapixel comprend 62 500 motifs 175 comme celui-ci.
En variante, le motif 175 pourrait être un motif « 2x2 » carré de deux pixels photosensibles 21, 21’ de large et qui comprend un pixel IR 21, un pixel rouge 19, un pixel vert 180 et un pixel bleu 190. Là encore, le capteur d’images 9 possède 25% de pixels IR 21 et 75% de pixels couleurs 21’.
Chacun des premiers et seconds pixels photosensibles 21, 21’ produit, par effet photo-électrique, une charge électrique ou une tension électrique qui dépend de l’intensité de la partie du rayonnement qu’il reçoit. Cela signifie que cette charge ou tension électrique est produite par la portion infrarouge du rayonnement pour les pixels IR 21 et que cette charge ou tension électrique est produite par la portion infrarouge et par la portion visible du rayonnement électromagnétique pour les pixels couleurs 21’.
Dans les modes de réalisation décrit ici, le substrat semi-conducteur de la matrice 19 de pixels photosensibles 21, 21’ est en Silicium (dopé de manière appropriée). La sensibilité des pixels photosensibles 21, 21’ dans le domaine de l’infrarouge est ainsi limitée au domaine du proche infrarouge.
Le capteur d’images 9 est par exemple de type CMOS (selon l’acronyme anglo-saxon de « Complementary Metal Oxide Semiconductor ») ou de type CCD (selon l’acronyme anglo-saxon de « Charge Coupled Device »).
Lorsque le dispositif de capture d’images 1 réalise une prise de vue :
- chaque pixel photosensible 21, 21’ de la matrice 19 du capteur d’images 9 accumule, pendant une durée d’intégration donnée, une charge ou une tension électrique générée par effet photoélectrique et délivre un signal représentatif de la charge ou de la tension électrique ainsi accumulée, puis
- le module de prétraitement 11 multiplie chacun de ces signaux par une valeur de gain donnée, puis réalise la conversion analogique-numérique des signaux ainsi amplifiés (ou éventuellement atténués).
Comme expliqué plus haut, le dispositif de capture d’image 1 est capable de réaliser à la fois une image infrarouge et une image en couleurs.
Dans les deux cas, le calculateur 12 est programmé pour commander au capteur d’image 9 de réaliser une capture d’image (étape a), au cours de laquelle chaque pixel photosensible 21, 21’ génère un signal représentatif de la charge ou de la tension qu’il a produit. La capture d’image est acquise avec un temps d’intégration prédéterminé, par exemple quelques dizaines de millisecondes. Ce temps d’intégration peut être ajusté en fonction des conditions d’illumination.
L’image en couleurs est formée à partir d’une matrice de pixels images (non référencés), associés aux différents pixels photosensibles 21, 21’ du capteur d’images 9. Plus spécifiquement, l’image en couleurs est principalement formée à partir d’une matrice de pixels images associés aux pixels couleurs 21’. Le calculateur 12 est programmé ici pour mettre en œuvre un algorithme d’interpolation permettant de constituer une image en couleurs « complète » bien que seul un pixel couleur 21’ sur quatre pixels photosensibles 21, 21’ soit un pixel rouge 200, vert ou bleu. Autrement formulé, après interpolation, l’image en couleurs comprend ici autant de pixels images que ce que le capteur d’images 9 comprend de pixels photosensibles 21, 21’. On peut utiliser par exemple l’interpolation bilinéaire ou l’interpolation bicubique. Pour estimer un signal vert associé à un pixel photosensible 21, 21’ donné qui n’est pas vert, l’interpolation bilinéaire consiste par exemple à moyenner les signaux générés par les quatre pixels verts 180 les plus proche du pixel photosensible 21, 21’ donnée.
L’image en couleurs peut, comme ici, comprendre trois canaux monochromes, un rouge, un vert et un bleu, formés respectivement à partir des pixels rouges 200, verts 180 et bleus 190. Chacun de ces canaux est une image en niveaux de gris (chaque pixel image du canal considéré a une valeur de luminosité, mais pas de valeur de teinte ou de chrominance), associée à la couleur du canal considéré et de même taille que l’image en couleurs (c’est-à-dire comprenant le même nombre de pixels image).
Comme le montre la figure 4 et comme décrit plus haut, les seconds filtres 172, 173, 174 sont des filtres « double passe bande ». Cela se traduit par le fait qu’un signal généré par un pixel couleur 21’ comprenne une fraction visible, correspondant à la portion visible du rayonnement, et une fraction infrarouge, correspondant à la portion infrarouge du rayonnement.
A l’inverse, un signal généré par un pixel IR 21 comprend uniquement la fraction infrarouge correspondant à la portion infrarouge du rayonnement. En effet, la fraction visible est négligeable, on peut voir sur la figure 4 que l’efficacité quantique d’un premier filtre 171 dans le domaine visible est par exemple inférieure à 5%.
Pour parfaire l’image couleur, il est possible de supprimer la portion infrarouge contenue dans les signaux générés par les pixels couleurs 21’. Pour cela, il est possible par exemple de retrancher au signal généré par un pixel couleur 21’ le signal généré par un pixel IR 21 adjacent. Pour un pixel photosensible 21, 21’ donné, l’adjectif «  adjacent » fait référence aux pixels photosensible 21, 21’ qui partage une arrête commune ou un sommet commun avec le pixel photosensible 21, 21’ donné. Un pixel photosensible 21, 21’ possède donc, au maximum, huit pixels photosensibles 21, 21’ adjacents.
Il peut être nécessaire de multiplier le signal du pixel IR 21 par un facteur correcteur lorsqu’on le retranche au signal du pixel couleur 21’. En effet, comme le montre la figure 4, l’efficacité quantique des filtres rouges 172, verts 173 et bleus 174 est inférieure à celle des premiers filtre 171 dans le domaine infrarouge. Les facteurs correcteurs sont donc inférieurs à un.
L’image infrarouge est quant à elle reconstruite selon le procédé représenté en figure 5. Ce procédé permet de reconstruire une image infrarouge haute résolution malgré le fait que seulement 25% des pixels photosensibles 21, 21’ soient des pixels IR 21. Cette image infrarouge haute résolution est réalisée en extrayant une information infrarouge RIR, GIR, BIRcontenue dans les signaux générés par les pixels couleurs 21’. L’information infrarouge RIR, GIR, BIRdécoule du fait que les pixels couleurs 21’ sont aussi sensibles à la portion infrarouge du rayonnement électromagnétique. L’information infrarouge RIR, GIR, BIRest représentative de la fraction infrarouge des signaux générés par les pixels couleurs 21’.
A l’étape a), comme déjà indiqué, le calculateur 12 commande au dispositif de capture d’images 1 d’acquérir une image. Pendant un temps d’intégration prédéfini, les pixels photosensibles 21, 21’ captent un rayonnement électromagnétique. Lors de cette étape, les pixels photosensibles 21, 21’ génèrent des signaux représentatifs de l’intensité du rayonnement électromagnétique qu’ils ont captée.
Les étapes suivantes b), c), d) et e), sont effectuées sur un groupe de pixels photosensibles 21, 21’ donnés et itérées de façon à être effectuées sur l’ensemble des pixels photosensibles 21, 21’ de la matrice 19. Un groupe comprend quelques pixels photosensibles 21, 21’, par exemple quatre ou seize lorsqu’un groupe représente un motif 175, ou même plusieurs dizaines de pixels photosensibles 21, 21’. On définit ainsi une région du capteur d’image 9 comprenant les pixels photosensibles 21, 21’ donnés et les filtres optiques 171, 172, 173, 174 en vis-à-vis de ces pixels photosensibles 21, 21’.
A l’étape b), le calculateur 12 estime une intensité infrarouge locale IRmqui est une valeur représentative d’une intensité d’une partie infrarouge du rayonnement électromagnétique dans la région (ici, cette partie infrarouge est comprise dans une plage de longueurs d’onde allant de 800 nm à 900 nm). L’intensité infrarouge locale IRmest estimée sur la base de signaux générés par des pixels IR 21.
A l’étape c), le calculateur 12 estime une intensité globale locale Rm, Gm, Bmqui est une valeur représentative de l’intensité de la partie infrarouge et d’une intensité d’une partie visible du rayonnement électromagnétique (ici, cette partie visible du rayonnement est comprise dans les plages de longueurs d’onde allant de 400 nm à 650 nm). L’intensité globale locale Rm, Gm, Bmest estimée sur la base de signaux générés par des pixels couleurs 21’. Ici, le calculateur 12 estime une intensité globale locale Rm, Gm, Bmpour chaque couleur. Pour chaque couleur, l’intensité globale locale Rm, Gm, Bmest estimée uniquement sur la base de signaux générés par les pixels couleurs 21’ de la couleur en question.
A l’étape d), le calculateur 12 évalue une intensité visible locale Rv, Gv, Bvqui est une valeur représentative l’intensité de la partie visible du rayonnement électromagnétique dans la région. L’intensité visible locale Rv, Gv, Bvest évaluée sur la base de l’intensité infrarouge locale IRmet de l’intensité globale locale Rm, Gm, Bm. En d’autres termes, cette étape permet de déterminer la fraction visible des signaux générés par les pixels couleurs 21’. Ici, le calculateur 12 évalue une intensité visible locale Rv, Gv, Bvpour chaque couleur. Pour chaque couleur, l’intensité visible locale Rv, Gv, Bvest évaluée uniquement sur la base de signaux générés par des pixels couleurs 21’ de la couleur en question.
A l’étape e), le calculateur 12 évalue l’information infrarouge RIR, GIR, BIRqui est une valeur représentative l’intensité de la partie infrarouge du rayonnement électromagnétique dans la région. L’information infrarouge RIR, GIR, BIRassociée à pixel couleur 21’ donné est évaluée sur la base de l’intensité visible locale Rv, Gv, Bvet du signal généré par ce pixel couleur 21’ donné. En d’autres termes, cette étape permet de déterminer la fraction infrarouge des signaux générés par les pixels couleurs 21’ du groupe en comparant le signal généré par un pixel couleur 21’ et sa fraction visible, représentée par l’intensité visible locale Rv, Gv, Bvestimée à l’étape d).
A l’étape f), le calculateur 12 construit l’image infrarouge haute résolution. L’image infrarouge a le même nombre de pixels images que la matrice 19 a de pixels photosensibles 21, 21’. Chaque pixel image peut être associé de façon bijective à un pixel photosensible 21, 21’. Si le pixel image est associé à un pixel IR 21, le calculateur 12 utilise le signal généré par ce pixel IR 21 pour déterminer la valeur de ce pixel image. Si le pixel image est associé à un pixel couleur 21’, le calculateur 12 utilise l’information infrarouge RIR, GIR, BIRde ce pixel couleur 21’ (calculé à l’étape e) pour déterminer la valeur de ce pixel image.
Nous allons maintenant décrire ces différentes étapes à l’aide d’un exemple pratique. La figure 6 détailles les différentes étapes de la méthode sur l’exemple d’un motif 175 « 4x4 » identique à celui présenté en figure 2.
L’objectif est de déterminer l’information infrarouge RIR, GIR, BIRassociée à chaque pixel couleur 21’. L’information infrarouge RIR, GIR, BIRest représentative de la partie du signal généré par ce pixel couleur 21’ correspondant à la portion infrarouge du rayonnement (partie du rayonnement électromagnétique qui a été transmis par la bande passante haute fréquence du second filtre 172, 173, 174 en vis-à-vis de ce pixel couleur 21’). L’autre partie du signal généré par ce pixel couleur 21’ correspondant à la portion visible du rayonnement (partie du rayonnement électromagnétique qui a été transmis par la bande passante basse fréquence du second filtre 172, 173, 174 en vis-à-vis de ce pixel couleur 21’). En d’autres termes, l’information infrarouge RIR, GIR, BIRest représentative d’un signal qu’aurait généré un pixel couleur 21’ s’il n’avait capté que la portion infrarouge du rayonnement électromagnétique.
A l’étape a), l’acquisition d’une image déclenche la génération par les pixels photosensibles 21, 21’ de signaux. Les pixels IR 21 génèrent des signaux infrarouges IR1, IR2, IR3et IR4, les pixels rouges 200 génèrent des signaux rouges R1et R2, les pixels verts 180 génèrent des signaux verts G1à G8, les pixels bleus 190 génèrent des signaux bleus B1et B2.
Sur la figure 6, dans le bloc (A) on a représenté pour chaque pixel photosensible 21, 21’ du motif 175 le signal qu’il génère.
Pour chaque pixel couleur 21’ du groupe (ici du motif « 4x4 ») de pixels photosensibles 21, 21’, le calculateur 12 effectue les étapes décrites ci-dessous. La figure 6 illustre le traitement en parallèle pour tous les pixels couleurs 21’ du motif 175. En pratique le calculateur 12 effectue ces étapes pour tous les pixels couleurs 21’ de la matrice 19.
On considère à présent un pixel couleur 21’ du motif 175.
A l’étape b), le calculateur 12 interpole, sur la base des signaux d’au moins un pixel IR 21 voisin du pixel couleur 21’, l’intensité infrarouge locale IRm.
Ici, les pixels IR 21 voisins du pixel couleur 21’ sont tous les pixels IR 21 appartenant au même motif 175 que le pixel couleur 21’.
Dans cet exemple, l’intensité infrarouge locale IRmest interpolée en moyennant les quatre signaux infrarouges IR1, IR2, IR3et IR4.
Ici, puisque tous les signaux infrarouges ont le même poids dans le calcul de l’intensité infrarouge locale IRm(un poids de 1) quelque soit le pixel couleur 21’ dont on détermine l’information infrarouge RIR, GIR, BIR, il est possible de n’effectuer l’étape b) qu’une seule fois. Cela signifie que pour chaque pixel couleur 21’ du groupe, on prend en compte la même intensité infrarouge locale IRm.
Sur la figure 6, dans le bloc (B), on a représenté, pour chaque pixel couleur 21’ du motif 175, l’intensité infrarouge locale IRmcalculée à l’étape b). Ici, l’intensité infrarouge locale IRmest la même pour tous les pixels couleur 21’ du motif 175.
A l’étape c), le calculateur 12 interpole, sur la base d’au moins deux signaux générés par des pixels couleurs 21’ voisins des pixels IR 21’ considérés à l’étape b), l’intensité globale locale Rm, Gm, Bm.
Ici, les pixels couleur 21’ voisins des pixels IR 21 sont tous les pixels couleurs 21’ appartenant au même motif 175 que les pixels IR 21, donc tous les pixels couleurs 21’ du motif 175. Pour un pixel couleur 21’ donné, l’interpolation de l’intensité globale locale Rm, Gm, Bmse fait donc en partie sur la base du propre signal qu’il génère.
Si le pixel couleur 21’ est un pixel rouge 200, une intensité globale locale rouge Rmest interpolée sur la base des signaux générés par les pixels rouges 200 du groupe. Ici, l’intensité globale locale rouge Rmest interpolée en moyennant les deux signaux rouges R1et R2.
Si le pixel couleur 21’ est pixel vert 180, une intensité globale locale verte Gmest interpolée sur la base des signaux générés par les pixels verts 180 du groupe. Ici, l’intensité globale locale verte Gmest interpolée en moyennant les huit signaux verts G1à G8.
Si le pixel couleur 21’ est un pixel bleu 190, l’intensité globale locale bleue Bmest interpolée sur la base des signaux générés par les pixels bleus 190 du groupe. Ici, l’intensité globale locale bleue Bmest interpolée en moyennant les deux signaux bleus B1et B2.
Sur la figure 6, dans le bloc (C), on a représenté, pour chaque pixel couleur 21’ du motif 175, l’intensité globale locale Rm, Gm, Bmcalculée à l’étape c). Ici, l’intensité globale locale Rm, Gm, Bmest la même pour tous les pixels rouges 200 (Rm), la même pour tous les pixels verts 180 (Gm) et la même pour tous les pixels bleus 190 (Bm).
A l’étape d), le calculateur 12 calcule, sur la base de l’intensité globale locale Rm, Gm, Bm(interpolée à l’étape c) et de l’intensité infrarouge locale IRm(interpolée à l’étape b), l’intensité visible locale Rv, Gv, Bv.
En pratique, le calculateur 12 effectue la différence entre l’intensité globale locale Rm, Gm, Bmet l’intensité infrarouge locale IRm.
Si le pixel couleur 21’ est un pixel rouge 200, une intensité visible locale rouge Rvest calculée en soustrayant l’intensité infrarouge locale IRmà l’intensité globale locale rouge Rm.
Si le pixel couleur 21’ est un pixel vert 180, une intensité visible locale verte Gvest calculée en soustrayant l’intensité infrarouge locale IRmà l’intensité globale locale verte Gm.
Si le pixel couleur 21’ est un pixel bleu 190, une intensité visible locale bleue Bvest calculée en soustrayant l’intensité infrarouge locale IRmà l’intensité globale locale bleue Bm.
Ici, les intensités visibles locales rouge Rv, verte Gvou bleue Bvreprésentent la fraction visible du signal généré par un pixel couleur 21’ rouge, vert ou bleu. C’est-à-dire le signal qu’aurait généré ce pixel couleur 21’ s’il n’avait capté que la portion visible du rayonnement (respectivement la composante rouge, verte ou bleue de cette portion visible).
Sur la figure 6, dans le bloc (D), on a représenté, pour chaque pixel couleur 21’ du motif 175, l’intensité visible locale Rv, Gv, Bvcalculée lors de l’étape d). Ici, l’intensité visible locale est la même pour tous les pixels rouges 200 Rv, la même pour tous les pixels verts 180 Gvet la même pour tous les pixels bleus 190 Bvdu motif 175.
A l’étape e), le calculateur 12 calcule, sur la base de l’intensité visible locale Rv, Gv, Bvcalculée à l’étape d) et du signal du pixel couleur 21’, l’information infrarouge RIR, GIR, BIRassociée au pixel couleur 21’.
En pratique, le calculateur 12 effectue la différence entre l’intensité visible locale Rv, Gv, Bvet le signal du pixel couleur 21’.
Si le pixel couleur 21’ est un pixel rouge 200, une information infrarouge rouge RIRest calculée en soustrayant l’intensité visible locale rouge Rvau signal généré par ce pixel rouge 200.
Si le pixel couleur 21’ est un pixel vert 180, une information infrarouge verte GIRest calculée en soustrayant l’intensité visible locale verte Gvau signal généré par ce pixel vert 180.
Si le pixel couleur 21’ est un pixel bleu 190, une information infrarouge bleue BIRest calculée en soustrayant l’intensité visible locale bleue Bvau signal généré par ce pixel bleu 190.
Sur la figure 6, dans le bloc (E), on a représenté, pour chaque pixel couleur 21’ du motif 175, l’information infrarouge RIR, GIR, BIRqui lui est associé.
Les étapes b), c), d) et e) sont réalisées le nombre de fois nécessaire pour calculer l’information infrarouge RIR, GIR, BIRassociée à chaque pixel couleur 21’ du groupe de pixels photosensibles 21, 21’. Dans cet exemple, l’étape b) n’à besoin d’être réalisée qu’une seule fois ; l’étape c) et l’étape d) peuvent être réalisées seulement trois fois, une fois pour chaque couleur ; et l’étape e) est réalisées douze fois, une fois pour chaque pixel couleur 21’.
A l’étape f), le calculateur 12 compose une image infrarouge haute résolution en combinant les informations infrarouges RIR, GIR, BIRassociées aux pixels couleurs 21’ et les signaux générés par les pixels IR 21.
Sur la figure 6, dans le bloc (F), on a représenté, pour chaque pixel photosensible 21, 21’ du motif 175, le signal utilisé pour reconstruire l’image infrarouge. Si le pixel photosensible 21, 21’ est un pixel couleur 21’, le calculateur 12 utilise l’information infrarouge RIR, GIR, BIRcalculée à l’étape e). Si le pixel photosensible 21, 21’ est un pixel IR 21, le calculateur 12 utilise le signal généré par ce pixel IR 21.
En variante de l’exemple décrit en détail, on peut calculer une intensité infrarouge locale IRmspécifique pour chaque pixel couleur 21’. On calcule l’intensité infrarouge locale IRmen réalisant une interpolation basée sur des signaux générés par des pixels IR 21 plus au moins distant du pixel couleur 21’ donné dont on cherche à évaluer l’information infrarouge RIR, GIR, BIR. Par exemple, on peut utiliser une interpolation linéaire où le poids d’un signal généré par un pixel IR 21 décroît linéairement avec la distance entre lui et le pixel couleur 21’ donné, ou une interpolation gaussienne où le poids d’un pixel IR 21 décroît exponentiellement avec cette distance.
En plus, lors de cette interpolation, le poids de chaque signal généré par un pixel IR 21 pris en compte peut être ajusté encore plus finement en prenant en compte les signaux générés par les pixels couleurs 21’ adjacent à chaque pixel IR 21. Par exemple, le poids de chaque signal généré par un pixel IR 21 peut être ajusté en fonction de la différence entre ce signal et les signaux générés par les pixels couleurs 21’ adjacents.
A contrario, pour un motif 175 « 2x2 » on peut par exemple estimer l’intensité infrarouge locale IRmcomme étant égale, à un facteur près, au signal généré par l’unique pixel IR 21 appartenant au même motif 175 que le pixel couleur 21’. Tous les pixels couleur 21’ d’un même motif 175 « 2x2 » ont alors la même intensité infrarouge locale IRm.
En variante de l’exemple décrit en détail, à l’étape c), on peut interpoler une intensité globale local Rm, Gm, Bmspécifique pour chaque pixel couleur 21’ en réalisant une interpolation sur des signaux de pixels couleurs 21’ appartenant à un certain voisinage, qui est défini non pas par l’appartenance au motif 175 mais par la distance avec le pixel couleur 21’ dont on détermine l’information infrarouge RIR, GIR, BIR. Pour cela, on utilise, ici aussi, les pixels couleurs 21’ de même couleur que le pixel couleur 21’ donné.
Une telle variante est illustrée sur la figure 7. Ici, l’interpolation est basée sur des signaux de pixels photosensibles 21, 21’ qui se situent en dehors du motif 175 auquel appartient le pixel couleur 21’.
L’interpolation de l’intensité globale locale Rm, Gm, Bmpeut par exemple être une interpolation linéaire, où le poids de chaque signal généré par le pixel couleur 21’ varie linéairement avec la distance entre lui et le pixel couleur 21’ dont on détermine l’information infrarouge RIR, GIR, BIR, ou une interpolation gaussienne, où le poids de chaque signal généré par le pixel couleur 21’ varie exponentiellement avec cette distance.
Par exemple, pour un pixel vert 180, les pixels photosensibles 21, 21’ utilisés pour l’interpolation sont les quatre pixels verts 182 situés à deux unités verticalement et horizontalement, les quatre pixels verts 181 situés à une unité en diagonale et le pixel vert 180 lui-même (celui dont on détermine l’information infrarouge GIR). Il y a donc neuf pixels considérés comme voisins des pixels IR 21 utilisés à l’étape b), dont seulement cinq appartiennent au motif 175. Sur la figure 7, tous les pixels photosensibles 21, 21’ dont le signal est utilisé pour calculer l’intensité globale locale verte Gmsont hachurés verticalement.
Comme le montre la figure 7, dans le cas d’une interpolation linéaire, on peut prévoir que le pixel vert 180 ait un poids de 4, que les quatre pixels verts 181 situés à une unité en diagonale (soit 1,41 unités) aient alors un poids de 1,41 et que les quatre pixels verts 182 situés à deux unités verticalement et horizontalement aient alors un poids de 1.
Comme le montre la figure 7, dans le cas d’une interpolation gaussienne, on prévoir que le pixel vert 180 ait un poids de 5, que les quatre pixels verts 181 situés à une unité en diagonale aient alors un poids de 2 et que les quatre pixels verts 182 situés à deux unités verticalement et horizontalement aient alors un poids de 1.
Comme il y a moins de pixels bleus 190, les pixels photosensibles 21, 21’ utilisés pour l’interpolation sont situés plus loin que dans le cas vert. Ici, les pixels considérés sont les quatre pixels bleus 191 situés à deux unités en diagonale et le pixel bleu 190 lui-même. Il y a donc cinq pixels considérés comme voisins des pixels IR 21 utilisés à l’étape b), dont seulement deux appartiennent au motif 175. Sur la figure 7, tous les pixels photosensibles 21, 21’ dont le signal est pris en compte pour calculer l’intensité globale bleue verte Bmsont hachurés horizontalement.
Dans ce cas, l’interpolation linéaire et l’interpolation gaussienne sont semblables car il n’y a qu’une distance prise en compte (celle entre le bleu 190 lui-même et un pixel bleu 191 en diagonale). Sur la figure 7, on peut ainsi prévoir que le pixel bleu 190 ait un poids de 4 et que les quatre pixels bleus 191 situés à deux unités en diagonale aient alors un poids de 1.
Pour un pixel rouge 200, la situation est similaire au cas d’un pixel bleu 190.
Avec une matrice de pixel de motif 175 « 2x2 », on peut envisager que pour un pixel couleur 21’ donné, l’interpolation de l’intensité globale locale Rm, Gm, Bmsoit basée sur la moyenne de deux signaux générés par des pixels couleurs 21’. Le premier signal est celui généré par le pixel couleur 21’ donné. Le deuxième signal est celui généré par l’autre pixel couleur 21’ de même couleur, situé à l’opposé du pixel couleur 21’ par rapport au pixel IR 21 utilisé à l’étape b) (c’est-à-dire le pixel IR 21 appartenant au motif 175 du pixel couleur 21’) et adjacent à ce pixel IR 21.
Enfin, la netteté de l’image infrarouge reconstruite selon l’invention peut être quantifiée grâce à une métrique appelée fonction de transfert de modulation. La fonction de transfert de modulation permet de caractériser la capacité du système optique à restituer du contraste en fonction de la finesse des détails de l'objet. Sur la base de d’images standardisées couramment utilisées dans le domaine du traitement d’images (des images représentant des alternations de lignes blanches et noires, non représenté), le demandeur a démontré que la fonction de transfert de modulation de l’image reconstruite par la méthode selon l’invention était supérieure, à n’importe quelle fréquence, à la fonction de transfert de modulation d’une image interpolée par les techniques conventionnelles.

Claims (15)

  1. Dispositif de capture d’image (1) comprenant :
    - un réseau (170) de filtres optiques recevant un rayonnement électromagnétique et comprenant des premier filtres optiques (171) aptes à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde données de l’infrarouge, ainsi que des seconds filtres optiques (172 ; 173 ; 174) aptes à transmettre une seconde partie du rayonnement électromagnétique située dans le visible et la première partie du rayonnement électromagnétique,
    - une matrice (19) de pixels photosensibles (21 ; 21’) comprenant des premiers pixels photosensibles (21) disposés en vis-à-vis des premiers filtres optiques (171) de façon à recevoir la première partie du rayonnement électromagnétique, ainsi que des seconds pixels photosensibles (21’) disposés en vis-à-vis des seconds filtres optiques (172 ; 173 ; 174) de façon à recevoir la première partie et la seconde partie du rayonnement électromagnétique, chaque pixel photosensible (21 ; 21’) générant ainsi un signal représentatif de l’intensité du rayonnement électromagnétique qu'il capte ;
    le dispositif de capture d’images (1) étant caractérisé en ce qu’il comprend en outre un calculateur (12) programmé pour :
    - évaluer une intensité visible locale (Rv ; Gv ; Bv) représentative d’une intensité de la seconde partie du rayonnement électromagnétique dans une région incluant au moins un second filtre optique donné (172 ; 173 ; 174) parmi lesdits seconds filtres optiques (172 ; 173 ; 174) ;
    - évaluer, sur la base de ladite intensité visible locale (Rv ; Gv ; Bv) et du signal généré par le second pixel photosensible (21’) en vis-à-vis dudit second filtre optique donné (172 ; 173 ; 174), une information infrarouge (RIR ; GIR ; BIR) associée audit second pixel photosensible (21’) et représentative d’une partie du signal généré par ledit second pixel (21’) correspondant à la première partie du rayonnement électromagnétique.
  2. Dispositif selon la revendication 1, dans lequel le calculateur (12) est programmé pour évaluer ladite information infrarouge (RIR ; GIR ; BIR) dudit second pixel photosensible (21’) en effectuant la différence entre ladite intensité visible locale (Rv ; Gv ; Bv) et le signal généré par ledit second pixel photosensible (21’).
  3. Dispositif selon la revendication 1 ou 2, dans lequel le calculateur (12) est programmé pour évaluer ladite intensité visible locale (Rv ; Gv ; Bv) en prenant en compte une intensité infrarouge locale (IRm) qui est représentative d’une intensité de la première partie du rayonnement électromagnétique dans ladite région et qui est estimée sur la base d’au moins un signal généré par un premier pixel photosensible (21) voisin dudit second pixel photosensible (21’).
  4. Dispositif selon la revendication 3, dans lequel le calculateur (12) est programmé pour estimer ladite intensité infrarouge locale (IRm) en interpolant, de façon linéaire ou gaussienne, ledit au moins un signal généré par un premier pixel photosensible (21).
  5. Dispositif selon la revendication 3 ou 4, dans lequel le calculateur (12) est programmé pour évaluer ladite intensité visible locale (Rv ; Gv ; Bv) en prenant en compte une intensité globale locale (Rm ; Gm ; Bm) qui est représentative d’une intensité de la première et de la seconde partie du rayonnement électromagnétique dans ladite région et qui est estimée sur la base d’au moins deux signaux générés par des seconds pixels photosensibles (21’) voisins dudit premier pixel photosensible (21).
  6. Dispositif selon la revendication 5, dans lequel le calculateur (12) est programmé pour estimer ladite intensité globale locale (Rm ; Gm ; Bm) en interpolant, de façon linéaire ou gaussienne, lesdits au moins deux signaux générés des seconds pixels photosensibles (21’).
  7. Dispositif selon la revendication 5 ou 6, dans lequel le calculateur (12) est programmé pour évaluer ladite intensité visible locale (Rv ; Gv ; Bv) en effectuant la différence entre ladite intensité globale locale (Rm ; Gm ; Bm) et de ladite intensité infrarouge locale (IRm).
  8. Dispositif selon l’une des revendications 3 à 7, dans lequel le calculateur (12) est programmé pour estimer ladite intensité infrarouge locale (IRm) sur la base d’un unique signal généré par un premier pixel photosensible (21) qui est adjacent audit second pixel photosensible (21’).
  9. Dispositif selon la revendication 8, dans lequel le calculateur (12) est programmé pour estimer ladite intensité globale locale (Rm ; Gm ; Bm) sur la base d’au moins deux signaux générés par des seconds pixels photosensibles (21’) adjacents au premier pixel photosensible générant ledit unique signal (21).
  10. Dispositif selon l’une des revendications 5 à 9, dans lequel le calculateur (12) est programmé pour estimer ladite intensité globale locale (Rm, Gm, Bm) sur la base des au moins deux signaux générés par des seconds pixels photosensibles (21’) qui sont disposés en vis-à-vis d’un second filtre optique (172 ; 173 ; 174) identique audit second filtre optique donnée (172 ; 173 ; 174).
  11. Dispositif selon l’une des revendications 1 à 10, dans lequel le calculateur (12) est programmé pour évaluer l’information infrarouge (RIR ; GIR ; BIR) associé à chaque second pixel photosensible (21’) de la matrice (19) de pixels photosensibles (21 ; 21’) du dispositif de capture d’images (1).
  12. Dispositif selon l’une des revendications 1 à 11, dans lequel le calculateur (12) est programmé pour reconstruire une image infrarouge en combinant au moins une information infrarouge (RIR ; GIR ; BIR) et les signaux générés par les premiers pixels photosensibles (21).
  13. Procédé de capture d’images au moyen d’un dispositif de capture d’images (1) comprenant :
    - un réseau (170) de filtres optiques recevant un rayonnement électromagnétique et comprenant des premier filtres optiques (171) aptes à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde données de l’infrarouge, ainsi que des seconds filtres optiques (172 ; 173 ; 174) aptes à transmettre une seconde partie du rayonnement électromagnétique située dans le visible et la première partie du rayonnement électromagnétique,
    - une matrice (19) de pixels photosensibles (21 ; 21’) comprenant des premiers pixels photosensibles (21) disposés en vis-à-vis des premiers filtres optiques (171) de façon à recevoir la première partie du rayonnement électromagnétique, ainsi que des seconds pixels photosensibles (21’) disposés en vis-à-vis des seconds filtres optiques (172 ; 173 ; 174) de façon à recevoir la première partie et la seconde partie du rayonnement électromagnétique, chaque pixel photosensible (21 ; 21’) générant ainsi un signal représentatif de l’intensité du rayonnement électromagnétique qu'il capte ;
    ledit procédé de capture d’images étant caractérisée en ce qu’elle comprend les étapes suivantes :
    - évaluation d’une intensité visible locale (Rv ; Gv ; Bv) représentative d’une intensité de la seconde partie du rayonnement électromagnétique dans une région incluant au moins un second filtre optique donné (172 ; 173 ; 174) parmi lesdits seconds filtres optiques (172 ; 173 ; 174) ;
    - évaluation, sur la base de ladite intensité visible locale (Rv ; Gv ; Bv) et du signal généré par le second pixel photosensible (21’) en vis-à-vis dudit second filtre optique donné (172 ; 173 ; 174), d’une information infrarouge (RIR ; GIR ; BIR) associée audit second pixel photosensible (21’) et représentative d’une partie du signal généré par ledit second pixel (21’) correspondant à la première partie du rayonnement électromagnétique.
  14. Procédé selon la revendication 13 comprenant en outre l’étape suivante :
    - évaluation de ladite intensité visible locale (Rv ; Gv ; Bv) en prenant en compte une intensité infrarouge locale (IRm) qui est représentative d’une intensité de la première partie du rayonnement électromagnétique dans ladite région et qui est estimée sur la base d’au moins un signal généré par un premier pixel photosensible (21) voisin dudit second pixel photosensible (21’).
  15. Procédé selon la revendication 14 comprenant en outre l’étape suivante :
    - évaluation de ladite intensité visible locale (Rv ; Gv ; Bv) en prenant en compte une intensité globale locale (Rm ; Gm ; Bm) qui est représentative d’une intensité de la première et de la seconde partie du rayonnement électromagnétique dans ladite région et qui est estimée sur la base d’au moins deux signaux générés par des seconds pixels photosensibles (21’) voisins dudit premier pixel photosensible (21).
FR1910701A 2019-09-27 2019-09-27 Dispositif de capture d’images et procédé de capture d’images Active FR3101504B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1910701A FR3101504B1 (fr) 2019-09-27 2019-09-27 Dispositif de capture d’images et procédé de capture d’images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1910701A FR3101504B1 (fr) 2019-09-27 2019-09-27 Dispositif de capture d’images et procédé de capture d’images
FR1910701 2019-09-27

Publications (2)

Publication Number Publication Date
FR3101504A1 true FR3101504A1 (fr) 2021-04-02
FR3101504B1 FR3101504B1 (fr) 2022-01-28

Family

ID=68987973

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1910701A Active FR3101504B1 (fr) 2019-09-27 2019-09-27 Dispositif de capture d’images et procédé de capture d’images

Country Status (1)

Country Link
FR (1) FR3101504B1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2017118284A (ja) * 2015-12-23 2017-06-29 日立マクセル株式会社 撮像装置
US20180197274A1 (en) * 2017-01-11 2018-07-12 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2017118284A (ja) * 2015-12-23 2017-06-29 日立マクセル株式会社 撮像装置
US20180197274A1 (en) * 2017-01-11 2018-07-12 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays

Also Published As

Publication number Publication date
FR3101504B1 (fr) 2022-01-28

Similar Documents

Publication Publication Date Title
CA2909554C (fr) Dispositif d'acquisition d'images bimode
EP3973693B1 (fr) Dispositif de capture d'images à expositions multiples et système de surveillance d'un conducteur associé
EP2426639B1 (fr) Procédé de démosaïçage d'une image brute numérique, programme d'ordinateur et circuit imageur ou graphique correspondants
CA2835047C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
EP3387824B1 (fr) Système et procédé d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
EP3657784B1 (fr) Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés
EP2160904B1 (fr) Capteur d'images numeriques, procede d'acquisition et de reconstruction d'images, et systeme de mise en uvre
FR3038431A1 (fr) Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes
WO2020126179A1 (fr) Dispositif de capture d'images et système associé de surveillance d'un conducteur
FR3054093B1 (fr) Procede et dispositif de detection d'un capteur d'images
FR3104363A1 (fr) Dispositif de capture d’images
FR3101504A1 (fr) Dispositif de capture d’images et procédé de capture d’images
FR3102324A1 (fr) Procédé d’acquisition d’une image couleur et d’une image infra-rouge et système mettant en œuvre ledit procédé
FR3081585A1 (fr) Systeme de production d'image d'un conducteur d'un vehicule et systeme embarque associe
FR3078427A1 (fr) Detection dynamique de lumiere parasite dans une image numerique
EP3427225A1 (fr) Procédé de traitement d'images
WO2023110922A1 (fr) Camera multispectrale a acquisition " snapshot " (instantanee)
WO2020193320A1 (fr) Dispositif, systeme et procede de capture d'image
FR3136926A1 (fr) Appareil photo couleur et monochrome
FR3137521A1 (fr) Dispositif de capture d’image et système de surveillance d’un conducteur d’un véhicule
FR3127665A1 (fr) Procédé de traitement, au sein d’une chaine de traitement d’image, d’une matrice de pixels et dispositif électronique correspondant.
FR3098962A1 (fr) Système de détection d’une particularité hyperspectrale
FR3005226A1 (fr) Saisie d'image avec addition de signaux d'accumulation pour des photodetecteurs adjacents
EP1599050A1 (fr) Procédé de dématriçage d'image

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20210402

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5