FR3104363A1 - Dispositif de capture d’images - Google Patents
Dispositif de capture d’images Download PDFInfo
- Publication number
- FR3104363A1 FR3104363A1 FR1913946A FR1913946A FR3104363A1 FR 3104363 A1 FR3104363 A1 FR 3104363A1 FR 1913946 A FR1913946 A FR 1913946A FR 1913946 A FR1913946 A FR 1913946A FR 3104363 A1 FR3104363 A1 FR 3104363A1
- Authority
- FR
- France
- Prior art keywords
- infrared
- signal
- image capture
- capture device
- radiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005855 radiation Effects 0.000 claims abstract description 84
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims description 57
- 230000010354 integration Effects 0.000 claims description 19
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000007423 decrease Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
L’invention concerne dispositif de capture d’images comprenant une matrice de pixels comprenant des premiers pixels disposés en vis-à-vis de premiers filtres aptes à transmettre une première partie d’un rayonnement électromagnétique comprise dans une plage de longueurs d’onde donnée de l’infrarouge, ainsi que des seconds pixels disposés en vis-à-vis des seconds filtres, aptes à transmettre une seconde partie du rayonnement située dans le visible et la première partie du rayonnement. Selon l’invention, le dispositif de capture d’images comprenant un calculateur programmé pour : a) déterminer au moins un coefficient de mixage (K) ; b) déterminer un signal de sortie (S) sur la base d’au moins un signal couleur (Srgb) généré par un second pixel photosensible et sur la base d’au moins un signal infrarouge (Sir) généré par un premier pixel photosensible pondéré par ledit au moins un coefficient de mixage. Figure 5
Description
Domaine technique auquel se rapporte l'invention
La présente invention concerne un dispositif de capture d’images.
Arrière-plan technologique
Des dispositifs de capture d’images permettant de visualiser une scène donnée, à la fois dans le domaine visible et dans le domaine infrarouge, et cela avec un même capteur d’images, ont été développés récemment.
Le capteur d’images d’un tel dispositif, en quelque sorte hybride, est parfois appelé capteur d’images « RGB-IR » (selon l’acronyme anglo-saxon de Red Green Blue – InfraRed, c’est-à-dire Rouge Vert Bleu – InfraRouge).
Ce capteur d’images comprend une matrice de pixels photosensibles et un réseau de filtres optiques coïncidant avec ces différents pixels photosensibles.
Une partie de ces filtres optiques sont des filtres colorés. Ils transmettent chacun une partie du rayonnement visible reçu par le capteur d’images, cette partie correspondant en pratique à un rouge, à un vert, ou à un bleu. Ces différents filtres colorés, permettent d’acquérir une image en couleurs, par exemple de type « RGB ». Les images en couleurs peuvent par exemple être utilisées pour des fonctions telles que la vidéoconférence ou la prise de photos. Ces filtres colorés transmettent également une partie du rayonnement infrarouge reçu par le capteur d’images.
Les autres filtres optiques élémentaires du capteur d’images transmettent uniquement la partie infrarouge du rayonnement reçu par le capteur. Ils permettent d’acquérir une image infrarouge de la scène en question.
Classiquement, l’image en couleurs est corrigée par soustraction de l’image infrarouge dans le but d’obtenir un rendu fidèle des couleurs. En conséquence, dans des conditions de luminosité basse, telles qu’une entrée dans un parking ou un tunnel ou à la tombée de la nuit (c’est-à-dire quand l’intensité du rayonnement visible est faible), l’image en couleurs apparait sombre et bruitée.
Une solution pour améliorer la qualité de l’image est d’augmenter la durée d’intégration de la prise de vue. Cependant, la durée d’intégration maximale est limitée lorsque les images sont acquises à une fréquence donnée, par exemple pour réaliser une vidéo. Une solution pour augmenter la luminosité de l’image est d’augmenter le gain du capteur d’images mais cela augmente également le bruit de l’image.
Objet de l’invention
Dans ce contexte, la présente invention propose un dispositif de capture d’images comprenant un capteur d’images qui comporte :
- un réseau de filtres optiques recevant un rayonnement électromagnétique et comprenant des premiers filtres optiques aptes chacun à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde donnée de l’infrarouge, ainsi que des deuxièmes filtres optiques aptes chacun à transmettre au moins une composante d’une deuxième partie du rayonnement électromagnétique située dans le visible;
- une matrice de pixels photosensibles comprenant des premiers pixels photosensibles disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers filtres optiques, ainsi que des deuxièmes pixels photosensibles disposés de façon à capter la composante transmise par les deuxièmes filtres optiques, chacun des premiers et deuxièmes pixels photosensibles étant apte à générer un signal électrique représentatif de la puissance du rayonnement électromagnétique qu’il capte;
le dispositif de capture d’images comprenant en outreun calculateur programmé pour exécuter les étapes suivantes:
a) déterminer au moins un coefficient de mixage ;
b) déterminer un signal de sortie sur la base d’au moins un signal couleur généré par un second pixel photosensible et sur la base d’au moins un signal infrarouge généré par un premier pixel photosensibles pondéré par ledit au moins un coefficient de mixage.
- un réseau de filtres optiques recevant un rayonnement électromagnétique et comprenant des premiers filtres optiques aptes chacun à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde donnée de l’infrarouge, ainsi que des deuxièmes filtres optiques aptes chacun à transmettre au moins une composante d’une deuxième partie du rayonnement électromagnétique située dans le visible;
- une matrice de pixels photosensibles comprenant des premiers pixels photosensibles disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers filtres optiques, ainsi que des deuxièmes pixels photosensibles disposés de façon à capter la composante transmise par les deuxièmes filtres optiques, chacun des premiers et deuxièmes pixels photosensibles étant apte à générer un signal électrique représentatif de la puissance du rayonnement électromagnétique qu’il capte;
le dispositif de capture d’images comprenant en outreun calculateur programmé pour exécuter les étapes suivantes:
a) déterminer au moins un coefficient de mixage ;
b) déterminer un signal de sortie sur la base d’au moins un signal couleur généré par un second pixel photosensible et sur la base d’au moins un signal infrarouge généré par un premier pixel photosensibles pondéré par ledit au moins un coefficient de mixage.
Ainsi, grâce à l’invention, dans le calcul d’un signal de sortie,le poids d’un signal infrarouge généré par un premier pixel photosensible (représentatif de la partie infrarouge du rayonnement) est ajusté par un coefficient de mixage. Cela permet de construire une image de sortie qui ne soit pas une simple différence entre l’image en couleurs et l’image infrarouge.
En d’autres termes, l’image de sortie correspond à une combinaison astucieuse de l’image en couleurs et de l’image infrarouge. Cette combinaison est réalisée par exemple grâce au coefficient de mixage de façon à ce que lorsque les conditions de luminosité sont basses, seulement une partie de l’image infrarouge puisse être soustraite à l’image en couleurs. Ceci permet de conserver une image la plus colorée possible et avec une luminosité et une qualité satisfaisante. On entend par qualité satisfaisante par exemple un rapport signal sur bruit supérieur à 10.
Avantageusement, le coefficient de mixage peut être déterminé sur la base d’un rapport d’une luminance dans le domaine visible sur une luminance dans le domaine infrarouge.
Ceci permet d’ajuster en temps réel le signal de sortie, et doncin finel’image de sortie, aux conditions de luminosité, par exemple à l’entrée dans un tunnel.
Avantageusement, le dispositif de capture d’images peut comprendre un illuminateur infrarouge configuré pour émettre un rayonnement infrarouge artificiel vers un champ de vision du dispositif de capture d’images, ledit rayonnement infrarouge artificiel étant situé au moins en partie dans ladite plage de longueurs d’onde transmises par les premiers filtres optiques, ledit dispositif de capture d’images étant conçu pour que ledit au moins un signal couleur et ledit au moins un signal infrarouge soient générés lorsque l’illuminateur infrarouge émet ledit rayonnement infrarouge artificiel.
Ceci permet d’augmenter l’amplitude du signal de sortie en augmentant l’amplitude du signal couleur (car les seconds pixels photosensibles captent une partie du rayonnement infrarouge). Ainsi, dans des conditions où le rayonnement visible et le rayonnement infrarouge sont très faibles, l’image de sortie conserve une luminosité et une qualité satisfaisante. Autrement dit, quand le rayonnement électromagnétique extérieur n’est plus suffisant, l’illuminateur infrarouge fournis le rayonnement électromagnétique nécessaire.
D’autres caractéristiques non limitatives et avantageuses du dispositif de capture d’images conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :
- le calculateur est programmé pour déterminer ledit au moins un coefficient de mixage sur la base d’au moins une luminance dans le domaine infrarouge calculée sur la base d’au moins un signal généré par un premier pixel photosensible;
- le calculateur est programmé pour déterminer ledit au moins un coefficient de mixage sur la base d’une luminance dans le domaine visible calculée sur la base d’au moins un signal généré par un second pixel photosensible;
- le calculateur est programmé pour déterminer ledit au moins un coefficient de mixage sur la base d’au moins un des paramètres suivants: une durée d’intégration, un gain, un rapport signal sur bruit ;
- le calculateur est programmé pour déterminer ledit signal de sortie en effectuant la différence entre ledit signal couleur et ledit au moins un signal infrarouge pondéré par ledit au moins un coefficient de mixage;
- le dispositif de capture d’images est conçu pour que l’intensité dudit rayonnement infrarouge artificiel soit déterminée sur la base dudit au moins un coefficient de mixage;
- le calculateur est programmé pour :
i) déterminer ladite luminance dans le domaine visible sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge n’émet aucun rayonnement infrarouge, par un second pixel photosensible;
ii) déterminer une première luminance dans le domaine infrarouge sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge n’émet aucun rayonnement infrarouge, par un premier pixel photosensible;
iii) déterminer une deuxième luminance dans le domaine infrarouge sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge émet ledit rayonnement infrarouge artificiel,par un premier pixel photosensible;
iv) déterminer ledit au moins un coefficient de mixage sur la base de ladite luminosité ambiante dans le domaine visible, de ladite première luminosité ambiante dans le domaine infrarougeet de ladite deuxième luminosité ambiante dans le domaine infrarouge;
- le calculateur est programmé pour déterminer ledit signal de sortie sur la base:
i) d’au moins un signal, généré par un second pixel photosensible lorsque l’illuminateur infrarouge n’émet aucun rayonnement infrarouge,
ii) d’au moins un signal, généré par un premier pixel photosensible lorsque l’illuminateur infrarouge n’émet aucun rayonnement infrarouge,et pondéré par un premier coefficient de mixage, et
iv) d’au moins un signal, généré par un premier pixel photosensible lorsque l’illuminateur infrarouge émet ledit rayonnement infrarouge artificiel, et pondéré par un deuxième coefficient de mixage.
- le calculateur est programmé pour déterminer ledit au moins un coefficient de mixage sur la base d’au moins une luminance dans le domaine infrarouge calculée sur la base d’au moins un signal généré par un premier pixel photosensible;
- le calculateur est programmé pour déterminer ledit au moins un coefficient de mixage sur la base d’une luminance dans le domaine visible calculée sur la base d’au moins un signal généré par un second pixel photosensible;
- le calculateur est programmé pour déterminer ledit au moins un coefficient de mixage sur la base d’au moins un des paramètres suivants: une durée d’intégration, un gain, un rapport signal sur bruit ;
- le calculateur est programmé pour déterminer ledit signal de sortie en effectuant la différence entre ledit signal couleur et ledit au moins un signal infrarouge pondéré par ledit au moins un coefficient de mixage;
- le dispositif de capture d’images est conçu pour que l’intensité dudit rayonnement infrarouge artificiel soit déterminée sur la base dudit au moins un coefficient de mixage;
- le calculateur est programmé pour :
i) déterminer ladite luminance dans le domaine visible sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge n’émet aucun rayonnement infrarouge, par un second pixel photosensible;
ii) déterminer une première luminance dans le domaine infrarouge sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge n’émet aucun rayonnement infrarouge, par un premier pixel photosensible;
iii) déterminer une deuxième luminance dans le domaine infrarouge sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge émet ledit rayonnement infrarouge artificiel,par un premier pixel photosensible;
iv) déterminer ledit au moins un coefficient de mixage sur la base de ladite luminosité ambiante dans le domaine visible, de ladite première luminosité ambiante dans le domaine infrarougeet de ladite deuxième luminosité ambiante dans le domaine infrarouge;
- le calculateur est programmé pour déterminer ledit signal de sortie sur la base:
i) d’au moins un signal, généré par un second pixel photosensible lorsque l’illuminateur infrarouge n’émet aucun rayonnement infrarouge,
ii) d’au moins un signal, généré par un premier pixel photosensible lorsque l’illuminateur infrarouge n’émet aucun rayonnement infrarouge,et pondéré par un premier coefficient de mixage, et
iv) d’au moins un signal, généré par un premier pixel photosensible lorsque l’illuminateur infrarouge émet ledit rayonnement infrarouge artificiel, et pondéré par un deuxième coefficient de mixage.
Description détaillée d’un exemple de réalisation
La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.
Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
Sur les dessins annexés:
Bien entendu, diverses autres modifications peuvent être apportées à l’invention dans le cadre des revendications annexées.
Pour faciliter la lecture, le «rayonnement électromagnétique» sera parfois simplement nommé «rayonnement», on s’attachera néanmoins à utiliser la dénomination complète lorsqu’il faudra décrire précisément ses effets.
De même, le «domaine visible» et le «domaine infrarouge» seront utilisés pour décrire respectivement le domaine (une plage de longueurs d’onde) de la lumière visible et le domaine (une plage de longueurs d’onde) de la lumière infrarouge.
L’invention est ici décrite dans le cas où elle est utilisée au sein d’un système de surveillance du conducteur 3. Dans le cas de ce système de surveillance, le dispositif de capture d’images 1 est orienté de manière à ce que son champ de vision 15 couvre une zone habituellement occupée par la tête du conducteur 3 lorsque celui-ci est en position de conduite. Le dispositif de capture d’images 1 peut ainsi capturer des images du visage du conducteur 3. L’invention peut toutefois s’appliquer également à toute autre utilisation envisageable d’un tel dispositif de capture d’images 1.
Comme le montre la figure 1, le dispositif de capture d’images 1 est situé dans un habitacle 7 du véhicule, dans une région proche d’un pare-brise 5 du véhicule. Il est par exemple intégré dans une planche de bord ou dans une console de commande du véhicule.
Le dispositif de capture d’images 1 comprend :
- un capteur d’images 9 qui comprend une matrice 19 de pixels photosensibles 21, 21’,
- un système optique 10 tel qu’un objectif, qui forme sur le capteur d’images 9 une image du contenu du champ de vision 15 du dispositif de capture d’images 1,
- un module de prétraitement 11, pour amplifier des signaux produits par les pixels photosensibles 21, 21’ du le capteur d’images 9, puis pour réaliser une conversion analogique-numérique de ces signaux,
- un calculateur 12, configuré pour traiter ces signaux afin de produire une ou plusieurs images représentatives du contenu du champ de vision 15 du dispositif de capture d’images 1,
- un illuminateur infrarouge 6, par exemple une LED infrarouge, qui éclaire en direction du champ de vision 15, de façon à illuminer ici le visage du conducteur 3.
- un capteur d’images 9 qui comprend une matrice 19 de pixels photosensibles 21, 21’,
- un système optique 10 tel qu’un objectif, qui forme sur le capteur d’images 9 une image du contenu du champ de vision 15 du dispositif de capture d’images 1,
- un module de prétraitement 11, pour amplifier des signaux produits par les pixels photosensibles 21, 21’ du le capteur d’images 9, puis pour réaliser une conversion analogique-numérique de ces signaux,
- un calculateur 12, configuré pour traiter ces signaux afin de produire une ou plusieurs images représentatives du contenu du champ de vision 15 du dispositif de capture d’images 1,
- un illuminateur infrarouge 6, par exemple une LED infrarouge, qui éclaire en direction du champ de vision 15, de façon à illuminer ici le visage du conducteur 3.
L’illuminateur infrarouge 6 permet de réaliser des images infrarouges du conducteur 3 même lorsque la luminosité extérieure est très faible. Pour cela l’illuminateur infrarouge 6 émet un rayonnement électromagnétique dans le domaine infrarouge en direction du conducteur 3. L’illuminateur infrarouge 6 peut par exemple être piloté par le calculateur 12 comme c’est le cas sur la figure 1.
Dans la suite, le rayonnement émis par l’illuminateur infrarouge 6 est appelé rayonnement infrarouge artificiel. Dans un état «allumé» l’illuminateur infrarouge 6 émet le rayonnement infrarouge artificiel et dans un état «éteint» l’illuminateur infrarouge 6 n’émet aucun rayonnement. De plus, quand cela facilite la compréhension, le rayonnement électromagnétique provenant de l’extérieur du véhicule, c’est-à-dire qui n’est pas émis par l’illuminateur infrarouge 6, est qualifié «d’extérieur» par opposition à celui produit dans l’habitacle 7.
Le capteur d’images 9 est un capteur que l’on peut qualifier d’hybride, permettant de visualiser le contenu du champ de vision 15 à la fois dans le domaine infrarouge, et dans le domaine visible.
Pour cela, le capteur d’images 9 est muni d’un réseau 170 de filtres optiques particulier (figures 2 et 3), comprenant une alternance de premiers filtres optiques 171, au moins partiellement transmissifs dans le domaine infrarouge, et de seconds filtres optiques 172, 173, 174 au moins partiellement transmissifs dans le domaine visible et dans le domaine infrarouge. Ce réseau 170 de filtres optiques permet par exemple, avec une même matrice 19 de pixels photosensibles 21, 21’, d’obtenir à la fois une image dans le domaine visible (appelée «image en couleurs») et une image dans le domaine infrarouge (appelée «image infrarouge»).
Comme on peut le voir sur la figure 3, chaque filtre optique 171, 173 du réseau 170 de filtres optiques du capteur d’images 9 est disposé en vis-à-vis de l’un des pixels photosensibles 21, 21’ de la matrice 19, de manière à filtrer un rayonnement électromagnétique provenant du champ de vision 15 du dispositif de capture d’images 1 (rayonnement qui a été collecté par le système optique 10), avant que ce rayonnement n’atteigne le pixel photosensible 21, 21’ en question. Chaque pixel photosensible 21, 21’ reçoit ainsi une partie du rayonnement électromagnétique qui a été transmise par le filtre optique 171, 172, 173, 174 auquel il est associé (ce filtre optique constituant un élément filtrant, pour le rayonnement électromagnétique qu’il reçoit).
Les premiers filtres optiques 171 sont aptes chacun à transmettre une première partie du rayonnement électromagnétique située dans le domaine infrarouge. Cette partie du rayonnement transmise par les premiers filtres optiques 171 est appelée portion infrarouge. Ici, les premiers filtres optiques 171 transmettent majoritairement des longueurs d’onde situées dans une plage de longueurs d’onde de l’infrarouge. Cette plage de longueurs d’onde s’étend majoritairement au-delà de 700 nm. Elle peut par exemple s’étendre de 700 nm à 1100 nm.
Chacun des seconds filtres optiques 172, 173, 174 est apte à transmettre au moins une composante d’une seconde partie du rayonnement électromagnétique située dans le domaine visible et une partie du rayonnement électromagnétique située dans le domaine infrarouge. La seconde partie du rayonnement, transmise par les seconds filtres optiques 172, 173, 174, est appelée portion visible. Ici, la seconde partie du rayonnement est comprise dans les plages de longueurs d’onde allant de 400 nm à 650 nm.
Les premiers filtres 171 transmettent également une partie négligeable de la seconde partie du rayonnement électromagnétique. Ils se distinguent des seconds filtres optiques 172, 173, 174 en ce qu’ils transmettent très majoritairement la première partie du rayonnement électromagnétique. Comme le montre la figure 4, leur efficacité dans le domaine visible est très faible (au moins six fois inférieure à celle dans l’infrarouge).
Les seconds filtres optiques 172, 173, 174 quant à eux sont des filtres que l’on peut qualifier de «double passe bande» possédant deux domaines de transmission distincts. Une bande passante basse fréquence transmet la portion infrarouge du rayonnement. Une bande passante haute fréquence transmet la portion visible du rayonnement.
La figure 4 montre l’efficacité quantique d’un pixel photosensible 21, 21’ en vis-à-vis d’un premier filtre optique 171 (courbe 171’) et les efficacités quantiques de pixels photosensibles 21, 21’ en vis-à-vis des seconds filtres optiques 172, 173, 174 (courbes 172’, 173’, 174’). L’efficacité quantique (en pourcentage) représente le taux de conversion de photons en charges électriques. En d’autres termes, ce graphique montre la transmission en fonction de la longueur d’onde pour chaque filtre optique 171, 172, 173, 174. Pour une longueur d’onde donnée, plus la transmission est élevée, plus la probabilité qu’un photon de cette longueur d’onde parvienne jusqu’au pixel photosensible 21, 21’ et génère une charge électrique est grande.
Par exemple, chacun des premiers filtres optiques 171 transmet principalement les photons dont la longueur d’onde est comprise entre 800 nm et 900 nm et absorbe les autres photons. Il absorbe notamment très fortement (mais pas totalement en pratique) les photons visibles. Cela est notamment illustré par le fait que la courbe 171’ représentant l’efficacité quantique d’un premier filtre 171 présente un unique pic à 850 nm.
Chacune des courbes 172’, 173’, 174’ présentant l’efficacité quantique des seconds filtres optiques 172, 173, 174 présente un pic dans le domaine visible. Les trois pics sont situés à trois longueurs d’onde différentes dans le domaine visible, soient respectivement un pic dans le rouge autour de 610 nm, un pic dans le vert autour de 540 nm et un pic dans le bleu autour de 450 nm. De plus, chaque courbe 172’, 173’, 174’ présente un pic à 850 nm d’une amplitude environs deux fois plus faible que celle de leur pic respectif dans le domaine visible. Cela montre que des pixels photosensibles 21’ en vis-à-vis des seconds filtres optiques 172, 173, 174, sont sensibles à la fois à une partie infrarouge d’un rayonnement et à une partie visible (rouge, verte ou bleue) d’un rayonnement.
Les seconds filtres optiques 172, 173, 174 comprennent des filtres optiques rouges 172, des filtres optiques verts 173 et des filtres optiques bleus 174. Les termes « rouge », « vert » et « bleu » sont utilisés dans leur sens commun. Les valeurs des bandes passantes rouge, verte et bleue énoncées ci-après et illustrées en figure 4 sont données à titre d’exemple non limitatif.
Les filtres optiques rouges 172 ont ici une bande passante haute fréquence comprise principalement entre 550 nm et 700 nm. La portion visible du rayonnement transmise par bande passante haute fréquence des filtres optiques rouges 172 est constituée majoritairement de longueurs d’onde comprises entre 550 nm et 700 nm. Dans l’ensemble, les longueurs d’onde transmisses par les filtres rouges 172 sont donc majoritairement comprises entre 550 nm et 700 nm et entre 800 nm et 900 nm.
Les filtres optiques verts 173 ont ici une bande passante haute fréquence comprise principalement entre 450 nm et 650 nm. La portion visible du rayonnement transmise par bande passante haute fréquence des filtres optiques verts 173 est constituée majoritairement de longueurs d’onde comprises entre 450 nm et 650 nm. Dans l’ensemble, les longueurs d’onde transmisses par les filtres verts 173 sont donc majoritairement comprises entre 450 nm et 650 nm et entre 800 et 900 nm.
Les filtres optiques bleus 174 ont ici une bande passante haute fréquence comprise principalement entre 400 nm et 550 nm. La portion visible du rayonnement transmise par bande passante haute fréquence des filtres optiques bleus 174 est constituée majoritairement de longueurs d’onde comprises entre 400 nm et 550 nm. Dans l’ensemble, les longueurs d’onde transmisses par les filtres bleus 174 sont donc majoritairement comprises entre 400 nm et 550 nm et entre 800 et 900 nm.
Les différents filtres optiques 171, 172, 173, 174 du réseau 170 de filtres optiques sont agencés les uns par rapport aux autres de manière à former un motif 175, répété régulièrement pour former le réseau 170 de filtres optiques. Ce motif 175 comprend ici les quatre filtres optiques présentés ci-dessus. Une partie d’un tel réseau 170 est illustré en figure 2.
Pour ce qui des pixels photosensibles 21, 21’, la matrice 19 comprend:
- des premiers pixels photosensibles 21, chacun disposé de façon à capter la première partie du rayonnement électromagnétique transmise par l’un des premiers filtres optiques 171 (c’est-à-dire la portion infrarouge du rayonnement) et
- des seconds pixels photosensibles 21’, chacun disposé de façon à capter la composante, rouge, verte ou bleue, transmises par l’un des seconds filtres optiques 172, 173, 174 (c’est-à-dire une composante de la portion visible du rayonnement) et la première partie du rayonnement électromagnétique.
- des premiers pixels photosensibles 21, chacun disposé de façon à capter la première partie du rayonnement électromagnétique transmise par l’un des premiers filtres optiques 171 (c’est-à-dire la portion infrarouge du rayonnement) et
- des seconds pixels photosensibles 21’, chacun disposé de façon à capter la composante, rouge, verte ou bleue, transmises par l’un des seconds filtres optiques 172, 173, 174 (c’est-à-dire une composante de la portion visible du rayonnement) et la première partie du rayonnement électromagnétique.
Les premiers pixels photosensibles 21 sont par la suite appelés «pixels IR» (pour pixels InfraRouges).
Les seconds pixels photosensibles 21’ sont par la suite appelés «pixels couleurs», un pixel couleur pouvant être un «pixel rouge» s’il est disposé en vis-à-vis d’un filtre rouge 172, un «pixel vert» s’il est disposé en vis-à-vis d’un filtre vert 173 ou un «pixel bleu» s’il est disposé en vis-à-vis d’un filtre bleu 174.
Comme le montre la figure 2, le motif 175 est ici un le motif «4x4» de quatre pixels photosensibles 21, 21’ de large et qui comprend quatre pixels IR 21 (représentés par les lettres IR), deux pixels rouges (représentés par la lettre R), huit pixels verts (représentés par la lettre G) et deux pixels bleus (représentés par la lettre B). Le motif 175 comprend donc seize pixels photosensibles 21 ,21’ dont quatre pixels IR 21, soit 25% de pixels IR 21 et 75% de pixels couleurs 21’. Ce motif 175 présente l’avantage de posséder proportionnellement plus de pixel vert, ce qui est intéressant car l’œil humain possède une meilleure résolution dans cette partie du spectre visible. La figure 4 ne représente que quatre motifs «4x4», ce qui représente une partie restreinte de la matrice 19 de pixels photosensibles 21, 21’. En variante, le motif 175 pourrait être un motif «2x2» carré de deux pixels photosensibles 21, 21’ de large et qui comprend un pixel IR 21, un pixel rouge, un pixel vert et un pixel bleu.
Chacun des premiers et seconds pixels photosensibles 21, 21’ produit, par effet photo-électrique, une charge électrique ou une tension électrique qui dépend de l’intensité de la partie du rayonnement qu’il reçoit. Cela signifie que cette charge ou tension électrique est produite par la portion infrarouge du rayonnement pour les pixels IR 21 et que cette charge ou tension électrique est produite par la portion infrarouge et par la portion visible du rayonnement électromagnétique pour les pixels couleurs 21’.
Dans les modes de réalisation décrit ici, le substrat semi-conducteur de la matrice 19 de pixels photosensibles 21, 21’ est en Silicium (dopé de manière appropriée). La sensibilité des pixels photosensibles 21, 21’ dans le domaine infrarouge est ainsi limitée au domaine du proche infrarouge.
Le capteur d’images 9 est par exemple de type CMOS (selon l’acronyme anglo-saxon de «Complementary Metal Oxide Semiconductor») ou de type CCD (selon l’acronyme anglo-saxon de «Charge Coupled Device»).
Lorsque le dispositif de capture d’images 1 réalise une prise de vue:
- chaque pixel photosensible 21, 21’ de la matrice 19 du capteur d’images 9 accumule, pendant une durée d’intégration donnée, une charge ou une tension électrique générée par effet photoélectrique et délivre un signal représentatif de la charge ou de la tension électrique ainsi accumulée, puis
- le module de prétraitement 11 multiplie chacun de ces signaux par une valeur de gain donnée, puis réalise la conversion analogique-numérique des signaux ainsi amplifiés (ou éventuellement atténués).
- chaque pixel photosensible 21, 21’ de la matrice 19 du capteur d’images 9 accumule, pendant une durée d’intégration donnée, une charge ou une tension électrique générée par effet photoélectrique et délivre un signal représentatif de la charge ou de la tension électrique ainsi accumulée, puis
- le module de prétraitement 11 multiplie chacun de ces signaux par une valeur de gain donnée, puis réalise la conversion analogique-numérique des signaux ainsi amplifiés (ou éventuellement atténués).
La durée d’intégration est variable et peut dépendre, entre outre, des conditions de luminosité. En pratique, une longue durée d’intégration est choisie pour compenser une baisse de la luminosité ambiante. Cet ajustement peut être réalisé de façon automatique en utilisant le mode AEC du capteur d’images 9 (de l’anglais Automatic Exposure Control). Lorsque des images sont acquises en série à une fréquence donnée, la durée d’intégration peut correspondre à l’inverse de cette fréquence.
Le gain est variable et peut dépendre, entre outre, des conditions de luminosité. En pratique, un gain élevé est choisi pour compenser une baisse de la luminosité ambiante. Cet ajustement peut être réalisé de façon automatique en utilisant le mode AGC du capteur d’images 9 (de l’anglais Automatic Gain Control). Augmenter de façon trop importante le gain peut conduire à une dégradation de la qualité de l’image (une diminution du rapport signal sur bruit).
Comme expliqué plus haut, le dispositif de capture d’images 1 est capable de réaliser à la fois une image infrarouge et une image en couleurs.
L’image en couleurs est formée à partir d’une matrice de pixels images (non référencés), associés aux différents pixels photosensibles 21, 21’ du capteur d’images 9. Plus spécifiquement, l’image en couleurs est principalement formée à partir d’une matrice de pixels images associés aux pixels couleurs 21’. Le calculateur 12 est programmé ici pour mettre en œuvre un algorithme d’interpolation permettant de constituer une image en couleurs « complète » bien que seul un pixel couleur 21’ sur quatre pixels photosensibles 21, 21’ soit un pixel rouge, vert ou bleu. Autrement formulé, après interpolation, l’image en couleurs comprend ici autant de pixels images que ce que le capteur d’images 9 comprend de pixels photosensibles 21, 21’. On peut utiliser par exemple l’interpolation bilinéaire ou l’interpolation bicubique. Pour estimer un signal vert associé à un pixel photosensible 21, 21’ donné qui n’est pas vert, l’interpolation bilinéaire consiste par exemple à moyenner les signaux générés par les quatre pixels verts les plus proches du pixel photosensible 21, 21’ donnée.
L’image en couleurs peut, comme ici, comprendre trois canaux monochromes, un rouge, un vert et un bleu, formés respectivement à partir des pixels rouges, verts et bleus. Chacun de ces canaux est une image en niveaux de gris (chaque pixel image du canal considéré a une valeur de luminosité, mais pas de valeur de teinte ou de chrominance), associée à la couleur du canal considéré et de même taille que l’image en couleurs (c’est-à-dire comprenant le même nombre de pixels images).
L’image infrarouge est formée à partir d’une matrice de pixels images (non référencés), associés aux différents pixels photosensibles 21, 21’ du capteur d’images 9. Plus spécifiquement, l’image infrarouge est principalement formée à partir d’une matrice de pixels images associés aux pixels IR 21. Comme pour l’image en couleurs, le calculateur 12 peut mettre en œuvre un algorithme d’interpolation permettant de constituer une image infrarouge « complète » bien que seul un pixel photosensible 21, 21’ sur quatre soit un pixel IR 21. L’image infrarouge peut par exemple servir, dans le cas où le conducteur porte des lunettes de soleil, à visualiser les yeux même à travers les verres teintés.
Un tel dispositif de capture d’images 1 permet, grâce à un procédé dont les étapes sont présentées en figure 5 ou en figure 6, de construire une image de sortie en utilisant à la fois les signaux générés par les pixels couleurs 21’ et les signaux générés par les pixels IR 21.
L’image de sortie représente un intermédiaire, ou une combinaison, entre l’image en couleurs et de l’image infrarouge. Quand la luminosité extérieure diminue, l’image infrarouge prend un poids plus important dans la combinaison, l’image de sortie conserve une luminosité et une qualité satisfaisante et apparait moins colorée. De plus, l’image de sortie permet de visualiser des détails à la fois dans le domaine visible et dans le domaine infrarouge, par exemple à la fois des vaisseaux sanguins et les yeux derrière des lunettes de soleil.
Dans le cas où la portion visible du rayonnement est très supérieure à la portion infrarouge, l’image de sortie peut correspondre à l’image en couleurs. Dans le cas où la portion visible du rayonnement est très inférieure à la portion infrarouge (voire nulle), l’image de sortie peut correspondre à l’image infrarouge.
Dans un premier mode de réalisation de l’invention, lors d’une étape initiale e1), le calculateur 12 est programmé pour commander au capteur d’images 9 de réaliser une capture d’images C au cours de laquelle chaque pixel photosensible 21, 21’ génère un signal représentatif de la charge ou de la tension qu’il a produit.
Lors de la capture d’images C, la durée d’intégration et le gain peuvent être réglés automatiquement (mode AEC/AGC).
A l’étape e2), le calculateur 12 détermine une luminance visible Lrgbet une luminance infrarouge Lir.
La luminance visible Lrgb est déterminée à partir des signaux générés par des pixels couleurs 21’. Ici, pour chaque motif 175, la luminance Lrgbvisible est calculée en faisant une somme pondérée (par exemple par l’efficacité des seconds filtres optiques 172, 173, 174) des signaux générés par les pixels couleurs 21’. Une luminance visible unique pourrait être calculée sur la base de l’ensemble de la matrice 19 de pixels photosensibles 21, 21’.
La luminance infrarouge Lir est déterminée à partir de signaux générés par des pixels IR 21. Ici, pour chaque motif 175, la luminance infrarouge Lirest calculée en faisant une somme des signaux générés par les pixels IR 21. Une luminance infrarouge Lirunique pourrait être calculée pour l’ensemble de la matrice 19 des pixels photosensibles 21, 21’.
De jour, la luminance visible Lrgb est plus élevée que la luminance infrarouge Lir. La lumière extérieure permet au dispositif de capture d’images 1 de réaliser des images en couleurs d’objets présents dans le champ de vision 15. De nuit, la luminance visible Lrgb est plus faible que de jour, le dispositif de capture d’images 1 réalise alors principalement des images basées sur la portion infrarouge du rayonnement.
A l’étape e3), le calculateur 12 détermine un coefficient de mixage K. De préférence, le coefficient de mixage K est déterminé sur la base de la luminance visible Lrgbet/ou de la luminance infrarouge Lir. On peut prévoir de déterminer un coefficient de mixage unique pour toute la matrice 19 ou bien de déterminer un coefficient de mixage par groupe de pixels photosensibles 21, 21’ ou encore un coefficient de mixage par pixel couleur 21’ de la matrice 19.
Ici, un coefficient de mixage K est déterminé pour chaque motif 175.
De préférence, le coefficient de mixage K est déterminé sur la base du ratio de la luminance visible Lrgbsur la luminance infrarouge Lir. Ce ratio est un moyen de quantifier la luminosité extérieure. Le coefficient de mixage K peut être déterminé selon la formule K=f(Lrgb/Lir) où f est une fonction croissante.
Si le ratio est supérieur à une borne supérieure, le coefficient de mixage K est égal à 1. Le dispositif de capture d’images 1 fonctionne alors en «mode jour», comme expliqué plus bas. En mode jour, la portion visible du rayonnement serait suffisante pour construire une image en couleurs de luminosité et de qualité satisfaisante. La borne supérieure peut par exemple être égale à 1.
Si le ratio est inférieur à une borne inférieure, le coefficient de mixage K est égal à 0. Le dispositif de capture d’images 1 fonctionne alors en «mode nuit», comme expliqué plus bas. En mode nuit, la portion visible du rayonnement serait insuffisante pour construire une image en couleurs de luminosité et de qualité satisfaisante. En pratique, le bruit de grenaille du capteur d’images 9 donne des luminosités toujours supérieures à 0. La borne inférieure est donc proche mais supérieure à 0, par exemple entre 0,1 et 0,01.
Si le ratio est compris entre la borne supérieure et la borne inférieure, le coefficient de mixage K a une valeur comprise entre 0 et 1 (sans être égale ni à 0 ni à 1). On peut par exemple prévoir que le coefficient de mixage K varie, linéairement en fonction du ratio, entre 0 et 1 quand le ratio varie de la borne supérieure à la borne inférieure. Le dispositif de capture d’images 1 fonctionne alors en «mode mixte». En mode mixte, la portion visible du rayonnement ne permettrait de construire qu’une image en couleurs de faible qualité.
En variante, le coefficient de mixage pourrait être déterminé sur la base d’autres paramètres tels que le gain, la durée d’intégration ou un rapport signal sur bruit.
On pourrait par exemple prévoir une durée d’intégration maximum (par exemple pour maintenir une cadence d’acquisition minimum). Tant que la durée d’intégration réglée automatiquement (mode AEC) par le capteur d’images 9 serait inférieure à la durée d’intégration maximum, le dispositif de capture d’images 1 fonctionnerait en mode jour (coefficient de mixage égale à 1). Lorsque la durée d’intégration atteindrait la durée d’intégration maximum, le dispositif de capture d’images 1 basculerait en mode mixte (coefficient de mixage compris entre 0 et 1) jusqu’à atteindre le mode nuit.
De même, on pourrait par exemple prévoir un gain maximum (par exemple pour maintenir une qualité d’image minimum). Tant que le gain réglé automatiquement (mode AGC) par le capteur d’images 9 serait inférieur au gain maximum, le dispositif de capture d’images 1 fonctionnerait en mode jour (coefficient de mixage égale à 1). Lorsque le gain atteindrait le gain maximum, le dispositif de capture d’images 1 basculerait en mode mixte (coefficient de mixage compris entre 0 et 1) jusqu’à atteindre le mode nuit.
De plus, on pourrait prévoir que le mode de fonctionnement du capteur d’images dépende aussi de paramètres de fonctionnement du véhicule, par exemple l’utilisation des phares. Ainsi, des phares activés, ce qui signifie a priori que le véhicule est dans un environnement sombre, auraient tendance à faire basculer le capteur d’images en mode mixte ou nuit.
A l’étape e4), le calculateur 12 détermine le signal de sortie S sur la base d’au moins un signal généré par un pixel couleur 21’ (appelé par la suite signal couleur Srgb), et d’au moins un signal généré par un pixel IR 21 (appelé par la suite signal infrarouge Sir) pondéré par le coefficient de mixage K.
Ici, un signal de sortie S est déterminé pour chaque pixel couleur 21 ‘ de la matrice 19. Par exemple, le signal de sortie S associé à un pixel couleur 21’ est déterminé sur la base du signal couleur Srgbqu’il génère et du signal infrarouge Sirgénéré par le pixel IR 21 le plus proche (ou sur une moyenne de signaux générés par les pixels IR 21 les plus proches). L’image de sortie peut ensuite être construite en interpolant les signaux de sortie S.
Comme un coefficient de mixage K est déterminé pour chaque motif 175, la détermination du signal de sortie S dépend en outre de la position du motif 175 dans la matrice 19. Cela permet donc de construire l’image de sortie en prenant en compte des différences spatiales de conditions de luminosité dans la capture d’images C.
En variante, le calculateur 12 pourrait déterminer un unique signal de sortie sur la base de l’image en couleurs préalablement interpolée et de l’image infrarouge préalablement interpolée qui serait pondérée par le coefficient de mixage. Le signal de sortie correspondrait alors directement à l’image de sortie.
Avantageusement, dans ce premier mode de réalisation, le signal de sortie S peut être déterminé en effectuant la différence entre le signal couleur Srgbet le signal infrarouge Sirpondéré par le coefficient de mixage K, c’est-à-dire selon la formule S = Srgb– K x Sir (comme le montre la figure 5).
Ainsi, comme détaillé ci-dessous, lorsque le ratio de luminance visible Lrgbsur la luminance infrarouge Lirbaisse (c’est-à-dire lorsque la luminosité extérieure baisse, par exemple lorsque la nuit tombe ou lorsque le véhicule entre dans un parking), l’image de sortie garde une luminosité et une qualité (par exemple un rapport signal sur bruit supérieur à une valeur seuil) satisfaisante et se décolore progressivement. On entend par qualité satisfaisante par exemple un rapport signal sur bruit supérieur à 10.
En mode jour, le coefficient de mixage K est égal à 1. Cela signifie que pour chaque signal de sortie S la totalité du signal infrarouge Sir(signal représentatif de la portion infrarouge du rayonnement) est soustraite au signal couleur Srgb. Cela permet de supprimer la composante infrarouge reçue par le pixel couleur 21’ (du fait de sa sensibilité dans l’infrarouge comme représenté en figure 4) et d’obtenir un rendu fidèle des couleurs malgré le fait que les pixels couleurs 21’ soient sensibles à la portion infrarouge du rayonnement. En mode jour, la portion visible du rayonnement électromagnétique est suffisante pour garantir une image de sortie de luminosité et de qualité satisfaisante.
Lorsque la portion visible du rayonnement électromagnétique n’est pas suffisante pour garantir une image de sortie de luminosité satisfaisante (c’est-à-dire, en pratique, lorsque le ratio de la luminance visible Lrgbsur la luminance infrarouge Lirest compris entre la borne supérieure et la borne inférieur), le dispositif de capture d’images 1 fonctionne en mode mixte. En mode mixte, le coefficient de mixage K est compris (strictement) entre 0 et 1, et seulement une partie du signal infrarouge Sirest donc soustraite au signal couleur Srgb. L’image de sortie est donc en partie basée sur la portion infrarouge du rayonnement. L’image de sortie a alors un rendu des couleurs peu fidèle (elle apparait décolorée) mais en contre partie a une luminosité et une qualité satisfaisante.
Ainsi, lorsque la luminosité extérieure baisse, le coefficient de mixage K décroit, ce qui signifie qu’une partie plus faible du signal infrarouge Sirest soustraite au signal couleur Srgb. Le rendu visuel est une image de sortie qui se décolore mais qui en contre partie garde une luminosité et une qualité sensiblement constante. L’image de sortie évite ainsi d’avoir à utiliser une image en couleurs sombre et bruitée. L’image de sortie est plus agréable pour l’utilisateur et permet de continuer à utiliser les fonctions de surveillance avancées.
L’utilisation du coefficient de mixage K permet donc d’avoir une image de sortie qui soit la plus colorée possible et qui satisfasse des critères de luminosité et de qualité prédéterminés.
Le mode nuit correspond à un cas limite du mode mixte où la portion visible du rayonnement est extrêmement faible voire nulle. En mode nuit, le signal de sortie S est égal au signal couleur Srgb(aucune soustraction du signal infrarouge Sirn’est effectuée puisque K est égal à 0). La portion visible du rayonnement électromagnétique étant extrêmement faible voire nulle, le signal généré par les pixels couleurs 21’ provient quasiment exclusivement de la portion infrarouge du rayonnement. L’image résultante est une image en noir et blanc. En mode nuit, le dispositif de capture d’images 1 fonctionne comme une caméra infrarouge qui ne comporterait que des pixels IR.
Avantageusement, l’illuminateur infrarouge 6, qui est configuré pour émettre un rayonnement infrarouge artificiel vers le champ de vision 15 du dispositif de capture d’images 1, est allumé lors de la capture d’images C (donc lorsque les pixels photosensibles 21, 21’ génèrent des signaux). Le rayonnement infrarouge artificiel émis par l’illuminateur infrarouge 6 est situé au moins en partie dans la plage de longueurs d’onde de l’infrarouge transmises par les filtres optiques 171, 172, 173, 174.
Le signal de sortie S est alors déterminé sur la base du signal couleur Srg bgénéré par le pixel couleur 21’ lorsque l’illuminateur infrarouge 6 est allumé et sur la base du signal infrarouge Sirgénéré par le pixel IR 21 lorsque l’illuminateur infrarouge 6 est allumé.
L’amplitude du signal couleur Srgbest augmentée par le rayonnement infrarouge artificiel (en effet les pixels couleurs 21’ captent une partie des longueurs d’onde de l’infrarouge). L’amplitude du signal de sortie S est donc elle aussi augmentée, cela permet donc de construire une image de sortie possédant une meilleure luminosité et un meilleur rapport signal sur bruit qu’en l’absence du rayonnement infrarouge artificiel.
Ainsi, lorsque le dispositif de capture d’images 1 fonctionne en mode mixte ou en mode nuit et que l’intensité de la portion infrarouge du rayonnement extérieur est tout de même trop faible pour produire une image de luminosité et de qualité satisfaisante, l’illuminateur infrarouge 6 permet d’augmenter la luminosité de l’image de sortie (qui est alors une image en noir et blanc ou une image décolorée). Cela revient à augmenter artificiellement la contribution de la portion infrarouge du rayonnement à l’image de sortie.
L’illuminateur infrarouge 6 peut par exemple être allumé lorsque le ratio de la luminance visible Lrgbsur la luminance infrarouge Lirest inférieur à la borne supérieure et que luminance infrarouge Lirest inférieure à un seuil prédéterminé. L’illuminateur infrarouge 6 pourrait par exemple être allumé lors des captures d’images de manière à ce que la luminance infrarouge Lirsoit la même de jour comme de nuit.
De préférence, l’intensité du rayonnement infrarouge artificiel émis par l’illuminateur infrarouge 6 est déterminée sur la base du coefficient de mixage K. On peut prévoir que plus le coefficient de mixage K est faible, plus l’intensité du rayonnement infrarouge artificiel est élevée. On peut aussi prévoir que la détermination de l’intensité du rayonnement infrarouge artificiel prenne en compte la luminance infrarouge Lir. Ainsi, quand le dispositif de capture d’images 1 fonctionne en mode nuit mais que l’intensité de la portion infrarouge du rayonnement extérieur est très faible, l’illuminateur infrarouge 6 émet le rayonnement infrarouge artificiel avec une intensité élevée pour former une image de sortie de qualité satisfaisante.
L’ajustement de l’intensité du rayonnement infrarouge artificiel émis par l’illuminateur infrarouge 6 peut être réalisé en temps réel ou de façon incrémentielle d’une capture d’images à l’autre. Par exemple, tant que la luminosité ou la qualité de l’image n’est pas satisfaisante, l’intensité du rayonnement infrarouge artificiel est augmentée pour réaliser la capture d’images C suivante.
Dans un deuxième mode de réalisation de l’invention présenté en figure 6, le dispositif de capture d’images 1 effectue une première capture d’images C1 pendant que l’illuminateur infrarouge 6 est éteint et une deuxième capture d’images C2 pendant que l’illuminateur infrarouge 6 est allumé.
Dans ce deuxième mode de réalisation lors d’une étape initiale e1), le calculateur 12 est programmé pour commander au capteur d’images 9 de réaliser deux captures d’image C1, C2 au cours desquelles chaque pixel photosensible 21, 21’ génère un signal représentatif de la charge ou de la tension qu’il a produit.
Une première capture d’images C1 est réalisée lorsque l’illuminateur infrarouge 6 est éteint, les signaux générés par les pixels photosensibles 21, 21’ sont donc représentatifs uniquement du rayonnement électromagnétique extérieur. La première capture d’images C1 est acquise avec des paramètres d’exposition (par exemple le gain ou le temps d’intégration) optimisés pour les images en couleurs.
Une deuxième capture d’images C2 est réalisée lorsque l’illuminateur infrarouge 6 est allumé, les signaux générés par les pixels photosensibles 21, 21’ sont donc représentatif du rayonnement électromagnétique extérieur et du rayonnement infrarouge artificiel émis par l’illuminateur infrarouge 6. La deuxième capture d’images C2 est acquise avec des paramètres d’exposition (par exemple le gain ou le temps d’intégration) optimisés pour les images infrarouges.
Lors des deux captures d’image C1, C2, la durée d’intégration et le gain peuvent être optimisés automatiquement (mode AEC/AGC).
A l’étape e2), le calculateur 12 détermine d’une part une luminance visible Lrgbet une première luminance infrarouge Lir1et d’autre part une deuxième luminance infrarouge Lir2.
La luminance visible Lrgb et la première luminance infrarouge Lir1sont déterminées à partir des signaux générés par des pixels photosensible 21, 21’ (respectivement à partir de signaux générés par des pixels couleurs 21’ et par des pixels IR 21) lors de la première capture d’images C1 lorsque l’illuminateur infrarouge 6 est éteint, c’est-à-dire lorsqu’il n’émet aucun rayonnement infrarouge. Ici, la luminance visible Lrgb et la première luminance infrarouge Lir1peuvent être déterminées tel que décrit dans le premier mode de réalisation de l’invention.
La deuxième luminance infrarouge Lir2est déterminée à partir des signaux générés par des pixels IR 21 lors de la deuxième capture d’images C2 lorsque l’illuminateur infrarouge 6 est allumé, c’est-à-dire lorsqu’il émet le rayonnement infrarouge artificiel.
A l’étape e3), le calculateur 12 détermine un premier coefficient de mixage K1 et un deuxième coefficient de mixage K2.
Le premier coefficient de mixage K1 et le deuxième coefficient de mixage K2 sont déterminés sur la base de la luminance visible Lrgb, de la première luminance infrarouge Lir1, et de la deuxième luminance infrarouge Lir2.
Le premier coefficient de mixage K1 peut être déterminé sur la base du ratio de la luminance visible Lrgbsur la première luminance infrarouge Lir1.
Si le ratio est supérieur à une borne supérieure (par exemple égale à 1), le premier coefficient de mixage K1 est égal à 1. Si le ratio est inférieur à une borne inférieure (par exemple comprise entre 0,1 et 0,01), le premier coefficient de mixage K1 est égal à 0. Si le ratio est strictement compris entre la borne supérieure et la borne inférieure, le premier coefficient de mixage K1 a une valeur strictement comprise entre 0 (exclu) et 1 (exclu). On peut par exemple prévoir que le premier coefficient de mixage K1 varie linéairement en fonction du ratio entre 0 et 1 quand le ratio varie de la borne supérieure à la borne inférieure.
Le deuxième coefficient de mixage K2 est déterminé sur la base du premier coefficient de mixage K1.
En variante, le deuxième coefficient de mixage K2 pourrait être déterminé sur la base du ratio de la deuxième luminance infrarouge Lir 2sur la première luminance infrarouge Lir1.
Ici, le deuxième coefficient de mixage K2 varie entre 0 et 1.
En variante, comme dans le premier mode de réalisation, les premier et deuxième coefficients de mixage pourraient être déterminés sur la base d’autres paramètres tels que le gain, la durée d’intégration ou un rapport signal sur bruit.
A l’étape e4), le calculateur 12 détermine le signal de sortie S sur la base d’au moins un signal généré par un pixel couleur 21’ (appelé par la suite signal couleur Srgb) lors de la première capture d’images C1, d’au moins un signal généré par un pixel IR 21 (appelé par la suite premier signal infrarouge Sir1) lors de la première capture d’images C1 (lorsque l’illuminateur infrarouge 6 est éteint) pondéré par le premier coefficient de mixage K1, et d’au moins un signal généré par un pixel IR 21 (appelé par la suite deuxième signal infrarouge Sir2) lors de la deuxième capture d’images C2 (lorsque l’illuminateur infrarouge 6 est allumé) pondéré par le deuxième coefficient de mixage K2.
Plus précisément, le calculateur 12 effectue, dans une première sous étape, la différence entre le signal couleur Srgbgénéré lors de la première capture d’images C1 et le premier signal infrarouge Sir1généré lors de la première capture d’images C1 pondéré par le premier coefficient de mixage K1.
La première sous étape permet de soustraire au signal couleur Srgbune partie plus ou moins importante du premier signal infrarouge Sir1 en fonction des conditions de luminosité extérieure. Ici, l’utilisation du premier coefficient de mixage K1 est donc similaire à celle du coefficient de mixage K dans le premier mode de réalisation. En d’autres termes, le dispositif de capture d’images 1 peut fonctionner selon les trois modes (jour, mixte et nuit) présentés dans le premier mode de réalisation. Le mode de fonctionnement dépend ici de la valeur du premier coefficient de mixage K1.
Lors d’une seconde sous étape, le calculateur 12 additionne le résultat de la différence de la première sous étape et le deuxième signal infrarouge Sir2 généré lors de la deuxième capture d’images C2 pondéré par le deuxième coefficient de mixage K2. Le pixel IR 21 générant le deuxième signal infrarouge Sir2lors de la deuxième capture d’images C2 peut être le même pixel photosensible 21, 21’ que le pixel IR 21 générant le premier signal infrarouge Sir1lors de la première capture d’images C1.
La deuxième sous étape permet d’augmenter la luminosité et la qualité de l’image de sortie (construite à partir du signal de sortie S) grâce au rayonnement infrarouge artificiel émis par l’illuminateur infrarouge 6.
En effet, le deuxième coefficient de mixage K2 peut varier entre 0 et 1, ce qui permet d’augmenter la luminosité de l’image de sortie en ajoutant au signal de sortie S une partie (ou l’entièreté) du deuxième signal infrarouge Sir2 généré lorsque le pixel IR 21 capte le rayonnement infrarouge artificiel (en plus du rayonnement infrarouge extérieur).
Comme le montre la figure 6, à l’étape e4), le calculateur 12 peut donc déterminer le signal de sortie S selon la formule suivante: S = Srgb– K1 x Sir1+ K2 x Sir2.
On peut par exemple attribuer une valeur au coefficient K2 strictement supérieur à zéro lorsque le premier coefficient de mixage K1 est compris entre zéro et un (fonctionnement en mode mixte).
De préférence, on attribue une valeur au deuxième coefficient de mixage K2 supérieure à 0 lorsque le premier coefficient de mixage K1 est égal à zéro. Dans le cas où le rayonnement infrarouge extérieur est très faible (en pratique, inférieur à une valeur seuil), le rayonnement infrarouge artificiel est nécessaire pour obtenir une image de sortie luminosité suffisante (par exemple pour pouvoir utiliser au moins les fonctions de surveillance du conducteur). On peut ensuite augmenter la valeur du deuxième coefficient de mixage K2 jusqu’à obtenir une image de sortie S de qualité satisfaisante.
Dans ce deuxième mode de réalisation, une diminution de l’intensité de la portion visible du rayonnement extérieur (c’est-à-dire une baisse de la luminosité extérieure) a pour résultat une image de sortie dont la luminosité et la qualité restent sensiblement constante mais qui se décolore.
De plus, la première capture d’images C1 étant optimisée pour les images en couleur et la deuxième capture d’images C2 étant optimisée pour les images infrarouges, la qualité de l’image de sortie est encore augmentée par rapport au premier mode de réalisation.
Ainsi, comme dans le premier mode de réalisation, l’image de sortie évite ainsi d’avoir à utiliser une image en couleurs sombre et bruitée. L’image de sortie est plus agréable pour l’utilisateur et permet de continuer à utiliser les fonctions de surveillance avancées.
Claims (10)
- Dispositif de capture d’images (1) comprenant un capteur d’images (9), qui comporte :
- un réseau de filtres optiques (170) recevant un rayonnement électromagnétique et comprenant des premiers filtres optiques (171) aptes chacun à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde donnée de l’infrarouge, ainsi que des deuxièmes filtres optiques (172, 173, 174) aptes chacun à transmettre au moins une composante d’une deuxième partie du rayonnement électromagnétique située dans le visible,
- une matrice (19) de pixels photosensibles comprenant des premiers pixels photosensibles (21) disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers filtres optiques (171), ainsi que des deuxièmes pixels photosensibles (21’) disposés de façon à capter la composante transmise par les deuxièmes filtres optiques (172, 173, 174), chacun des premiers et deuxièmes pixels photosensibles (21, 21’) étant apte à générer un signal électrique représentatif de la puissance du rayonnement électromagnétique qu’il capte,
le dispositif de capture d’images (1) étant caractérisé en ce qu’il comprend en outreun calculateur (12) programmé pour exécuter les étapes suivantes:
a) déterminer au moins un coefficient de mixage (K; K1; K2) ;
b) déterminer un signal de sortie (S) sur la base d’au moins un signal couleur (Srgb) généré par un second pixel photosensible (21’) et sur la base d’au moins un signal infrarouge (Sir1; Sir2) généré par un premier pixel photosensibles (21) pondéré par ledit au moins un coefficient de mixage (K; K1; K2). - Dispositif de capture d’images (1) selon la revendication 1, dans lequel le calculateur (12) est programmé pour déterminer ledit au moins un coefficient de mixage (K; K1; K2) sur la base d’au moins une luminance dans le domaine infrarouge (Lir 1; Lir2) calculée sur la base d’au moins un signal généré par un premier pixel photosensible (21).
- Dispositif de capture d’images (1) selon l’une des revendications 1 à 2, dans lequel le calculateur (12) est programmé pour déterminer ledit au moins un coefficient de mixage (K; K1; K2) sur la base d’une luminance dans le domaine visible (Lrgb) calculée sur la base d’au moins un signal généré par un second pixel photosensible (21’).
- Dispositif de capture d’images (1) selon la revendication 3 prise dans la dépendance de la revendication 2, dans lequel le calculateur (12) est programmé pour déterminer ledit au moins un coefficient de mixage (K; K1; K2) sur la base d’un rapport de ladite luminance dans le domaine visible (Lrgb) sur ladite luminance dans le domaine infrarouge (Lir 1; Lir2).
- Dispositif de capture d’images (1) selon l’une des revendications 1 à 4, dans lequel le calculateur (12) est programmé pour déterminer ledit au moins un coefficient de mixage (K; K1; K2) sur la base d’au moins un des paramètres suivants:
- une durée d’intégration;
- un gain. - Dispositif de capture d’images (1) selon l’une des revendications 1 à 5, dans lequel le calculateur (12) est programmé pour déterminer ledit signal de sortie (S) en effectuant la différence entre ledit signal couleur (Srgb) et ledit au moins un signal infrarouge (Sir1; Sir2) pondéré par ledit au moins un coefficient de mixage (K; K1; K2).
- Dispositif de capture d’images (1) selon l’une des revendications 1 à 6, comprenant en outre un illuminateur infrarouge (6) configuré pour émettre un rayonnement infrarouge artificiel vers un champ de vision (15) du dispositif de capture d’images (1), ledit rayonnement infrarouge artificiel étant situé au moins en partie dans ladite plage de longueurs d’onde transmises par les premiers filtres optiques (171), ledit dispositif de capture d’images (1) étant conçu pour que ledit au moins un signal infrarouge (Sir1; Sir2) et ledit signal couleur (Srgb)soient générés lorsque l’illuminateur infrarouge (6) émet ledit rayonnement infrarouge artificiel.
- Dispositif de capture d’images (1) selon la revendication 7, conçu pour que l’intensité dudit rayonnement infrarouge artificiel soit déterminée sur la base dudit au moins un coefficient de mixage (K; K1; K2).
- Dispositif de capture d’images (1) selon l’une des revendications 7 ou 8, dans lequel le calculateur (12) est programmé pour :
- déterminer ladite luminance dans le domaine visible (Lrgb) sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge (6) n’émet aucun rayonnement infrarouge, par un second pixel photosensible (21’);
- déterminer une première luminance dans le domaine infrarouge (Lir1) sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge (6) n’émet aucun rayonnement infrarouge, par un premier pixel photosensible(21) ;
- déterminer une deuxième luminance dans le domaine infrarouge (Lir2) sur la base d’au moins un signal généré, lorsque l’illuminateur infrarouge (6) émet ledit rayonnement infrarouge artificiel,par un premier pixel photosensible(21) ;
- déterminer ledit au moins un coefficient de mixage (K; K1; K2) sur la base de ladite luminosité ambiante dans le domaine visible (Lrgb), de ladite première luminosité ambiante dans le domaine infrarouge(Lir1) et de ladite deuxième luminosité ambiante dans le domaine infrarouge (Lir2). - Dispositif de capture d’images selon la revendication 9, dans lequel le calculateur (12) est programmé pour déterminer ledit signal de sortie sur la base:
- d’au moins un signal (Srgb), généré par un second pixel photosensible (21’) lorsque l’illuminateur infrarouge (6) n’émet aucun rayonnement infrarouge,
- d’au moins un signal (Sir1), généré par un premier pixel photosensible (21) lorsque l’illuminateur infrarouge (6) n’émet aucun rayonnement infrarouge,et pondéré par un premier coefficient de mixage (K1), et
- d’au moins un signal(Sir 2), généré par un premier pixel photosensible (21) lorsque l’illuminateur infrarouge (6) émet ledit rayonnement infrarouge artificiel, et pondéré par un deuxième coefficient de mixage (K2).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1913946A FR3104363B1 (fr) | 2019-12-09 | 2019-12-09 | Dispositif de capture d’images |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1913946A FR3104363B1 (fr) | 2019-12-09 | 2019-12-09 | Dispositif de capture d’images |
| FR1913946 | 2019-12-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3104363A1 true FR3104363A1 (fr) | 2021-06-11 |
| FR3104363B1 FR3104363B1 (fr) | 2022-03-25 |
Family
ID=70228131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1913946A Active FR3104363B1 (fr) | 2019-12-09 | 2019-12-09 | Dispositif de capture d’images |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3104363B1 (fr) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3127355A1 (fr) * | 2021-09-20 | 2023-03-24 | Renault S.A.S | procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale |
| FR3137521A1 (fr) * | 2022-07-04 | 2024-01-05 | Valeo Comfort And Driving Assistance | Dispositif de capture d’image et système de surveillance d’un conducteur d’un véhicule |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170134704A1 (en) * | 2014-06-24 | 2017-05-11 | Hitachi Maxell, Ltd. | Imaging processing device and imaging processing method |
| US20190163964A1 (en) * | 2016-06-03 | 2019-05-30 | Maxell, Ltd. | Imaging apparatus and imaging system |
-
2019
- 2019-12-09 FR FR1913946A patent/FR3104363B1/fr active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170134704A1 (en) * | 2014-06-24 | 2017-05-11 | Hitachi Maxell, Ltd. | Imaging processing device and imaging processing method |
| US20190163964A1 (en) * | 2016-06-03 | 2019-05-30 | Maxell, Ltd. | Imaging apparatus and imaging system |
Non-Patent Citations (1)
| Title |
|---|
| HAYATO TERANAKA ET AL: "Single-Sensor RGB and NIR Image Acquisition: Toward Optimal Performance by Taking Account of CFA Pattern, Demosaicking, and Color Correction", ELECTRONIC IMAGING, vol. 2016, no. 18, 14 February 2016 (2016-02-14), pages 1 - 6, XP055712031, ISSN: 2470-1173, DOI: 10.2352/ISSN.2470-1173.2016.18.DPMI-256 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3127355A1 (fr) * | 2021-09-20 | 2023-03-24 | Renault S.A.S | procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale |
| FR3137521A1 (fr) * | 2022-07-04 | 2024-01-05 | Valeo Comfort And Driving Assistance | Dispositif de capture d’image et système de surveillance d’un conducteur d’un véhicule |
| WO2024008421A1 (fr) * | 2022-07-04 | 2024-01-11 | Valeo Comfort And Driving Assistance | Dispositif de capture d'image et système de surveillance d'un conducteur d'un véhicule |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3104363B1 (fr) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3973693B1 (fr) | Dispositif de capture d'images à expositions multiples et système de surveillance d'un conducteur associé | |
| CA2834883C (fr) | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs | |
| CA2909554C (fr) | Dispositif d'acquisition d'images bimode | |
| EP3387824B1 (fr) | Système et procédé d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique | |
| FR2964490A1 (fr) | Procede de demosaicage d'une image brute numerique, programme d'ordinateur et circuit imageur ou graphique correspondants | |
| FR3104363A1 (fr) | Dispositif de capture d’images | |
| WO2020126179A1 (fr) | Dispositif de capture d'images et système associé de surveillance d'un conducteur | |
| WO2005101852A1 (fr) | Appareil de detection d’image a surbrillance supprimee | |
| FR2899696A1 (fr) | Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe | |
| FR3054093B1 (fr) | Procede et dispositif de detection d'un capteur d'images | |
| EP1351498A2 (fr) | Procédé de traitement en temps réel d'un signal représentatif d'une image | |
| FR3101504A1 (fr) | Dispositif de capture d’images et procédé de capture d’images | |
| JP2004254269A (ja) | ハイライト抑制画像撮影装置 | |
| EP3729796B1 (fr) | Procede et systeme d'imagerie a haut et bas niveaux de lumiere | |
| FR2962232A1 (fr) | Dispositif de vision numerique bioculaire a faible bruit | |
| WO2019166720A1 (fr) | Détection dynamique de lumière parasite dans une image numérique | |
| FR2968876A1 (fr) | Systeme d'acquisition d'images presentant une dynamique elevee | |
| FR3081585A1 (fr) | Systeme de production d'image d'un conducteur d'un vehicule et systeme embarque associe | |
| WO2024008421A1 (fr) | Dispositif de capture d'image et système de surveillance d'un conducteur d'un véhicule | |
| WO2020193320A1 (fr) | Dispositif, systeme et procede de capture d'image | |
| FR3127665A1 (fr) | Procédé de traitement, au sein d’une chaine de traitement d’image, d’une matrice de pixels et dispositif électronique correspondant. | |
| FR3082032A1 (fr) | Dispositif de surveillance d'un conducteur et systeme embarque associe | |
| FR2799002A1 (fr) | Procede d'imagerie laser active | |
| WO2013041816A1 (fr) | Capteur a photosites perfectionne | |
| FR2687265A1 (fr) | Dispositif de prise de vue electronique a haute dynamique et procede de prise de vue de scenes tres contrastees. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210611 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |