FR3094139A1 - Dispositif, système et procédé de capture d’image - Google Patents
Dispositif, système et procédé de capture d’image Download PDFInfo
- Publication number
- FR3094139A1 FR3094139A1 FR1903014A FR1903014A FR3094139A1 FR 3094139 A1 FR3094139 A1 FR 3094139A1 FR 1903014 A FR1903014 A FR 1903014A FR 1903014 A FR1903014 A FR 1903014A FR 3094139 A1 FR3094139 A1 FR 3094139A1
- Authority
- FR
- France
- Prior art keywords
- capture device
- elements
- image capture
- filter
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 7
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 5
- 230000005855 radiation Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Un dispositif de capture d’image (2) comprend :- une matrice (8) d’éléments contigus sensibles à la lumière et générant chacun un signal électrique (RB ; GB ; BB) en fonction de la lumière reçue conformément à une courbe d’efficacité quantique associée à l’élément concerné,- un filtre (4) disposé en amont de la matrice (8) sur le trajet de la lumière,- une unité de traitement (10) des signaux électriques (RB, GB, BB) générés par lesdits éléments. Pour chacun desdits éléments, la courbe d’efficacité quantique présente un maximum dans le visible et une valeur d’au moins 10% pour au moins une longueur d’onde dans l’infrarouge.Le filtre (4) comprend une première fenêtre de transmission dans le visible et une seconde fenêtre de transmission dans l’infrarouge. Figure pour l’abrégé : Fig. 1
Description
La présente invention concerne le domaine technique des capteurs d’image utilisés par exemple dans les caméras vidéo.
La présente invention concerne en particulier un dispositif de capture d’image, un système de capture d’image et un procédé de capture d’image.
On utilise couramment, par exemple dans une caméra vidéo, un dispositif de capture d’image comprenant une matrice d’éléments contigus sensibles à la lumière et générant chacun un signal électrique en fonction de la lumière reçue conformément à une courbe d’efficacité quantique associée à l’élément concerné. Une telle matrice forme un capteur d’image, par exemple un capteur RGB.
Dans le cas fréquent où une telle caméra est conçue pour capturer une image dans le visible, on utilise classiquement des éléments dont la courbe d’efficacité quantique présente un maximum dans le visible et un maximum local dans l’infrarouge (ce maximum local étant lié à la conception des éléments). Chaque élément permet ainsi de mesurer la lumière visible au niveau d’un maximum donné, qui correspond à une couleur particulière du spectre visible (typiquement les couleurs rouge, vert et bleu pour un capteur RGB), et correspond ainsi à un sous-pixel du capteur d’image.
Afin d’éviter une perturbation des mesures effectués du fait de la sensibilité des éléments dans l’infrarouge, on dispose usuellement sur le trajet de la lumière (en amont de la matrice) un filtre arrêtant le rayonnement infrarouge de sorte que seule la lumière visible atteigne la matrice. Un tel filtre est généralement déposé sur une lentille de collimation placée devant le capteur d’image.
Avec une telle conception classique toutefois, l’éclairage artificiel d’une scène sombre doit nécessairement être réalisé dans le visible, ce qui peut être gênant dans certains cas (comme par exemple lorsque la caméra est placée dans un habitacle de véhicule et qu’un éclairage dans le visible serait alors préjudiciable à la conduite de nuit).
Dans ce contexte, l’invention propose un dispositif de capture d’image comprenant une matrice d’éléments contigus sensibles à la lumière et générant chacun un signal électrique en fonction de la lumière reçue conformément à une courbe d’efficacité quantique associée à l’élément concerné ; un filtre disposé en amont de la matrice sur le trajet de la lumière ; une unité de traitement des signaux électriques générés par lesdits éléments ; dans lequel, pour chacun desdits éléments, la courbe d’efficacité quantique présente un maximum dans le visible et une valeur d’au moins 10% pour au moins une longueur d’onde dans l’infrarouge ; caractérisé en ce que le filtre comprend une première fenêtre de transmission dans le visible et une seconde fenêtre de transmission dans l’infrarouge.
Ainsi, bien qu’on utilise un capteur courant (et donc bon marché) ne comprenant que des éléments ayant une sensibilité dans le visible (typiquement un capteur RGB), le dispositif de capture d’image peut également capturer des images éclairées par un illuminateur infrarouge (qui n’occasionne aucune gêne alentour). Le rayonnement infrarouge est en effet transmis à travers le filtre (grâce à la seconde fenêtre de transmission) et détecté par les éléments photosensibles.
On profite donc ici du fait que ces éléments dédiés à mesurer la lumière incidente dans le visible sont également sensibles dans l’infrarouge, ce qui est classiquement considéré problématique et entraîne l’utilisation d’un filtre ayant une unique fenêtre de transmission dans le visible.
Selon d’autres caractéristiques envisageables à titre optionnel :
- l’unité de traitement est conçue pour compenser une détection, par lesdits éléments, de rayonnement infrarouge transmis par le filtre ;
- l’unité de traitement est conçue pour compenser ladite détection au moyen d’un processus de filtrage ;
- l’unité de traitement est conçue pour compenser ladite détection par lecture de valeurs dans une table de correspondance ;
- l’unité de traitement est conçue pour compenser ladite détection au moyen d’un traitement construit par apprentissage automatique ;
- l’unité de traitement comprend un module de compensation conçu pour compenser ladite détection et utilisé en mode de fonctionnement diurne (le module de compensation étant par exemple inutilisé en mode de fonctionnement nocturne) ;
- pour au moins une partie desdits éléments, ladite longueur d’onde dans l’infrarouge est située dans la seconde fenêtre de transmission.
L’invention propose également un système de capture d’image comprenant un dispositif de capture tel que défini ci-dessus et un illuminateur conçu pour émettre un rayonnement infrarouge.
Le rayonnement infrarouge émis par l’illuminateur peut alors être situé fréquentiellement dans la seconde fenêtre de transmission. L’illuminateur peut par ailleurs être sélectivement activable. L’illuminateur est par exemple activé (au moins par intermittence) en mode de fonctionnement nocturne (et peut alors être désactivé en mode de fonctionnement diurne).
L’invention propose enfin un procédé de capture d’image au moyen d’un dispositif de capture d’image selon la revendication 1, comprenant les étapes suivantes :
- génération de signaux vidéo par l’unité de traitement sur la base desdits signaux électriques ;
- traitement des signaux vidéo pour compenser une détection, par lesdits éléments, de rayonnement infrarouge transmis par le filtre.
- génération de signaux vidéo par l’unité de traitement sur la base desdits signaux électriques ;
- traitement des signaux vidéo pour compenser une détection, par lesdits éléments, de rayonnement infrarouge transmis par le filtre.
Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l'invention et où :
La figure 1 représente les éléments d’un dispositif de capture d’image 2 utiles à la compréhension de l’invention.
Le dispositif de capture d’image 2 comprend une optique de collimation 6 (réalisée ici sous forme d’une lentille) et un capteur d’image comprenant en particulier une matrice 8 d’éléments photosensibles 9R, 9G, 9B.
L’optique de collimation 6 et la matrice 8 sont disposées de sorte que la matrice 8 puisse produire une image de l’environnement faisant face au dispositif de capture d’image 2.
Le dispositif de capture d’image 2 comprend également un filtre 4 disposé sur le trajet des rayons incidents I en amont de la matrice 8 de sorte que les rayons lumineux qui atteignent la matrice 8 ont été traités par ce filtre 4. Le filtre 4 est par exemple réalisé sous forme d’un film déposé sur une face de la lentille 6 .
Le dispositif de capture d’image 2 comprend également une unité de traitement 10 conçue pour traiter les signaux électriques RB, GB, BBproduits par la matrice 8 afin de générer notamment des signaux vidéo RV, GV, BV. Un exemple possible de mise en œuvre de l’unité de traitement 10 est décrit plus loin en référence à la figure 5.
Le dispositif de capture d’image 2 comprend également un illuminateur 12 conçu pour émettre un rayonnement infrarouge E en direction de la scène capturée par le capteur d’image 2. Cet illuminateur 12 est ici sélectivement activable, ici au moyen d’un interrupteur commandé 14 et sur la base d’un signal de sélection S, comme expliqué plus loin.
La figure 2 présente la courbe de transmission du filtre 4 utilisé dans l’exemple décrit en fonction de la longueur d’onde de la lumière incidente.
Comme visible sur la figure 2, le filtre 4 est une filtre à deux bandes (ou "dual band" selon l’appellation anglo-saxonne parfois utilisée). Un tel filtre comprend deux fenêtres de transmission distinctes. On dénomme ici "fenêtre de transmission" du filtre une bande spectrale de transmission, c’est-à-dire par exemple une bande (continue) de fréquences pour lesquelles le coefficient de transmission du filtre est supérieur à 10%.
Le filtre 4 comprend une première fenêtre de transmission F1dans le visible (ici une fenêtre de transmission s’étendant de 400 nm à 650 nm) et une seconde fenêtre de transmission F2dans l’infrarouge (ici une fenêtre de transmission s’étendant de 820 nm à 880 nm). En pratique, la première fenêtre de transmission F1(dans le visible) couvre (c’est-à-dire inclut) au moins la plage de longueurs d’onde s’étendant de 450 nm à 600 nm et/ou la seconde fenêtre de transmission F2(dans l’infrarouge) comprend des longueurs d’ondes supérieures à 700 nm.
On remarque ici que l’illuminateur 12 émet un rayonnement infrarouge comprenant au moins une composante dont la longueur d’onde est située à l’intérieur de la seconde fenêtre de transmission F2.
La figure 3 est une représentation schématique partielle de la matrice 8 des éléments photosensibles 9R, 9G, 9B.
Du fait de la disposition sous forme d’une matrice, les éléments photosensibles 9R, 9G, 9Bsont contigus les uns aux autres. Les éléments photosensibles 9R, 9G, 9Bsont de différents types (comme expliqué plus loin) ; toutefois, tous les éléments photosensibles 9R, 9G, 9Bsont ici sensibles dans le visible.
Chaque élément photosensible 9R, 9G, 9Bgénère un signal électrique RB, GB, BBen fonction de la lumière reçue conformément à une courbe d’efficacité quantique QR, QG, QBassociée à l’élément photosensible 9R, 9G, 9Bconcerné.
La figure 4 représente l’efficacité quantique QR, QG, QBen fonction de la longueur d’onde pour chacun des différents types d’éléments photosensibles 9R, 9G, 9B.
Comme visible sur la figure 4, quel que soit le type d’élément photosensible considéré 9R, 9G, 9B, et donc pour tous les éléments photosensibles 9R, 9G, 9Bde la matrice 8, la courbe d’efficacité quantique concernée QR, QG, QBprésente un maximum pour une longueur d’onde λR, λG, λBdu domaine visible.
Les différentes courbes d’efficacité quantique QR, QG, QBprésentent par ailleurs chacune un maximum local pour une longueur d’onde lR, lG, lBsituée dans l’infrarouge (et comprise par exemple entre 750 nm et 900 nm) de sorte que chacune des courbes d’efficacité quantique présente une valeur supérieure à 10% pour une plage de longueur d’ondes situées dans l’infrarouge.
Ainsi, tout élément photosensible 9R, 9G, 9Bde la matrice 8 a une courbe d’efficacité quantique QR, QG, QBprésentant un maximum dans le visible et une valeur d’au moins 10% pour au moins une longueur d’onde dans l’infrarouge, et jouxte un autre élément photosensible ayant également une courbe d’efficacité quantique présentant un maximum dans le visible et une valeur d’au moins 10% pour au moins une longueur d’onde dans l’infrarouge.
Précisément, la courbe d’efficacité quantique QR(représentée en pointillés) des éléments photosensibles 9Rprésente un maximum pour la longueur d’onde λR(avec λRcomprise entre 590 nm et 650 nm, ici λR= 610 nm) de sorte que ces éléments photosensibles sont sensibles à la lumière rouge.
La courbe d’efficacité quantique QRdes éléments photosensibles 9Rindique par ailleurs une valeur d’efficacité quantique supérieure à 10% dans l’infrarouge sur la plage de longueurs d’onde s’étendant entre 700 nm et 950 nm (avec un maximum local pour la longueur d’onde lRégale ici à 760 nm).
La courbe d’efficacité quantique QG(représentée en trait plein) des éléments photosensibles 9Gprésente quant à elle un maximum pour la longueur d’onde λG(avec λGcomprise entre 500 nm et 570 nm, ici λR= 540 nm) de sorte que ces éléments photosensibles sont sensibles à la lumière verte.
La courbe d’efficacité quantique QGde ces éléments photosensibles 9Gindique par ailleurs une valeur d’efficacité quantique supérieure à 10% dans l’infrarouge sur la plage de longueurs d’onde s’étendant entre 700 nm et 950 nm (avec un maximum local pour la longueur d’onde lGégale ici à 810 nm).
Enfin, la courbe d’efficacité quantique QB(représentée en trait mixte) des éléments photosensibles 9Bprésente un maximum pour la longueur d’onde λB(avec λBcomprise entre 420 nm et 500 nm, ici λB= 460 nm) de sorte que ces éléments photosensibles sont sensibles à la lumière bleue.
La courbe d’efficacité quantique QBde ces éléments photosensibles 9Bindique par ailleurs une valeur d’efficacité quantique supérieure à 10% dans l’infrarouge sur la plage de longueurs d’onde s’étendant entre 770 nm et 950 nm (avec un maximum local pour la longueur d’onde lGégale ici à 820 nm).
Ainsi, pour chaque courbe d’efficacité quantique QR, QG, QB(et donc pour tout élément photosensible 9R, 9G, 9Bde la matrice 8), la longueur d’onde λR, λG, λBcorrespondant au maximum d’efficacité quantique dans le visible est située dans la première fenêtre de transmission F1du filtre 4.
Par ailleurs, comme indiqué par les courbes d’efficacité quantique QR, QG, QBet mentionné ci-dessus, chaque élément photosensible 9R, 9G, 9Bde la matrice 8 présente une efficacité quantique supérieure à 10% pour des longueurs d’ondes comprises dans la seconde fenêtre de transmission F2(ici une efficacité quantique supérieure à 10% sur toute la seconde fenêtre de transmission F2).
De ce fait, chaque élément photosensible 9R, 9G, 9Bde la matrice 8 génère un signal électrique RB, GB, BBen fonction d’une part de la lumière reçue dans une partie du domaine visible et d’autre part du rayonnement reçu dans l’infrarouge (précisément : dans la seconde fenêtre de transmission F2). Chaque signal électrique RB, GB, BBcomporte donc une composante (indéterminée) liée à la détection (par l’élément photosensible 9R, 9G, 9Bconcerné) du rayonnement infrarouge transmis par le filtre 4 (dans la seconde fenêtre de transmission F2).
Comme déjà indiqué, la matrice 8 ne comporte que des éléments 9R, 9G, 9Bsensibles notamment dans le visible, et donc aucun élément sensible uniquement dans l’infrarouge.
La figure 5 représente, sous forme fonctionnelle, un exemple possible de mise en œuvre de l’unité de traitement 10. A cet égard, les éléments de la figure 5 ne correspondent pas nécessairement à des circuits électroniques physiques mais peuvent être mis en œuvre en pratique par des instructions logicielles exécutables par un processeur. L’unité de traitement 10 est dans ce cas formée par ce processeur et par ces instructions mémorisées dans une mémoire associée au processeur et exécutables par le processeur.
Dans l’exemple décrit, l’unité de traitement 10 comprend un module de traitement d’image couleur 20, un module de compensation 22 et un module de sélection 26.
L’unité de traitement 10 reçoit en entrée les signaux électriques RB, GB, BBgénérés par les éléments photosensibles 9R, 9G, 9Bcomme expliqué ci-dessus. En pratique, pour chaque type d’élément photosensible RB, GB, BB, les signaux électriques RB, GB, BBrelatifs aux différents éléments photosensibles 9R, 9G, 9B(ou sous-pixels) ayant le type concerné sont par exemple multiplexés temporellement. Autrement dit, pour chaque type d’élément photosensible RB, GB, BB, les signaux électriques RB, GB, BBrelatifs aux différents éléments photosensibles 9R, 9G, 9Bayant le type concerné sont transmis successivement au sein d’une trame.
Les signaux électriques RB, GB, BBreçus en entrée sont appliqués en entrée du module de traitement d’image couleur 20.
Le module de traitement d’image couleur 20 génère des signaux vidéo RI, GI, BIsur la base des signaux électriques RB, GB, BBreçus de la matrice 8. Les signaux vidéo RI, GI, BIsont des signaux représentatifs de l’image capturée par le dispositif de capture d’image 2. Les signaux vidéo RI, GI, BIsont par exemple des signaux au format RGB (ici sous forme numérique), utilisables par un afficheur pour afficher l’image capturée par le dispositif de capture d’image 2.
Le module de traitement d’image couleur 20 effectue par exemple notamment les traitements suivants : suppression de pixel(s) éteint(s), balance de couleurs, amélioration du contraste. Ces traitements sont usuels pour l’obtention de signaux au format RGB à partir de signaux électriques issus d’éléments photosensibles ne recevant que de la lumière visible.
Ici toutefois, comme expliqué ci-dessus, les signaux électriques RB, GB, BBcomprennent chacun une composante (indéterminée) liée à la détection (par l’élément photosensible 9R, 9G, 9Bconcerné) du rayonnement infrarouge transmis par le filtre 4 (le rayonnement solaire qui éclaire directement ou indirectement la scène capturée de jour comprenant une composante dans l’infrarouge).
Par conséquent, sans traitement spécifique, une image affichée sur la base des signaux vidéo RI, GI, BIproduits par le module de traitement d’image couleur 20 aurait une coloration rougeâtre artificielle (liée à cette détection du rayonnement infrarouge lors d’une capture d’image de jour), non conforme à celle de la scène capturée par le dispositif de capture d’image 2.
On propose donc ici d’appliquer, en fonctionnement diurne et au moyen du module de sélection 26, les signaux vidéo RI, GI, BIproduits par le module de traitement d’image couleur 20 en entrée du module de compensation 22, qui génère en sortie des signaux vidéo corrigés RV, GV, BV.
Le module de sélection 26 est représenté en figure 5 sous la forme d’un interrupteur commandé par le signal de sélection S ; comme déjà indiqué, la fonctionnalité de sélection peut être mise en œuvre en pratique sous forme logicielle.
Le signal de sélection S permet de faire basculer le fonctionnement du dispositif de capture d’image 2 entre un mode de fonctionnement diurne et un mode de fonctionnement nocturne. Le signal de sélection S est par exemple déterminé au moyen d’un capteur de luminosité ambiante (non représenté). En variante, le signal de sélection S pourrait être déterminé en fonction d’une commande de l’utilisateur (ici le conducteur du véhicule équipé par le dispositif de capture d’image 2), par exemple une commande de mise en fonctionnement des projecteurs du véhicule. Selon une autre variante encore, le signal de sélection S pourrait être déterminé en fonction de la luminance définie par les signaux électriques RB, GB, BBreçus en entrée (ou par les signaux RGB après traitement mentionnés plus bas).
Dans le mode de fonctionnement diurne (c’est-à-dire lorsque le signal de sélection S est indicatif du mode de fonctionnement diurne), l’illuminateur 12 est inactif (l’interrupteur commandé 14 étant ouvert dans l’exemple de la figure 1) et les signaux vidéo RI, GI, BIproduits par le module de traitement d’image couleur 20 sont appliqués en entrée du module de compensation 22 (par le module de sélection 26).
Dans le mode de fonctionnement nocturne (c’est-à-dire lorsque le signal de sélection S est indicatif du mode de fonctionnement nocturne), l’illuminateur 12 est activé (l’interrupteur commandé 14 étant fermé dans l’exemple de la figure 1) au moins une partie du temps (c’est-à-dire au moins par intermittence, par exemple pendant les phases d’acquisition du dispositif de capture d’image 2), et émet ainsi un rayonnement infrarouge E en direction de la scène faisant face au dispositif de capture d’image 2 ; les signaux vidéo RI, GI, BIproduits par le module de traitement d’image couleur 20 sont dans ce cas directement utilisés en tant que signaux vidéo de sortie RV, GV, BV.
En effet, le rayonnement infrarouge E étant au moins en partie situé dans la seconde fenêtre de transmission F2comme déjà indiqué, la scène faisant face au dispositif de capture d’image 2, illuminée par le rayonnement infrarouge E, renverra une partie de ce rayonnement à travers le filtre 4 et jusqu’aux éléments photosensibles 9R, 9G, 9B, qui ont tous ici une sensibilité dans l’infrarouge comme expliqué plus haut.
Le module de compensation 22 (auquel sont appliqués les signaux vidéo RI, GI, BIen mode de fonctionnement diurne comme expliqué ci-dessus) est conçu pour compenser la détection, par les éléments photosensibles 9R, 9G, 9B, du rayonnement infrarouge transmis à travers le filtre 4 (à travers la seconde fenêtre de transmission F2), comme expliqué ci-dessus.
L’image représentée par les signaux vidéo corrigés RV, GV, BVest similaire à l’image représentée par les signaux vidéo RI, GI, BIavec toutefois une différence de coloration du fait de la compensation susmentionnée (cette différence de coloration visant à obtenir pour l’image représentée par les signaux vidéo corrigés RV, GV, BVdes couleurs plus fidèles à celle de la scène capturée par le dispositif de capture d’image 2).
Selon une première possibilité, le module de compensation 22 effectue un filtrage des signaux vidéo RI, GI, BI, par exemple en appliquant des traitements respectivement différents aux différents composantes colorimétriques RI, GI, BI. Au cours de ces traitements, on peut par exemple appliquer des coefficients multiplicateurs distincts KR, KG, KBrespectivement aux composantes rouge RI, verte GIet bleue BI(le coefficient multiplicateur KRappliqué à la composante rouge RIétant inférieur au coefficient multiplicateur KGappliqué à la composante verte GIet au coefficient multiplicateur KBappliqué à la composante bleue BI).
Selon une possibilité de réalisation, le filtrage des signaux vidéo RI, GI, BIcomprend les étapes suivantes :
- multiplication des composantes RI, GI, BIrespectivement par KR= 0,8, KG= 0,9 et KB= 1 ;
- conversion des composantes RI, GI, BIen coordonnées teinte saturation luminosité (ou HSL pour "Hue Saturation Value" ;
- application d’une fonction gamma de coefficient 0,95 à la coordonnée de saturation ;
- conversion des coordonnées teinte saturation luminosité en coordonnées RGB ;
- multiplication des composantes R, G, B obtenues respectivement par 1,28, 1,15 et 1,15.
- multiplication des composantes RI, GI, BIrespectivement par KR= 0,8, KG= 0,9 et KB= 1 ;
- conversion des composantes RI, GI, BIen coordonnées teinte saturation luminosité (ou HSL pour "Hue Saturation Value" ;
- application d’une fonction gamma de coefficient 0,95 à la coordonnée de saturation ;
- conversion des coordonnées teinte saturation luminosité en coordonnées RGB ;
- multiplication des composantes R, G, B obtenues respectivement par 1,28, 1,15 et 1,15.
Selon une seconde possibilité, le module de compensation 22 lit (pour chaque pixel) le triplet RV, GV, BVassocié au triplet RI, GI, BI(reçu en entrée) dans une table de correspondance mémorisée dans le dispositif de capture 2. Le triplet RV, GV, BVlu peut alors être utilisé en tant que signaux vidéo corrigés produits par le module de compensation 22.
La table de correspondance est dans ce cas construite au moyen d’expériences lors de la conception du produit. Par exemple, pour une grande quantité d’images capturées simultanément par le dispositif de capture 2 (donnant des pixels de coordonnées Ri, Gi, Bi) et par un dispositif de capture classique (donnant des pixels de coordonnées R,G,B), on considère tous les pixels ayant un triplet Ri, Gi, Bidonné et on associe à ce triplet Ri, Gi, Biun triplet Rs, Gs, Bsayant une distance minimum à l’ensemble des triplets R,G,B mesurés par le dispositif de capture classique pour ces pixels (cette opération étant répétée pour tous les triplets Ri, Gi, Bipossibles). On utilise par exemple dans ce cadre une distance de type ΔE.
Selon une troisième possibilité, le module de compensation 22 applique aux signaux vidéo RI, GI, BIun traitement construit par apprentissage automatique (en anglais "Machine Learning"), par exemple au moyen d’un réseau neuronal.
L’algorithme d’apprentissage utilisé est par exemple de type GAN (pour "Generative Adversarial Networks").
Ici également , l’apprentissage peut être réalisé sur la base d’une grande quantité d’images prises chacune d’une part par le dispositif de capture 2 (dont les composantes Ri, Gi, Bicorrespondent aux valeurs fournies en entrée du réseau neuronal) et d’autre part par un dispositif de capture classique (dont les composantes Rs, Gs, Bscorrespondent aux valeurs attendues en sortie du réseau neuronal). Les signaux vidéo corrigés produits en sortie du module de compensation 22 sont alors émis en tant que signaux vidéo de sortie RV, GV, BVen sortie de l’unité de traitement 10 et peuvent ainsi être utilisés par un afficheur pour afficher une image de la scène capturée par le dispositif de capture d’image 2, avec des couleurs fidèles aux couleurs réelles de la scène capturée.
La figure 6 représente un système de visioconférence incluant une autre forme de réalisation de l’invention.
Le système de visioconférence de la figure 6 comprend un dispositif de capture d’image 52, un module de communication 70, une infrastructure distante 80 et un système distant de visualisation 90.
Le dispositif de capture d’image 52 et/ou le module de communication 70 sont par exemple embarqués dans un véhicule automobile. En variante, le dispositif de capture d’image 52 ou le module de communication 70 pourrait faire partie d’un terminal portable (tel qu’un téléphone portable) utilisé par un passager du véhicule.
Le dispositif de capture d’image 52 comprend un filtre 54, une optique de collimation 56 et une matrice 58 d’éléments photosensibles. Le filtre 54, l’optique de collimation 56 et la matrice 58 sont identiques respectivement au filtre 4, à l’optique de collimation 6 et à la matrice 8 du mode de réalisation de la figure 1 et ne seront donc pas décrits à nouveau.
Le dispositif de capture d’image 52 comprend par ailleurs un module de traitement d’image couleur 60 qui reçoit en entrée les signaux électriques RB, GB, BBproduits par la matrice 58 et génère en sortie des signaux vidéo RI, GI, BI, ici au format RGB. Le module de traitement d’image couleur 60 est identique au module de traitement d’image couleur 20 décrit ci-dessus (en référence à la figure 5) et ne sera donc pas décrit à nouveau.
Comme dans le mode de réalisation de la figure 1, l’utilisation d’un filtre 54 ayant une seconde fenêtre de transmission dans l’infrarouge entraîne une coloration rougeâtre artificielle de l’image représentée par les signaux vidéo RI, GI, BI(coloration liée comme expliqué ci-dessus à la détection du rayonnement infrarouge transmis à travers le filtre 54).
Les signaux vidéo RI, GI, BIainsi produits sont transmis (par exemple via un réseau informatique embarqué dans le véhicule) par le dispositif de capture d’image 52 au module de communication 70, qui transmet ces signaux vidéo RI, GI, BIà destination de l’infrastructure distante 80.
L’infrastructure distante 80 (réalisée par exemple en pratique au moyen d’un serveur distant) comprend une unité de réception 82, une unité de compensation 84 et une unité d’émission 86.
L’infrastructure distante 80 reçoit les signaux vidéo RI, GI, BIau moyen de l’unité de réception 82.
Les signaux vidéo RI, GI, BIsont alors traités par l’unité de compensation 84 de manière à produire des signaux vidéo corrigés RV, GV, BV. L’unité de compensation 84 effectue un traitement identique à celui effectué par le module de compensation 22 décrit en référence à la figure 5, afin de compenser la détection, par les éléments photosensibles de la matrice 58, du rayonnement infrarouge transmis par le filtre 54. Dans certains modes de réalisation, d’autres traitements pourraient être effectués au niveau de l’infrastructure distante 80.
Comme expliqué plus haut, l’image représentée par les signaux vidéo corrigés RV, GV, BVest similaire à l’image représentée par les signaux vidéo RI, GI, BIet correspond donc à l’image capturée par le dispositif de capture d’image 52, sans coloration rougeâtre liée à la détection de rayonnement infrarouge par les éléments photosensibles de la matrice 58.
L’infrastructure distante 80 peut alors émettre, au moyen de l’unité d’émission 86, les signaux vidéo corrigés RV, GV, BVà destination du système distant de visualisation 90.
Le système distant de visualisation 90 comprend un module de réception 92 et un afficheur 94.
Les signaux vidéo corrigés RV, GV, BVsont reçus par le système distant de visualisation 90 au moyen du module de réception 92 et peuvent ainsi être appliqués en entrée de l’afficheur 94.
L’afficheur 94 affiche ainsi une image correspondant à la scène capturée par le dispositif de capture d’image 52, sans coloration rougeâtre liée à la détection de rayonnement infrarouge par les éléments photosensibles de la matrice 58.
Claims (10)
- Dispositif de capture d’image (2 ; 52) comprenant :
- une matrice (8 ; 58) d’éléments contigus (9R, 9G, 9B) sensibles à la lumière et générant chacun un signal électrique (RB; GB; BB) en fonction de la lumière reçue conformément à une courbe d’efficacité quantique (QR; QG; QB) associée à l’élément concerné (9R; 9G; 9B),
- un filtre (4 ; 54) disposé en amont de la matrice (8 ; 58) sur le trajet de la lumière,
- une unité de traitement (10 ; 60) des signaux électriques (RB, GB, BB) générés par lesdits éléments (9R, 9G, 9B) ;
dans lequel, pour chacun desdits éléments (9R, 9G, 9B), la courbe d’efficacité quantique (QR; QG; QB) présente un maximum dans le visible et une valeur d’au moins 10% pour au moins une longueur d’onde dans l’infrarouge ,
caractérisé en ce que le filtre (4) comprend une première fenêtre de transmission (F1) dans le visible et une seconde fenêtre de transmission (F2) dans l’infrarouge. - Dispositif de capture selon la revendication 1, dans lequel l’unité de traitement (10) est conçue pour compenser une détection, par lesdits éléments (9R, 9G, 9B), de rayonnement infrarouge transmis par le filtre (4).
- Dispositif de capture selon la revendication 2, dans lequel l’unité de traitement (10) est conçue pour compenser ladite détection au moyen d’un processus de filtrage.
- Dispositif de capture selon la revendication 2, dans lequel l’unité de traitement (10) est conçue pour compenser ladite détection par lecture de valeurs dans une table de correspondance.
- Dispositif de capture selon la revendication 2, dans lequel l’unité de traitement (10) est conçue pour compenser ladite détection au moyen d’un traitement construit par apprentissage automatique.
- Dispositif de capture selon l’une des revendications 1 à 5, dans lequel, pour au moins une partie desdits éléments, ladite longueur d’onde dans l’infrarouge est située dans la seconde fenêtre de transmission (F2).
- Système de capture d’image comprenant un dispositif de capture (2) selon l’une des revendications 1 à 6 et un illuminateur (12) conçu pour émettre un rayonnement infrarouge.
- Système de capture selon la revendication 7, dans lequel le rayonnement infrarouge émis par l’illuminateur (12) est situé fréquentiellement dans la seconde fenêtre de transmission (F2).
- Système de capture selon la revendication 7 ou 8, dans lequel l’illuminateur (12) est sélectivement activable.
- Procédé de capture d’image au moyen d’un dispositif de capture d’image (2 ; 52) selon la revendication 1, comprenant les étapes suivantes :
- génération de signaux vidéo (RI, GI, BI) par l’unité de traitement (10 ; 60) sur la base desdits signaux électriques (RB, GB, BB) ;
- traitement des signaux vidéo (RI, GI, BI) pour compenser une détection, par lesdits éléments (9R, 9G, 9B), de rayonnement infrarouge transmis par le filtre (4 ; 54).
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1903014A FR3094139B1 (fr) | 2019-03-22 | 2019-03-22 | Dispositif, système et procédé de capture d’image |
| PCT/EP2020/057488 WO2020193320A1 (fr) | 2019-03-22 | 2020-03-18 | Dispositif, systeme et procede de capture d'image |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1903014A FR3094139B1 (fr) | 2019-03-22 | 2019-03-22 | Dispositif, système et procédé de capture d’image |
| FR1903014 | 2019-03-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3094139A1 true FR3094139A1 (fr) | 2020-09-25 |
| FR3094139B1 FR3094139B1 (fr) | 2021-09-17 |
Family
ID=67262673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1903014A Active FR3094139B1 (fr) | 2019-03-22 | 2019-03-22 | Dispositif, système et procédé de capture d’image |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3094139B1 (fr) |
| WO (1) | WO2020193320A1 (fr) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2929477A1 (fr) * | 2008-03-25 | 2009-10-02 | E2V Semiconductors Soc Par Act | Camera a prise de vue simultanee couleur et infrarouge |
| US20130222603A1 (en) * | 2012-02-28 | 2013-08-29 | Aptina Imaging Corporation | Imaging systems for infrared and visible imaging |
| US20150062347A1 (en) * | 2013-08-27 | 2015-03-05 | Semiconductor Components Industries, Llc | Image processing methods for visible and infrared imaging |
| US20180359431A1 (en) * | 2017-06-12 | 2018-12-13 | Omnivision Technologies, Inc. | Combined visible and infrared image sensor incorporating selective infrared optical filter |
-
2019
- 2019-03-22 FR FR1903014A patent/FR3094139B1/fr active Active
-
2020
- 2020-03-18 WO PCT/EP2020/057488 patent/WO2020193320A1/fr active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2929477A1 (fr) * | 2008-03-25 | 2009-10-02 | E2V Semiconductors Soc Par Act | Camera a prise de vue simultanee couleur et infrarouge |
| US20130222603A1 (en) * | 2012-02-28 | 2013-08-29 | Aptina Imaging Corporation | Imaging systems for infrared and visible imaging |
| US20150062347A1 (en) * | 2013-08-27 | 2015-03-05 | Semiconductor Components Industries, Llc | Image processing methods for visible and infrared imaging |
| US20180359431A1 (en) * | 2017-06-12 | 2018-12-13 | Omnivision Technologies, Inc. | Combined visible and infrared image sensor incorporating selective infrared optical filter |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020193320A1 (fr) | 2020-10-01 |
| FR3094139B1 (fr) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2909554C (fr) | Dispositif d'acquisition d'images bimode | |
| FR2613572A1 (fr) | Systeme de visualisation de donnees lumineuses, a lisibilite amelioree | |
| US9294742B2 (en) | Spectral improvement of digital camera color images | |
| EP2160904B1 (fr) | Capteur d'images numeriques, procede d'acquisition et de reconstruction d'images, et systeme de mise en uvre | |
| US10431616B2 (en) | Color filter arrays for image sensors | |
| FR2861936A1 (fr) | Systeme et methode destines a compenser la balance des blancs d'images saisies | |
| FR2984664A1 (fr) | Dispositif d'affichage | |
| EP2011329B1 (fr) | Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé | |
| JP2008288859A (ja) | 高度な色再現が可能な映像表示システム | |
| US20100007752A1 (en) | Spectral improvement of digital camera color images | |
| Zhbanova | FEATURES OF DIGITAL COLOURIMETRY APPLICATION IN MODERN SCIENTIFIC RESEARCH. | |
| WO2020126179A1 (fr) | Dispositif de capture d'images et système associé de surveillance d'un conducteur | |
| WO2006027467A1 (fr) | Procédé et système d'affichage d'une image numérique en couleurs vraies | |
| FR3094139A1 (fr) | Dispositif, système et procédé de capture d’image | |
| FR3104363A1 (fr) | Dispositif de capture d’images | |
| FR2985856A1 (fr) | Capteur d'image comprenant des pixels a bande spectrale etroite pour analyse colorimetrique | |
| JP2005167444A (ja) | 分光特性推定を行なう画像処理装置 | |
| US20240223916A1 (en) | System and method of correcting radial color distortion in an image captured by an image sensor through a transflective coating | |
| FR3082032A1 (fr) | Dispositif de surveillance d'un conducteur et systeme embarque associe | |
| JP2011250260A (ja) | 画像処理装置及び画像処理方法 | |
| WO2021239990A1 (fr) | Procédé de reconstruction d'une image, notamment d'une image exacte en couleur, programme d'ordinateur, dispositif et système associés | |
| FR2913515A1 (fr) | Systeme interactif d'aide selection de produits cosmetiques | |
| FR3142024A1 (fr) | Procede de colorisation d’une image infrarouge | |
| WO2024147089A1 (fr) | Système et procédé de correction de distorsion de couleur radiale dans une image capturée par un capteur d'images par l'intermédiaire d'un revêtement transflectif | |
| Zhao et al. | Research on Color Correction Based on CMOS Image Sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200925 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |