FR2980660A1 - Capteur a photosites, perfectionne - Google Patents

Abstract

L'invention concerne un capteur d'image, comportant une multiplicité de photosites (KxL) et un convertisseur analogique/numérique, chaque photosite étant apte à recevoir un flux lumineux et à délivrer un signal électrique, sous forme analogique, alimentant le convertisseur. En particulier, le capteur comporte en outre, en amont du convertisseur : - une pluralité de circuits intégrateurs, chaque circuit intégrateur étant connecté à un ensemble de photosites formant un voisinage, chaque circuit intégrateur étant propre à délivrer un signal analogique correspondant à une moyenne (VO) des signaux analogiques délivrés par les photosites du voisinage, et des moyens régulateurs pour pondérer (F(Vph, VO)) le signal analogique de chaque photosite (Vph) par le signal de moyenne du voisinage de ce photosite.

Description

CAPTEUR A PHOTOSITES, PERFECTIONNE La présente invention concerne un dispositif capteur d'images, à matrice de photodiodes. Pour faire l'acquisition d'images par un appareil numérique, on utilise une matrice de photodiodes dont l'exposition à la lumière génère un courant (ou une tension) qui est ensuite converti en valeur numérique, à l'aide d'un convertisseur analogique-numérique. Pour adapter la sensibilité de la photodiode à la quantité de lumière de la scène à capter, on adapte le temps d'intégration de la lumière sur l'ensemble du capteur (durée d'exposition, plusieurs acquisitions successives de l'image). Cependant, dans la plupart des scènes, il existe des zones claires et sombres qui ne seront pas rendues correctement si la sensibilité du capteur est réglée globalement à partir de la luminosité moyenne de la scène. Pour améliorer le rendu des images, une augmentation de la dynamique des images, par exemple de 8 à 16 bits, permet d'encoder plus de niveaux différents dans une image. Toutefois, cette méthode est compliquée car elle impose de disposer d'un convertisseur de grande précision et un format de fichier numérique volumineux. Elle impose en outre des moyens de calculs et de mémoire importants. En effet, pour faire l'acquisition d'une image d'une scène dans le visible, les appareils photographiques et caméras adaptent leur sensibilité aux conditions lumineuses moyennes (sous la dénomination dite « ISO-numérique » relativement à de tels appareils). Cependant, une scène contient souvent des zones de luminosités très différentes. Dans ce cas, les zones fortement éclairées sont saturées dans les blancs, tandis que les zones faiblement éclairées se confondent avec le noir.

Pour améliorer le rendu des scènes dont la dynamique est fortement variable d'une zone à l'autre, il est habituellement effectué plusieurs acquisitions d'images en faible dynamique (typiquement 8-10 bits) avec plusieurs facteurs d'exposition qui sont ensuite combinées pour obtenir une image de grande dynamique (32 bits). Une opération de rendu des tons est alors préférable pour encoder cette image de grande dynamique pour des formats d'affichage (8 bits). Cette technique nécessite alors des moyens de calcul, ainsi que de la mémoire, et pose des problèmes lors de mouvements dans la scène entre les acquisitions. On peut utiliser aussi un capteur de grande dynamique (maximum 14 bits), mais pour lequel le convertisseur analogique-numérique coûte cher, et le rendu de teinte doit être traité. 15 Il a été suggéré une adaptation locale, laquelle permettrait de traiter à la volée un rendu de teinte suivant les conditions locales d'exposition. Elle fournirait l'avantage d'une seule acquisition, sans nécessiter de convertisseurs onéreux et d'éviter un rendu de teinte à posteriori. Cependant, l'adaptation locale génère souvent des artéfacts (halos) visibles dans les zones peu texturées. Des solutions de post-traitement numérique de 20 ces artéfacts ont été proposées, mais il n'existe actuellement aucune solution satisfaisante d'architecture intégrée qui permettrait une régulation automatique du contraste local. L'invention vient améliorer la situation. 25 Elle propose à cet effet une architecture de capteur ayant la particularité d'avoir un contrôle de gain adaptatif local. La présente invention vise alors un dispositif capteur d'image, comportant une 30 multiplicité de photosites et un convertisseur analogique/numérique, chaque photosite 10 étant apte à recevoir un flux lumineux et à délivrer un signal électrique, sous forme analogique, alimentant le convertisseur. En particulier, le dispositif comporte en outre, en amont du convertisseur : - une pluralité de circuits intégrateurs, chaque circuit intégrateur étant connecté à un ensemble de photosites formant un voisinage, chaque circuit intégrateur étant propre à délivrer un signal analogique correspondant à une moyenne des signaux analogiques délivrés par les photosites dudit voisinage, et - des moyens régulateurs pour pondérer le signal analogique de chaque photosite par le signal de moyenne du voisinage de ce photosite.

Comme on le verra dans les exemples de réalisation présentés ci-après, l'invention permet d'obtenir des résultats satisfaisants, avec en particulier un niveau de détails élevé dans les zones sombres, habituellement à fort bruit.

La moyenne précitée peut être une moyenne simple, ou pondérée, ou peut aussi correspondre à une fonction de convolution plus complexe. Dans une réalisation préférentielle, les moyens régulateurs pondèrent le signal analogique de chaque photosite par le signal de moyenne du voisinage auquel appartient ce photosite. On ajoute ainsi dans la moyenne précitée le signal issu du photosite, à celui de ses voisins (cette addition étant notée ci-après Vph+VO). Chaque circuit intégrateur peut être connecté à un ensemble de photosites (nxm) formant un voisinage distinct par circuit intégrateur, ce qui permet avantageusement de réduire le coût en lecture et en place sur le circuit. Dans une architecture de dispositif comportant une pluralité de rangées de photosites, connectées à un décodeur de rangées en amont du convertisseur, les moyens régulateurs peuvent comporter au moins une pluralité de circuits amplificateurs connectés chacun à une rangée, d'une part, et au décodeur, d'autre part.

Préférentiellement, les circuits intégrateurs comportent chacun au moins un condensateur, selon alors une architecture avantageusement analogique. Les moyens régulateurs appliquent préférentiellement une pondération à chaque signal analogique d'un photosite selon une fonction non-linéaire adaptative faisant intervenir la moyenne précitée sur le voisinage de ce photosite. Plus particulièrement, les moyens régulateurs précités peuvent appliquer, à un signal analogique S d'un photosite, une fonction F(S) du type : F(S) = g(M) S / (S + f(M)), où f(M) et g(M) sont des fonctions linéaires de la moyenne, notée M. Les fonctions f(M) et g(M) peuvent être liées par une relation du type g(M) = c + f(M), où c est une constante, par exemple égale à 1. La fonction f(M) peut être donnée, quant à elle, par : f(M) = M + kG, où k est une constante et G est une moyenne globale calculée sur l'ensemble de tous les signaux analogiques issus de tous les photosites du dispositif capteur. Avantageusement, le dispositif comporte Kx1_, photosites, chaque circuit intégrateur étant connecté à un voisinage de nxm photosites, et le dispositif comporte : (E((K- 1 )/n)+ 1 )(E((L- 1 )/m)+ 1 ) circuits intégrateurs, où E(x) désigne la partie entière de x. On peut lire, outre la résultante des circuits intégrateurs, la valeur de chaque photosite, dans une réalisation particulière. On peut prévoir aussi des multiplexeurs servant à la lecture des pixels comme dans un circuit classique. 30 Ainsi, la sensibilité d'un photosite est contrôlée par une estimation moyenne locale de la luminosité de la scène, ce qui permet d'adapter la dynamique du capteur localement 20 25 et permet d'avoir une sensibilité pilotée localement. Ce traitement réalisé en analogique directement dans les circuits des photosites permet une régulation dynamique en amont du convertisseur analogique/numérique. On simplifie ainsi la forme de cette régulation tout en garantissant une bonne représentation de l'image.

La fonction de régulation de la sensibilité des photosites est suffisamment lisse pour éviter la génération d'artéfact au contour des objets dans l'image. D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description donnée ci-après à titre d'exemple illustratif, et à l'examen des dessins annexés sur lesquels : - la figure lA illustre une vue d'ensemble d'une chaîne de traitement de signal issu d'un photosite PXL générant un photocourant PHC, jusqu'à une valeur de tension numérique VN, - la figure 1B illustre le détail d'une matrice de pixels KxL, avec un traitement classique, - la figure 2A illustre le détail d'une matrice de pixels KxL, avec un traitement au sens de l'invention, - la figure 2B illustre le détail du traitement des signaux issus des photosites de la matrice KxL, au sens de l'invention, - les figures 3A et 3B illustrent des voisinages de photosites pris pour un calcul de moyenne VO, dans deux exemples de réalisation respectifs, - la figure 4 illustre des exemples de régulation classique et au sens de l'invention, et - les figures 5A, 5B et 5C illustrent un exemple de simulation (figure 5C) à partir d'une image d'une scène représentée sur la figure 5A. La présente invention propose une modification de l'architecture d'un imageur classique pour effectuer une adaptation locale au niveau du capteur et délivrer ainsi 30 une image automatiquement régulée en fonction de la dynamique locale dans la scène.

Dans une réalisation illustrée sur la figure 1A, un capteur classique comporte une multiplicité de photosites (i,j), avec i allant de 1 à K et j, de 1 à L. Chaque photosite PXL convertit une énergie lumineuse PH en photo-courant PHC pour délivrer finalement une tension analogique VA. Un amplificateur colonne AC comporte un multiplexeur pour collecter toutes les tensions analogiques issues des différents photosites et la tension résultante est appliquée à un convertisseur analogique/numérique CAN pour délivrer une tension numérique VN. En référence à la figure 1B, la matrice de photosites (référencée MAT PXL et appelé aussi « capteur » ci-après) est donc habituellement connectée à un décodeur de colonne DEC1, et à un décodeur de ligne DEC2. Le signal issu de la matrice est amplifié (AMP) et converti en tension numérique VN. En référence maintenant à la figure 2A présentant une application du procédé au sens de l'invention, le capteur MAT PXL, est équipé d'un moyen de mesure de la réponse V (en tension ou en intensité) d'un ensemble de N pixels voisins. Cette réponse permet d'estimer la luminosité locale dans la scène. On mesure en particulier un paramètre VO correspondant à une luminance locale, de manière à adapter la dynamique d'un photosite ou d'un groupe de N photosites voisins (comme illustré sur les N pixels, PXL1, PXL2, PXLN de la figure 2B). On indique que la luminance peut être estimée directement dans la mosaïque des photosites voisins de différentes couleurs car la moyenne dans une mosaïque correspond à la luminance filtrée selon la pondération éventuellement utilisée dans le calcul de la moyenne. Ainsi, cette luminance peut être estimée par la moyenne (simple ou avantageusement pondérée, par exemple) des signaux issus des photosites ou « pixels ».

La régulation de la sensibilité d'un photosite s'effectue alors à l'aide d'une fonction non-linéaire adaptative F(Vph,VO) dont la forme de la non-linéarité (sa « pente » locale) dépend du paramètre de moyenne précitée VO, Vph étant la tension en sortie de ce photosite. La régulation peut être réalisée par exemple en analogique avant la conversion analogique-numérique CAN.

Ainsi, dans un exemple de réalisation, on adapte, pour une mise en oeuvre de l'invention, un capteur classique tel qu'un imageur standard CMOS (produit en grande série) habituellement constitué de quatre parties distinctes : - une matrice de pixels MAT PIX telle que représentée sur les figures 1B et 2A, chaque pixel comportant une photodiode et de trois à cinq transistors MOS ; ces structures de pixels permettent de convertir en tension un courant photo-généré dans la photodiode ; les structures les plus complexes permettent également de mémoriser l'image au sein même du pixel qui comporte une mémoire (technique dite de « Global shutter ») ; - une ligne d'amplificateurs colonnes AMP situés en bas de chaque colonne de pixels et chargés de mettre en forme des valeurs de tension émanant de chaque pixel, d'éliminer les variations de tensions causées par la dispersion de fabrication (bruit spatial fixe ou « FPN » pour « Fixed Pattern Noise ») et de transférer les valeurs de tension au convertisseur analogique numérique ; - un convertisseur analogique/numérique CAN (qui est généralement une entité à part entière mais qui, en variante, peut être intégrée au moins en partie à l'électronique en pied de colonne) ; - des décodeurs numériques de lignes DEC2 et de colonnes DEC1 définissant un séquencement de lecture de tous les pixels de la matrice.

Comme présenté ci-après, on améliore avantageusement à la fois l'augmentation de la dynamique d'entrée du capteur, ainsi que l'adaptation aux conditions lumineuses moyennes, tout en conservant globalement l'architecture physique générale d'un capteur classique.

La mesure de la luminosité locale est réalisée par l'adjonction d'une capacité commune à N (ou nxn) pixels adjacents pour réaliser une moyenne en temps réel. Dans un exemple de réalisation présenté en figures 3A et 3B, le nombre N égale 4. On peut lire cette mesure en utilisant le même circuit de lecture que pour les pixels, ainsi qu'un multiplexeur temporel. De cette manière, la régulation peut être réalisée en pied de colonne directement avant la conversion numérique/analogique. Puisque la fonction de régulation F(Vph, VO) est commune à tous les photosites, l'application de cette fonction peut être partagée par souci d'économie. L'innovation architecturale se situe au sein même du pixel, ainsi qu'à la sortie des amplificateurs colonnes : - en amont du convertisseur analogique/numérique (intégration analogique), - ou en aval (intégration numérique), conformément à la figure 2B. On utilise une mesure de la moyenne locale des valeurs des pixels pour réguler, à travers une fonction non-linéaire adaptative, la réponse des photosites et permettre de traiter ensuite le rendu de teinte adapté localement. Il est proposé ici de calculer la moyenne locale entre les pixels par l'ajout de connections à un photosite aveugle (qui fait office de mémoire). De cette manière, la lecture de la valeur de la moyenne est réalisée comme une lecture de pixel normal sans modification du circuit de lecture.

Aussi, la suppression du bruit spatial fixe (FPN) est réalisée sur la valeur moyenne. La valeur de tension des pixels est notée ci-après Vph et la valeur du pixel aveugle VO. Pour réduire le nombre de connections entre les pixels sensibles et le pixel aveugle, quatre pixels de la matrice sont, dans un exemple de réalisation, connectés au pixel aveugle. Le schéma des connections peut alors tel que représenté sur la figure 3A ou la figure 3B, illustrant deux exemples respectifs d'arrangement des pixels et des positions de la valeur moyenne pour N=4. Dans l'exemple de la figure 3A, la moyenne est effectuée sur 4 pixels adjacents entre eux. Dans l'exemple de la figure 3B, la moyenne est effectuée sur 4 pixels adjacents à un même pixel dit « aveugle » (représenté en grisé). En variante, en reprenant l'exemple de la figure 3B, la tension issue de ce pixel représenté en grisé peut être intégrée aussi au calcul de la moyenne, auquel cas N=5. Les tensions Vph des valeurs de pixel sensibles et la valeur VO des pixels éventuellement aveugles sont envoyées au bloc de sortie comprenant : - le convertisseur analogique-numérique et - un module de régulation du signal. La fonction de régulation du signal F(Vph,VO) prend donc en entrée la tension Vph du pixel considéré (i,j) et la valeur VO assignée à un groupe de pixels « autour » de la position (i,j). Par exemple, un pixel en haut à gauche d'un groupe de la figure 3A ou de la figure 3B partage la valeur VO avec le voisin de droite, du bas et du bas à droite. Néanmoins, la valeur VO est commune à un groupe de N pixels (avec N=4 par exemple) et ne doit pas être interprétée limitativement comme une moyenne simple autour du pixel (i,j). Elle peut être aussi une moyenne pondérée.

A la sortie du bloc de régulation, le signal est numérique et vaut DV(i,j) pour le pixel (i,j). Par exemple, en tant que fonction de régulation, on peut utiliser une fonction F : (1) F(Vph, VO) = Vph/(Vph+VO+MT), ou encore (2) F(Vph, VO) = log(MT +Vph/VO) ou toute autre fonction monotone croissante, lisse, où : - MT est une constante prédéfinie, - ou encore MT=Vmoy-mat, et correspond à la valeur moyenne de tous les pixels de la matrice. L'application de cette fonction est réalisée dans un bloc de calcul en pied de colonne avant la conversion analogique/numérique, ou directement en modulant la conversion analogique-numérique par la valeur VO. La figure 4 montre un exemple de rendu d'une scène SC de grande dynamique, avec une variation des niveaux de luminosité beaucoup plus grande que ce que peut encoder un capteur d'une dynamique donnée (par exemple 8 bits). Cette variation est également beaucoup plus grande que la dynamique possible des afficheurs d'images disponibles FOR.

En changeant le temps d'exposition tl, t2, t3, par une régulation globale, on peut modifier les parties de la scène qui seront rendues par la caméra mais une large partie de la scène (en arrière plan) ne sera pas visible. En utilisant un capteur de grande dynamique GD, on peut améliorer cet état de fait. Néanmoins, par la mise en oeuvre de l'invention et en particulier en adaptant localement la dynamique des photosites RL, on obtient simultanément l'ensemble de la scène sans augmenter la dynamique du capteur. Les figures 5A, 5B et 5C montrent un exemple de simulation à partir d'une image d'une scène encodée sur 12 bits. Si l'afficheur et le format interne des données est de 8 bits, en changeant le temps d'exposition, on pourra obtenir l'ensemble des images présentées sur la figure 5B. Toutefois, avec un capteur d'une dynamique de 12 bits, l'encodage et l'affichage sur 8 bits donnent l'image 5A.

L'adaptation locale au sens de l'invention utilisant un voisinage 2x2 photosites pour calculer une valeur d'adaptation VO et utilisant la fonction non-linéaire adaptative décrite précédemment fournit en revanche 5C qui fait mieux apparaître les détails dans les zones sombres d'image. Ensuite, il est possible au besoin d'utiliser des algorithmes de traitement d'image, comme le démosaïçage, pour reconstruire une image couleur.

Bien entendu, la présente invention ne se limite pas à la forme de réalisation présentée ci-avant à titre d'exemple ; elle s'étend à d'autres variantes. Ainsi, on a décrit par exemple une moyenne simple dans le calcul de la fonction F, 25 précédemment. Néanmoins, une variante peut consister à calculer une moyenne pondérée selon des règles choisies. Plus généralement encore, on peut prévoir des fonctions de convolution plus complexes qu'une simple moyenne.

Claims (11)

1. REVENDICATIONS1. Dispositif capteur d'image, comportant une multiplicité de photosites (KxL) et un convertisseur analogique/numérique, chaque photosite étant apte à recevoir un flux lumineux et à délivrer un signal électrique, sous forme analogique, alimentant le convertisseur, caractérisé en ce qu'il comporte en outre, en amont du convertisseur : - une pluralité de circuits intégrateurs, chaque circuit intégrateur étant connecté à un ensemble de photosites (nxm) formant un voisinage, chaque circuit intégrateur étant propre à délivrer un signal analogique correspondant à une moyenne des signaux analogiques délivrés par les photosites dudit voisinage, et - des moyens régulateurs pour pondérer le signal analogique de chaque photosite par le signal de moyenne du voisinage de ce photosite.
2. 2. Dispositif selon la revendication 1, caractérisé en ce que les moyens régulateurs pondèrent le signal analogique de chaque photosite par le signal de moyenne du voisinage auquel appartient ce photosite.
3. 3. Dispositif selon l'une des revendications 1 et 2, caractérisé en ce que chaque circuit intégrateur est connecté à un ensemble de photosites (nxm) formant un voisinage distinct par circuit intégrateur.
4. 4. Dispositif selon l'une des revendications précédentes, comportant une pluralité de rangées de photosites, connectées à un décodeur de rangées en amont du convertisseur, caractérisé en ce que les moyens régulateurs comportent au moins une pluralité de circuits amplificateurs connectés chacun à une rangée, d'une part, et au décodeur, d'autre part.
5. 5. Dispositif selon l'une des revendications précédentes, caractérisé en ce que les circuits intégrateurs comportent chacun au moins un condensateur.
6. 6. Dispositif selon l'une des revendications précédentes, caractérisé en ce que les moyens régulateurs appliquent une pondération à chaque signal analogique d'un photosite selon une fonction non-linéaire adaptative faisant intervenir ladite moyenne sur le voisinage de ce photosite.
7. 7. Dispositif selon la revendication 6, caractérisé en ce que les moyens régulateurs appliquent, à un signal analogique S d'un photosite, une fonction F(S) du type : F(S) = g(M) S / (S + f(M)), où f(M) et g(M) sont des fonctions linéaires de ladite moyenne, notée M.
8. 8. Dispositif selon la revendication 7, caractérisé en ce que les fonctions f(M) et g(M) sont liées par une relation du type g(M) = c + f(M), où c est une constante.
9. 9. Dispositif selon la revendication 8, caractérisé en ce que la constante c est égale al. 15
10. 10. Dispositif selon l'une des revendications 7 à 9, caractérisé en ce que la fonction f(M) est donnée par : f(M) = M + kG, où k est une constante et G est une moyenne globale calculée sur l'ensemble de tous les signaux analogiques issus de tous les photosites du dispositif 20 capteur.
11. 11. Dispositif selon l'une des revendications précédentes, caractérisé en ce qu'il comporte K)d,, photosites, chaque circuit intégrateur est connecté à un voisinage de nxm photosites et le dispositif comporte (E((K-1)/n)+1)(E((M-1)/m)+1) circuits 25 intégrateurs, où E(x) désigne la partie entière de x. 10