FR2969822A1

FR2969822A1 - Capteur d'image tridimensionnel

Info

Publication number: FR2969822A1
Application number: FR1061237A
Authority: FR
Inventors: Jerome Vaillant
Original assignee: STMicroelectronics Grenoble 2 SAS
Current assignee: STMicroelectronics Grenoble 2 SAS
Priority date: 2010-12-24
Filing date: 2010-12-24
Publication date: 2012-06-29
Also published as: US9442296B2; US20120162391A1

Abstract

L'invention concerne un capteur d'image intégré adapté à déterminer la distance à des objets contenus dans une scène, comprenant une matrice de pixels (pl, p2), chaque pixel de la matrice étant associé à une microlentille (pli, µ12) et étant constitué d'un ensemble de sous-pixels (sp, sp') comprenant chacun une zone photosensible.

Description

B10660 - 10-GR2-297 1 CAPTEUR D'IMAGE TRIDIMENSIONNEL

Domaine de l'invention La présente invention concerne un capteur d'image intégré tridimensionnel permettant d'obtenir une information de la distance à des objets contenus dans une scène. Plus particulièrement, la présente invention concerne un tel capteur adapté à détecter des objets à des distances macroscopiques. Exposé de l'art antérieur Par capteur d'image tridimensionnel (3D) macroscopique, on entendra ici des capteurs d'image permettant de mesurer l'éloignement d'objets situés à des distances supérieures à environ un centimètre. De nombreuses techniques d'acquisition d'images tridimensionnelles et d'obtention d'informations de distance à des objets sont connues. Parmi celles-ci, les techniques de stéréovision proposent, pour obtenir un rendu 3D d'une image, de réaliser deux acquisitions d'une même scène à l'aide de deux caméras placées en des points distants. Les deux images acquises par les deux caméras sont ensuite modifiées en leur appliquant par exemple un filtre coloré, puis combinées. Pour réaliser la lecture de l'image, on place devant les deux yeux d'une personne deux filtres colorés adaptés chacun à filtrer une des deux B10660 - 10-GR2-297

2

images initiales. Le cerveau humain combine les deux images vues par les deux yeux de la personne et assure la reconstruction de l'image tridimensionnelle initiale. L'utilisation de cette technique pour réaliser une cartographie de distance à des objets contenus dans une scène de façon automatique (méthode stéréoscopique) est relativement complexe. En effet, pour réaliser une telle cartographie, les deux caméras doivent être parfaitement alignées avec les objets contenus dans la scène, et un système de décodage de l'infor- mation complexe doit être mis en oeuvre pour obtenir une information de l'éloignement des objets. Ainsi, il n'est pas possible de fabriquer des dispositifs mobiles utilisant ce procédé. Un autre procédé de détermination de la distance à un objet est connu sous l'acronyme TOF (en anglais "rime of Flight"). Ce procédé, notamment utilisé dans l'aéronautique, consiste à envoyer une onde, par exemple lumineuse ou acoustique, en direction d'un objet et à calculer le temps d'aller-retour de cette onde sur l'objet. Cependant, ce procédé n'est pas adapté à la mesure de faibles distances. En effet, dans ce cas, le temps d'aller-retour de l'onde est trop faible pour être facilement détecté par un capteur et ne permet pas de déterminer des distances proches avec précision. De plus, ce procédé n'est pas compatible avec la réalisation d'une cartographie instan- tapée de distances à des objets. En effet, une telle détermination instantanée nécessiterait que l'onde émise présente une puissance très importante pour atteindre une zone étendue de l'image, ce qui est incompatible avec la réalisation de dispositifs portables.

Il est également connu d'utiliser des procédés de triangulation dans lesquels un laser balaye une scène pour obtenir la distance à des objets de cette scène. Cependant, ces procédés sont précis uniquement si la scène est figée : ils impliquent un temps de réponse trop important pour acquérir une information correspondant à une scène en mouvement.

B10660 - 10-GR2-297

3

Ainsi, la plupart des solutions connues nécessitent des systèmes émetteurs-récepteurs qui doivent être alignés de façon précise, une source lumineuse active, et/ou impliquent des temps de réponse importants.

Résumé Un objet d'un mode de réalisation de la présente invention vise un capteur d'image intégré permettant de déterminer la distance à des objets contenus dans une scène, présentant un temps de réponse faible et palliant tout ou partie des inconvénients des capteurs de l'art antérieur. Ainsi, un mode de réalisation de la présente invention prévoit un capteur d'image intégré adapté à déterminer la distance à des objets contenus dans une scène, comprenant une matrice de pixels, chaque pixel de la matrice étant associé à une microlentille et étant constitué d'un ensemble de sous-pixels comprenant chacun une zone photosensible. Selon un mode de réalisation de la présente invention, chaque pixel comprend au moins un sous-pixel central et huit sous-pixels périphériques.

Selon un mode de réalisation de la présente invention, le capteur comprend en outre des moyens de détermination des rapports entre la quantité de photons détectée par un sous-pixel central des pixels et la quantité de photons détectée par au moins un sous-pixel périphérique des pixels.

Selon un mode de réalisation de la présente invention, le capteur comprend en outre des moyens de calcul des diamètres des images détectées par chacun des pixels à partir des rapports entre la quantité de photons détectée par un sous-pixel central des pixels et la quantité de photons détectée par au moins un sous-pixel périphérique des pixels. Selon un mode de réalisation de la présente invention, le capteur comprend en outre des moyens de calcul de la distance à des objets de la scène à partir des diamètres des images détectées par chacun des pixels.

B10660 - 10-GR2-297

4

Selon un mode de réalisation de la présente invention, le capteur comprend une lentille principale s'étendant sur l'ensemble de la surface du capteur d'image, les microlentilles étant placées dans le plan focal de la lentille principale, les zones photosensibles des sous-pixels étant prévues dans le plan focal des microlentilles, les moyens de calculs de la distance z0 à des objets de la scène étant prévus pour calculer le rapport suivant : zo = , 1+ DLENSE x fµ fL B DLENSE étant le diamètre de la lentille principale et fL sa distance focale, fp étant la distance focale des microlentilles, et B étant le diamètre de l'image formée sur un pixel du capteur d'image. Selon un mode de réalisation de la présente invention, le capteur comprend en outre des moyens de comparaison des diamètres des images détectées par les pixels à des diamètres de références stockés dans une base de données et associés à des distances à des objets. Un mode de réalisation de la présente invention prévoit en outre un procédé de détermination de la distance à des objets contenus dans une scène à l'aide d'un capteur d'image intégré tel que ci-dessus, comprenant les étapes suivantes : déterminer, pour l'ensemble des pixels du capteur, le rapport entre la quantité de photons détectée par un sous-pixel central et la quantité de photons détectée par les sous-pixels périphériques, d'où on peut en déduire le diamètre des images formées sur les pixels ; et associer les diamètres des images formées sur les pixels à des distances à des objets de la scène. Selon un mode de réalisation de la présente invention, l'association des diamètres d'images formées sur les pixels à des distances à des objets dans la scène est réalisée en comparant les diamètres à des diamètres stockés dans une base de données. fL B10660 - 10-GR2-297

Selon un mode de réalisation de la présente invention, l'association des diamètres d'images formées sur les pixels à des distances à des objets dans la scène est réalisée par calcul. 5 Brève description des dessins Ces objets, caractéristiques et avantages, ainsi que d'autres seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non-limitatif en relation avec les figures jointes parmi lesquelles : les figures 1 et 2 représentent des systèmes optiques illustrant le principe de base d'un capteur d'image selon un mode de réalisation de la présente invention ; les figures 3A et 3B illustrent le fonctionnement d'un capteur d'image selon un mode de réalisation de la présente 15 invention ; la figure 4 illustre une portion d'un capteur d'image selon un mode de réalisation de la présente invention ; et les figures 5A et 5B illustrent un résultat obtenu à l'aide d'un capteur d'image selon un mode de réalisation de la 20 présente invention. Par souci de clarté, de mêmes éléments ont été désignés par de mêmes références aux différentes figures et, de plus, comme cela est habituel dans la représentation des capteurs d'image, les diverses figures ne sont pas tracées à 25 l'échelle. Description détaillée Les figures 1 et 2 représentent deux systèmes optiques illustrant le principe de base d'un capteur d'image selon un mode de réalisation de la présente invention. 30 Dans ces figures est représenté un dispositif optique comprenant une lentille convergente L. Le point focal de la lentille est appelé F et le plan focal de celle-ci est appelé P. En figure 1, un objet 01 est placé sur l'axe optique de la lentille à une première distance de celle-ci, supérieure à 35 la distance focale de la lentille. Si l'on se place dans le plan B10660 - 10-GR2-297

6

focal P de la lentille, l'objet 01 forme une image floue dont la dimension varie selon l'ouverture angulaire de la lentille. En figure 2, un objet 02 est placé sur l'axe optique de la lentille à une deuxième distance de celle-ci, inférieure à la première distance séparant la lentille et l'objet 01. L'image floue formée par l'objet 02 dans le plan focal de la lentille présente un diamètre d2 en figure 2A supérieur au diamètre de l'image d1 dans le cas de l'objet 01 de la figure 1A. Ainsi, en fonction de la distance d'un objet à la lentille, cet objet forme une image plus ou moins grande et plus ou moins floue dans le plan focal de celle-ci. On peut donc associer la distance d'un objet à la lentille à la taille de l'image formée par cet objet au plan focal de la lentille. On notera que les observations sur les diamètres des images obtenues dans le plan focal de la lentille L peuvent également être obtenues dans des plans différents du plan focal, en fonction de la plage de distances d'objets que l'on souhaite détecter. On prévoit de tirer profit de ces propriétés pour former un capteur d'image permettant d'obtenir une information de la distance d'objets contenus dans une scène de façon intégrée, en mesurant la taille du flou introduit par ces objets. Les figures 3A et 3B illustrent le fonctionnement d'un capteur d'image proposé lors de la détection, respectivement, d'un objet situé à l'infini et d'un objet situé à une distance finie du capteur d'image. Le capteur d'image intégré comprend un ensemble de pixels p1, p2, p3 associés, respectivement, à des microlentilles p11, p12 et p13. Une lentille principale du capteur d'image, LENSE, est prévue au-dessus de l'ensemble des microlentilles. Les microlentilles X11, p12 et p13 sont positionnées au plan focal de la lentille principale. Dans le cas de la figure 3A, l'image de l'objet à 35 l'infini est focalisée par la lentille principale LENSE vers le B10660 - 10-GR2-297

7

centre d'une microlentille 1_112. Le faisceau issu de la micro-lentille 1_112 atteint ensuite une zone de photodétection du pixel p2, et forme une image présentant un diamètre B1 dans cette zone de photodétection.

Dans le cas de la figure 3B, l'objet détecté est à une distance finie de la lentille principale LENSE. L'image de l'objet atteint la microlentille 1_112, et la zone de photo-détection du pixel p2, selon une incidence différente de celle dans le cas de la figure 3A. L'image formée par l'objet dans le pixel p2 présente un diamètre B2 inférieur au diamètre B1. Pour déterminer la taille de l'image formée par des objets au niveau des zones de photodétection, et ainsi la distance à ces objets, on prévoit de former des pixels, associés à une microlentille, comprenant chacun une matrice de sous- pixels. En étudiant le rapport entre la réponse d'un sous-pixel central et la réponse d'un ou des sous-pixels périphériques de chaque pixel, on peut en déduire la taille de l'image détectée par le pixel, et donc la distance à l'objet détecté par le pixel.

La figure 4 illustre une portion d'un capteur d'image tel que décrit ci-dessus, dans le cas d'un capteur éclairé par la face arrière. Le capteur comprend un substrat aminci 10. Du côté d'une première face, la face avant, sont formées des zones de photodétection sp, sp' définissant des sous-pixels du capteur de distances. Des éléments de transfert de charges photogénérées, non représentés, sont formés sur la face avant du substrat 10 pour transférer les charges stockées dans les différentes zones de photodétection sp, sp'. Un empilement d'interconnexion 12, non représenté en détail, est formé au-dessus de la face avant du substrat semiconducteur 10. Cet empilement d'interconnexion 12 peut comprendre des pistes et nias métalliques séparés par un matériau isolant. Des microlentilles p11 et 1_112 sont formées sur la 35 deuxième face du substrat 10, la face arrière, et définissent B10660 - 10-GR2-297

8

des pixels p1 et p2. Une couche transparente (oxyde de silicium, résine transparente, ou autre) servant à espacer les micro-lentilles du substrat est éventuellement déposée avant la réalisation des microlentilles. Chaque microlentille p11 et p12 est formée en surface d'un ensemble de neuf sous-pixels sp, sp' répartis en carré. Dans l'exemple représenté, le pixel p1 détecte un objet situé à l'infini. Le faisceau arrivant en surface des sous-pixels sp, sp' du pixel p1 présente ainsi un diamètre B1 maximal et atteint les sous-pixels sp situés en périphérie du pixel p1 sur une surface importante de ces sous-pixels. Le pixel p2, quant à lui, détecte un objet situé à une distance finie du capteur. Le faisceau arrivant en surface des sous-pixels sp, sp' du pixel p2 présente un diamètre B2 inférieur au diamètre B1 et atteint les sous-pixels périphériques sp du pixel p2 sur une surface moins importante que les sous-pixels périphériques sp du pixel p1. En comparant la quantité de lumière détectée par le sous-pixel central sp' et la quantité de lumière détectée par les sous-pixels périphériques sp de chaque pixel, on peut en déduire le diamètre de l'image formée par l'objet de la scène sur le pixel, et donc la distance entre cet objet et le capteur d'image. Les figures 5A et 5B illustrent deux pixels tels que décrits ci-dessus, comprenant chacun un ensemble de neuf sous-pixels sp, sp' (3 x 3 sous-pixels), et correspondant respective-ment à l'éclairement reçu dans le cas des deux pixels p1 et p2 de la figure 4. Dans le cas de la figure 5A, l'objet détecté par le pixel p1 forme un disque 20 sur le pixel p1 qui présente un diamètre B1 important. Dans ce cas, le disque 20 s'inscrit quasiment dans le pixel p1. Dans le cas de la figure 5B, l'objet détecté par le pixel p2 forme un disque 30 sur ce pixel présentant un diamètre B2 plus faible que le disque 20.

B10660 - 10-GR2-297

9

Pour détecter la dimension du disque formé sur un pixel, on prévoit de comparer la détection réalisée par un sous-pixel sp' central du pixel à la détection réalisée par un ou par l'ensemble des sous-pixels sp situés en périphérie du sous-pixel central. Une telle comparaison, par exemple en réalisant le rapport entre ces deux détections, permet de s'affranchir de la valeur de l'éclairement global sur le pixel. On prévoit donc d'associer un capteur comprenant des pixels constitués de plusieurs sous-pixels à des moyens de détermination du rapport entre les signaux détectés par les différents pixels pour obtenir la valeur du diamètre du disque détecté par le pixel, et ensuite corréler cette valeur à la distance de l'objet détecté. Le rapport entre la détection du sous-pixel central et celle des sous-pixels périphériques permet d'obtenir le diamètre de l'image formée sur un pixel du capteur d'image. Ce diamètre pourra par exemple être comparé à des diamètres stockés dans une base de données et associés à des distances à des objets de référence. Avantageusement, une telle comparaison, à l'aide de moyens de comparaison adaptés, est peu consommatrice de temps.

Ainsi, le procédé proposé ici est compatible avec l'acquisition en temps réel de données de distances d'objets d'une scène en mouvement. On pourra également prévoir des moyens de calcul de la distance à des objets plutôt que des moyens de comparaison à des associations diamètre-distance contenus dans une base de données. A titre d'exemple, si les microlentilles sont placées dans le plan focal de la lentille principale LENSE, qu'on appelle DLENSE le diamètre de la lentille principale et fL sa distance focale, que les zones photosensibles sont formées au plan focal des microlentilles pl, qu'on appelle fp la distance focale des microlentilles et z0 la distance d'un objet de la scène au point focal objet la lentille principale LENSE, le diamètre B de l'image obtenue sur un pixel du capteur répond à l'équation : B10660 - 10-GR2-297 10 fµ.zo B = DLENSEx fL ~fL - zo ) Ainsi, la distance d'un objet à la lentille principale est définie par : f zo = L et peut être facilement calculée. 1 D + LENSE x fl~ fL B Pour que la détection par une matrice de pixels telle que proposée ci-dessus soit efficace pour des plages de distances d'objets prédéfinies, l'homme de l'art déterminera aisément les valeurs de la distance entre la lentille principale LENSE du capteur et les microlentilles pli et 1112, et entre les microlentilles pli et 1112 et les zones de photodétection des sous-pixels (les microlentilles pouvant être formées dans un plan différent du plan focal de la lentille principale) pour qu'une première valeur minimale ou maximale des distances à détecter corresponde à un éclairement d'un pixel tel que celui de la figure 5A (éclairement maximal) et qu'une deuxième valeur minimale ou maximale des distances à détecter corresponde à un éclairement d'un pixel tel que celui de la figure 5B, dans lequel le pixel central sp' est complètement éclairé et les pixels périphériques sont peu éclairés. Ainsi, le positionnement des différents éléments du capteur sera ajusté en fonction des plages de distances à des objets que l'on souhaite détecter. Par exemple, si on souhaite former un capteur tridimensionnel détectant des distances allant jusqu'à l'infini, les microlentilles pourront être formées dans 25 le plan focal de la lentille principale. Inversement, si on souhaite détecter des distances plus faibles, notamment pour détecter des mouvements d'une personne dans le cas de jeux vidéo, on pourra ajuster les différents éléments différemment. Des modes de réalisation particuliers de la présente 30 invention ont été décrits. Diverses variantes et modifications apparaîtront à l'homme de l'art. En particulier, on pourra pré-voir de former des pixels comprenant plus de neuf sous-pixels,20 B10660 - 10-GR2-297

11

l'éclairement de chaque couronne de sous-pixel entourant le sous-pixel central permettant de détecter une plage de distances prédéterminées. De plus, bien que l'invention ait été décrite en rela- tion avec un capteur d'image éclairé par la face arrière, on pourra également prévoir de former des pixels constitués d'un ensemble de sous-pixels sur tout type de capteur d'image, par exemple éclairé par la face avant. Le capteur de distances proposé ici est également compatible avec toute structure de zone photosensible des sous-pixels.

Claims

REVENDICATIONS1. Capteur d'image intégré adapté à déterminer la distance à des objets contenus dans une scène, comprenant une matrice de pixels (p1, p2), chaque pixel de la matrice étant associé à une microlentille (pli, pl2) et étant constitué d'un ensemble de sous-pixels (sp, sp') comprenant chacun une zone photosensible.
2. Capteur selon la revendication 1, dans lequel chaque pixel (p1, p2) comprend au moins un sous-pixel central (sp') et huit sous-pixels périphériques (sp).
3. Capteur selon la revendication 1 ou 2, comprenant en outre des moyens de détermination des rapports entre la quantité de photons détectée par un sous-pixel central (sp') des pixels et la quantité de photons détectée par au moins un sous-pixel périphérique des pixels (sp).
4. Capteur selon la revendication 3, comprenant en outre des moyens de calcul des diamètres des images détectées par chacun des pixels (p1, p2) à partir desdits rapports.
5. Capteur selon la revendication 4, comprenant en outre des moyens de calcul de la distance (z0) à des objets de 20 la scène à partir desdits diamètres.
6. Capteur selon la revendication 4, comprenant une lentille principale (LENSE) s'étendant sur l'ensemble de la surface du capteur d'image, les microlentilles (pli, pl2) étant placées dans le plan focal de la lentille principale, les zones 25 photosensibles des sous-pixels (sp, sp') étant prévues dans le plan focal des microlentilles, lesdits moyens de calculs de la distance z0 à des objets de la scène étant prévus pour calculer le rapport suivant : zo = , 1+ DLENSE x fµ fL B 30 DLENSE étant le diamètre de la lentille principale et fL sa distance focale, fIl étant la distance focale des microlentilles, 15 fLB10660 - 10-GR2-297 13 et B étant le diamètre de l'image formée sur un pixel du capteur d'image.
7. Capteur selon la revendication 4, comprenant en outre des moyens de comparaison des diamètres des images détectées par les pixels à des diamètres de références stockés dans une base de données et associés à des distances à des objets.
8. Procédé de détermination de la distance à des objets contenus dans une scène à l'aide d'un capteur d'image intégré selon l'une quelconque des revendications 1 à 7, comprenant les étapes suivantes : déterminer, pour l'ensemble des pixels (p1, p2) du capteur, le rapport entre la quantité de photons détectée par un sous-pixel central (sp') et la quantité de photons détectée par les sous-pixels périphériques (sp), d'où on peut en déduire le diamètre des images formées sur les pixels ; et associer les diamètres des images formées sur les pixels à des distances à des objets de la scène.
9. Procédé selon la revendication 8, dans lequel l'association des diamètres d'images formées sur les pixels (p1, p2) à des distances à des objets dans la scène est réalisée en comparant lesdits diamètres à des diamètres stockés dans une base de données.
10. Procédé selon la revendication 8, dans lequel l'association des diamètres d'images formées sur les pixels (p1, p2) à des distances à des objets dans la scène est réalisée par calcul.