FR2998666A1

FR2998666A1 - Procede de production d'images avec information de profondeur et capteur d'image

Info

Publication number: FR2998666A1
Application number: FR1261270A
Authority: FR
Inventors: Pierre Fereyre; Bruno Diasparra; Vincent Prevost
Original assignee: e2v Semiconductors SAS
Current assignee: Teledyne e2v Semiconductors SAS
Priority date: 2012-11-27
Filing date: 2012-11-27
Publication date: 2014-05-30
Anticipated expiration: 2032-11-27
Also published as: FR2998666B1; WO2014082864A1; EP2926162A1; JP6320406B2; CN104884972A; US9699442B2; US20150319422A1; JP2016506492A; CA2892659A1

Abstract

L'invention concerne la production d'images associant à chaque point de l'image une profondeur, c'est-à-dire une distance entre le point observé et la caméra qui produit l'image. Une source lumineuse émet N trains d'impulsions lumineuses. Pour chaque train de rang i = 1 à N, on intègre les charges pendant un court créneau temporel de durée Tint qui commence avec un décalage temporel ti par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à distance di du capteur. Le décalage temporel ti est le même pour toutes les impulsions lumineuses du ième train d'impulsions mais les décalages temporels ti pour les N trains sont différents les uns des autres pour correspondre à différentes distances par rapport au capteur. On accumule les charges photo générées par les impulsions d'un même train ; puis on lit la charge accumulée pour produire une image de rang i représentant les pixels situés à la distance di. L'observation d'une scène comporte la production de N images différentes grâce auxquelles on peut associer une distance à chaque pixel. Figure de l’abregé / Figure 1.

Description

PROCEDE DE PRODUCTION D'IMAGES AVEC INFORMATION DE PROFONDEUR ET CAPTEUR D'IMAGE L'invention concerne la production d'images associant à chaque point de l'image une profondeur, c'est-à-dire une distance entre le point observé et la caméra qui produit l'image. La production d'images avec une profondeur associée est utilisée notamment mais pas exclusivement pour la visualisation d'images en relief : dans cette application, on peut par exemple produire une image avec une caméra, et produire des valeurs de profondeurs associées à chaque point ; puis, à partir de cette image unique, on peut produire une image gauche et une image droite différentes l'une de l'autre ; un point de la scène occupe la 1 0 même position dans l'image gauche et dans l'image droite s'il est à une distance infinie ; s'il est plus proche de la caméra, il occupe des positions différentes, écartées latéralement d'une distance d'autant plus grande que le point est plus rapproché. Les images gauche et droite projetées simultanément mais observées chacune par un oeil respectif donnent 15 l'impression de relief. Le plus souvent, la profondeur est obtenue par deux caméras écartées l'une de l'autre. L'invention propose une solution avec une seule caméra. Dans une autre application, on recherche à établir une image avec des profondeurs associées pour faire de la détection d'obstacles. La 20 connaissance de la distance entre un obstacle et un véhicule automobile peut servir à éviter des collisions. C'est le cas en particulier si l'image est prise en lumière infrarouge qui permet cette détection même en cas de brouillard. Dans ce cas, l'information de profondeur, qui représente la distance entre la caméra et l'obstacle ou des parties de l'obstacle est 25 capitale. Pour permettre de réaliser ces objectifs à l'aide d'une seule caméra, la présente invention propose un procédé de production d'images d'une scène en volume incluant une information de distance de chaque point de la scène, ce procédé utilisant une source de lumière impulsionnelle et un 30 capteur d'image, le capteur comprenant des pixels aptes à accumuler, dans un noeud de stockage respectif de chaque pixel, des charges générées par la lumière, le procédé comprenant l'émission de N trains successifs d'impulsions lumineuses à partir de la source lumineuse et sous contrôle d'une horloge de référence, N étant un nombre entier représentant le nombre de niveaux de profondeur désiré pour l'information de relief, et, itérativement pour chaque train d'impulsions de rang i parmi les N trains d'impulsions : a) émission du ième train d'impulsions lumineuses, les impulsions étant émises à des instants déterminés à partir de l'horloge de référence et à des intervalles déterminés à partir de cette horloge, a1) intégration de charges pour chaque impulsion lumineuse du ième train pendant un court créneau temporel d'intégration de durée Tint commençant avec un décalage temporel ti par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à une ième distance (di) du capteur, le ième décalage temporel ti étant le même pour toutes les impulsions lumineuses du ième train d'impulsions et les décalages temporels ti pour les N trains étant différents les uns des autres pour correspondre à différentes distances par rapport au capteur, b1) transfert des charges intégrées pour chaque impulsion lumineuse du ième train, dans le noeud de stockage de charges de chaque pixel, et accumulation de ces charges avec les charges résultant des précédentes impulsions lumineuses du même train, b) lecture des charges contenues dans le noeud de stockage de chaque pixel après la fin du ième train d'impulsions, réinitialisation du noeud de 25 stockage, et fourniture d'une image respective de rang i représentant les points d'une scène située à la ième distance (di) du capteur. En d'autres mots, chaque train d'impulsions est destiné à l'observation des points de la scène qui sont situés à une distance bien déterminée di, les 30 autres points étant exclus de cette observation. Les points plus proches que la distance di ne sont pas vus parce que l'impulsion lumineuse réfléchie par ces points arrive avant l'instant ti, c'est-à-dire avant que ne commence un créneau temporel d'intégration de charges (de ti à ti + Tint). Les points plus lointains ne sont pas vus parce que l'impulsion lumineuse réfléchie par ces points arrive trop tard, alors que le créneau temporel d'intégration de charges est déjà terminé. Le créneau temporel d'intégration de charges de durée Tint, 5 synchronisé par rapport à l'impulsion lumineuse, est établi de préférence entre la fin d'un signal de réinitialisation de la photodiode, commun à tous les pixels, et la fin d'un signal de transfert de charges commun à tous les pixels. Le signal de transfert de charges autorise le transfert de charges d'une photodiode vers le noeud de stockage de charges du pixel. Le signal de 10 réinitialisation vide les charges de la photodiode et empêche l'intégration de charges dans celle-ci. Les impulsions lumineuses sont brèves et les créneaux temporels d'intégration de charges sont également brefs car c'est cette brièveté qui permet une précision de localisation de la distance di. La durée des créneaux 15 d'intégration est inférieure à la différence de deux décalages temporels voisins tels que ti et ti+1 si on veut distinguer correctement les distances voisines correspondantes di et di±i. Les impulsions lumineuses sont nombreuses (si possible) dans chaque train d'impulsions pour compenser leur brièveté et assurer la réception cumulée d'une quantité de photons 20 suffisante avant la lecture des charges accumulées dans le noeud de stockage de chaque pixel à la fin du train d'impulsions. Dans la théorie, le signal fourni par un pixel pour un train d'impulsions donné existe si un point de la scène observé par ce pixel se trouve à la 25 distance di associée à ce train et n'existe pas si le point de la scène n'est pas à cette distance. Le niveau du signal fourni, représentant la quantité de charges accumulée à la fin du train d'impulsions, est à peu près proportionnel au pouvoir de réflexion ou albedo du point, avec toutefois un niveau de signal dégradé si la distance de ce point est telle que le retour de 30 l'impulsion réfléchie ne coïncide que partiellement avec le créneau d'intégration de charges. Au bout de N trains d'impulsions, on obtient N images de la scène avec une information de profondeur associée à chaque image, et à partir de là on obtient donc une information de profondeur pour chaque pixel. 35 L'information résultante peut être transmise soit sous la forme des N images représentant N plans de vue correspondant à N distances différentes, ou encore sous la forme d'une image unique rassemblant les luminances des N images, additionnées pixel à pixel, associée à une matrice de distances représentant pour chaque pixel la distance associée à ce pixel, c'est-à-dire la distance du point de la portion de scène observée par le pixel. La distance associée au pixel peut être la distance unique di pour laquelle le pixel a reçu un signal, ou pour laquelle le pixel a reçu le signal le plus fort parmi les N images. Mais elle peut être aussi, comme on l'indiquera plus loin, une distance calculée par interpolation si le pixel a reçu un signal non nul pour plusieurs distances différentes. Les valeurs de décalages temporels ti diffèrent les uns des autres d'une valeur qu'on peut appeler "incrément de durée" des valeurs ti. Si la durée d'une impulsion lumineuse est Timp et si la durée d'un créneau temporel d'intégration de charges est Tint, alors l'incrément de durée des valeurs ti, qui définit la résolution en profondeur, est de préférence égal à la somme des durées Timp et Tint. Ces deux durées peuvent être égales ou à peu près égales. Si l'incrément entre deux décalages ti est supérieur à cette somme Timp+Tint, on risque de manquer des réflexions sur des points situés entre une distance di et une distance di±i. Si l'incrément est inférieur, un point situé à peu près à la distance di peut donner une réponse sur le train d'impulsions de rang i correspondant à cette distance di mais aussi une réponse sur le train d'impulsions de rang i-1 ou 41, et on peut avoir un problème de discrimination de la valeur de distance la plus pertinente parmi plusieurs valeurs possibles. Dans tous les cas où un même pixel reçoit un signal non nul pour plusieurs trains d'impulsions différents, le mieux est d'établir pour ce pixel une information de distance à partir des différentes réponses, par exemple en sélectionnant la distance pour laquelle la réponse est la plus élevée, ou encore en calculant une distance par interpolation à partir des distances pour lesquelles un signal est reçu par un pixel : par exemple, on calcule une distance par interpolation pondérée sur trois valeurs à partir de la distance di correspondant au train d'impulsion de rang i pour lequel le signal lu a la valeur la plus élevée et à partir des signaux lus pour ce pixel et correspondant aux distances di_1 et/ou di+i, en affectant à chaque distance un poids correspondant au niveau de signal reçu. L'interpolation peut se faire sur cinq distances consécutives ou même plus. On établit alors une matrice de valeurs numériques de distances, associant à chaque pixel du capteur une distance d'un point de la scène 5 observé par ce pixel. Outre le procédé de production d'image qui vient d'être résumé, l'invention concerne un appareil pour prise d'image comprenant un capteur d'image à matrice de pixels et une source de lumière apte à fournir des 10 impulsions lumineuses, l'appareil fournissant une image de la scène et une information de distance associée à chaque pixel de la matrice de pixels, chaque pixel comportant une photodiode, des moyens de réinitialisation de la photodiode, des moyens de stockage de charge dans le pixel, et des moyens de lecture de charges accumulées dans le noeud de stockage, la source de 15 lumière comportant des moyens pour fournir N trains d'impulsions de lumière calibrées en durée et en intervalles, l'appareil comportant en outre des moyens de séquencement pour commander la réinitialisation et le transfert de charges de la photodiode vers le noeud de stockage, et les moyens de séquencement étant synchronisés par rapport aux impulsions de lumière, 20 caractérisé en ce que les moyens de séquencement sont agencés pour produire, pour chacun des N trains d'impulsions de lumière, une intégration de charges pendant un court créneau temporel décalé par rapport à chaque impulsion de lumière d'un décalage temporel (ti) identique pour toutes les impulsions de lumière d'un même train d'impulsions de rang i et différent de 25 celui des autres trains d'impulsions, le décalage temporel correspondant à la durée de trajet de la lumière entre la source de lumière et le capteur après réflexion sur un point de la scène situé à une distance respective di, les charges intégrées suite à l'éclairement par les impulsions d'un même train d'impulsions de rang i étant accumulées dans le noeud de stockage, puis 30 lues à partir de ce noeud pour produire une image de rang i des points de la scène situés à distance ti, et éliminées à la fin du train d'impulsions en vue d'une nouvelle accumulation pour un autre train d'impulsions de rang i+1 correspondant à une autre distance di±i.

La durée d'un créneau temporel court est inférieure à l'écart entre deux valeurs de décalage temporel voisines correspondant à deux trains d'impulsions différents.

D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit et qui est faite en référence aux dessins annexés dans lesquels : - la figure 1 représente le principe général de la production d'images d'une scène avec information de distance selon l'invention ; - la figure 2 représente des images successives produites à partir de la scène de la figure 1 ; - la figure 3 représente la constitution d'un pixel et de son circuit de lecture pour la mise en oeuvre de l'invention ; - la figure 4 représente un chronogramme de fonctionnement du 15 procédé ; - la figure 5 représente le détail de la synchronisation des signaux pour l'établissement d'un créneau temporel d'intégration suivant une impulsion lumineuse. 20 Le procédé selon l'invention est schématisé à la figure 1. Il utilise une caméra CAM associée à une source de lumière impulsionnelle LS, le fonctionnement du capteur d'image de la caméra étant synchronisé par rapport au fonctionnement de la source de lumière. La source de lumière peut être une source en proche infrarouge, notamment dans le cas de la 25 production d'images destinées à l'observation ou la détection d'obstacles dans le brouillard. La caméra comprend un objectif et un capteur d'image. Le capteur comporte une matrice de pixels actifs et des circuits de séquencement internes pour établir les signaux de commande interne, notamment des signaux de commande de lignes et de colonnes qui 30 permettent l'intégration de charges photo générées puis la lecture de ces charges. Sur la figure 1, la caméra et la source de lumière sont représentés comme deux objets séparés mais la source de lumière peut aussi être incorporée au boîtier de la caméra. Des moyens de contrôle pour 35 synchroniser le fonctionnement du capteur d'image par rapport au fonctionnement impulsionnel de la source de lumière sont prévus. Ils peuvent faire partie de la source de lumière, ou de la caméra, ou d'un circuit électronique SYNC relié à la fois à la caméra et à la source de lumière. Ces moyens de contrôle comprennent une horloge de référence qui est utilisée par les circuits de séquencement du capteur d'image, pour assurer la synchronisation. On a représenté devant la caméra une scène comportant des objets en relief, c'est-à-dire que les différentes parties de la scène ne sont pas toutes situées à la même distance de la caméra.

La source de lumière émet des impulsions de lumière brèves. Lorsqu'une impulsion est émise, elle est réfléchie par les objets de la scène et l'impulsion réfléchie par un objet ou une partie d'objet situé dans un plan d'observation Pi à une distance di revient au capteur d'image avec un retard ti proportionnel à cette distance. La source de lumière est supposée être à la même distance di que le capteur d'image. Le temps ti est alors égal à 2di/c où c est la vitesse de la lumière. Si on suppose qu'on s'intéresse à l'observation de points de la scène situés à des distances di réparties dans une gamme de distances donnée allant de d1 (distance la plus proche) à dN (distance la plus lointaine), on peut donc déterminer une distance d'un point de la scène par la détermination du temps qui s'écoule entre l'émission d'une impulsion et le retour de cette impulsion après réflexion sur le point observé par un pixel. En décidant de recueillir une image par intégration de charges photo générées pendant un créneau temporel très étroit correspondant uniquement à l'instant de retour d'une impulsion brève qui a été réfléchie par les points de la scène situés dans un plan Ph à une distance di, on produit une image qui ne contient que les points de la scène situés dans ce plan. La figure 2 illustre les images différentes IM1 à IM6 qu'on peut obtenir avec le capteur si on ne recueille pour chaque image que le signal de lumière parvenant à l'instant ti, c'est-à-dire si on n'observe que les parties d'objet situées dans le plan Pi à la distance di, ceci pour différents plans Pi allant par exemple de P1 à P6. Selon l'invention, on produit N images successives de la scène, 35 chaque image ne correspondant qu'à un plan Pi déterminé. Une information de distance est donc contenue intrinsèquement dans la succession d'images obtenue puisqu'à chaque pixel du capteur on peut associer, selon qu'il fournit ou non un signal dans les différentes images ou selon la valeur de ce signal dans les différentes images, une distance par rapport à la caméra.

Avant d'indiquer la manière dont sont établies ces images, on rappelle à la figure 3 la constitution classique d'un pixel de capteur d'image matriciel en technologie CMOS et son circuit de lecture, qui permettent de mettre en oeuvre l'invention.

Le pixel comprend classiquement une photodiode PH et un noeud de stockage de charges ND dans lequel on peut stocker les charges engendrées par la photodiode pendant un temps d'intégration Tint. Le pixel comporte par ailleurs plusieurs transistors MOS qui servent à commander le pixel pour définir le temps d'intégration et extraire un signal représentant la quantité de charges stockées pendant le temps d'intégration. Plus précisément, le pixel comporte : - un transistor Ti qui permet la réinitialisation du potentiel de la photodiode avant de commencer une nouvelle période d'intégration de durée Tint ; ce transistor est commandé par un signal de réinitialisation global RG commun à tous les pixels de la matrice ; la fin du signal RG définit le début de la durée d'intégration Tint. - un transistor de transfert de charges T2 qui permet de vider dans le noeud de stockage ND les charges engendrées après une durée d'intégration Tint ; ce transistor est commandé par un signal de transfert de charges TR qui peut être commun à tous les pixels ; la fin de ce signal définit la fin de la durée d'intégration Tint ; - un transistor de réinitialisation T3 qui permet de réinitialiser le potentiel du noeud de stockage après la lecture de la quantité de charges qui y a été stockée ; ce transistor est commandé par un signal de réinitialisation 30 RST qui peut être commun à tous les pixels ; - un transistor de lecture T4 qui est monté en suiveur de tension et qui permet de reporter de sa grille vers sa source le niveau de potentiel du noeud de stockage de charges ; - et enfin un transistor de sélection T5 qui est relié à la source du 35 transistor T4 et qui permet de reporter vers un conducteur de colonne COL (commun aux pixels d'une même colonne de la matrice) le potentiel du noeud de stockage de charges lorsqu'on veut lire la quantité de charges stockée dans le noeud de stockage de charges ; ce transistor est commandé par un signal de sélection de lignes SEL commun à tous les pixels d'une ligne ; les pixels sont lus ligne par ligne. Le circuit de lecture, extérieur à la matrice de pixels et relié aux différents conducteurs de colonne, comprend un circuit d'échantillonnage qui échantillonne, par exemple dans deux capacités Cr et Cs le potentiel du conducteur de colonne à l'aide d'interrupteurs Kr et Ks, respectivement à un instant où le noeud de stockage a été remis à zéro et à un instant où on veut déterminer la quantité de charges accumulée dans le noeud de stockage. La différence entre les potentiels échantillonnés dans les capacités représente la quantité de charges accumulée. Elle peut être lue par un amplificateur différentiel AMP, puis numérisée, ou directement numérisée, par exemple à l'aide d'un compteur, d'une rampe de tension linéaire, et d'un comparateur. L'ensemble des signaux numériques recueillis pour tous les pixels de la matrice, lus successivement ligne par ligne, constitue une image de la scène.

La figure 4 expose le chronogramme permettant d'aboutir à la production de N images successives représentant les éléments de la scène à différentes distances. La ligne LP représente les impulsions lumineuses. La ligne INT représente les périodes d'intégration du capteur d'image suivant chaque impulsion.

L'obtention des N images se fait en produisant N trains d'impulsions lumineuses TR; où i est un indice entier de 1 à N, et où N est le nombre de plans Pi à des distances différentes di pour lesquels on veut recueillir une image. Chaque train d'impulsions comprend plusieurs impulsions, régulièrement réparties au cours de la durée du train d'impulsions. Les impulsions sont cadencées par une horloge de référence non représentée, pouvant faire partie du capteur ou de la source lumineuse ou des moyens de contrôle mentionnés plus haut, et qui sert à la synchronisation entre le fonctionnement de la source de lumière et celui du capteur.

Pour chaque impulsion d'un train d'impulsions TRi, le capteur d'image enregistre les charges photo générées pendant un créneau temporel d'intégration de durée Tint. Si on prend comme référence temporelle (pour chaque impulsion) le début de l'impulsion, le créneau temporel de durée Tint 5 commence à un instant t; et se termine à un instant t; + Tint . La valeur t; est donc le décalage temporel entre l'impulsion lumineuse et le début du créneau d'intégration. Elle représente la distance parcourue par l'impulsion lumineuse pour aller jusqu'au plan P; et revenir au capteur. Les charges générées par la lumière pendant cette durée Tint sont stockées dans le noeud 10 de stockage ND de chaque pixel à la fin du créneau. Elles sont accumulées avec les charges déjà stockées dans ce noeud, résultant d'autres impulsions du même train TRi. La durée t; et la durée Tint sont les mêmes pour toutes les impulsions du train TR;, A la fin du train d'impulsions TR;, c'est-à-dire après l'instant t; + Tint 15 suivant la dernière impulsion du train TRi, les charges accumulées par les noeuds de stockage de tous les pixels sont lues ligne par ligne. Cette opération de lecture RD; produit une image IM; de rang i. Les noeuds de stockage sont alors tous réinitialisés par un signal RST. 20 L'information contenue dans l'image IM; est essentiellement la quantité de lumière provenant de l'impulsion et réfléchie par des parties d'objets situés à la distance d; ou au voisinage de cette distance. On suppose ici que l'éclairement ambiant est négligeable par rapport à l'éclairement fourni par la source de lumière impulsionnelle. 25 Un autre train d'impulsions lumineuses TR;+1 commence alors. Le temps d'intégration Tint pour les impulsions du train TR;+1 est de préférence le même que pour le train TR;. Mais le retard t;+1 à partir duquel commence ce temps d'intégration est différent du retard th et il correspond à une distance d;+1 différente de di. Les charges engendrées dans les photodiodes 30 pendant l'intervalle de temps de t;+1 à ti+1 + Tint qui suit une impulsion lumineuse sont stockées dans les noeuds de stockage respectifs et accumulées dans ces noeuds avec les charges générées par les autres impulsions lumineuses du même train TRi±i. Une image IM;+1 est lue après réception de la dernière impulsion. 35 Puis les noeuds de stockage sont à nouveau réinitialisés.

Et ainsi de suite, les N trains d'impulsions sont émis et donnent lieu à N images IM1 à IMN, l'ensemble des N images fournissant à la fois une observation de la scène, le niveau de signal de chaque pixel de l'image dépendant de l'albedo du point observé par ce pixel, et une information de distance associée à chaque pixel de l'image, qui est la distance correspondant à l'image dans laquelle ce pixel a fourni un niveau de signal maximal. La figure 5 représente la manière pratique dont sont produits les 10 créneaux d'intégration. La ligne LP représente l'émission d'une impulsion lumineuse de durée Timp. La ligne RG représente le signal de réinitialisation global des photodiodes du capteur, qui empêche l'intégration de charges dans la 15 photodiode tant qu'il est au niveau haut et qui l'autorise lorsqu'il se termine c'est-à-dire lorsqu'il redescend au niveau bas. Le front de descente du signal de réinitialisation RG, c'est-à-dire la fin de ce signal, est émis avec un décalage temporel ti après le début de l'impulsion lumineuse. Ce front de descente définit le début de la durée d'intégration Tint. 20 Le signal TR définit le transfert de charges de la photodiode vers le noeud de stockage. Le début de ce signal est postérieur ou simultané avec la fin du signal de réinitialisation. C'est la fin de ce signal de transfert qui définit la fin du transfert donc la fin de la durée d'intégration. Elle a lieu après une durée Tint suivant la fin du signal de réinitialisation RG. 25 La ligne INT représente la durée d'intégration qui en résulte. Dans ce qui précède, on a considéré que le décalage temporel ti entre l'impulsion lumineuse et le créneau temporel d'intégration est précisément un décalage entre le début de l'impulsion lumineuse et le début de l'intégration de charges dans les photodiodes du capteur. On peut 30 cependant envisager que le décalage soit compté différemment, par exemple entre le milieu de l'impulsion lumineuse et le milieu du créneau d'intégration Tint. Le choix peut être fait par exemple en fonction des durées relatives Tint et Timp qui ne sont pas nécessairement égales.

On comprendra que la résolution en distance, c'est-à-dire le pas de séparation des différents plans d'observation Pi, est régi par la séparation entre les différentes valeurs de décalage temporel ti, ti+i, etc. correspondant aux différents trains d'impulsions. On peut appeler "incrément de durée entre les différentes valeurs V' la différence entre une valeur ti et la valeur suivante ti+1 ou la valeur précédente ti-1. Plus la résolution doit être grande, plus les valeurs de décalage doivent être rapprochées les unes des autres. Mais, lorsque les valeurs de décalage ti sont rapprochées les unes des autres, il faut éviter le risque qu'un créneau d'intégration commençant au temps ti englobe non seulement une impulsion réfléchie par le plan Pi mais aussi une impulsion réfléchie par le plan Pi±i ou Pi_1. Ce risque existe si la durée des impulsions est trop longue ou si la durée des créneaux d'intégration est trop longue. En pratique, il faut séparer les valeurs des temps ti et ti+1 d'un incrément de durée au moins égal (et de préférence égal ou à peu près égal pour ne pas laisser de plans non observés) à la somme de la durée Timp de l'impulsion lumineuse et de la durée Tint du créneau d'intégration. La durée qui sépare deux impulsions dans le train d'impulsions est en principe telle qu'on puisse faire tenir N fois (Timp + Tint) entre deux impulsions lumineuses successives, N étant le nombre d'images désirées et donc le nombre de distances différentes observées. Cette durée est donc au moins N.(Timp + Tint). S'il y a Z impulsions dans le train, la durée du train est Z.N.(Timp+Tint) Et comme il y a N trains d'impulsions, la durée d'obtention d'une image globale, c'est-à-dire de N images IM1 à IMN, est Z.N2.(Timp+ Tint). La durée de l'impulsion lumineuse est de préférence égale ou inférieure à la durée d'intégration, faute de quoi une partie de l'énergie lumineuse serait systématiquement perdue par le capteur, même lorsque l'impulsion est réfléchie exactement dans le plan Pi correspondant au train d'impulsions. Pour des raisons de maximisation de la sensibilité du capteur, on a intérêt à choisir Tint à peu près égal à Timp. Le nombre d'impulsions dans chaque train d'impulsions sera limité par la cadence de production souhaitée pour l'image globale et par la capacité à réaliser des impulsions lumineuses très courtes et des durées 35 d'intégration très courtes. Plus les impulsions sont courtes plus on mettra d'impulsions dans un train d'impulsions. Plus la cadence souhaitée est élevée, moins on mettra d'impulsions. A titre d'exemple, si on veut un pas de résolution en distance de 3 mètres sur une distance de 30 mètres entre la distance la plus courte d1 et la 5 distance la plus longue dN, avec par conséquent N = 10, on doit utiliser une durée Timp +Tint inférieure ou égale à 20 nanosecondes (aller-retour de la lumière 6 mètres en 20 nanosecondes), soit en pratique 10 nanosecondes pour Timp et 10 nanosecondes pour Tint. La durée entre deux impulsions d'un train est alors de 200 nanosecondes. S'il y a 10 impulsions par train, la durée 10 totale des N trains est de 20 millisecondes, ce qui donne la cadence possible pour la fourniture d'une image globale comprenant N images. Avec une cadence plus lente, on peut augmenter la plage de distances observées, et/ou le nombre Z d'impulsions par train d'impulsions. La durée maximale des impulsions lumineuse et des créneaux d'intégration 15 reste fixée par la résolution en distance, c'est-à-dire la distance entre deux plans successifs observés : la somme (Timp + Tint) doit être inférieure ou égale à 2.(d;+1 - d;)/c, c étant la vitesse de la lumière. L'augmentation du nombre d'impulsions dans le train d'impulsions permet d'augmenter la sensibilité du capteur.

20 Le niveau de signal numérique issu d'un pixel pour une image donnée IM; dépend de l'albedo (pouvoir réfléchissant) du point de la scène qui a réfléchi une impulsion lumineuse et qui est donc globalement dans le plan P; observé par cette image produite par le ième train d'impulsions. Mais 25 les impulsions lumineuses ont une durée non nulle ; les créneaux temporels d'intégration ont également une durée non nulle. L'impulsion lumineuse peut ne coïncider que partiellement avec le créneau temporel qui lui correspond, par exemple parce que le point observé par le pixel n'est pas exactement à la distance d; mais à une distance légèrement supérieure ou inférieure à d; .

30 Dans ce cas, le niveau de signal obtenu est inférieur à ce qu'il devrait être compte-tenu de l'albedo du point. Pour associer une distance à chaque pixel, le plus simple est de considérer les N images et de sélectionner l'image IM; pour laquelle le niveau de signal fourni par ce pixel est le plus élevé parmi les différentes valeurs pour ce même pixel dans les N images. La distance associée est la distance di. Mais, de manière plus précise, pour augmenter la précision en distance on peut préférer effectuer une interpolation pondérée sur plusieurs 5 images de la manière suivante : on sélectionne l'image IM; pour laquelle le niveau de signal du pixel est le plus élevé, ainsi que les images voisines IM;_i et IM41, et on calcule une distance moyenne qui est la somme pondérée normalisée (a.d;_i+ b.d; + c.d;_o) des distances d;_1, d; et d;_o, où a, b, et c représentent les niveaux relatifs de signal du pixel dans les trois images, 10 normalisés à 1 c'est-à-dire que (a+b+c) = 1. La pondération peut être effectuée sur un plus grand nombre d'images consécutives, par exemple sur 5 images avec le même principe. La sortie de la caméra peut consister en un groupe de N images, 15 le traitement d'association d'une distance à chaque pixel étant fait en dehors de la caméra. Alternativement, on peut prévoir dans la caméra des moyens pour faire cette association selon les principes indiqués précédemment. Dans ce cas la caméra fournit d'une part une image des luminances et d'autre part une matrice de distances associant une valeur de distance à 20 chaque pixel. L'image de luminance est constituée par une valeur numérique de luminance pour chaque pixel. Cette valeur peut être la valeur maximale obtenue pour ce pixel dans les N images. Mais elle peut être obtenue d'autres manières, par exemple par une concaténation des différentes valeurs numériques obtenues dans les N images. Cette concaténation peut 25 être par exemple la somme des valeurs numériques détectées dans les N images, ou la somme des valeurs numériques dépassant un seuil minimum (pour éviter de rajouter du bruit par les signaux de faible valeur qui ne correspondent pas nécessairement à une véritable réflexion d'impulsion lumineuse).

30 Enfin, pour la vision en relief, on peut également traiter l'image matricielle de luminance et la matrice de distances pour reconstituer une image binoculaire, c'est-à-dire une image gauche et une image droite qui sont des transformations de l'image de luminance telles que la valeur de 35 luminance affectée à un pixel de la matrice de luminance est affectée à un pixel de l'image gauche et un pixel de l'image droite qui sont décalés l'un par rapport à l'autre (par rapport aux bords latéraux de la matrice de pixels) d'une distance donnée d'autant plus grande que la distance associée fournie par la caméra pour ce pixel est plus faible. 10

Claims

REVENDICATIONS1. Procédé de production d'images d'une scène en volume incluant une information de distance de chaque point de la scène, ce procédé utilisant une source de lumière impulsionnelle et un capteur d'image, le capteur comprenant des pixels aptes à accumuler, dans un noeud de stockage respectif de chaque pixel, des charges générées par la lumière, le procédé comprenant l'émission de N trains successifs d'impulsions lumineuses à partir de la source lumineuse et sous contrôle d'une horloge de référence, N étant un nombre entier représentant le nombre de niveaux de profondeur désiré pour l'information de relief, et, itérativement pour chaque train d'impulsions de rang i parmi les N trains d'impulsions : a) émission du ième train d'impulsions lumineuses, les impulsions étant émises à des instants déterminés à partir de l'horloge de référence et à des intervalles déterminés à partir de cette horloge, a1) intégration de charges pour chaque impulsion lumineuse du ième train pendant une court créneau temporel d'intégration de durée Tint commençant avec un décalage temporel ti par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à une ième distance (di) du capteur, le décalage temporel ti étant le même pour toutes les impulsions lumineuses du ième train d'impulsions et les décalages temporels ti pour les N trains étant différents les uns des autres pour correspondre à différentes distances par rapport au capteur, b1) transfert des charges intégrées pour chaque impulsion lumineuse du ième train, dans le noeud de stockage de charges de chaque pixel, et accumulation de ces charges avec les charges résultant des précédentes impulsions lumineuses du même train, b) lecture des charges contenues dans le noeud de stockage de chaque pixel après la fin du ième train d'impulsions, réinitialisation du noeud de stockage, et fourniture d'une image respective de rang i représentant les points d'une scène située à la ième distance (di) du capteur.
2. Procédé selon la revendication 1, caractérisé en ce que les valeurs des décalages temporels ti sont espacées les unes des autres d'un incrément de durée à peu près égal à la somme d'une durée Timp d'une impulsion lumineuse et de la durée d'intégration Tint.
3. Procédé selon l'une des revendications 1 et 2, caractérisé en ce que la durée d'une impulsion lumineuse est sensiblement égale à la durée d'intégration Tint.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que l'on établit une matrice de valeurs numériques de distances, associant à chaque pixel du capteur une distance d'un point de la scène observé par ce pixel.
5. Procédé selon la revendication 4, caractérisé en ce que la distance associée au pixel est la distance di correspondant au train d'impulsions pour lequel le signal issu du pixel a la valeur la plus élevée parmi les différentes valeurs pour ce même pixel dans les N images.
6. Procédé selon la revendication 4, caractérisé en ce que la distance associée à chaque pixel est calculée par interpolation - à partir de la distance di correspondant au train d'impulsion de rang i pour lequel le signal lu pour ce pixel a la valeur la plus élevée, - et à partir des signaux lus pour ce pixel et correspondant aux distances distance di_1 et ou di±i.
7. Procédé selon l'une des revendications 1 à 6, caractérisé en ce que l'on établit pour chaque observation d'une scène une valeur de luminance reçue par chaque pixel.
8. Procédé selon la revendication 7, caractérisé en ce que la valeur de luminance reçue par un pixel est établie à partir du niveau de signal le plus élevé fourni par ce pixel parmi les N images, ou à partir d'une somme de niveaux de signal fournis par ce pixel dans plusieurs images.35
9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce qu'on établit à partir des N images deux images électroniques gauche et droite permettant une représentation stéréoscopique de la scène.
10. Appareil pour prise d'image comprenant un capteur d'image à matrice de pixels et une source de lumière apte à fournir des impulsions lumineuses, l'appareil fournissant une image de la scène et une information de distance associée à chaque pixel de la matrice, chaque pixel comportant une photodiode, des moyens de réinitialisation de la photodiode, des moyens 1 o de stockage de charge dans le pixel, et des moyens de lecture de charges accumulées dans le noeud de stockage, la source de lumière comportant des moyens pour fournir N trains d'impulsions de lumière calibrées en durée et en intervalles, l'appareil comportant en outre des moyens de séquencement pour commander la réinitialisation et le transfert de charges de la photodiode 15 vers le noeud de stockage, et les moyens de séquencement étant synchronisés par rapport aux impulsions de lumière, caractérisé en ce que les moyens de séquencement sont agencés pour produire, pour chacun des N trains d'impulsions de lumière, une intégration de charges pendant un créneau temporel court décalé par rapport à chaque impulsion de lumière 20 d'un décalage temporel (ti) identique pour toutes les impulsions de lumière d'un même train d'impulsions de rang i et différent de celui des autres trains d'impulsions, le décalage temporel correspondant à la durée de trajet de la lumière entre la source de lumière et le capteur après réflexion sur un point de la scène situé à une distance respective di, les charges intégrées suite à 25 l'éclairement par les impulsions d'un même train d'impulsions de rang i étant accumulées dans le noeud de stockage, puis lues à partir de ce noeud pour produire une image de rang i des points de la scène situés à distance di, et éliminées à la fin du train d'impulsions en vue d'une nouvelle accumulation pour un autre train d'impulsions de rang i+1 correspondant à une autre 30 distance di-o, la durée d'un créneau temporel court étant inférieure à l'écart entre deux valeurs de décalage temporel voisines correspondant à deux trains d'impulsions différents.