FR2998666A1 - Procede de production d'images avec information de profondeur et capteur d'image - Google Patents

Procede de production d'images avec information de profondeur et capteur d'image Download PDF

Info

Publication number
FR2998666A1
FR2998666A1 FR1261270A FR1261270A FR2998666A1 FR 2998666 A1 FR2998666 A1 FR 2998666A1 FR 1261270 A FR1261270 A FR 1261270A FR 1261270 A FR1261270 A FR 1261270A FR 2998666 A1 FR2998666 A1 FR 2998666A1
Authority
FR
France
Prior art keywords
pixel
distance
pulse
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1261270A
Other languages
English (en)
Other versions
FR2998666B1 (fr
Inventor
Pierre Fereyre
Bruno Diasparra
Vincent Prevost
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne e2v Semiconductors SAS
Original Assignee
e2v Semiconductors SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to FR1261270A priority Critical patent/FR2998666B1/fr
Application filed by e2v Semiconductors SAS filed Critical e2v Semiconductors SAS
Priority to PCT/EP2013/073844 priority patent/WO2014082864A1/fr
Priority to EP13789585.0A priority patent/EP2926162A1/fr
Priority to US14/647,492 priority patent/US9699442B2/en
Priority to CA2892659A priority patent/CA2892659A1/fr
Priority to JP2015543396A priority patent/JP6320406B2/ja
Priority to CN201380069412.4A priority patent/CN104884972A/zh
Publication of FR2998666A1 publication Critical patent/FR2998666A1/fr
Application granted granted Critical
Publication of FR2998666B1 publication Critical patent/FR2998666B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)

Abstract

L'invention concerne la production d'images associant à chaque point de l'image une profondeur, c'est-à-dire une distance entre le point observé et la caméra qui produit l'image. Une source lumineuse émet N trains d'impulsions lumineuses. Pour chaque train de rang i = 1 à N, on intègre les charges pendant un court créneau temporel de durée Tint qui commence avec un décalage temporel ti par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à distance di du capteur. Le décalage temporel ti est le même pour toutes les impulsions lumineuses du ième train d'impulsions mais les décalages temporels ti pour les N trains sont différents les uns des autres pour correspondre à différentes distances par rapport au capteur. On accumule les charges photo générées par les impulsions d'un même train ; puis on lit la charge accumulée pour produire une image de rang i représentant les pixels situés à la distance di. L'observation d'une scène comporte la production de N images différentes grâce auxquelles on peut associer une distance à chaque pixel. Figure de l’abregé / Figure 1.

Description

PROCEDE DE PRODUCTION D'IMAGES AVEC INFORMATION DE PROFONDEUR ET CAPTEUR D'IMAGE L'invention concerne la production d'images associant à chaque point de l'image une profondeur, c'est-à-dire une distance entre le point observé et la caméra qui produit l'image. La production d'images avec une profondeur associée est utilisée notamment mais pas exclusivement pour la visualisation d'images en relief : dans cette application, on peut par exemple produire une image avec une caméra, et produire des valeurs de profondeurs associées à chaque point ; puis, à partir de cette image unique, on peut produire une image gauche et une image droite différentes l'une de l'autre ; un point de la scène occupe la 1 0 même position dans l'image gauche et dans l'image droite s'il est à une distance infinie ; s'il est plus proche de la caméra, il occupe des positions différentes, écartées latéralement d'une distance d'autant plus grande que le point est plus rapproché. Les images gauche et droite projetées simultanément mais observées chacune par un oeil respectif donnent 15 l'impression de relief. Le plus souvent, la profondeur est obtenue par deux caméras écartées l'une de l'autre. L'invention propose une solution avec une seule caméra. Dans une autre application, on recherche à établir une image avec des profondeurs associées pour faire de la détection d'obstacles. La 20 connaissance de la distance entre un obstacle et un véhicule automobile peut servir à éviter des collisions. C'est le cas en particulier si l'image est prise en lumière infrarouge qui permet cette détection même en cas de brouillard. Dans ce cas, l'information de profondeur, qui représente la distance entre la caméra et l'obstacle ou des parties de l'obstacle est 25 capitale. Pour permettre de réaliser ces objectifs à l'aide d'une seule caméra, la présente invention propose un procédé de production d'images d'une scène en volume incluant une information de distance de chaque point de la scène, ce procédé utilisant une source de lumière impulsionnelle et un 30 capteur d'image, le capteur comprenant des pixels aptes à accumuler, dans un noeud de stockage respectif de chaque pixel, des charges générées par la lumière, le procédé comprenant l'émission de N trains successifs d'impulsions lumineuses à partir de la source lumineuse et sous contrôle d'une horloge de référence, N étant un nombre entier représentant le nombre de niveaux de profondeur désiré pour l'information de relief, et, itérativement pour chaque train d'impulsions de rang i parmi les N trains d'impulsions : a) émission du ième train d'impulsions lumineuses, les impulsions étant émises à des instants déterminés à partir de l'horloge de référence et à des intervalles déterminés à partir de cette horloge, a1) intégration de charges pour chaque impulsion lumineuse du ième train pendant un court créneau temporel d'intégration de durée Tint commençant avec un décalage temporel ti par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à une ième distance (di) du capteur, le ième décalage temporel ti étant le même pour toutes les impulsions lumineuses du ième train d'impulsions et les décalages temporels ti pour les N trains étant différents les uns des autres pour correspondre à différentes distances par rapport au capteur, b1) transfert des charges intégrées pour chaque impulsion lumineuse du ième train, dans le noeud de stockage de charges de chaque pixel, et accumulation de ces charges avec les charges résultant des précédentes impulsions lumineuses du même train, b) lecture des charges contenues dans le noeud de stockage de chaque pixel après la fin du ième train d'impulsions, réinitialisation du noeud de 25 stockage, et fourniture d'une image respective de rang i représentant les points d'une scène située à la ième distance (di) du capteur. En d'autres mots, chaque train d'impulsions est destiné à l'observation des points de la scène qui sont situés à une distance bien déterminée di, les 30 autres points étant exclus de cette observation. Les points plus proches que la distance di ne sont pas vus parce que l'impulsion lumineuse réfléchie par ces points arrive avant l'instant ti, c'est-à-dire avant que ne commence un créneau temporel d'intégration de charges (de ti à ti + Tint). Les points plus lointains ne sont pas vus parce que l'impulsion lumineuse réfléchie par ces points arrive trop tard, alors que le créneau temporel d'intégration de charges est déjà terminé. Le créneau temporel d'intégration de charges de durée Tint, 5 synchronisé par rapport à l'impulsion lumineuse, est établi de préférence entre la fin d'un signal de réinitialisation de la photodiode, commun à tous les pixels, et la fin d'un signal de transfert de charges commun à tous les pixels. Le signal de transfert de charges autorise le transfert de charges d'une photodiode vers le noeud de stockage de charges du pixel. Le signal de 10 réinitialisation vide les charges de la photodiode et empêche l'intégration de charges dans celle-ci. Les impulsions lumineuses sont brèves et les créneaux temporels d'intégration de charges sont également brefs car c'est cette brièveté qui permet une précision de localisation de la distance di. La durée des créneaux 15 d'intégration est inférieure à la différence de deux décalages temporels voisins tels que ti et ti+1 si on veut distinguer correctement les distances voisines correspondantes di et di±i. Les impulsions lumineuses sont nombreuses (si possible) dans chaque train d'impulsions pour compenser leur brièveté et assurer la réception cumulée d'une quantité de photons 20 suffisante avant la lecture des charges accumulées dans le noeud de stockage de chaque pixel à la fin du train d'impulsions. Dans la théorie, le signal fourni par un pixel pour un train d'impulsions donné existe si un point de la scène observé par ce pixel se trouve à la 25 distance di associée à ce train et n'existe pas si le point de la scène n'est pas à cette distance. Le niveau du signal fourni, représentant la quantité de charges accumulée à la fin du train d'impulsions, est à peu près proportionnel au pouvoir de réflexion ou albedo du point, avec toutefois un niveau de signal dégradé si la distance de ce point est telle que le retour de 30 l'impulsion réfléchie ne coïncide que partiellement avec le créneau d'intégration de charges. Au bout de N trains d'impulsions, on obtient N images de la scène avec une information de profondeur associée à chaque image, et à partir de là on obtient donc une information de profondeur pour chaque pixel. 35 L'information résultante peut être transmise soit sous la forme des N images représentant N plans de vue correspondant à N distances différentes, ou encore sous la forme d'une image unique rassemblant les luminances des N images, additionnées pixel à pixel, associée à une matrice de distances représentant pour chaque pixel la distance associée à ce pixel, c'est-à-dire la distance du point de la portion de scène observée par le pixel. La distance associée au pixel peut être la distance unique di pour laquelle le pixel a reçu un signal, ou pour laquelle le pixel a reçu le signal le plus fort parmi les N images. Mais elle peut être aussi, comme on l'indiquera plus loin, une distance calculée par interpolation si le pixel a reçu un signal non nul pour plusieurs distances différentes. Les valeurs de décalages temporels ti diffèrent les uns des autres d'une valeur qu'on peut appeler "incrément de durée" des valeurs ti. Si la durée d'une impulsion lumineuse est Timp et si la durée d'un créneau temporel d'intégration de charges est Tint, alors l'incrément de durée des valeurs ti, qui définit la résolution en profondeur, est de préférence égal à la somme des durées Timp et Tint. Ces deux durées peuvent être égales ou à peu près égales. Si l'incrément entre deux décalages ti est supérieur à cette somme Timp+Tint, on risque de manquer des réflexions sur des points situés entre une distance di et une distance di±i. Si l'incrément est inférieur, un point situé à peu près à la distance di peut donner une réponse sur le train d'impulsions de rang i correspondant à cette distance di mais aussi une réponse sur le train d'impulsions de rang i-1 ou 41, et on peut avoir un problème de discrimination de la valeur de distance la plus pertinente parmi plusieurs valeurs possibles. Dans tous les cas où un même pixel reçoit un signal non nul pour plusieurs trains d'impulsions différents, le mieux est d'établir pour ce pixel une information de distance à partir des différentes réponses, par exemple en sélectionnant la distance pour laquelle la réponse est la plus élevée, ou encore en calculant une distance par interpolation à partir des distances pour lesquelles un signal est reçu par un pixel : par exemple, on calcule une distance par interpolation pondérée sur trois valeurs à partir de la distance di correspondant au train d'impulsion de rang i pour lequel le signal lu a la valeur la plus élevée et à partir des signaux lus pour ce pixel et correspondant aux distances di_1 et/ou di+i, en affectant à chaque distance un poids correspondant au niveau de signal reçu. L'interpolation peut se faire sur cinq distances consécutives ou même plus. On établit alors une matrice de valeurs numériques de distances, associant à chaque pixel du capteur une distance d'un point de la scène 5 observé par ce pixel. Outre le procédé de production d'image qui vient d'être résumé, l'invention concerne un appareil pour prise d'image comprenant un capteur d'image à matrice de pixels et une source de lumière apte à fournir des 10 impulsions lumineuses, l'appareil fournissant une image de la scène et une information de distance associée à chaque pixel de la matrice de pixels, chaque pixel comportant une photodiode, des moyens de réinitialisation de la photodiode, des moyens de stockage de charge dans le pixel, et des moyens de lecture de charges accumulées dans le noeud de stockage, la source de 15 lumière comportant des moyens pour fournir N trains d'impulsions de lumière calibrées en durée et en intervalles, l'appareil comportant en outre des moyens de séquencement pour commander la réinitialisation et le transfert de charges de la photodiode vers le noeud de stockage, et les moyens de séquencement étant synchronisés par rapport aux impulsions de lumière, 20 caractérisé en ce que les moyens de séquencement sont agencés pour produire, pour chacun des N trains d'impulsions de lumière, une intégration de charges pendant un court créneau temporel décalé par rapport à chaque impulsion de lumière d'un décalage temporel (ti) identique pour toutes les impulsions de lumière d'un même train d'impulsions de rang i et différent de 25 celui des autres trains d'impulsions, le décalage temporel correspondant à la durée de trajet de la lumière entre la source de lumière et le capteur après réflexion sur un point de la scène situé à une distance respective di, les charges intégrées suite à l'éclairement par les impulsions d'un même train d'impulsions de rang i étant accumulées dans le noeud de stockage, puis 30 lues à partir de ce noeud pour produire une image de rang i des points de la scène situés à distance ti, et éliminées à la fin du train d'impulsions en vue d'une nouvelle accumulation pour un autre train d'impulsions de rang i+1 correspondant à une autre distance di±i.
La durée d'un créneau temporel court est inférieure à l'écart entre deux valeurs de décalage temporel voisines correspondant à deux trains d'impulsions différents.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit et qui est faite en référence aux dessins annexés dans lesquels : - la figure 1 représente le principe général de la production d'images d'une scène avec information de distance selon l'invention ; - la figure 2 représente des images successives produites à partir de la scène de la figure 1 ; - la figure 3 représente la constitution d'un pixel et de son circuit de lecture pour la mise en oeuvre de l'invention ; - la figure 4 représente un chronogramme de fonctionnement du 15 procédé ; - la figure 5 représente le détail de la synchronisation des signaux pour l'établissement d'un créneau temporel d'intégration suivant une impulsion lumineuse. 20 Le procédé selon l'invention est schématisé à la figure 1. Il utilise une caméra CAM associée à une source de lumière impulsionnelle LS, le fonctionnement du capteur d'image de la caméra étant synchronisé par rapport au fonctionnement de la source de lumière. La source de lumière peut être une source en proche infrarouge, notamment dans le cas de la 25 production d'images destinées à l'observation ou la détection d'obstacles dans le brouillard. La caméra comprend un objectif et un capteur d'image. Le capteur comporte une matrice de pixels actifs et des circuits de séquencement internes pour établir les signaux de commande interne, notamment des signaux de commande de lignes et de colonnes qui 30 permettent l'intégration de charges photo générées puis la lecture de ces charges. Sur la figure 1, la caméra et la source de lumière sont représentés comme deux objets séparés mais la source de lumière peut aussi être incorporée au boîtier de la caméra. Des moyens de contrôle pour 35 synchroniser le fonctionnement du capteur d'image par rapport au fonctionnement impulsionnel de la source de lumière sont prévus. Ils peuvent faire partie de la source de lumière, ou de la caméra, ou d'un circuit électronique SYNC relié à la fois à la caméra et à la source de lumière. Ces moyens de contrôle comprennent une horloge de référence qui est utilisée par les circuits de séquencement du capteur d'image, pour assurer la synchronisation. On a représenté devant la caméra une scène comportant des objets en relief, c'est-à-dire que les différentes parties de la scène ne sont pas toutes situées à la même distance de la caméra.
La source de lumière émet des impulsions de lumière brèves. Lorsqu'une impulsion est émise, elle est réfléchie par les objets de la scène et l'impulsion réfléchie par un objet ou une partie d'objet situé dans un plan d'observation Pi à une distance di revient au capteur d'image avec un retard ti proportionnel à cette distance. La source de lumière est supposée être à la même distance di que le capteur d'image. Le temps ti est alors égal à 2di/c où c est la vitesse de la lumière. Si on suppose qu'on s'intéresse à l'observation de points de la scène situés à des distances di réparties dans une gamme de distances donnée allant de d1 (distance la plus proche) à dN (distance la plus lointaine), on peut donc déterminer une distance d'un point de la scène par la détermination du temps qui s'écoule entre l'émission d'une impulsion et le retour de cette impulsion après réflexion sur le point observé par un pixel. En décidant de recueillir une image par intégration de charges photo générées pendant un créneau temporel très étroit correspondant uniquement à l'instant de retour d'une impulsion brève qui a été réfléchie par les points de la scène situés dans un plan Ph à une distance di, on produit une image qui ne contient que les points de la scène situés dans ce plan. La figure 2 illustre les images différentes IM1 à IM6 qu'on peut obtenir avec le capteur si on ne recueille pour chaque image que le signal de lumière parvenant à l'instant ti, c'est-à-dire si on n'observe que les parties d'objet situées dans le plan Pi à la distance di, ceci pour différents plans Pi allant par exemple de P1 à P6. Selon l'invention, on produit N images successives de la scène, 35 chaque image ne correspondant qu'à un plan Pi déterminé. Une information de distance est donc contenue intrinsèquement dans la succession d'images obtenue puisqu'à chaque pixel du capteur on peut associer, selon qu'il fournit ou non un signal dans les différentes images ou selon la valeur de ce signal dans les différentes images, une distance par rapport à la caméra.
Avant d'indiquer la manière dont sont établies ces images, on rappelle à la figure 3 la constitution classique d'un pixel de capteur d'image matriciel en technologie CMOS et son circuit de lecture, qui permettent de mettre en oeuvre l'invention.
Le pixel comprend classiquement une photodiode PH et un noeud de stockage de charges ND dans lequel on peut stocker les charges engendrées par la photodiode pendant un temps d'intégration Tint. Le pixel comporte par ailleurs plusieurs transistors MOS qui servent à commander le pixel pour définir le temps d'intégration et extraire un signal représentant la quantité de charges stockées pendant le temps d'intégration. Plus précisément, le pixel comporte : - un transistor Ti qui permet la réinitialisation du potentiel de la photodiode avant de commencer une nouvelle période d'intégration de durée Tint ; ce transistor est commandé par un signal de réinitialisation global RG commun à tous les pixels de la matrice ; la fin du signal RG définit le début de la durée d'intégration Tint. - un transistor de transfert de charges T2 qui permet de vider dans le noeud de stockage ND les charges engendrées après une durée d'intégration Tint ; ce transistor est commandé par un signal de transfert de charges TR qui peut être commun à tous les pixels ; la fin de ce signal définit la fin de la durée d'intégration Tint ; - un transistor de réinitialisation T3 qui permet de réinitialiser le potentiel du noeud de stockage après la lecture de la quantité de charges qui y a été stockée ; ce transistor est commandé par un signal de réinitialisation 30 RST qui peut être commun à tous les pixels ; - un transistor de lecture T4 qui est monté en suiveur de tension et qui permet de reporter de sa grille vers sa source le niveau de potentiel du noeud de stockage de charges ; - et enfin un transistor de sélection T5 qui est relié à la source du 35 transistor T4 et qui permet de reporter vers un conducteur de colonne COL (commun aux pixels d'une même colonne de la matrice) le potentiel du noeud de stockage de charges lorsqu'on veut lire la quantité de charges stockée dans le noeud de stockage de charges ; ce transistor est commandé par un signal de sélection de lignes SEL commun à tous les pixels d'une ligne ; les pixels sont lus ligne par ligne. Le circuit de lecture, extérieur à la matrice de pixels et relié aux différents conducteurs de colonne, comprend un circuit d'échantillonnage qui échantillonne, par exemple dans deux capacités Cr et Cs le potentiel du conducteur de colonne à l'aide d'interrupteurs Kr et Ks, respectivement à un instant où le noeud de stockage a été remis à zéro et à un instant où on veut déterminer la quantité de charges accumulée dans le noeud de stockage. La différence entre les potentiels échantillonnés dans les capacités représente la quantité de charges accumulée. Elle peut être lue par un amplificateur différentiel AMP, puis numérisée, ou directement numérisée, par exemple à l'aide d'un compteur, d'une rampe de tension linéaire, et d'un comparateur. L'ensemble des signaux numériques recueillis pour tous les pixels de la matrice, lus successivement ligne par ligne, constitue une image de la scène.
La figure 4 expose le chronogramme permettant d'aboutir à la production de N images successives représentant les éléments de la scène à différentes distances. La ligne LP représente les impulsions lumineuses. La ligne INT représente les périodes d'intégration du capteur d'image suivant chaque impulsion.
L'obtention des N images se fait en produisant N trains d'impulsions lumineuses TR; où i est un indice entier de 1 à N, et où N est le nombre de plans Pi à des distances différentes di pour lesquels on veut recueillir une image. Chaque train d'impulsions comprend plusieurs impulsions, régulièrement réparties au cours de la durée du train d'impulsions. Les impulsions sont cadencées par une horloge de référence non représentée, pouvant faire partie du capteur ou de la source lumineuse ou des moyens de contrôle mentionnés plus haut, et qui sert à la synchronisation entre le fonctionnement de la source de lumière et celui du capteur.
Pour chaque impulsion d'un train d'impulsions TRi, le capteur d'image enregistre les charges photo générées pendant un créneau temporel d'intégration de durée Tint. Si on prend comme référence temporelle (pour chaque impulsion) le début de l'impulsion, le créneau temporel de durée Tint 5 commence à un instant t; et se termine à un instant t; + Tint . La valeur t; est donc le décalage temporel entre l'impulsion lumineuse et le début du créneau d'intégration. Elle représente la distance parcourue par l'impulsion lumineuse pour aller jusqu'au plan P; et revenir au capteur. Les charges générées par la lumière pendant cette durée Tint sont stockées dans le noeud 10 de stockage ND de chaque pixel à la fin du créneau. Elles sont accumulées avec les charges déjà stockées dans ce noeud, résultant d'autres impulsions du même train TRi. La durée t; et la durée Tint sont les mêmes pour toutes les impulsions du train TR;, A la fin du train d'impulsions TR;, c'est-à-dire après l'instant t; + Tint 15 suivant la dernière impulsion du train TRi, les charges accumulées par les noeuds de stockage de tous les pixels sont lues ligne par ligne. Cette opération de lecture RD; produit une image IM; de rang i. Les noeuds de stockage sont alors tous réinitialisés par un signal RST. 20 L'information contenue dans l'image IM; est essentiellement la quantité de lumière provenant de l'impulsion et réfléchie par des parties d'objets situés à la distance d; ou au voisinage de cette distance. On suppose ici que l'éclairement ambiant est négligeable par rapport à l'éclairement fourni par la source de lumière impulsionnelle. 25 Un autre train d'impulsions lumineuses TR;+1 commence alors. Le temps d'intégration Tint pour les impulsions du train TR;+1 est de préférence le même que pour le train TR;. Mais le retard t;+1 à partir duquel commence ce temps d'intégration est différent du retard th et il correspond à une distance d;+1 différente de di. Les charges engendrées dans les photodiodes 30 pendant l'intervalle de temps de t;+1 à ti+1 + Tint qui suit une impulsion lumineuse sont stockées dans les noeuds de stockage respectifs et accumulées dans ces noeuds avec les charges générées par les autres impulsions lumineuses du même train TRi±i. Une image IM;+1 est lue après réception de la dernière impulsion. 35 Puis les noeuds de stockage sont à nouveau réinitialisés.
Et ainsi de suite, les N trains d'impulsions sont émis et donnent lieu à N images IM1 à IMN, l'ensemble des N images fournissant à la fois une observation de la scène, le niveau de signal de chaque pixel de l'image dépendant de l'albedo du point observé par ce pixel, et une information de distance associée à chaque pixel de l'image, qui est la distance correspondant à l'image dans laquelle ce pixel a fourni un niveau de signal maximal. La figure 5 représente la manière pratique dont sont produits les 10 créneaux d'intégration. La ligne LP représente l'émission d'une impulsion lumineuse de durée Timp. La ligne RG représente le signal de réinitialisation global des photodiodes du capteur, qui empêche l'intégration de charges dans la 15 photodiode tant qu'il est au niveau haut et qui l'autorise lorsqu'il se termine c'est-à-dire lorsqu'il redescend au niveau bas. Le front de descente du signal de réinitialisation RG, c'est-à-dire la fin de ce signal, est émis avec un décalage temporel ti après le début de l'impulsion lumineuse. Ce front de descente définit le début de la durée d'intégration Tint. 20 Le signal TR définit le transfert de charges de la photodiode vers le noeud de stockage. Le début de ce signal est postérieur ou simultané avec la fin du signal de réinitialisation. C'est la fin de ce signal de transfert qui définit la fin du transfert donc la fin de la durée d'intégration. Elle a lieu après une durée Tint suivant la fin du signal de réinitialisation RG. 25 La ligne INT représente la durée d'intégration qui en résulte. Dans ce qui précède, on a considéré que le décalage temporel ti entre l'impulsion lumineuse et le créneau temporel d'intégration est précisément un décalage entre le début de l'impulsion lumineuse et le début de l'intégration de charges dans les photodiodes du capteur. On peut 30 cependant envisager que le décalage soit compté différemment, par exemple entre le milieu de l'impulsion lumineuse et le milieu du créneau d'intégration Tint. Le choix peut être fait par exemple en fonction des durées relatives Tint et Timp qui ne sont pas nécessairement égales.
On comprendra que la résolution en distance, c'est-à-dire le pas de séparation des différents plans d'observation Pi, est régi par la séparation entre les différentes valeurs de décalage temporel ti, ti+i, etc. correspondant aux différents trains d'impulsions. On peut appeler "incrément de durée entre les différentes valeurs V' la différence entre une valeur ti et la valeur suivante ti+1 ou la valeur précédente ti-1. Plus la résolution doit être grande, plus les valeurs de décalage doivent être rapprochées les unes des autres. Mais, lorsque les valeurs de décalage ti sont rapprochées les unes des autres, il faut éviter le risque qu'un créneau d'intégration commençant au temps ti englobe non seulement une impulsion réfléchie par le plan Pi mais aussi une impulsion réfléchie par le plan Pi±i ou Pi_1. Ce risque existe si la durée des impulsions est trop longue ou si la durée des créneaux d'intégration est trop longue. En pratique, il faut séparer les valeurs des temps ti et ti+1 d'un incrément de durée au moins égal (et de préférence égal ou à peu près égal pour ne pas laisser de plans non observés) à la somme de la durée Timp de l'impulsion lumineuse et de la durée Tint du créneau d'intégration. La durée qui sépare deux impulsions dans le train d'impulsions est en principe telle qu'on puisse faire tenir N fois (Timp + Tint) entre deux impulsions lumineuses successives, N étant le nombre d'images désirées et donc le nombre de distances différentes observées. Cette durée est donc au moins N.(Timp + Tint). S'il y a Z impulsions dans le train, la durée du train est Z.N.(Timp+Tint) Et comme il y a N trains d'impulsions, la durée d'obtention d'une image globale, c'est-à-dire de N images IM1 à IMN, est Z.N2.(Timp+ Tint). La durée de l'impulsion lumineuse est de préférence égale ou inférieure à la durée d'intégration, faute de quoi une partie de l'énergie lumineuse serait systématiquement perdue par le capteur, même lorsque l'impulsion est réfléchie exactement dans le plan Pi correspondant au train d'impulsions. Pour des raisons de maximisation de la sensibilité du capteur, on a intérêt à choisir Tint à peu près égal à Timp. Le nombre d'impulsions dans chaque train d'impulsions sera limité par la cadence de production souhaitée pour l'image globale et par la capacité à réaliser des impulsions lumineuses très courtes et des durées 35 d'intégration très courtes. Plus les impulsions sont courtes plus on mettra d'impulsions dans un train d'impulsions. Plus la cadence souhaitée est élevée, moins on mettra d'impulsions. A titre d'exemple, si on veut un pas de résolution en distance de 3 mètres sur une distance de 30 mètres entre la distance la plus courte d1 et la 5 distance la plus longue dN, avec par conséquent N = 10, on doit utiliser une durée Timp +Tint inférieure ou égale à 20 nanosecondes (aller-retour de la lumière 6 mètres en 20 nanosecondes), soit en pratique 10 nanosecondes pour Timp et 10 nanosecondes pour Tint. La durée entre deux impulsions d'un train est alors de 200 nanosecondes. S'il y a 10 impulsions par train, la durée 10 totale des N trains est de 20 millisecondes, ce qui donne la cadence possible pour la fourniture d'une image globale comprenant N images. Avec une cadence plus lente, on peut augmenter la plage de distances observées, et/ou le nombre Z d'impulsions par train d'impulsions. La durée maximale des impulsions lumineuse et des créneaux d'intégration 15 reste fixée par la résolution en distance, c'est-à-dire la distance entre deux plans successifs observés : la somme (Timp + Tint) doit être inférieure ou égale à 2.(d;+1 - d;)/c, c étant la vitesse de la lumière. L'augmentation du nombre d'impulsions dans le train d'impulsions permet d'augmenter la sensibilité du capteur.
20 Le niveau de signal numérique issu d'un pixel pour une image donnée IM; dépend de l'albedo (pouvoir réfléchissant) du point de la scène qui a réfléchi une impulsion lumineuse et qui est donc globalement dans le plan P; observé par cette image produite par le ième train d'impulsions. Mais 25 les impulsions lumineuses ont une durée non nulle ; les créneaux temporels d'intégration ont également une durée non nulle. L'impulsion lumineuse peut ne coïncider que partiellement avec le créneau temporel qui lui correspond, par exemple parce que le point observé par le pixel n'est pas exactement à la distance d; mais à une distance légèrement supérieure ou inférieure à d; .
30 Dans ce cas, le niveau de signal obtenu est inférieur à ce qu'il devrait être compte-tenu de l'albedo du point. Pour associer une distance à chaque pixel, le plus simple est de considérer les N images et de sélectionner l'image IM; pour laquelle le niveau de signal fourni par ce pixel est le plus élevé parmi les différentes valeurs pour ce même pixel dans les N images. La distance associée est la distance di. Mais, de manière plus précise, pour augmenter la précision en distance on peut préférer effectuer une interpolation pondérée sur plusieurs 5 images de la manière suivante : on sélectionne l'image IM; pour laquelle le niveau de signal du pixel est le plus élevé, ainsi que les images voisines IM;_i et IM41, et on calcule une distance moyenne qui est la somme pondérée normalisée (a.d;_i+ b.d; + c.d;_o) des distances d;_1, d; et d;_o, où a, b, et c représentent les niveaux relatifs de signal du pixel dans les trois images, 10 normalisés à 1 c'est-à-dire que (a+b+c) = 1. La pondération peut être effectuée sur un plus grand nombre d'images consécutives, par exemple sur 5 images avec le même principe. La sortie de la caméra peut consister en un groupe de N images, 15 le traitement d'association d'une distance à chaque pixel étant fait en dehors de la caméra. Alternativement, on peut prévoir dans la caméra des moyens pour faire cette association selon les principes indiqués précédemment. Dans ce cas la caméra fournit d'une part une image des luminances et d'autre part une matrice de distances associant une valeur de distance à 20 chaque pixel. L'image de luminance est constituée par une valeur numérique de luminance pour chaque pixel. Cette valeur peut être la valeur maximale obtenue pour ce pixel dans les N images. Mais elle peut être obtenue d'autres manières, par exemple par une concaténation des différentes valeurs numériques obtenues dans les N images. Cette concaténation peut 25 être par exemple la somme des valeurs numériques détectées dans les N images, ou la somme des valeurs numériques dépassant un seuil minimum (pour éviter de rajouter du bruit par les signaux de faible valeur qui ne correspondent pas nécessairement à une véritable réflexion d'impulsion lumineuse).
30 Enfin, pour la vision en relief, on peut également traiter l'image matricielle de luminance et la matrice de distances pour reconstituer une image binoculaire, c'est-à-dire une image gauche et une image droite qui sont des transformations de l'image de luminance telles que la valeur de 35 luminance affectée à un pixel de la matrice de luminance est affectée à un pixel de l'image gauche et un pixel de l'image droite qui sont décalés l'un par rapport à l'autre (par rapport aux bords latéraux de la matrice de pixels) d'une distance donnée d'autant plus grande que la distance associée fournie par la caméra pour ce pixel est plus faible. 10

Claims (10)

  1. REVENDICATIONS1. Procédé de production d'images d'une scène en volume incluant une information de distance de chaque point de la scène, ce procédé utilisant une source de lumière impulsionnelle et un capteur d'image, le capteur comprenant des pixels aptes à accumuler, dans un noeud de stockage respectif de chaque pixel, des charges générées par la lumière, le procédé comprenant l'émission de N trains successifs d'impulsions lumineuses à partir de la source lumineuse et sous contrôle d'une horloge de référence, N étant un nombre entier représentant le nombre de niveaux de profondeur désiré pour l'information de relief, et, itérativement pour chaque train d'impulsions de rang i parmi les N trains d'impulsions : a) émission du ième train d'impulsions lumineuses, les impulsions étant émises à des instants déterminés à partir de l'horloge de référence et à des intervalles déterminés à partir de cette horloge, a1) intégration de charges pour chaque impulsion lumineuse du ième train pendant une court créneau temporel d'intégration de durée Tint commençant avec un décalage temporel ti par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à une ième distance (di) du capteur, le décalage temporel ti étant le même pour toutes les impulsions lumineuses du ième train d'impulsions et les décalages temporels ti pour les N trains étant différents les uns des autres pour correspondre à différentes distances par rapport au capteur, b1) transfert des charges intégrées pour chaque impulsion lumineuse du ième train, dans le noeud de stockage de charges de chaque pixel, et accumulation de ces charges avec les charges résultant des précédentes impulsions lumineuses du même train, b) lecture des charges contenues dans le noeud de stockage de chaque pixel après la fin du ième train d'impulsions, réinitialisation du noeud de stockage, et fourniture d'une image respective de rang i représentant les points d'une scène située à la ième distance (di) du capteur.
  2. 2. Procédé selon la revendication 1, caractérisé en ce que les valeurs des décalages temporels ti sont espacées les unes des autres d'un incrément de durée à peu près égal à la somme d'une durée Timp d'une impulsion lumineuse et de la durée d'intégration Tint.
  3. 3. Procédé selon l'une des revendications 1 et 2, caractérisé en ce que la durée d'une impulsion lumineuse est sensiblement égale à la durée d'intégration Tint.
  4. 4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que l'on établit une matrice de valeurs numériques de distances, associant à chaque pixel du capteur une distance d'un point de la scène observé par ce pixel.
  5. 5. Procédé selon la revendication 4, caractérisé en ce que la distance associée au pixel est la distance di correspondant au train d'impulsions pour lequel le signal issu du pixel a la valeur la plus élevée parmi les différentes valeurs pour ce même pixel dans les N images.
  6. 6. Procédé selon la revendication 4, caractérisé en ce que la distance associée à chaque pixel est calculée par interpolation - à partir de la distance di correspondant au train d'impulsion de rang i pour lequel le signal lu pour ce pixel a la valeur la plus élevée, - et à partir des signaux lus pour ce pixel et correspondant aux distances distance di_1 et ou di±i.
  7. 7. Procédé selon l'une des revendications 1 à 6, caractérisé en ce que l'on établit pour chaque observation d'une scène une valeur de luminance reçue par chaque pixel.
  8. 8. Procédé selon la revendication 7, caractérisé en ce que la valeur de luminance reçue par un pixel est établie à partir du niveau de signal le plus élevé fourni par ce pixel parmi les N images, ou à partir d'une somme de niveaux de signal fournis par ce pixel dans plusieurs images.35
  9. 9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce qu'on établit à partir des N images deux images électroniques gauche et droite permettant une représentation stéréoscopique de la scène.
  10. 10. Appareil pour prise d'image comprenant un capteur d'image à matrice de pixels et une source de lumière apte à fournir des impulsions lumineuses, l'appareil fournissant une image de la scène et une information de distance associée à chaque pixel de la matrice, chaque pixel comportant une photodiode, des moyens de réinitialisation de la photodiode, des moyens 1 o de stockage de charge dans le pixel, et des moyens de lecture de charges accumulées dans le noeud de stockage, la source de lumière comportant des moyens pour fournir N trains d'impulsions de lumière calibrées en durée et en intervalles, l'appareil comportant en outre des moyens de séquencement pour commander la réinitialisation et le transfert de charges de la photodiode 15 vers le noeud de stockage, et les moyens de séquencement étant synchronisés par rapport aux impulsions de lumière, caractérisé en ce que les moyens de séquencement sont agencés pour produire, pour chacun des N trains d'impulsions de lumière, une intégration de charges pendant un créneau temporel court décalé par rapport à chaque impulsion de lumière 20 d'un décalage temporel (ti) identique pour toutes les impulsions de lumière d'un même train d'impulsions de rang i et différent de celui des autres trains d'impulsions, le décalage temporel correspondant à la durée de trajet de la lumière entre la source de lumière et le capteur après réflexion sur un point de la scène situé à une distance respective di, les charges intégrées suite à 25 l'éclairement par les impulsions d'un même train d'impulsions de rang i étant accumulées dans le noeud de stockage, puis lues à partir de ce noeud pour produire une image de rang i des points de la scène situés à distance di, et éliminées à la fin du train d'impulsions en vue d'une nouvelle accumulation pour un autre train d'impulsions de rang i+1 correspondant à une autre 30 distance di-o, la durée d'un créneau temporel court étant inférieure à l'écart entre deux valeurs de décalage temporel voisines correspondant à deux trains d'impulsions différents.
FR1261270A 2012-11-27 2012-11-27 Procede de production d'images avec information de profondeur et capteur d'image Active FR2998666B1 (fr)

Priority Applications (7)

Application Number Priority Date Filing Date Title
FR1261270A FR2998666B1 (fr) 2012-11-27 2012-11-27 Procede de production d'images avec information de profondeur et capteur d'image
EP13789585.0A EP2926162A1 (fr) 2012-11-27 2013-11-14 Procede de production d'images avec information de profondeur et capteur d'image
US14/647,492 US9699442B2 (en) 2012-11-27 2013-11-14 Method for producing images with depth information and image sensor
CA2892659A CA2892659A1 (fr) 2012-11-27 2013-11-14 Procede de production d'images avec information de profondeur et capteur d'image
PCT/EP2013/073844 WO2014082864A1 (fr) 2012-11-27 2013-11-14 Procede de production d'images avec information de profondeur et capteur d'image
JP2015543396A JP6320406B2 (ja) 2012-11-27 2013-11-14 深さ情報および画像センサにより画像を生成する方法
CN201380069412.4A CN104884972A (zh) 2012-11-27 2013-11-14 利用深度信息和图像传感器来产生图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1261270A FR2998666B1 (fr) 2012-11-27 2012-11-27 Procede de production d'images avec information de profondeur et capteur d'image

Publications (2)

Publication Number Publication Date
FR2998666A1 true FR2998666A1 (fr) 2014-05-30
FR2998666B1 FR2998666B1 (fr) 2022-01-07

Family

ID=47902112

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1261270A Active FR2998666B1 (fr) 2012-11-27 2012-11-27 Procede de production d'images avec information de profondeur et capteur d'image

Country Status (7)

Country Link
US (1) US9699442B2 (fr)
EP (1) EP2926162A1 (fr)
JP (1) JP6320406B2 (fr)
CN (1) CN104884972A (fr)
CA (1) CA2892659A1 (fr)
FR (1) FR2998666B1 (fr)
WO (1) WO2014082864A1 (fr)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US10397546B2 (en) * 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
US11297258B2 (en) * 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
CN107370913B (zh) * 2016-05-11 2021-03-16 松下知识产权经营株式会社 摄像装置、摄像系统以及光检测方法
US10451713B2 (en) * 2016-09-16 2019-10-22 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
EP3301477A1 (fr) * 2016-10-03 2018-04-04 Xenomatix NV Système de télémétrie d'un objet
EP3301479A1 (fr) * 2016-10-03 2018-04-04 Xenomatix NV Procédé d'atténuation d'éclairage d'arrière-plan à partir d'une valeur d'exposition d'un pixel dans une mosaïque, et pixel pour une utilisation dans celle-ci
CN108259702B (zh) * 2016-12-28 2022-03-11 手持产品公司 一种用于同步多传感器成像器中的照明定时的方法和系统
EP3343246A1 (fr) * 2016-12-30 2018-07-04 Xenomatix NV Système de caractérisation de l'environnement d'un véhicule
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
WO2019014494A1 (fr) * 2017-07-13 2019-01-17 Apple Inc. Comptage d'impulsions précoce-retardées pour capteurs de profondeur émettant de la lumière
JP7198507B2 (ja) * 2017-08-08 2023-01-04 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
US10670722B2 (en) * 2017-08-15 2020-06-02 Samsung Electronics Co., Ltd. Increase depth resolution and depth accuracy in ToF sensors by avoiding histogrammization
CN115628808A (zh) 2017-11-24 2023-01-20 浜松光子学株式会社 光子计数装置和光子计数方法
EP3633406B1 (fr) * 2018-07-18 2022-05-11 Shenzhen Goodix Technology Co., Ltd. Système à temps de vol et procédé d'étalonnage
US10708514B2 (en) * 2018-08-30 2020-07-07 Analog Devices, Inc. Blending depth images obtained with multiple exposures
US11486984B2 (en) 2018-12-26 2022-11-01 Beijing Voyager Technology Co., Ltd. Three-dimensional light detection and ranging system using hybrid TDC and ADC receiver
US11506764B2 (en) 2018-12-26 2022-11-22 Beijing Voyager Technology Co., Ltd. System and methods for ranging operations using multiple signals
WO2020139380A1 (fr) * 2018-12-26 2020-07-02 Didi Research America, Llc Système de détection de lumière et de télémétrie tridimensionnelles utilisant un récepteur hybride à tdc et can
CN110087057B (zh) * 2019-03-11 2021-10-12 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
US11438486B2 (en) * 2019-08-26 2022-09-06 Qualcomm Incorporated 3D active depth sensing with laser pulse train bursts and a gated sensor
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
KR20210055821A (ko) 2019-11-07 2021-05-18 삼성전자주식회사 깊이의 측정 범위에 기초하여 동작하는 센서 및 이를 포함하는 센싱 시스템
CN113744355B (zh) * 2020-05-29 2023-09-26 杭州海康威视数字技术股份有限公司 一种脉冲信号的处理方法、装置及设备
CN112584067A (zh) * 2020-12-14 2021-03-30 天津大学合肥创新发展研究院 基于脉冲间隔的脉冲图像传感器的噪声消除方法及装置
WO2022137919A1 (fr) * 2020-12-22 2022-06-30 パナソニックIpマネジメント株式会社 Dispositif d'imagerie
CN113281765A (zh) * 2021-05-21 2021-08-20 深圳市志奋领科技有限公司 背景抑制光电传感器
EP4235219A1 (fr) * 2022-02-28 2023-08-30 Imasenic Advanced Imaging, S.L. Capteur d'image à balayage de profondeur

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233416A1 (en) * 2001-08-06 2004-11-25 Gunter Doemens Method and device for recording a three-dimensional distance-measuring image
WO2008152647A2 (fr) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Procédé et appareil d'imagerie tridimensionnelle
US20100214554A1 (en) * 2008-12-23 2010-08-26 Thales Passive imaging system equipped with a range finder

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4862462A (fr) * 1971-12-03 1973-08-31
JPH09178853A (ja) * 1995-12-25 1997-07-11 Hitachi Ltd イメージングレーザー測距装置
JP5115912B2 (ja) * 2001-02-23 2013-01-09 独立行政法人日本原子力研究開発機構 高速ゲート掃引型3次元レーザーレーダー装置
US7382008B2 (en) 2006-05-02 2008-06-03 Eastman Kodak Company Ultra-small CMOS image sensor pixel using a photodiode potential technique
EP2106527A2 (fr) * 2007-01-14 2009-10-07 Microsoft International Holdings B.V. Procédé, dispositif et système d'imagerie
KR101448152B1 (ko) 2008-03-26 2014-10-07 삼성전자주식회사 수직 포토게이트를 구비한 거리측정 센서 및 그를 구비한입체 컬러 이미지 센서
JP5192880B2 (ja) * 2008-03-31 2013-05-08 三菱重工業株式会社 監視装置
JP5485288B2 (ja) 2008-11-25 2014-05-07 テトラビュー, インコーポレイテッド 高解像度三次元撮像のシステムおよび方法
JP5713159B2 (ja) * 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム
JP2011211535A (ja) * 2010-03-30 2011-10-20 Sony Corp 固体撮像素子およびカメラシステム
US9052381B2 (en) * 2010-05-07 2015-06-09 Flir Systems, Inc. Detector array for high speed sampling of an optical pulse
US8569700B2 (en) * 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233416A1 (en) * 2001-08-06 2004-11-25 Gunter Doemens Method and device for recording a three-dimensional distance-measuring image
WO2008152647A2 (fr) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Procédé et appareil d'imagerie tridimensionnelle
US20100214554A1 (en) * 2008-12-23 2010-08-26 Thales Passive imaging system equipped with a range finder

Also Published As

Publication number Publication date
FR2998666B1 (fr) 2022-01-07
WO2014082864A1 (fr) 2014-06-05
EP2926162A1 (fr) 2015-10-07
JP6320406B2 (ja) 2018-05-09
CN104884972A (zh) 2015-09-02
US9699442B2 (en) 2017-07-04
US20150319422A1 (en) 2015-11-05
JP2016506492A (ja) 2016-03-03
CA2892659A1 (fr) 2014-06-05

Similar Documents

Publication Publication Date Title
FR2998666A1 (fr) Procede de production d'images avec information de profondeur et capteur d'image
TWI544232B (zh) 用於飛行時間成像系統之校準電路與方法
BE1022488B1 (fr) Systeme d'appareil de prise de vues a temps-de-vol
TWI480586B (zh) 用於判定飛行時間之方法及飛行時間成像設備與系統
TWI780462B (zh) 距離影像攝像裝置及距離影像攝像方法
FR3042912A1 (fr) Capteur d'images a grande gamme dynamique
FR3033973A1 (fr) Procede de reconstruction 3d d'une scene
WO2008034677A1 (fr) Capteur d'image lineaire cmos a fonctionnement de type transfert de charges
EP3423860B1 (fr) Dispositif de détection d'un spot laser
FR2996957A1 (fr) Procede de lecture d'un pixel
FR3054093B1 (fr) Procede et dispositif de detection d'un capteur d'images
FR2914499A1 (fr) Procede et circuit d'obtention d'un echantillon dans un capteur d'images
EP3386191A1 (fr) Capteur matriciel a codage temporel sans arbitrage
EP2056126B1 (fr) Procédé de détection d'une impulsion lumineuse réfléchie sur un objet pour déterminer la distance de l'objet, capteur et dispositif de mise en oeuvre
EP3979648A1 (fr) Dispositif de compensation du mouvement d'un capteur événementiel et système d'observation et procédé associés
FR2583882A1 (fr) Dispositif de mesure de la vitesse et de la position d'un mobile par rapport au sol
EP3310039B1 (fr) Dispositif électronique d'analyse d'une scène
EP2926544A1 (fr) Procede de capture d'image avec un temps d'integration tres court
EP3069319B1 (fr) Système et un procédé de caractérisation d'objets d'intérêt présents dans une scène
EP2735886B1 (fr) Procédé d'imagerie 3D
FR3115145A1 (fr) Dispositif d'acquisition d'une image 2d et d'une image de profondeur d'une scene
WO2014131726A1 (fr) Procede de production d'images et camera a capteur lineaire
FR3116977A1 (fr) Dispositif de compensation du mouvement d’un capteur événementiel, systèmes et procédés associés
FR3131163A1 (fr) Système d’observation et procédé d’observation associé
WO2023094409A1 (fr) Procede et dispositif de visualisation d'impacts d'impulsions laser sur une cible

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

CD Change of name or company name

Owner name: TELEDYNE E2V SEMICONDUCTORS SAS, FR

Effective date: 20180523

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 11

PLFP Fee payment

Year of fee payment: 12