BE1022488B1 - Systeme d'appareil de prise de vues a temps-de-vol - Google Patents

Systeme d'appareil de prise de vues a temps-de-vol Download PDF

Info

Publication number
BE1022488B1
BE1022488B1 BE2014/0089A BE201400089A BE1022488B1 BE 1022488 B1 BE1022488 B1 BE 1022488B1 BE 2014/0089 A BE2014/0089 A BE 2014/0089A BE 201400089 A BE201400089 A BE 201400089A BE 1022488 B1 BE1022488 B1 BE 1022488B1
Authority
BE
Belgium
Prior art keywords
cameras
tof
camera system
tof camera
image
Prior art date
Application number
BE2014/0089A
Other languages
English (en)
Inventor
Nieuwenhove Daniel Van
Julien Thollot
Original Assignee
Softkinetic Sensors Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Softkinetic Sensors Nv filed Critical Softkinetic Sensors Nv
Application granted granted Critical
Publication of BE1022488B1 publication Critical patent/BE1022488B1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras In General (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

L'invention se rapporte à un système d'appareil de prise de vues TOF comprenant plusieurs appareils de prise de vues, au moins un des appareils de prise de vues étant un appareil de prise de vues TOF, dans lequel les appareils de prise de vues sont assemblés sur un support commun et prennent une image de la même scène et dans lequel au moins deux appareils de prise de vues sont pilotés par des paramètres de pilotage différents.

Description

Système d'appareil de prise 4e vues à temps-de-vol
Domaine de l'invention
La présente invention se rapporte à des systèmes d'imagerie télémétrique à Temps-De-Vol (TOF), à savoir des systèmes d'appareil de prise de vues TOF. En particulier, le but de la présente invention est de proposer une image 3D d'une scène de haute qualité.
Arrière-plan de l'Invention
La vision artificielle est un domaine de recherche en croissance qui inclut des procédés pour l'acquisition, le traitement, l'analyse et la compréhension d’images. L'idée directrice principale dans ce domaine est de doubler les capacités du système de vision humaine en percevant et en comprenant électroniquement des images d'une scène. Notamment, un thème de recherche dans la vision artificielle est la perception de la profondeur ou, en d'autres termes, la vision tridimensionnelle (3D).
Pour les êtres humains, la perception de la profondeur est produite par ce qu'on appelle l'effet stéréoscopique par lequel le cerveau humain fusionne deux images légèrement différentes d'une scène capturée par les deux yeux et retrouve, entre autres, les informations de profondeur. De plus, des études récentes ont montré que la capacité à reconnaître des objets dans une scène contribue en outre grandement à la perception de la profondeur.
Pour des systèmes d’appareil de prise de vues, les informations de profondeur ne sont pas facilement obtenues et exigent des procédés et des systèmes complexes. En prenant l'image d’une scène, un système particulier classique d'appareil de prise de vues bidimensionnelles (2D) associe chaque point de la scène à une information de couleur RGB donnée. À la fin du processus d'imagerie, une carte 2D en couleur de la scène est créée. Un système standard d'appareil de prise de vues 2D ne peut pas reconnaître des objets dans une scène facilement à partir de cette carte en couleur comme la couleur est fortement dépendante de l'éclairage de scène variable et comme elle ne contient pas intrinsèquement d'informations dimensionnelles. De nouvelles technologies ont été introduites pour développer la vision artificielle et notamment pour développer l'imagerie 3D, permettant en particulier la capture directe d'informations liées à la profondeur et l'acquisition indirecte d'informations dimensionnelles liées à un objet ou une scène. Les récents progrès dans les systèmes d'imagerie 3D sont impressionnants et ont conduit à un intérêt croissant de la part de l'industrie, de l'académie et de la société de consommation.
Les technologies les plus courantes utilisées pour créer des images 3D sont basées sur l'effet stéréoscopique. Deux appareils de prise de vues prennent des images de la même scène, mais elles sont séparées par une certaine distance - exactement comme les yeux humains. Un ordinateur compare les images tout en décalant les deux images ensemble l'une au-dessus de l'autre pour trouver les parties qui sont en correspondance et celles qui ne le sont pas. La quantité de décalage est appelée la disparité. La disparité à laquelle les objets dans l'image correspondent le mieux est utilisée par l'ordinateur pour calculer des informations de distance, à savoir une carte de profondeur, en utilisant des capteurs d'appareil de prise de vues supplémentaires, des paramètres géométriques et des spécifications de lentille.
Une autre technologie plus récente et différente est représentée par le système d'appareil de prise de vues à Temps-De-Vol (TOF) 3 représenté à la figure 1. Le système d'appareil de prise de vues TOF 3 inclut un appareil de prise de vues 1 avec une unité d'éclairage dédiée 18 et un moyen de traitement de données 4. Les systèmes d'appareil de prise de vues TOF sont susceptibles de capturer des images 3D d'une scène 15 en analysant le temps de vol d’une lumière depuis une source de lumière 18 jusqu’à un objet. De tels systèmes d'appareil de prise de vues 3D sont maintenant utilisés dans de nombreuses applications où une mesure d'informations de profondeur ou de distance est nécessaire. Les systèmes standards d'appareil de prise de vues, comme les systèmes d'appareil de prise de vues Rouge-Vert-Bleu (RGB), sont des technologies passives, c'est-à-dire qu’ils utilisent la lumière ambiante pour capturer des images et ne sont pas basées sur l'émission d'une lumière supplémentaire. Au contraire, le principe opérationnel de base d'un système d'appareil de prise de vues TOF est d’illuminer activement une scène 15 avec une lumière modulée 16 à une longueur d'onde prédéterminée en utilisant l'unité d'éclairage dédiée, par exemple avec quelques impulsions lumineuses d'au moins une fréquence prédéterminée. La lumière modulée est réfléchie en retour en provenance d'objets à l'intérieur de la scène. Une lentille collecte la lumière réfléchie 17 et forme une image des objets sur un capteur d'imagerie 1. En fonction de la distance des objets à l'appareil de prise de vues, un retard est subi entre l'émission de la lumière modulée, par exemple les prétendues impulsions lumineuses, et la réception au niveau de l'appareil de prise de vues de ces impulsions lumineuses. Dans un mode de réalisation ordinaire, la distance entre les objets réfléchissants et l'appareil de prise de vues peut être déterminée comme une fonction du retard de temps observé et de la valeur constante de la vitesse de la lumière. Dans un autre mode de réalisation plus complexe et fiable, une pluralité de différences de phase entre les impulsions lumineuses de référence émises et les impulsions lumineuses capturées peuvent être déterminées et utilisées pour évaluer les informations de profondeur comme l'a introduit Robert Lange dans la thèse de doctorat intitulée « Mesure de distance par temps-de-vol 3D avec des capteurs d'image à solide personnalisés dans la technologie CMOS/CCD».
Un système d'appareil de prise de vues TOF comprend plusieurs éléments, chacun d'entre eux ayant une fonction distincte. 1) Un premier composant d'un système d'appareil de prise de vues TOF est l'unité d'éclairage 18. En utilisant des impulsions, la largeur d’impulsion de chaque impulsion lumineuse détermine le champ de l'appareil de prise de vues. Par exemple, pour une largeur d’impulsion de 50 ns, le champ est limité à 7,5 m. En conséquence, l'éclairage de la scène devient critique pour le fonctionnement d'un système d'appareil de prise de vues TOF, et les exigences de fréquence de pilotage à vitesse élevée pour les unités d'éclairage nécessitent l'utilisation de sources de lumière spécialisées comme des diodes électroluminescentes (LED) ou des lasers pour produire de telles impulsions lumineuses courtes. 2) Un autre composant d'un système d'appareil de prise de vues TOF est le capteur d’imagerie 1 ou capteur TOF. Le capteur d'imagerie comprend de manière classique un groupement matriciel de pixels formant une image de la scène. Par pixel, on comprendra l'élément d'image sensible à des rayonnements électromagnétiques lumineux aussi bien que ses circuits électroniques associés. La sortie des pixels peut être utilisée pour déterminer le temps de vol de la lumière depuis l'unité d'éclairage jusqu’à un objet dans la scène et réfléchie en retour de l'objet jusqu’au capteur d'imagerie TOF. Le temps de vol peut être calculé dans une unité de traitement distincte qui peut être reliée au capteur TOF ou peut être directement intégrée dans le capteur TOF lui-même. On connaît divers procédés pour mesurer le chronométrage de la lumière lorsqu’elle se déplace depuis l'unité d'éclairage jusqu’à l'objet et depuis l'objet en retour jusqu’au capteur d'imagerie. 3) Une optique d'imagerie 2 et de l'électronique de traitement 4 sont également prévues à l'intérieur d’un système d'appareil de prise de vues TOF. L'optique d'imagerie est conçue pour recueillir la lumière réfléchie en provenance d'objets dans la scène, habituellement dans le domaine IR, et filtrer la lumière qui n'est pas dans la même longueur d'onde que la lumière émise par l'unité d'éclairage. Dans certains modes de réalisation, l'optique peut permettre la capture d'éclairage infrarouge pour des mesures de principe TOF et d'éclairage visible pour des mesures de couleur RGB. L'électronique de traitement pilote le capteur TOF de façon à, parmi plusieurs particularités, filtrer la lumière de fréquences différentes par rapport à celles émises par l'unité d'éclairage, mais ayant une longueur d'onde similaire (de manière classique la lumière du soleil). En filtrant les longueurs d'onde ou les fréquences indésirables, la lumière d'arrière-plan peut être efficacement supprimée. L'électronique de traitement inclut en outre des circuits de pilotage tant pour l'unité d'éclairage que pour le capteur d'imagerie de sorte que ces composants peuvent être commandés de façon précise de manière synchrone pour assurer qu'une capture d'image précise est effectuée et qu'une carte de profondeur fiable de la scène est déterminée.
Le choix des éléments constituant un système d'appareil de prise de vues TOF est crucial. Les systèmes d'appareil de prise de vues TOF ont tendance à couvrir de larges plages de quelques millimètres jusqu’à plusieurs kilomètres en fonction du type et des performances des éléments utilisés. De tels systèmes d'appareil de prise de vues TOF peuvent avoir une précision de distance variant de moins du centimètre à plusieurs centimètres ou même mètres. Les technologies qui peuvent être utilisées avec des systèmes d'appareil de prise de vues TOF incluent des sources de lumière pulsée avec des compteurs de temps numériques, des sources de lumière modulée à fréquence radio (RF) avec des détecteurs de phase, et des imageurs à fenêtre de distance.
Les systèmes d'appareil de prise de vues TOF souffrent de plusieurs inconvénients. Dans les imageurs TOF ou les capteurs TOF courants, les intervalles de pixel vont habituellement de 10 pm à 100 μηι. En raison de la nouveauté de la technologie et du fait que l'architecture d'un pixel TOF est hautement complexe, il est difficile de concevoir un pixel de petite taille tout en maintenant un rapport signal sur bruit efficace (SNR) et en gardant à l'esprit l'exigence liée à la fabrication en série à bas prix. Cela aboutit à des tailles de puce relativement grandes pour le capteur d'image TOF. Avec une optique classique, de telles grandes tailles de capteur d'image exigent l’ajustement d’empilements optiques grands et épais sur la puce. De manière générale, un compromis doit être trouvé entre la définition requise et l'épaisseur du dispositif pour le rendre intégrable dans le produit grand public portatif.
En outre, la mesure de profondeur obtenue par un système d'appareil de prise de vues TOF peut être déterminée de façon erronée pour plusieurs raisons. Premièrement, la définition de tels systèmes doit être améliorée. Une grande taille de pixel exige une grande puce de capteur et ainsi la définition de capteur est limitée par la taille de capteur TQF. Deuxièmement, la précision de la mesure de profondeur de tels systèmes a toujours besoin d’être améliorée, parmi une pluralité de paramètres, comme elle dépend fortement du rapport Signal sur Bruit et de la fréquence de modulation (la fréquence de modulation déterminant la précision de profondeur et la plage de mesure de profondeur opérationnelle). En particulier, l'incertitude ou l'inexactitude de la mesure de profondeur peut être due à un effet appelé « crénelage de profondeur » qui sera décrit en détail par la suite. De plus, l'incertitude peut provenir de la présence d’une lumière supplémentaire à l'arrière-plan. Bien sûr, les pixels des systèmes d'appareil de prise de vues TOF comprennent un élément photosensible qui reçoit une lumière incidente et la transforme en un signal électrique, par exemple, un signal de courant. Pendant la capture d’une scène, si la lumière d'arrière-plan est trop intense dans la longueur d'onde à laquelle le capteur est sensible, alors les pixels peuvent recevoir une lumière supplémentaire non réfléchie à partir d'objets à l’intérieur de la scène, ce qui peut altérer la distance mesurée. À présent, dans le domaine de l'imagerie TOF, plusieurs options sont disponibles pour surmonter au moins partiellement les inconvénients individuels majeurs dont la technologie peut souffrir, tels que, par exemple, des systèmes de fréquence de modulation améliorés permettant une mesure de profondeur plus robuste et précise, des mécanismes de décrénelage ou de robustesse de lumière d'arrière-plan.
Une solution reste à proposer pour aborder ces inconvénients ensemble et améliorer davantage la définition des systèmes d'appareil de prise de vues TOF tout en limitant l'épaisseur du système complet pour le rendre conforme à l’intégration de dispositifs portatifs fabriqués en série. Résumé de l'Invention
La présente invention se rapporte à un système d'appareil de prise de vues TOF comprenant plusieurs appareils de prise de vues, au moins un des appareils de prise de vues étant un appareil de prise de vues TOF, dans lequel les appareils de prise de vues sont assemblés sur un support commun et prennent une image de la même scène et dans lequel au moins deux appareils de prise de vues sont pilotés par des paramètres de pilotage différents. L'utilisation de l'au moins une information de profondeur d'appareil de prise de vues TOF combinée avec l'au moins une information provenant d'un autre appareil de prise de vues piloté avec des paramètres différents, la fusion de toutes les informations d'appareil de prise de vues ensemble aide à affiner et à améliorer la qualité de l'image résultante, et en particulier aide à obtenir une carte de profondeur de qualité supérieure à partir de la scène capturée.
De manière avantageuse, les capteurs des appareils de prise de vues sont assemblés sur un support commun, ce qui réduit l'épaisseur du système d'appareil de prise de vues TOF.
De manière plus avantageuse, les capteurs des appareils de prise de vues sont fabriqués sur le même substrat afin d'améliorer l'épaisseur et la taille du système d'appareil de prise de vues TOF.
De préférence, le système d'appareil de prise de vues TOF comprend également en outre un groupement de plusieurs lentilles, chaque lentille du groupement étant associée à chacun des appareils de prise de vues. Ces lentilles aident à concentrer la lumière incidente sur la zone photosensible de leur capteur d'appareil de prise de vues associé respectif.
De manière avantageuse, les paramètres de pilotage comprennent des paramètres pour mettre en œuvre une technique stéréoscopique et/ou pour mettre en œuvre un algorithme de décrénelage et/ou pour mettre en œuvre un mécanisme de robustesse de lumière d'arrière-plan. On expliquera le décrénelage dans ce document ci-dessous.
De manière plus avantageuse, au moins deux appareils de prise de vues du système d'appareil de prise de vues TOF peuvent prendre une image de la même scène pendant des temps d'intégration différents.
De manière plus avantageuse, le système d'appareil de prise de vues TOF peut comprendre deux appareils de prise de vues TOF ayant chacun un capteur TOF prenant une image de la même scène et étant pilotés pour déterminer des informations de distance à partir de fréquences de modulation différentes.
Plus de préférence, le système d'appareil de prise de vues TOF peut comprendre en outre un moyen pour filtrer la lumière dans la plage visible et/ou dans l'Infrarouge. L'utilisation d'un tel moyen pour le filtrage de la lumière permet le réglage de la lumière afin de choisir la longueur d’onde dans la plage à laquelle chaque capteur doit être sensible.
La présente invention sera mieux comprise à la lecture la description qui va suivre, à la lumière des dessins annexés.
Description des Dessins
La figure 1 représente le principe opérationnel de base d'un système d'appareil de prise de vues TOF; la figure 2 représente un empilement de capteur TOF à multiples lentilles ; la figure 3 représente un capteur TOF standard utilisé dans un empilement tel que représenté à la figure 2 ; la figure 4 représente un capteur TOF optimisé personnalisé pour un empilement tel que représenté à la figure 2 ; la figure 5 représente un empilement, tel que représenté à la figure 2, utilisant 4 capteurs TOF distincts ; la figure 6 représente un empilement de capteur TOF à multiples lentilles, utilisant également des filtres de couleur et infrarouges.
Description de l'Invention
La présente invention sera décrite en ce qui concerne des modes de réalisation particuliers et en se référant à certains dessins mais l'invention n'est pas limitée à cela. Les dessins sont seulement schématiques et non limitatifs. Dans les dessins, la taille de certains des éléments peut être exagérée et pas tracés à l'échelle dans des buts représentatifs.
Comme le montre la figure 1, un système classique d'appareil de prise de vues TOF comprend un capteur TOF 1 et son moyen optique associé 2 (par exemple une lentille), une unité d’éclairage 18 pour éclairer la scène 15 en ce qui concerne les spécifications de principe TOF, et des circuits électroniques 4 pour piloter au moins l'unité d'éclairage et le capteur TOF. La lumière est habituellement dans le domaine de longueur d'onde infrarouge et comprend des impulsions modulées de façon périodique 16 émises vers la scène. Le capteur TOF et son moyen optique associé sont conçus pour permettre la capture de la lumière modulée émise qui est réfléchie en retour à partir de la scène. Une option pour déterminer des informations de distance entre les objets de scène et le système d'appareil de prise de vues TOF ainsi formé est de déterminer le retard de phase entre la lumière pulsée ou modulée émise et la lumière reçue en retour au niveau du capteur TOF.
Afin d’améliorer la qualité et la définition d'une image de Temps-De-Vol, à savoir la carte de profondeur, et de réduire l'épaisseur du système d'appareil de prise de vues TOF, la présente invention se rapporte à un nouveau système d'appareil de prise de vues TOP comprenant plusieurs appareils de prise de vues, au moins un des appareils de prise de vues étant un appareil de prise de vues TOF, dans lequel les appareils de prise de vues sont assemblés sur un support commun et prennent une image de la même scène et dans lequel au moins deux appareils de prise de vues sont pilotés par des paramètres de pilotage différents.
Par appareil de prise de vues, cela signifie un système de dispositif électronique comprenant au moins le moyen pour capturer le rayonnement électromagnétique d'une lumière incidente. Par exemple, un appareil de prise de vues peut être représenté au moins par un pixel unique d'un dispositif capteur. Un appareil de prise de vues peut également être représenté par un groupe de pixels sur un dispositif capteur ou par un dispositif capteur entier. De préférence, le dispositif capteur à partir duquel l'appareil de prise de vues est déterminé comprend un groupement matriciel de pixels et les circuits pour les mettre en œuvre. Les circuits peuvent en outre comprendre un moyen électronique pour traiter davantage les données mesurées par chaque pixel et/ou chaque appareil de prise de vues à partir de l’au moins un dispositif capteur utilisé. L'invention peut se rapporter également plus globalement à un système d'appareil de prise de vues TOF comprenant une pluralité d'appareils de prise de vues indépendantes ayant chacun au moins un dispositif capteur, et parmi lesquels au moins un dispositif comprend un dispositif capteur TOF.
On va maintenant expliquer l'invention en ce qui concerne une configuration symétrique d'un groupement à 4 appareils de prise de vues. Cela vaut la peine de remarquer à ce point que des aspects de la présente invention ne sont ni limités à quatre appareils de prise de vues associés chacun à au moins une lentille, ni à la symétrie représentée dans les exemples utilisés. Une personne habile dans la technique pourrait facilement extrapoler les principes décrits à moins, ou à plus de lentilles et d’appareils de prise de vues, par exemple deux lentilles associées à au moins un capteur sur lequel deux appareils de prise de vues sont définis, et/ou des points de vue différemment configurés.
En concevant un système d'appareil de (Mise de vues TOF comprenant plusieurs appareils de prise de vues, au moins un des appareils de prise de vues étant un appareil de prise de vues TOF, plusieurs configurations sont possibles pour agencer les appareils de prise de vues. À la figure 2, une première configuration est représentée avec 4 lentilles A, B, C, D (101 -104) sur le dessus d'un support, un plan de capteur d’image 100. Chaque lentille permet à la lumière incidente provenant de la scène réfléchie d'être concentrée sur chaque appareil de prise de vues individuel du plan de capteur d'image. Par exemple, dans un mode de réalisation particulier, chaque lentille concentre la lumière capturée sur chaque appareil de prise de vues défini sur un capteur d'image TOP. La fusion des quatre images individuelles peut offrir une image de définition plus grande avec une épaisseur plus petite qu'un plus grand système de capteur TOF à appareil de prise de vues unique haute définition.
Dans les figures 3 à 5, on représente un support, c'est-à-dire un plan de capteur d’image 100, quatre appareils de prise de vues 107 et leurs circuits associés 110. Plusieurs configurations possibles des circuits de capteur d'image à l'intérieur du support sont affichées. 1) La première configuration, représentée à la figure 3, est la plus simple. Un seul dispositif capteur d'image à TOF est utilisé ; il couvre les quatre zones d'image 107 (c'est-à-dire les appareils de prise de vues) construites ou délimitées par les quatre lentilles 101 à 104. Les circuits de capteur d’image 110, comprenant divers blocs numériques et/ou analogiques (conditionnement de signal, Transformation Analogique-Numérique, filtrage, traitement de capteur d'image,...), sont, dans ce cas, représentés sur le côté du capteur d'image et tous les pixels TOF sont groupés. Un avantage de cette approche est que des dispositifs capteurs d'image à TOF existants peuvent être utilisés pour ce principe. Un inconvénient de cette approche est que la plupart des pixels TOF entre les régions 107 ne sont pas dans le plan d'image des optiques 101 à 104 et sont ainsi inutiles. Un autre inconvénient de cette approche est qu'un tel système va souffrir d'une définition limitée étant donné qu'un dispositif capteur à TOF efficace a une définition limitée de manière native pour une taille donnée. Un autre inconvénient de cette approche est qu'elle propose seulement des informations basées sur le principe TOF en provenance de la scène c'est-à-dire une carte de profondeur et une carte en demi-teintes de confiance ou un éclairage. 2) Une deuxième configuration possible est représentée à la figure 4, où plusieurs appareils de prise de vues sont assemblés sur un support commun (par exemple conçus sur le même substrat de silicium). Dans cette configuration, chaque appareil de prise de vues est également recouvert par sa propre lentille. Seuls les appareils de prise de vues situés dans les régions délimitées par les optiques produisent les images. De cette façon, les circuits de capteur d'image peuvent être attribués dans l'espace libre entre les régions 107. À la figure 4, on peut voir l'espace libre entre les régions 107 comme des bandes rectangulaires, formant une « croix », et dans lequel les circuits électroniques pour mettre en œuvre les appareils de prise de vues peuvent être réglés de façon à économiser le silicium et à minimiser la taille du système de capteur ainsi formé. Comme le montre la figure 4, le système de capteur d'image obtenu est plus petit en taille que le système de capteur d'image de la figure 2. Cette deuxième configuration optimise l'espace de carte et le coût. On notera qu'évidemment, les circuits électroniques remplissant l'espace de substrat libre disponible entre les appareils de prise de vues peuvent être conçus sous d'autres formes moins optimales qu'une croix, par exemple sous la forme d'une bande. 3) Une troisième configuration possible est représentée à la figure 5, où quatre appareils de prise de vues (formés par quatre capteurs d'image à TOF individuels) sont positionnés sous les quatre lentilles 101 à 104 de la figure 2 et forment ensemble un support unique. Dans cette configuration, chaque capteur à TOF est recouvert par sa propre lentille et est gouverné par ses propres circuits. Avec cette approche, quatre étalonnages individuels d'appareil de prise de vues et quatre étapes d'alignement de montage sont nécessaires.
Selon un premier mode de réalisation de la présente invention, le système d’appareil de prise de vues TOF peut comprendre plusieurs appareils de prise de vues, au moins un des appareils de prise de vues étant un appareil de prise de vues TOF, dans lequel les appareils de prise de vues sont assemblés sur un support commun et prennent une image de la même scène et dans lequel au moins deux appareils de prise de vues sont pilotés par des paramètres de pilotage différents.
Le système d'appareil de prise de vues TOF peut être conçu selon les configurations précédemment exposées. De préférence, le système d'appareil de prise de vues TOF peut être conçu selon la configuration affichée à la figure 4 dans laquelle les appareils de prise de vues sont assemblés sur un support commun. De préférence, les appareils de prise de vues sont assemblés sur un substrat commun. Ce substrat peut être à base de silicium, mais la présente invention n'est pas limitée à cela.
Le fait que les appareils de prise de vues soient assemblés sur un support commun et prennent une image de la même scène et qu'au moins deux appareils de prise de vues soient pilotés par des paramètres de pilotage différents permet en particulier d'obtenir des types différents d'information en provenance de la même scène, ces informations étant par exemple au moins une d'informations de couleur, d'éclairage ou de carte de profondeur. De préférence, ces informations peuvent être plusieurs cartes de profondeur d'une définition déterminée et de manière facultative une image en couleur de préférence d’une définition plus élevée. La fusion des différentes informations contenues dans chaque image unique, à savoir la fusion d'au moins une carte de profondeur obtenue selon le principe TOF avec au moins une autre image contenant au moins des informations de profondeur ou des informations de couleur, permet le calcul d'une image résultante unique avec une qualité améliorée. Par « fusion », on devrait comprendre la combinaison d'informations liées à des images individuelles pour produire l'image résultante améliorée et/ou affinée ou une « super-image » démontrant au moins une mesure de profondeur de qualité supérieure pour chaque pixel unique ou une définition supérieure.
En utilisant ce système d'appareil de prise de vues TOF, il est possible de fusionner des images individuelles en une « super-image », par exemple pour fusionner 4 images individuelles. Dans un mode de réalisation préféré, les informations tant de définition que de précision de carte de profondeur de ce qu'on appelle la « super-image » résultant de la fusion sont améliorées en comparaison aux informations individuelles produites à partir de chacune des images individuelles uniques.
Dans un mode de réalisation particulier, au moins une des lentilles du groupement de lentilles ou au moins un des appareils de prise de vues du système TOF peut différer des autres en ce que la lentille peut délivrer une image avec une longueur focale différente, et les appareils de prise de vues peuvent être d'une taille différente et/ou d’une définition différente. Par exemple, un système d'appareil de prise de vues TOF comprenant deux appareils de prise de vues TOF et deux appareils de prise de vues en couleur peut avoir des appareils de prise de vues en couleur (respectivement des capteurs couleur) de taille et de définition différentes par rapport aux appareils de prise de vues TOT (respectivement des capteurs TOF). La lentille associée à l'appareil de prise de vues TOF peut être en outre d'une longueur focale différente que celle associée aux appareils de prise de vues couleur. La scène observée par les appareils de prise de vues TOF et les appareils de prise de vues couleur étant la même, les paramètres associés à chaque sorte d'appareils de prise de vues, à savoir la définition, la longueur focale de lentille, les tailles de capteur, peuvent conduire à des images différentes capturées par chaque sorte d'appareil de prise de vues. Par exemple, une carte de profondeur évaluée par le principe de stéréovision à partir des images en couleur peut représenter une vue légèrement différente de la scène imagée par la carte de profondeur obtenue par au moins un appareil de prise de vues TOF.
Les paramètres de pilotage qui peuvent être mis en œuvre dans le système d'appareil de prise de vues TOF sont présentés ci-dessous dans ce document, mais ne sont pas limités à cela.
Dans un mode de réalisation particulier, au moins deux des appareils de prise de vues peuvent être pilotés par des paramètres pour mettre en œuvre une technique stéréoscopique. La stéréoscopie se réfère à une technique pour créer ou améliorer l'illusion de profondeur dans une image, au moyen d’une vision binoculaire. Dans cette technique, la vision binoculaire d'une scène crée deux images légèrement différentes de la scène dans les deux yeux, en raison des positions différentes des yeux sur la tête. Ces différences donnent des informations que le cerveau peut utiliser pour calculer la profondeur dans la scène visuelle, procurant une perception de profondeur. Dans un mode de réalisation particulier, un calcul stéréoscopique passif peut être utilisé suite au calcul de profondeur de temps-de-vol, en se basant sur les combinaisons d'au moins deux points de vue de la présente invention. Ce calcul peut être très grossier, pour identifier ou résoudre le décrénelage. De préférence, on peut utiliser les régions les plus espacées 107, c'est-à-dire les appareils de prise de vues les plus espacés. En outre, de préférence, dans le cas de quatre pixels, on peut utiliser les régions en diagonale peuvent être utilisées pour mettre en œuvre ces paramètres de pilotage.
Dans un mode de réalisation dérivé, au moins deux appareils de prise de vues en couleur de même définition peuvent être utilisés pour fournir une entrée à la mesure de profondeur basée sur le principe stéréoscopique avec laquelle la carte de profondeur produite à partir d'au moins un appareil de prise de vues TOF peut être fusionnée.
Dans un autre mode de réalisation dérivé de la présente invention utilisant une technique stéréoscopique, au moins deux appareils de prise de vues TOF sont pilotés chacun avec des paramètres différents pour fournir deux cartes de profondeur de la même scène avec une qualité de mesure intrinsèque différente. Ces cartes de profondeur sont fusionnées ensemble pour fournir une carte de profondeur de qualité plus grande que n’importe laquelle des deux cartes de profondeur individuelles originales. Le système d'appareil de prise de vues TOF peut en outre utiliser les deux cartes de confiance ou d’éclairage IR individuelles fournies de façon native par les deux appareils de prise de vues TOF de façon à mettre en œuvre une technique stéréoscopique produisant une carte de profondeur à partir d'informations stéréoscopiques qui peuvent être utilisées pour fusionner et affiner au moins une des deux cartes de profondeur provenant des appareils de prise de vues TOF, ou la carte de profondeur produite par leur fusion. Un tel mode de réalisation peut être particulièrement approprié pour l'obtention, par exemple, d’une plage de mesure de distance supplémentaire que les fréquences d’impulsion lumineuse ou la puissance d'éclairage prédéterminées ne permettent pas d'obtenir.
Dans un mode de réalisation particulier dans lequel au moins un des capteurs est un capteur TOF à mettre en œuvre en ce qui concerne le principe TOF, au moins deux autres capteurs peuvent être des capteurs RGB mis en œuvre avec des paramètres différents, ayant une définition plus élevée et étant utilisés pour déterminer une carte de profondeur à partir du principe de stéréovision. Cette carte de profondeur à haute définition basée sur la stéréovision peut être utilisée pour fusionner avec la carte de profondeur de définition inférieure obtenue à partir du principe TOF sur l'au moins un capteur TOF. La carte de profondeur basée sur la stéréovision souffrant de trous et de l'évaluation de profondeur la plus basse par rapport à une mesure de profondeur sur le principe TOF, la carte de profondeur obtenue au niveau de l'appareil de prise de vues TOF peut être utilisée pour affiner la carte de profondeur incomplète mais de définition plus élevée obtenue par le principe de stéréovision. De préférence, la fusion peut être mise en œuvre à l'intérieur des circuits du système d'appareil de prise de vues TOF, et la carte de profondeur améliorée résultante peut également comprendre des informations de couleur produites à partir de la capture par stéréovision. Cette image résultante améliorée étant d'une définition au moins similaire à celle du capteur à haute définition, mais peut également être d'une définition plus basse ou plus élevée en utilisant un moyen de calcul par interpolation provenant de l'état de la technique.
Selon un autre mode de réalisation, un autre paramètre de pilotage qui peut être mis en œuvre sur les appareils de prise de vues du système d'appareil de prise de vues TOF, et en particulier sur les appareils de prise de vues TOF du système d'appareil de prise de vues TOF, est l'utilisation de fréquences différentes appliquées à l'éclairage pulsé émis et leurs captures synchronisées en heurtant en retour de la scène sur chaque appareil de prise de vues TOF individuel. Ce mode de réalisation particulier pour piloter différemment les appareils de prise de vues est destiné à appliquer le principe de décrénelage de mesure de profondeur sur les mesures TOF. Dans le traitement de signal et les disciplines liées, le crénelage se réfère à un effet qui amène des signaux différents à devenir indiscernables quand ils sont échantillonnés. Le crénelage temporel est lorsque les échantillons deviennent indiscernables dans le temps. Le crénelage temporel peut se produire lorsque le signal échantillonné périodiquement a également un contenu périodique. Dans les systèmes mis en œuvre avec le principe TOF, à une fréquence de modulation donnée, le crénelage de profondeur aboutit à une ambiguïté concernant la distance à enregistrer comme la même distance peut être mesurée pour un objet qui est à des distances différentes du système d'appareil de prise de vues TOF qui a une plage de fonctionnement prédéterminée. Par exemple, un système d'appareil de prise de vues TOF mis en œuvre avec une fréquence de modulation unique ayant une plage de fonctionnement d'un mètre à cinq mètres, rend tout objet à six mètres du système d'appareil de prise de vues mesuré comme étant à un mètre (comportement périodique), s’il y a une réflexion en retour suffisante de la lumière modulée sur l'appareil de prise de vues.
Dans un mode de réalisation particulier, au moins un des appareils de prise de vues TOF du système d'appareil de prise de vues TOF peut être piloté par un tel principe de décrénelage et plus particulièrement par l’algorithme ou le procédé de décrénelage lié. Cet au moins un appareil de prise de vues TOF peut être mis en œuvre et piloté pour mesurer des informations de distance selon le principe TOF en utilisant au moins deux fréquences différentes et la mesure de distance obtenue par cet appareil de prise de vues TOF peut être décrénelée selon le principe de décrénelage. Les mesures de distance, sous la forme d'une carte de profondeur, peuvent ensuite être fusionnées avec des informations mesurées en provenance des autres appareils de prise de vues du système d'appareil de prise de vues TOF, lesdits autres appareils de prise de vues étant pilotés avec des paramètres différents. Par exemple, les autres informations peuvent être au moins une d’une carte de profondeur à définition supérieure ou inférieure produite à partir du principe de stéréovision ou du principe TOF, et/ou une image en couleur.
Dans un mode de réalisation préféré supplémentaire, des techniques de décrénelage différentes peuvent être mises en œuvre pour les différents appareils de prise de vues, c'est-à-dire les régions 107, donnant même des avantages de décrénelage plus robustes comme chaque appareil de prise de vues donne des mesures de profondeur décrénelées différentes. Un autre exemple est un système d'appareil de prise de vues TOF comprenant au moins deux appareils de prise de vues TOF mis en œuvre avec des paramètres différents, lesdits paramètres différents étant la fréquence de modulation à laquelle leur capture respective est synchronisée. La lumière d'éclairage modulée peut comprendre au moins deux fréquences prédéterminées, une fréquence de référence et une fréquence supplémentaire étant par exemple trois fois plus basse que la fréquence de référence. Un premier appareil de prise de vues TOF du système d'appareil de prise de vues TOF peut être piloté en synchronisation avec la fréquence de modulation trois fois inférieure tandis que l'autre appareil de prise de vues TOF du système d'appareil de prise de vues TOF peut être piloté en synchronisation avec la fréquence de référence. De cette façon, les deux appareils de prise de vues TOF du système d'appareil de prise de vues TOF peuvent acquérir dans le même temps des mesures crénelées de profondeur avec une plage de distance sans équivoque différente, ces mesures de profondeur peuvent en outre être combinées pour fournir une seule carte de profondeur décrénelée. Ce principe peut être répété si nécessaire, donnant donc une distance sans équivoque très élevée au système d’appareil de prise de vues TOF complet.
Dans un mode de réalisation dérivé comprenant au moins un appareil de prise de vues TOF mis en œuvre selon le principe TOF, la carte de profondeur décrénelée ainsi produite peut en outre être fusionnée avec d'autres mesures provenant d'au moins un autre appareil de prise de vues, ladite autre mesure étant au moins une d'une autre carte de profondeur de même définition produite à partir du principe TOF ou du principe de stéréovision, d’une carte en couleur de même définition, d’une carte de profondeur de définition plus élevée produite à partir du principe TOF ou du principe de stéréovision, d’une carte en couleur de définition plus élevée.
On notera qu'en utilisant une pluralité de fréquences, c'est-à-dire au moins deux, pour mettre en œuvre le principe de décrénelage sur des mesures de profondeur basées sur TOF, plus la seconde fréquence est élevée, plus la précision de cette seconde mesure de profondeur est élevée. À ce propos, si un système d'appareil de prise de vues TOF comprenant au moins un appareil de prise de vues TOF est mis en œuvre selon le principe de décrénelage, et de préférence si deux appareils de prise de vues TOF sont mis en œuvre chacun avec au moins une fréquence, alors la fusion des mesures de profondeur peut conduire à une carte de profondeur plus précise. Si de plus au moins un des appareils de prise de vues mis en œuvre avec un autre paramètre de pilotage est de définition plus élevée, l'image résultante comprendra une définition plus élevée, une précision plus élevée, et des mesures de profondeur décrénelées. Même plus de préférence, le système d'appareil de prise de vues peut comprendre en outre des moyens pour capturer des informations de couleur, ces moyens étant caractérisés en ce qu’au moins un des appareils de prise de vues capture des informations de couleur. Même plus de préférence, au moins un des appareils de prise de vues du système d'appareil de prise de vues TOF est un appareil de prise de vues RGBZ tel qu’un capteur RGBZ.
Dans un mode de réalisation supplémentaire, différents mécanismes de robustesse de lumière d'arrière-plan peuvent être mis en œuvre sur les appareils de prise de vues. Tout à fait souvent, en améliorant la robustesse de lumière d'arrière-plan, le bruit ou l'intervalle de pixel peuvent être augmentés. L'utilisation de mécanismes de robustesse de lumière d'arrière-plan sur des régions différentes 107, c'est-à-dire sur des appareils de prise de vues, peut conférer des avantages forts. Dans un mode de réalisation particulier, au moins un des appareils de prise de vues du système peut être piloté par un mécanisme de robustesse de lumière d'arrière-plan. Cela peut avoir des avantages pour des applications où seulement la définition d'une seule région 107 est nécessaire en cas de lumière d'arrière-plan élevée.
Dans un mode de réalisation supplémentaire, au moins deux appareils de prise de vues du système d'appareil de prise de vues TOF peuvent être pilotés avec deux temps d'intégration différents. En effet, un temps d'intégration très court donne une robustesse de mouvement élevée, mais également des écart-types élevés sur les valeurs de profondeur, mentionnés dans ce document en tant que bruit de profondeur. Par conséquent, une région 107 peut être optimisée pour un temps d'intégration court tandis qu'une autre région 107 peut être optimisée pour une performance de bruit. En fusionnant les images et plus particulièrement leurs informations associées, les avantages des deux configurations peuvent être obtenus et utilisés. De manière avantageuse, ce mode de réalisation permet à chaque pixel fusionné d'obtenir des informations fiables concernant des objets se déplaçant rapidement grâce à l'appareil de prise de vues TOF piloté par un temps d'intégration court, tout en héritant des faibles informations de bruit provenant des autres appareils de prise de vues pilotés par des temps d'intégration plus longs. Dans un mode de réalisation dérivé, les autres appareils de prise de vues peuvent comprendre au moins un autre appareil de prise de vues TOF piloté avec un temps d'intégration plus long. Dans un autre mode de réalisation, les autres appareils de prise de vues peuvent comprendre au moins un autre appareil de prise de vues TOF piloté avec un temps d'intégration plus long et au moins un appareil de prise de vues en couleur.
Afin de continuer avec une fusion fiable des différentes informations, le processus doit être mis en œuvre, dans les circuits, ou dans une puce compagnon, ou sur une unité de traitement séparée de façon à transformer les différents ensembles d'informations associés chacun à un système de coordonnées dans un ensemble unique de données ayant un système de coordonnées prédéterminé commun unique. De préférence, le système de coordonnées prédéterminé commun sera le plan x-y (par exemple le plan défini par les axes horizontal et vertical) d'un des appareils de prise de vues, par exemple le plan x-y de l'appareil de prise de vues à haute définition. Les données provenant de l'autre appareil de prise de vues, par exemple les images en couleur, les mesures de carte de profondeur ou l'image en demi-teintes d’une carte de confiance TQF, sont projetées en utilisant l'enregistrement dans une image associée au système de coordonnées prédéterminé commun. En particulier, l'enregistrement d'image implique ici l'enregistrement dans l'espace d'une image cible, par exemple une carte de profondeur basse définition hautement précise obtenue d’une mesure TOF pour s’aligner sur une image de référence, par exemple une carte de profondeur haute définition basse précision obtenue par stéréovision et comprenant des informations de couleur. Plusieurs procédés d'enregistrement d'images peuvent être utilisés tels que des procédés basés sur l'intensité ou basés sur la particularité. Les procédés basés sur l'intensité peuvent comparer en particulier des motifs d'intensité dans des images via une métrique de corrélation, tandis que des procédés basés sur la particularité essayent surtout de trouver une concordance ou une correspondance entre des particularités d'image comme des points, des lignes, des contours et la profondeur. Les procédés basés sur l'intensité visent à enregistrer des images entières ou des images secondaires. Si les images secondaires sont enregistrées, les centres d’images secondaires correspondantes sont traités comme des points de particularité correspondants. Des procédés basés sur la particularité établissent une correspondance entre un nombre prédéterminé de points distinctifs dans les images. En connaissant la correspondance entre un certain nombre de points dans les images, une transformation est alors déterminée pour mettre en correspondance l'image cible avec les images de référence, établissant de ce fait une correspondance point à point entre les images de référence et cible. Ce dernier processus d'enregistrement peut inclure en outre une technique d'interpolation comme les images peuvent avoir une définition différente.
Dans un mode de réalisation préféré particulier de l'invention utilisant l'enregistrement d'image quand de multiples appareils de prise de vues TOF sont utilisés, ou au moins lorsque le système d'appareil de prise de vues TOF comprend au moins un appareil de prise de vues fournissant des informations de profondeur, les informations de profondeur peuvent être utilisées pour faciliter la fusion des images. La profondeur est une caractéristique unique d'une scène, en premier ordre indépendante de l'angle de point de vue et/ou des conditions de lumière. Far conséquent, c'est une métrique très stable pour effectuer n'importe quel alignement, n'importe quelle reconnaissance de formes ou tout autre moyen nécessaire dans la fusion des images.
Dans un mode de réalisation préféré particulier, au moins un des appareils de prise de vues pourrait être étalonné plus à fond, permettant aux autres appareils de prise de vues d'hériter de cet étalonnage. Dans l'imagerie à Temps-De-Vol, des étapes d'étalonnage minutieuses sont exigées, comme l'étalonnage de distance absolue, la température, des déformations, des résolutions à trajets multiples, et plus. Étalonner seulement un appareil de prise de vues économise le temps en raison des pixels moindres et des mathématiques supérieures qui peuvent être appliquées pour calculer l'étalonnage, les autres appareils de prise de vues peuvent alors profiter et hériter du point de vue étalonné pour corriger des erreurs de distance et/ou des non-linéarités. Cet étalonnage peut être effectué au moment de la production, mais il peut également être exécuté au moment de l'exploitation, par exemple dans un appareil du système d'appareils de prise de vues TOF précédemment mentionné comprenant quatre appareils de prise de vues TOF, dimensionnant au moins un des quatre points de vue / appareils de prise de vues pour être un imageur beaucoup plus stable, de sorte qu’il est utilisé comme référence pour l'étalonnage.
Selon un mode de réalisation supplémentaire de l'invention, le système d'appareil de prise de vues TOF peut en outre comprendre un moyen pour filtrer la lumière dans la plage visible et/ou dans l'Infrarouge. Des filtres colorés peuvent être mis en œuvre sur le dessus des appareils de prise de vues, comme le montre la figure 6. Dans cette figure, les zones R, G, B et IR sont respectivement pour des filtres de passage pour le Rouge, Vert, Bleu et Infrarouge. Cela permet de combiner les données tant RGB que de profondeur dans une seule image, permettant une image fusionnée ou améliorée combinant toutes ces propriétés. Cependant, un système d'appareil de prise de vues TOF comprenant au moins un appareil de prise de vues TOF et au moins un autre appareil de prise de vues piloté avec un paramètre différent peut être caractérisé en ce qu’au moins un des appareils de prise de vues est un appareil de prise de vues RGBZ. Un appareil de prise de vues RGBZ est un appareil de prise de vues comprenant plusieurs pixels, caractérisé en ce que les zones de détection desdits pixels collectent au moins une couleur parmi le Rouge, le Vert, le Bleu, de préférence les trois couleurs RGB, et capturent de plus l'éclairage Infrarouge à partir duquel une information de profondeur (Z) peut être traitée en ce qui concerne, par exemple, le principe TOF.
Dans un autre mode de réalisation supplémentaire, les pixels d'au moins un appareil de prise de vues du système d'appareil de prise de vues TOF peuvent en outre comprendre des films à nanocristaux. Les nanocristaux sont des nanoparticules de matières semi-conductrices, avec une plage de diamètres de 2 à 10 nm. Les nanocristaux présentent des propriétés optiques et électriques uniques en raison de leur petite taille ; c'est-à-dire que leurs propriétés sont de nature différente par rapport à celle de la matière en vrac correspondante. La propriété évidente principale est l'émission de photons sous excitation (fluorescence), qui peut être visible à l'œil humain comme une lumière ou invisible en émettant dans le domaine Infrarouge. La longueur d'onde des photons émis dépend non seulement de la matière dont le nanocristal est fait, mais également de la taille du nanocristal. La capacité à maîtriser précisément la taille d'un nanocristal permet au fabricant de déterminer la longueur d'onde de l'émission, c'est-à-dire de déterminer la longueur d'onde de sortie de lumière. Les nanocristaux peuvent par conséquent être « accordés » pendant la production pour émettre n'importe quelle longueur d'onde souhaitée. La capacité à maîtriser, ou « accorder » l'émission provenant du nanocristal en changeant sa taille de cœur est appelée « l'effet de quantification de taille ». Plus le cristal est petit, plus il est proche de l'extrémité bleue du spectre, et plus le cristal est grand, plus il est proche de l'extrémité rouge. Les nanocristaux peuvent même être accordés au-delà de la lumière visible, dans l'infrarouge ou dans l'ultraviolet, en utilisant certaines matières spécifiques.
Utilisés comme des filtres colorés, les films nà nanocristaux peuvent être conçus pour réémettre une longueur d'onde dans la plage pour laquelle le capteur est plus sensible. De préférence, la longueur d'onde d'émission des films de nanocristaux peut être proche du maximum de sensibilité du capteur permettant une mesure de bruit inférieure.
Traduction de dessins:

Claims (14)

  1. REVENDICATIONS
    1. Système d'appareil de prise de vues TOF (3) comprenant plusieurs appareils de prise de vues (1, 107), au moins un des appareils de prise de vues étant un appareil de prise de vues TOF, dans lequel les appareils de prise de vues sont assemblés sur un support commun (100) et prennent l'image de la même scène (15) et dans lequel au moins deux appareils de prise de vues sont pilotés par des paramètres de pilotage différents.
  2. 2. Système d'appareil de prise de vues TOF (3) selon la revendication 1, comprenant en outre un groupement de lentilles (101 à 104), chaque lentille du groupement étant associé à chacun des appareils de prise de vues.
  3. 3. Système d'appareil de prise de vues TOF (3) selon la revendication 1 ou 2, dans lequel les paramètres de pilotage comprennent des paramètres pour mettre en œuvre une technique stéréoscopique.
  4. 4. Système d'appareil de prise de vues TOF (3) selon l'une quelconque des revendications 1 à 3, dans lequel les paramètres de pilotage comprennent des paramètres pour mettre en œuvre un algorithme de décrénelage.
  5. 5. Système d'appareil de prise de vues TOF (3) selon l'une quelconque des revendications 1 à 4, dans lequel les paramètres de pilotage comprennent des paramètres pour mettre en œuvre un mécanisme de robustesse de lumière d'arrière-plan.
  6. 6. Système d'appareil de prise de vues TOF (3) selon l’une quelconque des revendications 1 à 5, dans lequel au moins deux appareils de prise de vues prennent une image de la même scène pendant des temps d'intégration différents.
  7. 7. Système d'appareil de prise de vues TOF (3) selon l’une quelconque des revendications 1 à 6, comprenant en outre des moyens d’enregistrement d'image pour enregistrer ensemble des images fournies par les appareils de prise de vues.
  8. 8. Système d'appareil de prise de vues TOF (3) selon l’une quelconque des revendications 1 à 7, comprenant en outre un moyen pour étalonner au moins un appareil de prise de vues au moment de l'exécution.
  9. 9. Système d'appareil de prise de vues TOF (3) selon la revendication 8, dans lequel au moins un des appareils de prise de vues étalonnés est utilisé comme référence pour étalonner les autres appareils de prise de vues.
  10. 10. Système d'appareil de prise de vues TOF (3) selon l’une quelconque des revendications 1 à 9, dans lequel les appareils de prise de vues prenant une image de la scène fournissent au moins une d’une information de couleur, d'éclairage ou de profondeur.
  11. 11. Système d'appareil de prise de vues TOF (3) selon l’une quelconque des revendications 1 à 10, comprenant en outre un moyen pour fusionner ou combiner ensemble les informations fournies par les appareils de prise de vues sous la forme d'une image améliorée, ladite image améliorée étant caractérisée par le fait qu'elle comprend au moins l'une d'une définition plus élevée ou d’une précision de mesure de profondeur plus élevée.
  12. 12. Système d'appareil de prise de vues TOF (3) selon l’une quelconque des revendications 1 à 11, comprenant en outre un moyen pour filtrer la lumière dans la plage visible et/ou dans la plage Infrarouge.
  13. 13. Système d'appareil de prise de vues TOF (3) selon l’une quelconque des revendications 1 à 12, dans lequel les appareils de prise de vues sont assemblés sur le même substrat.
  14. 14. Système d'appareil de prise de vues TOF (3) selon la revendication 13, dans lequel le substrat est à base de silicium.
BE2014/0089A 2013-12-24 2014-02-10 Systeme d'appareil de prise de vues a temps-de-vol BE1022488B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP131995649 2013-12-24
EP13199564.9A EP2890125B1 (fr) 2013-12-24 2013-12-24 Système de caméra à capture de la durée de déplacement de la lumière

Publications (1)

Publication Number Publication Date
BE1022488B1 true BE1022488B1 (fr) 2016-05-04

Family

ID=49918467

Family Applications (1)

Application Number Title Priority Date Filing Date
BE2014/0089A BE1022488B1 (fr) 2013-12-24 2014-02-10 Systeme d'appareil de prise de vues a temps-de-vol

Country Status (7)

Country Link
US (5) US10397552B2 (fr)
EP (2) EP2890125B1 (fr)
JP (1) JP6480441B2 (fr)
KR (1) KR20160045670A (fr)
CN (1) CN105432080B (fr)
BE (1) BE1022488B1 (fr)
WO (1) WO2015097284A1 (fr)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
EP2890125B1 (fr) 2013-12-24 2021-10-13 Sony Depthsensing Solutions Système de caméra à capture de la durée de déplacement de la lumière
KR101582726B1 (ko) * 2013-12-27 2016-01-06 재단법인대구경북과학기술원 스테레오 타입의 거리 인식 장치 및 방법
US9581696B2 (en) * 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
JP6701199B2 (ja) * 2015-07-31 2020-05-27 パナソニック株式会社 測距撮像装置
US11002856B2 (en) 2015-08-07 2021-05-11 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
US10021284B2 (en) 2015-08-27 2018-07-10 Samsung Electronics Co., Ltd. Epipolar plane single-pulse indirect TOF imaging for automotives
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
CN106612387B (zh) 2015-10-15 2019-05-21 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
US10151838B2 (en) 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
CN108291961B (zh) * 2015-12-08 2022-06-28 松下知识产权经营株式会社 固体摄像装置、距离测定装置及距离测定方法
US10229502B2 (en) 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
JP6837498B2 (ja) * 2016-06-03 2021-03-03 ウトゥク・ビュユクシャヒンＵｔｋｕ ＢＵＹＵＫＳＡＨＩＮ ３次元画像をキャプチャおよび生成するためのシステムおよび方法
US11102467B2 (en) 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
DE102017204073A1 (de) * 2017-03-13 2018-09-13 Osram Gmbh Tof-kamera, kraftfahrzeug, verfahren zum herstellen einer tof-kamera und verfahren zum ermitteln eines abstands zu einem objekt
WO2019039733A1 (fr) * 2017-08-21 2019-02-28 (주)유진로봇 Objet mobile et capteur combiné utilisant une caméra et un lidar
US11579298B2 (en) 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
ES2945868T3 (es) * 2017-11-13 2023-07-10 Dennis Eagle Ltd Camión de basura
US11327162B1 (en) * 2017-11-20 2022-05-10 Waymo Llc Methods of calibrating or validating sensors by using a plurality of fiducials
DE102017128369A1 (de) * 2017-11-30 2019-06-06 Infineon Technologies Ag Vorrichtung und verfahren zum lokalisieren eines ersten bauelements, lokalisierungsvorrichtung und verfahren zur lokalisierung
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
WO2019219687A1 (fr) * 2018-05-14 2019-11-21 Ams International Ag Utilisation de techniques de temps de vol pour le traitement d'images stéréoscopiques
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
US11609313B2 (en) * 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
CN111352094B (zh) * 2018-08-22 2023-01-06 Oppo广东移动通信有限公司 飞行时间模组及其控制方法、控制器和电子装置
EP3844948B1 (fr) 2018-08-30 2023-11-01 Veo Robotics, Inc. Système de vision par ordinateur à détection de profondeur
WO2020045770A1 (fr) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Procédé et dispositif permettant d'obtenir des images en 3d
KR102606824B1 (ko) 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
US10876889B2 (en) 2019-02-12 2020-12-29 Viavi Solutions Inc. Sensor device and method of use
US11263995B2 (en) 2019-03-21 2022-03-01 Boe Technology Group Co., Ltd. Display device, electronic equipment, and method for driving display device
EP3930321A4 (fr) * 2019-03-25 2022-04-20 Huawei Technologies Co., Ltd. Procédé de flou à grande ouverture à base de caméra double + tof
US20220183589A1 (en) * 2019-03-28 2022-06-16 Rensselaer Polytechnic Institute Patient monitoring system
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
EP3855162A1 (fr) 2020-01-21 2021-07-28 Omya International AG Système d'imagerie lwir pour détecter une structure amorphe et/ou cristalline de sels de phosphate et/ou de sulfate sur la surface d'un substrat ou à l'intérieur d'un substrat et utilisation du système d'imagerie lwir
JP2021117036A (ja) * 2020-01-23 2021-08-10 株式会社日立エルジーデータストレージ 測距装置の測定値補正方法
US11743616B2 (en) 2020-04-27 2023-08-29 Semiconductor Components Industries, Llc Imaging system with time-of-flight sensing
TWI799749B (zh) * 2020-10-23 2023-04-21 大陸商光寶電子（廣州）有限公司 深度圖像的處理方法
CN112561874A (zh) * 2020-12-11 2021-03-26 杭州海康威视数字技术股份有限公司 一种遮挡物检测方法、装置及监控摄像机
EP4267942A1 (fr) 2020-12-23 2023-11-01 Omya International AG Procédé et appareil de détection d'une structure amorphe et/ou cristalline de sels phosphatés et/ou sulfatés à la surface ou à l'intérieur d'un substrat
KR102354158B1 (ko) 2021-01-14 2022-01-21 박천수 다중위상 상관벡터합성 거리측정방법 및 장치
US20220245890A1 (en) * 2021-01-29 2022-08-04 Kevin D. Fialko Three-dimensional modelling from photographs in series
US11941787B2 (en) * 2021-08-23 2024-03-26 Microsoft Technology Licensing, Llc Denoising depth data of low-signal pixels
US20230134806A1 (en) * 2021-10-29 2023-05-04 Microsoft Technology Licensing, Llc Denoising depth image data using neural networks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010139628A1 (fr) * 2009-06-04 2010-12-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositif et procédé de prise de vue d'une plante
US20120249744A1 (en) * 2011-04-04 2012-10-04 Primesense Ltd. Multi-Zone Imaging Sensor and Lens Array

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3175317B2 (ja) * 1992-05-07 2001-06-11 ソニー株式会社 距離測定装置
JP3631325B2 (ja) * 1996-06-19 2005-03-23 オリンパス株式会社 ３次元画像入力装置
KR100508277B1 (ko) 1997-12-23 2005-08-17 지멘스 악티엔게젤샤프트 3차원 거리 측정 이미지를 기록하기 위한 방법 및 장치
US6353673B1 (en) * 2000-04-27 2002-03-05 Physical Optics Corporation Real-time opto-electronic image processor
WO2002049366A1 (fr) * 2000-12-14 2002-06-20 3Dv Systems, Ltd. Camera 3d
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
KR100871564B1 (ko) * 2006-06-19 2008-12-02 삼성전기주식회사 카메라 모듈
JP4802891B2 (ja) 2006-06-27 2011-10-26 トヨタ自動車株式会社 距離測定システム及び距離測定方法
US7791715B1 (en) * 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
JP4452951B2 (ja) * 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
JP2008164367A (ja) * 2006-12-27 2008-07-17 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
JP2008286527A (ja) * 2007-05-15 2008-11-27 Panasonic Corp 複眼測距装置
JP2009047497A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
JP2009139995A (ja) * 2007-12-03 2009-06-25 National Institute Of Information & Communication Technology ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
US8203699B2 (en) * 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
CN101321302B (zh) 2008-07-08 2010-06-09 浙江大学 基于摄像机阵列的三维实时获取系统
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
CN102461186B (zh) * 2009-06-25 2015-09-23 皇家飞利浦电子股份有限公司 立体图像捕获方法、系统和摄像机
US8803967B2 (en) * 2009-07-31 2014-08-12 Mesa Imaging Ag Time of flight camera with rectangular field of illumination
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
KR20120056668A (ko) 2010-11-25 2012-06-04 한국전자통신연구원 3차원 정보 복원 장치 및 그 방법
EP2487504A1 (fr) * 2011-02-10 2012-08-15 Technische Universität München Procédé d'acquisition d'image à profondeur améliorée
EP2686701B1 (fr) * 2011-03-17 2023-03-08 Universitat Politècnica De Catalunya Système, procédé et programme informatique pour recevoir un faisceau de lumière
CN103477186B (zh) * 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
US9720089B2 (en) * 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US9329272B2 (en) * 2013-05-02 2016-05-03 Infineon Technologies Ag 3D camera and method of image processing 3D images
EP3008490B1 (fr) 2013-06-13 2019-10-16 Koninklijke Philips N.V. Détecteur de vérification et de guidage d'un traitement de radiothérapie
US9609859B2 (en) * 2013-09-13 2017-04-04 Palo Alto Research Center Incorporated Unwanted plant removal system having a stabilization system
EP2890125B1 (fr) 2013-12-24 2021-10-13 Sony Depthsensing Solutions Système de caméra à capture de la durée de déplacement de la lumière
KR102251483B1 (ko) * 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010139628A1 (fr) * 2009-06-04 2010-12-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositif et procédé de prise de vue d'une plante
US20120249744A1 (en) * 2011-04-04 2012-10-04 Primesense Ltd. Multi-Zone Imaging Sensor and Lens Array

Also Published As

Publication number Publication date
EP2890125A1 (fr) 2015-07-01
US20200007850A1 (en) 2020-01-02
US11172186B2 (en) 2021-11-09
US20220070436A1 (en) 2022-03-03
JP6480441B2 (ja) 2019-03-13
CN105432080B (zh) 2019-07-26
US10397552B2 (en) 2019-08-27
JP2016529491A (ja) 2016-09-23
WO2015097284A1 (fr) 2015-07-02
EP4016981A3 (fr) 2022-09-21
CN105432080A (zh) 2016-03-23
KR20160045670A (ko) 2016-04-27
EP2890125B1 (fr) 2021-10-13
US20200236342A1 (en) 2020-07-23
EP4016981A2 (fr) 2022-06-22
US20240146895A1 (en) 2024-05-02
US11863734B2 (en) 2024-01-02
US10638118B2 (en) 2020-04-28
US20160295193A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
BE1022488B1 (fr) Systeme d'appareil de prise de vues a temps-de-vol
KR102456875B1 (ko) 심도 촬상 장치, 방법 및 응용
JP6260006B2 (ja) 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
BE1022490B1 (fr) Procede de pilotage d'un systeme a temps-de-vol.
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
RU2535640C2 (ru) Формирование многоспектральных изображений
CA2592293C (fr) Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
JP2022066564A (ja) 複数のｆ値レンズのための方法およびシステム
US20130088620A1 (en) Method of controlling a system including an image sensor and a light source
JP2002369049A (ja) 画像検出装置と絞り装置
US10055881B2 (en) Video imaging to assess specularity
FR2969819A1 (fr) Capteur d'image tridimensionnel
EP2795575B1 (fr) Capteur de vision tridimensionnelle integre
JP2020515811A (ja) 車両の周囲を特徴付けるためのシステム
Baek et al. Lensless polarization camera for single-shot full-Stokes imaging
CN108616698B (zh) 成像装置
WO2017120640A1 (fr) Capteur d'image
Wang High resolution 2D imaging and 3D scanning with line sensors
FR2966257A1 (fr) Procede et dispositif de construction d'une image en relief a partir d'images en deux dimensions
WO2020104509A1 (fr) Appareil et procédé pour observer une scène comportant une cible
WO2017149248A1 (fr) Appareil de prise de vue stereoscopique
Khaleghi et al. High resolution, low noise and full color single pixel imaging camera using cyclic patterns

Legal Events

Date Code Title Description
MM Lapsed because of non-payment of the annual fee

Effective date: 20230228