FR3052287A1 - Construction d'une image tridimensionnelle - Google Patents
Construction d'une image tridimensionnelle Download PDFInfo
- Publication number
- FR3052287A1 FR3052287A1 FR1654981A FR1654981A FR3052287A1 FR 3052287 A1 FR3052287 A1 FR 3052287A1 FR 1654981 A FR1654981 A FR 1654981A FR 1654981 A FR1654981 A FR 1654981A FR 3052287 A1 FR3052287 A1 FR 3052287A1
- Authority
- FR
- France
- Prior art keywords
- image
- points
- coordinates
- projected
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
La présente invention concerne un système informatique (100) de construction d'une image tridimensionnelle comprenant un appareil optique (10, 20) comportant : - un laser (20) configuré pour projeter dans une première direction déterminée (dl) une image cohérente formant un nuage de points (p1, p2, p3) dont les coordonnées 2D (x1, y1 ; x2, y2 ; x3, y3) dans le repère laser (R) sont connues, - une caméra (10) configurée pour acquérir une première image (I1) comprenant au moins une partie du nuage de points projetés (p1, p2, p3), - un module informatique (30) comprenant : a) des moyens de traitement d'images (31) pour détecter dans ladite première image (I1) les points projetés (p1, p2, p3), b) un premier calculateur (32) pour déterminer les coordonnées 2D (x1', y1'; x2', y2'; x3', y3') des points projetés (p1, p2, p3) dans le repère image (R'), c) un circuit comparateur (33) pour comparer les coordonnées 2D de chacun des points projetées dans le repère image (R') et dans le repère laser (R), d) un deuxième calculateur (34) pour calculer les coordonnées 3D (x1'', y1''; x2'', y2''; x3'', y3'') des points projetés (p1, p2, p3) dans le repère monde (R'') en fonction de ladite comparaison, et e) un processeur (35) pour construire une image tridimensionnelle (I1_3D) en fonction desdites coordonnées 3D calculés.
Description
CONSTRUCTION D’UNE IMAGE TRIDIMENSIONNELLE Domaine technique et Art antérieur
La présente invention concerne le domaine de l’image et plus particulièrement le domaine du traitement informatique d’images. L’objet de la présente invention est de fournir une technique de traitement d’images pour construire une image dite tridimensionnelle ; c’est-à-dire une image dont au moins une partie des pixels comporte une information relative aux coordonnées spatiales, ou coordonnées 3D, des objets de la scène dans un espace de travail.
Cet espace de travail est appelé ici repère monde.
La présente invention trouve de nombreuses applications avantageuses dans le domaine de l’imagerie tel que par exemple la photographie 360° ou la vidéo.
La présente invention trouve plus particulièrement des applications avantageuses notamment dans le domaine de l’immobilier pour les visites virtuelles d’un logement, dans le domaine de l’hôtellerie ou du tourisme pour les visites virtuelles d’un hôtel ou d’un site touristique, ou encore dans le domaine de l’architecture pour la décoration d’intérieur.
La présente invention trouvera naturellement d’autres applications avantageuses telles que par exemple dans les jeux vidéo en permettant la réalité virtuelle augmentée.
Prenons l’exemple de la photographie 360° qui est un domaine technique en pleine évolution.
Il est connu d'acquérir un champ de vision horizontal de 360° par juxtaposition puis recollement numérique d'images obtenues à l'aide de plusieurs optiques.
Les techniques d’assemblage pour la photographie 360° consistent principalement à recoller entre elles des images prises avec différentes optiques.
On connaît de très nombreux logiciels d’assemblage ou « stitching» tels que par exemple « AUTOPANO », « PANORAMA TOOLS », « HUGIN » ou encore « AUTODESK STITCHER» dont les fonctions consistent à acquérir et assembler entre elles différentes photographies prises à partir d’un seul point de vue dans des directions différentes.
De préférence, ces photographies sont prises à l’aide d’une caméra comprenant au moins une optique grand angle (qui présente un champ de vision large).
Ces différents logiciels permettent ensuite un assemblage de ces photographies par un traitement d’images pour détecter les formes et les objets communs dans les zones de recouvrement des photographies.
Les zones de recouvrement entre deux photographies sont les zones d’une photographie qui comprenne une même scène qu’une autre image ; en d’autres termes, ce sont les scènes communes aux deux images.
On comprendra ici que l’assemblage consiste à fusionner ces zones de couvertures pour obtenir une seule image à partir des deux images de base. L’assemblage de plusieurs images entre elles permet alors l’obtention d’un panorama photographique avec un champ de vision horizontale de 360° et un champ de vision verticale de 180°. On parle également d’image à 360°.
Les Demandeurs observent ici que les techniques d’assemblage connues jusqu’à présent nécessitent beaucoup de ressources informatiques. L’assemblage de ces images se compose de plusieurs phases dont : - une phase d’alignement des images, - une phase de déformation des images (également connue sous le terme anglais « warping »), et - une phase de mélange (également connu sous le terme anglais « blending »).
La phase d’alignement consiste à déterminer les transformations 2D relatives des images entre elles.
La phase de déformation consiste à appliquer aux images les transformations déterminées lors de la phase d’alignement.
Enfin, la phase de mélange, qui est la plus complexe, cherche à limiter les artéfacts visuels. Ces artéfacts se présentent principalement sous la forme de variations de couleurs, de doublons dans les images, de contours artificiels ou encore d’objets découpés. Ils sont généralement causés par des images qui n’ont pas été prises en même temps ou encore par un phénomène de parallaxe résiduelle due au fait que les centres optiques de chaque prise de vue ne sont pas exactement à la même position.
Pour procéder à l’assemblage, il est donc nécessaire dans ces phases de détecter dans les différentes images acquises des formes communes ou des repères communs dans les zones de recouvrement entre les images.
Les algorithmes de traitement d’images nécessaires pour cette détection peuvent être lourds à mettre en œuvre et nécessitent beaucoup de ressources informatiques.
Les Demandeurs soumettent par ailleurs que, lors d’une capture d’images dans une pièce sans objet composée de murs uniformes (même couleur par exemple), les algorithmes de traitement d’images ne sont pas capables de détecter de repère dans la pièce. L’assemblage des images par recollement est dans ce cas très difficile, voire impossible.
Par ailleurs, avec les techniques existantes, les distances entre les objets ne sont pas connues. La création de ces images 360° ne permet pas une navigation précise dans l’image par exemple pour les visites virtuelles ou la simulation de décor d’intérieur.
Pour définir un repère 3D dans l’image, on connaît toutefois des techniques de photogrammétrie.
Ces techniques consistent à effectuer des mesures dans une scène en utilisant la parallaxe obtenue entre des images acquises selon des points de vue différents.
Ces techniques, reposant sur le principe de la vision stéréoscopique de l’œil humain, permettent de reconstituer le relief de la scène à partir de cette différence de points de vue.
Ces techniques de photogrammétrie ne sont toutefois pas adaptées à la photographie 360° ; elles requièrent par ailleurs beaucoup de ressources informatiques et sont complexes et fastidieuses à mettre en œuvre : elles exploitent des calculs de corrélation entre des images acquises et impliquent une modélisation rigoureuse de la géométrie des images et de leur acquisition afin de reconstituer une copie 3D exacte de la réalité.
Les Demandeurs soumettent par ailleurs que les techniques de photogrammétrie dites stéréoscopiques sont sources d’erreurs, notamment lorsqu’il n’est pas possible d’obtenir des repères physiques dans la scène.
Les Demandeurs considèrent donc que les différentes solutions de l’état de la technique ne sont pas satisfaisantes.
Objet et résumé de la présente invention
La présente invention vise à améliorer la situation actuelle.
La présente invention vise plus particulièrement à remédier aux différents inconvénients mentionnés ci-dessus en proposant une technique simple à mettre en œuvre, nécessitant une seule prise de vue avec du matériel classique et permettant la construction d’une image tridimensionnelle dont les coordonnées 3D des pixels de l’image sont connues pour une reconstitution du relief des objets de la scène. A cet effet, la présente invention concerne selon un premier aspect un procédé de construction d’une image tridimensionnelle à l’aide d’un appareil optique comprenant une caméra et un laser configuré pour projeter une image cohérente.
De préférence, cette image cohérente est constituée d’un ensemble de points qui présente une structure particulière. On parlera dans la suite de la description de nuage de point. Ce nuage de point peut être un ensemble de points alignés dans les deux directions, une structure optique bien définie comme une grille, des formes circulaires ou plus généralement une structure non aléatoire et reproductible.
Par caméra, on entend dans toute la présente description qui suit tout dispositif optique du type capteur d’images permettant l’acquisition d’au moins une image.
Par image cohérente, on entend dans toute la présente description qui suit une image dont chaque point est défini par rapport aux autres points de l’image avec une résolution inférieure à celle de l’image captée par la caméra.
Par laser, on entend dans toute la présente description qui suit une source optique de cohérence suffisante pour projeter une image cohérente sur l’ensemble de la scène à filmer ou photographier. Cette source optique qui sera appelée par la suite et dans les revendications « laser » peut être un laser, une LED ou toute source optique présentant une cohérence optique suffisante pour réaliser une image optique cohérente sur la scène de prise de vue.
Selon l’invention, les coordonnées 2D de chaque point du nuage de points dans le repère associé au laser sont connues.
On notera ici par la suite que ce repère associé au laser est appelé repère laser.
Avantageusement, le procédé selon la présente invention comprend une phase d’acquisition.
Cette phase présente plusieurs étapes dont : - une étape de projection au cours de laquelle le laser projette dans le repère monde un nuage de points dans une première direction déterminée, et - une première étape de capture au cours de laquelle une première image est acquise à l’aide de la caméra.
Avantageusement, la caméra est ici orientée dans la première direction de manière à ce que la première image comprenne au moins une partie du nuage de points projetés.
Avantageusement, le procédé selon la présente invention comprend également une phase de traitement mise en œuvre par des moyens informatiques.
Cette phase présente elle aussi plusieurs étapes dont : - une étape de détection au cours de laquelle la première image est traitée par un algorithme de traitement d’images configuré pour détecter dans la première image les points projetés, - une étape de détermination au cours de laquelle les coordonnées 2D des points projetés dans le repère associé à l’image capturée par la caméra (ce repère est appelé repère image) sont déterminées, - une étape de calcul au cours de laquelle on calcule les coordonnées 3D des points projetés dans le repère monde par comparaison des coordonnées 2D de chacun des points projetées dans le repère image et des coordonnées 2D de chacun des points du nuage de points dans le repère laser, et - une étape de construction de l’image tridimensionnelle en fonction des coordonnées 3D des points projetés dans le repère monde.
Grâce à cette succession d’étapes techniques, caractéristique de la présente invention, on dispose d’un procédé robuste et fiable permettant de déterminer avec précision les coordonnées 3D des points projetés dans le repère monde, ce qui permet la construction en une seule prise de vue d’une image tridimensionnelle intégrant ces coordonnées 3D.
Dans un premier mode de réalisation avantageux, le laser projette une image cohérente dont la longueur d’ondes appartient au spectre du non-visible pour l’œil humain.
Ce spectre du non-visible se situe dans une plage de longueur d’onde sensiblement inférieure à 380 nanomètres ou sensiblement supérieure à 780 nanomètres.
Dans ce mode, on comprend ici que le nuage de points projeté ne sera pas perceptible à l’œil nu sur l’image.
On pourra alors prévoir de préférence que, lors de l’étape de construction de l’image tridimensionnelle, on affecte aux pixels correspondants de la première image les coordonnées 3D de chacun des points projetés dans le repère monde. L’homme du métier comprendra ici que la caméra devra être configurée pour capturer dans le spectre du non-visible les points projetés (par exemple une caméra du type infra-rouge ou une caméra du type ultra-violet).
Dans un deuxième mode de réalisation avantageux, la phase d’acquisition comporte une deuxième étape de capture, distincte de la première étape de capture, au cours de laquelle : - le laser est désactivé, et - une première image de référence est acquise à l’aide de ladite caméra orientée dans ladite première direction déterminée. L’homme du métier comprendra ici que la première étape de capture et la deuxième étape de capture sont successives : la première étape de capture peut être réalisée avant ou après la deuxième étape de capture.
On dispose ainsi d’une image représentant la même scène que la première image, mais dans laquelle on ne retrouve pas le nuage de points projetés.
On pourra donc utiliser cette image comme référence pour la construction de l’image tridimensionnelle.
Dans ce mode, on peut alors prévoir que, lors l’étape de construction de l’image tridimensionnelle, on affecte aux pixels correspondants de la première image de référence les coordonnées 3D de chacun des points projetés dans le repère monde.
Optionnellement, le procédé selon la présente invention comporte une phase de calibration, préalable à la phase d’acquisition.
Cette phase comprend de préférence une étape de calibration au cours de laquelle on règle le nombre de points du nuage de points en fonction de la résolution de la caméra.
Le réglage du nombre de points est alors adaptatif. Il dépend du nombre de pixels de l’image acquise par la caméra.
Avantageusement, lors de l’étape de calibration, le nombre de nuage de points est sensiblement égal au nombre de pixels de l’image acquise par la caméra.
De préférence, on pourra utiliser un télémètre pour déterminer la résolution de la caméra en fonction de la profondeur de la pièce.
Cette phase de calibration peut également comprendre une étape d’étalonnage pour déterminer la pose de l’appareil optique. L’homme du métier comprendra ici que cette pose pourra être prise en considération pour déterminer avec plus de précision les coordonnées 3D des points projetés dans le repère monde.
Avantageusement, l’image projetée par le laser se propage dans le repère monde selon une fonction de propagation déterminée.
De préférence, on utilise cette fonction pour déterminer l’information de profondeur.
Ainsi, on peut prévoir que, lors de l’étape de calcul, la fonction de propagation est prise en considération dans le calcul des coordonnées 3D des points projetés dans le repère monde.
Cette fonction de propagation se présente généralement sous la forme d’une transformation homographique (par exemple une homothétie).
Avantageusement, le nuage de points dans le repère laser forme un motif déterminé.
De préférence, ce motif comporte une pluralité de cercles concentriques.
Cette forme présente de très bons résultats. L’homme du métier comprendra néanmoins que d’autres formes pourront être envisagées (rectangles, carrés, ellipses, etc.).
Alternativement et comme indiqué précédemment, on peut également prévoir une variante dans laquelle il y a autant de points qu’il y a de pixels dans l’image.
Dans une variante de réalisation, on réitère les étapes de la phase d’acquisition dans une deuxième direction déterminée de manière à construire une deuxième image tridimensionnelle présentant les coordonnées 3D de chacun des points projetés dans le repère monde.
Cette variante est avantageuse pour réaliser une image panoramique, voire une image 360°.
De préférence, on peut procéder à plusieurs itérations pour avoir une pluralité d’images tridimensionnelles. L’homme du métier comprendra ici que le nombre d’itérations sera fonction notamment du champ de vision de la caméra.
Dans cette variante, la phase de traitement comporte une étape de recollement comprenant une identification dans les première et deuxième images tridimensionnelles des pixels, appelés pixels communs, présentant les mêmes coordonnées 3D.
De préférence, l’étape de recollement comprend un assemblage des première et deuxième images tridimensionnelles en fonction des pixels communs.
Contrairement aux techniques classiques de recollement, ce ne sont plus les formes ou les couleurs qu’on recherche dans deux images prises selon des prises de vue différentes, mais ce sont ici les coordonnées communes dans le repère monde qu’on détecte pour procéder au recollement.
De préférence, la deuxième direction est sensiblement perpendiculaire à la première direction. On peut également prévoir une direction faisant un angle de 120° avec la première direction. L’homme du métier comprendra ici que l’angle formé entre la première et la deuxième direction est fonction des propriétés optiques de la caméra, et notamment de son champ de vision.
De préférence, le procédé prévoit l’utilisation d’une caméra comprenant une optique grand angle dont le champ de vision est supérieur ou égal à 120°.
Optionnellement, l’optique de la caméra est du type « fisheye ». L’homme du métier comprendra ici que d’autres types d’optiques grand angle pourront être utilisés dans le cadre de la présente invention.
Avantageusement, la phase d’acquisition comprend une étape de multiplexage, préalable à la projection du nuage de points,
Lors de cette étape, la longueur d’ondes de l’image projetée est multiplexée.
Le laser projette alors une source lumineuse avec par exemple deux couleurs distincts.
On procède alors à une technique différentielle pour détecter les points, ce qui en facilite la précision et limite les erreurs notamment lors de la détection des points projetés dans l’image. L’objet de la présente invention concerne selon un deuxième aspect une utilisation du procédé tel que celui décrit ci-dessus pour la construction d’une image à 360°.
Corrélativement, l’objet de la présente invention concerne selon un troisième aspect une utilisation du procédé tel que celui décrit ci-dessus pour la construction d’une vidéo à 360°. L’objet de la présente invention concerne selon un quatrième aspect un programme d’ordinateur qui comporte des instructions adaptées pour l’exécution des étapes du procédé tel que décrit ci-dessus, ceci notamment lorsque ledit programme d’ordinateur est exécuté par au moins un processeur.
Un tel programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme d’un code source, d’un code objet, ou d’un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
De même, l’objet de la présente invention concerne selon un cinquième aspect un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé tel que décrit ci-dessus. D’une part, le support d’enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire ROM, par exemple un CD-ROM ou une mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique ou un disque dur. D'autre part, ce support d’enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d’ordinateur selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d’ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question. L’objet de la présente invention concerne enfin selon un sixième aspect un système informatique de construction d’une image tridimensionnelle comprenant un appareil optique comprenant une caméra et un laser configuré pour projeter une image cohérente formant un nuage de points dont les coordonnées 2D dans le repère laser sont connues.
Selon l’invention, le laser est configuré pour projeter dans le repère monde le nuage de points dans une première direction déterminée, et la caméra, orientée elle aussi dans la première direction, est configurée pour acquérir une première image comprenant au moins une partie du nuage de points projetés.
Selon l’invention, le système comprend des moyens informatiques configurés pour la mise en œuvre des étapes du procédé décrit ci-dessus.
Plus particulièrement, le système selon la présente invention comporte un module informatique comprenant : - des moyens de traitement d’images mettant en œuvre un algorithme de traitement d’images configuré pour détecter dans la première image les points projetés, - un premier calculateur configuré pour déterminer les coordonnées 2D des points projetés dans le repère image, - un circuit comparateur configuré pour comparer les coordonnées 2D de chacun des points projetées dans le repère image et les coordonnées 2D de chacun des points du nuage de points dans le repère laser, - un deuxième calculateur configuré pour calculer les coordonnées 3D des points projetés dans le repère monde en fonction de la comparaison, et - un processeur configuré pour construire l’image tridimensionnelle en fonction des coordonnées 3D calculées.
Ainsi, l’objet de la présente invention, par ses différents aspects fonctionnels et structurels décrits ci-dessus, permet, sans requérir trop de ressources informatiques et en un minimum de prises de vue, la construction d’une image tridimensionnelle dont on connaît les coordonnées des objets de la scène prise dans le repère monde.
Brève description des figures annexées D’autres caractéristiques et avantages de la présente invention ressortiront de la description ci-dessous, en référence aux figures 1 à 4a-4b annexées qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif et sur lesquelles : - la figure 1 représente un organigramme illustrant le procédé de l’invention conforme à un exemple de réalisation de la présente invention ; - la figure 2 représente une vue schématique du système informatique de construction d’une image tridimensionnelle conforme à un exemple de réalisation de la présente invention ; - la figure 3 représente une vue schématique en perspective d’une utilisation d’un système informatique conforme à la figure 2 pour une utilisation dans la construction d’une image 360° ; et - les figures 4a et 4b représentent chacune une vue schématique de l’assemblage de quatre images tridimensionnelles pour l’obtention d’une image 360° selon un exemple de réalisation.
Description détaillée selon un exemple de réalisation avantageux
Un procédé de construction d’une image tridimensionnelle ainsi que le système informatique qui lui est associé vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 à 4a-4b. L’exemple décrit ici concerne une application dans le domaine de l’image 360°.
On comprendra que cet exemple d’application est un exemple parmi d’autres, et que bien évidemment d’autres applications peuvent être envisagées dans le cadre de la présente invention.
Permettre la construction d’au moins une image tridimensionnelle dont on connaît les coordonnées (par exemple cartésiennes ou autres) des objets figurant sur ladite image dans le repère monde est un des objectifs de la présente invention.
Ceci est rendu possible dans le cadre de la présente invention par l’exemple de réalisation qui va suivre.
Dans cet exemple, on dispose d’un système informatique 100 comprenant : d’une part, un appareil optique composé d’une caméra 10 et d’un laser 20, et d’autre part, un module informatique 30.
Dans cet exemple, l’appareil optique 10, 20 est positionné de façon centrale dans une pièce SC que l’on veut modéliser en 3D.
Dans l’exemple décrit ici, cet appareil 10, 20 est monté sur un trépied comme illustré en figure 3.
Dans cet exemple, l’appareil 10, 20 est positionné de manière à ce que la caméra 10 et le laser 20 soient orientés dans une direction dl, notée ici première direction dl.
Un objet O tel qu’une chaise est positionné dans le champ de vision de la caméra 10.
Il est alors prévu une première phase dite d’acquisition PI.
Dans cette phase, on prévoit une étape de projection SI au cours de laquelle le laser 20 projette dans le repère monde R” un nuage de points, noté ici pl, p2 et p3.
Dans cet exemple, on connaît au préalable les coordonnées 2D de ces points pl, p2 et p3 dans le repère R associé au laser 20. Ces coordonnées sont notées ici (xl, yl), (x2, y2) et (x3, y3) respectivement pour les points pl, p2 et p3.
Comme illustré en figure 3, le nuage de points projetés pl, p2 et p3 se présente sous la forme de cercles concentriques.
Lors de la projection dans le repère monde R”, la forme de ces cercles peut être déformée en fonction de la présence ou non d’objets O et en fonction du volume défini par les murs de la pièce SC. C’est cette déformation que l’on va chercher à interpréter par traitement d’images pour en déduire la présence ou non d’objet dans le champ de vision de la caméra ainsi que la distance entre ces objets et la caméra.
On comprend dès à présent que l’objectif ici est de déterminer les coordonnées de la projection de ces points pl, p2 et p3 dans le repère monde R” afin d’être en mesure d’avoir une image comprenant les informations relatives au relief formé par les différents objets O dans la pièce SC (ici par exemple la chaise et les murs présents dans la figure 3).
Pour ce faire, il est prévu dans l’exemple décrit ici une première étape d’acquisition S2 au cours de laquelle la caméra 10 capture une image II de la scène SC dans la direction dl.
Cette image II comporte donc les points pl, p2 et p3.
De préférence, la caméra 10 est dotée d’une optique du type fisheye pour obtenir des images grand angle (voir figures 4a).
Successivement à cette étape S2, le procédé prévoit également une deuxième étape d’acquisition S3 au cours de laquelle le laser 20 est désactivé et la caméra 10 capture toujours dans la direction dl une nouvelle image, dite première image de référence Ilref.
On comprend donc ici que la première image de référence Il ref ne présente pas les points projetés pl, p2 et p3.
Cette image Il ref servira par la suite comme image de référence pour la construction de l’image tridimensionnelle I13D lors de la phase de traitement.
Comme expliqué précédemment, il est également possible de prévoir dans un mode de réalisation non représenté ici que le laser 20 émet une image cohérente selon une longueur d’onde appartenant au spectre du non-visible. Dans ce cas, il n’est plus nécessaire de prévoir cette étape d’acquisition S3 de l’image de référence Il_ref. En effet, dans la mesure où la première image II ne comporte pas les points projetés, il est possible de réutiliser cette image Il comme image de référence pour la construction de l’image tridimensionnelle I1_3D.
Le procédé prévoit ensuite lors d’une phase P3 un traitement de ces images par un module informatique 30 dédié.
Ainsi, dans l’exemple décrit ici, le module informatique 30 comprend des moyens de traitement d’images 31 mettant en œuvre un algorithme de traitement d’images spécifique prévu pour détecter lors d’une étape S4 les points projetés pl, p2 et p3 dans la première image II. L’homme du métier pourra sélectionner sans aucune difficulté l’algorithme à implémenter pour obtenir une détection précise de ces points.
On notera ici que, pour améliorer les résultats de cette détection, on peut prévoir lors de la phase d’acquisition Pl un multiplexage SI’ de la longueur d’ondes de l’image projetée.
Une fois détecté, le calculateur 32, dit premier calculateur, détermine lors d’une étape S5 les coordonnées 2D des points projetés pl, p2 et p3 dans le repère image R’. Ces coordonnées sont notées ici (xl’, y 1 ’), (x2’, y2’) et (x3’, y3’) respectivement pour pl, p2 et p3.
Le module informatique 30 dispose ensuite d’un circuit comparateur 33 qui reçoit les coordonnées 2D des points projetés dans le repère image R’ pour les comparer aux coordonnées 2D de chacun des points pl, p2 et p3 dans le repère laser R.
Un calculateur 34, dit deuxième calculateur, va ensuite compiler les résultats de cette comparaison pour déterminer lors d’une étape S6 les coordonnées des points projetés pl, p2 et p3 dans le repère monde R”.
Ces coordonnées 3D sont notées ici 3D (xl”, yl”, zl”), (x2”, y2”, z2”) et (x3”, y3”,z3”).
Le deuxième calculateur 34 prendra ici en considération la pose p de l’appareil optique 10, 20 dans la pièce. Cette pose p correspond ici à la position et l’inclinaison relative de l’appareil optique dans la pièce SC, c’est-à-dire dans le repère monde R”.
Cette pose p peut être déterminée lors d’une étape préalable d’étalonnage S0’.
Le deuxième calculateur 34 prendra également en considération la fonction de propagation de la lumière. Cette fonction est notée ici H. Elle fait partie des propriétés optiques du laser 20.
Cette fonction H prend le plus souvent la forme d’une transformation homographique.
Dans l’exemple décrit ici, le module informatique 30 comprend un processeur 35 qui lui est configuré pour construire lors d’une étape S7 l’image tridimensionnelle I1_3D.
Pour cette construction, le processeur 35 utilise l’image de référence Il_ref et lui affecte pour les pixels correspondants les coordonnées 3D des points projetés dans le repère monde R”. L’image obtenue I13D comprend alors les informations pertinentes relatives aux coordonnées cartésiennes des objets O de la scène SC figurant dans l’image de référence.
Dans l’exemple décrit ici, le procédé est itératif.
On procède dans cet exemple à une rotation de l’appareil optique de manière à orienter le laser 20 et la caméra 10 dans une deuxième direction, noté d2, pour réitère la phase d’acquisition PI
On obtient alors au cours de cette nouvelle phase d’acquisition PI une deuxième image 12 et une deuxième image de référence I2_ref.
Dans cet exemple, la deuxième direction d2 est sensiblement perpendiculaire à la première direction dl.
De la même façon, on réitère les différentes étapes de la phase de traitement P2 avec ces nouvelles images 12 et I2_ref pour obtenir une deuxième image tridimensionnelle I2 3D grâce aux différentes étapes décrites précédemment.
Dans l’exemple décrit ici qui est dédié à l’imagerie 360°, il est prévu une étape de recollement mise en œuvre par d’autres moyens informatique de traitement d’images 36.
Ces moyens 36 prévoit alors une identification S8 dans les première Il 3D et deuxième I2 3D images tridimensionnelles des pixels, appelés pixels communs, présentant les mêmes coordonnées 3D, suivi d’un assemblage S8’ des première I13D et deuxième I2 3D images tridimensionnelles en fonction de ces pixels communs.
Le résultat de cet assemblage permet l’obtention d’une image panoramique.
En réitérant le procédé dans d’autres directions (non représentées ici), on obtient au final une image 360°, notée ici 1360 (voir figure 4b).
La présente invention dont le concept sous-jacent repose sur la projection d’une image cohérente dont on exploite les propriétés optiques de propagation pour construire des images tridimensionnelles dont le recollement est facilité par la présence de pixels dont les coordonnées 3D dans le repère monde sont identiques.
Dans l’exemple décrit, il est possible de prévoir une calibration SO du nombre de points du nuage de points en fonction de la résolution de la caméra 10. On peut utiliser à cet effet un télémètre pour déterminer cette résolution.
Il devra être observé que cette description détaillée porte sur un exemple de réalisation particulier de la présente invention, mais qu’en aucun cas cette description ne revêt un quelconque caractère limitatif à l’objet de l’invention ; bien au contraire, elle a pour objectif d’ôter toute éventuelle imprécision ou toute mauvaise interprétation des revendications qui suivent.
Il devra également être observé que les signes de références mis entre parenthèses dans les revendications qui suivent ne présentent en aucun cas un caractère limitatif ; ces signes ont pour seul but d’améliorer l’intelligibilité et la compréhension des revendications qui suivent ainsi que la portée de la protection recherchée
Claims (22)
- REVENDICATIONS1. Procédé de construction d’une image tridimensionnelle à l’aide d’un appareil optique (10, 20) comprenant une caméra (10) et un laser (20) configuré pour projeter une image cohérente formant un nuage de points (pl, p2, p3) dont les coordonnées 2D (xl, yl ; x2, y2 ; x3, y3) dans le repère (R) associé audit laser, appelé repère laser, sont connues, ledit procédé comprenant : a) une phase d’acquisition (Pl) comportant : - une étape de projection (SI) au cours de laquelle ledit laser (20) projette dans le repère monde ledit nuage de points (pl, p2, p3) dans une première direction déterminée (dl), - une première étape de capture (S2) au cours de laquelle une première image (II) est acquise à l’aide de ladite caméra (10) orientée dans ladite première direction (dl) de manière à ce que ladite première image (II) comprenne au moins une partie du nuage de points projetés (pl, p2, p3), b) une phase de traitement (P2) mise en œuvre par des moyens informatiques comportant : - une étape de détection (S4) au cours de laquelle ladite première image (II) est traitée par un algorithme de traitement d’images configuré pour détecter dans ladite première image (II) les points projetés (pl, p2, p3), - une étape de détermination (S5) au cours de laquelle les coordonnées 2D (xl’, yl’ ; x2’, y2’ ; x3’, y3’) des points projetés (pl, p2, p3) dans le repère (R’) associé à l’image, appelé repère image, sont déterminées, - une étape de calcul (S6) au cours de laquelle on calcule les coordonnées 3D (xl”, yl”, zl” ; x2”, y2”, z2” ; x3”, y3”, z3”) des points projetés (pl, p2, p3) dans le repère monde (R”) par comparaison des coordonnées 2D (xl’, yl ’ ; x2’, y2’ ; x3’, y3’) de chacun des points projetées dans le repère image et des coordonnées 2D (xl, yl ; x2, y2 ; x3, y3) de chacun des points du nuage de points dans le repère laser (R), et - une étape de construction (S7) d’une première image tridimensionnelle (I1_3D) en fonction des coordonnées 3D (xl”, yl”, zl” ; x2”, y2”, z2” ; x3”, y3”, z3”) des points projetés (pl, p2, p3) dans le repère monde (R”).
- 2. Procédé selon la revendication 1, dans lequel le laser (20) projette une image cohérente dont la longueur d’ondes appartient au spectre du non-visible pour l’œil humain.
- 3. Procédé selon la revendication 2, dans lequel, lors l’étape de construction (S7), on affecte aux pixels correspondants de la première image (II) les coordonnées 3D (xl”, yl”, zl” ; x2”, y2”, z2” ; x3”, y3”, z3”) de chacun des points projetés (pl, p2, p3) dans le repère monde.
- 4. Procédé selon la revendication 1, dans lequel la phase d’acquisition (Pl) comporte une deuxième étape de capture (S3), distincte de la première étape de capture (S2), au cours de laquelle : - le laser (20) est désactivé, et - une première image de référence (Il_ref) est acquise à l’aide de ladite caméra (10) orientée dans ladite première direction déterminée (dl).
- 5. Procédé selon la revendication 4, dans lequel, lors l’étape de construction (S7), on affecte aux pixels correspondants de ladite première image de référence (Il_ref) les coordonnées 3D (xl”, yl”, zl” ; x2”, y2”, z2” ; x3”, y3”, z3”) de chacun des points projetés (pl ? p2, p3) dans le repère monde (R”).
- 6. Procédé selon l’une quelconque des revendications précédentes, lequel comportant une phase de calibration (PO), préalable à la phase d’acquisition (Pl), comprenant une étape de calibration (S0) au cours de laquelle on règle le nombre de points du nuage de points en fonction de la résolution de la caméra (10).
- 7. Procédé selon la revendication 6, dans lequel, lors de l’étape de calibration (S0), le nombre de points nuage de points est sensiblement égal au nombre de pixels de l’image acquise par la caméra (10).
- 8. Procédé selon l’une quelconque des revendications 1 à 7, l’image projetée par ledit laser (20) se propageant dans le repère monde (R”) selon une fonction de propagation déterminée (H), dans lequel, lors de l’étape de calcul (S6), la fonction de propagation (H) est prise en considération dans le calcul des coordonnées (xl”, yl”, zl” ; x2”, y2”, z2” ; x3”, y3”, z3”) des points projetés (pl, p2, p3) dans le repère monde (R”).
- 9. Procédé selon l’une quelconque des revendications précédentes, dans lequel le nuage de points dans le repère laser (R) forme un motif déterminé.
- 10. Procédé selon la revendication 9, dans lequel ledit motif comporte une pluralité de cercles concentriques.
- 11. Procédé selon l’une quelconque des revendications 1 à 10, dans lequel on réitère les étapes de la phase d’acquisition (PI) dans une deuxième direction (d2) déterminée de manière à construire une deuxième image tridimensionnelle (I2_3D) présentant les coordonnées 3D de chacun des points projetés dans le repère monde (R”).
- 12. Procédé selon la revendication 11, dans lequel la deuxième direction (d2) est sensiblement perpendiculaire à la première direction (dl).
- 13. Procédé selon la revendication 11 ou 12, dans lequel la phase de traitement (P2) comporte une étape de recollement (S8, S8’) comprenant une identification (S8) dans les première (I1_3D) et deuxième (I2_3D) images tridimensionnelles des pixels, appelés pixels communs, présentant les mêmes coordonnées 3D.
- 14. Procédé selon la revendication 13, dans lequel l’étape de recollement (S8, S8’) comprend un assemblage (S8’) des première (I1_3D) et deuxième (I2_3D) images tridimensionnelles en fonction desdits pixels communs.
- 15. Procédé selon l’une quelconque des revendications précédentes, dans lequel ladite caméra (10) comprend une optique grand angle (11) dont le champ de vision est supérieur ou égal à 120°.
- 16. Procédé selon la revendication 15, dans lequel ladite optique (11) est du type fisheye.
- 17. Procédé selon l’une quelconque des revendications précédentes, dans lequel la phase d’acquisition (PI) comprend une étape de multiplexage (SI’) au cours de laquelle la longueur d’ondes de l’image projetée par le laser (20) est multiplexée.
- 18. Utilisation du procédé selon l’une quelconque des revendications précédentes pour la construction d’une image à 360°.
- 19. Programme d’ordinateur comportant des instructions adaptées pour l’exécution des étapes du procédé selon l’une quelconque des revendications 1 à 17 lorsque ledit programme d’ordinateur est exécuté par au moins un processeur.
- 20. Support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon l’ime quelconque des revendications 1 à 17.
- 21. Système informatique (100) de construction d’une image tridimensionnelle comprenant un appareil optique (10, 20) comportant une caméra (10) et un laser (20) configuré pour projeter une image cohérente formant un nuage de points (pl, p2, p3) dont les coordonnées 2D (xl, yl ; x2, y2 ; x3, y3) dans le repère laser (R) sont connues, dans lequel : - le laser (20) est configuré pour projeter dans le repère monde (R) ledit nuage de points (pl, p2, p3) dans une première direction déterminée (dl), - ladite caméra (10), orientée dans ladite première direction (d2), est configurée pour acquérir une première image (II) comprenant au moins une partie du nuage de points projetés (pl, p2, p3), dans lequel ledit système (100) comporte en outre un module informatique (30) comprenant : - des moyens de traitement d’images (31) mettant en œuvre un algorithme de traitement d’images configuré pour détecter dans ladite première image (II) les points projetés (pl, p2, p3), - un premier calculateur (32) configuré pour déterminer les coordonnées 2D (χΓ, yl’ ; x2’, y2’ ; x3’, y3’) des points projetés (pl, p2, p3) dans le repère image (R’), - un circuit comparateur (33) configuré pour comparer les coordonnées 2D (xl ’, yl’ ; x2’, y2’ ; x3’, y3’) de chacun des points projetées dans le repère image (R’) et les coordonnées 2D (xl, yl ; x2, y2 ; x3, y3) de chacun des points (pl, p2, p3) du nuage de points (pl, p2, p3) dans le repère laser (R), - un deuxième calculateur (34) configuré pour calculer les coordonnées 3D (xl”, yl”, zl” ; x2”, y2”, z2” ; x3”, y3”, z3”) des points projetés (pl, p2, p3) dans le repère monde (R”) en fonction de ladite comparaison, et - un processeur (35) configuré pour construire une image tridimensionnelle (I1_3D) en fonction desdites coordonnées 3D (xl’\ yl”, zl” ; x2”, y2”, z2” ; x3”, y3”, z3”) des points projetés (pl, p2, p3) dans le repère monde (R”).
- 22. Système (100) selon la revendication 21, comprenant des moyens informatiques configurés pour la mise en œuvre des étapes du procédé selon l’une quelconque des revendications 2 à 17.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1654981A FR3052287B1 (fr) | 2016-06-01 | 2016-06-01 | Construction d'une image tridimensionnelle |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1654981 | 2016-06-01 | ||
FR1654981A FR3052287B1 (fr) | 2016-06-01 | 2016-06-01 | Construction d'une image tridimensionnelle |
Publications (2)
Publication Number | Publication Date |
---|---|
FR3052287A1 true FR3052287A1 (fr) | 2017-12-08 |
FR3052287B1 FR3052287B1 (fr) | 2019-06-21 |
Family
ID=56611415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1654981A Active FR3052287B1 (fr) | 2016-06-01 | 2016-06-01 | Construction d'une image tridimensionnelle |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR3052287B1 (fr) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008087652A2 (fr) * | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Cartographie de profondeur à l'aide d'un éclairage à faisceaux multiples |
WO2008155770A2 (fr) * | 2007-06-19 | 2008-12-24 | Prime Sense Ltd. | Techniques d'éclairement variant avec la distance et d'imagerie pour une cartographie de profondeur |
US20100265316A1 (en) * | 2009-04-16 | 2010-10-21 | Primesense Ltd. | Three-dimensional mapping and imaging |
-
2016
- 2016-06-01 FR FR1654981A patent/FR3052287B1/fr active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008087652A2 (fr) * | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Cartographie de profondeur à l'aide d'un éclairage à faisceaux multiples |
WO2008155770A2 (fr) * | 2007-06-19 | 2008-12-24 | Prime Sense Ltd. | Techniques d'éclairement variant avec la distance et d'imagerie pour une cartographie de profondeur |
US20100265316A1 (en) * | 2009-04-16 | 2010-10-21 | Primesense Ltd. | Three-dimensional mapping and imaging |
Non-Patent Citations (1)
Title |
---|
S MONTABONE ET AL: "A long-range depth camera with configurable field of view and resolution", THE 9TH INTERNATIONAL SYMPOSIUM ON MOBILE MAPPING TECHNOLOGY, 9 December 2015 (2015-12-09), pages 1 - 8, XP055333820, Retrieved from the Internet <URL:http://www.ocularrobotics.com/wp/wp-content/uploads/2015/12/MMT2015_MMT2015_61.pdf> [retrieved on 20170110] * |
Also Published As
Publication number | Publication date |
---|---|
FR3052287B1 (fr) | 2019-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2715662B1 (fr) | Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu | |
EP0661672B1 (fr) | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective | |
KR101533182B1 (ko) | 3d 거리 | |
US20150146032A1 (en) | Light field processing method | |
US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
JP5633058B1 (ja) | 3次元計測装置及び3次元計測方法 | |
FR2984057A1 (fr) | Systeme de tournage de film video | |
WO2015071457A1 (fr) | Procede d'estimation de la vitesse de deplacement d'une camera | |
EP2111605B1 (fr) | Procédé et dispositif de création d'au moins deux images clés correspondant à un objet tridimensionnel | |
EP3072289A1 (fr) | Procédé de traitement de champ lumineux | |
Bleier et al. | Low-cost 3d laser scanning in air orwater using self-calibrating structured light | |
EP1168831B1 (fr) | Procédé de calibration de caméra | |
EP3072109A1 (fr) | Procede d'estimation de la vitesse de deplacement d'une camera | |
TW202014993A (zh) | 資訊處理裝置、記錄媒體、程式產品及資訊處理方法 | |
Gil‐Docampo et al. | An accessible, agile and low‐cost workflow for 3D virtual analysis and automatic vector tracing of engravings: Atlantic rock art analysis | |
FR3043235A1 (fr) | Calibration d'un systeme de mapping video | |
FR2801123A1 (fr) | Procede de creation automatique de maquette numerique a partir de couples d'images stereoscopiques | |
Kontogianni et al. | Enhancing close-up image based 3D digitisation with focus stacking | |
FR3053817A1 (fr) | Methode et systeme de reconstruction d'une representation tridimensionnelle | |
JPH1069543A (ja) | 被写体の曲面再構成方法及び被写体の曲面再構成装置 | |
FR2910648A1 (fr) | Procede et dispositif de capture de donnees geometriques | |
WO2018229358A1 (fr) | Procédé et dispositif de construction d'une image tridimensionnelle | |
FR3052287B1 (fr) | Construction d'une image tridimensionnelle | |
WO2014180797A1 (fr) | Procede de commande d'une interface graphique pour afficher des images d'un objet tridimensionnel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20171208 |
|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 5 |
|
PLFP | Fee payment |
Year of fee payment: 6 |
|
PLFP | Fee payment |
Year of fee payment: 7 |
|
TP | Transmission of property |
Owner name: MAJO, FR Effective date: 20230215 |
|
PLFP | Fee payment |
Year of fee payment: 8 |