FR3053817A1 - Methode et systeme de reconstruction d'une representation tridimensionnelle - Google Patents

Methode et systeme de reconstruction d'une representation tridimensionnelle Download PDF

Info

Publication number
FR3053817A1
FR3053817A1 FR1656559A FR1656559A FR3053817A1 FR 3053817 A1 FR3053817 A1 FR 3053817A1 FR 1656559 A FR1656559 A FR 1656559A FR 1656559 A FR1656559 A FR 1656559A FR 3053817 A1 FR3053817 A1 FR 3053817A1
Authority
FR
France
Prior art keywords
points
data
representative
registration
successive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1656559A
Other languages
English (en)
Other versions
FR3053817B1 (fr
Inventor
Houman Borouchaki
Yannick Folliard
Cao Vu Bui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Levels3d
Universite de Technologie de Troyes
Original Assignee
Levels3d
Universite de Technologie de Troyes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Levels3d, Universite de Technologie de Troyes filed Critical Levels3d
Priority to FR1656559A priority Critical patent/FR3053817B1/fr
Priority to DE112017003426.4T priority patent/DE112017003426T5/de
Priority to PCT/EP2017/067164 priority patent/WO2018007628A1/fr
Publication of FR3053817A1 publication Critical patent/FR3053817A1/fr
Application granted granted Critical
Publication of FR3053817B1 publication Critical patent/FR3053817B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Abstract

La présente invention concerne une méthode, un programme d'ordinateur et un système pour la reconstruction d'une image tridimensionnelle. Des vues de l'image sont acquises et traitées au moyen d'au moins un vecteur de recalage, déterminé en fonction de données représentatives de pixels d'une vue, par rapport aux pixels correspondants de la vue précédente et/ou de données représentatives de coordonnées tridimensionnelles de points déterminés dans une vue par rapport à la vue précédente.

Description

DOMAINE TECHNIQUE DE L'INVENTION
La présente demande concerne le domaine des méthodes de reconstruction d’une image tridimensionnelle, implémentées par ordinateur. En outre, la demande concerne les produit-programme et systèmes associés.
ARRIERE-PLAN TECHNOLOGIQUE DE L'INVENTION
Il est connu dans la technique de réaliser une reconstruction d’images tridimensionnelles à partir d’une caméra vidéo ou photo et de réaliser des traitements informatiques des images acquises pour reconstituer une îo représentation tridimensionnelle, telle qu'une scène ou un objet par exemple, notamment pour l'étudier et/ou l'utiliser dans un environnement de réalité virtuelle ou de réalité augmentée.
Il est connu également divers dispositifs ou systèmes d'acquisition de données tridimensionnelles, qui utilisent en général deux capteurs dont au moins un est un capteur optique (ou optoélectronique, mais on ne fera pas la distinction ici entre ces deux termes). En effet, pour améliorer la précision des reconstructions, il est souvent proposé d’utiliser plusieurs caméras et d’en intégrer les données dans un calculateur. Ce type de solutions aboutit à des temps de calculs importants et réduit la durée de vie du matériel utilisé pour leur mise en œuvre. Ainsi, même si deux capteurs optiques sont parfois utilisés pour réaliser une capture stéréoscopique, de nombreux autres dispositifs utilisent plutôt un second capteur d'un type différent pour fournir les données tridimensionnelles, souvent appelées données de profondeur. On citera, comme exemple de second type de capteur, les capteurs infra25 rouges bien connus, mais d'autres technologies peuvent être utilisées pour obtenir des données similaires qui représentent globalement la distance séparant le capteur de la cible capturée. Les données de ce type, issues de l'acquisition d'images et d'informations tridimensionnelles, qui constituent la capture tridimensionnelle, peuvent avantageusement être associées à des données relatives à la position des capteurs dans l'espace au cours de la capture, pour fournir un repère aux données tridimensionnelles et ainsi permettre de les replacer dans l'espace. Ces données permettent par exemple de réaliser (générer dans les moyens de mémorisation informatiques) des représentations (ou reconstitutions) d'entités telles que des espaces ou environnements, ainsi que des objets qui pourront îo notamment être reproduits, par exemple avec des imprimantes tridimensionnelles .
Dans cette optique, la précision de la reconstruction est un point critique et dépend de la position du capteur optique (généralement une caméra), mais surtout des positions de ce capteur à chacune des captures successives ainsi que de la qualité de l’image obtenue par la caméra. De plus, cette reconstruction requiert généralement des systèmes informatiques de plus en plus performants pour le traitement de données de plus en plus complexes afin d'effectuer des calculs permettant de caractériser différents points au sein de plusieurs images, de sorte à pouvoir reconstituer la représentation tridimensionnelle de l'entité capturée.
DESCRIPTION GENERALE DE L'INVENTION
Un objectif de l’invention est de proposer une méthode simplifiant les calculs et permettant de limiter, d'une part, les temps de calculs requis pour leur exécution et, d'autre part, l'imprécision de la représentation tridimensionnelle obtenue.
C’est pour atteindre ce type d'objectif que l’invention propose une Méthode de reconstruction d’au moins une représentation tridimensionnelle d'au moins une entité physique examinée, sur la base d'acquisitions correspondant à n captures successives d'une pluralité de données, de préférence synchronisées entre elles, dans le temps, et comprenant :
- des données représentatives de n vues de l'entité, composées d'une pluralité de pixels capturés à l'aide d'au moins un premier dispositif d’acquisition, dit capteur optique, n étant un entier non-nul,
- des données représentatives d'au moins une distance, dite profondeur, mesurées à l'aide d'au moins un second dispositif d’acquisition, dit capteur de profondeur, entre au moins une partie des pixels au sein des n vues et au moins un desdits dispositifs d’acquisition,
- des données représentatives de positions successives du système d’acquisition, à chacune des n captures successives, acquises à l'aide d'au moins un troisième dispositif d’acquisition, dit capteur de position ;
la méthode étant mise en oeuvre par un système de reconstruction de représentation tridimensionnelle dans lequel lesdites n captures successives obtenues grâces auxdites acquisitions fournissent des données dont la combinaison est représentative de nuages de points, la méthode étant caractérisée en ce que • chacun des nuages de points est référencé dans l'espace par rapport à un repère usuel respectif;
• au moins un vecteur est calculé pour définir un recalage à appliquer sur chacun des repères usuels successifs par rapport au repère précédent;
• au moins un descripteur met en oeuvre au moins une détection de couples de points, dits de ressemblance, appartenant respectivement à deux vues successives et présentant une similitude déterminée entre les valeurs d'au moins une de leurs données représentatives, pour servir de référence au recalage ;
dans lequel ledit recalage est appliqué de manière incrémentale sur les n captures successives, de sorte que chaque itération permette de recaler les données représentatives d'une vue donnée et/ou du nuage de points correspondant par rapport aux précédents, de sorte que les itérations successives permettent le recalage des données par rapport au repère usuel défini pour le premier nuage de points et utilisé comme un repère global pour la reconstruction de ladite représentation tridimensionnelle, et dans lequel les couples servant de référence pour ledit recalage sont sélectionnés grâce à au moins l'une des étapes suivantes :
- recalage d'images, basé sur les données représentatives des pixels capturés lors de l'acquisition des vues successives, ce recalage d'images comprenant au moins une sélection desdits îo couples à l'aide d'au moins un filtre basé sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de translation et/ou de rotation;
- recalage géométrique basé sur les données représentatives des coordonnées des points au sein des nuages de points.
Selon une autre particularité, lorsque les données obtenues par les divers dispositifs distincts du système d'acquisition ont été définies en référence à au moins deux repères tridimensionnels distincts, la méthode comporte, pour à chacune des captures successives, au moins une transposition de ces données dans un repère tridimensionnel usuel commun, en alignant les bases respectives de chacune de ces données, les unes par rapport aux autres, pour obtenir des données représentatives de n nuages de points qui sont référencés par rapport à n repères tridimensionnels usuels successifs définis de manière commune à chacune des captures successives, afin de permettre ledit recalage des nuages de points pour obtenir ladite reconstruction.
Selon une autre particularité, la méthode met en oeuvre ladite sélection desdits couples à l'aide d'au moins un filtre basé sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de translation, grâce à une recherche d'un nombre maximum de couples entre lesquels la translation est définie par un vecteur d'une valeur inférieure à un seuil de translation déterminé, par exemple paramétrable.
Selon une autre particularité, le recalage d'images comprend au moins une sélection desdits couples à l'aide d'au moins un filtre basé sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de rotation, à l'aide d'au moins une sélection d'un couple de points de référence ayant le plus grand nombre de couples, définis comme leurs couples associés, avec lesquels leurs vecteurs de recalage différent d'un angle inférieur à un seuil angulaire d'une valeur déterminée, par exemple paramétrable, ladite sélection reposant sur une déviation, exprimée par un triplet d'angles de rotation, entre les vecteurs représentatifs de couples de îo points de référence par rapport aux vecteurs représentatifs de leurs couples associés.
Selon une autre particularité, la déviation correspond à une fonctionnelle et ladite sélection correspond à une minimisation de cette fonctionnelle par des itérations successives de rotations individuelles, d'une valeur angulaire déterminée, par exemple paramétrable.
Selon une autre particularité, la valeur paramétrable est définie par un utilisateur ou concepteur préparant la mise en œuvre de ladite méthode dans ledit système.
Selon une autre particularité, le descripteur responsable de ladite 20 détection des couples de points correspond à un détecteur de Harris déterminant la similitude entre les valeurs moyennes des couleurs dans leurs voisinages respectifs.
Selon une autre particularité, l’étape de sélection basée sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de translation utilise un seuil de translation de l'ordre de 10%.
Selon une autre particularité, l’étape de sélection basée sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de rotation repose sur un seuil angulaire de l'ordre d’un degré.
Selon une autre particularité, le recalage géométrique est appliqué à 30 des points présents au sein d'un nuage de points obtenu au cours d'une capture déterminée, en utilisant comme référence, pour ce recalage, les données relatives à des coordonnées spatiales déterminées d'une pluralité de points au sein du nuage de points obtenu lors de la capture précédente.
Selon une autre particularité, le recalage géométrique définit ladite pluralité de points de la capture précédente comme des sites de référence pour ce recalage relatif aux coordonnées spatiales des points à recaler par rapport à au moins trois sites de référence définissant un triangle pour lequel la projection du point à recaler correspond à la distancela plus faible, grâce à l'identification, pour un point présent au sein d'un nuage de points correspondant à une capture donnée, des trois points qui en sont les plus îo proches dans le nuage de points de la vue précédentes recalée dans le repère global.
Un autre objet de l’invention concerne un programme d’ordinateur comprenant des portions de code représentatives d'instructions pour la mise en oeuvre de la méthode selon l’une des revendications 1 à 11 lorsque ledit programme est exécuté par des moyens de traitement de données.
Un autre objet de l’invention concerne un Système de reconstruction d’une image tridimensionnelle comprenant des moyens de traitement de données exécutant des instructions stockées dans des moyens de mémorisation pour la mise en oeuvre de la méthode selon l'un des modes de réalisations décrits dans la présente demande.
Un autre objet de l’invention concerne un Système de reconstruction selon la revendication précédente, caractérisé en ce qu'il comporte les dispositifs d'acquisition fournissant les données représentatives des captures successives.
DESCRIPTION DES FIGURES ILLUSTRATIVES
D'autres particularités et avantages de divers modes de réalisation de la présente demande sont détaillés dans la description ci-après, faite en référence aux dessins annexés, dans lesquels :
- La Figure 1 représente un dispositif d'acquisition de données capturant une entité, pour permettre la reconstruction d’une représentation tridimensionnelle selon certains modes de réalisation;
- La Figure 2A représente un exemple d'un nuage de points, issu d'une 5 acquisition de données, par un système d'acquisition selon certains modes de réalisation, et la Figure 2B représente un exemple d'un ensemble de sites de référence, sélectionnés par un filtre de translation d'un système de reconstruction d’une représentation tridimensionnelle selon certains modes de réalisation;
îo - La Figure 3A montre exemple d'un ensemble de sites de référence, sélectionnés par un filtre de rotation d'un système de reconstruction d’une représentation tridimensionnelle selon certains modes de réalisation et la Figure 3B montre exemple d'un ensemble de points recalés géométriquement d'un système de reconstruction d’une représentation tridimensionnelle selon certains modes de réalisation;
- La Figure 4 représente certains modes de réalisation d'un procédé de reconstruction d’une représentation tridimensionnelle, mis en oeuvre au sein de deux modes de réalisation possibles de système de reconstruction d’une représentation tridimensionnelle.
DESCRIPTION DES MODES DE REALISATION PREFERES DE L'INVENTION
La présente demande concerne une méthode et un système de reconstruction d’une image tridimensionnelle. Ce type de méthode est généralement implémenté par des moyens informatiques et le système (1, 1 j de reconstruction d’une représentation tridimensionnelle permettant sa mise en oeuvre comporte ces moyens informatiques, au sein desquels des moyens de traitement de données (14) exécutent des instructions contenues dans des moyens de mémorisation (13) (contenus dans le système ou accessibles par ce dernier) de sorte que les données traitées soient transformées et aboutissent au résultat que la méthode permet avantageusement d'obtenir. Ainsi, la présente demande ne détaille pas les moyens informatiques puisqu'ils peuvent varier en fonction des besoins. De plus, comme représenté par exemple sur la figure 4, le système (1,1') de reconstruction d’une représentation tridimensionnelle traite des données acquises par une pluralité de dispositifs d'acquisition (10, 11, 12) et peut soit être un système (1) intégrant ces dispositifs d'acquisition soit un système (1') utilisant seulement les données acquises (VE, PP, PS) et les instructions à exécuter pour que la méthode soit reproduite. Ainsi, la figure 4 représente certains modes de réalisation d'un procédé de reconstruction d’une îo représentation tridimensionnelle, mis en oeuvre au sein de deux modes de réalisation possibles de système (1, 1') de reconstruction d’une représentation tridimensionnelle. On notera que la présente demande désigne parfois la méthode par le terme procédé, sans distinction particulière ni implication limitative. Dans la figure 4 sont représentées des étapes possibles dans le procédé, mais certaines étapes peuvent parfois être omises, comme par exemple l'une des sélections (551, 552) au cours du recalage d'images (55).
La méthode permet de reconstituer des images tridimensionnelles d’entités (E) ou éléments, par exemple en vue de réaliser des impressions avec des imprimantes tridimensionnelles ou d’étudier les profondeurs de l’élément reconstitué.
Ce type de méthode est généralement mise en oeuvre à l'aide d'un système (1, 1') de reconstruction d'une représentation tridimensionnelle, qui peut en fait intégrer ou non le ou les dispositif(s) d’acquisition de données servant à la reconstruction, comme représenté sur la figure 4 montrant un système (1) comportant une pluralité de dispositifs d'acquisition (10, 11, 12) dont il est fait avantage de leur combinaison pour fournir les données permettant l'exécution de la méthode par des moyens de traitement (14) de données du système (1, 1'), par exemple grâce à des instructions stockées dans des moyens de mémorisation (13) et exécutables par ces moyens de traitement (14). Par «dispositif d’acquisition», on désigne parfois un dispositif permettant d’enregistrer des images, en particulier, l’image tridimensionnelle à reconstituer. Par exemple, le premier dispositif d’acquisition (10) est un dispositif d'acquisition de données optiques, tel qu'une caméra vidéo ou photo. Le second dispositif d'acquisition (11) est apte à mesurer des données de profondeur.
Un problème dans le domaine concerne la détermination d'une correspondance entre les données acquises entre une capture et la suivante, au sein d'un système de capture tridimensionnelle, en particulier si la position physique des dispositifs de capture varie entre ces deux captures. La présente demande vise donc à limiter, voire éliminer, les imprécisions de cette correspondance estimée et/ou limiter les ressources nécessaires pour obtenir un résultat de ce type. On obtient ainsi des données qui sont référencées par rapport à un repère global déterminable à partir d'une succession de repères usuels dont on il faut établir la correspondance qui les relie.
Cette correspondance est particulièrement problématique dans le cas fréquent d'un déplacement des repères usuels successifs les uns par rapport aux autres, c'est-à-dire un déplacement des capteurs par rapport à l'entité capturée. De plus, ce déplacement peut comporter au moins une translation de l'origine des repères usuels successifs (si on déplace le capteur optique) et/ou une rotation des axes définissant les bases de ces repères successifs (si on change l'orientation du capteur optique).
Ce déplacement des premier et deuxième capteurs (10, 11) au cours de l'acquisition des captures successives peut avantageusement être mesuré à l'aide d'au moins un dispositif (12) de suivi de position (basés sur des technologies diverses qui sont parfois associées les unes aux autres) parmi lesquels le gyromètre est un exemple non limitatif mais pertinent par le fait qu'il est peu coûteux, répandu et qu'il permet de recueillir des données tridimensionnelles généralement satisfaisantes pour les utilisations que l'on en fait. En particulier, on cherche généralement à établir une relation entre des données, par exemple optiques ou GPS ou autre, recueillies au cours d'acquisitions successives. Cependant, l'imprécision des gyromètres (ou même de la plupart des dispositifs d'acquisition de coordonnées ίο tridimensionnelles de diverses sortes) limite trop souvent la qualité de la représentation tridimensionnelle qui pourra être obtenue par les méthodes connues dans l'art antérieur ou implique des coûts trop importants pour y remédier.
Ainsi, la présente demande décrit une invention qui offre en outre un avantage particulier qui s'inscrit dans ce contexte précis, en corrigeant les données relatives aux positions tridimensionnelles estimées (par les dispositifs d'acquisition de coordonnées tridimensionnelle) des pixels ou points au sein des vues ou images successives recueillies au cours de îo l'acquisition de ces deux types de données dont il s'avère utile d'améliorer le traitement.
Pour cela, divers modes de réalisation de la présente demande proposent de limiter l'erreur potentiellement introduite par le dispositif de positionnement (d'acquisition de coordonnées dans l'espace) pendant l'estimation du déplacement du système de capture optique et/ou de profondeur.
Dans certains modes de réalisation, comme le déplacement des capteurs d'une capture à l'autre peut concerner une translation et/ou une rotation du système d'acquisition, la correction proposée pourra être modulable et/ou sélectionnable au sein d'options proposées à un utilisateur (définissant si au moins une de ces corrections doit être utilisée et/ou quelle sera la valeur imposée pour déterminer comment cette correction doit être appliquée, par exemple via une interface d'interaction avec l'utilisateur (15) dont l'homme de métier connaît les variantes qu'il est inutile de détailler ici).
Ainsi, il peut être tiré avantage de proposer une souplesse de paramétrage alors que la translation et la rotation peuvent résulter de divers facteurs perturbateurs mais avoir leurs effets ou conséquences indépendants.
De plus, de manière avantageuse, divers modes réalisation de la présente demande concernent au moins un problème relatif à la correspondance entre les bases et origines correspondant aux divers capteurs qui ont permis l'acquisition de données, les uns par rapport aux autres. Ce type de problème et solution implique généralement que les bases et origines soient recalées les unes par rapport aux autres (de préférence lorsque les relations entre ces capteurs sont identifiées en termes de position et de valeurs physiques mesurées). Dans certains modes de réalisation, cette méthode propose de transposer, dans un repère global, chacun des repères successifs les uns par rapport aux autres, puis en corrigeant cette transposition grâce à au moins une translation de l'origine des repères usuels successifs les uns par rapport aux autres et/ou au moins une rotation des bases de ces repères usuels successifs les uns par rapport aux autres. Par exemple, la méthode peut être réalisée sur la base de données obtenues avec une caméra (10) d’acquisition d'images et une caméra (11 ) dite de profondeur embarquées sur un système (1 ) d'acquisition ou de reconstruction qui peut être simplement une tablette électronique équipée de ces dispositifs. De plus, un dispositif de capture des données de position, par exemple tel qu'un gyromètre et/ou un GPS ou tout autre type de dispositif détectant le déplacement de dispositifs d'acquisitions, bien que la méthode porte justement sur la nécessité de recaler les vues lors de déplacement des capteur d'une vue à l'autre. Divers modes de réalisation de la présente demande présentent d'ailleurs la particularité d'être d'autant plus avantageux lorsque les déplacements successifs mesurés au cours des captures sont imprécis.
De préférence, les prises de vue sont déclenchées via un programme pilotant le capteur optique (10), désigné par le terme de caméra sans induire de limitation, et le capteur de profondeur (11), de préférence manière synchrone. Pour piloter la caméra, divers modes de réalisation utilisent des modules informatiques (dits SDK, pour l'anglais software development kit) capables de déclencher les prises de vues et/ou acquisitions (51) diverses à une fréquence et une résolution données. Ainsi, le programme selon divers modes de réalisation est de préférence configuré pour piloter la caméra de cette manière.
La méthode proposée se base sur des données acquises par ces types de dispositifs d'acquisition, mais n'est pas limitée à cette acquisition puisqu'elle concerne de préférence seulement la reconstruction tridimensionnelle bien qu'elle puisse comporter des étapes d'acquisition comme représenté sur la figure 1 par exemple, montrant un mode de réalisation d'un système (1) d'acquisition capturant des données représentatives d'une entité (E), alors que la figure 4 montrent deux exemples de systèmes (1, 1') qui se distinguent par le fait que celui de gauche est un système (1) de reconstruction et d'acquisition alors que celui de droite est seulement un système (1') de reconstruction dépourvu des dispositifs (10, 11, 12) permettant l'acquisition (51) des données utilisées pour la reconstruction.
îo Divers modes de réalisation concernent une méthode, un programme exécutable ou un système pour la reconstruction d’au moins une représentation tridimensionnelle (RE) d'au moins une entité (E) physique examinée, sur la base d'acquisitions (51) correspondant à n captures successives d'une pluralité de données, de préférence synchronisées entre elles, dans le temps, et comprenant :
- des données (VE) représentatives de n vues de l'entité (E), composées d'une pluralité de pixels capturés à l'aide d'au moins un premier dispositif d’acquisition, dit capteur optique (10), n étant un entier non-nul,
- des données (PP) représentatives d'au moins une distance, dite profondeur, mesurées à l'aide d'au moins un second dispositif d’acquisition, dit capteur de profondeur (11), entre au moins une partie des pixels au sein des n vues (VE) et au moins un desdits dispositifs d’acquisition,
- des données (PS) représentatives de positions successives du système (1) d’acquisition, à chacune des n captures successives, acquises à l'aide d'au moins un troisième dispositif d’acquisition, dit capteur de position (12);
Dans divers modes de réalisation, une telle méthode est mise en oeuvre par un système (1, 1') de reconstruction de représentation tridimensionnelle (RE) dans lequel lesdites n captures successives obtenues grâces auxdites acquisitions (51) fournissent des données (VE, PP, PS) dont la combinaison est représentative de nuages (NP) de points.
Dans divers modes de réalisation, la méthode permet d'utiliser des informations acquises pour générer des données de profondeur (PP) des vues capturées (VE). Dans ce cas, on détermine des profondeurs de certains points de l’image acquise, de sorte à réaliser une table de profondeurs correspondante, mise en relation avec les valeurs capturées des pixels de l'image (couleur ou noir et blanc) de l'entité.
Par exemple, les modules informatiques permettent de réaliser des îo tables des profondeurs pour chaque vue. En parallèle, ces modules informatiques permettent de synchroniser chaque vue et la table des profondeurs avec une image d’un capteur couleur de la tablette.
La méthode peut tirer également avantage de données de localisation relatives aux positionnements du dispositif d’acquisition pendant l’acquisition.
Cette étape permet de déterminer à quelle position, en particulier quelle inclinaison, le dispositif d’acquisition était lorsqu’il a réalisé l’acquisition des données des pixels et/ou de profondeur.
Par exemple, différentes orientations de la tablette sont récupérées via des matrices de changement de base, relatives à la rotation, à une fréquence plus importante que la fréquence d’acquisition.
Dans divers modes de réalisation, la méthode comprend en outre une génération de données représentatives de nuages de points (NP) correspondant à des positions des points de chaque vue dans l’espace, combinées à partir des vues acquises, des données de profondeur et des données de positionnements. Dans cette étape les positions d'au moins certains points capturés au cours des acquisitions sont répertoriées afin de pouvoir réaliser la reconstruction tridimensionnelle.
Dans divers modes de réalisation, la méthode utilise le fait que • chacun des nuages (NP) de points est référencé dans l'espace par rapport à un repère (RN) usuel respectif;
• au moins un vecteur est calculé pour définir un recalage (53) à appliquer sur chacun des repères (RN) usuels successifs par rapport au repère précédent;
• au moins un descripteur met en œuvre au moins une détection (54) de couples (CP) de points, dits de ressemblance, appartenant respectivement à deux vues successives et présentant une similitude déterminée entre les valeurs d'au moins une de leurs données représentatives (VE, PP, PS), pour servir de référence au recalage (53);
Ainsi, dans divers modes de réalisation, ledit recalage (53) est appliqué de manière incrémentale sur les n captures successives, de sorte que chaque itération permette de recaler les données représentatives d'une vue (VE) donnée et/ou du nuage de points (NP) correspondant par rapport aux précédents, de sorte que les itérations successives permettent le recalage (53) des données par rapport au repère usuel défini pour le premier nuage de points (NP) et utilisé comme un repère global (RG) pour la reconstruction (57) de ladite représentation tridimensionnelle (RE).
De plus, dans divers modes de réalisation, les couples (CP) servant de référence pour ledit recalage (53) sont sélectionnés grâce à au moins l'une des étapes suivantes :
- recalage (55) d'images, basé sur les données représentatives des pixels capturés lors de l'acquisition des vues (VE) successives, ce recalage (55) d'images comprenant au moins une sélection (551, 552) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFT, SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation et/ou de rotation.
- recalage géométrique (56) basé sur les données représentatives des coordonnées des points au sein des nuages de points (NP).
D'autre part, dans divers modes de réalisation, lorsque les données (VE, PP, PS) obtenues par les divers dispositifs (10, 11, 12) distincts du système (1) d'acquisition ont été définies en référence à au moins deux repères tridimensionnels distincts, la méthode comporte, pour à chacune des captures successives, au moins une transposition (52) de ces données (VE, PP, PS) dans un repère tridimensionnel usuel commun, en alignant les bases respectives de chacune de ces données (VE, PP, PS), les unes par rapport aux autres, pour obtenir des données représentatives de n nuages de points (NP) qui sont référencés par rapport à n repères tridimensionnels îo usuels successifs définis de manière commune à chacune des captures successives, afin de permettre ledit recalage (53) des nuages de points (NP) pour obtenir ladite reconstruction (57).
Par exemple, la donnée d’une image avec sa table de profondeurs permet de définir une grille de points 3D dans un repère dit « de vue » associé à la caméra. Ce repère a la position de la caméra comme origine et sa base est composée par un axe de vue (axe Z) spécifique à chaque vue. L’axe perpendiculaire à la caméra et les autres axes (X, Y), sont alignés avec la tablette. Le terme tablette est utilisé dans la présente demande pour désigner le système d'acquisition (qui peut aussi former le système reconstruction s'il intègre les instructions exécutable pour la mise en oeuvre de la méthode), mais ce terme utilisé ne doit pas être interprété comme limitant les types de systèmes possibles.
Dans ce repère, les coordonnées des points de la grille sont calculées en fonction de l’angle d’ouverture de la caméra qui couvre toute l’image.
En considérant un premier changement de base, ces coordonnées sont exprimées dans la base de la tablette dont l’axe Z est dans le sens opposé de l’axe Z de la base de vue et les axes (X, Y) sont intervertis dans le sens opposé.
En particulier, pour chaque acquisition ou image, on peut identifier l’orientation correspondante de la tablette en considérant la plus proche, en termes de pas de temps, parmi les dernières orientations retenues via un capteur gyromètre.
En annulant l’effet de cette orientation via un deuxième changement de base, on trouve les coordonnées des points dans une base dite usuelle ou universelle où l’axe Z est l’axe vertical. Les autres axes (X, Y) de la base usuelle sont définis par défaut et pourront être imposés par l’utilisateur (par exemple en considérant l’axe Y comme l’axe dirigé vers le nord).
Le deuxième changement de base permet l’obtention de la même base pour toutes les acquisitions. Ainsi, à chaque acquisition est associé un repère usuel (local) dont l’origine est la position de la caméra et la base, la base usuelle définie via les deux changements de base appliqués à la base îo initiale de vue.
Du fait notamment de la variation de positionnement du dispositif d’acquisition entre les acquisitions, les points obtenus ne sont pas au même endroit dans l’espace si l’image est reconstituée à ce stade au moyen des vues séparées. Cela aboutit à une image reconstituée peu fidèle à l’image originale, et par là une étude biaisée des profondeurs de l’image ou une reproduction peu fidèle en impression tridimensionnelle.
Il est donc requis de réaliser au moins un recalage des points d’image afin d’obtenir une image reconstituée plus fidèle à la réalité. Selon divers modes de réalisation, au moins un type de correction est appliqué parmi deux types de correction des données représentatives des vues successives qui peuvent leur être appliquées pour améliorer davantage la reconstruction, grâce à au moins une sélection (551, 552) des données représentatives de valeurs fiables pour le recalage (53) d'une vue par rapport à la précédente.
Selon divers modes de réalisation, la méthode met en œuvre ladite sélection (551) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFT) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation, grâce à une recherche d'un nombre maximum de couples (CP) entre lesquels la translation est définie par un vecteur d'une valeur inférieure à un seuil déterminé, par exemple paramétrable.
Dans certains modes de réalisation, le recalage (55) d'images comprend au moins une sélection (552) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de rotation, à l'aide d'au moins une sélection d'un couple de points de référence (Pr, Qr) ayant le plus grand nombre de couples, définis comme leurs couples associés (P,, Q,), avec lesquels leurs vecteurs de recalage différent d'un angle inférieur à un seuil angulaire d'une valeur déterminée, par exemple paramétrable. Dans ce type de modes de réalisation, ladite sélection (552) repose sur une déviation (F), exprimée par un triplet d'angles de rotation (α, β, y), entre les vecteurs représentatifs de couples de points de référence (Pr,Qr) par rapport aux îo vecteurs représentatifs de leurs couples associés (P,,Q,).
Dans certains de ces modes de réalisation, la déviation (F) correspond à une fonctionnelle et ladite sélection (552) correspond à une minimisation de cette fonctionnelle par des itérations successives de rotations individuelles, d'une valeur angulaire déterminée, par exemple paramétrable.
D'une manière générale, les variables ou valeurs paramétrables décrites dans la présente demande peuvent être définies par un utilisateur ou concepteur préparant la mise en oeuvre de ladite méthode dans ledit système (1, 1') et les exemples fournis ne sont pas limitatifs. Par exemple, dans certains modes de réalisation, la sélection (551) basée sur les valeurs (SRFT) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation utilise un seuil de 10%. D'autre part, dans certains modes de réalisation, l’étape de sélection (552) basée sur les valeurs (SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de rotation repose sur un seuil angulaire de l'ordre d’un degré.
Selon divers modes de réalisation, le descripteur responsable de ladite détection (54) des couples de points (CP) correspond à un détecteur de Harris déterminant la similitude entre les valeurs moyennes des couleurs dans leurs voisinages respectifs. Ce détecteur, connu en lui-même, permet de déterminer avec une précision suffisante à quel point d’image d’une vue précédente correspond un point d’image d’une vue suivante. La détermination du vecteur est ensuite faite sur la base des points d’image ainsi identifiés.
Dans certains modes de réalisation, le recalage géométrique (56) est appliqué à des points présents au sein d'un nuage de points (NP) obtenu au cours d'une capture déterminée, en utilisant comme référence, pour ce recalage, les données relatives à des coordonnées spatiales déterminées d'une pluralité de points au sein du nuage de points (NP) obtenu lors de la capture précédente. Dans certains de ces modes de réalisation, le recalage (56) géométrique définit ladite pluralité de points de la capture précédente comme des sites de référence pour ce recalage relatif aux coordonnées spatiales des points à recaler par rapport à au moins trois sites de référence définissant un triangle pour lequel la distance correspondant à la projection du point à recaler est la plus faible, grâce à l'identification, pour un point présent au sein d'un nuage de points (NP) correspondant à une capture donnée, des trois points qui en sont les plus proches dans le nuage de points (NP) de la vue précédentes recalée dans le repère global (RG). On comprend ainsi que le recalage (56) géométrique utilise une triangulation (562) des données pour améliorer la précision du recalage par rapport à un triangle de points de la capture précédente, au lieu de se limiter à un seul point. En d'autres termes, pour une vue donnée, les points de la vue précédente sont définis comme des sites de référence par rapport auxquels on souhaite effectuer le recalage géométrique. Ce recalage, pour un point donné d'une vue à recaler, est basé sur la recherche des trois sites de référence dont la position spatiale est la plus proche de celle du point donné. Ces trois sites de référence forment donc un triangle sur lequel on recherche la projection la plus courte du point donné. L’application des deux filtres permet d’améliorer davantage la précision de la reconstruction. Dans certains de ces modes de réalisation, le recalage géométrique (56) tire avantage d'une étape de classement (561) des données à l'aide d'une grille accélératrice (GA), afin d'accélérer l'étape de triangulation. Ce type de grille accélératrice (GA) est connue dans le domaine et utilisée dans la présente demande, en outre, pour accélérer le classement des points comme sites de référence, notamment en filtrant les sites de référence entre eux par l'utilisation d'une distance seuil, par exemple d'une valeur paramétrable. La recherche des sites de référence les plus proches d'un point donné est ainsi accélérée.
L’invention porte également sur un programme comprenant des portions de code représentatives d'instructions pour la mise en oeuvre de la méthode décrite dans la présente demande, lorsque ledit programme est exécuté par des moyens de traitement de données (14).
D'autre part, l'invention porte sur un système (1, 1') de reconstruction îo d’une image tridimensionnelle comprenant des moyens de traitement de données (14) exécutant des instructions stockées dans des moyens de mémorisation (13) pour la mise en oeuvre de la méthode décrite dans la présente demande. Dans certains modes de réalisation, le système (1) de reconstruction comporte les dispositifs d'acquisition (10, 11, 12) fournissant les données représentatives des captures successives.
Les divers modes de réalisations décrits visent à améliorer la prise en compte des données de profondeur lors d'une reconstruction tridimensionelle et/ou à corriger les erreurs dues aux mouvements des capteurs au cours des acquisitions, voire à corriger les imprécisions de capteurs eux-même.
Exemple
1°) Recalage basé images
Le premier recalage, dit « recalage basé images », est basé sur la mise en correspondance de pixels entre deux images. Cette mise en correspondance est traduite en termes de points 3D correspondants couvrant de manière discrète l’environnement 3D.
Dans la première étape dite de « recalage basé images », pour une vue donnée, seule la vue qui la précède est considérée et le recalage est effectué par rapport à cette dernière. En effet, cette vue est généralement celle qui contient le maximum de points (pixels) de ressemblance.
Le recalage basé images comprend deux phases successives. La première est une méthode classique de détermination de couples de points de ressemblance entre ces deux images qui sont définis par une mise en correspondance des points d’intérêt dans les deux vues.
Ces points sont par exemple détectés via un détecteur de Harris qui permet d’identifier les singularités d’une image.
La mise en correspondance de ces points entre les deux images se fait à partir de leur valeur moyenne de couleurs dans leur voisinage.
Les couples de points de ressemblance retenus peuvent îo éventuellement contenir des ressemblances erronées. Pour éliminer ces faux couples de ressemblance on propose une deuxième phase de recalage en utilisant les points 3D associés aux couples de points de ressemblance.
A chaque couple de points ou pixels de ressemblance (p, q) (où p appartient à la vue courante et q à la vue qui la précède), est associé un couple de points 3D (P,Q) où P (respectivement Q) est le point 3D (avec les coordonnées exprimées dans le repère usuel) correspondant au pixel p (respectivement q).
Si le couple de points de ressemblance (p,q) est valide, alors la translation cherchée est égale à ~pq (comme les points 3D sont tous exprimés dans la base usuelle).
Dans un premier temps, un premier filtre est appliqué. Le premier filtre est basé sur les longueurs, consiste à identifier un maximum de couples (p,q) ayant un vecteur ~pq correspondant de norme quasi identique. Ainsi pour chaque couple (p,q), on compte le nombre de couples (p',q') (de points 3D correspondants P' et Q') associés tels que : ||ϋζ7|| ~ ||ρρ||. En pratique, cette expression s’écrit comme :
ΙΗΙΙ(ΐ-ε) < IIWII < |Η||(1 + ε) où ε représente un pourcentage (par exemple 10%).
Le couple ayant un nombre maximal d’associés est retenu avec ses associés.
Dans un deuxième temps, un deuxième filtre est appliqué. Le deuxième filtre est basé sur les angles, consiste à identifier (parmi les couples retenus) un maximum de couples (p,q) ayant un vecteur ~pq correspondant de direction quasi identique. De même, pour chaque couple (p,q), on compte le nombre de couples (p',q') (de points 3D correspondants P' et Q') associés tels que ϋρ7 ~ pq.
En pratique, cela s’exprime comme :
(ρρ,ϋρ7) < θ où (.,.) représente le produit scalaire et Θ est un seuil angulaire (par exemple 1 degré).
Le couple ayant un nombre maximal d’associés, couple appelé couple de référence, est retenu avec ses associés. Ainsi les couples (p,q) retenus ont quasiment les mêmes vecteurs PQcorrespondants. Rappelons que ces derniers vecteurs sont sensés représenter la translation cherchée.
Selon une variante, le filtre des angles est une fonctionnelle minimisée de trois angles de rotation de vecteurs correspondants. Cet aspect permet de contrebalancer d’éventuelles imprécisions du capteur de gyromètre.
Ainsi, la base usuelle de la vue courante est légèrement inclinée par rapport à la base du repère global. Nous proposons une méthode de correction si le nombre de couples de points de ressemblance retenus cidessus est suffisamment important. Si le couple (pr, qr) de points 3D correspondant (Pr et Qr), est le couple de référence, désignons par (p,, q,) les couples associés pour des points 3D correspondant P, et Q,.
On considère la fonctionnelle :
Ρ(α,β,γ)= où α, β et y sont respectivement des angles de rotation autour des axes de coordonnées X, Y et Z dans le repère usuel de la vue courante.
Cette fonctionnelle permet de quantifier la déviation des vecteurs P& par rapport au vecteur de référence pour un triplet d’angles de rotation (α,β,γ) donné qui agit sur les coordonnées du point Prêt des points Pi.
Dans le cas idéal où la base usuelle de la vue courante est alignée avec la base du repère usuel, cette fonctionnelle est quasiment nulle.
Ainsi, pour corriger l’imprécision du gyromètre, on propose de minimiser cette fonctionnelle en appliquant de manière itérative des petites rotations élémentaires autour des axes X, Y et Z dans le repère usuel local de la vue courante afin d’aligner la base usuelle locale avec la base du repère global, ce qui a pour effet le redressement du repère local par rapport au repère global.
Chaque itération du schéma de minimisation de la fonctionnelle ίο F(a,3,y) comprend éventuellement trois rotations successives α, β et y autour des axes X, Y, et Z du repère local de la vue courante. Chaque rotation est aussi déterminée de manière itérative par des petits pas de rotation tant que la fonctionnelle F(a,3,y) diminue.
Les rotations possibles (minimisant la fonctionnelle), examinées dans 15 les deux sens direct et indirect, sont cumulées. A l’issue d’une itération du schéma de minimisation, si aucune rotation n’est possible, le schéma a convergé et le cumul des rotations trouvées représente la correction à apporter à la base usuelle afin de l’aligner sur la base usuelle globale.
Le premier recalage basé images est défini par une translation du 20 repère usuel local de la vue courante de vecteur égal à la moyenne des vecteurs ~pq correspondants aux couples (p,q) de points de ressemblance retenus.
2°) Recalage de type géométrique
Le premier recalage est complété par un deuxième recalage, dit 25 « recalage de type géométrique », pour mieux couvrir l’environnement. En effet, le recalage géométrique permet une exploration continue de l’environnement.
Dans cette deuxième étape de recalage de type géométrique, pour une vue donnée, les points 3D correspondants (points courants) sont recalés par rapport à l’ensemble des points 3D des vues précédentes.
Ces derniers points, appelés sites de référence, sont plongés dans le repère global.
La méthode consiste à calculer la distance des points courants avec le nuage des sites de références dans les zones de recouvrement, et définir la translation cherchée à partir de ces distances.
Par exemple, étant donné un point 3D d’une vue courante, on détermine les trois sites de référence les plus proches. Si ces sites forment un triangle, on calcule la projection du point 3D sur le plan support de ce triangle.
îo Si cette projection tombe à l’intérieur du triangle on considère que le point peut être corrélé avec le nuage de référence, entendu comme une d’une zone de recouvrement, via une translation locale ramenant le point sur sa projection.
En considérant la moyenne de ces vecteurs locaux de translation, on obtient un vecteur global de translation représentant le meilleur compromis de corrélation de la vue courante avec les sites de référence.
De manière générale, l’algorithme du programme selon une variante de l’invention consiste alors, pour une vue donnée, à appliquer de manière itérative ce procédé de corrélation tant que le vecteur global de translation correspondant est significatif.
En effet, à chaque application de ce procédé de corrélation, les points 3D de la vue courante sont repositionnés et la corrélation est de préférence réexaminée. La translation finale est appliquée à tous les points 3D de la vue courante et cette vue est insérée dans les sites de référence.
Pour une question d’efficacité, une grille accélératrice est mise en place pour identifier de manière rapide les trois sites les plus proches d’un point donné. De même, cette même grille, ou une autre, est utilisée pour l’insertion d’une vue dans les sites de référence. En outre, via cette grille ou une autre, les sites de référence peuvent être filtrés entre eux via une distance seuil imposée.
On comprend donc que divers modes de réalisation décrits dans la présente demande atteignent au moins une parties des buts visés, à partir de données acquises (VE, PP, PS) sur une entité (E) et en les transformant pour les rendre plus réalistes via l'utilisation de données spécifiques (SRFT, SRFR, etc.) en limitant les imprécisions ou erreurs de ces données par rapport aux valeurs physiques réelles que présente l'entité (E) examinée (reconstruite). Ainsi, une fois obtenu un nuage de point recalé (NPR), divers modes de réalisation de procédé et/ou de système décrits dans la présente demande permettent de générer une représentation (RE) (sous forme numérique) de l'entité (E), sous la forme de données utilisables pour de nombreuses applications physiques ou virtuelles telle que l'impression îo tridimensionnelle ou la réalité virtuelle, la réalité augmentée ou même l'étude de caractéristiques ou paramètres divers, par exemple en vue de l'étude de valeurs physiques concrètes telles que la résistance mécanique de l'entité examinée dont une représentation moins précise ne permettrait pas de garantir une fiabilité satisfaisante.
II doit être évident pour les personnes versées dans l'art que la présente invention permet des modes de réalisation sous de nombreuses autres formes spécifiques sans l'éloigner du domaine d'application de l'invention comme revendiqué. Par conséquent, les présents modes de réalisation doivent être considérés à titre d'illustration, mais peuvent être modifiés dans le domaine défini par la portée des revendications jointes, et l'invention ne doit pas être limitée aux détails donnés ci-dessus.

Claims (13)

  1. REVENDICATIONS
    1. Méthode de reconstruction d’au moins une représentation tridimensionnelle (RE) d'au moins une entité (E) physique examinée, sur la base d'acquisitions (51) correspondant à n captures successives d'une pluralité de données, de préférence synchronisées entre elles, dans le temps, et comprenant :
    - des données (VE) représentatives de n vues de l'entité (E), composées d'une pluralité de pixels capturés à l'aide d'au moins un premier dispositif d’acquisition, dit capteur optique (10), n étant un entier non-nul,
    - des données (PP) représentatives d'au moins une distance, dite profondeur, mesurées à l'aide d'au moins un second dispositif d’acquisition, dit capteur de profondeur (11), entre au moins une partie des pixels au sein des n vues (VE) et au moins un desdits dispositifs d’acquisition,
    - des données (PS) représentatives de positions successives du système (1) d’acquisition, à chacune des n captures successives, acquises à l'aide d'au moins un troisième dispositif d’acquisition, dit capteur de position (12);
    la méthode étant mise en oeuvre par un système (1, T) de reconstruction de représentation tridimensionnelle (RE) dans lequel lesdites n captures successives obtenues grâces auxdites acquisitions (51) fournissent des données (VE, PP, PS) dont la combinaison est représentative de nuages (NP) de points, la méthode étant caractérisée en ce que • chacun des nuages (NP) de points est référencé dans l'espace par rapport à un repère (RN) usuel respectif;
    • au moins un vecteur est calculé pour définir un recalage (53) à appliquer sur chacun des repères (RN) usuels successifs par rapport au repère précédent;
    • au moins un descripteur met en oeuvre au moins une détection (54) de couples (CP) de points, dits de ressemblance, appartenant respectivement à deux vues successives et présentant une similitude déterminée entre les valeurs d'au moins une de leurs données
    5 représentatives (VE, PP, PS), pour servir de référence au recalage (53);
    dans lequel ledit recalage (53) est appliqué de manière incrémentale sur les n captures successives, de sorte que chaque itération permette de recaler les données représentatives d'une vue (VE) donnée et/ou du îo nuage de points (NP) correspondant par rapport aux précédents, de sorte que les itérations successives permettent le recalage (53) des données par rapport au repère usuel défini pour le premier nuage de points (NP) et utilisé comme un repère global (RG) pour la reconstruction (57) de ladite représentation tridimensionnelle (RE),
    15 et dans lequel les couples (CP) servant de référence pour ledit recalage (53) sont sélectionnés grâce à au moins l'une des étapes suivantes :
    - recalage (55) d'images, basé sur les données représentatives des pixels capturés lors de l'acquisition des vues (VE) successives, ce recalage (55) d'images comprenant au moins
    20 une sélection (551, 552) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFT, SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation et/ou de rotation.
    - recalage géométrique (56) basé sur les données
    25 représentatives des coordonnées des points au sein des nuages de points (NP).
  2. 2. Méthode selon la revendication précédente, caractérisée en ce que, lorsque les données (VE, PP, PS) obtenues par les divers dispositifs (10, 11,
    30 12) distincts du système (1) d'acquisition ont été définies en référence à au moins deux repères tridimensionnels distincts, la méthode comporte, pour à chacune des captures successives, au moins une transposition (52) de ces données (VE, PP, PS) dans un repère tridimensionnel usuel commun, en alignant les bases respectives de chacune de ces données (VE, PP, PS), les unes par rapport aux autres, pour obtenir des données représentatives de n
    5 nuages de points (NP) qui sont référencés par rapport à n repères tridimensionnels usuels successifs définis de manière commune à chacune des captures successives, afin de permettre ledit recalage (53) des nuages de points (NP) pour obtenir ladite reconstruction (57).
  3. 3. Méthode selon l'une des revendications précédentes, caractérisée îo en ce qu'elle met en oeuvre ladite sélection (551) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFT) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation, grâce à une recherche d'un nombre maximum de couples (CP) entre lesquels la translation est définie par un vecteur d'une valeur inférieure à un
    15 seuil déterminé, par exemple paramétrable.
  4. 4. Méthode selon l'une des revendications précédentes, caractérisée en ce que le recalage (55) d'images comprend :
    au moins une sélection (552) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFR) représentatives de la
    20 différence entre les deux points d'un couple (CP) en termes de rotation, à l'aide d'au moins une sélection d'un couple de points de référence (Pr, Qr) ayant le plus grand nombre de couples, définis comme leurs couples associés (Pi, Qi), avec lesquels leurs vecteurs de recalage différent d'un angle inférieur à un seuil angulaire d'une valeur
    25 déterminée, par exemple paramétrable, ladite sélection (552) reposant sur une déviation (F), exprimée par un triplet d'angles de rotation (α, β, y), entre les vecteurs représentatifs de couples de points de référence (Pr,Qr) par rapport aux vecteurs représentatifs de leurs couples associés (P,,Q,).
    30 5. Méthode selon la revendication précédente, caractérisée en ce que la déviation (F) correspond à une fonctionnelle et ladite sélection (552) correspond à une minimisation de cette fonctionnelle par des itérations successives de rotations individuelles, d'une valeur angulaire déterminée, par exemple paramétrable.
    6. Méthode selon l’une des revendications 3 à 5, dans laquelle la
  5. 5 valeur paramétrable est définie par un utilisateur ou concepteur préparant la mise en oeuvre de ladite méthode dans ledit système (1,1').
  6. 7. Méthode selon l’une des revendications précédentes, caractérisée en ce que le descripteur responsable de ladite détection (54) des couples de points (CP) correspond à un détecteur de Harris déterminant la similitude îo entre les valeurs moyennes des couleurs dans leurs voisinages respectifs
  7. 8. Méthode selon l’une des revendications précédentes, dans laquelle l’étape de sélection (551) basée sur les valeurs (SRFT) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation utilise un seuil de translation de l'ordre de 10%.
    15
  8. 9. Méthode selon l’une des revendications précédentes, dans laquelle l’étape de sélection (552) basée sur les valeurs (SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de rotation repose sur un seuil angulaire de l'ordre d’un degré.
  9. 10. Méthode selon l’une des revendications précédentes, dans laquelle
    20 le recalage géométrique (56) est appliqué à des points présents au sein d'un nuage de points (NP) obtenu au cours d'une capture déterminée, en utilisant comme référence, pour ce recalage, les données relatives à des coordonnées spatiales déterminées d'une pluralité de points au sein du nuage de points (NP) obtenu lors de la capture précédente.
    25
  10. 11. Méthode selon la revendication précédente, dans laquelle le recalage (56) géométrique définit ladite pluralité de points de la capture précédente comme des sites de référence pour ce recalage relatif aux coordonnées spatiales des points à recaler par rapport à au moins trois sites de référence définissant un triangle pour lequel la projection du point à
    30 recaler correspond à la distance la plus faible, grâce à l'identification, pour un point présent au sein d'un nuage de points (NP) correspondant à une capture donnée, des trois points qui en sont les plus proches dans le nuage de points (NP) de la vue précédentes recalée dans le repère global (RG).
  11. 12. Programme d’ordinateur comprenant des portions de code 5 représentatives d'instructions pour la mise en oeuvre de la méthode selon l’une des revendications 1 à 11 lorsque ledit programme est exécuté par des moyens de traitement de données (14).
  12. 13. Système (1, 1j de reconstruction d’une image tridimensionnelle comprenant des moyens de traitement de données (14) exécutant des îo instructions stockées dans des moyens de mémorisation (13) pour la mise en oeuvre de la méthode selon l'une des revendications 1 à 11.
  13. 14. Système (1) de reconstruction selon la revendication précédente, caractérisé en ce qu'il comporte les dispositifs d'acquisition (10, 11, 12) fournissant les données représentatives des captures successives.
    1/4
    2/4
FR1656559A 2016-07-07 2016-07-07 Methode et systeme de reconstruction d'une representation tridimensionnelle Expired - Fee Related FR3053817B1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR1656559A FR3053817B1 (fr) 2016-07-07 2016-07-07 Methode et systeme de reconstruction d'une representation tridimensionnelle
DE112017003426.4T DE112017003426T5 (de) 2016-07-07 2017-07-07 Verfahren und System zum Rekonstruieren einer dreidimensionalen Darstellung
PCT/EP2017/067164 WO2018007628A1 (fr) 2016-07-07 2017-07-07 Méthode et système de reconstruction d'une représentation tridimensionnelle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1656559 2016-07-07
FR1656559A FR3053817B1 (fr) 2016-07-07 2016-07-07 Methode et systeme de reconstruction d'une representation tridimensionnelle

Publications (2)

Publication Number Publication Date
FR3053817A1 true FR3053817A1 (fr) 2018-01-12
FR3053817B1 FR3053817B1 (fr) 2021-11-19

Family

ID=56990595

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1656559A Expired - Fee Related FR3053817B1 (fr) 2016-07-07 2016-07-07 Methode et systeme de reconstruction d'une representation tridimensionnelle

Country Status (3)

Country Link
DE (1) DE112017003426T5 (fr)
FR (1) FR3053817B1 (fr)
WO (1) WO2018007628A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111238477B (zh) * 2019-03-25 2023-07-14 武汉珈鹰智能科技有限公司 一种烟囱内无人机的定位方法及装置
CN110341192B (zh) * 2019-07-12 2020-07-17 东北大学 一种基于vr的导板3d打印模型建立方法
CN112215942B (zh) * 2020-09-14 2024-01-12 中国科学院计算技术研究所 一种冷冻电镜局部断层三维图像重构方法及系统
CN117496073B (zh) * 2023-12-29 2024-03-26 山东省国土测绘院 一种多时相实景三维模型的构建方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3025918A1 (fr) * 2014-09-11 2016-03-18 Snapkin Procede et systeme de modelisation automatisee d'une piece
US20160110878A1 (en) * 2014-10-15 2016-04-21 Caterpillar Inc. Motion estimation in real-time visual odometry system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3025918A1 (fr) * 2014-09-11 2016-03-18 Snapkin Procede et systeme de modelisation automatisee d'une piece
US20160110878A1 (en) * 2014-10-15 2016-04-21 Caterpillar Inc. Motion estimation in real-time visual odometry system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EMMANUEL PEREZ BONNAL: "3D Mapping of indoor environments using RGB-D Kinect camera for robotic mobile application", 1 July 2011 (2011-07-01), XP055351499, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.841.8375&rep=rep1&type=pdf> [retrieved on 20170303] *
JACKY CHOW ET AL: "IMU and Multiple RGB-D Camera Fusion for Assisting Indoor Stop-and-Go 3D Terrestrial Laser Scanning", ROBOTICS, vol. 3, no. 3, 11 July 2014 (2014-07-11), pages 247 - 280, XP055351526, DOI: 10.3390/robotics3030247 *
P. HENRY ET AL: "RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments", THE INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH, vol. 31, no. 5, 10 February 2012 (2012-02-10), pages 647 - 663, XP055120449, ISSN: 0278-3649, DOI: 10.1177/0278364911434148 *

Also Published As

Publication number Publication date
FR3053817B1 (fr) 2021-11-19
WO2018007628A1 (fr) 2018-01-11
DE112017003426T5 (de) 2019-03-28

Similar Documents

Publication Publication Date Title
US20230336707A1 (en) Systems and Methods for Dynamic Calibration of Array Cameras
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
EP2715662B1 (fr) Procede de localisation d&#39;une camera et de reconstruction 3d dans un environnement partiellement connu
JP6570327B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP5541653B2 (ja) 撮像装置及びその制御方法
KR101863626B1 (ko) 영상 처리 장치 및 방법
KR102135770B1 (ko) 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
WO2018007628A1 (fr) Méthode et système de reconstruction d&#39;une représentation tridimensionnelle
US9025862B2 (en) Range image pixel matching method
JP2018515825A (ja) Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
TW200841704A (en) Arrangement and method for the recording and display of images of a scene and/or an object
EP2923330A2 (fr) Procede de reconstruction 3d et de mosaïquage 3d panoramique d&#39;une scene
FR3055421A1 (fr) Detection coherente multivisee de changements
WO2017077217A1 (fr) Calibration 3d d&#39;un systeme de mapping video
EP1168831B1 (fr) Procédé de calibration de caméra
Daftry et al. Flexible and User-Centric Camera Calibration using Planar Fiducial Markers.
FR3027144A1 (fr) Procede et dispositif de determination de mouvement entre des images video successives
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
WO2018229358A1 (fr) Procédé et dispositif de construction d&#39;une image tridimensionnelle
WO2021009431A1 (fr) Procede de determination de parametres d&#39;etalonnage extrinseques d&#39;un systeme de mesure
FR3052287B1 (fr) Construction d&#39;une image tridimensionnelle
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
KR101905142B1 (ko) 고리형 필터를 이용한 깊이 추정 방법 및 장치
Korkee 3D scanning with a Kinect depth sensor

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180112

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

ST Notification of lapse

Effective date: 20230305