FR2910648A1

FR2910648A1 - Object's e.g. building, geometrical data capturing method for e.g. online sale application, involves capturing images representing object, from two different view points, and measuring distance between one of view points and point of object

Info

Publication number: FR2910648A1
Application number: FR0611414A
Authority: FR
Inventors: Didier Etienne Nkasmama Muanza
Original assignee: NASKA FILMS SOC RESPONSABILITE
Current assignee: NASKA FILMS SOC RESPONSABILITE
Priority date: 2006-12-26
Filing date: 2006-12-26
Publication date: 2008-06-27

Abstract

The method involves installing an optical device (110) e.g. photographic camera, capable of picking an image at 360 degrees, and capturing two images representing an object (130) e.g. building, from two different view points. The distance between one of the view points and a point of the object present in the images is measured by a range-finder (125) e.g. laser beam. Geometry of the object is determined in three dimensions according to the measured distance, and distortions of a lens of the camera corrected during determination.

Description

1 PROCEDE ET DISPOSITIF DE CAPTURE DE DONNEES GEOMETRIQUES 5 10 La1 METHOD AND DEVICE FOR CAPTURING GEOMETRIC DATA 5 10

présente invention concerne un procédé et un dispositif de capture de données géométriques. Elle s'applique, en particulier, à la construction d'images photo-réalistes, animées ou non, et à la commande de position de caméra dans un décor réel. On rappelle que le photo-réalisme, c'est de la représentation en trois dimensions du monde réel construite à partir d'images du monde réel. Les propriétés optiques du monde réel 15 sont donc respectées en photo-réalisme. Les techniques du photo-réalisme visent à améliorer la rapidité de la modélisation du monde réel et la qualité de cette modélisation. Les applications du photo-réalisme comportent, entre autres, l'aménagement urbain, la production de films, la décoration d'intérieur, la construction immobilière ou industrielle, la chirurgie esthétique, la vente en ligne, les enquêtes policières. The present invention relates to a method and a device for capturing geometric data. It applies, in particular, to the construction of photo-realistic images, animated or not, and the camera position control in a real scenery. We recall that photo-realism is the three-dimensional representation of the real world constructed from images of the real world. The optical properties of the real world 15 are therefore respected in photo-realism. Photo-realism techniques aim to improve the speed of real-world modeling and the quality of this modeling. The applications of photo-realism include, among others, urban planning, film production, interior design, construction or industrial construction, cosmetic surgery, online sales, police investigations.

20 On connaît des techniques utilisées en photogrammétrie, techniques qui ont pour but de localiser et de restituer, de façon précise, les caractéristiques géométriques (formes, dimensions, orientations respectives) d'un objet, à partir de plusieurs prises de vues. Elles permettent de retrouver, à partir, par exemple, de deux photographies faites d'un objet, sous deux angles différents, la position d'un point dans l'espace identifiable des deux photographies.Techniques used in photogrammetry are known, techniques which aim to precisely locate and restore the geometrical characteristics (shapes, dimensions, respective orientations) of an object, from several shots. They make it possible to find, for example, from two photographs made of an object, from two different angles, the position of a point in the identifiable space of the two photographs.

25 Autrement dit, en repérant des éléments communs sur deux photographies, un module logiciel est en mesure de déterminer, en trois dimensions, les positions relatives aux positions prises par l'appareil photo, des points communs dans les deux images. Ce module peut également déterminer les positions de l'appareil photographique et les propriétés optiques de cet appareil photographique, par exemple longueur focale et anamorphose, en chaque position.In other words, by identifying common elements in two photographs, a software module is able to determine, in three dimensions, the positions relative to the positions taken by the camera, common points in the two images. This module can also determine the positions of the camera and the optical properties of this camera, for example focal length and anamorphosis, in each position.

30 Ensuite, en indiquant une distance entre deux points, connue lors de la prise de vues et l'orientation globale, le module logiciel est en mesure de tenir compte de l'échelle réelle de notre univers calibré, qui définit la modélisation des volumes photographiés. Puis on utilise des techniques de stéréo et multi stéréo modélisation : une fois les appareils photographiques récupérés , calibrés et les distances relatives des points 2910648 2 capturées, il est possible de positionner précisément des points sur la surface à modéliser dans un autre espace calibré. En reliant les points, un opérateur peut reproduire, dans un espace virtuel, les composantes de chaque surface photographiée dans notre univers 3D. La précision du modèle dépend du nombre de points positionnés. L'ordinateur ne sait alors pas encore relier correctement les points. Cette modélisation dépend de l'interprétation que fait l'opérateur des formes. Le "camera mapping" tient compte de ce que la forme apparente d'un objet dépend de l'angle de l'observateur. Projeter une image sur une surface 3D à partir d'un projecteur suit le même principe que celui du vidéo-projecteur. On profite de la calibration obtenue précédemment pour projeter les prises de vues sur l'objet modélisé. Cette projection devient la texture de l'objet. Cette partie logicielle pose néanmoins de nombreux problèmes, tels que la distorsion des images projetées sur le modèle et la qualité du mélange des différentes projections entre elles sur les surfaces modélisées. La distorsion est relative à la perpendicularité proportionnelle des faces du modèle vis-à-vis du plan de projection : pour des raisons géométriques, plus une face est perpendiculaire, plus il y a distorsion de la projection. Les images projetées sur le modèle, mais également les masques nécessaires pour que les différentes projections co-existent sur le même modèle, subissent automatiquement une distorsion optique. Un logiciel de dé-distorsion doit être développé et optimisé afin qu'il soit interfaçable avec d'autres logiciels de traitement d'images et plus facile d'utilisation. (projections des textures par rapport à la caméra de rendu). Ainsi, dans les méthodes de photo-réalisme connues appliquées à la production d'un film, les étapes mises en oeuvre sont les suivantes : -prise de vue des images de référence dans le décor du tournage, modélisation en trois dimensions pas à pas, en tenant compte d'un étalon de mesure, texture et UV, c'est-à-dire la projection d'une image sur un plan en deux dimensions, à partir d'une scène en trois dimensions, line test (c'est-à-dire l'utilisation d'un extrait du film en cours de réalisation pour valider la robustesse du procédé photo-réaliste utilisé), - nombreuses retouches effectuées à la main par le graphiste, tests jusqu'à validation définitive, rendu final, c'est-à-dire le calcul des images et des séquences d'images finales et leur fusion avec des images réelles issues du tournage. Ces méthodes présentent de nombreux défauts, dont l'imprécision des résultats due au fait que le graphiste doit estimer les dimensions et distances des objets présents dans la scène.Then, by indicating a distance between two points, known during the shooting and the global orientation, the software module is able to take into account the real scale of our calibrated universe, which defines the modeling of the volumes photographed. . Stereo and multi stereo modeling techniques are then used: once the photographic devices have been recovered, calibrated and the relative distances of the captured points, it is possible to precisely position points on the surface to be modeled in another calibrated space. By connecting the points, an operator can reproduce, in a virtual space, the components of each photographed surface in our 3D universe. The accuracy of the model depends on the number of points set. The computer can not yet connect the dots correctly. This modeling depends on the operator's interpretation of the shapes. The camera mapping takes into account that the apparent shape of an object depends on the angle of the observer. Projecting an image on a 3D surface from a projector follows the same principle as that of the video projector. We take advantage of the calibration obtained previously to project the shots on the modeled object. This projection becomes the texture of the object. This software part nevertheless poses numerous problems, such as the distortion of the images projected on the model and the quality of the mixture of the different projections between them on the modeled surfaces. The distortion is relative to the proportional perpendicularity of the faces of the model vis-à-vis the projection plane: for geometric reasons, the more a face is perpendicular, the more there is distortion of the projection. The images projected on the model, but also the masks necessary so that the different projections co-exist on the same model, undergo an optical distortion automatically. De-distortion software must be developed and optimized to be interfaceable with other image processing software and easier to use. (projections of textures in relation to the rendering camera). Thus, in the known photo-realism methods applied to the production of a film, the steps implemented are as follows: - view of the reference images in the shooting scenery, three-dimensional modeling step by step, taking into account a measurement standard, texture and UV, that is to say the projection of an image on a plane in two dimensions, from a three-dimensional scene, line test (it is ie the use of an excerpt of the film in progress to validate the robustness of the photorealistic process used), - many alterations done by hand by the graphic designer, tests until final validation, final rendering, that is, the calculation of images and sequences of final images and their fusion with real images from the shooting. These methods have many flaws, including the inaccuracy of the results due to the fact that the designer must estimate the dimensions and distances of the objects present in the scene.

2910648 3 Les techniques utilisées peuvent comporter les techniques dites High Dynamic Range (HDR, pour, en français grande plage de dynamique) et Image Based Lighting (IBL, pour, en français, éclairage basé sur l'image). Le HDR est un format d'image qui permet de capturer toutes les nuances de luminance, même non perceptibles par l'oeil humain ou l'appareil 5 photographique. L'IBL permet de simuler l'ambiance lumineuse à partir d'une image. Plus cette image contient d'information, plus la simulation gagne en précision. D'où l'utilité de la combinaison avec le HDR. On connaît aussi des techniques de reconstruction logicielle 3D ou stéréogrammétrie par lesquelles on enregistre des images, et des distances d'objets aux caméras et les positions 10 géographiques des objets et de la caméra. On effectue un calibrage de l'image, une analyse de la distorsion d'image, une récupération et un transfert des données en temps réel (mesures télémétriques, informations dynamiques diaphragme, distance focale, vitesse d'obturation, dimensions du plan image en millimètres) et stockage en mémoire. Toutes les informations caractérisant les points de l'espace et les caméras, et les images prises sont traitées par une 15 unité de traitement d'images. Un moteur de reconstruction logicielle transforme les images en images de référence, par exemple sphériques ou cubiques. Ces images de référence permettent ensuite de construire des scènes photo-réalistes en trois dimensions. Pour obtenir la base de données correspondant à la photographie en trois dimensions, dans son contexte, plusieurs techniques doivent être utilisées : la technique dite de photogrammétrie puis la 20 technique de stéréo modelling et enfin la technique de caméra mapping . Ainsi, la stéréogrammétrie 3D comporte, successivement : - la prise de vue (panoramique et/ou multi points de vue) avec au moins une mesure de distance ; - la calibration (position et orientation de paires de cameras virtuelles, clonées à 25 partir de prise de vue réelle) avec génération d'un nuage de points repérés en trois dimensions ; - le stéréomodeling , c'est-à-dire la modelisation 3D à partir d'au moins deux images, automatique ou manuelle ; - le camera mapping" ; 30 - le Une test ; - quelques retouches et -le rendu final. On observe que la précision obtenue ne dépend plus du graphiste car on mesure réellement les dimensions, ce qui aboutit à un temps de travail réduit qui nécessite beaucoup 2910648 4 moins de retouches manuelles. Le moteur de reconstruction automatise cette phase. Pour la génération du nuage de points 3D, on effectue : - une reconstruction automatique du modèle à partir du nuage de points ; - une extraction de textures et application du modèle 3D ; 5 - une détermination de la scène virtuelle avec illumination 3D ; - une exportation de scènes et visualisation de la scène 3D ; - un suivi ou tracking en trois dimensions, qui permet de récupérer à l'identique le comportement d'une caméra (mouvement et optique) dans un espace virtuel. Ainsi, grâce à un principe de triangulation, on retrouve les coordonnées 3D de la caméra 10 de tournage et on applique ces données à une camera virtuelle (dite dummy ). Le suivi, ou tracking permet une intégration des objets 3D dans les mouvements de caméra, même complexes. Toutes ces techniques sont lentes et de mise en oeuvre difficile. La présente invention vise à remédier à ces inconvénients.2910648 3 The techniques used may include High Dynamic Range (HDR) techniques and Image Based Lighting (IBL). HDR is an image format that captures all shades of luminance, even if not perceptible to the human eye or the camera. IBL is used to simulate the light environment from an image. The more information this image contains, the more accurate the simulation becomes. Hence the utility of the combination with the HDR. Also known are 3D software reconstruction or stereogrammetry techniques by which images are recorded, and object distances to the cameras and the geographical positions of the objects and the camera. Image calibration, image distortion analysis, real-time data retrieval and transfer (telemetry measurements, dynamic iris information, focal length, shutter speed, image plane dimensions in millimeters ) and storage in memory. All information characterizing the points of the space and the cameras, and the images taken are processed by an image processing unit. A software reconstruction engine transforms the images into reference images, for example spherical or cubic. These reference images can then be used to construct photo-realistic scenes in three dimensions. To obtain the database corresponding to the three-dimensional photograph, in its context, several techniques must be used: the so-called photogrammetry technique then the stereo modeling technique and finally the camera mapping technique. Thus, the 3D stereogrammetry comprises, successively: shooting (panoramic and / or multi-point of view) with at least one distance measurement; calibration (position and orientation of pairs of virtual cameras, cloned from actual shooting) with generation of a cloud of points identified in three dimensions; stereomodeling, that is to say 3D modeling from at least two images, automatic or manual; - the camera mapping "; 30 - the A test - some retouching and the final rendering It is observed that the precision obtained no longer depends on the designer because we really measure the dimensions, which results in a reduced working time that requires much less manual editing 2910648 The reconstruction engine automates this phase For the 3D point cloud generation, we perform: - an automatic reconstruction of the model from the point cloud - an extraction of textures and application of the model 3D; 5 - a determination of the virtual scene with 3D illumination; - an export of scenes and visualization of the 3D scene; - a tracking or tracking in three dimensions, which allows to recover identically the behavior of a camera ( movement and optics) in a virtual space.Thus, thanks to a principle of triangulation, we find the 3D coordinates of the camera 10 of shooting and we apply these data to a camera virtual (dummy). Tracking or tracking allows integration of 3D objects into even complex camera movements. All these techniques are slow and difficult to implement. The present invention aims to remedy these disadvantages.

15 A cet effet, selon un premier aspect, la présente invention vise un procédé de capture de données géométriques, caractérisé en ce qu'il comporte : une étape de capture d'au moins deux images du monde à partir de deux configurations de paramètres d'un système de prise d'images positionné en au moins un point de vue, - une étape de mesure télémétrique de la distance entre au moins un desdits points de 20 vue et au moins un point d'un objet présent dans au moins deux desdites images et - une étape de détermination de géométrie, en trois dimensions, d'objets présents dans au moins deux desdites images, en fonction de chaque mesure télémétrique. Grâce à ces dispositions, la mesure de la distance servant à calibrer le monde réel est précise et rapide et l'étape de détermination géométrique est plus rapide et/ou plus précise et il 25 est possible, à l'aide d'une équipe réduite, de modéliser un quartier, une pièce, une personne, une scène, en quelques jours, là où il fallait, dans l'art antérieur, une équipe nombreuse et des semaines de travail. Selon des caractéristiques particulières, les configurations différentes comportent en des longueurs focales différentes.For this purpose, according to a first aspect, the present invention aims a method of capturing geometric data, characterized in that it comprises: a step of capturing at least two images of the world from two configurations of parameters of an imaging system positioned in at least one viewpoint; a telemetric measurement step of the distance between at least one of said viewpoints and at least one point of an object present in at least two of said viewpoints; images and - a step of geometric determination, in three dimensions, of objects present in at least two of said images, as a function of each telemetric measurement. Thanks to these arrangements, the distance measurement used to calibrate the real world is accurate and fast and the geometric determination step is faster and / or more accurate and it is possible, with the help of a small team. , to model a neighborhood, a room, a person, a scene, in a few days, where it was necessary, in the prior art, a large team and weeks of work. According to particular characteristics, the different configurations comprise different focal lengths.

30 Selon des caractéristiques particulières, les configurations différentes comportent des distances de mise au point différentes. Grâce à chacune de ces dispositions, un seul système de prise d'images suffit pour capter les différentes images à traiter. Selon des caractéristiques particulières, au cours de l'étape de capture d'images, on met 2910648 5 en oeuvre un appareil de prise de vue capable de prendre une image à 360 degrés. Grâce à ces dispositions, on peut traiter l'ensemble des objets présents dans une scène sans avoir à multiplier le nombre de prises d'images et sans avoir de décalage temporel entre les instants de prise d'image effectuées depuis le même point de vue.According to particular features, the different configurations have different focusing distances. Thanks to each of these arrangements, a single imaging system is sufficient to capture the different images to be processed. According to particular features, during the image capture step, a camera capable of taking a 360-degree image is used. Thanks to these arrangements, all the objects present in a scene can be processed without having to multiply the number of images taken and without having a time lag between the times of taking images taken from the same point of view.

5 Selon des caractéristiques particulières, au cours de l'étape de capture d'images, on met en oeuvre un objectif comportant deux miroirs associés à deux objectifs adaptés à prendre, chacun, une image à 180 degrés. Grâce à ces dispositions, la réalisation de l'objectif est aisée et évite que l'appareil de prise de vue se trouve intégralement dans l'image prise.According to particular features, during the image capture step, an objective is implemented comprising two mirrors associated with two lenses adapted to take, each, a 180-degree image. Thanks to these arrangements, the achievement of the objective is easy and prevents the camera from being entirely in the image taken.

10 Selon des caractéristiques particulières, au cours de l'étape de capture d'images, on prend plusieurs images de mêmes objets depuis le même point de vue en modifiant la quantité de lumière captée par un moyen de prises d'images mis en oeuvre pour les captures d'images. Grâce à ces dispositions, en traitant les différentes images prises avec des ouvertures, ou diaphragmes, différentes, on augmente la dynamique de l'image prise et on évite que de 15 perdre des détails dans les zones sur-exposées ou sous-exposées. Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape de projection d'au moins une image captée sur des polygones déterminés au cours de l'étape de détermination de géométrie. Grâce à ces dispositions, on constitue aisément et précisément la texture des objets.According to particular features, during the image capture step, several images of the same objects are taken from the same point of view by modifying the quantity of light captured by an imaging means used for the image captures. Thanks to these arrangements, by processing the different images taken with different apertures, or diaphragms, the dynamic of the image taken is increased and the loss of detail in the over-exposed or underexposed areas is avoided. According to particular features, the method as briefly described above comprises a step of projecting at least one image captured on polygons determined during the geometry determination step. Thanks to these provisions, the texture of the objects is easily and accurately formed.

20 Selon des caractéristiques particulières, au cours de l'étape de détermination de géométrie, on corrige des déformations d'objectif de prise de vues. Grâce à ces dispositions, on évite les erreurs de calcul dues aux déformations d'image liées aux défauts de l'objectif. Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci- 25 dessus comporte une étape de détermination de déformations d'objectif de prise de vues en mettant en oeuvre des objets de géométrie prédéterminée et au moins une image captée en mettant en oeuvre ledit objectif. Grâce à ces dispositions, la détermination des déformations est aisée et précise, la comparaison de l'image des objets de géométrie prédéterminée, par exemple une mire ou une 30 matrice de lignes verticales et horizontales, avec l'image attendue de ces objets, fournissant les déformations recherchées. Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape de détermination de mouvement de caméra en fonction d'images captées par ladite caméra et de la géométrie déterminée au cours de l'étape de détermination 2910648 6 de géométrie. Grâce à ces dispositions, à partir des images prises avec une caméra et connaissant la géométrie en trois dimensions d'au moins une partie de l'espace l'environnant, on détermine, en trois dimensions et dans le temps, la trajectoire de la caméra.According to particular features, during the geometry determination step, lens deformations are corrected. Thanks to these provisions, calculation errors due to image distortions related to lens defects are avoided. According to particular features, the method as briefly described above comprises a step of determining lens deformations by using objects of predetermined geometry and at least one image captured by implementing said lens. . Thanks to these provisions, the determination of the deformations is easy and precise, the comparison of the image of the objects of predetermined geometry, for example a pattern or a matrix of vertical and horizontal lines, with the expected image of these objects, providing the desired deformations. According to particular features, the method as briefly described above comprises a step of determining camera movement as a function of images captured by said camera and the geometry determined during the geometry determination step. Thanks to these arrangements, from the images taken with a camera and knowing the three-dimensional geometry of at least part of the surrounding space, the trajectory of the camera is determined in three dimensions and in time. .

5 Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape d'ajout d'objets virtuels dont la géométrie est prédéterminée, dans des images captées par une caméra et comportant des objets dont la géométrie a été déterminée au cours de l'étape de détermination de géométrie. Grâce à ces dispositions, ont peut améliorer la scène avec des objets virtuels, fixes ou 10 animés. Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape de détermination de source de lumière. Grâce à ces dispositions, on peut connaître la position de sources de lumière et ajouter des objets virtuels en simulant leur éclairage avec la ou les sources de lumières réelles.According to particular features, the method as briefly described above comprises a step of adding virtual objects whose geometry is predetermined, in images captured by a camera and comprising objects whose geometry has been determined during of the geometry determination step. Thanks to these arrangements, the scene can be improved with virtual, fixed or animated objects. According to particular features, the method as briefly described above comprises a step of determining a light source. With these provisions, we can know the position of light sources and add virtual objects by simulating their lighting with the source or sources of real lights.

15 Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape de modification de source de lumière et de détermination de luminosité de points d'objets dont la géométrie a été déterminée au cours de l'étape de détermination de géométrie. Grâce à ces dispositions, on peut modifier l'éclairage de la scène, par exemple pour le 20 rendre cohérent avec l'éclairage d'acteurs ou d'objets virtuels. Selon un deuxième aspect, la présente invention vise un dispositif de capture de données géométriques, caractérisé en ce qu'il comporte : - un moyen de capture d'au moins deux images du monde à partir de deux points de vue différents, lesdites images représentant, au moins partiellement, les mêmes objets, 25 - un moyen de mesure télémétrique de la distance entre au moins un desdits points de vue et au moins un point d'un objet présent dans au moins deux desdites images et - un moyen de détermination de géométrie, en trois dimensions, d'objets présents dans au moins deux desdites images. Selon un troisième aspect, la présente invention vise un procédé de codage d'image, 30 caractérisé en ce qu'il comporte une étape de codage d'une information de distance dans une information représentative de l'image. Selon des caractéristiques particulières, ce procédé comporte une étape de capture d'information de distance avec un télémètre. Selon des caractéristiques particulières, ce procédé comporte une étape de définition 2910648 7 d'un en-tête de signal représentatif d'image, ladite information de distance étant représentée par le contenu dudit en-tête. Les avantages, buts et caractéristiques de ce dispositif et de ce procédé de codage d'image étant similaires à ceux du procédé tel que succinctement exposé ci-dessus, ils ne sont 5 pas rappelés ici. D'autres avantages, buts et caractéristiques de la présente invention ressortiront de la description qui va suivre, faite dans un but explicatif et nullement limitatif en regard des dessins annexés, dans lesquels : - la figure 1 représente, schématiquement, un mode de réalisation particulier d'un 10 dispositif objet de la présente invention, - la figure 2 représente, schématiquement et en vue de dessus, un premier mode de réalisation particulier d'un moyen de prise d'images incorporé dans le dispositif illustré en figure 1, - la figure 3 représente, schématiquement et en coupe horizontale, un deuxième mode 15 de réalisation particulier d'un moyen de prise d'images incorporé dans le dispositif illustré en figure 1 et - la figure 4 représente, sous forme d'un logigramme, des étapes d'un mode de réalisation particulier d'un procédé objet de la présente invention. On observe, en figure 1, un moyen de prise d'images 105 muni d'un dispositif optique 20 110, un moyen de prise d'images 115 muni d'un dispositif optique 110, une mémoire d'images 120, un télémètre 125, des objets 130, un moyen de traitement d'image 135, une mémoire vidéo 140 et une mémoire d'objets virtuels 145. Dans toute la description, on n'a représenté et décrit que deux positions de prise d'images, dans un but de clarté et de simplification. Cependant, préférentiellement, le dispositif 25 et le procédé objets de la présente invention mettent en oeuvre un plus grand nombre de positions de prise d'images, ce qui permet d'augmenter la précision des résultats, en terme de localisation des points d'objets 130 présents dans la scène aussi bien qu'en terme de qualité de leur texture. Le moyen de prise d'images 105 peut être argentique ou électronique. Il est, par 30 exemple, constitué d'un appareil photo numérique ou d'une caméra numérique. Le moyen de prise d'images 115 est identique au moyen de prise d'images 105. Selon les variantes, on met en oeuvre simultanément deux moyens de prise d'images différents placés en deux positions différentes ou on met en oeuvre successivement le même moyen de prise d'images en deux positions différentes.According to particular features, the method as briefly described above comprises a step of modifying the light source and determining the brightness of points of objects whose geometry has been determined during the geometry determination step. . Thanks to these arrangements, the lighting of the scene can be modified, for example to make it coherent with the illumination of actors or virtual objects. According to a second aspect, the present invention relates to a device for capturing geometric data, characterized in that it comprises: a means for capturing at least two images of the world from two different points of view, said images representing at least partially, the same objects, - a means for measuring the distance between at least one of said points of view and at least one point of an object present in at least two of said images; three-dimensional geometry of objects present in at least two of said images. According to a third aspect, the present invention relates to an image coding method, characterized in that it comprises a step of coding a distance information in an information representative of the image. According to particular features, this method comprises a step of capturing distance information with a rangefinder. According to particular features, this method comprises a step of defining an image representative signal header, said distance information being represented by the content of said header. Since the advantages, aims and features of this image coding device and method are similar to those of the method as succinctly set forth above, they are not repeated here. Other advantages, aims and features of the present invention will become apparent from the following description, given for the purpose of explanation and in no way limitative with reference to the accompanying drawings, in which: FIG. 1 represents, schematically, a particular embodiment 2 schematically and in plan view, a first particular embodiment of an imaging means incorporated in the device illustrated in FIG. 1, FIG. FIG. 3 is a diagrammatic and horizontal sectional view of a second particular embodiment of an imaging device incorporated in the device illustrated in FIG. 1 and FIG. 4 represents, in the form of a logic diagram, steps of a particular embodiment of a method that is the subject of the present invention. FIG. 1 shows imaging means 105 provided with an optical device 110, imaging means 115 provided with an optical device 110, an image memory 120, a telemeter 125 , objects 130, image processing means 135, video memory 140 and virtual object memory 145. Throughout the description, only two image taking positions have been shown and described in one embodiment. purpose of clarity and simplification. However, preferentially, the device 25 and the method that are the subject of the present invention use a larger number of image-taking positions, which makes it possible to increase the accuracy of the results, in terms of locating the points of objects. 130 present in the scene as well as in terms of the quality of their texture. The imaging means 105 may be silver or electronic. It is, for example, a digital camera or a digital camera. The image pickup means 115 is identical to the image pickup means 105. According to the variants, two different image pickup means placed in two different positions are implemented simultaneously or the same means is used successively. taking pictures in two different positions.

2910648 8 Le dispositif optique 110 peut être un objectif de type connu, par exemple à grand-angle par exemple de type connu sous le nom de fish eye , c'est-à-dire permettant la prise d'une image qui couvre un angle d'au moins 150 degrés. Préférentiellement, le dispositif optique 110 permet de réaliser une image sur 360 5 degrés. A cet effet, deux variantes sont exposées dans la description : - dans la première, illustrée en figure 2, on utilise, devant un appareil photo 205 munie d'un objectif 240, une sphère parfaite chromée 220 autour de laquelle on fait tourner l'appareil photo 205 pour prendre des images, préférentiellement depuis au moins trois positions de la caméra séparées par des angles obtus, par exemple 120 , 10 - dans la deuxième, illustrée en figure 3, on utilise, associés à un appareil photo 305, une combinaison de deux objectifs très grand angle ( fish eye ) 360 et 365 et de deux miroirs 350 et 355 formant sur le capteur d'image de l'appareil photo 305, les images formées par les objectifs 360 et 365. Préférentiellement, les objectifs 360 et 365 couvrent un champ optique supérieur à 180 .The optical device 110 may be an objective of known type, for example at wide angle for example of a type known as the fish eye, that is to say allowing the taking of an image that covers an angle at least 150 degrees. Preferably, the optical device 110 makes it possible to produce a 360 degree image. For this purpose, two variants are exposed in the description: - in the first, illustrated in Figure 2, is used in front of a camera 205 with a lens 240, a perfect chrome sphere 220 around which is rotated 205 to take pictures, preferably from at least three positions of the camera separated by obtuse angles, for example 120, 10 - in the second, illustrated in Figure 3, is used, associated with a camera 305, a combination two very wide angle lenses (fish eye) 360 and 365 and two mirrors 350 and 355 forming on the image sensor of the camera 305, the images formed by the lenses 360 and 365. Preferably, the lenses 360 and 365 cover an optical field greater than 180.

15 Préférentiellement, depuis le même point de vue, on effectue successivement la capture de plusieurs images prises, sans changer ni la position du moyen de prise d'images 105, ni la longueur focale, ni la mise au point du dispositif optique 110, mais en faisant varier, entre deux prises d'images, la quantité de lumière captée par le moyen de prise d'images 105. A cet effet, on agit manuellement ou par commande électronique, sur l'ouverture d'un diaphragme incorporé 20 dans le dispositif optique ou sur la durée d'exposition d'un capteur d'image électronique ou argentique, du moyen de prise d'images 105. De cette manière, les zones les plus lumineuses de la scène, par exemple les sources de lumière ou leurs reflets sont correctement captées, avec des détails, dans au moins une image et les zones les plus sombres, par exemple à l'ombre, sont correctement captées, avec des détails, dans au moins une autre image. Le 25 traitement de ces images, par exemple la moyenne des valeurs d'éclairements captés pour le même point d'une scène, permet de fournir une image de très haute dynamique. La mémoire d'images 120 est adaptée à conserver les images captées par les moyens de prise d'images 105 et 115 ou de résultats de traitements effectués sur ces images. Le télémètre 125, par exemple de type mettant en oeuvre un rayon laser, est, préférentiellement, 30 mécaniquement lié au moyen de prise d'images 105 et est adapté à mesurer la distance entre le moyen de prise d'images 105 et au moins un objet 130, lorsque le moyen de prise d'images 105 est en position de prise d'images. Les objets 130 sont de type quelconque, par exemple des immeubles, des murs, des éléments de décor et plus généralement tout objet dont une image peut être captée.Preferably, from the same point of view, the capture of several images taken is performed successively, without changing either the position of the image taking means 105, or the focal length, or the focusing of the optical device 110, but by varying, between two images, the quantity of light captured by the imaging means 105. For this purpose, it acts manually or by electronic control, on the opening of a diaphragm incorporated in the optical device or the exposure time of an electronic or film image sensor, the imaging means 105. In this way, the brightest areas of the scene, for example the light sources or their reflections are correctly captured, with details, in at least one image and the darkest areas, for example in the shade, are correctly captured, with details, in at least one other image. The processing of these images, for example the average of the values of lightings captured for the same point of a scene, makes it possible to provide an image of very high dynamics. The image memory 120 is adapted to retain the images captured by the image pickup means 105 and 115 or the results of processing performed on these images. The telemeter 125, for example of the laser beam type, is preferably mechanically connected to the image pickup means 105 and is adapted to measure the distance between the imaging means 105 and at least one object 130, when the imaging means 105 is in the imaging position. The objects 130 are of any type, for example buildings, walls, decorative elements and more generally any object whose image can be captured.

2910648 9 Le moyen de traitement d'image 135 est adapté à traiter les images conservées par la mémoire d'images 120, par la mémoire vidéo 140 et par la mémoire d'objets virtuels 145, conformément aux étapes du logigramme illustré en figure 4, pour fournir soit des données géométriques des objets présents dans le monde réel et des textures de ces objets, soit des 5 données géométriques de trajectoire de caméra, soit des images de la scène, comportant, ou non des objets virtuels. On observe que le mouvement de caméra ainsi déterminé, par exemple un travelling peut être ré-injecté dans le motion control motorisé d'une caméra pour ré-effectué ensuite, le même mouvement autant de fois que nécessaire au cours d'un tournage.The image processing means 135 is adapted to process the images stored by the image memory 120, the video memory 140 and the virtual object memory 145, according to the steps of the logic diagram illustrated in FIG. 4. to provide either geometric data of objects present in the real world and textures of these objects, or geometric data of camera trajectory, or images of the scene, including or not virtual objects. It is observed that the camera movement thus determined, for example a tracking shot can be re-injected into the motorized motion control of a camera for re-performed then, the same movement as many times as necessary during a shoot.

10 Par exemple, le moyen de traitement d'image 135 est un serveur disposant des ressources logicielles et mémoire nécessaires ainsi que des interfaces permettant de recevoir les données d'image et de télémétrie ainsi que, éventuellement, les séquences vidéos et les données d'objets ou acteurs virtuels. Dans d'autres modes de réalisation, on n'utilise qu'un seul moyen de prise d'image et, 15 entre les prises d'images, on change la configuration des paramètres de prise d'image en modifiant la longueur focale de l'objectif et/ou la distance de mise au point. On observe, en figure 2, un appareil photo numérique 205, un trépied 210 muni d'un bras de déport 215, une sphère 220, des éclairages 225, un télémètre 230 et des moteurs pas à pas 235.For example, the image processing means 135 is a server having the necessary software and memory resources as well as interfaces for receiving the image and telemetry data as well as, optionally, the video sequences and the data of virtual objects or actors. In other embodiments, only one image pickup means is used and, between the shots, the configuration of the image pickup parameters is changed by changing the focal length of the image. objective and / or focus distance. FIG. 2 shows a digital camera 205, a tripod 210 provided with an offset arm 215, a sphere 220, lights 225, a rangefinder 230 and stepper motors 235.

20 L'appareil photo numérique 205 est de type connu. Il possède, par exemple, un capteur à 16 millions de pixels. Le trépied 210 est de type connu. Le bras de déport 215 décale l'appareil photo numérique 205 par rapport à l'axe de rotation de la tête du trépied 210. Dans ce mode de réalisation, c'est le centre de la sphère qui se trouve sur cet axe. En effet, préférentiellement, on prend des images des reflets sur la sphère depuis les trois sommets d'un triangle sensiblement 25 équilatéral pour avoir des données sur la scène complète entourant la sphère 220. La sphère 220 est une sphère polie, chromée, formant miroir. Les éclairages 225, qui sont ceux utilisés pendant le tournage, permettent de disposer de plusieurs niveaux et angles d'illumination (à cet effet, chacun des éclairages utilisés pendant le tournage, positionnés dans leurs positions du tournage, est successivement allumé, les autres 30 étant alors éteints et on prend au moins une image de la scène, pour déterminer l'influence de chaque source d'éclairage sur la scène. Puis, après le tournage, on détermine leur niveau d'intensité lors du tournage, en utilisant ces mesures d'influence). Le télémètre 230, préférentiellement à rayon laser, est adapté à communiquer sans fil à courte distance avec l'appareil photo numérique 205 de telle manière qu'il effectue une mesure 2910648 10 au moment de chaque prise de vue. Les résultats des mesures télémétriques sont associés au signal représentatif d'image, dans un format d'image particulier. A cet effet, on met en oeuvre un procédé de codage d'image, qui comporte une étape de codage d'une information de distance dans une information représentative de l'image et, préférentiellement, une étape de définition 5 d'un en-tête de signal représentatif d'image, l'information de distance provenant du télémètre étant représentée par le contenu dudit en-tête. Préférentiellement, le télémètre 230 est adaptable sur une prise flash de l'appareil photo 205. Les moteurs pas à pas 235 sont télécommandés pour contrôler la direction du télémètre 10 230. La télécommande (non représentée) permet de limiter les risques de faire bouger l'appareil photo entre deux prises de vues. On réalise ainsi un relevé topographique de la scène avec les télémètres. Les formats numériques de prise de vues susceptibles d'être mis en oeuvre comportent : RAW (ce format d'image est une option de fichier disponible sur certaines caméras vidéo. Il 15 utilise généralement une compression sans perte et produit des fichiers d'image beaucoup plus petits que le format TIFF.), Open EXR (un format de fichier d'image à haute dynamique HDR développé par Industrial Light & Magic, marque déposée, pour utilisation dans des applications d'imagerie) et NEF (format propriétaire de Nikon, marque déposée). Pour la mise en oeuvre de la présente invention, on ajoute, dans le format de fichier, des 20 informations provenant du télémètre, le codage de la séquence d'image ajoutant des champs de position de pointeur laser et de distance mesurée de chaque télémètre. En variante, on utilise des capacités de synchronisation des fichiers d'image avec des fichiers texte, dans lesquels on enregistre les positions de pointeur du télémètre et les distances mesurées par le télémètre associé à chaque caméra.The digital camera 205 is of a known type. It has, for example, a 16 million pixel sensor. The tripod 210 is of known type. The offset arm 215 shifts the digital camera 205 relative to the axis of rotation of the tripod head 210. In this embodiment, it is the center of the sphere that is on that axis. Indeed, preferentially, images of the reflections on the sphere are taken from the three vertices of a substantially equilateral triangle to obtain data on the complete scene surrounding the sphere 220. The sphere 220 is a polished, chromed mirror-forming sphere . The lights 225, which are those used during the turning, make it possible to have several levels and angles of illumination (for this purpose, each of the lights used during the turning, positioned in their turning positions, is successively lit, the others 30 then being switched off and taking at least one image of the scene, to determine the influence of each lighting source on the scene, then, after shooting, determine their intensity level during shooting, using these measurements. influence). The rangefinder 230, preferably with a laser beam, is adapted to communicate wirelessly at a short distance with the digital camera 205 so that it measures at the time of each shot. The results of the telemetry measurements are associated with the image representative signal, in a particular image format. For this purpose, an image coding method is implemented, which comprises a step of coding a distance information in information representative of the image and, preferably, a step of defining an image. image representative signal head, the distance information from the range finder being represented by the content of said header. Preferably, the rangefinder 230 is adaptable to a flash socket of the camera 205. The stepper motors 235 are remotely controlled to control the direction of the rangefinder 230. The remote control (not shown) makes it possible to limit the risks of moving the camera. camera between two shots. This produces a topographic survey of the scene with the rangefinders. Digital shooting formats that can be implemented include: RAW (this image format is a file option available on certain video cameras, it generally uses lossless compression and produces image files a lot. smaller than the TIFF format.), Open EXR (a high-dynamic HDR image file format developed by Industrial Light & Magic, registered trademark, for use in imaging applications) and NEF (Nikon proprietary format, trademark). For carrying out the present invention, information in the file format is added from the range finder, coding the image sequence adding laser pointer position fields and measured distance from each range finder. Alternatively, it uses synchronization capabilities image files with text files, in which one records the pointer positions of the rangefinder and distances measured by the rangefinder associated with each camera.

25 On observe que l'utilisation d'une sphère pose différents problèmes : elle est fragile et cassante, exige une mise en place longue et minutieuse et doit être fréquemment nettoyée. Aussi, la mise en oeuvre du moyen de prise d'images illustré en figure 3 est-il préférentiel. On observe, en figure 3, un appareil photo numérique 305, un trépied 310 (non représenté) muni d'un bras de déport qui permet de mettre le point nodal du système optique de 30 la caméra sur l'axe de rotation vertical du trépied de telle manière que les prises de vues faites avec différentes orientations de la caméra correspondent au même point nodal, un dispositif optique 320, des éclairages 325, un télémètre 330 et des moteurs pas à pas 335. L'appareil photo numérique 305 est de type connu. II possède, par exemple, un capteur à 16 millions de pixels. Le trépied 310 est de type connu.It is observed that the use of a sphere poses various problems: it is brittle and brittle, requires a long and careful placement and must be frequently cleaned. Also, the implementation of the imaging means illustrated in Figure 3 is preferential. FIG. 3 shows a digital camera 305, a tripod 310 (not shown) equipped with an offset arm which makes it possible to put the nodal point of the optical system of the camera on the vertical axis of rotation of the tripod. such that the shots made with different orientations of the camera correspond to the same nodal point, an optical device 320, lighting 325, a rangefinder 330 and stepper motors 335. The digital camera 305 is of the type known. It has, for example, a 16 million pixel sensor. The tripod 310 is of known type.

2910648 11 Le dispositif optique 320 comporte deux miroirs 350 et 355 et deux objectifs très grand angle 360 et 365. Les miroirs 350 et 355 forment, chacun, un angle de 45 degrés avec l'axe de l'appareil photo 305. Ils sont disposés symétriquement, de part et d'autre de l'axe de l'appareil photo 305.The optical device 320 comprises two mirrors 350 and 355 and two very wide angle lenses 360 and 365. The mirrors 350 and 355 each form an angle of 45 degrees with the axis of the camera 305. They are arranged symmetrically, on either side of the axis of the camera 305.

5 Les objectifs très grand angle 360 et 365 sont préférentiellement identiques. Ils sont adaptés à former une image couvrant une demi-sphère de l'environnement de l'appareil photo 305. Les axes optiques des objectifs très grand angle 360 et 465 sont confondus et ils se reflètent à angle droit sur les miroirs 350 et 355, vers l'appareil photo 305.The very wide angle lenses 360 and 365 are preferably identical. They are adapted to form an image covering a half-sphere of the environment of the camera 305. The optical axes of the very wide angle lenses 360 and 465 are merged and they are reflected at right angles to the mirrors 350 and 355, to the camera 305.

10 Les éclairages 325 sont identiques aux éclairages 225. Le télémètre 330 est identique au télémètre 230. Les moteurs pas à pas 335 sont identiques aux moteurs pas à pas 235. Grâce aux dispositifs optiques décrits en figures 2 et 3, on peut obtenir une information sur 360 degrés et des mesures topographiques précises dans une seule prise de vue. Cette 15 information est une excellente base de travail pour la photo modélisation. Préférentiellement, on effectue un balayage laser de la scène avec les télémètres pendant des prises de vue. On observe, en figure 4, des étapes mises en oeuvre dans un mode de réalisation particulier du procédé objet de la présente invention.The lights 325 are identical to the lights 225. The rangefinder 330 is identical to the rangefinder 230. The stepper motors 335 are identical to the stepper motors 235. Thanks to the optical devices described in FIGS. 2 and 3, information can be obtained. 360 degrees and accurate topographic measurements in one shot. This information is an excellent basis of work for photo modeling. Preferably, a laser scan of the scene is carried out with the rangefinders during shots. FIG. 4 shows steps implemented in a particular embodiment of the method that is the subject of the present invention.

20 Doté de moyens de positionnement, par exemple des télémètres lasers et/ou des accéléromètres, on mesure précisément l'environnement de l'appareil de prise de vues dans chacune des positions de l'appareil de prise de vues àpartir de laquelle une vue est prise. En ce qui concerne le repérage, au cours d'une étape 405, on effectue, simultanément ou successivement, au moins deux prises d'images d'objets depuis deux points de vue 25 différents d'un scène à modéliser et on mesure au moins une distance entre les moyens de prise d'images utilisé et un point de la scène commun à au moins deux images prises depuis deux points de vue différents. L'étape 405 est répétée pour une pluralité de couples de positions de prises de vue, pour une pluralité de sensibilités du capteur d'images et pour différentes intensités lumineuses des 30 sources d'éclairage. Dans le cas d'une scène en extérieur ou recevant de la lumière de l'extérieur, on répète ces opérations sur une période d'au moins douze heures. On obtient, à la fin de l'étape 405, des images panoramiques. Chaque image panoramique, ou 360 , permet de réaliser, au cours d'une étape 410, une image HDR, intégrant les données des réactions du décor réel sous plusieurs expositions en partant du blanc 2910648 12 surexposé jusqu'à l'absence de lumière (noir). Le positionnement des sources de lumière dans le logiciel de rendu 3D n'est donc plus à la charge de l'opérateur qui devait, auparavant, effectuer manuellement le positionnement des sources de lumière et le réglage de leur intensité. On rappelle ici que la technologie HDR permet une meilleure maîtrise de l'intégration 3D/Réel, 5 un gain de temps et présente une grande facilité d'utilisation. Au cours d'une étape 415, on réalise un modèle en trois dimensions de pré-visualisation des panoramiques. A la fin des étapes 410 et 415, on réalise un modèles d'illumination de la scène en trois dimensions et d'une identification des informations de lumière (réflectance et ombres) sur site, étape 420, puis un modèle des lumières en trois dimensions ainsi que les positions des 10 éclairages naturels, étape 425. En ce qui concerne le tournage, au cours d'une étape 430, on effectue, dans les conditions du tournage, des prises de vues à 180 et on collecte les informations sur l'intensité des lumières et leurs positions et des informations sur la profondeur de champ, le diaphragme, la focale et l'exposition utilisés.With positioning means, for example laser rangefinders and / or accelerometers, the environment of the camera is accurately measured in each of the positions of the camera from which a view is taken. outlet. With regard to the identification, during a step 405, at least two images of objects are taken simultaneously or successively from two different points of view of a scene to be modeled and at least one measurement is measured. a distance between the image taking means used and a point of the scene common to at least two images taken from two different points of view. Step 405 is repeated for a plurality of pairs of shooting positions, for a plurality of sensitivities of the image sensor and for different light intensities of the illumination sources. In the case of a scene outdoors or receiving light from the outside, these operations are repeated over a period of at least twelve hours. At the end of step 405, we obtain panoramic images. Each panoramic image, or 360, makes it possible, during a step 410, to produce an HDR image, integrating the data of the reactions of the real decor under several exposures, starting from the overexposed white 2910648 12 until the absence of light ( black). The positioning of the light sources in the 3D rendering software is therefore no longer the responsibility of the operator who was previously to manually perform the positioning of the light sources and the adjustment of their intensity. It is recalled here that the HDR technology allows better control of 3D / Real integration, saves time and is very easy to use. During a step 415, a three-dimensional model for previewing the panoramics is produced. At the end of steps 410 and 415, three-dimensional scene illumination patterns and identification of light information (reflectance and shadows) on site, step 420, and a three-dimensional light pattern are performed. as well as the positions of the natural lights, step 425. With regard to the shooting, during a step 430, 180 shots are taken under the shooting conditions and the information about the shooting is collected. intensity of lights and their positions and information on the depth of field, the diaphragm, the focal length and the exposure used.

15 A partir de ces données, au cours d'une étape 435, on réalise une analyse et une fabrication des images HDR panoramiques. Au cours d'une étape 440, on réalise un modèle des lumières du tournage et des positions des lumières utilisées pendant le tournage. A partir des informations collectées au cours du repérage et des informations collectées 20 au cours du tournage, au cours d'une étape 445, on réalise un modèle d'illumination et des propriétés de réflectance des matériaux utilisés dans le décor.From these data, during a step 435, an analysis and a fabrication of the panoramic HDR images are carried out. During a step 440, a model of the turning lights and the positions of the lights used during the turning is made. From the information collected during the tracking and the information collected during the turning, during a step 445, an illumination pattern and reflectance properties of the materials used in the decoration are made.

Claims

1 method for capturing geometric data, characterized in that it comprises: a step of capturing at least two images of the world from two different points of view, said images representing, at least partially, the same objects, a step of telemetric measurement of the distance between at least one of said points of view and at least one point of an object present in at least two of said images and a step of determining geometry, in three dimensions, of present objects in at least two of said images.

2 - The method of claim 1, characterized in that, during the image capture step, there is implemented a camera capable of taking a 360-degree image.

3. The method as claimed in claim 2, characterized in that, during the image-capture step, an objective is implemented comprising two mirrors associated with two lenses adapted to take 180-degree images.

4 - Process according to any one of claims 1 to 3, characterized in that, during the step of capturing images, several images of the same objects are taken from the same point of view by modifying the quantity of light captured by an image pickup means (105) implemented for image capture.

5 - Process according to any one of claims 1 to 4, characterized in that it comprises a step of projecting at least one image captured on polygons determined during the geometry determination step.

6. Process according to any of claims 1 to 5, characterized in that, during the geometry determination image, corrective lens deformations are corrected.

7 - Process according to any one of claims 1 to 6, characterized in that it comprises a step of determining camera movement as a function of images captured by said camera and the geometry determined during the step of geometry determination.

8 - Process according to any one of claims 1 to 7, characterized in that it comprises a step of adding virtual objects whose geometry is predetermined, in images captured by a camera and comprising objects whose geometry was determined during the geometry determination step.

9 - Process according to any one of claims 1 to 8, characterized in that it comprises a step of determining light source. Method according to any one of claims 1 to 9, characterized in that it comprises a step of modifying the light source and brightness determination of points of objects whose geometry has been determined during the geometry determination step. 5