FR2787612A1

FR2787612A1 - Method of constructing a three dimensional computer model of a plane faced object such as a building, from two dimensional photographs

Info

Publication number: FR2787612A1
Application number: FR9816385A
Authority: FR
Inventors: Etienne Pierre Philiponet; Jean Philippe Vandroux
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1998-12-21
Filing date: 1998-12-21
Publication date: 2000-06-23
Anticipated expiration: 2018-12-21
Also published as: FR2787612B1

Abstract

The method includes the following stages: - digitally record at least a face (11,12,13,14,15) of the object; - digitally process each recording obtained in the first stage so that the faces are compatible with each other; - prepare each face so as to form a faces for the model. When there is an object (20), different to the plane faced object (10), which obscures part of the plane faced object, stop the recording of a face (11) and separately record different parts (11a,11b), see Fig. 2, of the face (11). The digital processing of the recorded data includes the following stages: - eliminate the parts situated around each face so as to keep uniquely the face shape; - correct parallax faults on each face when necessary; - correct face colors when necessary so as to harmonize the colors of the group of faces; - adjust the dimensions of the faces to make them compatible.

Description

PROCEDE DE CONSTRUCTION D'UN MODELE A FACES PRATIQUEMENTMETHOD OF CONSTRUCTING A PRACTICALLY FACED MODEL

PLANESPLANES

DOMAINE DE L'INVENTIONFIELD OF THE INVENTION

La présente invention concerne un procédé de construction d'un modèle à faces pratiquement planes en trois dimensions, par exemple un modèle de bâtiment, à partir de prises de vues en deux dimensions. TECHNIQUE ANTERIEURE Lorsque l'on souhaite représenter un bâtiment tel que par exemple une maison, on utilise la plupart du temps des images photographiques en deux dimensions qui ne permettent pas de représenter la forme du bâtiment. D'autre part, on utilise parfois des maquettes en trois dimensions qui sont réalisées dans un matériau tel que par exemple du bois ou15 du plastique et qui sont peintes. De telles maquettes ne permettent pas de reproduire aisément de façon réaliste les différents détails de la maison. Il est cependant souhaitable, par exemple pour des professionnels de l'immobilier, de montrer des bâtiments de façon réaliste.20 Il est également souhaitable que de tels modèles puissent The present invention relates to a method of constructing a model with practically flat faces in three dimensions, for example a building model, from two-dimensional shots. PRIOR ART When one wishes to represent a building such as for example a house, one uses most of the time photographic images in two dimensions which do not make it possible to represent the shape of the building. On the other hand, sometimes three-dimensional models are used which are made of a material such as for example wood or plastic and which are painted. Such models do not allow to easily reproduce realistically the various details of the house. It is however desirable, for example for real estate professionals, to show buildings in a realistic manner.20 It is also desirable that such models can

être montrés facilement dans un lieu de vente quelconque. be easily displayed at any point of sale.

OBJET DE L'INVENTIONOBJECT OF THE INVENTION

L'invention a pour objet un procédé pour obtenir un modèle en trois dimensions d'un objet à faces pratiquement The subject of the invention is a method for obtaining a three-dimensional model of an object with practically faces.

planes à partir d'enregistrements photographiques en deux dimensions. planes from two-dimensional photographic recordings.

RESUME DE L'INVENTIONSUMMARY OF THE INVENTION

L'invention concerne un procédé de construction d'un modèle physique en trois dimensions d'un objet à faces pratiquement planes qui comprend: a) l'enregistrement numérique d'au moins une vue d'au moins une face de l'objet; b) le traitement numérique de chaque enregistrement obtenu en a) de manière à ce que les faces soient compatibles35 entre elles; 2 c) la préparation de chaque face de manière à former une face destinée à former un modèle physique. Le procédé de l'invention permet d'obtenir un modèle qui représente l'objet réel de façon très détaillée et qui peut être montré dans tout lieu de vente. The invention relates to a method for constructing a three-dimensional physical model of an object with substantially planar faces, which comprises: a) digital recording of at least one view of at least one face of the object; b) the digital processing of each recording obtained in a) so that the faces are compatible35 with one another; 2 c) the preparation of each face so as to form a face intended to form a physical model. The method of the invention makes it possible to obtain a model which represents the real object in a very detailed manner and which can be shown at any point of sale.

Le procédé de l'invention permet d'obtenir un tel modèle aisément et rapidement. The method of the invention makes it possible to obtain such a model easily and quickly.

BREVE DESCRIPTION DES FIGURESBRIEF DESCRIPTION OF THE FIGURES

D'autres caractéristiques apparaîtront à la lecture de Other characteristics will appear on reading

la description qui suit, faite en référence aux dessins dans lesquels: the following description, made with reference to the drawings in which:

- la Figure 1 représente une vue d'ensemble d'une maison à représenter; les Figures 2A1; 2A2; 2B; 2C; 2D représentent les vues enregistrées des faces de la maison; - la Figure 3 représente une face après élimination des éléments présents autour de la maison; - la Figure 4 représente une face de la maison sur laquelle un maillage est appliqué; - la Figure 5 représente l'étape d'assemblage des différentes portions d'une même face; - la Figure 6 représente l'étape d'ajustement des tailles des différentes faces; - la figure 7 représente la face correspondant au toit de la maison; et - Figure 1 shows an overview of a house to represent; Figures 2A1; 2A2; 2B; 2C; 2D represent the recorded views of the faces of the house; - Figure 3 shows a face after elimination of the elements present around the house; - Figure 4 shows a face of the house on which a mesh is applied; - Figure 5 shows the step of assembling the different portions of the same face; - Figure 6 shows the step of adjusting the sizes of the different faces; - Figure 7 shows the face corresponding to the roof of the house; and

- la Figure 8 représente une face préparée pour la création du modèle physique. - Figure 8 represents a face prepared for the creation of the physical model.

DESCRIPTION DETAILLEE DE L'INVENTION DETAILED DESCRIPTION OF THE INVENTION

La description du procédé qui suit est faite en The description of the process which follows is given in

référence à la construction d'un modèle en trois dimensions d'une maison mais il est évident que tout autre objet à faces pratiquement planes pourra être construit à partir de ce procédé. La figure 1 représente la maison 10, que l'on souhaite représenter, dans son environnement réel. Afin de construire un modèle en trois dimensions de cette maison , le procédé de l'invention consiste dans un premier temps à enregistrer des vues de chaque face visible de la reference to the construction of a three-dimensional model of a house, but it is obvious that any other object with practically flat faces can be constructed from this process. FIG. 1 represents the house 10, which one wishes to represent, in its real environment. In order to build a three-dimensional model of this house, the method of the invention firstly consists in recording views of each visible face of the

maison réelle. Il est évident que lorsque l'objet à faces pratiquement planes est un objet dont quelques faces5 visibles sont pratiquement ou totalement identiques, un enregistrement de toutes les faces ne sera pas nécessaire. real house. It is obvious that when the object with practically flat faces is an object of which some visible faces5 are practically or totally identical, a registration of all the faces will not be necessary.

L'enregistrement est obtenu en utilisant un appareil photographique numérique, ou un appareil photographique classique dont les prises de vues seront numérisées. De10 préférence, on enregistre au moins une vue de chaque face visible de la maison, à savoir les deux façades 11 et 12, les deux pignons 13 et 14 et les deux pans 15 et 16 de toit, ces enregistrements étant représentés aux figures 2A à 2D. Comme on le verra par la suite, l'enregistrement d'une vue complète du toit n'est pas indispensable. Dans le cas o, devant une des façades 11, se trouve un élément étranger 20 à la maison 10, à savoir un arbre par exemple, on ne peut enregistrer en une seule fois la totalité de la face. On enregistre alors séparément différentes portions20 lla et llb de la face 11, ces portions seront par la suite assemblées. Les différents enregistrements d'une même face doivent de préférence enregistrer différentes portions d'une face en prévoyant un léger chevauchement. On enregistre dans un fichier d'une station de travail, par exemple un PC, les vues obtenues précédemment. Pour faciliter le traitement numérique ultérieur, les vues The recording is obtained using a digital camera, or a conventional camera whose shots will be digitized. Preferably, at least one view of each visible face of the house is recorded, namely the two facades 11 and 12, the two gables 13 and 14 and the two roof sections 15 and 16, these records being represented in FIGS. 2A to 2D. As will be seen later, recording a full view of the roof is not essential. In the case where, in front of one of the facades 11, there is a foreign element 20 in the house 10, namely a tree for example, the entire face cannot be recorded at once. Different portions 20 lla and llb of the face 11 are then recorded separately, these portions will subsequently be assembled. The different recordings on the same side should preferably record different portions of a side with a slight overlap. The views obtained previously are saved in a file of a workstation, for example a PC. To facilitate subsequent digital processing, the views

enregistrées sont classées. De préférence on regroupe les vues d'une même face de la maison en attribuant à chaque vue un numéro comprenant un identificateur qui est30 identique pour toutes les vues d'une même face de la maison. recorded are classified. Preferably, the views of the same side of the house are grouped together by assigning to each view a number comprising an identifier which is identical for all the views of the same side of the house.

Chaque enregistrement ainsi obtenu est traité par un logiciel de traitement d'image, par exemple Photoshop , de manière à rendre les faces compatibles entre elles. Il est35 évident que tout autre logiciel de traitement d'image peut être utilisé, par exemple Paintshop Pro ou Corel 4 Photopaint. Les étapes du procédé qui vont être décrites sont faites en référence avec les fonctions de Photoshop . L'étape de traitement numérique d'un enregistrement consiste tout d'abord à éliminer les zones qui se trouvent autour de l'objet à conserver, à savoir autour de la face de la maison ou d'une portion de face. Pour éliminer un élément ponctuel, on utilise par exemple l'outil "lasso" pour le sélectionner de manière à le supprimer. Pour éliminer des zones plus importantes qui ont une couleur sensiblement uniforme, on utilise par exemple l'outil "baguette magique". Chaque image obtenue, dont une est représentée à la figure 3, consiste à présent en une face de la maison qui se trouve sur un fond uni. Dans un deuxième temps, l'étape de traitement numérique consiste à corriger les problèmes de parallaxe qui sont dus à la prise de vue. On sélectionne la face à corriger de la maison. De façon avantageuse, on sélectionne d'abord le fond de l'image à l'aide par exemple de l'outil "baguette magique" car il suffit alors de cliquer sur le fond pour20 sélectionner toute cette zone. En effet, étant donné que cette zone est unie, il suffit d'utiliser la baguette magique avec une tolérance minimale de sorte que la sélection est limitée à la couleur du fond, ce qui limite le risque de sélection de zones comprises dans la maison.25 On intervertit ensuite la sélection de manière à obtenir une sélection de la face de la maison. De cette façon, la sélection est très rapide et très précise. On applique ensuite à cette sélection un maillage 30, comme cela est représenté à la figure 4, qui comprend des points 31 sur30 lesquels on peut agir pour modifier la forme de la face sélectionnée de manière à modifier la forme de la face. On utilise par exemple la fonction "torsion". L'appréciation des corrections est uniquement visuelle. Lorsque l'on a une face à bord vertical, on peut par exemple juger de sa forme35 en l'approchant du bord de la "fenêtre image" et en vérifiant le parallélisme. Pour vérifier l'orthogonalité des bords d'une face, on utilise par exemple l'outil Each recording thus obtained is processed by image processing software, for example Photoshop, so as to make the faces compatible with one another. It is obvious that any other image processing software can be used, for example Paintshop Pro or Corel 4 Photopaint. The steps of the process which will be described are made with reference to the functions of Photoshop. The step of digital processing of a recording consists first of all in eliminating the zones which are around the object to be preserved, namely around the face of the house or a portion of the face. To eliminate a point element, we use for example the "lasso" tool to select it so as to delete it. To eliminate larger areas which have a substantially uniform color, for example the "magic wand" tool is used. Each image obtained, one of which is shown in Figure 3, now consists of one side of the house which is on a solid background. In a second step, the digital processing step consists of correcting the parallax problems that are due to the shooting. We select the side to correct the house. Advantageously, the background of the image is first selected using for example the "magic wand" tool because it then suffices to click on the background to select all of this area. Indeed, since this area is united, it suffices to use the magic wand with a minimum tolerance so that the selection is limited to the background color, which limits the risk of selecting areas included in the house. 25 The selection is then inverted so as to obtain a selection of the face of the house. In this way, the selection is very fast and very precise. A mesh 30 is then applied to this selection, as shown in FIG. 4, which includes points 31 on 30 which one can act to modify the shape of the selected face so as to modify the shape of the face. We use for example the "twist" function. The appreciation of the corrections is only visual. When you have a face with a vertical edge, you can for example judge its shape by approaching it from the edge of the "image window" and checking the parallelism. To check the orthogonality of the edges of a face, we use for example the tool

"rectangle de sélection" en faisant coïncider un rectangle de sélection sur la face en question. "selection rectangle" by making a selection rectangle coincide on the face in question.

L'étape de traitement consiste également à corriger les couleurs des faces de manière à obtenir des faces de couleur pratiquement identique lorsqu'elles le sont dans la réalité. On corrige en particulier les couleurs des portions de face par rapport aux autres portions lorsque une face a été enregistrée par différents enregistrements10 séparés. On choisit dans un premier temps la face dont la couleur est la plus proche de la réalité. Sur cette face on sélectionne une partie uniforme par l'outil "rectangle de sélection". On relève, au moyen d'un histogramme des couleurs, les valeurs moyennes des couleurs rouge, vert et15 bleu et de la luminosité dans cette partie uniforme. Sur une autre face, on sélectionne un rectangle dans une zone qui doit être équivalente à la zone de l'autre face et comparable. Cette zone ne doit pas comprendre d'autres éléments particuliers qui pourraient modifier considérablement le niveau des couleurs. On relève les valeurs moyennes du rouge, du vert et du bleu et de la luminosité et on les compare aux valeurs relevées précédemment. On détermine ainsi la correction que l'on doit faire pour rendre les couleurs uniformes sur25 l'ensemble des faces. Lorsque les valeurs sont différentes et que l'on doit effectuer une correction, on sélectionne la face à corriger, et on règle les niveaux des couleurs pour les rendre identiques à ceux de l'autre face. L'étape de traitement numérique consiste, lorsque cela est nécessaire, à former une seule face de la maison à partir des portions de face l1a et llb enregistrées qui ont le même identificateur, dans le cas o un élément étranger 20 se trouve devant une telle face. A cet effet, on copie dans un même fichier les différentes portions de face lia et llb de la maison 10. On obtient ainsi différents calques indépendants que l'on peut déplacer les uns par rapport aux 6 autres. Si on les assemble directement en les superposant légèrement, un raccord sera visible. Pour ne pas que l'on voit le joint lorsque l'on rassemble les différentes portions de faces, on sélectionne à l'aide d'un outil de5 sélection, par exemple le lasso, sur une des portions de face lla ou llb, une zone 40, représentée à la figure 5, dans laquelle deux portions de faces contiguës se superposent. Sur cette zone 40 sélectionnée on applique un contour progressif pour obtenir un dégradé de cette portion10 de face. On rapproche alors les deux calques correspondant à deux portions de face contiguës, en les superposant dans la zone sélectionnée. On reproduit la même opération pour toutes les portions de face, de manière à former une face complète.15 On se réfère à présent à la figure 6. Une fois que chaque face est ainsi traitée, on ajuste les tailles de chaque face en hauteur et en largeur. A cet effet, on choisit une face de référence, la façade il par exemple, dont on mesure les cotes hl et 11 avec par exemple l'outil20 rectangle de sélection. Sur une face adjacente 13, on mesure la cote h2 et on la modifie si nécessaire de manière à rendre les valeurs h1 et h2 égales. Une telle modification doit être effectuée en gardant les proportions de la face 13 de manière que la modification subie par la25 largeur 12 est la même que celle subie par la hauteur. Il s'agit d'une modification homothétique. On répète cette opération pour chaque face (les deux façades et les deux pignons). Pour reconstituer la partie supérieure de la maison à savoir le toit, il n'est pas toujours évident d'enregistrer au moyen d'une prise de vue l'ensemble de celui-ci. Dans le cas o le toit entier a pu être enregistré, cette face est traitée comme les autres faces de la façon décrite précédemment. Dans le cas o on ne dispose que d'une partie35 du toit, à savoir la partie qui a été enregistrée lors de l'enregistrement des faces de la maison, on reconstruit la 7 surface totale du toit à partir des informations enregistrées. On obtient la longueur D du toit à partir de l'enregistrement d'une des façades 11 ou 12 de la maison et la largeur L à partir de l'enregistrement d'un des pignons513 ou 14 de la maison. On mesure D et L à l'aide de l'outil "trait" par exemple. Pour la largeur L, on mesure séparément les segments L1 et L2 correspondants aux deux The processing step also consists in correcting the colors of the faces so as to obtain faces of practically identical color when they are in reality. The colors of the face portions are corrected in particular with respect to the other portions when a face has been recorded by different separate registrations10. We first choose the face whose color is closest to reality. On this face, a uniform part is selected using the "selection rectangle" tool. By means of a color histogram, the average values of the colors red, green and blue and of the brightness in this uniform part are noted. On another face, we select a rectangle in an area which must be equivalent to the area on the other side and comparable. This area should not include other specific elements that could significantly change the color level. The average values of red, green and blue and of the brightness are noted and compared with the values noted previously. This determines the correction that must be made to make the colors uniform on all of the faces. When the values are different and a correction has to be made, the side to be corrected is selected, and the color levels are adjusted to make them identical to those on the other side. The digital processing step consists, when necessary, in forming a single face of the house from the recorded face portions 11a and 11b which have the same identifier, in the case where a foreign element 20 is in front of such a face. To this end, the different face portions 11a and 11b of the house 10 are copied into the same file. This gives different independent layers which can be moved relative to each other. If they are assembled directly by overlapping them slightly, a connection will be visible. So as not to see the joint when the various portions of faces are brought together, a selection tool is selected, for example the lasso, on one of the face portions 11a or 11b, a zone 40, represented in FIG. 5, in which two portions of contiguous faces are superimposed. On this selected area 40 a progressive contour is applied to obtain a gradient of this face portion 10. The two layers corresponding to two contiguous face portions are then brought together, by superimposing them in the selected area. The same operation is repeated for all the face portions, so as to form a complete face.15 We now refer to FIG. 6. Once each face is thus treated, the sizes of each face are adjusted in height and width. To this end, a reference face is chosen, the front panel for example, the dimensions hl and 11 of which are measured with, for example, the selection rectangle tool. On an adjacent face 13, the dimension h2 is measured and it is modified if necessary so as to make the values h1 and h2 equal. Such a modification must be carried out while keeping the proportions of the face 13 so that the modification undergone by the width 12 is the same as that undergone by the height. It is a homothetic modification. This operation is repeated for each face (the two facades and the two gables). To reconstruct the upper part of the house, namely the roof, it is not always easy to record all of it by means of a shot. In the case where the entire roof could be registered, this face is treated like the other faces as described above. In the case where only part of the roof is available, namely the part which was recorded during the recording of the faces of the house, the total roof area is reconstructed from the recorded information. The length D of the roof is obtained from the recording of one of the facades 11 or 12 of the house and the width L from the recording of one of the gables513 or 14 of the house. We measure D and L using the "line" tool for example. For the width L, the segments L1 and L2 corresponding to the two are measured separately

pans du toit. On peut ainsi reconstruire la surface totale du toit telle que représentée à la figure 7. Il est évident10 que l'on peut traiter les deux pans du toit comme deux faces distinctes. roof framing. It is thus possible to reconstruct the total surface of the roof as shown in FIG. 7. It is obvious that the two sides of the roof can be treated as two distinct faces.

Apres avoir traité les faces comme cela vient d'être décrit, on obtient des faces qui sont compatibles entre elles.15 Chacune des faces de la maison est ensuite préparée de manière à former une face destinée à être utilisée dans un After treating the faces as just described, we obtain faces which are compatible with each other.15 Each of the faces of the house is then prepared so as to form a face intended to be used in a

modèle physique. On munit chacune des faces d'une petite surface 50, par exemple un onglet, le long d'au moins un bord de la face. On peut également munir la face20 correspondant au toit, d'un trait t destiné à réaliser une pliure pour séparer les deux pans du toit. physical model. Each of the faces is provided with a small surface 50, for example a tab, along at least one edge of the face. It is also possible to provide the face 20 corresponding to the roof, with a line t intended to produce a fold to separate the two sides of the roof.

Chaque face ainsi préparée est ensuite imprimée sur un matériau qui peut être imprimé et découpé, par exemple du papier cartonné. Il est aussi nécessaire que ce matériau25 soit semi-rigide pour faciliter le maintien de l'objet assemblé. De préférence, on utilise un papier de qualité photographique. Il est évident que l'on peut utiliser tout autre matériau sur lequel on peut imprimer et que l'on peut découper. 30 Une fois que l'on a imprimé les différentes faces, on les découpe et on les assemble au moyen des onglets par exemple, en les collant par exemple. Dans le cas o la maison comprend d'autres détails, il est préférable de les ajouter après avoir assemblé les Each side thus prepared is then printed on a material which can be printed and cut, for example card stock. It is also necessary that this material be semi-rigid to facilitate the maintenance of the assembled object. Preferably, photographic quality paper is used. It is obvious that one can use any other material on which one can print and which one can cut. 30 Once the different faces have been printed, they are cut and assembled by means of tabs for example, by gluing them for example. In case the house includes other details, it is better to add them after assembling the

faces principales de la maison.main sides of the house.

Si l'on souhaite former un tel modèle à une échelle particulière, il est nécessaire de mesurer au moins une cote réelle d'une des faces. Lors de l'ajustement des tailles des faces on détermine le nombre de pixels nécessaire pour représenter la cote réelle. En tenant compte de la résolution de l'imprimante, on ajustera le nombre de pixels des faces enregistrées de manière à If one wishes to form such a model on a particular scale, it is necessary to measure at least one real dimension of one of the faces. When adjusting the sizes of the faces, the number of pixels necessary to represent the actual dimension is determined. Taking into account the resolution of the printer, we will adjust the number of pixels of the faces recorded so as to

obtenir une impression à l'échelle souhaitée. obtain an impression at the desired scale.

Claims

1 - Method for constructing a three-dimensional physical model of an object (10) with practically flat faces which comprises: a) digital recording of at least one view of at least one face (11; 12; 13; 14; 15; 16) of the object (10); b) the digital processing of each recording obtained in a) so that the faces are compatible with each other; c) preparing each side so as to form

a face intended to form a physical model.

2 - Method according to claim 1 wherein when a foreign element (20) to the object (10) with substantially flat faces prevents the recording at one time of the entire face (11) of the object (10), different portions are recorded separately

(11a, llb) of the face (11).

3 - Method according to claim 1 wherein the digital processing of each recording comprises the following steps: - eliminating the elements located around each face so as to keep only the face; - correct parallax defects on each side when necessary; - correct the colors of each face when necessary so as to harmonize the colors of all the faces; adjust the dimensions of the faces to make them

compatible.

4 - Method according to claim 2 wherein the digital processing of each recording consists in assembling the different portions (11a; llb) of a face (11) coming from the different recordings made on said face (11) when a foreign element ( 20) to the object (10) with practically flat faces prevents the recording of the whole of said face (11) from being

the object (10).

- Method according to one of the preceding claims

wherein the preparation of each face so as to form a face of a physical model consists in particular in providing at least a small surface (50)

an edge of at least one side.

6 - Method according to one of the preceding claims which

includes the step of printing each prepared side

in c).

7 - Method according to claim 6 wherein the printed faces are cut and assembled so as to

form the object with practically flat faces.