FR3118237A1

FR3118237A1 - Procede de mise en correspondance entre un batiment et son modele numerique

Info

Publication number: FR3118237A1
Application number: FR2013814A
Authority: FR
Inventors: Jérémy LACOCHE; Eric Villain; Emmanuel Plesse
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2020-12-21
Filing date: 2020-12-21
Publication date: 2022-06-24
Anticipated expiration: 2040-12-21
Also published as: FR3118237B1

Abstract

La présente invention concerne un procédé de mise en correspondance d’un bâtiment avec un modèle numérique du bâtiment, comprenant : la réception d’informations de position, dans un repère (RRA) associé à un dispositif de réalité augmentée (2) utilisé pour l’acquisition desdites informations de position, d’au moins un objet du bâtiment existant dans le modèle numérique, et d’une information d’identification de l’objet,l’établissement d’une correspondance entre ledit objet et respectivement un objet existant dans le modèle numérique du bâtiment, etla détermination, à partir de ladite correspondance et des informations de position de l’objet dans le repère associé au dispositif de réalité augmentée, d’une matrice de changement de repère entre les coordonnées d’un objet dans le repère (RMN) propre au modèle numérique du bâtiment et les coordonnées du même objet dans le repère associé au dispositif de réalité augmentée. Figure de l’abrégé : Figure 1

Description

PROCEDE DE MISE EN CORRESPONDANCE ENTRE UN BATIMENT ET SON MODELE NUMERIQUE

La présente divulgation relève du domaine des modèles numériques de bâtiments, et particulièrement les modèles de type BIM (acronyme de l’anglais « Building Information Modeling » ou du français « Bâti immobilier modélisé »), et concerne plus particulièrement le recalage, ou mise en correspondance, entre un modèle numérique d’un bâtiment et des informations provenant du bâtiment lui-même.

Les techniques de modélisation numérique de bâtiment, et notamment de BIM, permettent d’élaborer un jumeau numérique d’un bâtiment, comprenant des informations concernant la structure du bâtiment, telles que les positions des éléments de structure de types murs, fenêtres, portes, poutres, etc.

Les modèles numériques de bâtiments peuvent également être complétés de données liées aux réseaux électriques, informatiques, d’eau courante, et chauffage etc. Suite à la construction du bâtiment, ces modèles permettent de conserver les informations sur les emplacements de certains éléments non visibles dans le bâtiment final. Ils peuvent également être utilisés dans un contexte de transformation ou de rénovation du bâtiment.

Dans ce contexte, il peut être utile de compléter ou de mettre à jour le modèle numérique d’un bâtiment, en intégrant des éléments présents dans le bâtiment. Pour cela, il est nécessaire de pouvoir déterminer avec précision, à partir de la position d’un élément dans le bâtiment, sa position dans le modèle numérique.

A cet égard, il est décrit dans la publication de F. Bosché, « Plane-based Registration of Construction Laser Scans with 3D/4D Building Models », un procédé de mise en correspondance entre un nuage de points capturés dans le bâtiment à l’aide d’un laser, et un modèle numérique du bâtiment, à l’aide de méthodes d’optimisation mathématique. Ce procédé extrait un ensemble de plans du modèle numérique et d’une acquisition d’un nuage de points en trois dimensions dans le bâtiment, et détermine trois paires de plans correspondants entre le bâtiment et son modèle numérique, pour en déduire une matrice de changement de repère qui associe, pour chaque point du nuage de points, un point correspondant dans le modèle numérique.

L’inconvénient de ce type d’approche est qu’elle dépend de la qualité du nuage de points capturé, et qu’elle est difficile à mettre en œuvre. De plus, selon les particularités du bâtiment (symétries, redondances géométriques), des erreurs de recalage peuvent subsister.

Résumé

La présente divulgation vient améliorer la situation.

En particulier, un but de la présente divulgation est de proposer un procédé de mise en correspondance entre un bâtiment et un modèle numérique plus simple à mettre en œuvre que dans l’art antérieur.

A cet égard, il est proposé un procédé mis en œuvre par ordinateur, de mise en correspondance d’un bâtiment avec un modèle numérique du bâtiment, le modèle numérique du bâtiment comprenant, pour un ensemble d’objets présents dans le bâtiment, les coordonnées d’au moins un objet dans un repère propre au modèle numérique, le procédé comprenant :

la réception d’informations de position, dans un repère associé à un dispositif de réalité augmentée utilisé pour l’acquisition desdites informations de position, d’au moins un objet du bâtiment existant dans le modèle numérique, et d’une information d’identification de l’objet,
l’établissement d’une correspondance entre ledit objet et respectivement un objet existant dans le modèle numérique du bâtiment, à partir des informations reçues, et
la détermination, à partir de ladite correspondance et des informations de position de l’objet dans le repère associé au dispositif de réalité augmentée, d’une matrice de changement de repère entre les coordonnées d’un objet dans le repère propre au modèle numérique du bâtiment et les coordonnées du même objet dans le repère associé au dispositif de réalité augmentée.

Dans des modes de réalisation, les informations de position de l’objet comprennent la position et l’orientation de l’objet dans le repère associé au dispositif de réalité augmentée.

Dans des modes de réalisation, les informations de position de l’objet comprennent les coordonnées, dans le repère associé au dispositif de réalité augmentée, d’un ensemble de points caractéristiques de l’objet.

Dans des modes de réalisation, le modèle numérique comprend, pour chaque objet, un identifiant dudit objet, l’information d’identification de l’objet reçue est un identifiant d’un objet dans le modèle numérique, et le procédé comprend :

l’établissement d’une correspondance entre l’objet dont les informations de position ont été reçues et l’objet du modèle numérique associé à l’identifiant, et
la détermination de la matrice de changement de repère à partir des informations de position reçues et des informations de position correspondantes, dans le repère propre au modèle numérique, de l’objet du modèle numérique.

Dans des modes de réalisation, le modèle numérique du bâtiment comprend une catégorie d’objet associée à chaque objet, et le procédé comprend la réception:

des coordonnées, dans un repère associé au dispositif de réalité augmentée, de points caractéristiques d’au moins deux objets du bâtiment, et
d’une indication d’une catégorie à laquelle appartient chacun desdits au moins deux objets, ladite catégorie formant l’information d’identification de chacun desdits au moins deux objets.

Dans des modes de réalisation, l’établissement d’une correspondance comprend la détermination de la matrice de changement de repère entre les coordonnées d’un objet dans le repère propre au modèle numérique et les coordonnées du même objet dans le repère associé au dispositif de réalité augmentée, de sorte que ladite matrice de changement de repère mette en correspondance les coordonnées des points caractéristiques des objets reçues avec les coordonnées des points caractéristiques d’objets de même catégorie existant dans le modèle numérique.

Dans des modes de réalisation, la matrice de changement de repère est déterminée en calculant, pour plusieurs mises en correspondance possibles entre les objets dont les informations de position ont été reçues, et des objets de même catégorie du modèle numérique, une matrice candidate de changement de repère minimisant l’écart entre :

les coordonnées des points caractéristiques desdits objets dans le modèle numérique et,
les coordonnées obtenues par application de la matrice candidate de changement de repère possible appliquée aux coordonnées des points caractéristiques des objets correspondants dans le repère du dispositif de réalité augmentée,

et en sélectionnant la matrice candidate de changement de repère pour laquelle l’écart est minimal parmi l’ensemble des mises en correspondance possibles.

Dans des modes de réalisation, le procédé comprend en outre la réception de la position du dispositif de réalité augmentée par rapport au bâtiment lors de l’acquisition des informations de position de l’objet dans le repère associé au dispositif de réalité augmentée, et la détermination des coordonnées de l’objet dans un référentiel propre au bâtiment, à partir de ladite position du dispositif de réalité augmentée.

Dans des modes de réalisation, le procédé comprend en outre :

la réception d’informations de position, dans le repère du dispositif de réalité augmentée, d’un objet du bâtiment n’existant pas dans le modèle numérique, des dimensions de l’objet, et d’une indication concernant la position relative d’un point d’acquisition des informations de position de l’objet du bâtiment n’existant pas dans le modèle numérique par rapport à un point d’acquisition des informations de position de l’objet ayant permis la détermination de la matrice de changement de repère,
la détermination des coordonnées, dans le repère propre au modèle numérique, de l’objet, et
l’ajout dudit objet dans le modèle numérique du bâtiment.

Dans des modes de réalisation, au moins un objet du modèle numérique est un élément de structure du bâtiment, un composant technique, ou un élément de mobilier du bâtiment.

Il est également divulgué un dispositif de recalage d’un modèle numérique de bâtiment, le dispositif de recalage étant adapté pour accéder à un modèle numérique comprenant, pour un ensemble d’objets présents dans un bâtiment, les coordonnées d’au moins un objet dans un repère propre au modèle numérique, et un identifiant dudit au moins un objet, le dispositif étant configuré pour la mise en œuvre du procédé selon la description qui précède.

Il est également divulgué un procédé d’acquisition d’informations pour le recalage d’un modèle numérique d’un bâtiment par rapport au bâtiment, le procédé étant mis en œuvre par un dispositif de réalité augmentée comprenant une caméra adaptée pour capturer une image, un écran adapté pour afficher l’image capturée, et un calculateur, le procédé comprenant :

la capture d’une image par la caméra,
l’affichage de l’image sur l’écran,
la détermination, par ledit calculateur, d’informations de position, dans un repère associé au dispositif de réalité augmentée, d’un objet représenté sur l’image, et d’une information d’identification de l’objet représenté sur l’image, et
la transmission desdites informations de position et d’identification.

Il est également divulgué un dispositif de réalité augmentée comprenant une caméra adaptée pour acquérir une image, un écran adapté pour afficher l’image acquise et un calculateur, caractérisé en ce qu’il est configuré pour mettre en œuvre le procédé d’acquisition d’informations selon la description qui précède.

Selon un autre objet, un produit programme d’ordinateur est décrit, comprenant des instructions pour la mise en œuvre des procédés décrits ci-avant lorsqu’il est mis en œuvre par un ordinateur.

Selon un autre objet, un système de recalage d’un modèle numérique de bâtiment est également décrit comprenant le dispositif de recalage, et le dispositif de réalité augmentée décrits ci-avant.

Le procédé décrit ci-avant permet de simplifier les procédés de mise en correspondance précédemment proposés entre un bâtiment et un modèle numérique dudit bâtiment. Pour ce faire, le procédé proposé exploite des informations d’identification associées aux objets présents dans le modèle numérique, ce qui permet d’identifier plus simplement les objets correspondants dans le bâtiment.

En particulier, les informations d’identification peuvent être une catégorie d’élément de structure que l’on cherche à mettre en correspondance, à savoir des murs, ou des ouvertures telles que des portes ou des fenêtres. En variante, les informations d’identification peuvent comprendre des éléments d’identification directe d’un objet ou d’un élément de structure particulier, figurant sur l’objet ou l’élément de structure dans le bâtiment, et étant lié à l’identifiant de l’objet ou de l’élément dans le modèle numérique.

De la sorte, on peut tirer profit d’une quantité d’informations réduite pour mettre en œuvre une correspondance fiable entre le bâtiment et son modèle numérique.

D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :

Fig. 1

représente schématiquement la mise en œuvre d’un procédé de mise en correspondance entre un bâtiment et un modèle numérique selon un mode de réalisation.

Fig. 2

représente schématiquement la mise en œuvre d’un procédé de mise en correspondance entre un bâtiment et un modèle numérique selon un autre mode de réalisation.

Fig. 3

représente schématiquement un système de recalage d’un modèle numérique d’un bâtiment comprenant un dispositif de recalage et un dispositif de réalité augmentée.

Fig. 4

montre les principales étapes d’un procédé de mise en correspondance entre un bâtiment et un modèle numérique selon un mode de réalisation.

En référence aux figures 1 et 2, on va maintenant décrire un procédé de mise en correspondance d’un bâtiment avec un modèle numérique de celui-ci. Ce procédé est mis en œuvre par un dispositif 1 de recalage représenté schématiquement sur la , comprenant un calculateur 10, pouvant comprendre un ou plusieurs processeurs, microprocesseurs, contrôleurs, microcontrôleurs, etc. Le dispositif 1 de recalage comprend également une mémoire 11 stockant des instructions pouvant être exécutées par le calculateur pour mettre en œuvre le procédé décrit ci-après. Le modèle numérique est stocké dans la mémoire 11 ou une autre mémoire qui peut être située à distance du calculateur 10, et à laquelle le calculateur peut accéder pour la mise en œuvre du procédé.

Le modèle numérique du bâtiment peut par exemple, mais non limitativement, être un fichier informatique de format IFC. (acronyme de « Industry Foundation Classes ») ou BCF (acronyme de « BIM Collaboration Format »).

Ce modèle numérique comprend une maquette numérique du bâtiment, incluant au moins les plans en trois dimensions de la partie bâtie du bâtiment, à savoir l’ensemble des éléments de structure formés par les murs, les ouvertures de type portes ou fenêtres, les planchers et plafonds, les éventuels piliers ou colonnes, les escaliers, etc. Ainsi, chaque élément de structure est défini dans la maquette numérique par un ensemble de points ayant chacun une position en trois dimensions dans un repère R_MNpropre au modèle numérique. Les dimensions et l’orientation de chaque objet dans ce repère sont donc connues d’après ces plans en trois dimensions. Pour des raisons de simplification, on a représenté schématiquement sur les figures 1 et 2 le principe d’une telle maquette numérique en deux dimensions seulement.

La maquette numérique peut également comprendre les formes et positions d’autres éléments techniques du bâtiment, tels que des gaines, faux plafonds, tuyaux, installations de chauffage et de climatisation, arrivées et évacuation d’eau, etc.

La maquette numérique peut également inclure des éléments de mobiliers présents dans le bâtiment. A titre d’exemple non limitatif, le modèle numérique peut inclure une position et une représentation, au sein du bâtiment, d’objets connectés. Les objets connectés peuvent par exemple inclure des capteurs, tels que des capteurs de mouvement, de température, de présence. Les objets connectés peuvent inclure des actionneurs, adaptés pour commander l’ouverture ou la fermeture de porte, l’allumage ou l’extinction de lumières ou de signaux sonores, l’allumage ou l’extinction de radiateurs ou de climatisation, etc.

Dans la suite, on désignera par le terme « objet » tout élément figurant dans la maquette numérique, qu’il s’agisse d’un élément de structure, d’un élément technique, ou d’un élément de mobilier tel qu’un objet connecté.

En outre, le modèle numérique comprend des informations associées à l’ensemble des objets présents dans la maquette numérique. Ces informations incluent notamment des identifiants de chaque objet. Un identifiant d’un objet peut comprendre par exemple une catégorie à laquelle appartient l’objet ; par exemple « mur », « porte », « fenêtre », « capteur », etc. Un identifiant d’un objet peut également comprendre une information permettant d’identifier l’objet de manière unique. Il peut s’agir d’un identifiant textuel et/ou numérique, par exemple « mur n°XYZ », « fenêtre n°ABC », etc. Dans certains modes de réalisation, cet identifiant peut également être un identifiant visuel, notamment un code-barres, un QR Code (de l’anglais « Quick Response Code »), etc. Les informations peuvent également inclure des ensembles d’objets appartenant à une partie cohérente du modèle numérique comme une pièce ou un étage déterminé.

Le procédé de mise en correspondance, dont les principales étapes sont représentées sur la , comprend la réception 100, par le dispositif de recalage 1 :

d’informations de position, dans un repère en trois dimensions associé à un dispositif de réalité augmentée 2 ayant réalisé l’acquisition des informations de position, d’au moins un objet O du bâtiment existant dans le modèle numérique du bâtiment, et
une information d’identification dudit au moins un objet O.

Pour ce faire, les informations de position et d’identification du ou des objet(s) O sont obtenues et transmises par un dispositif de réalité augmentée 2 représenté sur la . Un tel dispositif comprend une caméra 20 permettant l’acquisition de la ou des images, un écran 21 permettant de visualiser l’image acquise, un calculateur 22, comprenant par exemple un ou plusieurs processeur(s), microprocesseur(s), contrôleur(s) ou microcontrôleur(s), et une interface Homme-Machine 23, qui peut par exemple comprendre un écran tactile, permettant de sélectionner des points particuliers de l’image. Dans des modes de réalisation, le dispositif de réalité augmentée 2 comprend également une interface 24 de communication, permettant de transmettre des données, telles que les données de position et d’identification, au dispositif 1 de recalage du modèle numérique, par exemple via un câble ou via un canal radio tel qu’un canal Bluetooth ou WiFi (abréviation anglaise de « Wireless Fidelity »). Dans des modes de réalisation, le dispositif de réalité augmentée peut être un terminal, tel que par exemple un téléphone communiquant ou smartphone, une tablette numérique tactile, etc... Le dispositif de réalité augmentée peut exécuter un logiciel dédié, par exemple une application logicielle, pour permettre l’acquisition d’une image annotée pouvant être exploitée dans le procédé de mise en correspondance du modèle numérique avec le bâtiment.

Ainsi, un opérateur utilise un dispositif de réalité augmentée 2 pour acquérir une ou plusieurs images, ou un flux vidéo, d’un ou plusieurs objets O du bâtiment.

Des données relatives à la position de l’objet O dans le repère R_RAdu dispositif de réalité augmentée 2, sont ensuite déterminées par celui-ci, avant d’être transmises, avec une information d’identification, au dispositif 1 de recalage.

Dans un premier mode de réalisation, les données de position de l’objet O comprennent les coordonnées en trois dimensions, dans le repère R_RA, d’un ensemble de points caractéristiques de l’objet.

Dans ce cas, l’opérateur peut annoter les images acquises en utilisant le dispositif de réalité augmentée, pour repérer les positions dans l’image, de points caractéristiques P de l’objet représenté sur l’image. En variante, l’annotation ou la détection des positions dans l’image des points caractéristiques de l’objet peut être mise en œuvre automatiquement par détection des contours de l’objet sur l’image.

Dans le cas d’un objet rectangulaire, par exemple un mur ou une ouverture, les points caractéristiques peuvent être les quatre coins de l’objet. Dans le cas où l’objet présente une hauteur normalisée, comme c’est le cas des hauteurs de portes ou de murs dans certains bâtiments, les points caractéristiques peuvent comprendre seulement deux points, qui sont de préférence les deux points situés à la base de l’objet. Dans le cas d’un objet rond, par exemple un spot, un hublot, etc., les points caractéristiques peuvent comprendre le centre de l’objet et au moins un ou deux points situés sur un contour circulaire de l’objet.

Le dispositif de réalité augmentée peut alors déterminer directement les coordonnées en trois dimensions, dans le repère R_RA, des points caractéristiques de l’objet représenté sur l’image. Par exemple, le dispositif de réalité augmentée peut mettre en œuvre un algorithme de détection de plans de la scène capturée, puis déterminer la position en trois dimensions d’un point annoté par l’utilisateur par un lancer de rayon venant à l’intersection d’un plan détecté. Selon un autre exemple, le dispositif de réalité augmentée peut générer un nuage de points (maillage triangulaire) représentant les contours de la scène observée et déterminer la position en trois dimensions d’un point dans le repère R_RApar un lancer de rayon.

On obtient ainsi les coordonnées, dans le repère R_RA, d’un ensemble de points caractéristiques P de l’objet O.

Dans un autre mode de réalisation, les données de position transmises au dispositif de recalage 1 peuvent comprendre une position et une orientation, dans le repère R_RA, d’un objet O figurant sur l’image, d’une partie de cet objet, ou d’un élément d’identification présent sur l’objet. En variante, les données de position peuvent comprendre les positions dans l’image, c’est-à-dire en deux dimensions, d’un ensemble de points caractéristiques de l’objet, de la partie de l’objet, ou de l’élément d’identification présent sur l’objet, ces positions permettant de déduire la position et l’orientation de l’objet dans le repère R_RA.

Ainsi, selon un premier exemple, l’objet O peut comporter un élément visuel d’identification T portant un identifiant unique de l’objet, cet identifiant étant associé à l’objet dans le modèle numérique. Cet élément visuel d’identification T peut par exemple être une étiquette apposée sur l’objet et sur laquelle se trouve l’identifiant de l’objet. Cet identifiant peut être textuel ou graphique, comme un code alphanumérique, un nom, un code-barres, un QR Code, etc. Les dimensions de l’élément visuel d’identification ainsi que sa position par rapport à l’objet (par exemple, un élément visuel d’identification peut être placé dans un coin déterminé d’une porte ou d’un mur) sont des données connues et stockées dans le modèle numérique du bâtiment ou en mémoire du dispositif de réalité augmentée.

L’opérateur utilise le dispositif de réalité augmentée pour acquérir une image de l’objet incluant l’élément visuel d’identification T, cet élément pouvant ensuite être détecté automatiquement sur l’image par le dispositif de réalité augmentée, en détectant les points caractéristiques de cet élément d’identification, par exemple les coins de l’étiquette, du code-barres, du QR Code, etc.

Une fois déterminées les positions dans l’image des points caractéristiques de l’élément visuel d’identification T, il est possible d’en déduire, en utilisant également la taille et la position de l’élément visuel d’identification T par rapport à l’objet, la position et l’orientation de l’élément visuel d’identification T dans le repère du dispositif de réalité augmentée. Ceci peut être fait en implémentant, par exemple, la méthode décrite dans la publication de Dementhon, D.F., Davis, L.S. Model-based object pose in 25 lines of code. Int J Comput Vision 15, 123–141 (1995), https://doi.org/10.1007/BF01450852, dans le cas où les points caractéristiques de l’élément visuel d’identification sont non coplanaires. Selon un autre exemple, on peut également implémenter la méthode décrite dans l’article de C. Teng et B. Wu, « Developing QR Code Based Augmented Reality Using SIFT Features,"2012 9th International Conference on Ubiquitous Intelligence and Computing and 9th International Conference on Autonomic and Trusted Computing, Fukuoka, 2012, pp. 985-990, doi: 10.1109/UIC-ATC.2012.56 »

Dans un mode de réalisation, les positions dans l’image des points caractéristiques de l’élément visuel d’identification sont les informations de position transmises au dispositif de recalage 1, et celui-ci détermine à partir de ces positions la position et l’orientation en trois dimensions de l’élément visuel d’identification dans le repère du dispositif de réalité augmentée.

Dans un autre mode de réalisation, le dispositif de réalité augmentée 2 dispose des données relatives à la taille et la position de l’élément visuel d’identification sur l’objet. Il peut alors déterminer la position et l’orientation de l’élément visuel d’identification dans le repère R_RAet transmettre ces données au cours de l’étape 100 au dispositif de recalage 1.

Selon un autre exemple, l’objet O est en lui-même identifiable de façon unique. C’est par exemple le cas d’un objet O qui serait un tableau représentant un motif spécifique, ce tableau étant également présent dans le modèle numérique. L’opérateur peut alors acquérir une image de cet objet, annoter l’image pour repérer les positions dans l’image, de points caractéristiques de l’objet, et transmettre ces positions au dispositif de recalage 1. Le dispositif de recalage 1 peut alors déterminer, en utilisant la même méthode que citée précédemment, les positions en trois dimensions des points de l’objet dans le repère R_RAà partir des positions de ces points dans l’image et des dimensions de l’objet.

Comme indiqué ci-avant, au moins une information d’identification de l’objet représenté sur l’image est transmise avec les informations de position de l’objet.

Dans des modes de réalisation, l’information d’identification peut être une indication d’une catégorie d’objet à laquelle appartient l’objet, par exemple, une porte, un mur, ou un objet connecté. Cette indication peut être fournie par l’utilisateur du dispositif de réalité augmentée 2.

Dans d’autres modes de réalisation, l’information d’identification peut être un identifiant unique de l’objet. C’est le cas notamment lorsque l’objet figurant sur l’image comporte un élément visuel d’identification T sur lequel est inscrit l’identifiant unique de l’objet. Cet identifiant peut dans ce cas être extrait de l’image et associé à l’objet. Par exemple, le dispositif de réalité augmentée 2 peut mettre en œuvre un traitement spécifique pour extraire l’identifiant représenté sur l’élément visuel d’identification, par exemple un traitement de reconnaissance automatique de caractères quand l’identifiant est textuel, ou un traitement de lecture de QR Code. En variante, si l’identifiant est un identifiant textuel, il peut être saisi manuellement par l’utilisateur. L’identifiant unique de l’objet est avantageusement l’identifiant associé à l’objet dans le modèle numérique du bâtiment. L’objet peut également être identifiable de façon unique d’après son apparence, comme dans le cas décrit ci-avant d’un tableau. L’information d’identification peut alors être une capture du motif représenté dans le tableau.

Le procédé de mise en correspondance du bâtiment avec le modèle numérique, tel que représenté sur la , comprend ensuite une étape 200, mise en œuvre par le dispositif 1, d’établissement d’une correspondance entre au moins un objet O dont des données de position ont été reçues et un objet correspondant existant dans le modèle numérique. A partir de cette correspondance, le procédé comprend une étape de détermination 300 d’une matrice de changement de repère MRA-MN entre les coordonnées en trois dimensions d’un objet dans le modèle numérique du bâtiment, et les coordonnées du même objet en trois dimensions dans un repère RRA associé au dispositif de réalité augmentée 2. La matrice de changement de repère permet donc d’identifier, pour chaque point dont la position est déterminée par rapport au dispositif de réalité augmentée, un point correspondant dans le modèle numérique, et établit donc la correspondance recherchée entre le bâtiment et le modèle numérique.

Dans un mode de réalisation, dont un exemple est représenté schématiquement sur la , il est possible d’identifier directement l’objet visible sur l’image, c’est-à-dire de déterminer, parmi les objets du modèle numérique du bâtiment, celui qui correspond à l’objet visible sur l’image. La mise en correspondance 200 est alors mise en œuvre directement entre l’objet dont des informations de position ont été reçues, et l’objet qui lui correspond dans le modèle numérique du bâtiment.

Ce mode de réalisation est notamment applicable dans les cas où l’objet, dont une image a été acquise, porte un élément visuel d’identification T, tel qu’un élément représentant un identifiant textuel ou graphique de l’objet, comme une étiquette d’identification, un code-barres, un QR Code, etc. Il est également applicable au cas où l’objet ne porte pas d’élément d’identification additionnel mais comporte intrinsèquement des éléments visuels permettant de le reconnaître. Cela peut être le cas, par exemple, d’un objet qui serait un tableau représentant un motif particulier. Dans tous les cas, le dispositif de recalage détermine à partir de cet élément d’identification, visible dans l’image reçue, l’objet qui le porte.

Alors, le dispositif de recalage détermine au cours de l’étape 300, à partir des informations de position reçues concernant l’objet, des informations de position correspondantes de l’objet dans le repère du modèle numérique, et calcule la matrice de changement de repère.

Par exemple, si les informations de position reçues comprennent les positions en trois dimensions, dans le repère du dispositif de réalité augmentée, de points caractéristiques de l’objet, les positions dans le modèle numérique des mêmes points de l’objet sont connues et la matrice de changement de repère peut donc être calculée directement.

Selon un autre exemple, les informations de position reçues concernant l’objet comprennent une position P_RAet une orientation O_RAde l’objet, ou d’une partie de l’objet ou d’un élément visuel d’identification T apposé sur l’objet, dans le repère du dispositif de réalité augmentée. Dans ce cas, la position P_MNet l’orientation O_MNdans le repère du modèle numérique de l’objet ou, le cas échéant, de son élément visuel d’identification, sont également connues. Le dispositif de recalage 1 peut donc calculer une matrice de changement de repère définie par un vecteur de translation T_RA-MNet une matrice de rotation R_RA-MNqui sont obtenus par la résolution des équations suivantes :

P_MN= T_RA-MN+ P_RA

O_MN= R_RA-MNx O_RA

Un autre mode de réalisation est illustré schématiquement sur la . Ce mode de réalisation peut être appliqué dans les cas où il n’est pas possible d’identifier directement un objet visible sur une image avec un objet présent dans le modèle numérique du bâtiment.

Ce mode de réalisation comprend la réception 100 des positions, dans le repère R_RA, de points caractéristiques appartenant à au moins deux objets O présents dans le modèle numérique du bâtiment. Sur la , on a représenté schématiquement l’acquisition d’une image représentant deux objets distincts à savoir une porte et un mur. Les informations de position peuvent être obtenues à partir d’une image représentant plusieurs objets présents dans le modèle numérique du bâtiment (par exemple un mur et une ouverture agencée dans le mur), ou à partir de plusieurs images.

Le dispositif de réalité augmentée est avantageusement adapté pour mettre en œuvre un algorithme de cartographie et localisation simultanées, également connu sous l’algorithme anglais SLAM (pour « Simultaneous Localization and Mapping ») permettant de connaître le déplacement du dispositif entre deux images acquises successivement. De la sorte, l’utilisateur peut déplacer le dispositif de réalité augmentée au sein du bâtiment pour acquérir les positions de différents objets situés dans le bâtiment (par exemple par les méthodes décrites ci-avant de lancer de rayon à l’intersection d’un plan ou d’un maillage du bâtiment détecté par le dispositif de réalité augmentée), et pour rapporter les positions acquises dans un seul repère, associé à une position et une orientation du dispositif de réalité augmentée.

De plus, à chaque objet est associée une catégorie d’objet, qui peut être précisée par l’utilisateur du dispositif de réalité augmentée 2 au moment de l’acquisition de l’image. La catégorie peut par exemple être « mur », « porte », etc...

Le dispositif de recalage 1 dispose donc d’une liste d’objets définis chacun par un ensemble de coordonnées de points dans le référentiel du dispositif de réalité augmentée R_RA, ces objets pouvant être regroupés en catégories. Par exemple, on peut disposer des coordonnées dans le repère R_RAde points caractéristiques concernant N murs, notés (Mur1(P0…P3), Mur2(P0,…P3)…, MurN(P0,…P3) dans le cas où 4 points sont annotés par mur, ou (Mur1(P0, P1), Mur2 (P0,P1)…, MurN(P0, P1) dans le cas où 2 points sont annotés par mur. On peut également disposer des coordonnées dans le repère R_RAde points caractéristiques concernant M portes, notés (Porte1(P0,P1), Porte2 (P0,P1), …, PorteN(P0, P1)), là encore lorsque deux points caractéristiques sont par exemple annotés pour chaque porte.

La mise en correspondance 200 entre les objets représentés sur les images et les objets du modèle numérique est alors mise en œuvre simultanément à la détermination 300 d’une matrice de changement de repère M_RA-MNentre le repère R_MNassocié au modèle numérique et le repère R_RAassocié au dispositif de réalité augmentée 2.

En effet, dans ce cas, on détermine la matrice de changement de repère permettant d’obtenir la meilleure correspondance entre les objets repérés sur les images et l’ensemble des objets de même(s) catégorie(s) présents dans le modèle numérique, ou un sous-ensemble cohérent de ce modèle. Le sous-ensemble cohérent du modèle peut être par exemple un étage ou une salle déterminée du modèle. Ce sous-ensemble peut comporter, pour chaque catégorie d’objet représentée dans les images, un nombre plus important d’objets. On peut par exemple noter K le nombre de murs dans le modèle numérique et L le nombre de portes. Il existe alors un nombre de correspondances possibles entre le nombre N de murs représentés sur les images et le nombre K de murs dans le modèle qui est égal, si N <K, au nombre d’arrangements sans répétition de N parmi K :

On détermine donc la matrice de changement de repère M_RA-MNcomme la matrice candidate Mc minimisant, pour l’ensemble des correspondances possibles, l’écart entre les positions des points caractéristiques des objets dans le modèle numérique et les positions obtenues par application d’une matrice de changement de repère possible appliquée aux points caractéristiques des objets correspondants dans le repère du dispositif de réalité augmentée. En reprenant les notations précédentes concernant le nombre de murs N, de portes M, et deux points (P0, P1) par objet, on note :

Où i désigne l’indice d’un objet représenté sur une image acquise dans le bâtiment et j représente l’indice d’un objet présent dans le modèle numérique.

La matrice de changement de repère M_RA-MNobtenue à l’étape 300 est donc celle qui assure la meilleure mise en correspondance des objets dont les informations de position sont obtenues avec les objets présents dans le modèle numérique.

Dans des modes de réalisation, la position du dispositif de réalité augmentée 2, dans un repère associé au bâtiment, lors de l’acquisition de la ou des images, est connue. C’est par exemple le cas d’un dispositif de réalité augmentée pourvu d’un accéléromètre et effectuant un parcours depuis un point d’origine dont on connaît la position dans le repère associé au bâtiment.

Dans ce cas, la ou les images reçues à l’étape 100 peuvent également être associées à une position du dispositif de réalité augmentée par rapport au bâtiment, et, comme représenté sur la , le dispositif de recalage peut déduire lors d’une étape 400, de la matrice de changement de repère calculée et de la position du dispositif dans le bâtiment lors de l’acquisition des images, une position, dans le repère du bâtiment, de chaque objet mis en correspondance avec un objet présent dans le modèle numérique.

La matrice de changement de repère entre le modèle numérique et le repère associé au dispositif de réalité augmentée, ou au repère associé au bâtiment, peut également être utilisée pour compléter le modèle numérique du bâtiment. En effet, au cours d’une étape 500, le dispositif de recalage 1 peut recevoir du dispositif de réalité augmentée de nouvelles informations de position et d’identification d’un objet qui n’est pas présent dans le modèle numérique, dans un repère associé au dispositif de réalité augmentée. Ce repère peut avoir subi une translation et/ou une rotation par rapport au repère associé au dispositif 2 lors de l’acquisition des informations de position du ou des objet(s) ayant permis de déterminer la matrice de changement de repère.

Le dispositif 1 peut également recevoir les dimensions de l’objet et une indication concernant la position relative du point d’acquisition des nouvelles informations de position par rapport au point d’acquisition des informations de position ayant permis la détermination de la matrice de changement de repère. Par exemple, cette indication peut comprendre une position du dispositif de réalité augmentée au sein du bâtiment lors de l’acquisition des informations de position utilisées pour déterminer la matrice de changement de repère et une position lors de l’acquisition des nouvelles information de position. Le dispositif 1 peut alors déduire des nouvelles informations de position de l’objet n’existant pas dans le modèle numérique et de ses dimensions, sa position et son orientation dans le repère associé au dispositif réalité augmentée, et en déduire sa position et son orientation dans le repère associé au bâtiment, dans le cas où la position du dispositif de réalité augmentée est connue. Le dispositif 1 peut alors ajouter l’objet au modèle numérique, en associant à l’objet l’information d’identification reçue avec les informations de position.

Claims

Procédé mis en œuvre par ordinateur, de mise en correspondance d’un bâtiment avec un modèle numérique du bâtiment, le modèle numérique du bâtiment comprenant, pour un ensemble d’objets présents dans le bâtiment, les coordonnées d’au moins un objet dans un repère propre au modèle numérique, le procédé comprenant :
la réception (100) d’informations de position, dans un repère (R_RA) associé à un dispositif de réalité augmentée (2) utilisé pour l’acquisition desdites informations de position, d’au moins un objet du bâtiment existant dans le modèle numérique, et d’une information d’identification de l’objet,

l’établissement (200) d’une correspondance entre ledit objet et respectivement un objet existant dans le modèle numérique du bâtiment, à partir des informations reçues, et

la détermination (300), à partir de ladite correspondance et des informations de position de l’objet dans le repère (R_RA) associé au dispositif de réalité augmentée (2), d’une matrice de changement de repère (M_RA-MN) entre les coordonnées d’un objet dans le repère (R_MN) propre au modèle numérique du bâtiment et les coordonnées du même objet dans le repère (R_RA) associé au dispositif de réalité augmentée (2).
Procédé selon la revendication 1, dans lequel les informations de position de l’objet comprennent la position et l’orientation de l’objet dans le repère (R_RA) associé au dispositif de réalité augmentée (2).
Procédé selon la revendication 1, dans lequel les informations de position de l’objet comprennent les coordonnées, dans le repère (R_RA) associé au dispositif de réalité augmentée (2), d’un ensemble de points caractéristiques de l’objet.
Procédé selon l’une des revendications 1 à 3, dans lequel le modèle numérique comprend, pour chaque objet, un identifiant dudit objet, l’information d’identification de l’objet reçue est un identifiant d’un objet dans le modèle numérique, et le procédé comprenant :
l’établissement d’une correspondance (200) entre l’objet dont les informations de position ont été reçues et l’objet du modèle numérique associé à l’identifiant, et

la détermination (300) de la matrice de changement de repère à partir des informations de position reçues et des informations de position correspondantes, dans le repère propre au modèle numérique, de l’objet du modèle numérique.
Procédé selon la revendication 1, dans lequel le modèle numérique du bâtiment comprend une catégorie d’objet associée à chaque objet, et le procédé comprenant la réception (100) :
des coordonnées, dans un repère (R_RA) associé au dispositif de réalité augmentée (2), de points caractéristiques d’au moins deux objets du bâtiment, et

d’une indication d’une catégorie à laquelle appartient chacun desdits au moins deux objets, ladite catégorie formant l’information d’identification de chacun desdits au moins deux objets.
Procédé selon la revendication 5, dans lequel l’établissement d’une correspondance (200) comprend la détermination (300) de la matrice de changement de repère entre les coordonnées d’un objet dans le repère (R_MN) propre au modèle numérique et les coordonnées du même objet dans le repère (R_RA) associé au dispositif de réalité augmentée (2), de sorte que ladite matrice de changement de repère mette en correspondance les coordonnées des points caractéristiques des objets reçues avec les coordonnées des points caractéristiques d’objets de même catégorie existant dans le modèle numérique.
Procédé selon la revendication 6, dans lequel la matrice de changement de repère (M_RA-MN) est déterminée en calculant, pour plusieurs mises en correspondance possibles entre les objets dont les informations de position ont été reçues, et des objets de même catégorie du modèle numérique, une matrice candidate (Mc) de changement de repère minimisant l’écart entre :
les coordonnées des points caractéristiques desdits objets dans le modèle numérique et,

les coordonnées obtenues par application de la matrice candidate (Mc) de changement de repère possible appliquée aux coordonnées des points caractéristiques des objets correspondants dans le repère du dispositif de réalité augmentée (2),
et en sélectionnant la matrice candidate (Mc) de changement de repère pour laquelle l’écart est minimal parmi l’ensemble des mises en correspondance possibles.
Procédé selon l’une quelconque des revendications précédentes, comprenant en outre la réception de la position du dispositif de réalité augmentée (2) par rapport au bâtiment lors de l’acquisition des informations de position de l’objet dans le repère associé au dispositif de réalité augmentée (2), et la détermination (400) des coordonnées de l’objet dans un référentiel propre au bâtiment, à partir de ladite position du dispositif de réalité augmentée (2).
Procédé selon l’une quelconque des revendications précédentes, comprenant en outre :
la réception (500) d’informations de position, dans le repère du dispositif de réalité augmentée (2), d’un objet du bâtiment n’existant pas dans le modèle numérique, des dimensions de l’objet, et d’une indication concernant la position relative d’un point d’acquisition des informations de position de l’objet du bâtiment n’existant pas dans le modèle numérique par rapport à un point d’acquisition des informations de position de l’objet ayant permis la détermination de la matrice de changement de repère, et

la détermination des coordonnées, dans le repère propre au modèle numérique, de l’objet, et

l’ajout dudit objet dans le modèle numérique du bâtiment.
Procédé selon l’une quelconque des revendications précédentes, dans lequel au moins un objet du modèle numérique est un élément de structure du bâtiment, un composant technique, ou un élément de mobilier du bâtiment.
Dispositif (1) de recalage d’un modèle numérique de bâtiment, le dispositif (1) de recalage étant adapté pour accéder à un modèle numérique comprenant, pour un ensemble d’objets présents dans un bâtiment, les coordonnées d’au moins un objet dans un repère propre au modèle numérique, et un identifiant dudit au moins un objet, le dispositif étant configuré pour la mise en œuvre du procédé selon l’une des revendications 1 à 10.
Procédé d’acquisition d’informations pour le recalage d’un modèle numérique d’un bâtiment par rapport au bâtiment, le procédé étant mis en œuvre par un dispositif de réalité augmentée (2) comprenant une caméra (20) adaptée pour capturer une image, un écran (21) adapté pour afficher l’image capturée, et un calculateur (22), le procédé comprenant :
la capture d’une image par la caméra,

l’affichage de l’image sur l’écran,

la détermination, par ledit calculateur, d’informations de position, dans un repère associé au dispositif de réalité augmentée (2), d’un objet représenté sur l’image, et d’une information d’identification de l’objet représenté sur l’image, et

la transmission desdites informations de position et d’identification.
Dispositif de réalité augmentée (2), comprenant une caméra (20) adaptée pour acquérir une image, un écran (21) adapté pour afficher l’image acquise et un calculateur (22), caractérisé en ce qu’il est configuré pour mettre en œuvre le procédé selon la revendication 12.
Produit programme d’ordinateur, comprenant des instructions pour la mise en œuvre du procédé selon l’une des revendications 1 à 10 ou 12, lorsqu’il est mis en œuvre par un ordinateur.
Système de recalage d’un modèle numérique de bâtiment comprenant :
un dispositif de recalage selon la revendication 11, et

un dispositif de réalité augmentée selon la revendication 13.