CH704910A1

CH704910A1 - Method for inserting synthesis images of e.g. lamps of apartment building in video stream, involves placing three-dimensional models of furniture or habitat elements in virtual space, and superposing projections of models on video stream

Info

Publication number: CH704910A1
Application number: CH00789/11A
Authority: CH
Inventors: Frank Lovey; Raphael Rey
Original assignee: Airvea Comm Sarl
Priority date: 2011-05-09
Filing date: 2011-05-09
Publication date: 2012-11-15

Abstract

The method involves equipping a user (2) with a camera (21) and a stereoscopic display device (20) displaying a video stream. Position and orientation of the user in a physical space (1) are determined from a position of visual targets (10) in another video stream captured by the camera. The former stream is reproduced by the display device. A virtual space is constructed and aligned with the physical space using the position of the targets. Three-dimensional models of furniture or habitat elements are placed in the virtual space. Projections of the models are superposed on the former stream. The physical space is constituted of a part of an apartment building or virtual showroom in a shop or exhibition area. An independent claim is also included for a virtual interior simulation equipment.

Description

[0001] La présente invention concerne un procédé et un équipement de simulation destiné au domaine des meubles et de l’habitat. La présente invention concerne en particulier un procédé et un équipement pour insérer dans un flux vidéo des images de synthèse de meubles ou d’autres éléments d’habitat. The present invention relates to a method and a simulation equipment for the field of furniture and housing. In particular, the present invention relates to a method and an equipment for inserting synthetic images of furniture or other living elements into a video stream.

Etat de la techniqueState of the art

[0002] Le choix des meubles et des autres éléments d’habitat tels que cuisines, éléments de salle de bain, tapis, parquets et rideaux etc. est difficile. Il est très difficile en magasin de s’imaginer la dimension occupée et l’effet.produit par un meuble placé dans l’environnement auquel il est destiné. De nombreux consommateurs regrettent leurs achats lorsqu’ils les installent à leur domicile, ou sont excessivement prudents avant de prendre une décision d’achat. The choice of furniture and other home items such as kitchens, bathroom elements, carpets, flooring and curtains etc. is difficult. It is very difficult in store to imagine the occupied dimension and the effect.produced by a piece of furniture placed in the environment for which it is intended. Many consumers regret their purchases when they install them at home, or are excessively cautious before making a purchase decision.

[0003] Il est fréquent de réaliser des plans en deux ou même en trois dimensions d’un espace à aménager. Par exemple, l’installation d’une cuisine aménagée est presque invariablement précédée de la réalisation d’un plan qui permet de se rendre compte de l’effet et de l’encombrement. De tels plans sont cependant souvent peu conformes à la réalité et un bon dessinateur peut générer un rendu esthétique flatteur qui ne sera que partiellement restitué par la cuisine achevée. D’autre part, la réalisation de plans requiert un temps important et ne permet pas de comparer un nombre illimité de variantes. It is common to make plans in two or even three-dimensional space to develop. For example, the installation of a kitchen is almost invariably preceded by the realization of a plan that allows to realize the effect and congestion. Such plans, however, are often inconsistent with reality and a good designer can generate a flattering aesthetic that will only partially restored by the completed kitchen. On the other hand, the realization of plans requires a long time and does not allow to compare an unlimited number of variants.

[0004] On connaît par ailleurs des solutions permettant de superposer sur une photo d’un intérieur des éléments virtuels dessinés, par exemple un dessin de meubles à l’endroit prévu. A nouveau ces dessins sont difficiles et lent à réaliser avec le rendu souhaité. D’autre part le résultat est une photo qui ne produit pas un sentiment d’immersion totale dans l’espace aménagé virtuellement. Also known solutions for superimposing on a picture of an interior virtual elements drawn, for example a drawing of furniture at the expected location. Again these drawings are difficult and slow to achieve with the desired rendering. On the other hand the result is a photo that does not produce a sense of total immersion in the virtually landscaped space.

[0005] On connaît notamment dans le domaine des jeux vidéo des solutions pour restituer à l’utilisateur des images de synthèse d’un environnement virtuel. La génération de ces images de synthèse nécessite cependant une puissance de calcul importante. D’autre part, ces solutions sont peu adaptées à la modélisation d’un espace existant, par exemple d’un logement, car la modélisation d’un intérieur complet nécessite des ressources considérables. [0005] In the field of video games, solutions are particularly known for rendering to the user computer-generated images of a virtual environment. The generation of these computer-generated images, however, requires significant computing power. On the other hand, these solutions are not very suitable for modeling an existing space, for example a dwelling, because the modeling of a complete interior requires considerable resources.

[0006] On connaît également des logiciels de réalité augmentée, par exemple sur téléphone portable, qui permettent de superposer sur une image statique ou animée des éléments supplémentaires. Ces solutions ne sont cependant pas destinées au problème de l’aménagement d’intérieur. D’autre part le sentiment d’immersion dans cet univers augmenté est en général insatisfaisant en raison d’un alignement imparfait des objets virtuels sur l’image réelle, et d’une restitution de l’image de synthèse sur un écran plat non conforme à la vision stéréoscopique des humains. Also known augmented reality software, for example on mobile phone, which can be superimposed on a static image or animated additional elements. These solutions are not however intended for the problem of interior design. On the other hand, the feeling of immersion in this augmented universe is generally unsatisfactory due to an imperfect alignment of the virtual objects on the real image, and a restitution of the computer image on a non-compliant flat screen. to the stereoscopic vision of humans.

Bref résumé de l’inventionBrief summary of the invention

[0007] Un but de la présente invention est de proposer un procédé qui permette aux acheteurs de choisir plus facilement des meubles ou autres éléments d’habitat intérieur. An object of the present invention is to provide a method that allows buyers to choose furniture or other items of interior habitat more easily.

[0008] Un autre but est de proposer un procédé qui permette aux acheteurs de s’immerger virtuellement dans un intérieur emménagé selon leurs désirs, afin d’offrir un sentiment d’immersion amélioré. Another object is to provide a method that allows buyers to virtually immerse themselves in an interior moved according to their desires, to provide an improved feeling of immersion.

[0009] Un autre but est de proposer un procédé qui puisse être mis en œuvre facilement et permette avec un temps de configuration réduit de vérifier l’impact d’un nouveau meuble ou élément d’habitat dans un environnement existant. Another object is to provide a method that can be implemented easily and allows with a reduced configuration time to check the impact of a new piece of furniture or habitat in an existing environment.

[0010] Selon l’invention, ces buts sont atteints notamment au moyen d’un procédé pour insérer dans un flux vidéo des images de synthèse de meubles ou d’autres éléments d’habitat de manière à simuler un intérieur meublé de façon virtuelle, comprenant les étapes suivantes: équiper un espace physique avec plusieurs cibles visuelles; équiper un utilisateur avec un dispositif d’affichage personnel permettant d’afficher un flux vidéo stéréoscopique; équiper ledit utilisateur d’une caméra afin de saisir un flux vidéo capturé, la caméra suivant les mouvements dudit utilisateur dans ledit espace physique; déterminer la position et l’orientation dudit utilisateur dans ledit espace physique à partir de la position desdites cibles dans le flux vidéo capturé par ladite caméra; restituer avec ledit dispositif d’affichage personnel un flux vidéo affiché correspondant au flux vidéo capturé; construire un espace virtuel et l’aligner avec ledit espace physique en utilisant la position des cibles dans le flux vidéo capturé par ladite caméra; placer dans ledit espace virtuel des modèles tridimensionnels de meubles ou d’autres éléments d’habitat choisis par ledit utilisateur à partir d’une liste; superposer en réalité augmentée les projections desdits modèles tridimensionnels sur ledit flux vidéo affiché. According to the invention, these objects are achieved in particular by means of a method for inserting into a video stream synthesized images of furniture or other habitat elements so as to simulate a virtually furnished interior, comprising the following steps: equip a physical space with multiple visual targets; equipping a user with a personal display device for displaying a stereoscopic video stream; equipping said user with a camera to capture a captured video stream, the camera following the movements of said user in said physical space; determining the position and orientation of said user in said physical space from the position of said targets in the video stream captured by said camera; rendering with said personal display device a displayed video stream corresponding to the captured video stream; constructing a virtual space and aligning it with said physical space using the position of the targets in the video stream captured by said camera; placing in said virtual space three-dimensional models of furniture or other habitat elements selected by said user from a list; superimposing augmented reality projections of said three-dimensional models on said displayed video stream.

[0011] Cette solution présente notamment l’avantage par rapport à l’art antérieur de permettre à l’utilisateur de visualiser, en trois dimensions et après un temps d’installation minimal, l’effet produit par de nouveaux meubles ou éléments d’habitat dans un environnement existant. This solution has the advantage over the prior art to allow the user to view, in three dimensions and after a minimal installation time, the effect produced by new furniture or elements of habitat in an existing environment.

Brève description des figuresBrief description of the figures

[0012] Des exemples de mise en œuvre de l’invention sont indiqués dans la description illustrée par les figures annexées dans lesquelles: Examples of implementation of the invention are indicated in the description illustrated by the appended figures in which:

[0013] La fig. 1 illustre de manière schématique un environnement physique muni de cibles. FIG. 1 schematically illustrates a physical environment with targets.

[0014] La fig. 2 illustre de manière schématique un espace virtuel correspondant à cet environnement physique mais incluant notamment des objets incrustés en réalité augmentée. Fig. 2 schematically illustrates a virtual space corresponding to this physical environment but including in particular objects inlaid augmented reality.

Exemple(s) de mode de réalisation de l’inventionExample (s) of embodiment of the invention

[0015] Un espace physique 1 est illustré schématiquement sur la fig. 1. Il peut correspondre par exemple à une pièce de l’appartement que l’utilisateur 2 souhaite réaménager, ou à un showroom virtuel dans un magasin ou lors d’une exposition. Cet espace correspond typiquement à une pièce avec un sol, des murs, un plafond, éventuellement des fenêtres, éventuellement des meubles existants etc. A physical space 1 is diagrammatically illustrated in FIG. 1. It may correspond for example to a room in the apartment that the user 2 wishes to redevelop, or to a virtual showroom in a shop or during an exhibition. This space typically corresponds to a room with a floor, walls, ceiling, possibly windows, possibly existing furniture etc.

[0016] Cet espace est équipé de plusieurs cibles 10 avantageusement réparties de façon plus ou moins régulière dans l’espace. Deux cibles sont illustrées sur la figure; il est cependant préférable d’utiliser un nombre de cibles égal ou supérieur à trois afin de positionner l’utilisateur selon trois axes indépendants. Les cibles sont avantageusement constituées par des affiches ou panneaux avec un motif connu, aisément identifiable et peu susceptible de se retrouver par hasard ailleurs dans la scène. Chaque cible est de préférence différente des autres cibles afin de pouvoir les distinguer les unes des autres. Il est aussi possible d’employer comme cible des éléments naturellement présents dans la scène capturée, par exemple un objet particulier ou un détail de cet espace physique. This space is equipped with several targets 10 advantageously distributed more or less evenly in space. Two targets are illustrated in the figure; however, it is preferable to use a number of targets equal to or greater than three in order to position the user according to three independent axes. The targets are advantageously constituted by posters or panels with a known pattern, easily identifiable and unlikely to be found elsewhere in the scene. Each target is preferably different from the other targets in order to distinguish them from each other. It is also possible to use as a target elements naturally present in the captured scene, for example a particular object or a detail of this physical space.

[0017] L’emplacement des cibles 10 dans l’espace physique 1 est connu et sert de référence pour déterminer la position et l’orientation de l’utilisateur dans cet espace, comme on le verra. En d’autres termes, un modèle tridimensionnel de l’espace physique (ou espace virtuel) est réalisé dans un calculateur 3 de manière manuelle ou automatique à partir de données d’une caméra ou d’autres capteurs, et ce modèle intègre la position des cibles 10. The location of the targets 10 in the physical space 1 is known and serves as a reference for determining the position and orientation of the user in this space, as will be seen. In other words, a three-dimensional model of the physical space (or virtual space) is made in a computer 3 manually or automatically from data from a camera or other sensors, and this model integrates the position targets 10.

[0018] Le calculateur 3 est par exemple constitué par un ordinateur portable, un ordinateur de bureau, ou tout autre équipement informatique capable d’exécuter ou de faire exécuter des programmes d’ordinateur. Dans un mode de réalisation, les calculs nécessaires à la mise en œuvre du procédé de l’invention sont exécutés par un serveur à distance, et transmis à l’utilisateur 2 via une connexion Internet ou cellulaire par exemple. The computer 3 is for example constituted by a laptop, a desktop computer, or any other computer equipment capable of executing or executing computer programs. In one embodiment, the calculations necessary for the implementation of the method of the invention are executed by a remote server, and transmitted to the user 2 via an Internet or cellular connection, for example.

[0019] L’élément 4 sur la fig. 1désigne un capteur externe, par exemple un capteur de lumière, un capteur d’image tel qu’une caméra, ou un système de localistion d’objets dans l’espace par projection d’images infrarouges, sonar etc. Ce capteur peut être connecté au calculateur 4 et lui transmet des images fixes ou animées de l’espace physique 1, ou d’autres informations utiles pour établir le modèle de cet espace, pour déterminer la position des cibles 10 dans l’espace, pour déterminer la position et l’orientation de l’utilisateur 2 ou de parties du corps de cet utilisateur, et/ou pour déterminer l’illumination dans cet espace. The element 4 in FIG. 1designs an external sensor, for example a light sensor, an image sensor such as a camera, or a system for locating objects in space by projection of infrared images, sonar etc. This sensor can be connected to the computer 4 and transmits to it fixed or animated images of the physical space 1, or other useful information to establish the model of this space, to determine the position of the targets 10 in space, for determine the position and orientation of the user 2 or body parts of this user, and / or to determine the illumination in this space.

[0020] L’utilisateur 2 qui souhaite simuler la présence de meubles virtuels ou d’autres éléments d’habitat virtuel dans cet espace se munit d’un dispositif d’affichage personnel stéréoscopique 20. Dans un mode de réalisation, ce dispositif est constitué par une paire de lunettes dont chaque verre est remplacé par un écran, par exemple un écran LCD, de façon à projeter une image différente sur chaque œil en donnant un sentiment de tridimensionnalité. Dans un autre mode de réalisation, ce dispositif 20 est constitué par un affichage virtuel rétinien (VRD) dans lequel un faisceau laser à faible puissance balaie le fond de chaque rétine de façon à projeter deux images en stéréoscopie sur les deux yeux. D’autres dispositifs d’affichages stéréoscopiques personnels, par exemple sous la forme de lunettes ou de head-up-display, peuvent être mis en œuvre. Ce dispositif est connecté au calculateur 3 qui détermine les images projetées devant chacun des deux yeux. User 2 who wishes to simulate the presence of virtual furniture or other virtual habitat elements in this space is equipped with a stereoscopic personal display device 20. In one embodiment, this device is constituted by a pair of glasses where each glass is replaced by a screen, for example an LCD screen, so as to project a different image on each eye by giving a feeling of three-dimensionality. In another embodiment, this device 20 is constituted by a retinal virtual display (VRD) in which a low power laser beam scans the bottom of each retina so as to project two stereoscopic images on both eyes. Other stereoscopic personal display devices, for example in the form of glasses or head-up-display, can be implemented. This device is connected to the computer 3 which determines the images projected in front of each of the two eyes.

[0021] L’utilisateur est aussi muni d’au moins une caméra 21 qui capture des images de l’espace physique 1. Cette caméra est avantageusement montée sur la tête de l’utilisateur 2, par exemple en étant fixée aux lunettes qui portent aussi le dispositif d’affichage 2. La caméra suit ainsi les déplacements et les rotations de la tête de l’utilisateur 2 dans l’espace physique. Elle permet de déterminer la position et l’orientation de la tête de l’utilisateur à partir de la position des cibles dans les images capturées par la caméra. Dans un mode de réalisation préférentiel, au moins deux caméras distinctes sont utilisées afin de capturer une image stéréoscopique de l’espace. The user is also provided with at least one camera 21 which captures images of the physical space 1. This camera is advantageously mounted on the head of the user 2, for example by being attached to the glasses that carry also the display device 2. The camera thus follows the movements and rotations of the head of the user 2 in the physical space. It makes it possible to determine the position and orientation of the user's head from the position of the targets in the images captured by the camera. In a preferred embodiment, at least two separate cameras are used to capture a stereoscopic image of the space.

[0022] D’autres capteurs optionnels peuvent être utilisés pour localiser plus précisément ou plus rapidement l’utilisateur 2 dans l’espace physique 1. Par exemple, il est possible de munir l’utilisateur d’un accéléromètre, par exemple un accéléromètre triaxial, et/ou d’un gyroscope, qui permettent par intégrations successives de déterminer la position et l’orientation de l’utilisateur en chaque instant. Ces données de l’accéléromètre et/ou du gyroscope sont avantageusement combinées ou corrélées avec les informations obtenues à partir de la position de la cible, de manière à permettre à un logiciel de géopositionnement dans le calculateur 3 de déterminer précisément et rapidement la position et l»orientation de l’utilisateur 2 dans l’espace. Other optional sensors can be used to locate more precisely or more quickly the user 2 in the physical space 1. For example, it is possible to provide the user with an accelerometer, for example a triaxial accelerometer , and / or a gyroscope, which allow by successive integrations to determine the position and orientation of the user in each moment. These data of the accelerometer and / or the gyroscope are advantageously combined or correlated with the information obtained from the position of the target, so as to allow a computerization software in the computer 3 to accurately and quickly determine the position and the orientation of the user 2 in the space.

[0023] La fig. 2 illustre une vue de l’espace physique augmenté 1 ́ qui est restitué à l’utilisateur 2 via son dispositif d’affichage personnel 20. Bien que la fig. 2 montre une seule image, il faut bien comprendre qu’en réalité deux images légèrement décalées seront affichées aux deux yeux de l’utilisateur, de manière à lui donner une impression de tridimensionnalité. FIG. 2 illustrates a view of the augmented physical space 1 which is returned to the user 2 via its personal display device 20. Although FIG. 2 shows a single image, it must be understood that in fact two images slightly offset will be displayed in both eyes of the user, so as to give it an impression of three-dimensional.

[0024] Par comparaison à l’espace physique de la fig. 1, l’espace physique augmenté de la fig. 2 comporte des éléments virtuels additionnels superposés. Le flux vidéo affiché par les lunettes est donc différent du flux vidéo capturé par la caméra 21. Dans cet exemple, le fond d’image affiché correspond pour l’essentiel à l’image capturée par la ou les caméras 21, mais des objets 20, 30, 31 sont superposés en avant-plan sur cet arrière-plan. Il est cependant aussi possible de remplacer des éléments de l’arrière-plan, par exemple afin de remplacer virtuellement une tapisserie ou une peinture sur un mur. Compared to the physical space of FIG. 1, the increased physical space of FIG. 2 has additional virtual elements superimposed. The video stream displayed by the glasses is therefore different from the video stream captured by the camera 21. In this example, the background image displayed essentially corresponds to the image captured by the camera or cameras 21, but objects 20 , 30, 31 are superimposed in the foreground on this background. However, it is also possible to replace elements in the background, for example in order to virtually replace a tapestry or a painting on a wall.

[0025] L’élément 20 sur la fig. 2correspond à un meuble, ici une table, dont l’image virtuelle est superposée par-dessus l’image de l’espace physique capturée par la caméra 21. Plusieurs meubles ou éléments d’habitat peuvent être ajoutés en réalité augmentée sur cette image, par exemple d’autres types de meubles, des lampes, des éléments de cuisine agencée, de salle de bain, de cheminée, de parquet, rideau etc. L’élément 20 affiché est une projection sur chaque œil, calculée à partir d’un modèle tridimensionnel du meuble ou de l’élément, et dépendant de la position et de l’orientation de l’utilisateur, ainsi qu’avantageusement des conditions d’illumination dans l’espace physique. Lorsque l’utilisateur se déplace ou tourne la tête, la projection est recalculée de manière à afficher une projection correcte et correctement placée dans le nouveau champ de vision de l’utilisateur 2. The element 20 in FIG. 2corresponds to a piece of furniture, here a table, whose virtual image is superimposed over the image of the physical space captured by the camera 21. Several pieces of furniture or elements of habitat can be added in augmented reality on this image, for example other types of furniture, lamps, fitted kitchen elements, bathroom, fireplace, parquet, curtain etc. The displayed element 20 is a projection on each eye, calculated from a three-dimensional model of the furniture or the element, and depending on the position and the orientation of the user, as well as advantageously the conditions of the illumination in physical space. When the user moves or turns the head, the projection is recalculated so as to display a correct projection and correctly placed in the new field of view of the user 2.

[0026] L’élément 30 sur la fig. 2désigne un menu virtuel qui s’affiche sur le flux vidéo affiché à l’utilisateur. Ce menu comporte une liste de meubles ou d’autres éléments d’habitat que l’utilisateur peut placer et orienter comme bon lui semble dans cet espace. La liste de meubles et d’éléments proposés provient de préférence d’une bibliothèque stockée dans le calculateur 3, ou auquel le calculateur 3 peut accéder. L’utilisateur peut choisir parmi plusieurs bibliothèques disponibles, correspondant par exemple à plusieurs fabricants ou distributeurs de meubles ou d’éléments d’habitat. Le menu peut aussi indiquer le prix des meubles, la disponibilité, les options disponibles etc. L’utilisateur sélectionne une position de menu par exemple au moyen d’un organe de commande non illustré, tel qu’un clavier, une souris ou un joystick. Dans une variante, il choisit une position de menu en pointant dessus avec la main 32 ou avec une autre partie du corps. Dans une autre variante, la position de la pupille est observée par un capteur dans la lunette, et une position de menu peut être sélectionnée par un mouvement de l’œil adapté de l’utilisateur. The element 30 in FIG. 2designs a virtual menu that is displayed on the video stream displayed to the user. This menu contains a list of furniture or other items of habitat that the user can place and orient as they see fit in this space. The list of furniture and items proposed preferably comes from a library stored in the computer 3, or to which the computer 3 can access. The user can choose from several libraries available, corresponding for example to several manufacturers or distributors of furniture or housing elements. The menu can also show the price of furniture, availability, available options etc. The user selects a menu position for example by means of an unillustrated controller, such as a keyboard, a mouse or a joystick. In a variant, he chooses a menu position by pointing with the hand 32 or with another part of the body. In another variant, the position of the pupil is observed by a sensor in the telescope, and a menu position can be selected by a movement of the eye adapted to the user.

[0027] L’élément 31 sur la fig. 2désigne un élément d’interface graphique qui permet à l’utilisateur de manipuler les objets virtuels 20 affichés. Par exemple, l’élément graphique illustré permet à l’utilisateur de tourner un objet. D’autres types d’éléments graphiques peuvent être prévus et affichés en réalité augmentée afin par exemple de déplacer des objets virtuels, de les supprimer, de les ajouter, de les remplacer, ou de modifier leurs caractéristiques de couleur ou de type par exemple. Si l’objet virtuel 20 permet des manipulations, par exemple dans le cas d’une lampe qui peut être allumée ou d’une commode dont les tiroirs peuvent être ouverts, il est possible de prévoir des éléments d’interface graphique appropriés. The element 31 in FIG. 2designs a GUI element that allows the user to manipulate the displayed virtual objects. For example, the illustrated graphic element allows the user to rotate an object. Other types of graphic elements may be provided and displayed in augmented reality, for example to move virtual objects, to delete them, to add them, to replace them, or to modify their color or type characteristics, for example. If the virtual object 20 allows manipulations, for example in the case of a lamp that can be turned on or a dresser whose drawers can be opened, it is possible to provide appropriate graphic interface elements.

[0028] L’élément 32 sur la fig. 2correspond à une partie du corps de l’utilisateur 2, par exemple à une main, qui peut également être utilisée pour manipuler des objets virtuels projetés dans l’espace virtuel 1 ́. La main affichée peut être simplement l’image de la main capturée par la caméra 21, ou une image de synthèse calculée et qui remplace l’image de la vraie main. Les mouvements de cette main et leur interaction avec les meubles ou autres éléments virtuels peuvent être observés par la caméra 21 et/ou par un capteur externe 4, et exploités par un logiciel approprié dans le calculateur 3 pour interagir sur ces meubles ou éléments virtuels. Par exemple, un utilisateur peut saisir avec la main un meuble virtuel pour le déplacer, le tourner ou le supprimer. L’utilisateur peut aussi agir avec la main sur le menu virtuel 30 et/ou sur les éléments d’interface graphique 31. Les déplacements correspondants de la main sont interprétés par le calculateur 3 pour modifier en conséquence l’image virtuelle affichée. The element 32 in FIG. 2corresponds to a part of the body of the user 2, for example to a hand, which can also be used to manipulate virtual objects projected in the virtual space 1. The displayed hand can be simply the image of the hand captured by the camera 21, or a calculated computer image that replaces the image of the real hand. The movements of this hand and their interaction with the furniture or other virtual elements can be observed by the camera 21 and / or by an external sensor 4, and exploited by appropriate software in the computer 3 to interact on these furniture or virtual elements. For example, a user can grab a virtual piece of furniture by hand to move, rotate, or delete it. The user can also act with the hand on the virtual menu 30 and / or the GUI elements 31. The corresponding movements of the hand are interpreted by the computer 3 to modify accordingly the displayed virtual image.

[0029] Afin d’assurer une intégration fidèle des objets virtuels dans l’espace physique 1 capturés par la caméra 21, un alignement précis est nécessaire. Cet alignement est avantageusement obtenu en déterminant la position de l’utilisateur 2 dans l’espace physique grâce à la position des cibles 10 dans le flux d’images vidéo capturées par la caméra 21. Lorsque l’utilisateur se déplace ou tourne la tête, la position de ces cibles dans l’image ou dans les deux images stéréoscopiques capturées par la caméra 21 est modifiée, ce qui permet à l’algorithme de géopositionnement exécuté par le calculateur de déterminer le mouvement effectué. Si les cibles ne sont momentanément plus visibles, le positionnement peut être effectué d’après les déplacements d’autres éléments dans la séquence d’images capturées depuis la dernière image comprenant une cible. Les informations additionnelles des accéléromètres, gyroscopes ou capteurs fixes additionnels peuvent aussi être employés pour positionner et orienter précisément et en temps réel l’utilisateur dans l’espace. Au démarrage et à la mise sous tension du système, une calibration peut par exemple impliquer une phase au cours de laquelle l’utilisateur est invité à regarder dans une direction donnée, ou à regarder successivement chacune des cibles. In order to ensure a faithful integration of the virtual objects in the physical space 1 captured by the camera 21, precise alignment is necessary. This alignment is advantageously obtained by determining the position of the user 2 in the physical space thanks to the position of the targets 10 in the stream of video images captured by the camera 21. When the user moves or turns the head, the position of these targets in the image or in the two stereoscopic images captured by the camera 21 is modified, which allows the algorithm of derivations executed by the computer to determine the movement carried out. If the targets are momentarily no longer visible, the positioning can be performed according to the movements of other elements in the sequence of images captured since the last image comprising a target. Additional information from additional accelerometers, gyroscopes or fixed sensors can also be used to accurately position and direct the user in space in real time. When starting and powering up the system, a calibration may for example involve a phase during which the user is asked to look in a given direction, or to look successively at each of the targets.

[0030] Lorsque la position et l’orientation de l’utilisateur a été déterminée, il est possible d’aligner l’espace virtuel calculé par le calculateur et intégrant des éléments virtuels avec l’espace physique. Les éléments virtuels à superposer sur cette image peuvent alors être parfaitement positionnés et orientés par rapport aux éléments de l’espace physique directement capturés. When the position and orientation of the user has been determined, it is possible to align the virtual space calculated by the computer and integrating virtual elements with the physical space. The virtual elements to be superimposed on this image can then be perfectly positioned and oriented with respect to the elements of the physical space directly captured.

[0031] Un rendu réaliste est obtenu en appliquant à ces objets virtuels une illumination qui dépend de l’illumination de la pièce, telle que déterminée par la caméra 21, par le capteur 4, et/ou connue à l’avance dans le cas d’un showroom par exemple. Le calcul d’illumination implique par exemple le calcul des ombres et des reflets projetés par chaque meuble ou élément d’habitat virtuel, et l’affichage de ces ombres ou reflet. La couleur et l’illumination de la texture appliqué à ces éléments virtuels peut aussi tenir compte de la couleur et la quantité de lumière à cet endroit de la pièce. A realistic rendering is obtained by applying to these virtual objects an illumination which depends on the illumination of the room, as determined by the camera 21, the sensor 4, and / or known in advance in the case a showroom for example. The illumination calculation involves for example the calculation of shadows and reflections projected by each piece of furniture or virtual habitat element, and the display of these shadows or reflection. The color and illumination of the texture applied to these virtual elements can also take into account the color and the amount of light at this point in the room.

[0032] Un moteur de jeu vidéo, par exemple le moteur Ogre 3D, peut être utilisé pour calculer l’image et la texture à appliquer en chaque instant sur chaque objet virtuel superposé en réalité augmentée. Les modèles 3D des meubles et autres objets 3D peuvent être réalisés avec des logiciels tels que 3D Studio Max et Rhino 3D. A video game engine, for example the Ogre 3D engine, can be used to calculate the image and the texture to be applied at each moment to each virtual object superimposed in augmented reality. 3D models of furniture and other 3D objects can be made with software such as 3D Studio Max and Rhino 3D.

[0033] L’invention concerne aussi un logiciel exécutable par un calculateur 3 local ou distance afin de déterminer la position d’un utilisateur dans un espace physique et d’afficher en réalité augmentée des meubles virtuels sélectionnables par cet utilisateur, selon le procédé décrit plus haut. The invention also relates to a software executable by a local or remote computer 3 to determine the position of a user in a physical space and to display in augmented reality virtual furniture selectable by this user, according to the described method upper.

Claims

A method of inserting into a video stream synthesized images of furniture or other living elements so as to simulate a virtually furnished interior, comprising the following steps: equipping a physical space (1) with multiple visual targets (10); equipping a user (2) with a personal display device (20) for displaying a stereoscopic video stream; equipping said user (2) with a camera (21) to capture a captured video stream, the camera following the movements of said user in said physical space (1); determining the position and orientation of said user (2) in said physical space (1) from the position of said targets (10) in the video stream captured by said camera; rendering with said personal display device (20) a displayed video stream corresponding to the captured video stream; constructing a virtual space (1) and aligning it with said physical space (1) using the position of the targets (10) in the video stream captured by said camera; placing in said virtual space (V) three-dimensional models of furniture or other habitat elements (20) selected by said user from a list; superimposing augmented reality projections of said three-dimensional models on said displayed video stream.

The method of claim 1, further comprising the steps of: determining, with the aid of a light sensor (4), the illumination of said physical space (1); applying to said three-dimensional models a simulated illumination corresponding to the illumination expected at the location provided for said furniture or other habitat elements.

3. The method of one of claims 1 or 2, wherein a menu (30) allowing the user to select said furniture or other habitat elements is superimposed on said displayed video stream.

The method of one of claims 1 to 3, wherein graphical interface elements (31) are superimposed on said displayed video stream, and wherein said graphical user interface elements can be selected by the user for interact on said three-dimensional models (20).

The method of claim 4, wherein said graphical interface elements (31) allow the user to move said three-dimensional models (31) into said virtual space (1 ').

The method of one of claims 1 to 5, wherein the position of at least a portion of the body (32) of said user is determined and used to interact on said three-dimensional models.

The method of claim 6, wherein the position of the hands (32) of said user is determined using said camera (21), and wherein said user moves at least one piece of furniture or other habitat element ( 20) in said virtual space with his hands.

The method of one of claims 1 to 7, wherein at least the image captured by said camera (21) of at least one element in said physical space is deleted and replaced by a background image. .

The method of one of claims 1 to 8, wherein said displayed video stream is a stereoscopic image stream allowing a three-dimensional representation.

The method of one of claims 1 to 9, wherein two distinct video streams are captured using two cameras, so as to capture a three-dimensional image of said physical space.

11. The method of one of claims 1 to 9, wherein an accelerometer and / or a gyroscope is used to locate and orient said user.

The method of one of claims 1 to 11, wherein a fixed external sensor (4) in said physical space is used to capture the image of said user (2) and / or illumination conditions.

The method of one of claims 1 to 12, wherein a pattern of said space including the position of said targets (10) is introduced.

14. Simulation equipment for a virtual interior, comprising the following elements: Several visual targets A camera arranged to capture a captured video stream; A personal display device for displaying a stereoscopically displayed video stream; A database of three-dimensional models of furniture or other elements of habitat; A calculator with a location software for determining the position and orientation of said user from the position of said targets in the video stream captured by said camera, and with software arranged to construct a virtual space aligned with the captured physical space by the camera using the position of the targets in the video stream captured by said camera, for placing in said virtual space three-dimensional models of furniture or other habitat elements selected by said user from a list, and for superimposing augmented reality projections of said three-dimensional models on the video stream displayed.