CH704910A1 - Procédé et équipement pour insérer dans un flux vidéo des images de synthèse de meubles ou d'autres éléments d'habitat. - Google Patents

Abstract

L’invention a pour objet un procédé pour insérer dans un flux vidéo des images de synthèse de meubles ou d’autres éléments d’habitat de manière à simuler un intérieur meublé de façon virtuelle, comprenant les étapes suivantes: équiper un espace physique (1) avec plusieurs cibles visuelles (10); équiper un utilisateur (2) avec un dispositif d’affichage personnel (20) permettant d’afficher un flux vidéo stéréoscopique; équiper ledit utilisateur (2) d’une caméra (21) afin de saisir un flux vidéo capturé, la caméra suivant les mouvements dudit utilisateur dans ledit espace physique (1); déterminer la position et l’orientation dudit utilisateur (2) dans ledit espace physique (1) à partir de la position desdites cibles (10) dans le flux vidéo capturé par ladite caméra; restituer avec ledit dispositif d’affichage personnel (20) un flux vidéo affiché correspondant au flux vidéo capturé; construire un espace virtuel et l’aligner avec ledit espace physique (1) en utilisant la position des cibles (10) dans le flux vidéo capturé par ladite caméra; placer dans ledit espace virtuel des modèles tridimensionnels de meubles ou d’autres éléments d’habitat (20) choisis par ledit utilisateur à partir d’une liste; superposer en réalité augmentée les projections desdits modèles tridimensionnels sur ledit flux vidéo affiché. Ce procédé, ainsi que l’équipement associé, permettent de réaliser en trois dimensions des meubles et d’autres éléments dans un environnement existant.

Description

[0001] La présente invention concerne un procédé et un équipement de simulation destiné au domaine des meubles et de l’habitat. La présente invention concerne en particulier un procédé et un équipement pour insérer dans un flux vidéo des images de synthèse de meubles ou d’autres éléments d’habitat.

Etat de la technique

[0002] Le choix des meubles et des autres éléments d’habitat tels que cuisines, éléments de salle de bain, tapis, parquets et rideaux etc. est difficile. Il est très difficile en magasin de s’imaginer la dimension occupée et l’effet.produit par un meuble placé dans l’environnement auquel il est destiné. De nombreux consommateurs regrettent leurs achats lorsqu’ils les installent à leur domicile, ou sont excessivement prudents avant de prendre une décision d’achat.

[0003] Il est fréquent de réaliser des plans en deux ou même en trois dimensions d’un espace à aménager. Par exemple, l’installation d’une cuisine aménagée est presque invariablement précédée de la réalisation d’un plan qui permet de se rendre compte de l’effet et de l’encombrement. De tels plans sont cependant souvent peu conformes à la réalité et un bon dessinateur peut générer un rendu esthétique flatteur qui ne sera que partiellement restitué par la cuisine achevée. D’autre part, la réalisation de plans requiert un temps important et ne permet pas de comparer un nombre illimité de variantes.

[0004] On connaît par ailleurs des solutions permettant de superposer sur une photo d’un intérieur des éléments virtuels dessinés, par exemple un dessin de meubles à l’endroit prévu. A nouveau ces dessins sont difficiles et lent à réaliser avec le rendu souhaité. D’autre part le résultat est une photo qui ne produit pas un sentiment d’immersion totale dans l’espace aménagé virtuellement.

[0005] On connaît notamment dans le domaine des jeux vidéo des solutions pour restituer à l’utilisateur des images de synthèse d’un environnement virtuel. La génération de ces images de synthèse nécessite cependant une puissance de calcul importante. D’autre part, ces solutions sont peu adaptées à la modélisation d’un espace existant, par exemple d’un logement, car la modélisation d’un intérieur complet nécessite des ressources considérables.

[0006] On connaît également des logiciels de réalité augmentée, par exemple sur téléphone portable, qui permettent de superposer sur une image statique ou animée des éléments supplémentaires. Ces solutions ne sont cependant pas destinées au problème de l’aménagement d’intérieur. D’autre part le sentiment d’immersion dans cet univers augmenté est en général insatisfaisant en raison d’un alignement imparfait des objets virtuels sur l’image réelle, et d’une restitution de l’image de synthèse sur un écran plat non conforme à la vision stéréoscopique des humains.

Bref résumé de l’invention

[0007] Un but de la présente invention est de proposer un procédé qui permette aux acheteurs de choisir plus facilement des meubles ou autres éléments d’habitat intérieur.

[0008] Un autre but est de proposer un procédé qui permette aux acheteurs de s’immerger virtuellement dans un intérieur emménagé selon leurs désirs, afin d’offrir un sentiment d’immersion amélioré.

[0009] Un autre but est de proposer un procédé qui puisse être mis en œuvre facilement et permette avec un temps de configuration réduit de vérifier l’impact d’un nouveau meuble ou élément d’habitat dans un environnement existant.

[0010] Selon l’invention, ces buts sont atteints notamment au moyen d’un procédé pour insérer dans un flux vidéo des images de synthèse de meubles ou d’autres éléments d’habitat de manière à simuler un intérieur meublé de façon virtuelle, comprenant les étapes suivantes: équiper un espace physique avec plusieurs cibles visuelles; équiper un utilisateur avec un dispositif d’affichage personnel permettant d’afficher un flux vidéo stéréoscopique; équiper ledit utilisateur d’une caméra afin de saisir un flux vidéo capturé, la caméra suivant les mouvements dudit utilisateur dans ledit espace physique; déterminer la position et l’orientation dudit utilisateur dans ledit espace physique à partir de la position desdites cibles dans le flux vidéo capturé par ladite caméra; restituer avec ledit dispositif d’affichage personnel un flux vidéo affiché correspondant au flux vidéo capturé; construire un espace virtuel et l’aligner avec ledit espace physique en utilisant la position des cibles dans le flux vidéo capturé par ladite caméra; placer dans ledit espace virtuel des modèles tridimensionnels de meubles ou d’autres éléments d’habitat choisis par ledit utilisateur à partir d’une liste; superposer en réalité augmentée les projections desdits modèles tridimensionnels sur ledit flux vidéo affiché.

[0011] Cette solution présente notamment l’avantage par rapport à l’art antérieur de permettre à l’utilisateur de visualiser, en trois dimensions et après un temps d’installation minimal, l’effet produit par de nouveaux meubles ou éléments d’habitat dans un environnement existant.

Brève description des figures

[0012] Des exemples de mise en œuvre de l’invention sont indiqués dans la description illustrée par les figures annexées dans lesquelles:

[0013] La fig. 1 illustre de manière schématique un environnement physique muni de cibles.

[0014] La fig. 2 illustre de manière schématique un espace virtuel correspondant à cet environnement physique mais incluant notamment des objets incrustés en réalité augmentée.

Exemple(s) de mode de réalisation de l’invention

[0015] Un espace physique 1 est illustré schématiquement sur la fig. 1. Il peut correspondre par exemple à une pièce de l’appartement que l’utilisateur 2 souhaite réaménager, ou à un showroom virtuel dans un magasin ou lors d’une exposition. Cet espace correspond typiquement à une pièce avec un sol, des murs, un plafond, éventuellement des fenêtres, éventuellement des meubles existants etc.

[0016] Cet espace est équipé de plusieurs cibles 10 avantageusement réparties de façon plus ou moins régulière dans l’espace. Deux cibles sont illustrées sur la figure; il est cependant préférable d’utiliser un nombre de cibles égal ou supérieur à trois afin de positionner l’utilisateur selon trois axes indépendants. Les cibles sont avantageusement constituées par des affiches ou panneaux avec un motif connu, aisément identifiable et peu susceptible de se retrouver par hasard ailleurs dans la scène. Chaque cible est de préférence différente des autres cibles afin de pouvoir les distinguer les unes des autres. Il est aussi possible d’employer comme cible des éléments naturellement présents dans la scène capturée, par exemple un objet particulier ou un détail de cet espace physique.

[0017] L’emplacement des cibles 10 dans l’espace physique 1 est connu et sert de référence pour déterminer la position et l’orientation de l’utilisateur dans cet espace, comme on le verra. En d’autres termes, un modèle tridimensionnel de l’espace physique (ou espace virtuel) est réalisé dans un calculateur 3 de manière manuelle ou automatique à partir de données d’une caméra ou d’autres capteurs, et ce modèle intègre la position des cibles 10.

[0018] Le calculateur 3 est par exemple constitué par un ordinateur portable, un ordinateur de bureau, ou tout autre équipement informatique capable d’exécuter ou de faire exécuter des programmes d’ordinateur. Dans un mode de réalisation, les calculs nécessaires à la mise en œuvre du procédé de l’invention sont exécutés par un serveur à distance, et transmis à l’utilisateur 2 via une connexion Internet ou cellulaire par exemple.

[0019] L’élément 4 sur la fig. 1désigne un capteur externe, par exemple un capteur de lumière, un capteur d’image tel qu’une caméra, ou un système de localistion d’objets dans l’espace par projection d’images infrarouges, sonar etc. Ce capteur peut être connecté au calculateur 4 et lui transmet des images fixes ou animées de l’espace physique 1, ou d’autres informations utiles pour établir le modèle de cet espace, pour déterminer la position des cibles 10 dans l’espace, pour déterminer la position et l’orientation de l’utilisateur 2 ou de parties du corps de cet utilisateur, et/ou pour déterminer l’illumination dans cet espace.

[0020] L’utilisateur 2 qui souhaite simuler la présence de meubles virtuels ou d’autres éléments d’habitat virtuel dans cet espace se munit d’un dispositif d’affichage personnel stéréoscopique 20. Dans un mode de réalisation, ce dispositif est constitué par une paire de lunettes dont chaque verre est remplacé par un écran, par exemple un écran LCD, de façon à projeter une image différente sur chaque œil en donnant un sentiment de tridimensionnalité. Dans un autre mode de réalisation, ce dispositif 20 est constitué par un affichage virtuel rétinien (VRD) dans lequel un faisceau laser à faible puissance balaie le fond de chaque rétine de façon à projeter deux images en stéréoscopie sur les deux yeux. D’autres dispositifs d’affichages stéréoscopiques personnels, par exemple sous la forme de lunettes ou de head-up-display, peuvent être mis en œuvre. Ce dispositif est connecté au calculateur 3 qui détermine les images projetées devant chacun des deux yeux.

[0021] L’utilisateur est aussi muni d’au moins une caméra 21 qui capture des images de l’espace physique 1. Cette caméra est avantageusement montée sur la tête de l’utilisateur 2, par exemple en étant fixée aux lunettes qui portent aussi le dispositif d’affichage 2. La caméra suit ainsi les déplacements et les rotations de la tête de l’utilisateur 2 dans l’espace physique. Elle permet de déterminer la position et l’orientation de la tête de l’utilisateur à partir de la position des cibles dans les images capturées par la caméra. Dans un mode de réalisation préférentiel, au moins deux caméras distinctes sont utilisées afin de capturer une image stéréoscopique de l’espace.

[0022] D’autres capteurs optionnels peuvent être utilisés pour localiser plus précisément ou plus rapidement l’utilisateur 2 dans l’espace physique 1. Par exemple, il est possible de munir l’utilisateur d’un accéléromètre, par exemple un accéléromètre triaxial, et/ou d’un gyroscope, qui permettent par intégrations successives de déterminer la position et l’orientation de l’utilisateur en chaque instant. Ces données de l’accéléromètre et/ou du gyroscope sont avantageusement combinées ou corrélées avec les informations obtenues à partir de la position de la cible, de manière à permettre à un logiciel de géopositionnement dans le calculateur 3 de déterminer précisément et rapidement la position et l»orientation de l’utilisateur 2 dans l’espace.

[0023] La fig. 2 illustre une vue de l’espace physique augmenté 1 ́ qui est restitué à l’utilisateur 2 via son dispositif d’affichage personnel 20. Bien que la fig. 2 montre une seule image, il faut bien comprendre qu’en réalité deux images légèrement décalées seront affichées aux deux yeux de l’utilisateur, de manière à lui donner une impression de tridimensionnalité.

[0024] Par comparaison à l’espace physique de la fig. 1, l’espace physique augmenté de la fig. 2 comporte des éléments virtuels additionnels superposés. Le flux vidéo affiché par les lunettes est donc différent du flux vidéo capturé par la caméra 21. Dans cet exemple, le fond d’image affiché correspond pour l’essentiel à l’image capturée par la ou les caméras 21, mais des objets 20, 30, 31 sont superposés en avant-plan sur cet arrière-plan. Il est cependant aussi possible de remplacer des éléments de l’arrière-plan, par exemple afin de remplacer virtuellement une tapisserie ou une peinture sur un mur.

[0025] L’élément 20 sur la fig. 2correspond à un meuble, ici une table, dont l’image virtuelle est superposée par-dessus l’image de l’espace physique capturée par la caméra 21. Plusieurs meubles ou éléments d’habitat peuvent être ajoutés en réalité augmentée sur cette image, par exemple d’autres types de meubles, des lampes, des éléments de cuisine agencée, de salle de bain, de cheminée, de parquet, rideau etc. L’élément 20 affiché est une projection sur chaque œil, calculée à partir d’un modèle tridimensionnel du meuble ou de l’élément, et dépendant de la position et de l’orientation de l’utilisateur, ainsi qu’avantageusement des conditions d’illumination dans l’espace physique. Lorsque l’utilisateur se déplace ou tourne la tête, la projection est recalculée de manière à afficher une projection correcte et correctement placée dans le nouveau champ de vision de l’utilisateur 2.

[0026] L’élément 30 sur la fig. 2désigne un menu virtuel qui s’affiche sur le flux vidéo affiché à l’utilisateur. Ce menu comporte une liste de meubles ou d’autres éléments d’habitat que l’utilisateur peut placer et orienter comme bon lui semble dans cet espace. La liste de meubles et d’éléments proposés provient de préférence d’une bibliothèque stockée dans le calculateur 3, ou auquel le calculateur 3 peut accéder. L’utilisateur peut choisir parmi plusieurs bibliothèques disponibles, correspondant par exemple à plusieurs fabricants ou distributeurs de meubles ou d’éléments d’habitat. Le menu peut aussi indiquer le prix des meubles, la disponibilité, les options disponibles etc. L’utilisateur sélectionne une position de menu par exemple au moyen d’un organe de commande non illustré, tel qu’un clavier, une souris ou un joystick. Dans une variante, il choisit une position de menu en pointant dessus avec la main 32 ou avec une autre partie du corps. Dans une autre variante, la position de la pupille est observée par un capteur dans la lunette, et une position de menu peut être sélectionnée par un mouvement de l’œil adapté de l’utilisateur.

[0027] L’élément 31 sur la fig. 2désigne un élément d’interface graphique qui permet à l’utilisateur de manipuler les objets virtuels 20 affichés. Par exemple, l’élément graphique illustré permet à l’utilisateur de tourner un objet. D’autres types d’éléments graphiques peuvent être prévus et affichés en réalité augmentée afin par exemple de déplacer des objets virtuels, de les supprimer, de les ajouter, de les remplacer, ou de modifier leurs caractéristiques de couleur ou de type par exemple. Si l’objet virtuel 20 permet des manipulations, par exemple dans le cas d’une lampe qui peut être allumée ou d’une commode dont les tiroirs peuvent être ouverts, il est possible de prévoir des éléments d’interface graphique appropriés.

[0028] L’élément 32 sur la fig. 2correspond à une partie du corps de l’utilisateur 2, par exemple à une main, qui peut également être utilisée pour manipuler des objets virtuels projetés dans l’espace virtuel 1 ́. La main affichée peut être simplement l’image de la main capturée par la caméra 21, ou une image de synthèse calculée et qui remplace l’image de la vraie main. Les mouvements de cette main et leur interaction avec les meubles ou autres éléments virtuels peuvent être observés par la caméra 21 et/ou par un capteur externe 4, et exploités par un logiciel approprié dans le calculateur 3 pour interagir sur ces meubles ou éléments virtuels. Par exemple, un utilisateur peut saisir avec la main un meuble virtuel pour le déplacer, le tourner ou le supprimer. L’utilisateur peut aussi agir avec la main sur le menu virtuel 30 et/ou sur les éléments d’interface graphique 31. Les déplacements correspondants de la main sont interprétés par le calculateur 3 pour modifier en conséquence l’image virtuelle affichée.

[0029] Afin d’assurer une intégration fidèle des objets virtuels dans l’espace physique 1 capturés par la caméra 21, un alignement précis est nécessaire. Cet alignement est avantageusement obtenu en déterminant la position de l’utilisateur 2 dans l’espace physique grâce à la position des cibles 10 dans le flux d’images vidéo capturées par la caméra 21. Lorsque l’utilisateur se déplace ou tourne la tête, la position de ces cibles dans l’image ou dans les deux images stéréoscopiques capturées par la caméra 21 est modifiée, ce qui permet à l’algorithme de géopositionnement exécuté par le calculateur de déterminer le mouvement effectué. Si les cibles ne sont momentanément plus visibles, le positionnement peut être effectué d’après les déplacements d’autres éléments dans la séquence d’images capturées depuis la dernière image comprenant une cible. Les informations additionnelles des accéléromètres, gyroscopes ou capteurs fixes additionnels peuvent aussi être employés pour positionner et orienter précisément et en temps réel l’utilisateur dans l’espace. Au démarrage et à la mise sous tension du système, une calibration peut par exemple impliquer une phase au cours de laquelle l’utilisateur est invité à regarder dans une direction donnée, ou à regarder successivement chacune des cibles.

[0030] Lorsque la position et l’orientation de l’utilisateur a été déterminée, il est possible d’aligner l’espace virtuel calculé par le calculateur et intégrant des éléments virtuels avec l’espace physique. Les éléments virtuels à superposer sur cette image peuvent alors être parfaitement positionnés et orientés par rapport aux éléments de l’espace physique directement capturés.

[0031] Un rendu réaliste est obtenu en appliquant à ces objets virtuels une illumination qui dépend de l’illumination de la pièce, telle que déterminée par la caméra 21, par le capteur 4, et/ou connue à l’avance dans le cas d’un showroom par exemple. Le calcul d’illumination implique par exemple le calcul des ombres et des reflets projetés par chaque meuble ou élément d’habitat virtuel, et l’affichage de ces ombres ou reflet. La couleur et l’illumination de la texture appliqué à ces éléments virtuels peut aussi tenir compte de la couleur et la quantité de lumière à cet endroit de la pièce.

[0032] Un moteur de jeu vidéo, par exemple le moteur Ogre 3D, peut être utilisé pour calculer l’image et la texture à appliquer en chaque instant sur chaque objet virtuel superposé en réalité augmentée. Les modèles 3D des meubles et autres objets 3D peuvent être réalisés avec des logiciels tels que 3D Studio Max et Rhino 3D.

[0033] L’invention concerne aussi un logiciel exécutable par un calculateur 3 local ou distance afin de déterminer la position d’un utilisateur dans un espace physique et d’afficher en réalité augmentée des meubles virtuels sélectionnables par cet utilisateur, selon le procédé décrit plus haut.

Claims (14)

1. Procédé pour insérer dans un flux vidéo des images de synthèse de meubles ou d’autres éléments d’habitat de manière à simuler un intérieur meublé de façon virtuelle, comprenant les étapes suivantes: équiper un espace physique (1) avec plusieurs cibles visuelles (10); équiper un utilisateur (2) avec un dispositif d’affichage personnel (20) permettant d’afficher un flux vidéo stéréoscopique; équiper ledit utilisateur (2) d’une caméra (21) afin de saisir un flux vidéo capturé, la caméra suivant les mouvements dudit utilisateur dans ledit espace physique (1); déterminer la position et l’orientation dudit utilisateur (2) dans ledit espace physique (1) à partir de la position desdites cibles (10) dans le flux vidéo capturé par ladite caméra; restituer avec ledit dispositif d’affichage personnel (20) un flux vidéo affiché correspondant au flux vidéo capturé; construire un espace virtuel (1 ́) et l’aligner avec ledit espace physique (1 ) en utilisant la position des cibles (10) dans le flux vidéo capturé par ladite caméra; placer dans ledit espace virtuel (V) des modèles tridimensionnels de meubles ou d’autres éléments d’habitat (20) choisis par ledit utilisateur à partir d’une liste; superposer en réalité augmentée les projections desdits modèles tridimensionnels sur ledit flux vidéo affiché.

2. Le procédé de la revendication 1, comportant en outre les étapes suivantes: déterminer à l’aide d’un capteur de lumière (4) l’illumination dudit espace physique (1); appliquer auxdits modèles tridimensionnels une illumination simulée correspondant à l’illumination attendue à l’emplacement prévus pour lesdits meubles ou autres éléments d’habitat.

3. Le procédé de l’une des revendications 1 ou 2, dans lequel un menu (30) permettant à l’utilisateur de choisit lesdits meubles ou autres éléments d’habitat est superposé sur ledit flux vidéo affiché.

4. Le procédé de l’une des revendications 1 à 3, dans lequel des éléments d’interface graphique (31) sont superposés sur ledit flux vidéo affiché, et dans lequel lesdits éléments d’interface graphique peuvent être sélectionnés par l’utilisateur pour interagir sur lesdits modèles tridimensionnels (20).

5. Le procédé de la revendication 4, dans lequel lesdits éléments d’interface graphique (31) permettent à l’utilisateur de déplacer lesdits modèles tridimensionnels (31) dans ledit espace virtuel (1 ’).

6. Le procédé de l’une des revendications 1 à 5, dans lequel la position d’au moins une partie du corps (32) dudit utilisateur est déterminée et utilisée pour interagir sur lesdits modèles tridimensionnels.

7. Le procédé de la revendication 6, dans lequel la position des mains (32) dudit utilisateur est déterminée à l’aide de ladite caméra (21), et dans lequel ledit utilisateur déplace au moins un meuble ou autre élément d’habitat (20) dans ledit espace virtuel avec ses mains.

8. Le procédé de l’une des revendications 1 à 7, dans lequel au moins l’image capturée par ladite caméra (21) d’un moins un élément dans ledit espace physique est supprimée et remplacée par une image d’arrière-plan.

9. Le procédé de l’une des revendications 1 à 8, dans lequel ledit flux vidéo affiché est un flux d’image stéréoscopique permettant une représentation tridimensionnelle.

10. Le procédé de l’une des revendications 1 à 9, dans lequel deux flux vidéo distincts sont capturés à l’aide de deux caméras, de manière à capturer une image tridimensionnelle dudit espace physique.

11. Le procédé de l’une des revendications 1 à 9, dans lequel un accéléromètre et/ou un gyroscope est utilisé pour localiser et orienter ledit utilisateur.

12. Le procédé de l’une des revendications 1 à 11, dans lequel un capteur externe fixe (4) dans ledit espace physique est utilisé pour capturer l’image dudit utilisateur (2) et/ou les conditions d’illumination.

13. Le procédé de l’une des revendications 1 à 12, dans lequel un modèle dudit espace incluant la position desdites cibles (10) est introduit.

14. Equipement de simulation d’un intérieur virtuel, comprenant les éléments suivants: Plusieurs cibles visuelles; Une caméra agencée pour saisir un flux vidéo capturé; Un dispositif d’affichage personnel permettant d’afficher un flux vidéo affiché stéréoscopique; Une base de données de modèles tridimensionnels de meubles ou d’autres éléments d’habitat; Un calculateur avec un logiciel de géopositionnement pour déterminer la position et l’orientation dudit utilisateur à partir de la position desdites cibles dans le flux vidéo capturé par ladite caméra, et avec un logiciel agencé pour construire un espace virtuel aligné avec l’espace physique capturé par la caméra en utilisant la position des cibles dans le flux vidéo capturé par ladite caméra, pour placer dans ledit espace virtuel des modèles tridimensionnels de meubles ou d’autres éléments d’habitat choisis par ledit utilisateur à partir d’une liste, et pour superposer en réalité augmentée les projections desdits modèles tridimensionnels sur le flux vidéo affiché.