FR3078426A1 - Systeme et procede d'affichage photorealiste d'un objet tridimensionnel virtuel dans une application de realite augmentee - Google Patents

Abstract

L'invention concerne un système d'affichage photoréaliste d'un objet tridimensionnel virtuel (18) dans une scène (8) capturée d'un environnement réel, caractérisé en ce qu'il comprend : un dispositif d'affichage (10) ; une application de réalité augmentée (12) ; un dispositif d'acquisition d'images à 360° (20); un module de compilation (13) d'images adapté pour créer une image à large gamme dynamique (14) de cet environnement réel ; un module de calcul (14) d'un rendu photoréaliste dudit objet à partir de ladite image large gamme dynamique (14) utilisée comme carte d'éclairement de cet objet ; un module d'affichage (15) de ladite scène (8) capturée et dudit objet tridimensionnel virtuel (18) en rendu photoréaliste sur ledit dispositif d'affichage (10). L'invention concerne également un procédé correspondant.

Description

SYSTÈME ET PROCÉDÉ D’AFFICHAGE PHOTORÉALISTE

D’UN OBJET TRIDIMENSIONNEL VIRTUEL DANS UNE APPLICATION DE RÉALITÉ AUGMENTÉE

1. Domaine technique de l’invention

Le domaine de l’invention est celui du traitement d’images et plus particulièrement de la réalité augmentée, c’est-à-dire des procédés et systèmes qui permettent d'incruster de façon réaliste des objets virtuels dans une image ou une séquence d'images. L’invention concerne plus particulièrement l’affichage photoréaliste d’objets virtuels 3D dans une scène capturée d’un environnement réel par une application de réalité augmentée.

2. Arrière-plan technologique

L’affichage photoréaliste d’objets virtuels dans une scène capturée d’un environnement réel par une application de réalité augmentée est un problème complexe qui fait l’objet de nombreuses recherches.

Dans tout le texte, un affichage d’un objet virtuel est dit photoréaliste lorsque le rendu visuel s’apparente à celui d’une photographie. En d’autres termes, l’affichage photoréaliste d’un objet virtuel 3D dans une scène capturée d’un environnement réel consiste à afficher l’objet dans l’image de la scène sans qu’un observateur ne puisse distinguer que l’objet virtuel affiché ne provient pas réellement de la scène acquise.

Dans tout le texte, le terme « scène » désigne l’image numérique ou la séquence d’images numérique de l’environnement au sein de laquelle l’objet virtuel est affiché.

H existe de nombreux domaines où les techniques de réalité augmentée semblent pouvoir apporter de nouvelles fonctionnalités aux procédés actuellement utilisés dans ces domaines. Il s’agit par exemple et de manière non exhaustive de l’assistance à la navigation (insertion d’informations de sécurité dans le champ de vision du conducteur), de solutions d’e-commerce d’essayage à distance de produits (lunettes, vêtements, mobiliers, etc.), de l’insertion de messages publicitaires lors de retransmissions télévisées (compétitions sportives, concerts, etc.), de visites virtuelles de lieux touristiques (musées, châteaux, etc.), de présentation d’équipements non disponibles (rupture de stock, nouvelle gamme de produits), etc.

L’une des difficultés des techniques d’affichage photoréaliste d’objets dans une scène capturée d’un environnement réel tient à la complexité de simuler les éclairages de la scène. En effet, les objets réellement présents dans une scène sont éclairés par une ou plusieurs sources lumineuses d’intensités, de températures et/ou de directions différentes. Il peut s’agir de la lumière du jour, d’une ou plusieurs sources de lumière artificielle, d’une source de chaleur qui émet un rayonnement lumineux ou d’une combinaison de l’une ou l’autre de ces différentes sources lumineuses. Il est donc en pratique difficile de simuler l’éclairage d’une pièce et donc compliqué de rendre de manière réaliste l’image d’un objet virtuel dans une scène réelle soumise à ces différents éclairages.

En outre, chaque objet est fait en un ou plusieurs matériaux présentant des caractéristiques physiques propres (liées à l’absorption et/ou la réflexion de la lumière sur ce matériau) qui contribuent au rendu de l’objet sur une image.

A ce jour, les techniques connues sont principalement issues de l’industrie cinématographique et imposent le recours à de nombreuses et longues opérations qui consistent notamment à acquérir des images des scènes au sein desquelles on souhaite insérer des objets tridimensionnels virtuels ; à identifier les sources lumineuses ; à déterminer les intensités des sources lumineuses ; à déterminer les températures des sources lumineuses ; à simuler l’éclairage des objets virtuels à partir des informations d’éclairage préalablement identifiées et en fonction des positions finales des objets dans les images; et à insérer en post-traitement ces objets virtuels dans les images acquises des scènes suivant les conditions d’éclairage déterminées par le déploiement d’une application de réalité augmentée sur un dispositif adapté.

Ces opérations sont longues, coûteuses et réservées à des professionnels maîtrisant parfaitement les techniques du traitement d’images et de la lumière.

En outre, elles imposent l’utilisation de nombreux et encombrants équipements (notamment pour la détermination des conditions d’éclairement et le traitement des images).

H existe donc un besoin de disposer d’une solution simple, rapide, peu encombrante et utilisable sans difficultés particulières par des personnes non spécialisées dans l’imagerie.

3. Objectifs de l’invention

L’invention vise à fournir un procédé et un système d’affichage photoréaliste d’un objet virtuel dans une scène capturée d’un environnement réel par une application de réalité augmentée qui pallie au moins certains des inconvénients des techniques connues à ce jour.

L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un procédé d’affichage qui peut être mis en œuvre sans difficultés particulières par un non spécialiste de l’imagerie.

L’invention vise aussi à fournir, dans au moins un mode de réalisation, un système d’affichage portable.

L’invention vise aussi à fournir, dans au moins un mode de réalisation, un système d’affichage simple d’utilisation, y compris pour un non spécialiste.

L’invention vise aussi à fournir, dans au moins un mode de réalisation, un système et un procédé d’affichage qui permet un affichage photoréaliste rapide, c’est-à-dire dont le délai entre l’activation du système et l’affichage photoréaliste de l’objet dans la scène capturée est inférieur à 60 secondes.

L’invention vise aussi à fournir, dans au moins un mode de réalisation, un système d’affichage non encombrant, c’est-à-dire qui peut occuper un volume inférieur à 1 litre.

L’invention vise aussi à fournir, dans au moins un mode de réalisation, un système d’affichage qui peut être utilisé dans une grande variété d’industries, sans nécessiter des modifications substantielles du système d’une industrie à une autre.

4. Exposé de l’invention

Pour ce faire, l’invention concerne un système d’affichage photoréaliste d’un objet tridimensionnel virtuel dans une scène capturée d’un environnement réel.

Un système selon l’invention est caractérisé en ce qu’il comprend :

- un dispositif d’affichage comprenant un écran d’affichage, une application de réalité augmentée adaptée pour capturer ladite scène de l’environnement réel et un processeur pilotant ladite application de réalité augmentée,

- un dispositif d’acquisition d’images à 360° adapté pour être piloté par ledit dispositif d’affichage par le biais de moyens de communication sans fil, ledit dispositif d’acquisition d’images étant en outre configuré pour pouvoir acquérir, sur commande de ladite application de réalité augmentée dudit dispositif d’affichage, une pluralité d’images dudit environnement réel, chaque image étant acquise avec des paramètres d’acquisition prédéterminés fournis par ladite application de réalité augmentée dudit dispositif d’affichage,

- un module de compilation d’images adapté pour créer, à partir de ladite pluralité d’images dudit environnement acquises par ledit dispositif d’acquisition d’images, une image à large gamme dynamique de cet environnement réel,

- un module de calcul d’un rendu photoréaliste dudit objet pour une zone d’affichage prédéterminée de ladite scène capturée dudit environnement réel à partir de ladite image large gamme dynamique utilisée comme source d’éclairement de cet objet,

- un module d’affichage de ladite scène capturée et dudit objet tridimensionnel virtuel en rendu photoréaliste dans ladite zone d’affichage prédéterminée de ladite scène capturée sur ledit écran d’affichage dudit dispositif d’affichage.

L’idée originale de l’invention est donc d’utiliser une application de réalité augmentée pour piloter la génération d’une image à large gamme dynamique de l’environnement réel, qui est utilisée pour adapter les paramètres d’affichage d’un objet tridimensionnel virtuel dans une image de l’environnement réel capturée par l’application de réalité augmentée. En d’autres termes et contrairement aux solutions antérieures où l’application de réalité augmentée est déployée en fin de processus après la création des rendus sur un dispositif d’affichage, l’invention prévoit de piloter le de rendu directement par l’application de réalité augmentée hébergée par le dispositif d’affichage.

Plus précisément, le système selon l’invention met en œuvre au moins un dispositif d’affichage (par exemple un téléphone portable) qui héberge une application de réalité augmentée, un dispositif d’acquisition d’images 360° (par exemple un appareil photographique 360°) piloté par l’application de réalité augmentée, un module de compilation des images (par exemple un serveur distant) permettant de fournir une image à large gamme dynamique de l’environnement réel, un module de calcul d’un rendu photoréaliste (par exemple une routine logicielle de l’application de réalité augmentée hébergée par le téléphone portable) de l’objet à partir de l’image large gamme dynamique créée, et un module d’affichage (par exemple une routine logicielle du téléphone portable) de la scène capturée et de l’objet avec son rendu photoréaliste sur le dispositif d’affichage.

Ces différents éléments sont interdépendants de sorte que le procédé mis en œuvre par le système selon l’invention peut être automatique, rapide et simple à exécuter.

D’une manière générale, un système selon l’invention comprend un dispositif d’affichage qui héberge une application de réalité augmentée, ellemême configurée pour pouvoir capturer une image de la scène au sein de laquelle on souhaite insérer un objet virtuel de manière photoréaliste. La capture de la scène réelle se fait par exemple par le biais d’une caméra logée dans le dispositif d’affichage et pilotée par le processeur.

Ce dispositif d’affichage pilote un dispositif d’acquisitions d’images 360°, qui est par exemple un appareil photographique 360° adapté pour prendre des images à 360° de l’environnement réel.

Selon l’invention, ce dispositif d’acquisition d’images est piloté par l’application de réalité augmentée. Autrement dit, c’est le dispositif d’affichage, par le biais de l’application de réalité augmentée qui pilote l’acquisition des images 360° de l’environnement. La communication entre le dispositif d’acquisition et l’application de réalité augmentée peut se faire soit par le biais d’un réseau Wi-Fi, soit par le biais d’un réseau Bluetooth® ou tout réseau sans fil équivalent permettant de mettre en communication le dispositif d’affichage (qui héberge l’application de réalité augmentée) et le dispositif d’acquisition d’images.

Chaque image 360° est acquise avec des paramètres de prises de vue spécifiques. Le paramètre de prise de vue spécifique à chaque image 360° est par exemple la durée d’exposition. Ainsi, en modifiant la durée d’exposition pour chaque image, on peut récupérer un maximum d’informations sur les niveaux d’éclairement de l’environnement réel.

Les images 360° sont ensuite fournies à un module de compilation qui est configuré pour pouvoir créer, à partir de ces images, une image à large gamme dynamique de l’environnement réel.

Une image à large gamme dynamique est une image formée par la combinaison d’images individuelles prises par le dispositif d’acquisition 360° qui présente une plage dynamique plus grande que celle de chacune des images individuelles. Ainsi, si les images 360° acquises par le dispositif d’acquisition d’images comprennent, par exemple 8 bits par pixel, alors, l’image à large gamme dynamique créée par le module de compilation comprend au moins 16 bits par pixel (ou 32 bits par pixel, voir 96 bits par pixels) de manière à pouvoir représenter de nombreux niveaux d’intensités lumineuses dans l’image créée par le module de compilation. Une image à large gamme dynamique vise à rapprocher la gamme dynamique de l’image numérique de celle de l’œil humain.

Une image à large gamme dynamique (ou à grande gamme dynamique) est par exemple une image plus connue sous l’acronyme anglais HDR pour High Dynamic Range. Une image HDR permet de stocker par exemple 96 bits par point de couleur alors que les images standards utilisent 8 bits par point de couleur. Une image à large gamme dynamique permet donc de fournir des informations d’éclairage et de luminosité précises et représentatives de l’environnement réel par la combinaison d’une pluralité d’images 360° acquises chacune avec des temps de pose distincts prédéterminés. Une image à large gamme dynamique peut également être une image mémorisée sous l’extension EXR, qui permet de coder chaque point de couleur sur 8,16 ou 32 bits, entiers ou flottants.

D’une manière générale, une image à large gamme dynamique désigne une image qui code chaque point de couleur (Rouge, Vert, Bleu) de chaque pixel en un nombre de bits supérieur à 8, de préférence supérieur à 16, entiers ou flottants. Dans toute la suite, le terme image HDR est utilisé pour désigner l’image à large gamme dynamique créée par le module de compilation d’un système selon l’invention, étant entendu que cette image HDR peut en pratique être utilisée sous un autre format que le format HDR en tant que tel, notamment le format EXR décrit ci-dessus.

Le système selon l’invention comprend également un module de calcul d’un rendu photoréaliste de l’objet virtuel pour une zone d’affichage prédéterminée de ladite scène capturée de l’environnement réel à partir de l’image à large gamme dynamique créée par le module de compilation et qui est utilisée comme source (ou carte) d’éclairement de cet objet.

Un tel module comprend par exemple des routines de l’interface de programmation (ou API pour Application Programing Interface) dénommée « Métal » et fournie par la société Apple®, qui permet d’utiliser une image à large gamme dynamique comme source d’éclairement d’un objet tridimensionnel.

Si la zone d’affichage correspond à la position du dispositif d’acquisition d’images lors de l’acquisition des images permettant de calculer l’image HDR (dite ci-après zone d’acquisition), alors les informations d’éclairage pour la zone d’affichage sont parfaitement connues. Cette situation correspond aux conditions idéales du rendu photoréaliste de l’objet.

Un système selon l’invention comprend enfin un module d’affichage de la scène capturée et de l’objet tridimensionnel virtuel en rendu photoréaliste dans la zone d’affichage prédéterminée de la scène capturée sur l’écran d’affichage du dispositif d’affichage.

Avantageusement et selon l’invention, le dispositif d’affichage est un dispositif mobile, du type téléphone portable, tablette tactile ou ordinateur portable.

Dans le cas où le système est formé d’un dispositif mobile du type téléphone portable, tablette tactile ou ordinateur portable et d’un appareil photographique à 360°, l’un ou l’autre hébergeant le module de compilation, le système est compact, portable et peu encombrant.

Avantageusement et selon l’invention, le système comprend en outre un support de stockage dédié de l’image à large gamme dynamique pour une réutilisation postérieure.

Un système selon cette variante avantageuse permet de sauvegarder chaque image à large gamme dynamique générée pour une réutilisation postérieure. Un système selon cette variante permet notamment de constituer une base de données d’images HDR d’environnement.

Ainsi, un utilisateur peut rapidement et simplement procéder à l’affichage photoréaliste d’un objet tridimensionnel virtuel dans une image capturée de l’environnement en allant directement récupérer l’image HDR de l’environnement réel si ce dernier est déjà en mémoire d’un support de stockage. Un tel support de stockage peut être de tous types, par exemple un support de stockage amovible, un disque dur d’un ordinateur, etc.

Par exemple, un commerçant souhaitant présenter différents produits en réalité augmentée dans son local peut procéder une première fois à la génération d’une image HDR de son local pour ensuite afficher dans l’application de réalité augmentée les différents produits avec un rendu photoréaliste en réutilisant l’image HDR sauvegardée sur un support de stockage dédié, qui est par exemple la mémoire de son téléphone portable (dans le cas où le dispositif d’affichage est un téléphone portable) ou un disque d’un serveur distant accessible depuis son téléphone portable.

Selon certaines variantes, le support de stockage est configuré pour pouvoir mémoriser, en association avec l’image HDR générée, une ou plusieurs des informations suivantes : nom de l’environnement réel ; description de l’environnement ; date et heure de l’acquisition des images ; nombre d’images individuelles utilisées pour la création de l’image HDR ; type de dispositif d’acquisition utilisé ; résolution utilisée ; etc.

Avantageusement et selon l’invention, le système comprend en outre un serveur distant relié par des moyens de communication audit dispositif d’affichage, ledit serveur distant hébergeant ledit module de compilation.

Selon cette variante avantageuse, le module de compilation permettant de générer l’image HDR est hébergé sur un serveur distant relié par des moyens de communication sans fil audit dispositif d’affichage hébergeant l’application de réalité augmentée. Cette variante permet de faire effectuer les calculs par une machine plus puissante (et donc potentiellement plus rapide) que par le processeur du dispositif d’affichage ou celui du dispositif d’acquisition d’images le cas échéant.

Selon d’autres variantes, le module de compilation est directement hébergé par le dispositif d’affichage ou par le dispositif d’acquisition d’images de l’environnement réel.

Avantageusement et selon l’invention, le module de compilation comprend en outre un sous-module d’extraction de métadonnées dans lesdites images acquises et un sous-module de traitement desdites images acquises.

Un système selon cette variante permet notamment de corriger les images acquises par le dispositif d’acquisition d’images avant de générer l’image HDR. Cette correction d’images consiste par exemple à recaler les images individuelles prises par le dispositif d’acquisition 360°, ce qui permet de compenser d’éventuels tremblements de l’appareil 360° lors de l’acquisition des images de l’environnement réel. Cette correction d’images peut également consister, en fonction des utilisations, à appliquer des filtres gamma, filtres colorimétriques ou autres sur les images individuelles, avant la création de l’image HDR.

Avantageusement et selon l’invention, le système comprend en outre un module de sélection de l’objet tridimensionnel virtuel dans une base de sauvegarde accessible depuis ladite application de réalité augmentée.

Cette base de sauvegarde accessible par l’application de réalité augmentée est par exemple une base de données hébergée sur un serveur distant.

Un système selon cette variante permet de sélectionner, par exemple via l’application de réalité augmentée, l’objet tridimensionnel à afficher, parmi une base de sauvegarde de différents objets à afficher.

Avantageusement et selon cette variante de l’invention, le système comprend en outre un module de téléchargement d’une pluralité d’objets tridimensionnel virtuels à ajouter à ladite base de sauvegarde accessible depuis ladite application de réalité augmentée.

Un système selon cette variante permet donc d’enrichir la base de sauvegarde d’objets tridimensionnels virtuels.

Selon une variante avantageuse de l’invention, le système comprend en outre au moins un marqueur représentatif d’au moins un objet tridimensionnel virtuel et adapté pour être agencé dans l’environnement, des moyens de lecture de ce marqueur, et des moyens d’interprétation de ce marqueur pour pouvoir automatiquement sélectionner l’objet correspond à ce marqueur dans ladite base de données.

Un tel marqueur est par exemple un autocollant comprenant un QR Code adapté pour être lu par des moyens de lecture associés, par exemple par la caméra d’un téléphone portable (dans le cas où le dispositif d’affichage est un téléphone portable) associée à un module de lecture de QR Code. Selon une autre variante, le marqueur est une image, par exemple un poster, un tableau, une affiche, adapté pour être agencé dans l’environnement.

Cette variante avantageuse permet donc au système de reconnaître automatiquement le type d’objet à afficher par la lecture du marqueur. Selon une variante avantageuse, le marqueur définit en outre la zone d’affichage de l’objet tridimensionnel associé. En d’autres termes, l’utilisateur peut scanner le marqueur et y afficher directement l’objet en rendu photoréaliste.

Selon une autre variante, la zone d’affichage peut être définie de manière prédéterminée par rapport au marqueur. Par exemple, il peut être prévu d’afficher l’objet à une distance prédéterminée de dudit marqueur de positionnement.

Cela permet par exemple à un commerçant d’agencer des marqueurs à différents endroits de son local commercial de manière à pouvoir aisément et rapidement présenter à des clients les objets correspondants de manière photoréaliste dans l’application de réalité augmentée de son dispositif d’affichage (par exemple de son téléphone portable) en scannant les marqueurs préalablement agencés dans le local. Idéalement, les images HDR de l’environnement réel auront été préalablement créées et sauvegardées sur la mémoire de stockage.

L’invention concerne également un procédé d’affichage photoréaliste d’un objet tridimensionnel virtuel dans une scène capturée d’un environnement réel par une application de réalité augmentée.

Un procédé selon l’invention est caractérisé en ce qu’il comprend :

- une étape d’acquisition d’une pluralité d’images dudit environnement réel, par un dispositif d’acquisition d’images 360°, chaque image étant acquise avec des paramètres d’acquisition prédéterminés,

- une étape de création d’une image à large gamme dynamique dudit environnement réel à partir de ladite pluralité d’images acquises dudit environnement réel,

- une étape de détermination d’une zone d’affichage dudit objet tridimensionnel virtuel dans ladite scène capturée de l’environnement réel,

- une étape de calcul d’un rendu photoréaliste dudit objet tridimensionnel virtuel dans ladite zone d’affichage à partir de ladite image à large gamme dynamique utilisée comme carte d’éclairement de cet objet,

- une étape d’affichage de ladite scène capturée et dudit objet tridimensionnel virtuel en rendu photoréaliste dans ladite zone d’affichage de ladite scène capturée sur un dispositif d’affichage d’images numériques.

Un procédé selon l’invention est avantageusement mis en œuvre par un système selon l’invention et un système selon l’invention met avantageusement en œuvre un procédé selon l’invention.

Aussi, les avantages d’un système d’affichage tels que décrits précédemment s’appliquent mutatis mutandis à un procédé d’affichage selon l’invention.

Un procédé selon l’invention comprend une étape de détermination d’une zone d’affichage de l’objet tridimensionnel virtuel dans la scène capturée de l’environnement réel. Cette étape permet de sélectionner la zone dans laquelle l’objet va être affichée dans la scène capturée par l’application de réalité augmentée. Cette étape de détermination est par exemple mise en œuvre par l’affichage d’un marqueur sur l’écran d’affichage en superposition de la scène capturée. L’utilisateur peut alors déplacer l’écran jusqu’à faire coïncider ce marqueur avec la position voulue et sélectionner cette position, par exemple en actionnant un moyen de sélection du dispositif d’affichage (écran tactile, bouton poussoir, etc.). Cette étape de sélection peut être mise en œuvre en tant que première étape du procédé ou uniquement après l’étape de création de l’image HDR.

Avantageusement, un procédé selon l’invention comprend en outre une étape de sauvegarde sur un support de stockage dédié de l’image à large gamme dynamique dudit environnement réel pour une utilisation ultérieure.

Cette étape est avantageusement mise en œuvre par Γutilisation d’un support de stockage d’un système selon la variante avantageuse de l’invention précédemment décrite. Aussi, les avantages d’un système comprenant avantageusement un support de de stockage tels que décrits précédemment s’appliquent à un procédé selon cette variante.

Avantageusement, ladite étape de création d’une image à large gamme dynamique comprend en outre une sous-étape d’extraction de métadonnées dans lesdites images acquises et une sous-étape de traitement desdites images acquises.

Cette étape est avantageusement mise en œuvre par Γutilisation d’un module de compilation d’un système selon la variante avantageuse de l’invention précédemment décrite. Aussi, les avantages d’un système comprenant avantageusement un module de compilation tels que décrits précédemment s’appliquent à un procédé selon cette variante. La sous-étape de traitement peut par exemple comprend une sous-étape d’alignement des images acquises.

Avantageusement, ladite étape de création d’une image à large gamme dynamique est mise en œuvre sur un serveur distant relié à ladite application de réalité augmentée par des moyens de communication sans fil.

Selon une autre variante du procédé, ladite étape de création d’une image à large gamme dynamique est mise en œuvre par ledit dispositif d’affichage ou par ledit dispositif d’acquisition d’images 360°.

Avantageusement, un procédé selon l’invention comprend en outre une étape préalable de sélection dudit objet parmi une pluralité d’objets prédéterminés.

Avantageusement et selon l’invention, ledit objet est sélectionné dans une base de sauvegarde comprenant une pluralité d’objets tridimensionnels virtuels.

Avantageusement et selon l’invention, ladite étape de détermination d’une zone d’affichage dudit objet tridimensionnel virtuel dans ladite scène capturée de l’environnement réel comprend une étape de capture d’une image d’un marqueur agencé dans ledit environnement à partir de laquelle est déterminée ladite position d’affichage.

Selon cette variante avantageuse, la zone d’affichage est définie de manière prédéterminée par rapport à un marqueur qui est détectée par la capture d’une image de ce dernier.

Selon une autre variante avantageuse, ladite étape de détermination d’une zone d’affichage dudit objet tridimensionnel virtuel dans ladite scène capturée de l’environnement réel comprend une étape de positionnement manuel de l’objet dans la scène capturée à partir d’un point de repère visuel affiché sur ledit dispositif d’affichage.

Selon cette variante avantageuse, la zone d’affichage est définie manuellement par l’utilisateur de l’application de réalité augmentée par la sélection d’une zone de la scène capturée affichée sur le dispositif d’affichage à partir d’un point de repère visuel affiché sur le dispositif d’affichage. Ainsi et selon cette variante, l’utilisateur peut projeter dans la scène de l’environnement réel capturé un repère visuel, par exemple, une grille de projection, que l’utilisateur peut déplacer par le déplacement du dispositif de capture de la scène et sélectionner une zone de la scène qui vient en superposition d’un repère visuel pour la définir comme la zone d’affichage.

Avantageusement et selon l’invention, ledit dispositif d’affichage comprend au moins un processeur graphique destiné à interagir avec ledit module d’affichage.

Un système selon cette variante permet notamment d’accélérer les opérations d’affichage du module d’affichage par la mise en œuvre d’au moins un processeur graphique dédié à assurer des fonctions de calcul de l’affichage.

L'invention concerne également un système d’affichage et un procédé d’affichage caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci-après.

5. Liste des figures

D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles :

- la figure 1 est une vue schématique en perspective d’un système selon un mode de réalisation de l’invention,

- la figure 2 est une vue schématique en perspective du système de la figure 1 en cours d’acquisition des images de l’environnement réel,

- la figure 3 est une vue schématique de trois images 360° de l’environnement réel acquises par un appareil photographique,

- la figure 4 est une vue schématique du processus de création d’une image à grande gamme dynamique à partir de trois images de l’environnement réel,

- la figure 5 est une vue schématique de l’affichage d’un objet tridimensionnel virtuel au sein d’une image capturée par une application de réalité augmentée d’un système selon un mode de réalisation de l’invention,

- la figure 6 est une vue schématique des différentes séquences mises en œuvre par l’étape d’acquisition d’une pluralité d’images de l’environnement réel et par l’étape de création d’une image à large gamme dynamique d’un procédé selon un mode de réalisation de l’invention.

6. Description détaillée d’un mode de réalisation de l’invention

Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté. Dans toute la description détaillée qui suit en référence aux figures, sauf indication contraire, chaque élément du système d’affichage photoréaliste d’un objet tridimensionnel virtuel dans une scène capturée d’un environnement réel est décrit tel qu’il est agencé lorsque le système est en cours d’utilisation. Cet agencement est représenté notamment sur la figure 1. En outre, les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures.

Un système d’affichage selon le mode de réalisation des figures comprend tel que représenté sur la figure 1, un téléphone mobile portable 10 du type ordiphone, plus connu sous la dénomination anglaise de smart-phone. Un tel téléphone portable 10 comprend, de manière connue, un écran d’affichage 11 (qui est en général tactile), un appareil photographique numérique intégré, une mémoire de stockage d’applications informatiques et au moins un processeur de calcul adapté pour exécuter les applications informatiques stockées sur la mémoire de stockage du téléphone 10. Selon certaines variantes, le téléphone mobile peut comprendre en outre un ou plusieurs processeurs graphiques, plus connus sous l’acronyme anglais GPU pour « Graphies Processing Unit » destinés à assurer des fonctions d’affichage. Ce téléphone portable 10 forme le dispositif d’affichage de l’invention. Le smart-phone représenté sur les figures est un Iphone® commercialisé par la société Apple®. Bien entendu, selon d’autres modes de réalisation, le smart-phone peut être d’un autre type que celui représenté sans changer l’objet de l’invention et aucun droit n’est revendiqué sur l’iphone® qui est représenté uniquement pour illustrer un mode de réalisation de l’invention.

Le téléphone portable 10 du système selon l’invention comprend en outre une application de réalité augmentée 12 qui est un programme informatique stocké sur la mémoire du téléphone portable 10 et adapté pour être exécuté par le processeur du téléphone portable 10. Cette application de réalité augmentée 12 est représentée schématiquement sur la figure 1 par un carré en pointillé portant la référence 12.

Cette application de réalité augmentée 12 est configurée pour pouvoir acquérir, par la caméra du téléphone portable 10, une scène de l’environnement réel.

Le système comprend également un appareil photographique 20 (formant le dispositif d’acquisition d’images à 360° selon l’invention). Cet appareil photographique 20 peut être de tout type. Par exemple et selon un mode de réalisation de l’invention, l’appareil photographique 20 est la caméra sphérique 360° commercialisée par la société Ricoh® sous la référence Thêta V.

Sur la figure 2, c’est l’appareil Thêta V commercialisé par la société Ricoh® qui est représenté. Aucun droit n’est revendiqué sur cet appareil qui est représenté uniquement pour illustrer un mode de réalisation de l’invention.

La figure 2 illustre schématiquement l’appareil photographique 20 en cours d’acquisition d’images de l’environnement réel. Pour ce faire, l’appareil photographique 20 est de préférence agencé à l’endroit où l’utilisateur souhaite faire apparaître l’objet virtuel dans la scène de l’environnement réel et correspondant à la zone d’affichage d’un système selon l’invention.

L’appareil photographique 20 fait l’acquisition, sur commande de l’application de réalité augmentée, hébergée par le téléphone portable 10, d’une pluralité d’images de l’environnement, chaque image étant acquise avec un niveau d’exposition propre.

La figure 3 illustre schématiquement trois images 360° acquises par l’appareil photographique 20, chaque image présentant un temps d’exposition propre, par exemple 1 seconde d’exposition pour la première image II, /2 seconde d’exposition pour la deuxième image 12 et seconde pour la troisième image 13. Bien entendu, le nombre d’images acquises et le temps d’exposition de chaque image ne sont donnés qu’à titre d’exemple, et l’invention ne se limite pas à cet exemple illustratif.

Le système comprend également un module de compilation 13 d’images adapté pour créer, à partir des images acquises par l’appareil photographique 20, une image à large gamme dynamique de l’environnement réel. Comme illustré sur la figure 1, cet environnement réel 8 comprend une table, un stylo, une clé et une lampe.

Ce module de compilation est représenté schématiquement sur la figure 1 par un carré en pointillé portant la référence 13 dans la mesure où il est, dans le mode de réalisation des figures, formé par un programme informatique hébergé par le téléphone portable 10. Selon d’autres modes de réalisation, ce module peut être hébergé sur un serveur distant ou directement sur l’appareil photographique 20.

Dans tout le texte, le terme module désigne un élément logiciel, un sousensemble d’un programme logiciel, pouvant être compilé séparément, soit pour une utilisation indépendante, soit pour être assemblé avec d’autres modules d’un programme, ou un élément matériel, ou une combinaison d’un élément matériel et d’un sous-programme logiciel. Un tel élément matériel peut comprendre un circuit intégré propre à une application (plus connu sous l’acronyme AS IC pour la dénomination anglaise Application-Specific Integrated Circuit) ou un circuit logique programmable (plus connu sous l’acronyme FPGA pour la dénomination anglaise Field-Programmable Gâte Array) ou un circuit de microprocesseurs spécialisés (plus connu sous l’acronyme DSP pour la dénomination anglaise Digital Signal Processor) ou tout matériel équivalent. D’une manière générale, un module est donc un élément (logiciel et/ou matériel) qui permet d’assurer une fonction.

La figure 4 illustre schématiquement la création de l’image HDR référencée 14 par le module de compilation 13.

Dans une première étape El, des métadonnées sont extraites des images II, 12 et 13 acquises par l’appareil photographique 20. Cette étape d’extraction consiste à récupérer des informations sauvegardées, par exemple au format EXIF pour Exchangeable Image File Format, qui sont générées par l’appareil photographique 20 lors de l’acquisition. Ces données sont par exemple des informations relatives à la date de l’acquisition de l’image, le temps d’exposition, la distance focale, l’espace colorimétrique ou toute autre information fournie par l’appareil photographique 20 lors de la création.

Dans une deuxième étape E2, les images II, 12 et 13 sont alignées, ce qui permet de corriger d’éventuels décalages entre les images.

Dans une troisième étape E3, les images II, 12 et 13 subissent un traitement numérique. Ce traitement peut être de tous types et consiste par exemple à corriger le gamma des images et/ou à calibrer les images en fonction de l’appareil photographique.

Enfin, dans une quatrième étape E4, l’image à large gamme dynamique 14 est créée.

La figure 5 illustre les différentes séquences d’instructions échangées entre les différents éléments d’un système selon l’invention permettant de réaliser la capture de l’environnement et la création de l’image HDR.

Les séquences SI à S6 visent à connecter l’application de réalité augmentée 12 à l’appareil photographique 20.

Les séquences S7 à S13 visent à réaliser l’acquisition des images de l’environnement réel.

Les séquences S14 à S16 visent à créer l’image à large gamme dynamique.

Les différents groupes de séquences sont détaillés ci-après.

La première séquence S1 est initiée par un utilisateur 4 et consiste à activer l’application de réalité augmentée 12.

La séquence suivante S2 est initiée par l’application de réalité augmentée 12 et consiste à détecter l’appareil photographique 20.

La séquence suivante S3 est initiée par l’appareil photographique 20 et consiste à confirmer la détection de l’appareil.

La séquence suivante S4 est initiée par l’application de réalité augmentée 12 et consiste à connecter l’application 12 à l’appareil photographique 20.

La séquence suivante S5 est initiée par l’appareil photographique 20 et consiste à confirmer la connexion de l’appareil photographique à l’application de réalité augmentée 12.

La séquence suivante S6 est initiée par l’application de réalité augmentée 12 et consiste à confirmer à l’utilisateur 4 que l’application 12 est connectée à l’appareil photographique 20.

La séquence suivante S7 est initiée par l’utilisateur 4 et consiste à solliciter une capture de l’environnement à l’application de réalité augmentée 12.

La séquence suivante S8 est initiée par l’application de réalité augmentée 12 et consiste à solliciter la capture de l’image II de l’environnement réel.

La séquence suivante S9 est initiée par l’appareil photographique 20 et consiste à confirmer que l’image II a bien été capturée.

La séquence suivante S10 est initiée par l’application de réalité augmentée 12 et consiste à solliciter la capture de l’image 12 de l’environnement réel.

La séquence suivante SU est initiée par l’appareil photographique 20 et consiste à confirmer que l’image 12 a bien été capturée.

La séquence suivante S12 est initiée par l’application de réalité augmentée 12 et consiste à solliciter la capture de l’image 13 de l’environnement réel.

La séquence suivante S13 est initiée par l’appareil photographique 20 et consiste à confirmer que l’image 13 a bien été capturée.

La séquence suivante S14 est initiée par l’application de réalité augmentée 12 et consiste à envoyer les images II, 12 et 13 au module 13 de création de l’image HDR. Comme indiqué précédemment, ce module 13 peut être hébergé sur un serveur distant selon un mode de réalisation de l’invention, ou peut être directement hébergé par l’appareil photographique 20 ou directement sur le dispositif d’affichage hébergeant l’application de réalité augmentée 12 selon d’autres modes de réalisation de l’invention.

La séquence suivante S15 est initiée par le module 13 de compilation et consiste à envoyer l’image HDR créée par le module 13 de compilation à l’application de réalité augmentée 12.

La séquence suivante S16 et dernière séquence de ces étapes du procédé est initiée par l’application de réalité augmentée 12 et consiste à informer l’utilisateur 14 que l’environnement est capturé et que l’image HDR est créée.

Le système selon l’invention comprend également un module de calcul 14 d’un rendu photoréaliste d’un objet à partir de l’image à grande gamme dynamique 14 utilisée comme carte d’éclairement de cet objet.

Ce module de calcul est représenté schématiquement sur la figure 1 par un carré en pointillé portant la référence 14 dans la mesure où il est, dans le mode de réalisation des figures, formé par un programme informatique hébergé par le téléphone portable 10. Selon d’autres modes de réalisation, ce module peut être hébergé sur un serveur distant ou directement sur l’appareil photographique 20.

Ce module de calcul 14 est par exemple mis en œuvre par des routines de l’interface de programmation « Métal » fournie par la société Apple®, qui permet d’utiliser une image à large gamme dynamique comme carte d’éclairement d’un objet tridimensionnel.

D’autres routines d’autres moteurs 3D peuvent être utilisées en fonction du dispositif d’affichage considéré. Par exemple, pour un téléphone portable du type smartphone, la librairie ARKit fournie par la société Apple® peut être utilisée pour mettre en œuvre le module de calcul 14 permettant d’utiliser l’image à grande gamme dynamique générée par le module de compilation 13 comme source d’éclairement de l’objet tridimensionnel.

Enfin, un système selon l’invention comprend un module d’affichage 15 de la scène capturée et de l’objet tridimensionnel virtuel en rendu photoréaliste sur l’écran d’affichage 11 du téléphone portable 10.

Ce module d’affichage 15 est représenté schématiquement sur la figure 1 par un carré en pointillé portant la référence 15 dans la mesure où il est, dans le mode de réalisation des figures, formé par un programme informatique hébergé par le téléphone portable 10.

La figure 5 illustre schématiquement l’affichage d’un objet virtuel 18 sur l’écran d’affichage 11 du téléphone portable 10 au sein de la scène capturée par le téléphone portable 10.

Comme cela apparaît sur cette figure 5, l’objet virtuel 18 n’est pas présent dans l’environnement réel photographié par le téléphone potable 10. Cet environnement 8 comprend, comme indiqué précédemment, une table, une lampe, un stylo et une clé. Le procédé selon l’invention mis en œuvre par un système selon l’invention permet d’afficher sur l’écran du téléphone portable un objet virtuel 18 en rendu photoréaliste au sein de la scène capturée par le téléphone portable de l’environnement réel 8. De préférence, l’objet 18 est intégré dans l’image capturée par l’application de réalité augmentée 12 du téléphone portable à l’emplacement de l’appareil photographique 20 lorsque ce dernier a fait l’acquisition des images de l’environnement réel II, 12 et 13 ayant permis de créer l’image à grande gamme dynamique 14.

Un système selon l’invention comprend également de préférence un support de stockage de l’image à large bande dynamique 14 pour une réutilisation postérieure. Ce support n’est pas représenté sur les figures à des fins de clarté. Ce support peut être un support local (mémoire du téléphone portable) ou un support amovible relié à un dispositif distant, tel qu’un serveur distant accessible depuis le téléphone portable par le biais de réseaux de communication sans fil.

L’invention ne se limite pas aux seuls modes de réalisation décrits en lien avec les figures. Par exemple, selon d’autres modes de réalisation non représentés sur les figures, le module comprend un serveur distant qui héberge le module de calcul d’un rendu photoréaliste de l’objet. Un tel serveur peut être de tous types connus.

Un système selon l’invention peut être utilisé dans tous types d’industrie et permet d’afficher tous types d’objets virtuels dans tous types d’environnement.

Claims (18)

1. Procédé d’affichage photoréaliste d’un objet tridimensionnel virtuel (18) dans une scène (8) capturée d’un environnement réel par une application de réalité augmentée (12), caractérisé en ce qu’il comprend :

une étape d’acquisition d’une pluralité d’images dudit environnement réel (II, 12, 13), par un dispositif d’acquisition d’images 360° (20), chaque image étant acquise avec des paramètres d’acquisition prédéterminés, une étape de création d’une image à large gamme dynamique (14) dudit environnement réel à partir de ladite pluralité d’images (II, 12,13) acquises dudit environnement réel, une étape de détermination d’une zone d’affichage dudit objet tridimensionnel virtuel (18) dans ladite scène (8) capturée de l’environnement réel, une étape de calcul d’un rendu photoréaliste dudit objet tridimensionnel virtuel dans ladite zone d’affichage à partir de ladite image à large gamme dynamique utilisée comme source d’éclairement de cet objet, une étape d’affichage de ladite scène (8) capturée et dudit objet tridimensionnel virtuel (18) en rendu photoréaliste dans ladite zone d’affichage de ladite scène capturée sur un dispositif d’affichage (10) d’images numériques.

2. Procédé selon la revendication 1, caractérisé en ce qu’il comprend en outre une étape de sauvegarde sur un support de stockage dédié de ladite image à large gamme dynamique (14) dudit environnement réel pour une utilisation ultérieure.

3. Procédé selon l’une des revendications 1 ou 2, caractérisé en ce que ladite étape de création d’une image à large gamme dynamique (14) comprend en outre une sous-étape d’extraction de métadonnées (El) dans lesdites images acquises (II, 12,13) et une sous-étape de traitement (E3) desdites images acquises.

4. Procédé selon l’une des revendications 1 à 3, caractérisé en ce que ladite étape de création d’une image à large gamme dynamique (14) est mise en œuvre sur un serveur distant relié à ladite application de réalité augmentée (12) par des moyens de communication sans fil.

5. Procédé selon l’une des revendications 1 à 3, caractérisé en ce que ladite étape de création d’une image à large gamme dynamique (14) est mise en œuvre par ledit dispositif d’affichage (10) ou par ledit dispositif d’acquisition d’images 360° (20).

6. Procédé selon l’une des revendications 1 à 5, caractérisé en ce qu’il comprend en outre une étape préalable de sélection dudit objet virtuel (18) à afficher parmi une pluralité d’objets virtuels prédéterminés.

7. Procédé selon la revendication 6, caractérisé en ce que ledit objet est sélectionné dans une base de sauvegarde comprenant une pluralité d’objets tridimensionnels virtuels.

8. Procédé selon l’une des revendications 1 à 7, caractérisé en ce que ladite étape de détermination d’une zone d’affichage dudit objet tridimensionnel virtuel (18) dans ladite scène (8) capturée de l’environnement réel comprend une étape de capture d’une image d’un marqueur agencé dans ledit environnement à partir de laquelle est déterminée ladite position d’affichage.

9. Procédé selon l’une des revendications 1 à 7, caractérisé en ce que ladite étape de détermination d’une zone d’affichage dudit objet tridimensionnel virtuel dans ladite scène capturée de l’environnement réel comprend une étape de positionnement manuel de l’objet dans la scène capturée à partir d’un point de repère visuel affiché sur ledit dispositif d’affichage.

10. Système d’affichage photoréaliste d’un objet tridimensionnel virtuel dans une scène capturée d’un environnement réel, caractérisé en ce qu’il comprend :

un dispositif d’affichage (10) comprenant un écran d’affichage (11), une application de réalité augmentée adaptée (12) pour capturer ladite scène (8) de l’environnement réel et un processeur pilotant ladite application de réalité augmentée (12), un dispositif d’acquisition d’images à 360° (20) adapté pour être piloté par ledit dispositif d’affichage (10) par le biais de moyens de communication sans fil, ledit dispositif d’acquisition d’images (20) étant en outre configuré pour pouvoir acquérir, sur commande de ladite application de réalité augmentée (12) dudit dispositif d’affichage (10), une pluralité d’images (II, 12, 13) dudit environnement réel, chaque image étant acquise avec des paramètres d’acquisition prédéterminés fournis par ladite application de réalité augmentée (12) dudit dispositif d’affichage (10), un module de compilation (13) d’images adapté pour créer, à partir de ladite pluralité d’images (II, 12, 13) dudit environnement acquises par ledit dispositif d’acquisition d’images (20), une image à large gamme dynamique (14) de cet environnement réel, un module de calcul (14) d’un rendu photoréaliste dudit objet virtuel (18) pour une zone d’affichage prédéterminée de ladite scène capturée dudit environnement réel à partir de ladite image large gamme dynamique (14) utilisée comme source d’éclairement de cet objet, un module d’affichage (15) de ladite scène (8) capturée et dudit objet tridimensionnel virtuel (18) en rendu photoréaliste dans ladite zone d’affichage prédéterminée de ladite scène capturée sur ledit écran (11) d’affichage dudit dispositif d’affichage (10).

11. Système selon la revendication 10, caractérisé en ce que ledit dispositif d’affichage (10) est un dispositif mobile, du type téléphone portable, tablette tactile ou ordinateur portable.

12. Système selon l’une des revendications 10 ou 11, caractérisé en ce qu’il comprend en outre un support de stockage de l’image à large gamme dynamique (14) pour une réutilisation postérieure.

13. Système d’affichage selon l’une des revendications 10 à 12, caractérisé en ce qu’il comprend en outre un serveur distant relié par des moyens de communication audit dispositif d’affichage (10), ledit serveur distant hébergeant ledit module de compilation (13).

14. Système selon l’une des revendications 10 à 13, caractérisé en ce que ledit module de compilation (13) comprend en outre un sous-module d’extraction de métadonnées dans lesdites images acquises et un sous-module de traitement desdites images acquises.

15. Système selon l’une des revendications 10 à 14, caractérisé en ce qu’il comprend en outre un module de sélection de l’objet tridimensionnel virtuel (18) dans une base de sauvegarde accessible depuis ladite application de réalité augmentée (12).

16. Système selon la revendication 15, caractérisé en ce qu’il comprend en outre un module de téléchargement d’une pluralité d’objets tridimensionnel virtuels à ajouter à ladite base de sauvegarde accessible depuis ladite application de réalité augmentée.

17. Système selon l’une des revendications 15 ou 16, caractérisé en ce qu’il comprend en outre au moins un marqueur représentatif d’au moins un objet tridimensionnel virtuel et adapté pour être agencé dans l’environnement réel, des moyens de lecture de ce marqueur, et des moyens d’interprétation de ce marqueur pour pouvoir automatiquement sélectionner l’objet correspond à ce marqueur dans ladite base de sauvegarde.

18. Système selon l’une des revendications 10 à 17, caractérisé en ce que ledit dispositif d’affichage comprend au moins un processeur graphique destiné à interagir avec ledit module d’affichage.