FR3115120A1 - Dispositif de réalité augmentée - Google Patents

Abstract

Dispositif de réalité augmentée La présente invention concerne un dispositif de réalité augmentée (1) comprenant un environnement réel (31) et un module d’affichage (33) apte à projeter un scénario virtuel en superposition à un champ de vision d’un utilisateur, dans lequel le module d’affichage (33) comporte un moyen de visualisation sensiblement transparent sur lequel le module d’affichage est apte à projeter ledit scénario virtuel, le module d’affichage (33) étant configuré pour modéliser et définir le scénario virtuel à l’intérieur d’un cadre, caractérisé en ce que le dispositif de réalité augmenté (1) comprend au moins trois marqueurs réels (2, 3, 4) disposés au sein de l’environnement réel (31) et au moins trois marqueurs virtuels associés au cadre définissant le scénario virtuel, chacun des trois marqueurs virtuels étant destiné à venir en coïncidence avec l’un des trois marqueurs réels (2, 3, 4). Figure pour l’abrégé : figure 1

Description

Dispositif de réalité augmentée

La présente invention se rapporte au domaine des dispositifs permettant un affichage virtuel et concerne plus particulièrement un dispositif de réalité augmentée.

La technologie de réalité augmentée permet de modéliser un scénario virtuel, c’est-à-dire un ensemble d’objets virtuels, et de l’afficher de manière superposée sur un environnement réel. Une telle technologie est notamment utile pour avoir un aperçu du rendu d’un produit avant un achat de grande envergure, tel qu’un achat de mobilier ou d’un véhicule. Un dispositif de réalité augmentée comporte notamment un module d’affichage pouvant être un écran ou une paire de lunettes, ainsi que des moyens de calcul appropriés, les moyens de calcul permettant de calculer le scénario virtuel à modéliser pour qu’il soit superposable sur l’environnement réel. Le module d’affichage permet alors à l’utilisateur de visualiser le rendu de cette superposition du scénario virtuel sur l’environnement réel.

Il arrive toutefois que l’utilisation de dispositif de réalité augmentée présente quelques imperfections dans l’affichage à cause notamment de la morphologie de la personne utilisant ce dispositif. En d’autres termes, la modélisation du scénario virtuel peut donner pour un premier utilisateur un rendu très cohérent, qui s’inscrit bien dans l’environnement réel, et donner par la suite, pour un deuxième utilisateur, qui présente à titre d’exemple une taille d’affichage significativement distincte de celle du premier utilisateur, un rendu moins cohérent. De telles imperfections peuvent notamment consister en une mauvaise orientation d’éléments du scénario virtuel, par rapport au contexte physique d’affichage ce qui peut compliquer la perception par l’utilisateur du produit dans l’environnement réel, étant entendu qu’une erreur d’orientation, même minime, d’un élément modélisé du scénario virtuel est amplifiée en fonction de la distance entre l’utilisateur et l’environnement réel sur lequel est affiché cet élément modélisé.

Afin de contourner ces problèmes de cohérence d’affichage d’un utilisateur à l’autre, le dispositif de réalité augmentée peut être configuré pour permettre une opération de calibrage avant chaque nouvelle utilisation dudit dispositif, et ce afin d’adapter le scénario virtuel à l’environnement réel de manière spécifique à chaque utilisateur. Il existe notamment des techniques de calibrage permettant de rectifier les erreurs d’orientation d’éléments faisant partie du scénario virtuel pour que leur affichage dans l’environnement réel soit cohérent du point de vue de l’utilisateur. Chacune de ces opérations de calibrage d’orientation s’avère complexe, en nécessitant d’une part des moyens de calcul robustes et d’autre part un temps important à considérer avant l’utilisation du dispositif de réalité augmentée.

Un dispositif de réalité augmentée selon l’invention comporte un moyen de visualisation pouvant être un écran ou une paire de lunettes, sur lequel un module d’affichage est apte à diffuser un scénario virtuel en superposition à un environnement réel dans le champ de vision de l’utilisateur. Le dispositif de réalité augmentée peut comporter également des moyens de captation d’objets dans ledit champ de vision, comprenant par exemple une caméra, associés à des moyens de calcul permettant de calculer et déplacer le cadre du scénario virtuel pour qu’il soit superposable à l’environnement réel en réduisant des erreurs de visualisation. Le module d’affichage permet alors à l’utilisateur de visualiser, via le moyen de visualisation, le rendu de cette superposition par affichage du scénario virtuel sur l’environnement réel.

La présente invention permet d’optimiser la visualisation des modèles virtuels en réalité augmentée, en améliorant les opérations de calibrage de position et/ou d’orientation angulaire associées à ladite visualisation.

Plus particulièrement, l’invention propose un dispositif de réalité augmentée comprenant un environnement réel et un module d’affichage pour visualiser un scénario virtuel en superposition à un champ de vision d’un utilisateur, dans lequel le module d’affichage comporte un moyen de visualisation sensiblement transparent sur lequel le module d’affichage est apte à visualiser ledit scénario virtuel, le module d’affichage étant configuré pour modéliser et définir le scénario virtuel à l’intérieur d’un cadre, caractérisé en ce que le dispositif de réalité augmenté comprend au moins trois marqueurs réels disposés au sein de l’environnement réel et au moins trois marqueurs virtuels associés au cadre définissant le scénario virtuel, chacun des trois marqueurs virtuels étant destiné à venir en coïncidence avec l’un des trois marqueurs réels.

Selon une caractéristique optionnelle de l’invention, le dispositif de réalité augmentée comporte des moyens de captations comprenant une caméra dirigée vers ledit champ de vision de l’utilisateur. Notamment la caméra est embarquée sur le module d’affichage.

Le module d’affichage permet la visualisation du scénario virtuel intégré dans un environnement réel présent dans le champ de vision d’un utilisateur à travers un élément transparent.

L’utilisateur peut par exemple regarder l’environnement réel à travers un écran transparent d’un dispositif portable, sur lequel est superposé le scénario virtuel, ou bien porter une paire de lunettes dont les verres forment le support transparent sur lequel est superposé le scénario virtuel. Ladite paire de lunettes intègre alors des caméras filmant l’environnement réel afin de pouvoir projeter le scénario virtuel associé en superposition et conforme à l’environnement réel. L’utilisation du module d’affichage est indispensable pour rendre le scénario virtuel visible.

L’environnement réel est une zone matériellement présente du point de vue de l’utilisateur. L’environnement réel peut être une paroi simple telle qu’un sol ou un mur, ou bien peut être aménagé de manière plus élaborée, par exemple une maquette se présentant sous une forme adaptée à ce que le dispositif de réalité augmentée permet de visualiser. Le dispositif de réalité augmentée permet donc de superposer le scénario virtuel à l’environnement réel, les éléments virtuels apparaissant au sein du scénario virtuel ayant pour objectif d’être visualisés de manière cohérente. L’environnement réel comprend un élément cible pour lequel on désire un maximum de précisions en visualisation.

Une maquette virtuelle dudit élément cible est définie numériquement et stockée dans la mémoire d’une unité de contrôle et de calculs, qui peut notamment être embarquée sur le module d’affichage, ou bien qui peut être déportée et qui comporte alors des moyens de communication avec le module d’affichage. La maquette virtuelle est notamment définie par un cadre à l’intérieur de laquelle est inséré un élément d’étude défini numériquement que l’on souhaite superposer sur l’élément cible. En d’autres termes, on peut considérer la maquette virtuelle comme un cadre dans lequel sont insérés les éléments d’étude. La maquette virtuelle, ou le cadre du scénario virtuel à projeter en superposition de l’environnement réel, peut être formée par une représentation numérique grossière de l’environnement réel obtenue par scannage par exemple et sur laquelle on dispose précisément les éléments d’étude finement numérisés. Ainsi la maquette virtuelle ne nécessite pas une définition numérique complète de l’environnement réel, détaillée et couteuse. Elle forme seulement le cadre virtuel dans lequel sont disposés le ou les éléments d’étude numériques.

Par ailleurs, la maquette virtuelle comporte les trois marqueurs virtuels, qui permettent de définir un référentiel de position et d’orientation angulaire du cadre du scénario virtuel et qui permettent par la suite d’assurer la position et l’orientation correctes du cadre du scénario virtuel par rapport à l’environnement réel, et donc la position et l’orientation correctes des éléments d’étude par rapport aux éléments cibles correspondants.

Selon un exemple, le scénario virtuel peut consister en un meuble disposé au sein de l’environnement réel, lequel pouvant être une salle dans lequel on souhaite y disposer ledit meuble, afin de pouvoir se projeter. Selon un autre exemple, l’environnement réel peut être une maquette d’un habitacle d’un véhicule, le scénario virtuel permettant l’affichage d’éléments se retrouvant habituellement au sein de l’habitacle d’un véhicule, par exemple un volant ou un tableau de bord.

Les trois marqueurs réels sont disposés sur l’environnement réel, par exemple par collage. Les marqueurs réels sont des points de repère de l’élément cible. Le dispositif de réalité augmentée se base sur les marqueurs réels pour définir l’élément cible sur lequel on fait apparaître en superposition le scénario virtuel comportant la maquette virtuelle de l’élément cible avec les éléments d’étude intégrés à ladite maquette virtuelle. Les marqueurs réels peuvent par exemple être des codes-barres de type QR.

De manière préférentielle, la modélisation du scénario virtuel débute par une étape de scannage de l’environnement réel et de l’élément cible, avec les marqueurs réels qui sont déjà en position dans cet environnement réel. Le dispositif de réalité augmentée est apte à inscrire ainsi des orientations et positions de référence des marqueurs virtuels dans le cadre délimitant scénario virtuel, ces orientations et positions de référence des marqueurs définissant par la suite l’orientation et la position de la maquette virtuelle sur laquelle des objets virtuels, formant les éléments d’étude, peuvent alors être ajoutés.

Le dispositif de réalité augmentée selon l’invention est apte à opérer un calibrage de position et/ou un calibrage d’orientation angulaire, pour ajuster la position et l’orientation de ce scénario virtuel et des éléments d’étude, en fonction de l’utilisateur de ce dispositif de réalité augmentée. Au cours de ce calibrage, dans un premier le dispositif de réalité augmentée compare l’agencement des marqueurs réels tels qu’ils sont perçus par l’utilisateur, notamment via les moyens de captation associés au module d’affichage, avec l’agencement des marqueurs virtuels tels qu’ils sont prévus dans le scénario virtuel à projeter, puis dans un deuxième temps il modifie l’agencement du cadre de scénario virtuel dans lequel s’inscrivent les marqueurs virtuels afin d’adapter l’agencement de ces marqueurs virtuels par rapport à celui des marqueurs réels.

Ainsi, lors de l’opération de calibrage, l’utilisateur doit d’abord porter son regard sur les marqueurs réels afin que le dispositif de réalité augmentée, via les moyens de captation et les moyens de calculs associés, puisse déterminer si l’orientation et la position de référence du scénario virtuel permet de garantir le fonctionnement optimal du dispositif de réalité augmentée, avec une superposition la plus serrée possible des éléments d’étude, virtuels, sur les éléments cibles, réels.

Selon une caractéristique de l’invention, le dispositif de réalité augmentée est apte à opérer un calibrage de position du cadre du scénario virtuel dans lequel s’inscrivent les trois marqueurs virtuels en fonction d’une position des trois marqueurs réels, le dispositif de réalité augmentée étant apte, lors de ce calibrage de position, à déterminer un décalage entre la position de chaque marqueur virtuel et la position du marqueur réel correspondant audit marqueur virtuel, et modifier la position du cadre du scénario virtuel dans laquelle s’inscrivent les marqueurs virtuels en fonction dudit décalage.

L’opération de calibrage du positionnement consiste à adapter le positionnement du scénario virtuel par rapport aux mesures de positionnement des marqueurs réels disposés dans l’environnement réel. Le positionnement prend en compte les positionnements des trois marqueurs réels dans leur ensemble avec les erreurs de positionnement, ou décalage de position, entre chaque marqueur virtuel et son marqueur réel correspondant. La position de la cible du scénario virtuel qui vient se superposer à l’environnement réel peut être déterminée de façon simple et rapide avec la mesure des positions des trois marqueurs virtuels.

Le calibrage de position peut se faire de manière préalable au calibrage d’orientation, et ce afin d’ajuster la position du cadre du scénario virtuel par rapport à l’environnement réel, avec les marqueurs virtuels définissant la position et l’orientation de ce cadre qui soient le plus fidèlement possible agencés comme les marqueurs réels.

Pour cela, les moyens de captation du dispositif de réalité augmentée acquièrent la position des marqueurs réels en sélectionnant un marqueur réel de référence. Ledit marqueur réel de référence peut être choisi arbitrairement ou selon le point de vue de l’utilisateur.

Une fois le marqueur réel de référence sélectionné, le dispositif de réalité augmentée calque la position du marqueur virtuel de référence, c’est-à-dire le marqueur virtuel correspondant au marqueur réel de référence, sur la position de ce marqueur réel de référence, puis détermine le décalage de position entre les deux autres marqueurs virtuels par rapport à leur marqueur réel correspondant. Chacune des positions des marqueurs réels et des marqueurs virtuels peut être définie comme une position relative respectivement au marqueur réel de référence et au marqueur virtuel de référence. Le décalage peut par exemple correspondre à l’association d’une composante verticale et d’une composante horizontale séparant un marqueur virtuel et son marqueur réel associé.

Ceci étant fait, si les décalages de position déterminés ne sont pas nuls, le dispositif de réalité augmentée procède à une correction de la position de la maquette virtuelle par rapport à l’élément cible réel, par déplacement du cadre du scénario virtuel dans son ensemble, par une translation de compensation, dont la valeur est l’inverse du décalage déterminé entre l’élément cible dans l’environnement réel et l’élément d’étude dans le scénario virtuel, via l’analyse des marqueurs tel qu’évoqué précédemment.

La position de la maquette virtuelle peut notamment être modifiée par translation d’une valeur correspondant à une valeur moyenne de tous les décalages mesurés.

Plus particulièrement, selon une caractéristique de l’invention, le dispositif de réalité augmentée peut être apte à modifier la position du cadre du scénario virtuel selon un décalage moyen mesuré à partir de chacun des décalages de position déterminés entre les marqueurs virtuels et leur marqueur réel correspondant. Le décalage moyen est calculé en effectuant la somme de tous les décalages, le cas échéant en distinguant la somme de l’ensemble des composantes verticales de tous les décalages et la somme de l’ensemble des composantes horizontales de tous les décalages, divisée par le nombre de couples de marqueurs formées par un marqueur virtuel et son marqueur réel correspondant. Une fois ce décalage moyen calculé, ce dernier est appliqué sur le cadre du scénario virtuel dans lequel sont inscrits les marqueurs virtuels, y compris sur le marqueur virtuel de référence.

Ainsi les positions des trois marqueurs virtuels sont modifiées suivant une valeur moyenne de décalage selon par exemple les composantes verticale et horizontale. On obtient ainsi une superposition optimale de la maquette virtuelle sur l’élément cible réel. Le calibrage de position permet ainsi d’adapter la position du scénario virtuel par rapport à l’environnement réel, et ce en fonction du profil et du point de vue de l’utilisateur.

Selon une caractéristique de l’invention, le dispositif de réalité augmentée est apte à opérer un calibrage d’orientation angulaire du cadre virtuel dans lequel s’inscrivent les trois marqueurs virtuels en fonction d’une orientation des trois marqueurs réels, le calibrage d’orientation s’effectuant à partir de la création d’un repère réel ayant pour origine l’un des trois marqueurs réels à partir duquel s’étendent au moins deux axes réels sécants jusqu’à chacun des deux autres marqueurs réels, le dispositif de réalité augmentée étant configuré pour corriger une orientation d’un repère virtuel en fonction du repère réel formé, ledit repère virtuel ayant pour origine l’un des trois marqueurs virtuels à partir duquel s’étendent au moins deux axes virtuels sécants jusqu’à chacun des deux autres marqueurs virtuels.

Le calibrage d’orientation consiste à adapter l’orientation du cadre du scénario virtuel et des marqueurs virtuels correspondants et donc l’orientation de chacun des éléments faisant partie du scénario virtuel en fonction de l’orientation des marqueurs virtuels, afin que les éléments modélisés faisant partie du scénario virtuel soient orientés de manière cohérente par rapport à un point de vue de l’utilisateur.

Ainsi, le calibrage d’orientation angulaire consiste à calquer le plus efficacement possible l’orientation angulaire du cadre dans lequel s’inscrivent les marqueurs virtuels sur l’orientation angulaire de l’élément cible présent dans l’environnement réel et définie par l’orientation des marqueurs réels.

Le dispositif de réalité augmentée a en mémoire trois marqueurs virtuels avec chacun leur position et leur orientation antérieure que ces marqueurs avaient lors de l’utilisation précédente, ou à l’origine de la modélisation de la maquette du scénario virtuel. Le scénario virtuel modélisé par le dispositif de réalité augmentée, dans son orientation et sa position définie par les marqueurs virtuels, est ensuite projeté sur le moyen de visualisation en superposition de l’environnement réel, le dispositif de réalité augmentée étant configuré pour adapter l’affichage du scénario virtuel en fonction des déplacements de l’utilisateur et/ou de son champ de vision. L’opération de calibrage permet modifier les position et orientation initiales de la marquette virtuelle, en faisant correspondre marqueurs virtuels et marqueurs réels, afin que lors de la nouvelle utilisation du dispositif de réalité augmentée, le scénario virtuel puisse être superposé de façon optimale quels que soient les déplacements de l’utilisateur. L’affichage du scénario virtuel dans le module d’affichage, en superposition de l’environnement réel, est alors effectué sur la base de la modélisation du scénario virtuel.

Il convient de noter, tel que cela a pu être précédemment évoqué que le scénario virtuel est formé des éléments virtuels, ou éléments d’étude, rajoutés à la maquette réalisée par scannage de l’environnement réel ou de l’élément cible. La maquette virtuelle n’a ainsi aucune représentation graphique. Elle permet simplement d’assurer une cohérence à la superposition du scénario virtuel sur l’environnement réel en visualisation.

On définit un repère comprenant deux axes aussi bien pour les trois marqueurs de référence que pour les trois marqueurs virtuels. Les deux axes ont pour origine un des trois marqueurs qui est identifié alors comme marqueur d’origine, les deux axes étant formés par les droites joignant le marqueur origine à chacun des deux autres marqueurs correspondants. Les deux axes formant le repère, qu’ils soient deux axes virtuels ou deux axes réels, sont sécants entre eux.

En ce qui concerne le repère réel, le dispositif de réalité augmentée sélectionne parmi les trois marqueurs réels l’un des marqueurs réels comme étant le marqueur réel origine. Le marqueur réel origine peut être choisi arbitrairement ou selon le point de vue de l’utilisateur. Le dispositif créé ensuite un repère réel à partir des trois marqueurs réels, l’origine du repère réel étant le marqueur réel origine et les axes du repère réel s’étendant, de manière sécante, du marqueur réel origine jusqu’à chacun des deux autres marqueurs réels.

Un repère virtuel est également formé, de la même manière que pour le repère réel mais en considérant cette fois les marqueurs virtuels inscrits dans le cadre du scénario virtuel tel qu’il est positionné et orienté à cet instant dans le module d’affichage. Le repère virtuel est formé en choisissant notamment comme marqueur virtuel origine le marqueur virtuel associé au marqueur réel origine choisi. Autrement dit, l’un des marqueurs virtuels, et plus particulièrement le marqueur virtuel associé au marqueur réel origine choisi, sert d’origine du repère virtuel et est donc sélectionné comme étant le marqueur virtuel origine, et chaque axe virtuel du repère s’étend, de manière sécante, du marqueur virtuel origine jusqu’à l’un des autres marqueurs virtuels.

Une fois les deux repères déterminés, le repère virtuel est comparé au repère réel. Plus particulièrement, on compare les angles formés par les paires d’axes associés, c’est-à-dire d’une part l’angle formé entre le premier axe réel mesuré et le premier axe virtuel tel qu’il est présent dans le cadre du scénario virtuel modélisé à ce stade dans le module d’affichage, et d’autre part l’angle formé entre le deuxième axe réel mesuré et le deuxième axe virtuel. Le repère virtuel est alors ajusté pour présenter une orientation identique ou au moins le plus similaire possible au repère réel. La correction du repère virtuel est faite en prenant par exemple une moyenne des écarts angulaires, de manière à compenser cette valeur représentative des écarts angulaires, par rotation du cadre du scénario virtuel correspondant à ce repère virtuel.

En d’autres termes, le calibrage angulaire d’orientation permet de modifier l’orientation des marqueurs virtuels dans leur ensemble, et donc l’orientation du cadre virtuel correspondant et par conséquent l’orientation du scénario virtuel et des éléments d’étude associés, par rapport aux marqueurs réels et la vision de l’environnement réel qu’a l’utilisateur. C’est ainsi que le scénario virtuel se superpose à l’environnement réel de manière la plus cohérente et réaliste possible aux yeux de l’utilisateur.

Grâce au dispositif de réalité augmenté dont le module d’affichage permet d’assurer un tel calibrage d’orientation, l’affichage du scénario virtuel se fait de manière plus rapide et plus précise. Notamment, le calibrage d’orientation ne se fait pas point par point, en comparant l’agencement de chaque marqueur virtuel par rapport à son marqueur réel correspondant et en prenant un référentiel neutre, mais en considérant des repères formés par les marqueurs réels et virtuels, sans autres référentiels, ce qui facilite ainsi les calculs effectués par le dispositif de réalité augmentée lors de l’opération de calibrage.

Selon une caractéristique de l’invention, le calibrage d’orientation et/ou le calibrage de position peuvent être configurés pour être initiés par action manuelle de l’utilisateur. Ce dernier peut par exemple initier le calibrage en appuyant sur un bouton disposé au niveau d’un module d’affichage. L’utilisateur peut par exemple se focaliser sur l’un des marqueurs réels avant de lancer le calibrage.

Selon une caractéristique de l’invention, le calibrage d’orientation et/ou le calibrage de position peuvent être configurés pour être relancés automatiquement à intervalle régulier. Le calibrage peut par exemple se faire automatiquement à la mise en route du dispositif de réalité augmentée.

L’invention couvre également un procédé de calibrage de réalité augmentée mis en œuvre par un dispositif de réalité augmentée tel que décrit précédemment, comprenant :

- une première étape d’acquisition d’une orientation des marqueurs virtuels par rapport aux marqueurs réels par le module d’affichage,

- une deuxième étape de création du repère réel à partir des trois marqueurs réels,

- une troisième étape de création du repère virtuel à partir des trois marqueurs virtuels,

- une quatrième étape de comparatif du repère virtuel et du repère réel,

- une cinquième étape de correction de l’orientation du repère virtuel.

Le procédé de calibrage permet ainsi de calibrer l’orientation du scénario virtuel à projeter par le dispositif de réalité augmentée tel que cela a été décrit précédemment.

L’ensemble de ces étapes, plus particulièrement la deuxième étape et les suivantes, peuvent être précédées d’une opération de calibrage de position tel que décrit précédemment.

Selon une caractéristique de l’invention, le procédé comprend une première étape intermédiaire, antérieure à la deuxième étape, d’acquisition de position des trois marqueurs virtuels par rapport aux marqueurs réels.

Selon une caractéristique de l’invention, le procédé comprend une deuxième étape intermédiaire, postérieure à la première étape intermédiaire et antérieure à la deuxième étape, de calcul d’un décalage de position entre chacun des marqueurs virtuels et de leur marqueur réel respectif.

Selon une caractéristique de l’invention, le procédé comprend une troisième étape intermédiaire, postérieure à la deuxième étape intermédiaire et antérieure à la deuxième étape, de calcul d’un décalage moyen entre les marqueurs virtuels et leur marqueur réel respectif, ledit décalage moyen étant appliqué pour modifier la position du cadre du scénario virtuel dans lequel s’inscrivent les marqueurs virtuels.

D’autres caractéristiques et avantages de l’invention apparaîtront encore au travers de la description qui suit d’une part, et de plusieurs exemples de réalisation donnés à titre indicatif et non limitatif en référence aux dessins schématiques annexés d’autre part, sur lesquels :

est une représentation schématique d’un utilisateur se servant d’un dispositif de réalité augmentée selon l’invention,

est une représentation schématique d’un environnement réel du dispositif de réalité augmentée selon l’invention,

est une représentation schématique d’un scénario virtuel modélisé par un module d’affichage du dispositif de réalité augmentée et superposé à l’environnement réel,

est une représentation d’une étape d’acquisition de la position de marqueurs réels dans l’environnement réel dans le but d’opérer une opération de calibrage de position par comparaison de la position de ces marqueurs réels avec des marqueurs virtuels,

est une représentation d’une étape d’ajustement de la position d’un cadre du scénario virtuel dans lequel s’inscrivent les marqueurs virtuels par rapport à la position des marqueurs réels dans l’environnement réel,

est une représentation d’une étape d’acquisition de l’orientation angulaire des marqueurs réels dans le but d’opérer un calibrage d’orientation par comparaison de l’orientation angulaire de ces marqueurs réels avec les marqueurs virtuels,

est une représentation d’une étape de correction d’une orientation du cadre du scénario virtuel dans lequel s’inscrivent les marqueurs virtuels par rapport à l’orientation des marqueurs réels dans l’environnement réel.

La figure 1 représente de manière schématique un dispositif de réalité augmentée 1 selon l’invention. Le dispositif de réalité augmentée 1 est, selon l’exemple ici illustré, utilisé dans un contexte de test lié au domaine de l’automobile. Par exemple, un utilisateur 30 peut utiliser le dispositif de réalité augmentée afin d’avoir un aperçu virtuel d’un habitacle d’un véhicule et par exemple de s’assurer que les différents composants destinés à équiper l’habitacle sont correctement positionnés et sont bien adaptés à ses envies. Par la suite, le dispositif de réalité augmentée va être décrit en relation avec cet exemple, mais il convient de noter que sans sortir du contexte de l’invention, le dispositif de réalité augmentée 1 peut toutefois être utilisé dans tout contexte permettant une application concrète et fonctionnelle dudit dispositif de réalité augmentée 1.

Afin de mettre en œuvre le dispositif de réalité augmentée 1, l’utilisateur 30 peut par exemple être installé sur un siège 32 simulant un siège automobile, disposé en face d’un environnement réel 31. L’environnement réel 31 est une zone sur laquelle le dispositif de réalité augmentée 1 est apte à y superposer un scénario virtuel. L’environnement réel 31 comporte au moins un élément cible sur lequel on désire un maximum de précisions en visualisation. L’environnement réel 31 peut par exemple être une maquette en matière diverse, plus ou moins fidèle d’un poste de pilotage équipant un habitacle du véhicule selon l’exemple énoncé précédemment, et le ou les éléments cibles peuvent consister en un équipement de ce poste de pilotage. On pourrait également envisager sans sortir du contexte de l’invention que l’ensemble de l’environnement réel soit considéré comme un élément cible.

Une maquette virtuelle de l’environnement réel ou dudit élément cible est définie numériquement et stockée dans la mémoire d’une unité de contrôle et de calculs du dispositif de réalité augmentée. Cette maquette virtuelle comporte des éléments d’étude définis numériquement, avec une définition plus fine que celle avec laquelle est numérisée le reste de la maquette. En d’autres termes, on peut considérer la maquette virtuelle comme un cadre dans lequel sont insérés les éléments d’étude. La maquette virtuelle, ou le cadre du scénario virtuel à projeter en superposition de l’environnement réel, peut être formée par une représentation numérique grossière de l’environnement réel obtenue par scannage par exemple et sur laquelle on dispose précisément les éléments d’étude finement numérisés. Ainsi la maquette virtuelle ne nécessite pas une définition numérique complète de l’environnement réel, détaillée et couteuse. Elle forme seulement le cadre virtuel dans lequel sont disposés les éléments d’étude numériques.

Selon l’invention, la maquette virtuelle, c’est-à-dire le cadre qui la délimite, est représentée par trois marqueurs virtuels de référence. De manière avantageuse, les trois marqueurs permettent de définir la position et l’orientation du cadre de la maquette virtuelle. Afin que le dispositif de réalité augmentée puisse superposer le cadre virtuel à l’environnement réel 31, le dispositif selon l’invention comporte des points de repère ou marqueurs réels positionnés sur l’environnement réel et sur lesquels viennent coïncider les marqueurs virtuels de la maquette virtuelle.

L’objet de l’invention est de superposer de façon optimale lesdits éléments d’étude sur le ou les éléments cibles réels de l’environnement réel en superposant de façon optimale la maquette virtuelle de l’élément cible sur l’environnement réel. Sur la maquette virtuelle, on peut alors ajouter des objets virtuels pour former le scénario virtuel qui sera superposé au champ de vision de l’utilisateur. En d’autres termes, par scénario virtuel, on comprend un cadre dans lequel sont inscrits des objets virtuels, ou éléments d’étude, et dont l’orientation angulaire et la position sont définies par l’orientation angulaire et la position des marqueurs virtuels associés au cadre.

Grâce au dispositif de réalité augmentée 1, à partir de l’observation de l’environnement réel 31, l’utilisateur 30 peut ainsi voir par exemple de manière virtuelle un agencement pour un habitacle de véhicule. A cet effet, le dispositif de réalité augmentée comporte au moins un module d’affichage 33 et des moyens de captation, comme une caméra 34, dont l’interaction permet l’affichage d’un scénario virtuel en superposition de l’environnement réel.

Le module d’affichage 33 comprend un moyen de visualisation sensiblement transparent au travers duquel l’utilisateur 30 est apte à voir l’environnement réel et sur lequel l’utilisateur va voir apparaitre des objets virtuels modélisés par des moyens de calcul du dispositif de réalité augmentée 1 et qui vont se superposer à l’environnement réel.

Le module d’affichage 33 peut par exemple correspondre à une paire de lunettes portée par l’utilisateur 30, la surface optique des lunettes formant le moyen de visualisation du module d’affichage. C’est seulement au travers du module d’affichage 33 que l’utilisateur 30 peut observer la réalité augmentée générée par le dispositif de réalité augmentée 1. Le module d’affichage peut intégrer la caméra 34 ainsi qu’un dispositif de localisation des yeux de l’utilisateur, permettant au moins de déterminer vers quelle direction regarde ce dernier.

La caméra 34 permet de filmer les objets dans le champ de vision de l’utilisateur, et le dispositif de localisation des yeux permet d’identifier les mouvements des yeux et d’en déduire le champ de vision de l’utilisateur.

Pour rappel, le champ de vision d’un utilisateur est la partie de l'espace que les yeux de l’utilisateur peuvent percevoir autour d’eux.

Dans le dispositif de réalité augmentée, le module d’affichage, et par exemple les lunettes portées par l’utilisateur, permettent de modifier le champ de vision de cet utilisateur en ajoutant des informations qui sont selon l’invention des objets virtuels.

Le module d’affichage peut également comprendre un accéléromètre et/ou un détecteur de mouvement pour améliorer la qualité d’affichage du scénario virtuel, c’est-à-dire des images modélisées, par le dispositif de réalité augmentée 1, et donc pour améliorer l’impression d’immersion ressentie par l’utilisateur 30. L’accéléromètre permet notamment de récupérer des données sur le déplacement de la tête de l’utilisateur et adapter l’affichage de l’image virtuelle à ce déplacement.

Afin de s’assurer de la superposition la plus cohérente possible du scénario virtuel sur l’environnement réel 31, le dispositif de réalité augmentée 1 comporte des moyens de calibrage parmi lesquels une pluralité de marqueurs, aussi bien des marqueurs réels disposés sur l’environnement réel que des marqueurs virtuels disposés dans le cadre du scénario virtuel.

Le dispositif de réalité augmentée 1 est configuré pour effectuer au moins une opération de calibrage spécifique telle qu’elle va être décrite par la suite. Les moyens de calibrage comportent notamment des marqueurs virtuels associés à l’image virtuelle telle qu’elle est modélisée dans le module d’affichage, ainsi qu’une pluralité de marqueurs réels qui est disposée sur l’environnement réel 31, par exemple ici trois marqueurs parmi lesquels un premier marqueur réel 2, un deuxième marqueur réel 3 et un troisième marqueur réel 4. Par marqueur réel il faut comprendre un élément matériel directement disposé sur l’environnement réel 31, par exemple ici collé sur une maquette d’un poste de pilotage formant l’environnement réel.

La caméra du dispositif de réalité augmentée, ici embarquée sur le module d’affichage, portée par l’utilisateur associée à une unité de calculs et de contrôle non représentée, est apte à repérer les marqueurs réels disposés dans le champ de vision de l’utilisateur, c’est-à-dire dans l’environnement réel, et à estimer ou déterminer les positions et orientations de chacun desdits marqueurs réels.

Le dispositif de réalité augmentée doit comporter au moins trois marqueurs réels disposés sur l’environnement réel, mais on comprendra que leur nombre peut être supérieur au nombre de trois de l’exemple illustré. Les marqueurs réels peuvent être de nature diverse, tant qu’ils sont aptes à participer à la mise en œuvre du principe de réalité augmentée. A titre d’exemple, les marqueurs réels peuvent par exemple être un code-barres de type QR. Les marqueurs réels sont par exemple collés sur l’environnement réel 31.

Au sein du module d’affichage 33, la caméra 34 et l’unité de contrôle et de calcul peuvent communiquer entre eux de manière filaire ou sans fil, par exemple via Bluetooth®.

L’opération de calibrage du dispositif de réalité augmentée 1 telle qu’elle a été évoquée précédemment est effectuée via la caméra et l’unité de contrôle et de calcul du module d’affichage à partir des trois marqueurs réels disposés sur l’environnement réel 31 et à partir des marqueurs virtuels associés, et le calibrage consiste, au cours de l’opération de calibrage, à mettre en concordance une position et une orientation du cadre virtuel, dans lequel s’inscrivent chacun de ces marqueurs virtuels, par rapport aux marqueurs réels correspondants.

La figure 2 est une autre vue de l’environnement réel 31 en l’absence de l’utilisateur. Ainsi, il est possible de constater que le premier marqueur réel 2 peut par exemple être disposé sur l’environnement réel 31, face au siège 32. Le deuxième marqueur réel 3 est centré par rapport à l’environnement réel 31 et est donc mis en place à la droite du premier marqueur réel 2. Le troisième marqueur réel 4 est quant à lui disposé sur l’environnement réel 31, sur la droite du deuxième marqueur réel 3 et à une extrémité opposée du premier marqueur réel 2.

Par ailleurs, l’environnement réel 31 présente une pluralité d’éléments cibles pour lesquels on désire un maximum de précisions en visualisation. Ces éléments cibles peuvent par exemple consister en des éléments factices, par exemple en carton ou de la même matière que l’environnement réel 31. A titre d’exemple, et tel que représenté sur la figure 2, l’environnement réel 31 comprend un volant cible 41 et un tableau de bord cible 42. L’environnement réel 31 comprend également une console 35 placée à droite du siège 32 et sensiblement au même niveau qu’une assise de ce dernier. La console 35 comprend un levier de vitesse cible 43. L’environnement réel 31 peut également comporter un rétroviseur central cible 44 surplombant l’environnement réel 31. Ces éléments cibles sont listés ici de façon non exhaustive et ils permettent de donner une dimension physique aux éléments d’étude virtuels qui vont être projetés en superposition via le dispositif de réalité augmentée. Bien entendu, le nombre d’éléments cibles n’est pas non plus limitatif de l’invention et l’environnement réel pourrait consister en un unique élément cible.

L’environnement réel 31 tel que représenté sur la figure 2 correspond à l’environnement observé par l’utilisateur avant qu’il ne soit équipé du module d’affichage du dispositif de réalité augmentée.

Lorsque l’utilisateur s’équipe du module d’affichage et observe l’environnement réel 31, le scénario virtuel 45 évoqué précédemment se superpose à l’environnement réel, le scénario virtuel 45 étant schématiquement illustré sur la figure 3.

Dans l’exemple illustré, un volant virtuel 37 se superpose au volant cible illustré sur la figure 2 lorsque l’utilisateur se place sur le siège 32 en étant équipé du module d’affichage. Il en va de même pour un tableau de bord virtuel 38 qui se superpose au tableau de bord cible. C’est un levier de vitesse virtuel 39 qui vient se superposer sur le levier de vitesse cible, ce dernier étant disposé sur le support 35 à proximité du siège 32 tel que représenté sur la figure 2. Enfin, un rétroviseur virtuel 40 se superpose au rétroviseur cible. Il s’agit là de quatre exemples non exhaustifs, le dispositif de réalité augmentée étant apte à être paramétré avec n’importe quelle modélisation d’élément cible présent au sein de l’environnement réel, ici l’habitacle d’un véhicule. Afin d’optimiser les performances du dispositif de réalité augmentée et de ne pas fatiguer la vision de l’utilisateur, seul l’élément cible est modélisé dans le scénario virtuel superposé sur l’environnement réel, les autres éléments apparaissant tels quels au travers du module d’affichage.

Afin de pouvoir superposer le scénario virtuel 45 sur l’environnement réel de façon appropriée, c’est-à-dire avec les éléments modélisés du scénario virtuel qui sont correctement disposés sur l’ élément cible correspondant, le dispositif de réalité augmentée tient compte de la modélisation du scénario virtuel faite à l’origine ou modifiée suite à la précédente opération de calibrage, et choisit la forme du scénario virtuel à projeter en fonction de la position de l’utilisateur détectée par la caméra et/ou en fonction de la détection de l’orientation du regard de l’utilisateur.

Il convient de noter que le scénario virtuel peut avoir été modifié, bougé par rapport à l’élément cible lors d’une précédente utilisation, en accord avec la réalité de l’angle de vue d’un utilisateur précédent.

Afin de faire apparaître le scénario virtuel 45 le plus proprement possible, et donc de s’assurer que les éléments modélisés formant le scénario virtuel sont projetés dans le module d’affichage conformément à la réalité de l’angle de vue d’un utilisateur donné, le dispositif de réalité augmentée est configuré pour permettre une opération de calibrage, au cours de laquelle on ajuste une position et/ou une orientation du scénario virtuel par comparaison de la position et/ou de l’orientation des marqueurs virtuels du scénario virtuel par rapport aux marqueurs réels fixés sur l’environnement réel. Cette opération de calibrage permet de procéder à un calcul modifiant la position et/ou l’orientation du scénario virtuel et des éléments modélisés que ce scénario contient, de sorte que la superposition du scénario virtuel sur l’environnement réel qui est faite par la suite soit la plus cohérente et la plus réaliste possible.

Les détails concernant le calibrage du dispositif de réalité augmentée seront exposés par la suite, en faisant référence à un exemple dans lequel le dispositif de réalité augmentée est apte à comparer la position de trois marqueurs virtuels par rapport aux trois marqueurs réels disposés sur l’environnement réel 31 et précédemment décrits, avec un premier marqueur virtuel 5, un deuxième marqueur virtuel 6 et un troisième marqueur virtuel 7 que l’on cherche à superposer respectivement au premier marqueur réel, au deuxième marqueur réel et au troisième marqueur réel.

On comprend de ce qui vient d’être décrit qu’un tel dispositif de réalité augmentée présente plusieurs applications dans le domaine de l’automobile. Comme cela a été décrit précédemment, il peut par exemple permettre à un acheteur de sélectionner un modèle de véhicule sans pour autant que ce dernier soit à disposition. L’acheteur peut également choisir parmi des éléments personnalisables au sein dudit véhicule. Un tel dispositif de réalité augmentée peut également servir à des ingénieurs travaillant dans le domaine de l’automobile, et ce dans le but de vérifier le positionnement des différents éléments dans un habitacle lors de la conception d’un véhicule par exemple.

A la lumière de ce qui a été évoqué, l’opération de calibrage prend tout son sens dans la mesure où le dispositif de réalité augmentée doit adapter la configuration du scénario virtuel à projeter en fonction des utilisateurs dudit dispositif, par exemple deux utilisateurs successifs ne faisant pas la même taille et/ou s’installant de sorte à présenter une position à distance du volant différente d’un utilisateur à l’autre. Pour une superposition parfaite du scénario virtuel sur l’environnement réel, les marqueurs virtuels doivent présenter une orientation et une position relatives entre eux qui sont exactement les mêmes que celles entre les marqueurs réels de référence. L’opération de calibrage vise à rendre optimale cette similitude de positionnement et d’orientation des ensembles de marqueurs, en modifiant lorsque cela est nécessaire la position et l’orientation du cadre virtuel associé aux marqueurs virtuels. Il convient de noter qu’en cas d’ajustement lors de l’opération de calibrage, le cadre dans lequel s’inscrivent les marqueurs virtuels n’est pas structurellement modifié, mais qu’il peut être déplacé en translation ou en rotation pour que l’ensemble des éléments d’étude modélisés finement dans ce cadre du scénario virtuel soit déplacé en conséquence.

De ce fait, afin de calibrer le scénario virtuel 45 de sorte qu’elle puisse être adaptée à chacun des utilisateurs, le dispositif de réalité augmentée selon l’invention est configuré pour un calibrage de position et d’orientation angulaire spécifique, ledit calibrage d’orientation angulaire étant particulier en ce qu’il implique une comparaison de repères d’axes formés respectivement à partir des marqueurs réels et des marqueurs virtuels.

Afin de mener à bien l’opération de calibrage, l’utilisateur observe l’environnement réel tout en étant équipé du module d’affichage. L’utilisateur peut éventuellement se focaliser sur l’un des marqueurs réels de l’environnement réel. L’opération de calibrage se déroule au démarrage du dispositif de réalité augmenté, c’est-à-dire avant un quelconque affichage du scénario virtuel en superposition de l’environnement réel. L’opération de calibrage peut par exemple être initiée par pression manuelle d’un bouton par l’utilisateur, ou bien de manière automatique au démarrage du dispositif de réalité augmentée.

On va décrire maintenant plus en détails l’opération de calibrage du dispositif de réalité augmentée.

Les figures 4 et 5 sont des représentations schématiques de deux étapes successives d’une opération de calibrage de position. Il est possible d’observer sur ces deux figures un positionnement des trois marqueurs réels du dispositif de réalité augmentée tels qu’ils ont été évoqués précédemment, à savoir incorporés par exemple par collage dans l’environnement réel, et de trois marqueurs virtuels formant le cadre du scénario virtuel à superposer sur lesdits marqueurs réels de l’environnement réel. Aussi bien sur la figure 4 que sur la figure 5, les marqueurs réels sont représentés en traits pleins tandis que les marqueurs virtuels sont représentés en pointillés.

Selon une mise en place arbitraire et indépendante de ce qui est illustré sur les figures précédentes, les trois marqueurs réels sont disposés de sorte que le premier marqueur réel 2 est interposé entre le deuxième marqueur réel 3 et le troisième marqueur réel 4. Plus particulièrement, sur la figure 4, le deuxième marqueur réel 3 est à gauche du premier marqueur réel 2 tandis que le troisième marqueur réel 4 est à droite du premier marqueur réel 2.

Lors de l’opération de calibrage, le dispositif de réalité augmentée permet notamment de corriger un défaut de position pouvant survenir par exemple au niveau du deuxième marqueur virtuel 6 par rapport au deuxième marqueur réel 3 et/ou du troisième marqueur virtuel 7 par rapport au troisième marqueur réel 4 lorsque l’utilisateur porte son regard particulièrement sur le premier marqueur réel 2. Autrement dit, le calibrage de position consiste en une vérification de la position de chacun des marqueurs virtuels par rapport à son marqueur réel correspondant et un ajustement de la position du cadre du scénario virtuel à projeter formé par l’ensemble des marqueurs virtuels, pour que lors de l’utilisation du dispositif de réalité augmentée après calibrage, la position du cadre formé par les marqueurs virtuels soit la plus cohérente possible par rapport aux marqueurs réels et à l’élément cible.

La figure 4 représente ici une étape du calibrage de position au cours de laquelle on acquiert la position de chaque marqueur réel et de chaque marqueur virtuel lorsqu’on superpose le scénario virtuel sur l’environnement réel. Sur la figure 4, les marqueurs réels sont représentés tels qu’ils apparaissent dans le champ de vision de l’utilisateur, et donc tel qu’ils sont détectés par les moyens de captation du module d’affichage dirigés vers ce champ de vision. Le deuxième marqueur réel 3 et le troisième marqueur réel 4 sont ainsi inclinés afin de tenir compte de la déformation des objets présents en périphérie du champ de vision de l’utilisateur lorsque celui-ci regarde directement le premier marqueur réel 2.

Le calibrage de position visant à ajuster la position du cadre formant le scénario virtuel se fait tout d’abord en choisissant l’un des marqueurs réels comme référentiel, à savoir ici le premier marqueur réel 2 selon l’exemple de la figure 4. Le calibrage de position peut néanmoins s’effectuer avantageusement en prenant n’importe lequel des marqueurs comme référentiel de position, notamment en fonction de quel marqueur est dans le champ de vision de l’utilisateur. Le marqueur référentiel peut également être choisi arbitrairement par le dispositif de réalité augmentée.

Le calibrage de position se poursuit en déterminant le décalage de position pour chaque couple marqueur réel - marqueur virtuel. Selon un mode opératoire de l’invention, cette détermination du décalage est réalisée après avoir superposé l’un des marqueurs virtuels sur le marqueur réel correspondant. Dans l’exemple illustré sur la figure 4, le premier marqueur réel 2 étant choisi comme référentiel de position, la position du premier marqueur réel 2 et la position du premier marqueur virtuel 5 sont confondues.

A partir de la position du premier marqueur réel 2 et donc du premier marqueur virtuel 5 correspondant, le dispositif de réalité augmentée détermine une position du deuxième marqueur virtuel 6 et une position du troisième marqueur virtuel 7 par rapport respectivement au deuxième marqueur réel 3 et au troisième marqueur réel 4.

Si le dispositif de réalité augmente détermine que la superposition de chaque marqueur virtuel sur le marqueur réel correspondant est parfaite, l’unité de contrôle et de calcul ne procède à aucune modification de position et d’orientation du cadre virtuel.

Dans le cas contraire, l’opération de calibrage comprend une modification de position et d’orientation du cadre virtuel. Dans l’exemple illustré sur la figure 4, les positions du deuxième marqueur virtuel 6 et du troisième marqueur virtuel 7 sont respectivement décalées par rapport à la position du deuxième marqueur réel 3 et du troisième marqueur réel 4. Le rôle du calibrage de position est donc de corriger, autant que possible, tel que cela est expliqué ci-dessous, ce décalage entre le cadre de l’image virtuelle et l’environnement réel sur lequel l’image virtuelle doit être superposée.

Le calcul des décalages de position entre un marqueur virtuel et le marqueur réel correspondant se fait à partir d’un point précis de chacun des marqueurs, par exemple le centre des marqueurs ou l’un des coins des marqueurs, notamment lorsque ces marqueurs sont sous forme de QR-code, chaque coin devant être le même pour chaque marqueur.

Selon l’exemple de la figure 4, il est possible de voir que le deuxième marqueur virtuel 6 est légèrement décalé par rapport au deuxième marqueur réel 3 selon une première composante verticale V1 et une première composante horizontale H1. Le troisième marqueur virtuel 7 présente quant à lui un décalage conséquent par rapport au troisième marqueur réel 4, selon une deuxième composante verticale V2 et une deuxième composante horizontale H2.

Le calibrage de position se poursuit lors d’une deuxième étape intermédiaire, tel que représenté sur la figure 5, lors de laquelle, conformément à l’objectif du calibrage de position par le dispositif de réalité augmentée, on modifie la position de l’ensemble des marqueurs virtuels, c’est-à-dire le cadre du scénario virtuel, en fonction des décalages précédemment déterminés, et ce afin d’obtenir un scénario virtuel cohérent par rapport au positionnement de l’utilisateur utilisant le dispositif de réalité augmentée.

De manière préférentielle, on prend la moyenne des décalages des trois marqueurs et l’ensemble des trois marqueurs, c’est-à-dire le cadre du scénario virtuel, est déplacé pour compenser ce décalage moyen.

Le décalage moyen entre le cadre virtuel dans lequel s’inscrivent les marqueurs virtuels et l’ensemble formé par les marqueurs réels peut être calculé en effectuant une moyenne de l’ensemble des décalages déterminés précédemment, en considérant successivement les composantes horizontales et verticales des décalages. La somme des composantes verticales de tous les décalages est effectuée puis divisée par le nombre de marqueurs réels impliqués dans le calcul afin de retrouver la composante verticale du décalage moyen. Et la somme des composantes horizontales de tous les décalages est effectuée puis divisée par le nombre de marqueurs réels impliqués dans le calcul afin de retrouver la composante horizontale du décalage moyen.

Appliqué à l’exemple de la figure 5, le décalage moyen est calculé et appliqué à l’inverse pour compenser le mauvais positionnement du scénario virtuel par rapport à l’environnement réel. Le cadre du scénario virtuel, et donc l’ensemble des marqueurs virtuels, est ainsi décalé par rapport aux marqueurs réels selon une composante verticale unique de valeur V0, égale à l’inverse du décalage moyen calculé sur la base des composantes verticales V1 et V2, et selon une composante horizontale unique H0, égale à l’inverse du décalage moyen calculé sur la base des composantes horizontales H1 et H2. A l’issue de l’opération de calibrage de position, l’ensemble des marqueurs virtuels est décalé, d’un seul tenant, par rapport à l’ensemble des marqueurs réels.

On va maintenant décrire l’opération de calibrage d’orientation angulaire spécifique que le dispositif de réalité augmentée selon l’invention est apte à mettre en œuvre, notamment en référence aux figures 6 et 7. Le calibrage d’orientation angulaire peut être effectué simultanément au calibrage de position ou après celui-ci. L’objectif du calibrage d’orientation angulaire est de corriger l’orientation du cadre du scénario virtuel, et donc du ou des éléments d’étude dont l’orientation est définie par celle du cadre, par rapport à l’environnement réel et le champ de vision de l’utilisateur du dispositif de réalité augmentée.

Pour reprendre l’exemple précédemment décrit, un nouvel utilisateur va démarrer le dispositif de réalité augmentée depuis une position qui peut être différente de celle de l’utilisateur précédent, de sorte qu’en fixant une zone de l’environnement réel, l’utilisateur va percevoir le ou les éléments cibles en périphérie de son champ de vision avec une certaine inclinaison qui lui sera propre et qui diffèrera de la perception qu’avait l’utilisateur précédent, du fait par exemple de sa morphologie et de la distance à laquelle il se trouve de ces éléments cibles. Pour une expérience de réalité augmentée optimale, il convient que les éléments d’étude modélisés dans le cadre du scénario virtuel présentent une inclinaison relative qui soit la plus proche possible de celle des éléments cibles sur lesquels ils doivent être superposés.

Une fois le calibrage d’orientation angulaire effectué, et le cas échéant le calibrage de position effectué, le dispositif de réalité augmentée est configuré pour considérer le positionnement de l’utilisateur dans l’environnement réel, via les moyens de captation notamment, et pour considérer l’angle de vue défini par l’orientation des yeux de l’utilisateur à travers le module d’affichage, pour déterminer une bonne orientation de chacun des éléments virtuels à projeter sur l’environnement réel via le module d’affichage.

Conformément à ce qui a été décrit précédemment, la figure 6 représente ici une étape du calibrage d’orientation au cours de laquelle on acquiert l’orientation de chaque marqueur réel et de chaque marqueur virtuel lorsqu’on superpose le scénario virtuel sur l’environnement réel. Sur la figure 4, les marqueurs réels sont représentés tels qu’ils apparaissent dans le champ de vision de l’utilisateur, et donc tel qu’ils sont détectés par les moyens de captation du module d’affichage dirigés vers ce champ de vision. Le deuxième marqueur réel 3 et le troisième marqueur réel 4 sont ainsi inclinés afin de tenir compte de la déformation des objets présents en périphérie du champ de vision de l’utilisateur lorsque celui-ci regarde directement le premier marqueur réel 2.

Le calibrage d’orientation angulaire selon l’invention est effectué par comparaison d’un repère virtuel 20 défini par les trois marqueurs virtuels et d’un repère réel 10 défini par les trois marqueurs réels décrits précédemment. Une telle technique est plus précise et plus rapide que d’effectuer un calcul de comparaison de repères virtuels et réels pour chacun des couples de marqueurs formés d’un marqueur de référence et d’un marqueur virtuel.

Pour cela, tout comme lors du calibrage de position, l’un des marqueurs réels est utilisé comme marqueur réel d’origine pour servir d’origine du repère réel 10. L’acquisition de l’orientation des marqueurs pour le calibrage d’orientation angulaire peut se faire simultanément à l’acquisition des positions des marqueurs pour le calibrage de position. Sur la figure 6, c’est le premier marqueur réel 2 qui sert d’origine pour le repère réel 10. Comme cela a été décrit précédemment pour le calibrage de position, le marqueur réel servant d’origine peut par exemple être celui sur lequel le regard de l’utilisateur est porté, ou bien peut être choisi arbitrairement.

Le dispositif de réalité augmentée est configuré pour définir le repère réel 10 avec un premier axe réel 11 et un deuxième axe réel 12 issus respectivement du marqueur réel origine, formant l’origine du repère réel. Le premier axe réel 11 est formé entre le marqueur réel origine, ici le premier marqueur réel 2, et l’un des deux autres marqueurs réels, ici à titre d’exemple le deuxième marqueur réel 3. Le deuxième axe réel 12 est quant à lui formé entre le marqueur réel origine, ici le premier marqueur réel 2, et le troisième marqueur réel 4.

De manière préférentielle, les deux axes réels formant le repère réel sont sécants ou forment des directions sécantes.

Le deuxième marqueur virtuel 6 et le troisième marqueur virtuel 7 associés au scénario virtuel tel qu’il est configuré avant calibrage sont visibles sur la figure 6.

Comme cela a été dit précédemment, l’orientation du deuxième marqueur virtuel 6, au démarrage du dispositif de réalité augmentée, correspond à l’orientation du deuxième marqueur réel 3 lorsque l’utilisateur fixe le premier marqueur réel 2, telle que l’image virtuelle a été calculée lors d’une utilisation précédente du dispositif de réalité augmentée. Lors d’un changement d’utilisateur du dispositif de réalité augmentée, la perception visuelle du nouvel utilisateur peut différer de celle de l’utilisateur précédent et cela influe sur l’orientation des marqueurs réels situés en périphérie du champ de vision du nouvel utilisateur. De ce fait, l’orientation du cadre du scénario virtuel dans lequel s’inscrivent les marqueurs virtuels doit être ajustée afin que le scénario virtuel présente une orientation globale cohérente à la perception visuelle de l’utilisateur. Ainsi, du fait du profil de l’utilisateur, il peut y avoir un écart d’orientation entre le deuxième marqueur réel 3 et le deuxième marqueur virtuel 6, lorsque l’orientation de celui-ci n’est pas encore modifiée par l’opération de calibrage. Le raisonnement est le même pour le troisième marqueur virtuel 7 par rapport au troisième marqueur réel 4.

Après avoir déterminé le repère réel 10, en fonction de la perception visuelle des marqueurs réels par l’utilisateur, et donc en fonction de l’acquisition de la position des marqueurs réels par la caméra et du calcul des vecteurs formés entre les marqueurs réels par l’unité de contrôle et de calcul, le dispositif de réalité augmentée est configuré pour tenir compte d’un repère virtuel 20, puis pour comparer le repère réel 10 et le repère virtuel 20.

Le repère virtuel 20 correspond à un repère constitué d’un premier axe virtuel 21 et d’un deuxième axe virtuel 22. Le premier axe virtuel 21 est formé entre le premier marqueur virtuel 5, qui tout comme lors de l’étape de calibrage de position est confondu avec le premier marqueur réel 2 et forme le marque virtuel origine, et le deuxième marqueur virtuel 6. Le deuxième axe virtuel 22, quant à lui, est formé entre le premier marqueur virtuel 5 et le troisième marqueur virtuel 7. De manière préférentielle, les deux axes virtuels formant le repère virtuel sont sécants ou forment des directions sécantes.

Dans l’exemple illustré, chacun des axes, qu’il soit réel ou virtuel, s’étend du centre d’un marqueur jusqu’au centre d’un autre marqueur, lesdits marqueurs pouvant être réels ou virtuels. Tout comme cela a été décrit lors du calibrage de position, on pourra sans sortir du contexte de l’invention choisir des points de référence sur les marqueurs qui soient autres que le centre de ceux-ci et par exemple des coins d’un QR-code, dès lors que le même point de référence est utilisé pour définir la position de chaque marqueur et le vecteur de chaque axe virtuel ou réel déterminé sur la base de la position de deux marqueurs.

La comparaison du repère réel et du repère virtuel ainsi déterminés a pour objectif de réorienter le repère virtuel 20, et donc de réorienter l’ensemble des marqueurs virtuels formant le cadre du scénario virtuel par rapport à la situation antérieure, que cette situation antérieure soit initiale ou bien suite à un précédent calibrage par un autre utilisateur.

L’orientation du cadre du scénario virtuel est ajustée par rapport à une valeur de décalage angulaire entre le repère réel 10 et le repère virtuel 20. Une telle valeur de décalage angulaire se manifeste par une première différence angulaire 51 entre le premier axe réel 11 et le premier axe virtuel 21, et par une deuxième différence angulaire 52 entre le deuxième axe réel 12 et le deuxième axe virtuel 22, tel qu’illustré sur la figure 6.

Le dispositif de réalité peut alors entraîner la rotation du repère virtuel 20, et donc de la maquette virtuelle, c’est-à-dire le cadre du scénario virtuel, afin de diminuer ces différences angulaires et ainsi d’ajuster de façon solidaire l’orientation des marqueurs virtuels pour qu’ils soient dans une orientation conforme à celle de leur marqueur réel correspondant. De manière préférentielle, l’angle de rotation du repère virtuel effectif peut être la moyenne des valeurs de décalage angulaire calculées ci-avant. Le repère virtuel peut alors être tourné dans son ensemble d’une valeur inverse à celle de l’angle de rotation évoquée ci-dessus. Tel qu’illustré sur la figure 7, il peut rester, après cet ajustement d’orientation du cadre, des décalages angulaires, le cas échéant avec un sens de décalage inversé, mais les valeurs absolues correspondantes sont minimes par rapport à celles des décalages angulaires présents avant calibrage. Ici, une différence angulaire atténuée 53 entre le premier axe réel 11 et le premier axe virtuel 21 est égale à la valeur de la première différence angulaire 51 minorée de l’angle de rotation précédemment évoquée, et une différence angulaire atténuée 54 entre le deuxième axe réel 12 et le deuxième axe virtuel 22, est égale à la valeur de la première différence angulaire 51 minorée de l’angle de rotation précédemment évoquée.

Dans le cas où plusieurs repères virtuels sont ajustés pour être conformes à leur repère réel respectif, par exemple s’il y a plus de trois marqueurs sur l’environnement réel, un angle de rotation moyen est calculé à partir de l’ensemble des valeurs de décalage angulaire entre chacun des repères réels et virtuels correspondants, et donc des valeurs de décalage angulaire entre les axes réels et virtuels.

Le calibrage d’orientation angulaire se fait ainsi de sorte à faire apparaître les éléments d’étude du scénario virtuel, dont le cadre est défini par les marqueurs virtuels, selon une position et une orientation les plus fidèles possible à la position et à l’orientation des marqueurs réels tels qu’ils sont perçus par l’utilisateur en fonction de sa position par rapport à l’environnement réel.

La modification de la position et/ou de l’orientation du cadre du scénario virtuel dans lequel s’inscrivent les marqueurs virtuels peut être faite automatiquement lorsque l’utilisateur marque un temps d’arrêt, par exemple sur un marqueur réel en particulier. La modification de l’agencement de ce cadre, et donc du scénario virtuel et des éléments d’étude qu’elle contient, peut également être faite manuellement par exemple par pression d’un bouton disposé sur le module d’affichage, et ce une fois que l’utilisateur est prêt. Le marqueur de référence peut être n’importe lequel des marqueurs réels et chaque marqueur peut prendre le rôle de marqueur de référence au cours de l’opération de calibrage, la position relative des marqueurs virtuels n’en étant que plus précise.

Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention.

L’invention, telle qu’elle vient d’être décrite, atteint bien le but qu’elle s’était fixée, et permet de proposer un dispositif de réalité augmentée équipé de moyens de calibrage de position et d’orientation à partir d’au moins trois marqueurs réels présents dans l’environnement réel dans un nombre équivalent à celui des marqueurs virtuels associés au cadre d’un scénario virtuel. Des variantes non décrites ici pourraient être mises en œuvre sans sortir du contexte de l’invention, dès lors que, conformément à l’invention, elles comprennent un dispositif de réalité augmentée conforme à l’invention.

Claims (10)

1. Dispositif de réalité augmentée (1) comprenant un environnement réel (31) et un module d’affichage (33) pour visualiser un scénario virtuel en superposition à un champ de vision d’un utilisateur, dans lequel le module d’affichage (33) comporte un moyen de visualisation sensiblement transparent sur lequel le module d’affichage est apte à visualiser ledit scénario virtuel, le module d’affichage (33) étant configuré pour modéliser et définir le scénario virtuel à l’intérieur d’un cadre, caractérisé en ce que le dispositif de réalité augmenté (1) comprend au moins trois marqueurs réels (2, 3, 4) disposés au sein de l’environnement réel (31) et au moins trois marqueurs virtuels (5, 6, 7) associés au cadre définissant le scénario virtuel, chacun des trois marqueurs virtuels (5, 6, 7) étant destiné à venir en coïncidence avec l’un des trois marqueurs réels (2, 3, 4).
2. Dispositif de réalité augmentée (1) selon la revendication 1, caractérisé en ce qu’il comporte des moyens de captations comprenant une caméra (34) dirigée vers ledit champ de vision de l’utilisateur.
3. Dispositif de réalité augmentée (1) selon l’une des revendications précédentes, caractérisé en ce qu’il est apte à opérer un calibrage de position du cadre du scénario virtuel dans lequel s’inscrivent les trois marqueurs virtuels (5, 6, 7) en fonction d’une position des trois marqueurs réels (2, 3, 4), le dispositif de réalité augmentée étant apte, lors de ce calibrage de position, à déterminer un décalage entre la position de chaque marqueur virtuel (5, 6, 7) et la position du marqueur réel (2, 3, 4) correspondant audit marqueur virtuel (5, 6, 7), et modifier la position du cadre du scénario virtuel dans laquelle s’inscrivent les marqueurs virtuels (5, 6, 7) en fonction dudit décalage.
4. Dispositif de réalité augmentée (1) selon la revendication précédente, caractérisé en ce qu’il est apte à modifier la position du cadre du scénario virtuel selon un décalage moyen mesuré à partir de chacun des décalages de position déterminés entre les marqueurs virtuels (5, 6, 7) et leur marqueur réel (2, 3, 4) correspondant.
5. Dispositif de réalité augmentée (1) selon l’une des revendications précédentes, caractérisé en ce qu’il est apte à opérer un calibrage d’orientation angulaire du cadre virtuel dans lequel s’inscrivent les trois marqueurs virtuels (5, 6, 7) en fonction d’une orientation des trois marqueurs réels (2, 3, 4), le calibrage d’orientation s’effectuant à partir de la création d’un repère réel (10) ayant pour origine l’un des trois marqueurs réels (2, 3, 4) à partir duquel s’étendent au moins deux axes réels (11, 12) sécants jusqu’à chacun des deux autres marqueurs réels, le dispositif de réalité augmentée (1) étant configuré pour corriger une orientation d’un repère virtuel (20) en fonction du repère réel (10) formé, ledit repère virtuel (20) ayant pour origine l’un des trois marqueurs virtuels (5, 6, 7) à partir duquel s’étendent au moins deux axes virtuels (21, 22) sécants jusqu’à chacun des deux autres marqueurs virtuels.
6. Dispositif de réalité augmentée (1) selon l’une des revendications 3 à 5, dans lequel le calibrage d’orientation et/ou le calibrage de position sont configurés pour être initiés par action manuelle de l’utilisateur (30).
7. Procédé de calibrage de réalité augmentée mis en œuvre par un dispositif de réalité augmentée (1) selon l’une quelconque des revendications précédentes, comprenant :

   • une première étape d’acquisition d’une orientation des marqueurs virtuels (5, 6, 7) par rapport aux marqueurs réels (2, 3, 4) par le module d’affichage (33),
   • une deuxième étape de création du repère réel (10) à partir des trois marqueurs réels (2, 3, 4),
   • une troisième étape de création du repère virtuel (20) à partir des trois marqueurs virtuels (5, 6, 7),
   • une quatrième étape de comparatif du repère virtuel (20) et du repère réel (10),
   • une cinquième étape de correction de l’orientation du repère virtuel (20).
8. Procédé de calibrage de réalité augmentée selon la revendication précédente, comprenant une première étape intermédiaire, antérieure à la deuxième étape, d’acquisition de position des trois marqueurs virtuels (5, 6, 7) par rapport aux marqueurs réels (2, 3, 4).
9. Procédé de calibrage de réalité augmentée selon la revendication précédente, comprenant une deuxième étape intermédiaire, postérieure à la première étape intermédiaire et antérieure à la deuxième étape, de détermination d’un décalage entre chacun des marqueurs virtuels (5, 6, 7) et leur marqueur réel (2, 3, 4) respectif.
10. Procédé de calibrage de réalité augmentée selon la revendication précédente, comprenant une troisième étape intermédiaire, postérieure à la deuxième étape intermédiaire et antérieure à la deuxième étape, de calcul d’un décalage moyen entre les marqueurs virtuels (5, 6, 7) et leur marqueur réel (2, 3, 4) respectif, ledit décalage moyen étant appliqué pour modifier la position du cadre du scénario virtuel dans lequel s’inscrivent les marqueurs virtuels (5, 6, 7).