FR3093578A1 - Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle. - Google Patents

Abstract

L'invention concerne un procédé de traitement de données d'un environnement de réalité virtuelle, dans lequel au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle est détectée (E41). Ladite partie du corps de l'utilisateur est susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle. Au moins un signal sonore est généré (E43) en fonction de la détection de la au moins une partie du corps de l'utilisateur de l'environnement de réalité virtuelle. L'invention concerne également un dispositif de traitement de données d'un environnement de réalité virtuelle correspondant. Figure pour l'abrégé: Figure 4

Description

Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle.

1. Domaine de l'invention

L'invention concerne le traitement de données de réalité augmentée ou réalité virtuelle mixte, destinées à être affichées par exemple par un affichage holographique.

2. Art Antérieur

Il existe des visiocasques ou lunettes de réalité virtuelle permettant d'afficher un environnement de réalité virtuelle mixte sous la forme d'hologrammes s'intégrant dans le champ de vision de l'utilisateur. Par exemple, le casque Microsoft® Hololens, illustré en figure 1, offre un tel affichage. Un tel casque est notamment équipé de capteurs, par exemple des caméras, permettant à l'utilisateur d'interagir de manière gestuelle dans l'environnement de réalité virtuelle, notamment sur des objets virtuels de l'environnement projetés par le casque ou sur des commandes virtuelles associées à des objets physiques, c’est-à-dire des objets de réalité mixte.

Les dispositifs de type Hololens existants ne fournissent pas d’information précise à l’utilisateur sur la détection de la main de l'utilisateur. Par exemple, une information visuelle basique est affichée à l'utilisateur sous la forme d'une pastille placée au centre du champ de vision de l'utilisateur, indiquant qu'une main est détectée et peut donc manipuler un objet. L'utilisateur n'a pas d'informations concernant quelle main est détectée (droite, ou gauche, ou les deux), ni où cette main est détectée.

Des dispositifs existants fournissent un retour visuel sur un écran relatif à la détection de la main de l'utilisateur. Par exemple, le document US2012/0157203 propose un système de jeu dans lequel la main de l’utilisateur (voire ses deux mains) est détectée(s) et affiché sur un écran au moyen d’un signal visuel fonction de cette détection. Notamment, la représentation de la main détectée prend la forme d’une main correspondante (respectivement droite ou gauche).

Néanmoins, dès que la main de l'utilisateur sort de la zone d’affichage, l’utilisateur n’a plus aucune information sur la position de sa main, ni sur sa détection. En outre, la représentation visuelle de la main fournie à l'utilisateur reste approximative quant à sa position dans l'environnement de réalité virtuelle.

Il existe donc un besoin d'améliorer l'état de la technique.

3. Exposé de l'invention

L'invention vient améliorer l'état de la technique. Elle concerne, à cet effet, un procédé de traitement de données d'un environnement de réalité virtuelle. Un tel procédé comprend la détection d'au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle, ladite partie du corps de l'utilisateur étant susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle, et la génération d'au moins un signal sonore en fonction de la détection de la au moins une partie du corps de l'utilisateur de l'environnement de réalité virtuelle.

Selon l'invention, le procédé de traitement de données d'un environnement de réalité virtuelle permet ainsi suite à la détection d'une partie du corps d'un utilisateur de générer un signal sonore permettant d'informer l'utilisateur d'une telle détection. Par exemple, lorsque la partie du corps de l'utilisateur correspond à une de ses mains, l'information indiquant à l'utilisateur que sa main est détectée n'est plus dépendante du champ d'affichage des données de l'environnement virtuelle.

Notamment, lorsque le système mettant en œuvre l'environnement de réalité virtuelle comprend un espace de détection des interactions et un espace de restitution de l'environnement de réalité virtuelle qui sont distincts, le procédé selon l'invention permet de pouvoir détecter une partie du corps de l'utilisateur même si cette partie du corps n'est plus dans l'espace de restitution, alors même qu'elle peut encore interagir dans l'environnement de réalité virtuelle. Le procédé selon l'invention permet ainsi de pallier les inconvénients de l'art antérieur dans lequel la détection d'une main de l'utilisateur est seulement restituée à l'utilisateur par un signal visuel.

Selon un mode particulier de réalisation de l'invention, le signal sonore est restitué à l'utilisateur tant que la au moins une partie du corps est détectée.

Selon ce mode particulier de réalisation de l'invention, lorsque la partie du corps de l'utilisateur n'est plus détectée par le système mettant en œuvre l'environnement de réalité virtuelle, i.e. dès que la partie du corps de l'utilisateur sort de l'espace de détection, le signal sonore s'interrompt. L'utilisateur est ainsi informé dès que la partie du corps n'est plus détectée par le système.

Selon un autre mode particulier de réalisation de l'invention, le signal sonore généré dépend de la position de la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée.

Par exemple, selon une variante, le signal sonore dépend de la distance entre la partie du corps détectée et un objet de l'environnement de réalité virtuelle. Par exemple, le signal sonore est fonction de la distance entre une main de l'utilisateur et un élément, par exemple un objet, affiché dans l'environnement de réalité virtuelle.

Selon une autre variante, le signal sonore dépend de la distance entre la partie du corps détectée et un élément réel restitué dans l'environnement de réalité virtuelle. Par exemple, si l'utilisateur est en mouvement, le signal sonore dépend de la distance entre l'utilisateur et un obstacle physique de l'environnement.

Selon encore une autre variante, le signal sonore dépend de la distance entre la partie du corps détectée et une autre partie du corps de l'utilisateur, par exemple la tête de l'utilisateur lorsque le système de réalité virtuelle est mis en œuvre au moyen d'un casque de projection holographique.

Selon un autre mode particulier de réalisation de l'invention, la fréquence du signal sonore dépend de la distance entre la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée. Le signal sonore est ainsi plus aigu ou plus grave selon la distance entre la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée.

Par exemple, selon ce mode particulier de réalisation de l'invention, la fréquence est élevée lorsque la partie du corps détectée est proche d'un élément de l'environnement de réalité virtuelle et faible lorsque la partie du corps détectée est éloignée d'un élément de l'environnement de réalité virtuelle, ou l'inverse. Selon un autre exemple, lorsque la partie du corps détectée se rapproche d'un élément de l'environnement de réalité virtuelle, la fréquence du son générée augmente et lorsque la partie du corps détectée s'éloigne de l'élément, la fréquence du son générée diminue.

Selon un autre mode particulier de réalisation de l'invention, la génération du signal sonore est fonction d'un côté gauche ou droit de la partie du corps de l'utilisateur détectée. Selon ce mode particulier de réalisation de l'invention, lorsque la partie du corps détectée est par exemple une main, l'utilisateur est ainsi informé en fonction du type de signal sonore ou du rendu du signal sonore, s'il s'agit de la main droite ou gauche.

Selon un autre mode particulier de réalisation de l'invention, la génération d'un signal sonore en fonction de la détection de la au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle comprend la génération d'un signal audio spatialisé. Selon ce mode particulier de réalisation de l'invention, en plus de l'information de détection de la partie du corps, l'utilisateur est informé de la localisation de la partie du corps détectée dans l'environnement de réalité virtuelle.

Selon un autre mode particulier de réalisation de l'invention, le signal sonore est un signal binaural dont la source sonore est placée à la position à laquelle la partie du corps de l'utilisateur a été détectée.

Selon un autre mode particulier de réalisation de l'invention, le signal sonore comprend deux canaux, un canal parmi les deux canaux étant destiné à l'oreille droite, et un autre canal parmi les deux canaux étant destiné à l'oreille gauche, un canal ou les deux canaux du signal sonore étant transmis à l'oreille correspondante lorsque la partie du corps de l'utilisateur ou une autre partie du corps de l'utilisateur est détectée du côté de l'oreille correspondante.

Selon un autre mode particulier de réalisation de l'invention, le procédé de traitement comprend en outre la modification du signal sonore lors d'une interaction de la partie du corps détectée avec un élément de l'environnement de réalité virtuelle. Ce mode particulier de réalisation de l'invention permet de limiter les erreurs d'interaction, par exemple en informant l'utilisateur de la bonne ou mauvaise préhension d'un objet manipulable de l'environnement de réalité virtuelle.

Selon un autre mode particulier de réalisation de l'invention, le procédé de traitement comprend en outre la restitution d'un signal visuel représentatif de la détection de ladite partie du corps de l'utilisateur dans l'environnement de réalité virtuelle.

Selon un autre mode particulier de réalisation de l'invention, l'environnement de réalité virtuelle est restitué par projection holographique.

L'invention concerne également un dispositif de traitement de données d'un environnement de réalité virtuelle configuré pour mettre en œuvre le procédé de traitement selon l'un quelconque des modes particuliers de réalisation de l'invention décrit ci-dessus. Un tel dispositif comprend une unité de traitement comprenant un processeur et une mémoire couplée de manière opérationnelle à l’unité de traitement, l’unité de traitement et la mémoire étant configurées pour la mise en œuvre du procédé de traitement de données selon l'un quelconque des modes particuliers de réalisation de l'invention décrit ci-dessus.

Selon un mode particulier de réalisation de l'invention, un tel dispositif est compris dans un terminal.

L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement de données selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.

Selon encore un autre aspect, un support d'enregistrement ou support d'informations lisible par un ordinateur est proposé, qui comprend des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire de type Read-Only Memory (ROM), par exemple un CD- ROM ou une ROM de circuit microélectronique, une mémoire flash montée sur un support de stockage amovible, tel qu’une clé USB, ou encore une mémoire de masse magnétique de type Hard-Disk Drive (HDD) ou Solid-State Drive (SSD), ou une combinaison de mémoires fonctionnant selon une ou plusieurs technologies d’enregistrement de données. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. En particulier, le programme d’ordinateur proposé peut être téléchargé sur un réseau de type Internet.

Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.

Le procédé de traitement de données selon l'invention peut donc être mis en œuvre de diverses manières, notamment sous forme matérielle ou sous forme logicielle, ou être mise en œuvre sous forme d’une combinaison d’éléments matériels et logiciels.

4. Liste des figures

D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :

- la figure 1 illustre un exemple d'un casque de réalité virtuelle utilisant une projection holographique,

- la figure 2 illustre un exemple d'environnement de mise en œuvre de l'invention selon un mode particulier de réalisation de l'invention,

- la figure 3 illustre un exemple d'environnement de mise en œuvre de l'invention selon un autre mode particulier de réalisation de l'invention,

- la figure 4 illustre des étapes du procédé de traitement de données d'un environnement de réalité virtuelle selon un mode de réalisation,

- la figure 5 illustre une représentation visuelle d'une spatialisation du signal sonore généré selon un mode particulier de réalisation de l'invention,

- la figure 6 illustre de manière schématique la structure d'un dispositif de traitement de données d'un environnement de réalité virtuelle selon un mode de réalisation.

5. Description d'un mode de réalisation de l'invention

5.1 Principe général

Le principe général de l'invention vise à améliorer les systèmes de mise en œuvre d'environnement de réalité virtuelle en fournissant à un utilisateur de tels systèmes des informations relatives à la détection de parties de son corps susceptibles d'interagir dans l'environnement de réalité virtuelle. L'invention permet d'éviter de ce fait les erreurs de manipulation.

Pour cela, lors de la détection par le système de mise en œuvre de l'environnement de réalité virtuelle d'une partie du corps de l'utilisation susceptible d'interagir dans l'environnement de réalité virtuelle (par exemple une main, un pied, ....), un signal sonore est généré. Avantageusement, un tel signal sonore est fonction de cette détection. Ainsi, le signal sonore en lui-même ou bien sa restitution dépendent de la localisation de la partie du corps détecté dans l'environnement, ou bien de la partie du corps détectée elle-même.

5. 2 Exemples de mise en œuvre

La figure 2 illustre un exemple d'environnement de mise en œuvre de l'invention selon un mode particulier de réalisation de l'invention. Selon ce mode particulier de réalisation de l'invention, l'environnement de réalité virtuelle est mis en œuvre au moyen d'un casque par projection holographique, par exemple le casque Hololens© de Microsoft®.

Sur la figure 2, un utilisateur (21) est illustré schématiquement portant un casque (22) à projection holographique. Dans l’exemple illustré, le casque à projection holographique (22) comprend un dispositif de projection (220) définissant un espace de projection (23) et un dispositif de détection (221) définissant un espace de détection (24).

Par exemple, le dispositif de projection (220) comprend deux écrans (non représentés) pour projection holographique placés respectivement devant l'œil droit et l'œil gauche de utilisateur (21) du casque, ainsi que des projecteurs (non représentés) pour projeter un environnement de réalité virtuelle, par exemple un objet virtuel (25).

Un tel dispositif de projection définit ainsi un espace de projection (23) de l'environnement de réalité virtuelle, illustré par des traits en pointillés sur la figure 2. Un tel espace de projection correspond à un espace dans lequel l'utilisateur (21) a l'impression que les objets virtuels et l'environnement de réalité virtuelle sont affichés. Dans l'exemple de réalisation décrit ici, l'espace de projection (23) est limité par le champ de vision du casque à projection holographique (22).

Le dispositif de détection (221) comprend par exemple une caméra 2D et des capteurs de profondeur (non représentés), ou bien une caméra 2D+profondeur. Selon le mode de réalisation illustré sur la figure 2, lorsqu'une partie du corps de l'utilisateur du casque à projection holographique (22), par exemple une main, est dans l'espace de détection (24) (défini en trait plein sur la figure 2), cette partie du corps est détectée par le dispositif de détection et peut manipuler des objets virtuels projetés dans l'environnement de réalité virtuelle.

Le dispositif de détection et le dispositif de projection sont couplés à une unité de traitement du casque (22) (non représentée) qui est configurée pour traiter les données de l'environnement de réalité virtuelle, i.e. les données 2D ou 3D de la scène à projeter par le dispositif de projection, et les données capturées par le dispositif de détection, par exemple une partie du corps de l'utilisateur à détecter et/ou des éléments de l'environnement réels de l'utilisateur.

Comme illustré en figure 2, l'espace de projection (23) et l'espace de détection (24) peuvent être différents. Par exemple, en référence avec la figure 2, l'espace de détection est plus large que l'espace de projection.

Il apparaît ainsi qu'une partie du corps de l'utilisateur (21) peut être détectée dans l'espace de détection (24) mais qu'elle ne soit pas visible par l'utilisateur dans l'espace de projection (23).

La figure 3 illustre un exemple d'environnement de mise en œuvre de l'invention selon un autre mode particulier de réalisation de l'invention. Selon cet autre mode particulier de réalisation de l'invention, l'environnement de réalité virtuelle est mis en œuvre au moyen d'une unité de traitement (321) traitant les données de l'environnement de réalité virtuelle, et communiquant avec un écran (320) utilisé pour afficher l'environnement de réalité virtuelle, et un dispositif de détection (31), par exemple une caméra, pour détecter des interactions de l'utilisateur (30) avec l'environnement de réalité virtuelle affiché sur l'écran (320).

Le dispositif de détection (31) définit un espace de détection (33) à l'intérieur duquel une partie du corps de l'utilisateur (30) peut être détectée pour interagir avec l'environnement de réalité virtuelle restitué sur l'écran (320).

Il apparaît que selon l'exemple décrit ici, l'espace de projection de l'environnement de réalité virtuelle (défini par l'écran 320) est totalement distinct de l'espace de détection, de sorte que l'utilisateur n'a aucune information que sa main, par exemple, est détectée pour interagir avec l'environnement de réalité virtuelle affiché sur l'écran (320). Il est possible d'afficher sur l'écran une représentation visuelle indiquant à l'utilisateur que sa main est bien détectée dans l'espace de détection, par exemple comme dans le document US2012/0157203. Toutefois, une telle représentation visuelle n'offre qu'une information limitée à l'utilisateur quant à la position de sa main dans l'environnement de réalité virtuelle. Notamment, dans l'exemple décrit ici, l'espace de projection et l'espace de détection sont complètement disjoints, de sorte qu'il n'est pas aisé pour l'utilisateur d'avoir une bonne perception de la position de sa main par rapport aux objets de l'environnement de réalité virtuelle.

La figure 4 illustre des étapes du procédé de traitement de données d'un environnement de réalité virtuelle selon un mode particulier de réalisation de l'invention. Le procédé de traitement de données de l'environnement de réalité virtuelle est décrit ici à l'aide de l'exemple décrit en relation avec la figure 2. Toutefois, le procédé peut également être mis en œuvre selon l'exemple décrit en relation avec la figure 3, ou avec tout autre système apte à mettre en œuvre et à restituer un environnement de réalité virtuelle.

Un environnement de réalité virtuelle est projeté (E40) par un dispositif de mise en œuvre d'un environnement de réalité virtuelle, tel qu'un casque holographique, dans un espace de projection. Par exemple, en référence avec la figure 2, un objet virtuel (25) est projeté dans l'espace de projection (23).

Le dispositif de mise en œuvre d'un environnement de réalité virtuelle met ensuite en œuvre la détection (E41) dans l'espace de détection (24) d'au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle. La partie du corps de l'utilisateur à détecter est une partie du corps susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle. Par exemple, il peut s'agir d'une main, ou des deux mains, d'un pied ou des deux pieds. Pour plus de simplicité, par la suite, on considère qu'il s'agit ici d'une main de l'utilisateur.

La partie du corps de l'utilisateur à détecter dépend de l'application de réalité virtuelle dans laquelle le procédé est mis en œuvre, et notamment des interactions possibles dans l'environnement projeté.

Lorsque la main de l'utilisateur est détectée, un suivi de la main est réalisé tant que la main est détectée dans l'espace de détection (24) du dispositif.

Lors de ce suivi, les coordonnées 3D de la main dans l'espace de projection sont déterminées par le dispositif de mise en œuvre.

Au moins une caractéristique relative à cette détection est ensuite déterminée (E42). Par exemple, il peut s'agir de la position détectée de la main par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée, ou bien du type de la partie du corps détectée (main, pied, main gauche, main droite, ...).

Selon un mode particulier de réalisation de l'invention, la caractéristique déterminée correspond aux coordonnées 3D dans l'espace de projection de la partie du corps détectée.

Selon un autre mode particulier de réalisation de l'invention, il est déterminé une distance entre la main détectée et l'utilisateur. Selon l'exemple décrit ici, la localisation de l'utilisateur dans l'espace de projection est déterminée comme l'origine du référentiel de l'espace de projection, correspondant à la tête de l'utilisateur puisque le dispositif de projection est porté par l'utilisateur.

Selon un autre mode particulier de réalisation de l'invention, il est déterminé une distance entre la position détectée de la main et un objet virtuel particulier projeté dans l'espace de projection.

Selon un autre mode particulier de réalisation de l'invention, il est déterminé si la main détectée une main gauche ou une main droite.

Selon un autre mode particulier de réalisation de l'invention, plusieurs parties du corps de l'utilisateur peuvent être détectées, par exemple les deux mains peuvent être détectées. Dans ce cas, les étapes précédentes de détection/suivi et détermination d'une caractéristique sont mises en œuvre pour chacune des parties du corps détectées.

Un signal sonore est ensuite généré (E43) en fonction de la caractéristique relative à la détection déterminée.

Selon un mode particulier de réalisation de l'invention, la fréquence du signal sonore est adaptée en fonction de la distance déterminée entre la main détectée et l'utilisateur ou de la distance déterminée entre la position détectée de la main et un objet virtuel particulier projeté dans l'espace de projection. Par exemple, la fréquence du signal sonore est élevée lorsque la main se rapproche de l'utilisateur ou de l'objet. Au contraire, la fréquence du signal sonore est faible lorsque la main s'éloigne de l'utilisateur ou de l'objet.

Selon un autre mode particulier de réalisation de l'invention, le signal sonore est différent selon que c'est une partie gauche du corps de l'utilisateur ou une partie droite du corps de l'utilisateur qui est détectée. Ainsi, l'utilisateur peut différencier si c'est sa main gauche qui est détectée ou si c'est sa main droite qui est détectée. De plus, lorsque les deux mains sont susceptibles d'interagir avec l'environnement de réalité virtuelle, deux signaux sonores différents et donc différentiables par l'utilisateur sont générés.

Selon un autre mode particulier de réalisation de l'invention, la génération du signal sonore dépend de la position de la main détectée dans l'espace de projection. Dans ce cas, le signal sonore généré est un son audio spatialisé. La spatialisation du signal sonore permet ainsi de fournir à l'utilisateur une information relative à la position de la main détectée.

Par exemple, la spatialisation du son peut être faite de manière simple, sur un mode stéréophonique. Selon cet exemple, le signal sonore généré comprend deux canaux: un canal destiné à l'oreille gauche et un canal destiné à l'oreille droite. Selon que la main est détectée à droite ou à gauche de l'utilisateur, le canal droit ou gauche du signal sonore est transmis à l'oreille correspondante.

Lorsque plusieurs parties du corps de l'utilisateur sont détectées, si elles sont détectées du même côté, les signaux correspondants sont transmis via le même canal. Si elles sont détectées sur des côtés différents, les signaux correspondants aux parties détectées sont transmis sur le canal correspondant au côté où elles ont été détectées.

Selon un autre exemple, la spatialisation du signal sonore est mise en œuvre par la génération d'un signal binaural dont la source sonore est placée à la position à laquelle la partie du corps de l'utilisateur a été détectée. Par exemple, la figure 5 illustre une représentation visuelle d'une telle spatialisation du signal sonore, dans le cas d'un environnement de réalité virtuelle mis en œuvre par un casque holographique. La figure 5 montre par une vue schématique de dessus, l'utilisateur (21) équipé d'un casque holographique (22) projetant un environnement de réalité virtuelle dans l'espace de projection (23). L'espace de détection (24) du dispositif de projection est également illustrée. Selon l'exemple illustré en figure 5, la main (51) de l'utilisateur est détectée dans l'espace de détection (24) mais en dehors de l'espace de projection (23), de sorte que l'utilisateur ne voit pas sa main (51) lorsqu'il visualise l'environnement de réalité virtuelle via le dispositif holographique (22). Selon le mode particulier de réalisation de l'invention, lorsque le signal sonore binaural est restitué, l'utilisateur (21) a l'impression que le son provient de l'emplacement (50) correspondant à la localisation à laquelle la main a été détectée.

En référence avec la figure 4, le signal sonore est restitué (E44) au fur et à mesure de sa génération. La restitution peut être faite via des hauts parleurs placés sur le dispositif de projection ou bien placés dans l'environnement physique de l'utilisateur et en communication avec le dispositif de projection.

Selon un mode particulier de réalisation de l'invention, le signal sonore est restitué à l'utilisateur tant que la main est détectée. Par exemple, en référence avec la figure 5, lorsque la main sort (52) de l'espace de détection (24), la restitution et la génération du signal sonore s'interrompent.

En variante, lors de la restitution du signal sonore, en complément un signal visuel indiquant la détection de la partie du corps de l'utilisateur peut également est affiché (E44) à l'utilisateur, dans l'espace de projection. Ce signal visuel peut être affiché à l'emplacement de détection de la partie du corps si elle est détectée dans l'espace de projection. Ou bien, le signal visuel peut être affiché dans un espace de l'espace de projection réservé à l'affichage d'informations telles qu'un menu, des commandes d'interactions, etc...

Le signal visuel peut également être représentatif d'informations complémentaires à la détection de la partie du corps. Par exemple, il peut indiquer le côté de la partie du corps détectée (main gauche, main droite, un état de préhension d'un objet, un état détecté d'ouverture/fermeture de la main dans le cas où des actions dans l'environnement de réalité virtuelles sont aptes à être commandées par un changement d'état de la main, ...).

Selon un mode particulier de réalisation de l'invention, lorsque l'utilisateur interagit (E45) avec un objet de l'environnement de réalité virtuelle, le signal sonore est modifié (E46) en fonction de cette interaction. Par exemple, le signal sonore peut changer lorsque l'utilisateur attrape un objet ou ouvre une porte.

Le signal sonore peut être modifié différemment selon que l'interaction est correctement réalisée par l'utilisateur. Par exemple, lorsque l'utilisateur attrape un objet, par exemple en fermant le pouce et l'index selon la technique Hololens, si l'état fermé de la main est détecté, un nouveau signal sonore est généré et restitué. Ce nouveau signal sonore est différent du signal généré lors de la détection de la main sans préhension d'objet. Ainsi, l'utilisateur est informé de la bonne préhension de l'objet.

De la même manière, lorsque l'utilisateur manipule l'objet et qu'il est détecté un changement d'état de la main, par exemple une ouverture du pouce et de l'index, le signal sonore est à nouveau modifié. L'utilisateur est ainsi informé du changement, et peut repositionné ses doigts correctement si le changement d'état détecté par le système n'était pas du fait de l'utilisateur. De même, si l'utilisateur ouvre la main pour relâcher l'objet, mais que le signal sonore n'est pas modifié, il est ainsi informé, par l'absence de modification du signal sonore, que le changement d'état de sa main n'a pas été correctement pris en compte par le système.

Ce mode particulier de réalisation de l'invention permet ainsi d'éviter les erreurs de manipulation lors d'interactions dans l'environnement de réalité virtuelle.

Différents modes particuliers de réalisation de l'invention ont été décrits ci-dessus. Ces différents modes particuliers de réalisation de l'invention peuvent être mis en œuvre seuls ou en combinaison les uns avec les autres.

La figure 6 illustre la structure simplifiée d'un dispositif DISP de traitement de données d'un environnement de réalité virtuelle selon un mode particulier de réalisation de l'invention. Un tel dispositif est configuré pour mettre en œuvre le procédé de traitement de données de réalité virtuelle selon l'un quelconque des modes de réalisation décrits précédemment.

Dans l’exemple non limitatif illustré sur la figure 6, le dispositif DISP comprend une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de traitement de données tel que décrit précédemment, lorsque le programme est exécuté par le processeur PROC.

A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre le procédé de traitement de données selon l'un quelconque des modes de réalisation décrits en relation avec la figure 4 selon les instructions du programme d'ordinateur PG.

Pour cela, le dispositif DISP comprend un dispositif de détection CAPT configuré pour détecter au moins une partie du corps d'un utilisateur dans un espace de détection de l'environnement de réalité virtuelle.

Le dispositif DISP comprend également un dispositif de projection PROJ permettant de restitué visuellement l'environnement de réalité virtuelle à l'utilisateur, par exemple via une technique de projection holographique ou via un affichage sur un écran 2D ou 3D avec lunettes ou sans lunettes.

Le dispositif DISP comprend également un dispositif de restitution audio HP configuré pour restitué un signal sonore généré en fonction de la détection de la au moins une partie du corps de l'utilisateur.

Selon un mode particulier de réalisation de l'invention, le dispositif DISP décrit précédemment est compris dans un terminal, par exemple un casque de réalité virtuelle.

L’architecture du dispositif DISP illustrée sur la figure 6 n’est toutefois pas limitative. Le dispositif DISP peut par exemple être couplé de manière opérationnelle au système de projection PROJ, et être mis en œuvre sous la forme d’un dispositif distinct du système de projection PROJ.

Le dispositif DISP peut par exemple être couplé de manière opérationnelle au dispositif de restitution audio HP, et être mis en œuvre sous la forme d’un dispositif distinct du dispositif de restitution audio HP.

Le dispositif DISP peut par exemple être couplé de manière opérationnelle au dispositif de détection CAPT, et être mis en œuvre sous la forme d’un dispositif distinct du dispositif de détection CAPT.

De plus, le dispositif DISP peut être mis en œuvre sur différents types de plateforme, telles qu’un ordinateur (par exemple de type PC ou portable) ou un réseau d’ordinateurs, un smartphone (téléphone intelligent), une tablette, ou un autre appareil comportant un processeur couplé de manière opérationnelle à une mémoire, ainsi que, selon le mode de réalisation choisi, d’autres éléments matériels associés comme une interface de réseau et un lecteur de support pour lire un support de stockage amovible et écrire sur un tel support (non représentés sur la figure).

Claims (14)

1. Procédé de traitement de données d'un environnement de réalité virtuelle, comprenant:
   - la détection (E41) d'au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle, ladite partie du corps de l'utilisateur étant susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle,
   - la génération (E43) d'au moins un signal sonore en fonction de la détection de la au moins une partie du corps de l'utilisateur de l'environnement de réalité virtuelle.
2. Procédé de traitement selon la revendication 1, dans lequel le signal sonore est restitué à l'utilisateur tant que la au moins une partie du corps est détectée.
3. Procédé de traitement selon l'une quelconque des revendications 1 ou 2, dans lequel le signal sonore généré dépend de la position de la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée.
4. Procédé de traitement selon la revendication 3, dans lequel la fréquence du signal sonore dépend de la distance entre la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée.
5. Procédé de traitement selon l'une quelconque des revendications 1 à 4, dans lequel la génération du signal sonore est fonction d'un côté gauche ou droit de la partie du corps de l'utilisateur détectée.
6. Procédé de traitement selon l'une quelconque des revendications 1 à 5, dans lequel
   la génération d'un signal sonore en fonction de la détection de la au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle comprend la génération d'un signal audio spatialisé.
7. Procédé de traitement selon la revendication 6, dans lequel le signal sonore est un signal binaural dont la source sonore est placée à la position à laquelle la partie du corps de l'utilisateur a été détectée.
8. Procédé de traitement selon la revendication 6, dans lequel le signal sonore comprend deux canaux, un canal parmi les deux canaux étant destiné à l'oreille droite, et un autre canal parmi les deux canaux étant destiné à l'oreille gauche, un canal ou les deux canaux du signal sonore étant transmis à l'oreille correspondante lorsque la partie du corps de l'utilisateur ou une autre partie du corps de l'utilisateur est détectée du côté de l'oreille correspondante.
9. Procédé de traitement selon l'une quelconque des revendications 1 à 8, comprenant en outre la modification du signal sonore lors d'une interaction de la partie du corps détectée avec un élément de l'environnement de réalité virtuelle.
10. Procédé de traitement selon l'une quelconque des revendications 1 à 9, comprenant en outre la restitution d'un signal visuel représentatif de la détection de ladite partie du corps de l'utilisateur dans l'environnement de réalité virtuelle.
11. Procédé de traitement selon l'une quelconque des revendications 1 à 10, dans lequel l'environnement de réalité virtuelle est restitué par projection holographique.
12. Dispositif de traitement de données d'un environnement de réalité virtuelle comprenant une unité de traitement (UT) comprenant un processeur (PROC) et une mémoire (MEM) couplée de manière opérationnelle à l’unité de traitement (UT), l’unité de traitement (UT) et la mémoire (MEM) étant configurées pour la mise en œuvre d’un procédé de traitement de données selon l’une quelconque des revendications 1 à 11.
13. Terminal comprenant un dispositif selon la revendication 12.
14. Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement de données selon l’une quelconque des revendications 1 à 11, lorsque ledit programme est exécuté par un processeur.