EP3935487A1 - Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle - Google Patents

Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle

Info

Publication number
EP3935487A1
EP3935487A1 EP20725824.5A EP20725824A EP3935487A1 EP 3935487 A1 EP3935487 A1 EP 3935487A1 EP 20725824 A EP20725824 A EP 20725824A EP 3935487 A1 EP3935487 A1 EP 3935487A1
Authority
EP
European Patent Office
Prior art keywords
user
reality environment
virtual reality
detected
sound signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20725824.5A
Other languages
German (de)
English (en)
Inventor
Guillaume Bataille
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP3935487A1 publication Critical patent/EP3935487A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Definitions

  • Title Method and device for processing data in a virtual reality environment.
  • the invention relates to the processing of augmented reality or mixed virtual reality data, intended to be displayed for example by a holographic display.
  • virtual reality headsets or glasses making it possible to display a mixed virtual reality environment in the form of holograms which are integrated into the user's field of vision.
  • the Microsoft® Hololens headset shown in Figure 1, offers such a display.
  • Such a helmet is in particular equipped with sensors, for example cameras, allowing the user to interact with gestures in the virtual reality environment, in particular on virtual objects in the environment projected by the helmet or on commands. virtual objects associated with physical objects, i.e. mixed reality objects.
  • Existing Hololens-type devices do not provide precise information to the user on the detection of the user's hand. For example, basic visual information is displayed to the user in the form of a dot placed in the center of the user's field of vision, indicating that a hand is detected and can therefore manipulate an object. The user has no information about which hand is detected (right, or left, or both), or where that hand is detected.
  • Existing devices provide visual feedback on a screen relating to the detection of the user's hand.
  • document US2012 / 0157203 proposes a game system in which the user's hand (or even both hands) is detected and displayed on a screen by means of a visual signal based on this detection.
  • the representation of the detected hand takes the form of a corresponding hand (right or left respectively).
  • the user no longer has any information on the position of his hand, nor on its detection.
  • the visual representation of the hand provided to the user remains approximate as to its position in the virtual reality environment.
  • the invention improves the state of the art. To this end, it relates to a method for processing data from a virtual reality environment.
  • a method for processing data from a virtual reality environment comprises the detection of at least one part of the body of a user of the virtual reality environment, said part of the user's body being capable of interacting with at least one object of the reality environment. virtual reality, and the generation of at least one sound signal, the sound signal being a function of at least one characteristic relating to the at least one detected part of the body of the user of the virtual reality environment.
  • the data processing method of a virtual reality environment thus makes it possible, following the detection of a part of the body of a user to generate a sound signal making it possible to inform the user of such detection. For example, when the part of the user's body corresponds to one of his hands, the information indicating to the user that his hand is detected is no longer dependent on the display field of the data of the virtual environment.
  • the method according to the invention makes it possible to be able to detect part of the user's body even if this part of the body is no longer in the restitution space, even though it can still interact in the virtual reality environment.
  • the method according to the invention thus makes it possible to overcome the drawbacks of the prior art in which the detection of a user's hand is only restored to the user by a visual signal.
  • the sound signal is restored to the user as long as the at least one part of the body is detected.
  • the acoustic signal is interrupted. The user is thus informed as soon as the part of the body is no longer detected by the system.
  • the sound signal generated depends on the position of the part of the body detected with respect to an element of the virtual reality environment or with respect to another part of the body of the user detected.
  • the sound signal depends on the distance between the part of the body detected and an object in the virtual reality environment.
  • the signal sound is a function of the distance between a user's hand and an element, for example an object, displayed in the virtual reality environment.
  • the sound signal depends on the distance between the part of the body detected and a real element restored in the virtual reality environment. For example, if the user is moving, the sound signal depends on the distance between the user and a physical obstacle in the environment.
  • the sound signal depends on the distance between the part of the body detected and another part of the user's body, for example the user's head when the virtual reality system is implemented by means of of a holographic projection helmet.
  • the frequency of the sound signal depends on the distance between the part of the body detected with respect to an element of the virtual reality environment or with respect to another part of the body of the user detected.
  • the sound signal is thus more acute or more serious depending on the distance between the part of the body detected in relation to an element of the virtual reality environment or in relation to another part of the body of the user detected.
  • the frequency is high when the part of the body detected is close to an element of the virtual reality environment and low when the part of the body detected is far away. element of the virtual reality environment, or vice versa.
  • the frequency of the generated sound increases and when the detected body part moves away from the element, the frequency of the sound generated decreases.
  • the generation of the sound signal depends on a left or right side of the part of the user's body detected.
  • the part of the body detected is for example a hand
  • the user is thus informed according to the type of sound signal or the rendering of the sound signal, if it is right or left hand.
  • the generation of a sound signal as a function of the detection of the at least part of the body of a user of the virtual reality environment comprises the generation of a signal spatialized audio.
  • the user in addition to the body part detection information, the user is informed of the location of the body part detected in the virtual reality environment.
  • the sound signal is a binaural signal, the sound source of which is placed at the position at which the part of the user's body has been detected.
  • the sound signal comprises two channels, one channel among the two channels being intended for the right ear, and another channel among the two channels being intended for the left ear, a channel or both channels of the sound signal being transmitted to the corresponding ear when the user's body part or another user's body part is detected on the side of the corresponding ear.
  • the processing method further comprises the modification of the sound signal during an interaction of the part of the body detected with an element of the virtual reality environment.
  • This particular embodiment of the invention makes it possible to limit interaction errors, for example by informing the user of the good or bad grip of a manipulable object of the virtual reality environment.
  • the processing method further comprises the restitution of a visual signal representative of the detection of said part of the user's body in the virtual reality environment.
  • the virtual reality environment is restored by holographic projection.
  • the invention also relates to a device for processing data in a virtual reality environment configured to implement the processing method according to any one of the particular embodiments of the invention described above.
  • a device comprises a processing unit comprising a processor and a memory operably coupled to the processing unit, the processing unit and the memory being configured for the implementation of the data processing method according to one any of the particular embodiments of the invention described above.
  • such a device is included in a terminal.
  • the invention also relates to a computer program comprising instructions for implementing the data processing method according to any one of the particular embodiments described above, when said program is executed by a processor.
  • a program can use any programming language. he can be downloaded from a communications network and / or recorded on a computer readable medium.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other. desirable shape.
  • a recording medium or information medium readable by a computer which comprises instructions of a computer program as mentioned above.
  • the recording media mentioned above can be any entity or device capable of storing the program.
  • the medium may comprise a storage means, such as a memory of the Read-Only Memory (ROM) type, for example a CD-ROM or a microelectronic circuit ROM, a flash memory mounted on a removable storage medium , such as a USB key, or a magnetic mass memory of the Hard-Disk Drive (HDD) or Solid-State Drive (SSD) type, or a combination of memories operating according to one or more data recording technologies.
  • the recording media can correspond to a transmissible medium such as an electrical or optical signal, which can be conveyed via an electrical or optical cable, by radio or by other means.
  • the proposed computer program can be downloaded over an Internet-type network.
  • the recording media can correspond to an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • the data processing method according to the invention can therefore be implemented in various ways, in particular in hardware form or in software form, or be implemented in the form of a combination of hardware and software elements.
  • FIG. 1 - figure 1 illustrates an example of a virtual reality headset using a holographic projection
  • FIG. 2 illustrates an example of an environment for implementing the invention according to a particular embodiment of the invention
  • FIG. 3 illustrates an example of an environment for implementing the invention according to another particular embodiment of the invention
  • FIG. 4 illustrates steps of the data processing method of a virtual reality environment according to one embodiment
  • FIG. 5 illustrates a visual representation of a spatialization of the sound signal generated according to a particular embodiment of the invention
  • FIG. 6 schematically illustrates the structure of a data processing device of a virtual reality environment according to one embodiment.
  • the general principle of the invention aims to improve the systems for implementing a virtual reality environment by providing a user of such systems with information relating to the detection of parts of his body likely to interact in the environment of the invention. virtual reality.
  • the invention therefore makes it possible to avoid handling errors.
  • an acoustic signal is generated during the detection by the system for implementing the virtual reality environment of a part of the body of the use likely to interact in the virtual reality environment (for example a hand, a foot .).
  • an acoustic signal is generated during the detection by the system for implementing the virtual reality environment of a part of the body of the use likely to interact in the virtual reality environment (for example a hand, a foot .).
  • a sound signal is a function of this detection.
  • the sound signal in itself or its reproduction depend on the location of the part of the body detected in the environment, or else of the part of the body detected itself.
  • FIG. 2 illustrates an example of an environment for implementing the invention according to a particular embodiment of the invention.
  • the virtual reality environment is implemented by means of a helmet by holographic projection, for example the Hololens ⁇ helmet from Microsoft®.
  • a user (21) is shown schematically wearing a holographic projection helmet (22).
  • the holographic projection helmet (22) comprises a projection device (220) defining a projection space (23) and a detection device (221) defining a detection space (24).
  • the projection device (220) comprises two screens (not shown) for holographic projection placed respectively in front of the user's right and left eye (21) of the helmet, as well as projectors (not shown) for projecting.
  • a virtual reality environment for example a virtual object (25).
  • Such a projection device thus defines a projection space (23) of the virtual reality environment, illustrated by dotted lines in FIG. 2.
  • a projection space corresponds to a space in which the user (21) has the impression that virtual objects and the virtual reality environment are displayed.
  • the projection space (23) is limited by the field of vision of the holographic projection helmet (22).
  • the detection device (221) comprises for example a 2D camera and depth sensors (not shown), or else a 2D + depth camera.
  • a part of the body of the user of the holographic projection helmet (22), for example a hand is in the detection space (24) (defined in solid lines in FIG. 2), this part of the body is detected by the detection device and can manipulate virtual objects projected in the virtual reality environment.
  • the detection device and the projection device are coupled to a headset processing unit (22) (not shown) which is configured to process data from the virtual reality environment, ie 2D or 3D data from the scene to project by the projection device, and the data captured by the detection device, for example a part of the user's body to be detected and / or elements of the user's real environment.
  • a headset processing unit (22) not shown
  • data from the virtual reality environment ie 2D or 3D data from the scene to project by the projection device
  • the data captured by the detection device for example a part of the user's body to be detected and / or elements of the user's real environment.
  • the projection space (23) and the detection space (24) may be different.
  • the detection space is wider than the projection space.
  • FIG. 3 illustrates an example of an environment for implementing the invention according to another particular embodiment of the invention.
  • the virtual reality environment is implemented by means of a processing unit (321) processing the data of the virtual reality environment, and communicating with a screen ( 320) used to display the virtual reality environment, and a detection device (31), for example a camera, for detecting interactions of the user (30) with the virtual reality environment displayed on the screen ( 320).
  • a processing unit 321
  • a detection device for example a camera
  • the detection device (31) defines a detection space (33) inside which a part of the user's body (30) can be detected to interact with the virtual reality environment rendered on the screen (320 ).
  • the projection space of the virtual reality environment (defined by the screen 320) is completely distinct from the detection space, so that the user has no information that his hand, for example, is detected to interact with the virtual reality environment displayed on the screen (320). It is possible to display on the screen a visual representation indicating to the user that his hand is indeed detected in the detection space, for example as in document US2012 / 0157203.
  • a visual representation offers only limited information to the user as to the position of his hand in the virtual reality environment.
  • the projection space and the detection space are completely separate, so that it is not easy for the user to have a good perception of the position of his hand. relative to the objects of the virtual reality environment.
  • FIG. 4 illustrates steps of the method for processing data in a virtual reality environment according to a particular embodiment of the invention. The process for processing data from the virtual reality environment is described here with the aid of the example described in relation to FIG. 2.
  • Such a method comprises the detection of at least one part of the body of a user of the virtual reality environment, said part of the user's body being capable of interacting with at least one object of the reality environment. virtual reality, and the generation of at least one sound signal as a function of the detection of the at least part of the body of the user of the virtual reality environment.
  • the sound signal is a function of at least one characteristic relating to the at least one detected part of the body of the user of the virtual reality environment
  • the method can also be implemented according to the example described in relation to FIG. 3, or with any other system capable of implementing and rendering a virtual reality environment.
  • a virtual reality environment is projected (E40) by a device for implementing a virtual reality environment, such as a holographic helmet, in a projection space.
  • a virtual object (25) is projected into the projection space (23).
  • the device for implementing a virtual reality environment then implements the detection (E41) in the detection space (24) of at least a part of the body of a user of the virtual reality environment .
  • the part of the user's body to be detected is a part of the body capable of interacting with at least one object of the virtual reality environment. For example, it can be one hand, or both hands, one foot, or both feet. For simplicity, hereinafter, it is considered that this is a user's hand.
  • the part of the user's body to be detected depends on the virtual reality application in which the method is implemented, and in particular on the possible interactions in the projected environment.
  • hand tracking is performed as long as the hand is detected in the detection space (24) of the device.
  • the 3D coordinates of the hand in the projection space are determined by the implementation device.
  • At least one characteristic relating to this detection is then determined (E42). For example, it can be the detected position of the hand with respect to an element of the virtual reality environment or with respect to another part of the user's body detected, or the type of the part of the body detected (hand, foot, left hand, right hand, ).
  • the determined characteristic corresponds to the 3D coordinates in the projection space of the part of the body detected.
  • a distance is determined between the detected hand and the user.
  • the location of the user in the projection space is determined as the origin of the reference frame of the projection space, corresponding to the user's head since the projection device is carried by the user.
  • a distance is determined between the detected position of the hand and a particular virtual object projected into the projection space.
  • the previous steps of detecting / tracking and determining a characteristic are implemented for each of the body parts detected.
  • a sound signal is then generated (E43) according to the characteristic relating to the determined detection.
  • the frequency of the sound signal is adapted as a function of the determined distance between the detected hand and the user or of the determined distance between the detected position of the hand and a particular projected virtual object. in the projection space. For example, the frequency of the sound signal is high when the hand approaches the user or the object. On the contrary, the frequency of the sound signal is low when the hand moves away from the user or the object.
  • the sound signal is different depending on whether it is a left part of the user's body or a right part of the user's body that is detected.
  • the user can differentiate whether it is his left hand which is detected or whether it is his right hand which is detected.
  • two different sound signals and therefore differentiable by the user are generated.
  • the generation of the sound signal depends on the position of the hand detected in the projection space.
  • the generated sound signal is spatialized audio. The spatialization of the sound signal thus makes it possible to provide the user with information relating to the position of the detected hand.
  • the spatialization of the sound can be done in a simple manner, in a stereophonic mode.
  • the generated sound signal comprises two channels: a channel intended for the left ear and a channel intended for the right ear.
  • the right or left channel of the sound signal is transmitted to the corresponding ear.
  • the corresponding signals are transmitted through the same channel. If they are detected on different sides, the signals corresponding to the detected parts are transmitted on the channel corresponding to the side where they were detected.
  • the spatialization of the sound signal is implemented by generating a binaural signal, the sound source of which is placed at the position at which the part of the user's body has been detected.
  • FIG. 5 illustrates a visual representation of such a spatialization of the sound signal, in the case of a virtual reality environment implemented by a holographic helmet.
  • FIG. 5 shows in a schematic top view, the user (21) equipped with a holographic helmet (22) projecting a virtual reality environment in the projection space (23).
  • the detection space (24) of the projection device is also illustrated. According to the example illustrated in FIG.
  • the user's hand (51) is detected in the detection space (24) but outside the projection space (23), so that the user does not see not his hand (51) when viewing the virtual reality environment via the holographic device (22).
  • the user (21) when the binaural sound signal is restored, the user (21) has the impression that the sound comes from the location (50) corresponding to the location to which the hand has been. detected.
  • the sound signal is reproduced (E44) as it is generated.
  • the reproduction can be made via loudspeakers placed on the projection device or else placed in the physical environment of the user and in communication with the projection device.
  • the sound signal is restored to the user as long as the hand is detected.
  • the hand leaves (52) from the detection space (24) the restitution and the generation of the sound signal are interrupted.
  • a visual signal indicating the detection of the part of the user's body can also be displayed (E44) to the user, in the projection space.
  • This visual signal can be displayed at the detection location of the body part if it is detected in the projection space.
  • the visual signal can be displayed in a space of the projection space reserved for displaying information such as a menu, interaction commands, etc.
  • the visual signal can also be representative of information complementary to the detection of the part of the body. For example, it can indicate the side of the body part detected (left hand, right hand, a state of gripping an object, a detected state of opening / closing of the hand in the event that actions in the virtual reality environment are able to be controlled by a change of state of the hand, ).
  • the sound signal when the user interacts (E45) with an object of the virtual reality environment, the sound signal is modified (E46) as a function of this interaction.
  • the sound signal may change when the user grabs an object or opens a door.
  • the sound signal can be modified differently depending on whether the interaction is correctly performed by the user. For example, when the user catches an object, for example by closing the thumb and forefinger according to the Hololens technique, if the closed state of the hand is detected, a new sound signal is generated and played back. This new sound signal is different from the signal generated during the detection of the hand without gripping an object. Thus, the user is informed of the good grip of the object. Likewise, when the user manipulates the object and a change in the state of the hand is detected, for example an opening of the thumb and index finger, the sound signal is again modified. The user is thus informed of the change, and can reposition his fingers correctly if the change of state detected by the system was not due to the user. Likewise, if the user opens his hand to release the object, but the sound signal is not modified, he is thus informed, by the absence of modification of the sound signal, that the change of state of his main has not been correctly taken into account by the system.
  • This particular embodiment of the invention thus makes it possible to avoid handling errors during interactions in the virtual reality environment.
  • FIG. 6 illustrates the simplified structure of a device DISP for processing data in a virtual reality environment according to a particular embodiment of the invention.
  • a device is configured to implement the virtual reality data processing method according to any one of the embodiments described above.
  • the device DISP comprises a memory MEM, a processing unit UT, equipped for example with a processor PROC, and controlled by the computer program PG stored in memory MEM.
  • the computer program PG comprises instructions for implementing the steps of the data processing method as described above, when the program is executed by the processor PROC.
  • the code instructions of the computer program PG are for example loaded into a RAM memory before being executed by the processor PROC.
  • the processor PROC of the processing unit UT notably implements the data processing method according to any one of the embodiments described in relation to FIG. 4 according to the instructions of the computer program PG.
  • the DISP device comprises a detection device CAPT configured to detect at least part of the body of a user in a detection space of the virtual reality environment.
  • the DISP device also comprises a PROJ projection device making it possible to visually restore the virtual reality environment to the user, for example via a holographic projection technique or via a display on a 2D or 3D screen with glasses or without glasses.
  • the DISP device also includes an HP audio playback device configured to play back an audio signal generated based on the detection of the at least part of the user's body.
  • the DISP device described above is included in a terminal, for example a virtual reality headset.
  • the architecture of the DISP device illustrated in FIG. 6 is not, however, limiting.
  • the DISP device can for example be operatively coupled to the PROJ projection system, and be implemented as a separate device from the PROJ projection system.
  • the DISP device can for example be operably coupled to the HP audio playback device, and be implemented as a separate device from the HP audio playback device.
  • the DISP device can for example be operably coupled to the CAPT detection device, and be implemented as a separate device from the CAPT detection device.
  • the DISP device can be implemented on different types of platform, such as a computer (for example of the PC or laptop type) or a network of computers, a smartphone (smart phone), a tablet, or a computer.
  • a processor operably coupled to memory, as well as, depending on the embodiment chosen, other associated hardware such as a network interface and a media drive for reading removable storage media and writing to a such support (not shown in the figure).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L'invention concerne un procédé de traitement de données d'un environnement de réalité virtuelle, dans lequel au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle est détectée (E41). Ladite partie du corps de l'utilisateur est susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle. Au moins un signal sonore est généré (E43) en fonction de la détection de la au moins une partie du corps de l'utilisateur de l'environnement de réalité virtuelle. L'invention concerne également un dispositif de traitement de données d'un environnement de réalité virtuelle correspondant.

Description

DESCRIPTION
Titre: Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle.
1. Domaine de l'invention
L'invention concerne le traitement de données de réalité augmentée ou réalité virtuelle mixte, destinées à être affichées par exemple par un affichage holographique.
2. Art Antérieur
Il existe des visiocasques ou lunettes de réalité virtuelle permettant d'afficher un environnement de réalité virtuelle mixte sous la forme d'hologrammes s'intégrant dans le champ de vision de l'utilisateur. Par exemple, le casque Microsoft® Hololens, illustré en figure 1 , offre un tel affichage. Un tel casque est notamment équipé de capteurs, par exemple des caméras, permettant à l'utilisateur d'interagir de manière gestuelle dans l'environnement de réalité virtuelle, notamment sur des objets virtuels de l'environnement projetés par le casque ou sur des commandes virtuelles associées à des objets physiques, c’est-à-dire des objets de réalité mixte.
Les dispositifs de type Hololens existants ne fournissent pas d’information précise à l’utilisateur sur la détection de la main de l'utilisateur. Par exemple, une information visuelle basique est affichée à l'utilisateur sous la forme d'une pastille placée au centre du champ de vision de l'utilisateur, indiquant qu'une main est détectée et peut donc manipuler un objet. L'utilisateur n'a pas d'informations concernant quelle main est détectée (droite, ou gauche, ou les deux), ni où cette main est détectée.
Des dispositifs existants fournissent un retour visuel sur un écran relatif à la détection de la main de l'utilisateur. Par exemple, le document US2012/0157203 propose un système de jeu dans lequel la main de l’utilisateur (voire ses deux mains) est détectée(s) et affiché sur un écran au moyen d’un signal visuel fonction de cette détection. Notamment, la représentation de la main détectée prend la forme d’une main correspondante (respectivement droite ou gauche).
Néanmoins, dès que la main de l'utilisateur sort de la zone d’affichage, l’utilisateur n’a plus aucune information sur la position de sa main, ni sur sa détection. En outre, la représentation visuelle de la main fournie à l'utilisateur reste approximative quant à sa position dans l'environnement de réalité virtuelle.
Il existe donc un besoin d'améliorer l'état de la technique. 3. Exposé de l'invention
L'invention vient améliorer l'état de la technique. Elle concerne, à cet effet, un procédé de traitement de données d'un environnement de réalité virtuelle. Un tel procédé comprend la détection d'au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle, ladite partie du corps de l'utilisateur étant susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle, et la génération d'au moins un signal sonore, le signal sonore étant fonction d’au moins une caractéristique relative à la au moins une partie détectée du corps de l'utilisateur de l'environnement de réalité virtuelle.
Selon l'invention, le procédé de traitement de données d'un environnement de réalité virtuelle permet ainsi suite à la détection d'une partie du corps d'un utilisateur de générer un signal sonore permettant d'informer l'utilisateur d'une telle détection. Par exemple, lorsque la partie du corps de l'utilisateur correspond à une de ses mains, l'information indiquant à l'utilisateur que sa main est détectée n'est plus dépendante du champ d'affichage des données de l'environnement virtuelle.
Notamment, lorsque le système mettant en œuvre l'environnement de réalité virtuelle comprend un espace de détection des interactions et un espace de restitution de l'environnement de réalité virtuelle qui sont distincts, le procédé selon l'invention permet de pouvoir détecter une partie du corps de l'utilisateur même si cette partie du corps n'est plus dans l'espace de restitution, alors même qu'elle peut encore interagir dans l'environnement de réalité virtuelle. Le procédé selon l'invention permet ainsi de pallier les inconvénients de l'art antérieur dans lequel la détection d'une main de l'utilisateur est seulement restituée à l'utilisateur par un signal visuel.
Selon un mode particulier de réalisation de l'invention, le signal sonore est restitué à l'utilisateur tant que la au moins une partie du corps est détectée.
Selon ce mode particulier de réalisation de l'invention, lorsque la partie du corps de l'utilisateur n'est plus détectée par le système mettant en œuvre l'environnement de réalité virtuelle, i.e. dès que la partie du corps de l'utilisateur sort de l'espace de détection, le signal sonore s'interrompt. L'utilisateur est ainsi informé dès que la partie du corps n'est plus détectée par le système.
Selon un autre mode particulier de réalisation de l'invention, le signal sonore généré dépend de la position de la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée.
Par exemple, selon une variante, le signal sonore dépend de la distance entre la partie du corps détectée et un objet de l'environnement de réalité virtuelle. Par exemple, le signal sonore est fonction de la distance entre une main de l'utilisateur et un élément, par exemple un objet, affiché dans l'environnement de réalité virtuelle.
Selon une autre variante, le signal sonore dépend de la distance entre la partie du corps détectée et un élément réel restitué dans l'environnement de réalité virtuelle. Par exemple, si l'utilisateur est en mouvement, le signal sonore dépend de la distance entre l'utilisateur et un obstacle physique de l'environnement.
Selon encore une autre variante, le signal sonore dépend de la distance entre la partie du corps détectée et une autre partie du corps de l'utilisateur, par exemple la tête de l'utilisateur lorsque le système de réalité virtuelle est mis en œuvre au moyen d'un casque de projection holographique.
Selon un autre mode particulier de réalisation de l'invention, la fréquence du signal sonore dépend de la distance entre la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée. Le signal sonore est ainsi plus aigu ou plus grave selon la distance entre la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée.
Par exemple, selon ce mode particulier de réalisation de l'invention, la fréquence est élevée lorsque la partie du corps détectée est proche d'un élément de l'environnement de réalité virtuelle et faible lorsque la partie du corps détectée est éloignée d'un élément de l'environnement de réalité virtuelle, ou l'inverse. Selon un autre exemple, lorsque la partie du corps détectée se rapproche d'un élément de l'environnement de réalité virtuelle, la fréquence du son générée augmente et lorsque la partie du corps détectée s'éloigne de l'élément, la fréquence du son générée diminue.
Selon un autre mode particulier de réalisation de l'invention, la génération du signal sonore est fonction d'un côté gauche ou droit de la partie du corps de l'utilisateur détectée. Selon ce mode particulier de réalisation de l'invention, lorsque la partie du corps détectée est par exemple une main, l'utilisateur est ainsi informé en fonction du type de signal sonore ou du rendu du signal sonore, s'il s'agit de la main droite ou gauche.
Selon un autre mode particulier de réalisation de l'invention, la génération d'un signal sonore en fonction de la détection de la au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle comprend la génération d'un signal audio spatialisé. Selon ce mode particulier de réalisation de l'invention, en plus de l'information de détection de la partie du corps, l'utilisateur est informé de la localisation de la partie du corps détectée dans l'environnement de réalité virtuelle. Selon un autre mode particulier de réalisation de l'invention, le signal sonore est un signal binaural dont la source sonore est placée à la position à laquelle la partie du corps de l'utilisateur a été détectée.
Selon un autre mode particulier de réalisation de l'invention, le signal sonore comprend deux canaux, un canal parmi les deux canaux étant destiné à l'oreille droite, et un autre canal parmi les deux canaux étant destiné à l'oreille gauche, un canal ou les deux canaux du signal sonore étant transmis à l'oreille correspondante lorsque la partie du corps de l'utilisateur ou une autre partie du corps de l'utilisateur est détectée du côté de l'oreille correspondante.
Selon un autre mode particulier de réalisation de l'invention, le procédé de traitement comprend en outre la modification du signal sonore lors d'une interaction de la partie du corps détectée avec un élément de l'environnement de réalité virtuelle. Ce mode particulier de réalisation de l'invention permet de limiter les erreurs d'interaction, par exemple en informant l'utilisateur de la bonne ou mauvaise préhension d'un objet manipulable de l'environnement de réalité virtuelle.
Selon un autre mode particulier de réalisation de l'invention, le procédé de traitement comprend en outre la restitution d'un signal visuel représentatif de la détection de ladite partie du corps de l'utilisateur dans l'environnement de réalité virtuelle.
Selon un autre mode particulier de réalisation de l'invention, l'environnement de réalité virtuelle est restitué par projection holographique.
L'invention concerne également un dispositif de traitement de données d'un environnement de réalité virtuelle configuré pour mettre en œuvre le procédé de traitement selon l'un quelconque des modes particuliers de réalisation de l'invention décrit ci-dessus. Un tel dispositif comprend une unité de traitement comprenant un processeur et une mémoire couplée de manière opérationnelle à l’unité de traitement, l’unité de traitement et la mémoire étant configurées pour la mise en œuvre du procédé de traitement de données selon l'un quelconque des modes particuliers de réalisation de l'invention décrit ci-dessus.
Selon un mode particulier de réalisation de l'invention, un tel dispositif est compris dans un terminal.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement de données selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
Selon encore un autre aspect, un support d'enregistrement ou support d'informations lisible par un ordinateur est proposé, qui comprend des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire de type Read-Only Memory (ROM), par exemple un CD- ROM ou une ROM de circuit microélectronique, une mémoire flash montée sur un support de stockage amovible, tel qu’une clé USB, ou encore une mémoire de masse magnétique de type Hard-Disk Drive (HDD) ou Solid-State Drive (SSD), ou une combinaison de mémoires fonctionnant selon une ou plusieurs technologies d’enregistrement de données. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. En particulier, le programme d’ordinateur proposé peut être téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Le procédé de traitement de données selon l'invention peut donc être mis en œuvre de diverses manières, notamment sous forme matérielle ou sous forme logicielle, ou être mise en œuvre sous forme d’une combinaison d’éléments matériels et logiciels.
4. Liste des figures
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :
[Fig. 1] - la figure 1 illustre un exemple d'un casque de réalité virtuelle utilisant une projection holographique,
[Fig. 2] - la figure 2 illustre un exemple d'environnement de mise en œuvre de l'invention selon un mode particulier de réalisation de l'invention,
[Fig. 3] - la figure 3 illustre un exemple d'environnement de mise en œuvre de l'invention selon un autre mode particulier de réalisation de l'invention, [Fig. 4] - la figure 4 illustre des étapes du procédé de traitement de données d'un environnement de réalité virtuelle selon un mode de réalisation,
[Fig. 5] - la figure 5 illustre une représentation visuelle d'une spatialisation du signal sonore généré selon un mode particulier de réalisation de l'invention,
[Fig. 6] - la figure 6 illustre de manière schématique la structure d'un dispositif de traitement de données d'un environnement de réalité virtuelle selon un mode de réalisation.
5. Description d'un mode de réalisation de l'invention
5.1 Principe général
Le principe général de l'invention vise à améliorer les systèmes de mise en œuvre d'environnement de réalité virtuelle en fournissant à un utilisateur de tels systèmes des informations relatives à la détection de parties de son corps susceptibles d'interagir dans l'environnement de réalité virtuelle. L'invention permet d'éviter de ce fait les erreurs de manipulation.
Pour cela, lors de la détection par le système de mise en œuvre de l'environnement de réalité virtuelle d'une partie du corps de l'utilisation susceptible d'interagir dans l'environnement de réalité virtuelle (par exemple une main, un pied . ), un signal sonore est généré. Avantageusement, un tel signal sonore est fonction de cette détection. Ainsi, le signal sonore en lui-même ou bien sa restitution dépendent de la localisation de la partie du corps détecté dans l'environnement, ou bien de la partie du corps détectée elle-même.
5. 2 Exemples de mise en œuvre
La figure 2 illustre un exemple d'environnement de mise en œuvre de l'invention selon un mode particulier de réalisation de l'invention. Selon ce mode particulier de réalisation de l'invention, l'environnement de réalité virtuelle est mis en œuvre au moyen d'un casque par projection holographique, par exemple le casque Hololens© de Microsoft®.
Sur la figure 2, un utilisateur (21 ) est illustré schématiquement portant un casque (22) à projection holographique. Dans l’exemple illustré, le casque à projection holographique (22) comprend un dispositif de projection (220) définissant un espace de projection (23) et un dispositif de détection (221 ) définissant un espace de détection (24).
Par exemple, le dispositif de projection (220) comprend deux écrans (non représentés) pour projection holographique placés respectivement devant l'œil droit et l'œil gauche de utilisateur (21 ) du casque, ainsi que des projecteurs (non représentés) pour projeter un environnement de réalité virtuelle, par exemple un objet virtuel (25).
Un tel dispositif de projection définit ainsi un espace de projection (23) de l'environnement de réalité virtuelle, illustré par des traits en pointillés sur la figure 2. Un tel espace de projection correspond à un espace dans lequel l'utilisateur (21 ) a l'impression que les objets virtuels et l'environnement de réalité virtuelle sont affichés. Dans l'exemple de réalisation décrit ici, l'espace de projection (23) est limité par le champ de vision du casque à projection holographique (22).
Le dispositif de détection (221 ) comprend par exemple une caméra 2D et des capteurs de profondeur (non représentés), ou bien une caméra 2D+profondeur. Selon le mode de réalisation illustré sur la figure 2, lorsqu'une partie du corps de l'utilisateur du casque à projection holographique (22), par exemple une main, est dans l'espace de détection (24) (défini en trait plein sur la figure 2), cette partie du corps est détectée par le dispositif de détection et peut manipuler des objets virtuels projetés dans l'environnement de réalité virtuelle.
Le dispositif de détection et le dispositif de projection sont couplés à une unité de traitement du casque (22) (non représentée) qui est configurée pour traiter les données de l'environnement de réalité virtuelle, i.e. les données 2D ou 3D de la scène à projeter par le dispositif de projection, et les données capturées par le dispositif de détection, par exemple une partie du corps de l'utilisateur à détecter et/ou des éléments de l'environnement réels de l'utilisateur.
Comme illustré en figure 2, l'espace de projection (23) et l'espace de détection (24) peuvent être différents. Par exemple, en référence avec la figure 2, l'espace de détection est plus large que l'espace de projection.
Il apparaît ainsi qu'une partie du corps de l'utilisateur (21 ) peut être détectée dans l'espace de détection (24) mais qu'elle ne soit pas visible par l'utilisateur dans l'espace de projection (23).
La figure 3 illustre un exemple d'environnement de mise en œuvre de l'invention selon un autre mode particulier de réalisation de l'invention. Selon cet autre mode particulier de réalisation de l'invention, l'environnement de réalité virtuelle est mis en œuvre au moyen d'une unité de traitement (321 ) traitant les données de l'environnement de réalité virtuelle, et communiquant avec un écran (320) utilisé pour afficher l'environnement de réalité virtuelle, et un dispositif de détection (31 ), par exemple une caméra, pour détecter des interactions de l'utilisateur (30) avec l'environnement de réalité virtuelle affiché sur l'écran (320).
Le dispositif de détection (31 ) définit un espace de détection (33) à l'intérieur duquel une partie du corps de l'utilisateur (30) peut être détectée pour interagir avec l'environnement de réalité virtuelle restitué sur l'écran (320).
Il apparaît que selon l'exemple décrit ici, l'espace de projection de l'environnement de réalité virtuelle (défini par l'écran 320) est totalement distinct de l'espace de détection, de sorte que l'utilisateur n'a aucune information que sa main, par exemple, est détectée pour interagir avec l'environnement de réalité virtuelle affiché sur l'écran (320). Il est possible d'afficher sur l'écran une représentation visuelle indiquant à l'utilisateur que sa main est bien détectée dans l'espace de détection, par exemple comme dans le document US2012/0157203. Toutefois, une telle représentation visuelle n'offre qu'une information limitée à l'utilisateur quant à la position de sa main dans l'environnement de réalité virtuelle. Notamment, dans l'exemple décrit ici, l'espace de projection et l'espace de détection sont complètement disjoints, de sorte qu'il n'est pas aisé pour l'utilisateur d'avoir une bonne perception de la position de sa main par rapport aux objets de l'environnement de réalité virtuelle.
La figure 4 illustre des étapes du procédé de traitement de données d'un environnement de réalité virtuelle selon un mode particulier de réalisation de l'invention. Le procédé de traitement de données de l'environnement de réalité virtuelle est décrit ici à l'aide de l'exemple décrit en relation avec la figure 2.
Un tel procédé comprend la détection d'au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle, ladite partie du corps de l'utilisateur étant susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle, et la génération d'au moins un signal sonore en fonction de la détection de la au moins une partie du corps de l'utilisateur de l'environnement de réalité virtuelle. Le signal sonore est fonction d’au moins une caractéristique relative à la au moins une partie détectée du corps de l'utilisateur de l'environnement de réalité virtuelle
Toutefois, le procédé peut également être mis en œuvre selon l'exemple décrit en relation avec la figure 3, ou avec tout autre système apte à mettre en œuvre et à restituer un environnement de réalité virtuelle.
Un environnement de réalité virtuelle est projeté (E40) par un dispositif de mise en œuvre d'un environnement de réalité virtuelle, tel qu'un casque holographique, dans un espace de projection. Par exemple, en référence avec la figure 2, un objet virtuel (25) est projeté dans l'espace de projection (23).
Le dispositif de mise en œuvre d'un environnement de réalité virtuelle met ensuite en œuvre la détection (E41 ) dans l'espace de détection (24) d'au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle. La partie du corps de l'utilisateur à détecter est une partie du corps susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle. Par exemple, il peut s'agir d'une main, ou des deux mains, d'un pied ou des deux pieds. Pour plus de simplicité, par la suite, on considère qu'il s'agit ici d'une main de l'utilisateur. La partie du corps de l'utilisateur à détecter dépend de l'application de réalité virtuelle dans laquelle le procédé est mis en œuvre, et notamment des interactions possibles dans l'environnement projeté.
Lorsque la main de l'utilisateur est détectée, un suivi de la main est réalisé tant que la main est détectée dans l'espace de détection (24) du dispositif.
Lors de ce suivi, les coordonnées 3D de la main dans l'espace de projection sont déterminées par le dispositif de mise en œuvre.
Au moins une caractéristique relative à cette détection est ensuite déterminée (E42). Par exemple, il peut s'agir de la position détectée de la main par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée, ou bien du type de la partie du corps détectée (main, pied, main gauche, main droite, ...).
Selon un mode particulier de réalisation de l'invention, la caractéristique déterminée correspond aux coordonnées 3D dans l'espace de projection de la partie du corps détectée.
Selon un autre mode particulier de réalisation de l'invention, il est déterminé une distance entre la main détectée et l'utilisateur. Selon l'exemple décrit ici, la localisation de l'utilisateur dans l'espace de projection est déterminée comme l'origine du référentiel de l'espace de projection, correspondant à la tête de l'utilisateur puisque le dispositif de projection est porté par l'utilisateur.
Selon un autre mode particulier de réalisation de l'invention, il est déterminé une distance entre la position détectée de la main et un objet virtuel particulier projeté dans l'espace de projection.
Selon un autre mode particulier de réalisation de l'invention, il est déterminé si la main détectée une main gauche ou une main droite.
Selon un autre mode particulier de réalisation de l'invention, plusieurs parties du corps de l'utilisateur peuvent être détectées, par exemple les deux mains peuvent être détectées. Dans ce cas, les étapes précédentes de détection/suivi et détermination d'une caractéristique sont mises en œuvre pour chacune des parties du corps détectées.
Un signal sonore est ensuite généré (E43) en fonction de la caractéristique relative à la détection déterminée. Selon un mode particulier de réalisation de l'invention, la fréquence du signal sonore est adaptée en fonction de la distance déterminée entre la main détectée et l'utilisateur ou de la distance déterminée entre la position détectée de la main et un objet virtuel particulier projeté dans l'espace de projection. Par exemple, la fréquence du signal sonore est élevée lorsque la main se rapproche de l'utilisateur ou de l'objet. Au contraire, la fréquence du signal sonore est faible lorsque la main s'éloigne de l'utilisateur ou de l'objet.
Selon un autre mode particulier de réalisation de l'invention, le signal sonore est différent selon que c'est une partie gauche du corps de l'utilisateur ou une partie droite du corps de l'utilisateur qui est détectée. Ainsi, l'utilisateur peut différencier si c'est sa main gauche qui est détectée ou si c'est sa main droite qui est détectée. De plus, lorsque les deux mains sont susceptibles d'interagir avec l'environnement de réalité virtuelle, deux signaux sonores différents et donc différentiables par l'utilisateur sont générés.
Selon un autre mode particulier de réalisation de l'invention, la génération du signal sonore dépend de la position de la main détectée dans l'espace de projection. Dans ce cas, le signal sonore généré est un son audio spatialisé. La spatialisation du signal sonore permet ainsi de fournir à l'utilisateur une information relative à la position de la main détectée.
Par exemple, la spatialisation du son peut être faite de manière simple, sur un mode stéréophonique. Selon cet exemple, le signal sonore généré comprend deux canaux: un canal destiné à l'oreille gauche et un canal destiné à l'oreille droite. Selon que la main est détectée à droite ou à gauche de l'utilisateur, le canal droit ou gauche du signal sonore est transmis à l'oreille correspondante.
Lorsque plusieurs parties du corps de l'utilisateur sont détectées, si elles sont détectées du même côté, les signaux correspondants sont transmis via le même canal. Si elles sont détectées sur des côtés différents, les signaux correspondants aux parties détectées sont transmis sur le canal correspondant au côté où elles ont été détectées.
Selon un autre exemple, la spatialisation du signal sonore est mise en œuvre par la génération d'un signal binaural dont la source sonore est placée à la position à laquelle la partie du corps de l'utilisateur a été détectée. Par exemple, la figure 5 illustre une représentation visuelle d'une telle spatialisation du signal sonore, dans le cas d'un environnement de réalité virtuelle mis en œuvre par un casque holographique. La figure 5 montre par une vue schématique de dessus, l'utilisateur (21 ) équipé d'un casque holographique (22) projetant un environnement de réalité virtuelle dans l'espace de projection (23). L'espace de détection (24) du dispositif de projection est également illustrée. Selon l'exemple illustré en figure 5, la main (51 ) de l'utilisateur est détectée dans l'espace de détection (24) mais en dehors de l'espace de projection (23), de sorte que l'utilisateur ne voit pas sa main (51 ) lorsqu'il visualise l'environnement de réalité virtuelle via le dispositif holographique (22). Selon le mode particulier de réalisation de l'invention, lorsque le signal sonore binaural est restitué, l'utilisateur (21 ) a l'impression que le son provient de l'emplacement (50) correspondant à la localisation à laquelle la main a été détectée.
En référence avec la figure 4, le signal sonore est restitué (E44) au fur et à mesure de sa génération. La restitution peut être faite via des hauts parleurs placés sur le dispositif de projection ou bien placés dans l'environnement physique de l'utilisateur et en communication avec le dispositif de projection.
Selon un mode particulier de réalisation de l'invention, le signal sonore est restitué à l'utilisateur tant que la main est détectée. Par exemple, en référence avec la figure 5, lorsque la main sort (52) de l'espace de détection (24), la restitution et la génération du signal sonore s'interrompent.
En variante, lors de la restitution du signal sonore, en complément un signal visuel indiquant la détection de la partie du corps de l'utilisateur peut également est affiché (E44) à l'utilisateur, dans l'espace de projection. Ce signal visuel peut être affiché à l'emplacement de détection de la partie du corps si elle est détectée dans l'espace de projection. Ou bien, le signal visuel peut être affiché dans un espace de l'espace de projection réservé à l'affichage d'informations telles qu'un menu, des commandes d'interactions, etc...
Le signal visuel peut également être représentatif d'informations complémentaires à la détection de la partie du corps. Par exemple, il peut indiquer le côté de la partie du corps détectée (main gauche, main droite, un état de préhension d'un objet, un état détecté d'ouverture/fermeture de la main dans le cas où des actions dans l'environnement de réalité virtuelles sont aptes à être commandées par un changement d'état de la main, ...).
Selon un mode particulier de réalisation de l'invention, lorsque l'utilisateur interagit (E45) avec un objet de l'environnement de réalité virtuelle, le signal sonore est modifié (E46) en fonction de cette interaction. Par exemple, le signal sonore peut changer lorsque l'utilisateur attrape un objet ou ouvre une porte.
Le signal sonore peut être modifié différemment selon que l'interaction est correctement réalisée par l'utilisateur. Par exemple, lorsque l'utilisateur attrape un objet, par exemple en fermant le pouce et l'index selon la technique Hololens, si l'état fermé de la main est détecté, un nouveau signal sonore est généré et restitué. Ce nouveau signal sonore est différent du signal généré lors de la détection de la main sans préhension d'objet. Ainsi, l'utilisateur est informé de la bonne préhension de l'objet. De la même manière, lorsque l'utilisateur manipule l'objet et qu'il est détecté un changement d'état de la main, par exemple une ouverture du pouce et de l'index, le signal sonore est à nouveau modifié. L'utilisateur est ainsi informé du changement, et peut repositionné ses doigts correctement si le changement d'état détecté par le système n'était pas du fait de l'utilisateur. De même, si l'utilisateur ouvre la main pour relâcher l'objet, mais que le signal sonore n'est pas modifié, il est ainsi informé, par l'absence de modification du signal sonore, que le changement d'état de sa main n'a pas été correctement pris en compte par le système.
Ce mode particulier de réalisation de l'invention permet ainsi d'éviter les erreurs de manipulation lors d'interactions dans l'environnement de réalité virtuelle.
Différents modes particuliers de réalisation de l'invention ont été décrits ci-dessus. Ces différents modes particuliers de réalisation de l'invention peuvent être mis en œuvre seuls ou en combinaison les uns avec les autres.
La figure 6 illustre la structure simplifiée d'un dispositif DISP de traitement de données d'un environnement de réalité virtuelle selon un mode particulier de réalisation de l'invention. Un tel dispositif est configuré pour mettre en œuvre le procédé de traitement de données de réalité virtuelle selon l'un quelconque des modes de réalisation décrits précédemment.
Dans l’exemple non limitatif illustré sur la figure 6, le dispositif DISP comprend une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de traitement de données tel que décrit précédemment, lorsque le programme est exécuté par le processeur PROC.
A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre le procédé de traitement de données selon l'un quelconque des modes de réalisation décrits en relation avec la figure 4 selon les instructions du programme d'ordinateur PG.
Pour cela, le dispositif DISP comprend un dispositif de détection CAPT configuré pour détecter au moins une partie du corps d'un utilisateur dans un espace de détection de l'environnement de réalité virtuelle.
Le dispositif DISP comprend également un dispositif de projection PROJ permettant de restitué visuellement l'environnement de réalité virtuelle à l'utilisateur, par exemple via une technique de projection holographique ou via un affichage sur un écran 2D ou 3D avec lunettes ou sans lunettes. Le dispositif DISP comprend également un dispositif de restitution audio HP configuré pour restitué un signal sonore généré en fonction de la détection de la au moins une partie du corps de l'utilisateur.
Selon un mode particulier de réalisation de l'invention, le dispositif DISP décrit précédemment est compris dans un terminal, par exemple un casque de réalité virtuelle.
L’architecture du dispositif DISP illustrée sur la figure 6 n’est toutefois pas limitative. Le dispositif DISP peut par exemple être couplé de manière opérationnelle au système de projection PROJ, et être mis en œuvre sous la forme d’un dispositif distinct du système de projection PROJ.
Le dispositif DISP peut par exemple être couplé de manière opérationnelle au dispositif de restitution audio HP, et être mis en œuvre sous la forme d’un dispositif distinct du dispositif de restitution audio HP.
Le dispositif DISP peut par exemple être couplé de manière opérationnelle au dispositif de détection CAPT, et être mis en œuvre sous la forme d’un dispositif distinct du dispositif de détection CAPT.
De plus, le dispositif DISP peut être mis en œuvre sur différents types de plateforme, telles qu’un ordinateur (par exemple de type PC ou portable) ou un réseau d’ordinateurs, un smartphone (téléphone intelligent), une tablette, ou un autre appareil comportant un processeur couplé de manière opérationnelle à une mémoire, ainsi que, selon le mode de réalisation choisi, d’autres éléments matériels associés comme une interface de réseau et un lecteur de support pour lire un support de stockage amovible et écrire sur un tel support (non représentés sur la figure).

Claims

Revendications
1. Procédé de traitement de données d'un environnement de réalité virtuelle, comprenant:
- la détection (E41 ) d'au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle, ladite partie du corps de l'utilisateur étant susceptible d'interagir avec au moins un objet de l'environnement de réalité virtuelle,
- la génération (E43) d'au moins un signal sonore, le signal sonore étant fonction d’au moins une caractéristique relative à la au moins une partie détectée du corps de l'utilisateur de l'environnement de réalité virtuelle.
2. Procédé de traitement selon la revendication 1 , dans lequel le signal sonore est restitué à l'utilisateur tant que la au moins une partie du corps est détectée.
3. Procédé de traitement selon l'une quelconque des revendications 1 ou 2, dans lequel le signal sonore généré dépend de la position de la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée.
4. Procédé de traitement selon la revendication 3, dans lequel la fréquence du signal sonore dépend de la distance entre la partie du corps détectée par rapport à un élément de l'environnement de réalité virtuelle ou par rapport à une autre partie du corps de l'utilisateur détectée.
5. Procédé de traitement selon l'une quelconque des revendications 1 à 4, dans lequel la génération du signal sonore est fonction d'un côté gauche ou droit de la partie du corps de l'utilisateur détectée.
6. Procédé de traitement selon l'une quelconque des revendications 1 à 5, dans lequel la génération d'un signal sonore en fonction de la détection de la au moins une partie du corps d'un utilisateur de l'environnement de réalité virtuelle comprend la génération d'un signal audio spatialisé.
7. Procédé de traitement selon la revendication 6, dans lequel le signal sonore est un signal binaural dont la source sonore est placée à la position à laquelle la partie du corps de l'utilisateur a été détectée.
8. Procédé de traitement selon la revendication 6, dans lequel le signal sonore comprend deux canaux, un canal parmi les deux canaux étant destiné à l'oreille droite, et un autre canal parmi les deux canaux étant destiné à l'oreille gauche, un canal ou les deux canaux du signal sonore étant transmis à l'oreille correspondante lorsque la partie du corps de l'utilisateur ou une autre partie du corps de l'utilisateur est détectée du côté de l'oreille correspondante.
9. Procédé de traitement selon l'une quelconque des revendications 1 à 8, comprenant en outre la modification du signal sonore lors d'une interaction de la partie du corps détectée avec un élément de l'environnement de réalité virtuelle.
10. Procédé de traitement selon l'une quelconque des revendications 1 à 9, comprenant en outre la restitution d'un signal visuel représentatif de la détection de ladite partie du corps de l'utilisateur dans l'environnement de réalité virtuelle.
1 1. Procédé de traitement selon l'une quelconque des revendications 1 à 10, dans lequel l'environnement de réalité virtuelle est restitué par projection holographique.
12. Dispositif de traitement de données d'un environnement de réalité virtuelle comprenant une unité de traitement (UT) comprenant un processeur (PROC) et une mémoire (MEM) couplée de manière opérationnelle à l’unité de traitement (UT), l’unité de traitement (UT) et la mémoire (MEM) étant configurées pour la mise en œuvre d’un procédé de traitement de données selon l’une quelconque des revendications 1 à 1 1.
13. Terminal comprenant un dispositif selon la revendication 12.
14. Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement de données selon l’une quelconque des revendications 1 à 1 1 , lorsque ledit programme est exécuté par un processeur.
EP20725824.5A 2019-03-05 2020-03-05 Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle Pending EP3935487A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1902242A FR3093578A1 (fr) 2019-03-05 2019-03-05 Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle.
PCT/FR2020/050438 WO2020178527A1 (fr) 2019-03-05 2020-03-05 Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle

Publications (1)

Publication Number Publication Date
EP3935487A1 true EP3935487A1 (fr) 2022-01-12

Family

ID=67262617

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20725824.5A Pending EP3935487A1 (fr) 2019-03-05 2020-03-05 Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle

Country Status (4)

Country Link
US (1) US11930352B2 (fr)
EP (1) EP3935487A1 (fr)
FR (1) FR3093578A1 (fr)
WO (1) WO2020178527A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3942390A1 (fr) 2019-03-21 2022-01-26 Orange Dispositif, système et procédé de traitement de données de réalite virtuelle
CN120670685B (zh) * 2025-08-15 2025-11-04 南京禄口国际机场空港科技有限公司 一种虚拟现实设备的动态绑定与状态监控方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3528284B2 (ja) * 1994-11-18 2004-05-17 ヤマハ株式会社 ３次元サウンドシステム
US8646910B1 (en) * 2009-11-27 2014-02-11 Joyce Schenkein Vision training method and apparatus
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
JP6237000B2 (ja) * 2013-08-29 2017-11-29 セイコーエプソン株式会社 頭部装着型表示装置
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
EP3695307B1 (fr) * 2017-10-12 2025-02-19 InterDigital Madison Patent Holdings, SAS Procédé et appareil permettant de fournir un contenu audio dans une réalité immersive
US11507203B1 (en) * 2021-06-21 2022-11-22 Meta Platforms Technologies, Llc Body pose estimation using self-tracked controllers

Also Published As

Publication number Publication date
FR3093578A1 (fr) 2020-09-11
WO2020178527A1 (fr) 2020-09-10
US11930352B2 (en) 2024-03-12
US20220191637A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
EP3264222B1 (fr) Appareil et procédés associés
US20170068508A1 (en) Method and system for communicating with a user immersed in a virtual reality environment
EP3612912B1 (fr) Procédé de lecture d'un flux vidéo
WO2018208473A1 (fr) Affichage synchronisé sur dispositif à écrans multiples articulé
TWI839578B (zh) 3d顯示系統與3d顯示方法
EP3935487A1 (fr) Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle
EP3249935A1 (fr) Barre de navigation dans une pluralité de contenu videos
EP3603076B1 (fr) Procédé de sélection d'au moins une partie d'image à télécharger par anticipation pour restituer un flux audiovisuel
WO2019150668A1 (fr) Dispositif de traitement d'images, procédé de traitement d'images, et programme
WO2017187095A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
FR3104743A1 (fr) Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants.
EP2813088A1 (fr) Systeme de lecture de contenu numerique et procede de lecture correspondant
WO2022254135A1 (fr) Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations
FR3081572A1 (fr) Procede et systeme d'authentification d'un utilisateur porteur d'un dispositif d'immersion
FR3068803A1 (fr) Procede et dispositif de traitement de donnees d'un environnement de realite virtuelle.
WO2020187950A1 (fr) Dispositif, système et procédé de traitement de données de réalite virtuelle
BE1026622B1 (fr) Equipement et procédé de contrôle de la représentation d'un contenu multimédia sur un écran tactile de l'équipement
EP4310639A1 (fr) Procédé d adaptation d'interface homme machine
EP3038354B1 (fr) Procédé d'affichage d'images ou de vidéos
FR2915816A1 (fr) Procede d'acquisition d'une image a l'aide d'un appareil dont la focale est reglable et appareil d'acquisition d'image associe au procede
WO2021255395A1 (fr) Procédé, dispositif et système d'immersion d'un utilisateur dans une application de réalite virtuelle
EP4426453A1 (fr) Procédé et dispositif de reproduction d'environnements
FR3145441A1 (fr) Procédé de configuration d’affichage étendu via au moins deux écrans
FR3058607A1 (fr) Dispositif de capture video avec capture du mouvement des yeux de l'utilisateur
FR2997601A1 (fr) Technique de restitution d'un signal sonore par un terminal

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210817

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230602