FR3129232A1 - Navigation interface in virtual environment - Google Patents
Navigation interface in virtual environment Download PDFInfo
- Publication number
- FR3129232A1 FR3129232A1 FR2112136A FR2112136A FR3129232A1 FR 3129232 A1 FR3129232 A1 FR 3129232A1 FR 2112136 A FR2112136 A FR 2112136A FR 2112136 A FR2112136 A FR 2112136A FR 3129232 A1 FR3129232 A1 FR 3129232A1
- Authority
- FR
- France
- Prior art keywords
- capt
- orientation
- sensor
- data
- position sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/14—Determining absolute distances from a plurality of spaced points of known location
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
- G01S1/04—Details
- G01S1/042—Transmitters
- G01S1/0428—Signal details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
- G01S1/703—Details
- G01S1/7032—Transmitters
- G01S1/7038—Signal details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
- G01S13/76—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
- G01S13/765—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted with exchange of information between interrogator and responder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Un dispositif (EQ) de réalité virtuelle comprenant au moins un écran d’affichage (AFF) et un capteur d’orientation (CAPT-O) configuré pour fournir en sortie des données d’orientation du dispositif (EQ) au sein d’un environnement réel (ENV), caractérisé en ce que :le dispositif (EQ) comprend en outre au moins un capteur de position (CAPT-L) distinct du capteur d’orientation (CAPT-O), ledit capteur de position (CAPT-L) étant configuré pour communiquer avec au moins une balise de position fixe au sein de l’environnement réel (ENV), de sorte à fournir en sortie des données de position du dispositif (EQ) par rapport à l’environnement réel (ENV),le dispositif (EQ) étant configuré pour afficher, en temps réel, un contenu virtuel associé à l’environnement réel (ENV) via l’écran d’affichage (AFF), ledit contenu virtuel affiché dépendant desdites données d’orientation et desdites données de position. Figure de l’abrégé : Figure 2A virtual reality device (EQ) comprising at least one display screen (AFF) and an orientation sensor (CAPT-O) configured to output device orientation data (EQ) within a real environment (ENV), characterized in that:the device (EQ) further comprises at least one position sensor (CAPT-L) distinct from the orientation sensor (CAPT-O), said position sensor (CAPT-L ) being configured to communicate with at least one fixed position beacon within the real environment (ENV), so as to output position data of the device (EQ) relative to the real environment (ENV), the device (EQ) being configured to display, in real time, a virtual content associated with the real environment (ENV) via the display screen (AFF), said displayed virtual content depending on said orientation data and on said data of position. Abstract Figure: Figure 2
Description
La présente divulgation relève du domaine des équipements de réalité virtuelle et plus précisément des systèmes de suivi de positionnement intégrés pour les équipements de réalité virtuelle.This disclosure relates to the field of virtual reality equipment and more specifically integrated position tracking systems for virtual reality equipment.
Les dispositifs de réalité virtuelle tels que les casques de réalité virtuelle (ou casques VR) permettent à leurs utilisateurs de visualiser un environnement virtuel (ou réalité virtuelle). Un dispositif de réalité virtuelle est généralement porté par l’utilisateur et diffuse un contenu virtuel dans le champ visuel et/ou auditif de l’utilisateur. Une telle diffusion peut même couvrir intégralement le champ visuel/auditif de l’utilisateur, par exemple lorsque l’utilisateur porte un casque VR. L’utilisateur ne perçoit plus son environnement réel, ce qui renforce le sentiment d’immersion, particulièrement recherché dans le domaine vidéoludique par exemple.Virtual reality devices such as virtual reality headsets (or VR headsets) allow their users to visualize a virtual environment (or virtual reality). A virtual reality device is generally worn by the user and broadcasts virtual content in the user's visual and/or auditory field. Such a broadcast can even fully cover the user's visual/auditory field, for example when the user is wearing a VR headset. The user no longer perceives his real environment, which reinforces the feeling of immersion, particularly sought after in the video game field for example.
Dans certains cas, le contenu virtuel diffusé par le dispositif est associé à l’environnement réel entourant l’utilisateur, par exemple en se superposant à l’environnement réel. L’environnement virtuel peut couvrir toutes les directions de l’espace, de sorte que lorsque le point de vue de l’utilisateur change (par exemple lorsque l’utilisateur tourne la tête), le contenu virtuel diffusé est adapté en temps réel afin que l’utilisateur ait une expérience toujours plus immersive de la réalité virtuelle. Lorsque le dispositif est fixé à la tête de l’utilisateur (casque ou lunettes typiquement), tout mouvement relatif entre le dispositif et la tête de l’utilisateur est annulé, ou du moins rendu négligeable. La captation des mouvements est facilitée car il devient possible de capter indifféremment les mouvements de l’ensemble de la tête de l’utilisateur ou du dispositif lui-même. En revanche, les dispositifs individuels tels que des casques ou des lunettes sont individuels et ne peuvent être utilisés simultanément par plusieurs utilisateurs. Une utilisation tour à tour de tels dispositifs en contact avec le visage de l’utilisateur pose en outre des difficultés quant à l’hygiène et la santé.In some cases, the virtual content broadcast by the device is associated with the real environment surrounding the user, for example by being superimposed on the real environment. The virtual environment can cover all directions in space, so that when the user's point of view changes (for example when the user turns his head), the broadcast virtual content is adapted in real time so that the user has an ever more immersive experience of virtual reality. When the device is attached to the user's head (helmet or goggles typically), any relative movement between the device and the user's head is cancelled, or at least rendered negligible. The capture of movements is facilitated because it becomes possible to capture the movements of the entire head of the user or of the device itself. On the other hand, individual devices such as helmets or glasses are individual and cannot be used simultaneously by several users. Alternate use of such devices in contact with the face of the user also poses difficulties in terms of hygiene and health.
Parmi les dispositifs de réalité virtuelle intégrant un système de suivi de mouvement de l’utilisateur dans l’espace, la plupart permettent seulement un suivi d’orientation de l’utilisateur (c’est-à-dire un suivi à trois degrés de liberté ou 3DoF). Autrement dit, l’utilisateur peut visualiser un contenu virtuel dans toutes les directions de l’espace, soit un angle solide de 4π, appelé abusivement « à 360 degrés », par exemple en restant en position assise et en orientant sa tête selon différents axes radiaux. Mais l’utilisateur ne peut pas se déplacer dans l’environnement virtuel ni interagir avec ce dernier sans l’aide de dispositifs de commande supplémentaires.Among the virtual reality devices integrating a system for tracking the movement of the user in space, most allow only orientation tracking of the user (i.e. tracking at three degrees of freedom or 3DoF). In other words, the user can visualize virtual content in all directions of space, i.e. a solid angle of 4π, incorrectly called "360 degrees", for example by remaining in a seated position and by orienting his head according to different axes. radials. But the user cannot move around the virtual environment or interact with it without the help of additional control devices.
Il existe des principes théoriques permettant à la fois un suivi d’orientation et un suivi de position de l’utilisateur (c’est-à-dire un suivi de six degrés de liberté ou 6DoF). Dans ce cas, l’utilisateur peut théoriquement se déplacer et changer d’orientation dans son environnement réel pour commander les déplacements et changements d’orientation dans son environnement virtuel. Cependant, en pratique, le suivi de position/orientation des dispositifs de réalité virtuelle existants reste imprécis : les données de position sont sujets au bruit et/ou au biais. Les mouvements dans l’environnement virtuel sont donc erratiques, distordus et manquent de « fluidité » par rapport aux mouvements dans l’environnement réel, ce qui nuit évidemment au sentiment d’immersion de l’utilisateur. Un utilisateur du dispositif de réalité virtuelle ne peut donc pas se déplacer librement (par exemple dans une pièce) tout en restant en immersion dans un environnement virtuel précis et diffusé en temps réel au fur et à mesure que l’utilisateur bouge dans l’espace réel. Par ailleurs, la plupart des systèmes de suivi de position/orientation sont soumis à des contraintes spatiales : l’espace de déplacement de l’utilisateur doit par exemple être suffisamment dégagé et la présence de murs ou encore d’objets encombrants peut empêcher le fonctionnement des systèmes de suivi (de position en particulier) existants.There are theoretical principles that allow both orientation tracking and position tracking of the user (i.e. six degrees of freedom or 6DoF tracking). In this case, the user can theoretically move and change orientation in his real environment to control the movements and changes of orientation in his virtual environment. However, in practice, the position/orientation tracking of existing virtual reality devices remains imprecise: the position data is subject to noise and/or bias. Movements in the virtual environment are therefore erratic, distorted and lack "fluidity" compared to movements in the real environment, which obviously affects the user's feeling of immersion. A user of the virtual reality device cannot therefore move freely (for example in a room) while remaining immersed in a precise virtual environment broadcast in real time as the user moves in space real. In addition, most position/orientation tracking systems are subject to spatial constraints: the user's movement space must for example be sufficiently clear and the presence of walls or even bulky objects can prevent operation. existing tracking systems (position in particular).
RésuméSummary
Il existe donc un besoin d’un système de suivi de positionnement performant d’un utilisateur d’un dispositif de réalité virtuelle. Outre la précision, la réalité virtuelle requiert un système de suivi capable de fonctionner en environnement intérieur en intégrant les contraintes spatiales d’un tel environnement (notamment les murs) et de fournir des données de positionnement en temps réel.There is therefore a need for a high-performance positioning tracking system for a user of a virtual reality device. In addition to precision, virtual reality requires a tracking system capable of operating in an indoor environment by integrating the spatial constraints of such an environment (particularly walls) and providing real-time positioning data.
La présente divulgation vient améliorer la situation.This disclosure improves the situation.
Il est proposé, selon un premier aspect, un dispositif de réalité virtuelle comprenant au moins :
- un écran d’affichage, et
- un capteur d’orientation configuré pour fournir en sortie des données d’orientation du dispositif au sein d’un environnement réel,
le dispositif comprenant en outre au moins un capteur de position distinct du capteur d’orientation, ledit capteur de position étant configuré pour communiquer avec au moins une balise de position fixe au sein de l’environnement réel, de sorte à fournir en sortie des données de position du dispositif par rapport à l’environnement réel,
le dispositif étant configuré pour afficher, en temps réel, un contenu virtuel associé à l’environnement réel via l’écran d’affichage, ledit contenu virtuel affiché dépendant desdites données d’orientation et desdites données de position.It is proposed, according to a first aspect, a virtual reality device comprising at least:
- a display screen, and
- an orientation sensor configured to output device orientation data within a real environment,
the device further comprising at least one position sensor separate from the orientation sensor, said position sensor being configured to communicate with at least one fixed position beacon within the real environment, so as to output data position of the device in relation to the real environment,
the device being configured to display, in real time, a virtual content associated with the real environment via the display screen, said displayed virtual content depending on said orientation data and on said position data.
Par conséquent, un tel dispositif permet un suivi du positionnement du dispositif. Un tel positionnement à un instant donné désigne à la fois une orientation et une position dans l’environnement réel à un tel instant donné. Muni d’un capteur d’orientation et d’un capteur de position, le dispositif proposé permet ainsi de suivre les mouvements selon six degrés de liberté. L’utilisateur peut donc voir s’afficher un contenu virtuel diffusé sur l’écran d’affichage lorsqu’il déplace le dispositif dans une pièce (par exemple en avançant ou reculant par rapport à une position donnée) et/ou oriente le dispositif dans différentes directions (par exemple en tournant le dispositif pour montrer l’écran à un second utilisateur). De tels mouvements peuvent notamment être aléatoires dans le sens où il est superflu de prédire des comportements pour limiter les possibilités et simplifier les calculs. En effet, le suivi d’un mouvement sensiblement régulier (comme le suivi du mouvement de pas d’un utilisateur montant des escaliers par exemple) est simplifié par la possibilité de définir une période approximative du mouvement de réinitialiser les données captées à chaque période définie afin d’éviter des phénomènes de dérive des capteurs. Une telle réinitialisation des données n’est cependant pas pertinente dans le cadre de mouvements non prévisibles.Consequently, such a device allows monitoring of the positioning of the device. Such positioning at a given instant designates both an orientation and a position in the real environment at such a given instant. Equipped with an orientation sensor and a position sensor, the proposed device thus makes it possible to follow movements according to six degrees of freedom. The user can therefore see a virtual content displayed on the display screen when he moves the device in a room (for example by advancing or retreating with respect to a given position) and/or orients the device in different directions (for example by turning the device to show the screen to a second user). Such movements can in particular be random in the sense that it is superfluous to predict behaviors in order to limit the possibilities and simplify the calculations. Indeed, the monitoring of a substantially regular movement (such as the monitoring of the step movement of a user climbing stairs for example) is simplified by the possibility of defining an approximate period of the movement of resetting the data captured at each defined period in order to avoid sensor drift phenomena. However, such a data reset is not relevant in the context of unpredictable movements.
Selon un autre aspect, il est proposé un procédé mis en œuvre par un dispositif de réalité virtuelle, ledit dispositif comportant au moins :
- un écran d’affichage,
- un capteur d’orientation, et
- un capteur de position distinct du capteur d’orientation,
le procédé comprenant :
a) une génération de données d’orientation du dispositif au sein d’un environnement réel en fonction de signaux issus du capteur d’orientation,
b) une génération de données de position du dispositif au sein de l’environnement réel en fonction de signaux issus du capteur de position, lesdits signaux issus du capteur de position étant générés par :
b1) une communication dudit capteur de position avec au moins une balise de position fixe au sein de l’environnement réel,
c) un affichage en temps réel d’un contenu virtuel associé à l’environnement réel via l’écran d’affichage, ledit contenu virtuel affiché étant fonction au moins desdites données d’orientation et desdites données de position du dispositif.According to another aspect, a method implemented by a virtual reality device is proposed, said device comprising at least:
- a display screen,
- an orientation sensor, and
- a position sensor distinct from the orientation sensor,
the method comprising:
a) generation of device orientation data within a real environment as a function of signals from the orientation sensor,
b) generation of device position data within the real environment as a function of signals from the position sensor, said signals from the position sensor being generated by:
b1) communication of said position sensor with at least one fixed position beacon within the real environment,
c) real-time display of virtual content associated with the real environment via the display screen, said displayed virtual content being a function of at least said orientation data and said position data of the device.
Selon un autre aspect, il est proposé un support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé lorsque ce programme est exécuté par un processeur.According to another aspect, there is proposed a non-transitory recording medium readable by a computer on which is recorded a program for the implementation of the method when this program is executed by a processor.
Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre, indépendamment les unes des autres ou en combinaison les unes avec les autres :The features set out in the following paragraphs can optionally be implemented, independently of each other or in combination with each other:
Dans un mode de réalisation, le capteur d’orientation comporte au moins :
- un gyroscope et/ou un gyromètre, et
- un accéléromètre.In one embodiment, the orientation sensor comprises at least:
- a gyroscope and/or a gyrometer, and
- an accelerometer.
Par conséquent, le dispositif de réalité virtuelle est apte à obtenir au moins des données d’orientation du dispositif dans l’environnement réel, par exemple lorsque le dispositif est levé ou baissé ou encore tourné par l’utilisateur par rapport à une orientation initiale du dispositif dans l’environnement réel.Consequently, the virtual reality device is capable of obtaining at least orientation data of the device in the real environment, for example when the device is raised or lowered or even turned by the user with respect to an initial orientation of the device in the real environment.
Dans un mode de réalisation, le capteur d’orientation est relié à une première unité fonctionnelle du dispositif apte à exécuter un algorithme de fusion des données d’orientation du dispositif et captées par le capteur d’orientation. Une telle première unité fonctionnelle est, de plus, configurée pour déterminer, en temps réel, une valeur estimée d’orientation du dispositif par fusion des données d’orientation du dispositif captées par le capteur d’orientation.In one embodiment, the orientation sensor is connected to a first functional unit of the device capable of executing an algorithm for merging the orientation data of the device and captured by the orientation sensor. Such a first functional unit is, moreover, configured to determine, in real time, an estimated value of orientation of the device by merging the orientation data of the device sensed by the orientation sensor.
Par conséquent, la première unité fonctionnelle du dispositif, désignée également par « module d’orientation » du dispositif, prend en entrée des données d’orientation brutes telles que captées par le ou les gyroscopes et/ou gyromètres et accéléromètres du capteur d’orientation. De telles données d’orientation peuvent par exemple être liées à une vitesse angulaire du dispositif lorsqu’il est déplacé par l’utilisateur dans l’environnement réel.Consequently, the first functional unit of the device, also referred to as the "orientation module" of the device, takes raw orientation data as input as captured by the gyroscope(s) and/or gyrometers and accelerometers of the orientation sensor . Such orientation data can for example be linked to an angular velocity of the device when it is moved by the user in the real environment.
Dans un mode de réalisation, la première unité fonctionnelle est configurée pour filtrer les données d’orientation du dispositif en sortie du capteur d’orientation par application d’un filtre de Madgwick.In one embodiment, the first functional unit is configured to filter the orientation data of the device at the output of the orientation sensor by applying a Madgwick filter.
Par conséquent, le dispositif est apte à traiter les données d’orientation de sorte à améliorer la précision des données d’orientation captées. De façon avantageuse, l’application d’un filtre de Madgwick permet un traitement analytique des données d’orientation brutes captées par le capteur d’orientation, contrairement à l’approche probabiliste d’autres types de filtres souvent appliqués, tels que les filtres de Kalman. En particulier, le filtre de Madgwick comprend une optimisation des coefficients appliqués aux données en sortie d’une part, du ou des gyroscopes et/ou gyromètres du capteur d’orientation et d’autre part, du ou des accéléromètres du capteur d’orientation, par descente de gradient.Consequently, the device is able to process the orientation data so as to improve the precision of the orientation data captured. Advantageously, the application of a Madgwick filter allows analytical processing of the raw orientation data captured by the orientation sensor, unlike the probabilistic approach of other types of filters often applied, such as filters of Kalman. In particular, the Madgwick filter comprises an optimization of the coefficients applied to the output data on the one hand, of the gyroscope(s) and/or gyrometers of the orientation sensor and, on the other hand, of the accelerometer(s) of the orientation sensor , by gradient descent.
Dans un mode de réalisation, le capteur de position étant configuré pour communiquer avec une pluralité de balises de position, au moins une balise de position parmi ladite pluralité correspondant à une balise de repérage Ultra Large Bande, le capteur de position et ladite balise de repérage communiquent par impulsions Ultra Large Bande.In one embodiment, the position sensor being configured to communicate with a plurality of position beacons, at least one position beacon among said plurality corresponding to an Ultra Wide Band tracking beacon, the position sensor and said tracking beacon communicate by Ultra Wide Band pulses.
Par conséquent, le dispositif est apte à communiquer avec des balises de position positionnées dans l’environnement réel au fur et à mesure que le dispositif se déplace. En particulier, une telle communication n’est pas biaisée par un environnement réel en intérieur, contrairement aux communications de type « géolocalisation et navigation par système de satellites » ou « GNSS » comme c’est le cas du « géopositionnement par satellite » ou « GPS » par exemple, qui requièrent une utilisation en plein air. Par ailleurs, les échanges entre le dispositif de réalité virtuelle et les balises de position par ultra large bande (ou UWB) permettent avantageusement d’éviter des interférences avec d’autres protocoles de communication mis en œuvre dans l’environnement réel, par Bluetooth ou Wi-Fi par exemple. L’utilisation d’une technologie d’ultra large bande par le dispositif de réalité virtuelle permet également le maintien d’une communication entre le dispositif et l’environnement réel (via les balises de position) même lorsque des obstacles physiques (tels que des murs, des plafonds ou d’autres objets matériels) existent entre le dispositif et les balises de communication.Therefore, the device is able to communicate with position beacons positioned in the real environment as the device moves. In particular, such communication is not biased by a real indoor environment, unlike communications of the "geolocation and navigation by satellite system" or "GNSS" type, as is the case of "geopositioning by satellite" or " GPS” for example, which require outdoor use. Furthermore, the exchanges between the virtual reality device and the position beacons by ultra-wideband (or UWB) advantageously make it possible to avoid interference with other communication protocols implemented in the real environment, by Bluetooth or Wi-Fi for example. The use of ultra-wideband technology by the virtual reality device also allows communication to be maintained between the device and the real environment (via the position beacons) even when physical obstacles (such as walls, ceilings or other physical objects) exist between the device and the communication beacons.
Dans un mode de réalisation, le capteur de position étant configuré pour communiquer avec une pluralité de balises de position, au moins une balise de position parmi ladite pluralité correspondant à une balise de repérage infrarouge, le capteur de position et ladite balise de repérage infrarouge communiquent par rayonnement infrarouge.In one embodiment, the position sensor being configured to communicate with a plurality of position beacons, at least one position beacon among said plurality corresponding to an infrared tracking beacon, the position sensor and said infrared tracking beacon communicate by infrared radiation.
Par conséquent, le dispositif de réalité virtuelle est apte à communiquer avec des balises de position positionnées dans l’environnement réel au fur et à mesure que le dispositif se déplace. En particulier, une telle communication présente un précision optimisée par l’émission de rayons infrarouges, par exemple par un émetteur laser. Une telle émission infrarouge peut par exemple être mise en œuvre à un instant et selon une direction prédéterminés par les balises de repérage infrarouge et capté par le capteur de position du dispositif de réalité virtuelle dans des conditions de réception spécifiques, propres à l’emplacement du dispositif dans l’environnement réel.Therefore, the virtual reality device is able to communicate with position beacons positioned in the real environment as the device moves. In particular, such communication has a precision optimized by the emission of infrared rays, for example by a laser transmitter. Such an infrared emission can for example be implemented at a time and in a direction predetermined by the infrared tracking beacons and picked up by the position sensor of the virtual reality device under specific reception conditions, specific to the location of the device in the real environment.
Dans un mode de réalisation, le dispositif de réalité virtuelle comprenant en outre une seconde unité fonctionnelle recevant en entrée un signal issu du capteur de position, la seconde unité fonctionnelle est configurée pour déduire dudit signal au moins une mesure relative à une interaction entre le capteur de position et l’au moins une balise de position.In one embodiment, the virtual reality device further comprising a second functional unit receiving as input a signal from the position sensor, the second functional unit is configured to deduce from said signal at least one measurement relating to an interaction between the sensor position tag and the at least one position beacon.
Par conséquent, la seconde unité fonctionnelle, désignée également par « module de position » du dispositif de réalité virtuelle est apte à traiter des données relatives à au moins une interaction entre le capteur de position et l’au moins une balise de position. En particulier, une telle interaction est spécifique à l’emplacement du capteur de position (eta fortioridu dispositif) dans l’environnement réel. Une telle interaction peut par exemple correspondre à un signal émis, reçu et/ou échangé par le capteur de position et reçu, émis et/ou échangé par une balise de position. Une telle mesure relative à une telle interaction peut correspondre à une durée de trajet du signal, une date d’arrivée du signal, un angle de réception et/ou d’émission du signal ou encore une distance mesurée entre le capteur de position et la balise de position.Consequently, the second functional unit, also referred to as “position module” of the virtual reality device, is capable of processing data relating to at least one interaction between the position sensor and the at least one position beacon. In particular, such an interaction is specific to the location of the position sensor (and a fortiori of the device) in the real environment. Such an interaction can for example correspond to a signal emitted, received and/or exchanged by the position sensor and received, emitted and/or exchanged by a position beacon. Such a measurement relating to such an interaction may correspond to a signal travel time, a signal arrival date, an angle of reception and/or transmission of the signal or even a distance measured between the position sensor and the position beacon.
Dans un mode de réalisation, le signal comprenant une série temporelle de données, la seconde unité fonctionnelle est configurée pour appliquer un filtre de Kalman non linéaire à la série temporelle.In one embodiment, the signal comprising a time series of data, the second functional unit is configured to apply a nonlinear Kalman filter to the time series.
Par conséquent, les interactions entre le capteur de position et l’au moins une balise de position peuvent résulter en une série temporelle de données. Le dispositif de réalité virtuelle est alors apte à traiter et interpréter une telle série temporelle.Therefore, the interactions between the position sensor and the at least one position beacon can result in a time series of data. The virtual reality device is then able to process and interpret such a time series.
Dans un mode de réalisation, la seconde unité fonctionnelle est configurée pour déduire en temps réel au moins une valeur estimée de position du dispositif en fonction des mesures relatives aux interactions respectives entre le capteur de position et chacune desdites balises de position.In one embodiment, the second functional unit is configured to deduce in real time at least one estimated position value of the device as a function of the measurements relating to the respective interactions between the position sensor and each of said position beacons.
Par conséquent, le dispositif de réalité virtuelle est apte à interpréter les mesures relatives aux interactions entre le capteur de position et les balises de position de sorte à en déduire des données de position du dispositif dans l’environnement réel. En particulier, la pluralité des interactions entre le capteur de position et les balises de position permet au dispositif d’obtenir plusieurs valeurs de position, estimées de façons différentes. Par exemple, les interactions du capteur de position et des balises de position par ultra large bande peuvent fournir une première valeur estimée de position du dispositif et les interactions du capteur de position et des balises de position par infrarouge peuvent fournir une seconde valeur estimée de position du dispositif.Consequently, the virtual reality device is able to interpret the measurements relating to the interactions between the position sensor and the position beacons so as to deduce therefrom position data of the device in the real environment. In particular, the plurality of interactions between the position sensor and the position beacons allows the device to obtain several position values, estimated in different ways. For example, the interactions of the position sensor and the position beacons by ultra-wideband can provide a first estimated position value of the device and the interactions of the position sensor and the infrared position beacons can provide a second estimated position value. of the device.
Dans un mode de réalisation, le capteur de position étant configuré pour communiquer avec au moins quatre balises de repérage Ultra Large Bande, les mesures étant relatives à des distances respectives entre le capteur de position et chacune des balises de repérage Ultra Large Bande, la seconde unité fonctionnelle est configurée pour déterminer une première valeur estimée de position du dispositif par multilatération en fonction des distances.In one embodiment, the position sensor being configured to communicate with at least four Ultra Wide Band tracking beacons, the measurements being relative to respective distances between the position sensor and each of the Ultra Wide Band tracking beacons, the second functional unit is configured to determine a first estimated position value of the device by multilateration as a function of the distances.
Par conséquent, les interactions entre le capteur de position du dispositif et les balises de position permettent au dispositif de réalité virtuelle d’obtenir une première estimation de sa position dans l’environnement réel. Une telle première estimation de position est avantageusement obtenue en une dizaine de millisecondes de par la nature ultra courte des impulsions UWB. Une telle première estimation de position du dispositif peut être avantageusement obtenue quel que soit l’environnement réel (intérieur ou extérieur notamment) dans lequel se situe le dispositif et quel que soit le positionnement relatif du capteur de position par rapport au positionnement respectif de chacune des balises de position.Therefore, the interactions between the device's position sensor and the position beacons allow the virtual reality device to obtain a first estimate of its position in the real environment. Such a first position estimate is advantageously obtained in about ten milliseconds due to the ultra-short nature of the UWB pulses. Such a first position estimate of the device can be advantageously obtained regardless of the actual environment (interior or exterior in particular) in which the device is located and regardless of the relative positioning of the position sensor with respect to the respective positioning of each of the position beacons.
Dans un mode de réalisation, le capteur de position étant configuré pour communiquer avec au moins deux balises de repérage infrarouge, les mesures correspondant à des angles de rayonnement infrarouge respectifs entre le capteur de position et chacune desdites balises de repérage infrarouge, la seconde unité fonctionnelle est configurée pour déterminer une seconde valeur estimée de position du dispositif par triangulation en fonction desdits angles.In one embodiment, the position sensor being configured to communicate with at least two infrared tracking beacons, the measurements corresponding to respective infrared radiation angles between the position sensor and each of said infrared tracking beacons, the second functional unit is configured to determine a second estimated position value of the device by triangulation as a function of said angles.
Par conséquent, les interactions entre le capteur de position du dispositif et les balises de position permettent au dispositif de réalité virtuelle d’obtenir une seconde estimation de sa position dans l’environnement réel. En particulier, une telle seconde estimation de position est distincte de la première estimation de position obtenue.Therefore, the interactions between the device's position sensor and the position beacons allow the virtual reality device to obtain a second estimate of its position in the real environment. In particular, such a second position estimate is distinct from the first position estimate obtained.
Dans un mode de réalisation, le capteur d’orientation et le capteur de position étant en outre reliés à une troisième unité fonctionnelle du dispositif, ladite troisième unité fonctionnelle étant apte à exécuter un algorithme de fusion desdites données d’orientation et de position du dispositif, ladite troisième unité fonctionnelle est configurée pour estimer un positionnement du dispositif par fusion des données relatives à l’orientation du dispositif et à la position du dispositif respectivement.In one embodiment, the orientation sensor and the position sensor also being connected to a third functional unit of the device, said third functional unit being capable of executing an algorithm for merging said orientation and position data of the device , said third functional unit is configured to estimate a positioning of the device by merging data relating to the orientation of the device and to the position of the device respectively.
Dans un mode de réalisation, l’algorithme de fusion est appliqué sur:
- la valeur estimée d’orientation du dispositif,
- la première valeur estimée de position du dispositif, et
- la seconde valeur estimée de position du dispositif,
de sorte à obtenir le positionnement estimé du dispositif.In one embodiment, the fusion algorithm is applied on:
- the estimated orientation value of the device,
- the first estimated position value of the device, and
- the second estimated position value of the device,
so as to obtain the estimated positioning of the device.
Par conséquent, la troisième unité fonctionnelle, désignée également par « module de positionnement » du dispositif de réalité virtuelle est apte à déduire un positionnement en temps réel du dispositif dans l’environnement réel. Un tel positionnement peut notamment comprendre une estimation d’une orientation du dispositif dans l’environnement réel et une position (ou localisation) du dispositif dans l’environnement réel. En particulier, le procédé permet avantageusement d’obtenir une estimation de la position prenant en compte plusieurs valeurs estimées de position. Une telle fusion des données permet de réduire l’incertitude, l’imprécision et le bruit liées notamment aux mesures des capteurs d’orientation et de position du dispositif de réalité virtuelle.Consequently, the third functional unit, also referred to as "positioning module" of the virtual reality device is able to deduce a real-time positioning of the device in the real environment. Such positioning may in particular comprise an estimation of an orientation of the device in the real environment and a position (or location) of the device in the real environment. In particular, the method advantageously makes it possible to obtain an estimate of the position taking into account several estimated position values. Such a fusion of data makes it possible to reduce the uncertainty, inaccuracy and noise associated in particular with the measurements of the orientation and position sensors of the virtual reality device.
Dans un mode de réalisation, le dispositif étant en outre relié à une interface de communication apte à recevoir au moins des données de modélisation en provenance d’un serveur distant, le dispositif est configuré pour afficher le contenu virtuel en fonction du positionnement estimé et des données de modélisation.In one embodiment, the device being also connected to a communication interface capable of receiving at least modeling data from a remote server, the device is configured to display the virtual content according to the estimated positioning and the modeling data.
Par conséquent, le dispositif de réalité est apte à diffuser un contenu virtuel spécifique sur l’écran d’affichage du dispositif, la spécificité d’un tel contenu virtuel étant adapté au positionnement du dispositif tel qu’estimé par le module de positionnement du dispositif.Consequently, the reality device is capable of broadcasting specific virtual content on the display screen of the device, the specificity of such virtual content being adapted to the positioning of the device as estimated by the positioning module of the device .
Dans un mode de réalisation, le dispositif comprend un moteur graphique.In one embodiment, the device includes a graphics engine.
Par conséquent, le dispositif de réalité virtuelle présente une autonomie de traitement et de diffusion du contenu virtuel affiché.Consequently, the virtual reality device has autonomy in processing and broadcasting the displayed virtual content.
Dans un mode de réalisation, le contenu virtuel affiché comprend un marquage associé à une détection d’au moins une donnée d’orientation prédéfinie parmi lesdites données d’orientation et d’au moins une donnée de position prédéfinie parmi lesdites données de position du dispositif.In one embodiment, the virtual content displayed comprises a marking associated with a detection of at least one predefined orientation datum among said orientation data and at least one predefined position datum among said position data of the device .
Par conséquent, le dispositif de réalité virtuelle peut, de façon autonome, modifier et adapter le contenu virtuel affiché, par exemple en incluant au contenu virtuel un marquage spécifiquement positionné. Un tel marquage peut être relié au positionnement tel qu’estimé par le dispositif.Consequently, the virtual reality device can autonomously modify and adapt the virtual content displayed, for example by including a specifically positioned marking in the virtual content. Such marking can be related to the positioning as estimated by the device.
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :Other characteristics, details and advantages will appear on reading the detailed description below, and on analyzing the appended drawings, in which:
Fig. 1Fig. 1
Fig. 2Fig. 2
Fig. 3Fig. 3
Fig. 4Fig. 4
Claims (18)
- un écran d’affichage (AFF), et
- un capteur d’orientation (CAPT-O) configuré pour fournir en sortie des données d’orientation du dispositif (EQ) au sein d’un environnement réel (ENV),
caractérisé en ce que :
le dispositif (EQ) comprend en outre au moins un capteur de position (CAPT-L) distinct du capteur d’orientation (CAPT-O), ledit capteur de position (CAPT-L) étant configuré pour communiquer avec au moins une balise de position (Ax1-Ax4, Bx1, Bx2) fixe au sein de l’environnement réel (ENV), de sorte à fournir en sortie des données de position du dispositif (EQ) par rapport à l’environnement réel (ENV),
le dispositif (EQ) étant configuré pour afficher, en temps réel, un contenu virtuel associé à l’environnement réel (ENV) via l’écran d’affichage (AFF), ledit contenu virtuel affiché dépendant desdites données d’orientation et desdites données de position.Virtual reality device (EQ) comprising at least:
- a display screen (AFF), and
- an orientation sensor (CAPT-O) configured to output device orientation data (EQ) within a real environment (ENV),
characterized in that:
the device (EQ) further comprises at least one position sensor (CAPT-L) distinct from the orientation sensor (CAPT-O), said position sensor (CAPT-L) being configured to communicate with at least one beacon of fixed position (Ax1-Ax4, Bx1, Bx2) within the real environment (ENV), so as to output device position data (EQ) relative to the real environment (ENV),
the device (EQ) being configured to display, in real time, a virtual content associated with the real environment (ENV) via the display screen (AFF), said displayed virtual content depending on said orientation data and on said data of position.
- un gyroscope et/ou un gyromètre (GYR), et
- un accéléromètre (ACC).Device (EQ) according to claim 1, in which the orientation sensor (CAPT-O) comprises at least:
- a gyroscope and/or a gyrometer (GYR), and
- an accelerometer (ACC).
- la valeur estimée d’orientation du dispositif (EQ),
- la première valeur estimée de position du dispositif (EQ), et
- la seconde valeur estimée de position du dispositif (EQ),
de sorte à obtenir le positionnement estimé du dispositif (EQ).Device (EQ) according to Claim 13 taken in combination with Claims 4, 11 and 12, in which the said fusion algorithm is applied to:
- the estimated orientation value of the device (EQ),
- the first estimated position value of the device (EQ), and
- the second estimated position value of the device (EQ),
so as to obtain the estimated positioning of the device (EQ).
- un écran d’affichage (AFF),
- un capteur d’orientation (CAPT-O), et
- un capteur de position (CAPT-L) distinct du capteur d’orientation (CAPT-O),
le procédé comprenant :
a) une génération de données d’orientation du dispositif (EQ) au sein d’un environnement réel (ENV) en fonction de signaux issus du capteur d’orientation (CAPT-O),
b) une génération de données de position du dispositif (EQ) au sein de l’environnement réel (ENV) en fonction de signaux issus du capteur de position (CAPT-L), lesdits signaux issus du capteur de position (CAPT-L) étant générés par :
b1) une communication dudit capteur de position (CAPT-L) avec au moins une balise de position fixe au sein de l’environnement réel (ENV),
c) un affichage en temps réel d’un contenu virtuel associé à l’environnement réel (ENV) via l’écran d’affichage (AFF), ledit contenu virtuel affiché étant fonction au moins desdites données d’orientation et desdites données de position du dispositif (EQ).Method implemented by a virtual reality device (EQ), said device comprising at least:
- a display screen (AFF),
- an orientation sensor (CAPT-O), and
- a position sensor (CAPT-L) separate from the orientation sensor (CAPT-O),
the method comprising:
a) generation of device orientation data (EQ) within a real environment (ENV) based on signals from the orientation sensor (CAPT-O),
b) generation of device position data (EQ) within the real environment (ENV) as a function of signals from the position sensor (CAPT-L), said signals from the position sensor (CAPT-L) being generated by:
b1) communication of said position sensor (CAPT-L) with at least one fixed position beacon within the real environment (ENV),
c) real-time display of virtual content associated with the real environment (ENV) via the display screen (AFF), said displayed virtual content being a function of at least said orientation data and said position data of the device (EQ).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2112136A FR3129232B1 (en) | 2021-11-17 | 2021-11-17 | Navigation interface in virtual environment |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2112136A FR3129232B1 (en) | 2021-11-17 | 2021-11-17 | Navigation interface in virtual environment |
| FR2112136 | 2021-11-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3129232A1 true FR3129232A1 (en) | 2023-05-19 |
| FR3129232B1 FR3129232B1 (en) | 2023-11-03 |
Family
ID=79171278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2112136A Active FR3129232B1 (en) | 2021-11-17 | 2021-11-17 | Navigation interface in virtual environment |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3129232B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030045816A1 (en) * | 1998-04-17 | 2003-03-06 | Massachusetts Institute Of Technology, A Massachusetts Corporation | Motion tracking system |
| US20160131761A1 (en) * | 2014-11-10 | 2016-05-12 | Valve Corporation | Positional tracking systems and methods |
| US20200265644A1 (en) * | 2018-09-12 | 2020-08-20 | Limited Liability Company "Transinzhkom" | Method and system for generating merged reality images |
-
2021
- 2021-11-17 FR FR2112136A patent/FR3129232B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030045816A1 (en) * | 1998-04-17 | 2003-03-06 | Massachusetts Institute Of Technology, A Massachusetts Corporation | Motion tracking system |
| US20160131761A1 (en) * | 2014-11-10 | 2016-05-12 | Valve Corporation | Positional tracking systems and methods |
| US20200265644A1 (en) * | 2018-09-12 | 2020-08-20 | Limited Liability Company "Transinzhkom" | Method and system for generating merged reality images |
Non-Patent Citations (1)
| Title |
|---|
| MADGWICK SEBASTIAN O H: "An efficient orientation filter for inertial and inertial/magnetic sensor arrays", 30 April 2010 (2010-04-30), XP055919095, Retrieved from the Internet <URL:https://www.samba.org/tridge/UAV/madgwick_internal_report.pdf> [retrieved on 20220509] * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3129232B1 (en) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10937191B2 (en) | Predictive simultaneous localization and mapping system using prior user session positional information | |
| EP3273318B1 (en) | Autonomous system for collecting moving images by a drone with target tracking and improved target positioning | |
| EP1886517B1 (en) | Method and device for locating a terminal in a wireless local area network | |
| EP1984696B1 (en) | Motion capture device and associated method | |
| FR3012597B1 (en) | INTERNAL AND EXTERNAL LOCALIZATION METHOD AND PORTABLE DEVICE IMPLEMENTING SAID METHOD | |
| CA2615042C (en) | Method and device for determining the ground position of a mobile object, in particular an aircraft on an airport | |
| WO2003085357A2 (en) | Device for rotational motion capture of a solid | |
| FR2836215A1 (en) | Portable object photogrammetry system has gyrometer and accelerometer sets | |
| EP2353024A1 (en) | Method for geolocating an object by multitelemetry | |
| FR2854301A1 (en) | Video camera position coordinates transmitting process, involves acquiring data signals during movement of video camera along trajectory for transmitting to sub-system having processing unit to process data | |
| EP3227705A1 (en) | Electronic device for the near locating of a terrestrial object, and method of locating such an object | |
| EP3045919A1 (en) | System and method for estimating speed of a vehicle | |
| FR2999303A1 (en) | METHOD OF GEO PRECISE LOCATION OF AN ON-BOARD IMAGE SENSOR ABOVE AN AIRCRAFT | |
| US11536857B2 (en) | Surface tracking on a survey pole | |
| FR2975783A1 (en) | METHOD AND SYSTEM FOR TRACKING A MOBILE UNIT BY A TRACKING DEVICE | |
| FR3129232A1 (en) | Navigation interface in virtual environment | |
| FR3104290A1 (en) | SIMULATION BINOCULARS, AND SIMULATION SYSTEM AND METHODS | |
| EP1788357A1 (en) | System for locating pedestrian user | |
| US11175134B2 (en) | Surface tracking with multiple cameras on a pole | |
| WO2004083767A2 (en) | Method for sighting or aiming | |
| EP3109668A1 (en) | Handheld apparatus for a visually impaired user | |
| FR2939191A1 (en) | DEVICE AND METHOD FOR ASSISTING THE GUIDANCE OF A PIECE IN DIFFICULTY OF VISUAL PERCEPTION, SUCH AS AN INDEPENDENT PERSON | |
| EP3655725A1 (en) | Method for estimating the movement of an object moving in a magnetic field environment | |
| WO2022019128A1 (en) | Information processing device, information processing method, and computer-readable recording medium | |
| EP4078086A1 (en) | Surface tracking with multiple cameras on a pole |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20230519 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |