FR3124280A1 - Laser calibration module for virtual reality and augmented reality - Google Patents
Laser calibration module for virtual reality and augmented reality Download PDFInfo
- Publication number
- FR3124280A1 FR3124280A1 FR2106469A FR2106469A FR3124280A1 FR 3124280 A1 FR3124280 A1 FR 3124280A1 FR 2106469 A FR2106469 A FR 2106469A FR 2106469 A FR2106469 A FR 2106469A FR 3124280 A1 FR3124280 A1 FR 3124280A1
- Authority
- FR
- France
- Prior art keywords
- laser
- environment
- user
- points
- allowing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 16
- 230000002093 peripheral effect Effects 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 24
- 238000013481 data capture Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000001179 pupillary effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
L’invention concerne un dispositif équipé d’un laser autonome se fixant sur un périphérique de réalité virtuelle ou de réalité augmentée, permettant la projection d’un rayon laser dans l’environnement réel afin de spatialiser des points de correspondance entre le monde réel et l’environnement virtuel. Figure pour l’abrégé : Fig 1The invention relates to a device equipped with an autonomous laser which is attached to a virtual reality or augmented reality peripheral, allowing the projection of a laser beam into the real environment in order to spatialize points of correspondence between the real world and the virtual environment. Figure for abstract: Fig 1
Description
La présente invention concerne un module permettant la génération de points spatialisés se fixant sur un périphérique de réalité virtuelle ou de réalité augmentée (
Les périphériques de réalité virtuelle ou de réalité augmentée actuellement sur le marché sont en mesure de connaitre leur position en se spatialisant dans l’environnement réel, mais ils ne sont pas en mesure de déterminer précisément un point de référence entre ce monde réel et un monde virtuel.Virtual reality or augmented reality peripherals currently on the market are able to know their position by spatializing themselves in the real environment, but they are not able to precisely determine a point of reference between this real world and a world virtual.
A ce jour, il existe deux solutions pour définir une correspondance spatialisée entre le monde réel et le monde virtuel.To date, there are two solutions for defining a spatialized correspondence between the real world and the virtual world.
La première solution consiste à l’utilisation de marqueurs visuels. Cette solution contraint l’utilisateur à devoir placer au préalable des marqueurs visuels sur le modèle réel. Ces marqueurs ne doivent pas être situés loin du champ visuel de l’utilisateur pour être efficaces.The first solution consists in the use of visual markers. This solution forces the user to first place visual markers on the real model. These markers must not be located far from the user's field of vision to be effective.
La seconde solution consiste à l’utilisation d’un traitement logiciel du flux vidéo du périphérique de réalité virtuelle ou de réalité augmentée. Cette solution fonctionne sur la détection des contours de l’objet et demande une préparation du modèle 3D. Pour le bon fonctionnement de cette solution, l’utilisateur doit pouvoir tourner autour de l’objet. Cela ne fonctionne pas dans un environnement où l’utilisateur est placé au centre.The second solution consists in the use of software processing of the video stream of the virtual reality or augmented reality device. This solution works on the detection of the contours of the object and requires a preparation of the 3D model. For this solution to work properly, the user must be able to turn around the object. This does not work in an environment where the user is placed in the center.
Ce module de calibration laser permet la calibration au travers d’un positionnement de points dans l’espace sous les six degrés de liberté (
Le module de calibration laser selon l’invention permet de remédier aux inconvénients des solutions actuellement utilisées. Son principe de fonctionnement permet à l’utilisateur de la solution d’éviter la phase de préparation de son environnement. Le placement de marqueurs visuels dans l’environnement n’est plus nécessaire.The laser calibration module according to the invention overcomes the drawbacks of the solutions currently used. Its operating principle allows the user of the solution to avoid the preparation phase of his environment. Placing visual markers in the environment is no longer necessary.
Le module de calibration laser est pourvu d’un système d’éclairage par LED (
Ce complément d’éclairage permet de stabiliser la spatialisation des périphériques de réalité virtuelle et de réalité augmentée en environnement dégradé, dépourvu d’éclairage.The laser calibration module is equipped with an LED lighting system (
This additional lighting makes it possible to stabilize the spatialization of virtual reality and augmented reality peripherals in a degraded environment, devoid of lighting.
Le module de calibration laser permet de corriger la dérive des projections 3D, engendrée par la différence entre les écarts pupillaires des utilisateurs. Ce dispositif fonctionne en projetant une première fois le laser pour effectuer une mesure de distance proche et enregistre simultanément la convergence oculaire fournie par capteur d’oculométrie (eye tracking). Un deuxième point de mesure est effectué à une distance plus lointaine avec la prise simultanée de la nouvelle mesure de la convergence oculaire de l’utilisateur. Cette captation de données permet le calcul de la dérive de position qui doit être appliquée aux objets 3D à afficher, en fonction de leur distance de l’utilisateur.The laser calibration module makes it possible to correct the drift of the 3D projections, generated by the difference between the pupillary distances of the users. This device works by first projecting the laser to perform a close distance measurement and simultaneously records the ocular convergence provided by the eye tracking sensor. A second measurement point is taken at a further distance with the simultaneous taking of the new measurement of the user's ocular convergence. This data capture allows the calculation of the position drift that must be applied to the 3D objects to be displayed, depending on their distance from the user.
Le module de calibration laser permet de corriger les dérives de spatialisation subies par les périphériques de RA/RV sur des distances de plus de 5 mètres. A la détection de la limite de perte de précision, le module signale à l’utilisateur la nécessité de prendre un nouveau point de mesure pour calculer et corriger la dérive spatiale du périphérique.The laser calibration module is used to correct the spatialization drifts suffered by AR/VR peripherals over distances of more than 5 meters. Upon detection of the limit of loss of precision, the module signals the user the need to take a new measurement point to calculate and correct the spatial drift of the device.
Le module de calibration laser permet d’effectuer des mesures de distance autorisant les déplacements de l’utilisateur entre la saisie des points de mesure. Le segment de la mesure peut être généré au travers de la matière.The laser calibration module is used to perform distance measurements allowing the user to move between entering measurement points. The measurement segment can be generated through the material.
Le module de calibration laser permet de générer des points spatialisés afin d’établir une correspondance entre un environnement virtuel et un environnement réel.The laser calibration module makes it possible to generate spatialized points in order to establish a correspondence between a virtual environment and a real environment.
Le module de calibration laser permet de modéliser des volumes 3D en générant les surfaces du volume au travers des points spatialisés captés dans l’environnement réel par le laser.The laser calibration module makes it possible to model 3D volumes by generating the surfaces of the volume through the spatialized points captured in the real environment by the laser.
Le module de calibration laser est équipé d’un dispositif de télécommande amovible intégrée, permettant à l’utilisateur d’enregistrer les points projetés par le laser en gardant la tête immobile. Ceci afin d’éviter les imprécisions de la saisie qui pourraient être engendrés par le contact de la main sur la zone de la tête.The laser calibration module is equipped with an integrated removable remote control device, allowing the user to record the points projected by the laser while keeping their head still. This is to avoid inaccuracies in the input that could be caused by the contact of the hand on the head area.
Le module de calibration laser est équipé d’un dispositif amovible (
Les casques de réalité augmentée présentent un défaut de précision lors de la superposition des objets 3D sur leur écran. Ce manque de précision résulte d’une différence entre les écarts pupillaires des utilisateurs. Les écrans des casques AR/VR projettent deux images différentes permettant la perception du relief. Ils ne peuvent cependant pas déterminer un point de focus adaptable dynamiquement.Augmented reality headsets have a lack of precision when superimposing 3D objects on their screen. This lack of precision results from a difference between the pupillary distances of the users. The screens of AR/VR helmets project two different images allowing the perception of relief. They cannot, however, determine a dynamically adaptable focus point.
Le module de calibration laser selon l’invention permet grâce à la prise de deux points de mesure de calculer la dérive du positionnement des objets en fonction du focus visuel de l’utilisateur. Ce dispositif fonctionne en projetant une première fois le laser pour effectuer une mesure de distance proche et enregistre simultanément la convergence oculaire fournie par le capteur d’oculométrie des yeux (eye tracking). Un deuxième point de mesure est effectué à une distance plus lointaine avec la prise simultanée de la nouvelle mesure de l’oculométrie. Cette captation de données permet le calcul de la dérive de position qui doit être appliquée aux objets 3D à afficher, en fonction la distance de l’utilisateur.
Mode de fonctionnement de la calibration sur modèle réel. The laser calibration module according to the invention makes it possible, by taking two measurement points, to calculate the drift in the positioning of the objects as a function of the visual focus of the user. This device works by first projecting the laser to perform a close distance measurement and simultaneously records the ocular convergence provided by the eye tracking sensor. A second measurement point is taken at a further distance with the simultaneous taking of the new eye tracking measurement. This data capture allows the calculation of the position drift which must be applied to the 3D objects to be displayed, depending on the distance from the user.
Actual model calibration operating mode.
Le module de calibration laser simplifie la calibration par l’utilisateur des points de correspondance entre le monde réel et le monde virtuel. L’utilisateur active le mode calibration, ce qui lui permet de visualiser le point du laser projeté dans le monde réel. L’utilisateur pointe le laser sur au minimum deux points de référence dans l’environnement réel. La mesure de distance obtenue est mise en relation avec la spatialisation existante calculée par le périphérique de réalité virtuelle ou de réalité augmentée. Le résultat de cette opération, permet de calculer précisément les points de référence entre le monde réel et le mode virtuel. Le périphérique ainsi calibré peut être utilisé sans la mesure du laser et continuer son suivi spatialisé de l’environnement. Cette calibration est sauvegardée et n’a pas besoin d’être de nouveau effectuée lors des cessions ultérieures. Ces points de référence seront automatiquement importés sur le modèle 3D et utilisables dans l’application 3D hors site.
Création externalisée de la calibration sur un modèle virtuel. The laser calibration module simplifies the calibration by the user of the correspondence points between the real world and the virtual world. The user activates the calibration mode, which allows him to visualize the point of the laser projected in the real world. The user points the laser at at least two reference points in the real environment. The distance measurement obtained is related to the existing spatialization calculated by the virtual reality or augmented reality peripheral. The result of this operation makes it possible to precisely calculate the reference points between the real world and the virtual mode. The device thus calibrated can be used without measuring the laser and continue its spatial monitoring of the environment. This calibration is saved and does not need to be performed again during subsequent sessions. These reference points will automatically be imported to the 3D model and usable in the offsite 3D application.
Outsourced creation of the calibration on a virtual model.
L’utilisateur peut préparer les points de calibration avant sa visite sur le site au travers d’une application. L’utilisateur visualise le modèle 3D de référence, il marque sur le modèle 3D les points de calibration qu’il choisit, et transfère le modèle sur le périphérique de réalité virtuelle ou de réalité augmentée.The user can prepare the calibration points before his visit to the site through an application. The user visualizes the 3D reference model, he marks on the 3D model the calibration points he chooses, and transfers the model to the virtual reality or augmented reality device.
Sur site, l’utilisateur au travers du périphérique RV-RA visualise le modèle 3D avec ces points de calibration. L’utilisateur pointe le laser sur les points correspondants sur le modèle réel, ce qui génère automatiquement la correspondance entre le modèle réel et le modèle virtuel.On site, the user through the RV-RA device visualizes the 3D model with these calibration points. The user points the laser at the corresponding points on the real model, which automatically generates the correspondence between the real model and the virtual model.
Marquage de points.Scoring points.
L’utilisateur peut grâce au module laser générer autant de points souhaités dans son environnement et y associer des notes, des photos, des vidéos, des documents, des liens via une base de données externe ou interne. Ces points peuvent être importés dans l’application et pourront être déplacés ou agrémentés des éléments cités dans ce paragraphe.
Visualisation des points dans l’environnement réel. Thanks to the laser module, the user can generate as many points as desired in his environment and associate notes, photos, videos, documents, links via an external or internal database. These points can be imported into the application and can be moved or embellished with the elements mentioned in this paragraph.
Visualization of points in the real environment.
L’utilisateur après avoir effectué sa calibration pourra visualiser en superposition au travers de son périphérique de RV-RA tous les points spatialisés présents dans l’environnement virtuel.
Superposition d’objet 3D dans l’environnement réel. The user after having carried out his calibration will be able to visualize in superposition through his peripheral of VR-RA all the spatialized points present in the virtual environment.
3D object overlay in the real environment.
Le module de calibration laser permet de générer un référentiel de spatialisation rendant la superposition d’objet 3D précise sur le modèle réel. Ce référentiel est défini par la position des points mesurés par le laser et les points identifiés sur le modèle 3D.The laser calibration module makes it possible to generate a spatialization reference making the superposition of 3D objects precise on the real model. This reference frame is defined by the position of the points measured by the laser and the points identified on the 3D model.
Mesure de distance spatialisée.Spatialized distance measurement.
Le module de calibration laser permet d’effectuer des mesures de l’environnement en autorisant les déplacements de l’utilisateur. Grâce au module de calibration laser, l’utilisateur peut prendre un premier point de mesure, se déplacer dans son environnement, et prendre un deuxième point de mesure. Par exemple, l’utilisateur peut facilement mesurer la distance entre deux points situés dans des pièces séparées par des cloisons.The laser calibration module makes it possible to take measurements of the environment by allowing the user to move around. Thanks to the laser calibration module, the user can take a first measurement point, move around in his environment, and take a second measurement point. For example, the user can easily measure the distance between two points located in rooms separated by partitions.
Claims (10)
Ce complément d’éclairage permet de stabiliser la spatialisation des périphériques de réalité virtuelle et de réalité augmentée en environnement dégradé, dépourvu d’éclairage.Additional lighting device integrated in the module. The laser calibration module is equipped with an LED lighting system, allowing the user to work in a dark environment. The management of this lighting is controlled by a light sensor which adapts the lighting power in real time according to the natural lighting of the environment.
This additional lighting makes it possible to stabilize the spatialization of virtual reality and augmented reality peripherals in a degraded environment, devoid of lighting.
Removable remote control device integrated into the laser module, allowing the user to record the points projected by the laser while keeping their head still. This is to avoid inaccuracies in the input which could be caused by the contact of the hand on the head area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2106469A FR3124280A1 (en) | 2021-06-18 | 2021-06-18 | Laser calibration module for virtual reality and augmented reality |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2106469A FR3124280A1 (en) | 2021-06-18 | 2021-06-18 | Laser calibration module for virtual reality and augmented reality |
FR2106469 | 2021-06-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
FR3124280A1 true FR3124280A1 (en) | 2022-12-23 |
Family
ID=81851659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR2106469A Pending FR3124280A1 (en) | 2021-06-18 | 2021-06-18 | Laser calibration module for virtual reality and augmented reality |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR3124280A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050270494A1 (en) * | 2004-05-28 | 2005-12-08 | Banning Erik J | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
US20180181195A1 (en) * | 2016-12-22 | 2018-06-28 | ReScan, Inc. | Head-Mounted Sensor System |
US20200192089A1 (en) * | 2010-02-28 | 2020-06-18 | Microsoft Technology Licensing, Llc | Head-worn adaptive display |
JP2020148712A (en) * | 2019-03-15 | 2020-09-17 | 東芝インフォメーションシステムズ株式会社 | Ranging system, ranging device, and arrangement method |
CA3141746A1 (en) * | 2019-03-21 | 2020-09-24 | Forsberg Services Ltd | Improvements in and relating to targeting |
-
2021
- 2021-06-18 FR FR2106469A patent/FR3124280A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050270494A1 (en) * | 2004-05-28 | 2005-12-08 | Banning Erik J | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
US20200192089A1 (en) * | 2010-02-28 | 2020-06-18 | Microsoft Technology Licensing, Llc | Head-worn adaptive display |
US20180181195A1 (en) * | 2016-12-22 | 2018-06-28 | ReScan, Inc. | Head-Mounted Sensor System |
JP2020148712A (en) * | 2019-03-15 | 2020-09-17 | 東芝インフォメーションシステムズ株式会社 | Ranging system, ranging device, and arrangement method |
CA3141746A1 (en) * | 2019-03-21 | 2020-09-24 | Forsberg Services Ltd | Improvements in and relating to targeting |
Non-Patent Citations (1)
Title |
---|
LEONET CHRISTEL ET AL: "In-situ interactive modeling using a single-point laser rangefinder coupled with a new hybrid orientation tracker", 2013 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR), IEEE, 1 October 2013 (2013-10-01), pages 269 - 270, XP032534779, DOI: 10.1109/ISMAR.2013.6671799 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10699439B2 (en) | Method and an apparatus for determining a gaze point on a three-dimensional object | |
US20160173864A1 (en) | Pickup of objects in three-dimensional display | |
JP2012181202A5 (en) | ||
US20100091301A1 (en) | Three-dimensional shape measurement photographing apparatus, method, and program | |
JP2012181202A (en) | Method for supplying survey data using surveying device | |
JP2010540970A (en) | Integrated object capturing system, display device, and related method | |
EP3330928A1 (en) | Image generation device, image generation system, and image generation method | |
US20190318201A1 (en) | Methods and systems for shape based training for an object detection algorithm | |
JP6157170B2 (en) | Monitoring support system | |
CN114846518A (en) | Augmented reality headset for medical imaging | |
KR20150102941A (en) | Method for helping determine the vision parameters of a subject | |
JP2021533465A (en) | Visualization system with interpupillary distance compensation based on head movement | |
JP2004024739A (en) | Method and apparatus for three-dimensional display and coordinate measurement of fundus oculi | |
JP2020071065A (en) | Measured data collecting device and program | |
FR3124280A1 (en) | Laser calibration module for virtual reality and augmented reality | |
JP3711053B2 (en) | Line-of-sight measurement device and method, line-of-sight measurement program, and recording medium recording the program | |
TWI664576B (en) | Head mounted device and control method | |
CN113242710A (en) | Method and apparatus for determining a refractive characteristic of an eye of a subject | |
WO2021237952A1 (en) | Augmented reality display system and method | |
US20220296096A1 (en) | Process for determining ophthalmic parameters by 3d mapping | |
US11393360B2 (en) | Skill training device and skill training method | |
CA3110696A1 (en) | Augmented reality visualizer and measurement system for swimming pool components | |
CN113597603A (en) | Data processing method, device, equipment and storage medium | |
JP2017103638A (en) | Observation region estimation method, observation region estimation device, and program | |
JP7049636B1 (en) | Information processing equipment, programs, systems, and information processing methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20221223 |
|
PLFP | Fee payment |
Year of fee payment: 4 |