FR3066838A1 - SPACE ENHANCED REALITY OFFICE LAMINATING VIRTUAL CONTENT FOR ILLUSION AND CONTROL OF VIRTUAL 3D OBJECTS DIRECTLY IN THE USER ENVIRONMENT - Google Patents
SPACE ENHANCED REALITY OFFICE LAMINATING VIRTUAL CONTENT FOR ILLUSION AND CONTROL OF VIRTUAL 3D OBJECTS DIRECTLY IN THE USER ENVIRONMENT Download PDFInfo
- Publication number
- FR3066838A1 FR3066838A1 FR1770555A FR1770555A FR3066838A1 FR 3066838 A1 FR3066838 A1 FR 3066838A1 FR 1770555 A FR1770555 A FR 1770555A FR 1770555 A FR1770555 A FR 1770555A FR 3066838 A1 FR3066838 A1 FR 3066838A1
- Authority
- FR
- France
- Prior art keywords
- user
- geometry
- environment
- augmented reality
- lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000010030 laminating Methods 0.000 title 1
- 230000003190 augmentative effect Effects 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 10
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 6
- 230000002349 favourable effect Effects 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims 1
- 238000013459 approach Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Lampe de bureau de réalité augmentée spatiale projetant du contenu virtuel permettant l'illusion et le contrôle d'objets 3D virtuels directement dans l'environnement de l'utilisateur. La lampe comprend un picoprojecteur à focale ultra courte (ultra short throw), une caméra infrarouge en tête de lampe, une caméra infrarouge très grand angle également en tête de lampe - formant un système stéréo avec le première caméra - configurée à la fois pour suivre la position du visage de l'utilisateur et pour capturer la géométrie de l'environnement en temps réel. Les données de géométrie en temps réel et de position du visage de l'utilisateur en temps réel permettent toutes les interactions de réalité augmentée spatiale. La lampe intègre un système de microphones qui permet des interactions vocales, qui - combinées aux interactions de réalité augmentée spatiale - sont utilisées pour projeter un assistant intelligent virtuel en 3D. Le dispositif selon l'invention est particulièrement destiné à l'industrie de la maison intelligente et à l'industrie automobile.Spatially augmented reality desk lamp projecting virtual content for the illusion and control of virtual 3D objects directly into the user's environment. The lamp includes an ultra short throw picoprojector, an infrared camera at the top of the lamp, a very wide angle infrared camera also at the top of the lamp - forming a stereo system with the first camera - configured both to follow the position of the user's face and to capture the geometry of the environment in real time. The real-time geometry data and the real-time user's face position enable all the augmented-reality-spatial interactions. The lamp incorporates a microphone system that allows for voice interactions, which - combined with spatial augmented reality interactions - are used to project a virtual intelligent assistant in 3D. The device according to the invention is particularly intended for the smart home industry and the automotive industry.
Description
La présente invention concerne les systèmes de réalité augmentée spatiale qui enrichissent l’environnement réel de l’utilisateur en y projetant directement des objets 3D virtuels grâce à un vidéo projecteur. Ces systèmes peuvent comprendre un ou plusieurs capteurs configurés pour capturer la géométrie de l’environnement. Ces systèmes peuvent comprendre un ou plusieurs capteurs configurés pour déterminer la position dans l’espace du visage de l’utilisateur. Ces systèmes comprennent un ou plusieurs projecteurs. L’image à projeter est déformée en fonction de la position de l’utilisateur et de la géométrie de l’environnement de façon à créer un trompe-l’œil en temps réel du point de vue de l’utilisateur : l’utilisateur voit un objet virtuel en 3D depuis sa perspective.The present invention relates to spatial augmented reality systems which enrich the real environment of the user by directly projecting virtual 3D objects therein using a video projector. These systems may include one or more sensors configured to capture the geometry of the environment. These systems may include one or more sensors configured to determine the position in space of the user's face. These systems include one or more projectors. The image to be projected is distorted according to the position of the user and the geometry of the environment so as to create a trompe-l'oeil in real time from the point of view of the user: the user sees a virtual 3D object from its perspective.
Il est connu de l’état de la technique un dispositif ayant fait l’objet de notre demande de brevet à ΙΊΝΡΙ n°17 70276. Cette demande décrit une lampe de bureau portable pour la réalité augmentée spatiale fondée sur un picoprojecteur à focale ultra courte (picoprojecteur ultra short throw de throw ratio non supérieur à 0.5) placé en tête de la lampe, un capteur configuré pour capturer la géométrie de l’environnement placé en tête de la lampe, ainsi qu’un ensemble de caméras très grand angle - dites fisheye - infrarouges placées au bout de la base de la lampe configurées pour suivre la position du visage de l’utilisateur dans l’espace. Un ensemble de LEDs infrarouges éclaire l’environnement dans le domaine de longueur d’onde de l’infrarouge et ainsi réduit l’influence des conditions d’éclairage sur le suivi du visage de l’utilisateur permettant de créer l’illusion d’objets 3D. Ce dispositif a pour limite de reposer sur une architecture qui ne permet pas la polyvalence des capteurs : les caméras infrarouges au bout de la lampe ne peuvent pas observer la surface de travail de l’utilisateur.It is known from the state of the art a device which was the subject of our patent application at 17 n ° 17 70276. This application describes a portable desk lamp for spatial augmented reality based on an ultra short throw picoprojector (ultra short throw throw ratio picoprojector no higher than 0.5) placed at the head of the lamp, a sensor configured to capture the geometry of the environment placed at the head of the lamp, as well as a set of very wide angle cameras - called fisheye - infrared placed at the end of the base of the lamp configured to follow the position of the user's face in space. A set of infrared LEDs illuminates the environment in the infrared wavelength range and thus reduces the influence of lighting conditions on the tracking of the user's face, allowing the illusion of objects to be created. 3D. This device has the limit of being based on an architecture that does not allow the versatility of the sensors: the infrared cameras at the end of the lamp cannot observe the work surface of the user.
La présente invention vise à perfectionner la lampe décrite dans notre demande de brevet précédente, et propose une nouvelle architecture de lampe de bureau portable pour la réalité augmentée spatiale qui optimise le processus d’acquisition des données et réduit le nombre de caméras nécessaires pour créer l’expérience de réalité augmentée spatiale. Ce dispositif est composé d’un picoprojecteur à focale ultra courte (picoprojecteur ultra short throw de throw ratio non supérieur à 0.5), d’une caméra infrarouge très grand angle (fisheye) en haut de la lampe, d’une deuxième caméra infrarouge accolée à la première caméra et inclinée de façon à observer la surface de projection et à créer un système de vision stéréo avec la première caméra, ainsi que des LEDs infrarouges positionnées au niveau de la face avant de la lampe pour éclairer l’environnement dans le domaine de longueur d’onde de l’infrarouge. La première caméra observe avec un très grand champ de vision à la fois la surface de projection ainsi que le visage de l’utilisateur quelle que soit sa position lorsqu’il fait face à la lampe. La première caméra est polyvalente car elle permet à la fois le suivi du visage de l’utilisateur par l’image - quelle que soit sa position dans le demi espace délimité par la lampe - et l’analyse de la géométrie de la surface de projection. La lampe dont les capteurs se limitent à deux capteurs bas coûts : deux caméras infrarouges, est capable d’offrir une expérience complète de réalité augmentée spatiale : les données de position du visage de l’utilisateur et les données de géométrie de l’environnement requises par la pipeline 3D de réalité augmentée spatiale sont connues en temps réel.The present invention aims to improve the lamp described in our previous patent application, and proposes a new portable desk lamp architecture for augmented spatial reality which optimizes the data acquisition process and reduces the number of cameras necessary to create the spatial augmented reality experience. This device is composed of an ultra short throw picoprojector (ultra short throw throw ratio picoprojector no higher than 0.5), a very wide angle infrared camera (fisheye) at the top of the lamp, a second infrared camera attached to the first camera and tilted so as to observe the projection surface and create a stereo vision system with the first camera, as well as infrared LEDs positioned at the front of the lamp to illuminate the environment in the field infrared wavelength. The first camera observes with a very large field of vision both the projection surface and the face of the user regardless of its position when facing the lamp. The first camera is versatile because it allows both the tracking of the user's face by the image - regardless of its position in the half space delimited by the lamp - and the analysis of the geometry of the projection surface . The lamp, whose sensors are limited to two low-cost sensors: two infrared cameras, is capable of offering a complete experience of spatial augmented reality: the position data of the user's face and the geometry data of the environment required by the 3D pipeline of spatial augmented reality are known in real time.
Le présent dispositif de réalité augmentée spatiale peut intégrer un système de microphone. Le son est ensuite traité pour permettre des interactions vocales. Les interactions de réalité augmentée spatiale combinées aux interactions vocales sont utilisées pour projeter un assistant intelligent virtuel en 3D.The present spatial augmented reality device can integrate a microphone system. The sound is then processed to allow vocal interactions. Spatial augmented reality interactions combined with voice interactions are used to project a 3D virtual intelligent assistant.
Le présent dispositif de réalité augmentée spatiale peut être embarqué dans un véhicule automobile et incrusté dans le tableau de bord de façon à créer une interface utilisateur projetée directement sur le tableau de bord. L’automobiliste interagit alors avec du contenu 3D comme des vues GPS 3D ; ou encore une visualisation du véhicule en 3D qui permet d’avertir et localiser un problème du véhiculer en 3D comme la visualisation 3D d’une porte ouverte. Le dispositif permet de s’affranchir d’écrans qui contraignent la conception du panneau de bord et qui brisent le design épuré favorable au confort intérieur du véhicule. Le dispositif reste discret grâce à la compacité permise par la technologie à focale ultra courte {ultra short throw projector). L’interface utilisateur est tactile même si le tableau de bord est de géométrie complexe grâce au système de vision stéréo de la lampe capable d’analyser la géométrie de l’environnement en temps réel. La projection est nette même si le tableau de bord est de géométrie complexe grâce à la technologie laser éventuellement utilisée (scanned laser pico projector).The present spatial augmented reality device can be embedded in a motor vehicle and embedded in the dashboard so as to create a user interface projected directly on the dashboard. The motorist then interacts with 3D content such as 3D GPS views; or a visualization of the vehicle in 3D which allows to warn and locate a problem of the vehicle in 3D such as the 3D visualization of an open door. The device makes it possible to dispense with screens which constrain the design of the dashboard and which break the sleek design favorable to the interior comfort of the vehicle. The device remains discreet thanks to the compactness made possible by ultra short throw technology. The user interface is tactile even if the dashboard is of complex geometry thanks to the stereo vision system of the lamp capable of analyzing the geometry of the environment in real time. The projection is clear even if the dashboard is of complex geometry thanks to the laser technology possibly used (scanned laser pico projector).
Les dessins annexés illustrent l’invention.The accompanying drawings illustrate the invention.
La figure 1 représente le dispositif portable de réalité augmentée spatiale composé de deux caméras infrarouges, de diodes infrarouges et d’un picoprojecteur à focale ultra courte.FIG. 1 represents the portable device for spatial augmented reality composed of two infrared cameras, infrared diodes and an ultra short throw picoprojector.
La figure 2 représente le dispositif de réalité augmentée spatiale dans une seconde configuration.Figure 2 shows the spatial augmented reality device in a second configuration.
La figure 3 représente le dispositif de réalité augmentée spatiale embarqué dans un véhicule projetant du contenu 3D directement sur le panneau de bord de l’automobiliste.FIG. 3 represents the spatial augmented reality device on board a vehicle projecting 3D content directly on the driver's dashboard.
Une première caméra infrarouge très grand angle {fisheye) (103) placée en haut de la lampe est capable de suivre le visage de l’utilisateur dans l’espace avec un grand champ de vision quelle que soit sa position lorsque celui-ci fait face à la lampe. Un ensemble de LEDs infrarouges (104) éclaire l’environnement dans le domaine de longueurs d’onde de l’infrarouge. La caméra fisheye infrarouge observe un environnement bien éclairé dans l’infrarouge et peut ainsi acquérir toutes les informations nécessaires pour un suivi robuste de la position du visage de l’utilisateur, même si l’environnement est sombre dans le visible. Une unité informatique est configurée pour gérer le système. Elle supporte des algorithmes de vision par ordinateur qui assurent le calcul de la position du visage de l’utilisateur dans l’espace en temps réel à partir des images de la caméra fisheye.A first very wide angle infrared camera (fisheye) (103) placed at the top of the lamp is able to follow the user's face in space with a large field of vision regardless of its position when the user is facing to the lamp. A set of infrared LEDs (104) illuminates the environment in the infrared wavelength range. The infrared fisheye camera observes a well-lit infrared environment and can thus acquire all the information necessary for robust monitoring of the position of the user's face, even if the environment is dark in the visible. A computer unit is configured to manage the system. It supports computer vision algorithms that calculate the position of the user's face in space in real time from images from the fisheye camera.
Le picoprojecteur à focale ultra courte {ultra short throw) (101) est constitué d’un système optique qui lui permet d’être de dimension principale verticale avec une illumination provenant du haut du projecteur illuminant l’espace de travail, et qui permet à la lampe d’être la plus compacte et portable possible.The ultra short throw (101) picoprojecteur (101) is made up of an optical system which allows it to be of vertical main dimension with an illumination coming from the top of the projector illuminating the workspace, and which allows the lamp to be as compact and portable as possible.
Cette configuration verticale n’est pas la seule configuration fonctionnelle de la lampe. Celle-ci peut être couchée pour projeter sur un mur (figure 2). Comme dans la configuration verticale, la caméra fisheye infrarouge (103) fait face à l’utilisateur dans la configuration couchée et assure le calcul de la position de son visage pour déformer l’image à projeter et créer l’illusion d’observer des objets 3D. Un gyroscope peut être intégré dans la lampe pour déterminer si l’utilisateur l’utilise en configuration verticale ou couchée. Dans la configuration couchée si une technologie de projection à focale variable est utilisée comme la technologie DLP, alors un moteur peut déplacer les éléments optiques pour régler la focale automatiquement en fonction de la distance de la lampe au mur qui peut être mesurée par une approche par lumière structurée. Si la technologie laser est utilisée, alors l’image est nette quelle que soit la distance à la surface de projection et quelle que soit la complexité de sa géométrie.This vertical configuration is not the only functional configuration of the lamp. It can be laid down to project onto a wall (Figure 2). As in the vertical configuration, the infrared fisheye camera (103) faces the user in the lying configuration and calculates the position of his face to distort the image to be projected and create the illusion of observing objects 3D. A gyroscope can be integrated into the lamp to determine whether the user is using it in a vertical or recumbent configuration. In the supine configuration if a variable focal length projection technology is used like DLP technology, then a motor can move the optical elements to adjust the focal length automatically according to the distance from the lamp to the wall which can be measured by an approach by structured light. If laser technology is used, then the image is clear no matter how far away from the projection surface and how complex its geometry is.
Une deuxième caméra infrarouge (102) est accolée à la première caméra (103) en haut de la lampe de façon à créer un système de vision stéréo avec la première caméra. Elle n’est pas nécessairement de très grand angle et est inclinée pour observer la surface de projection. Ainsi les deux caméras observent la zone de projection et constituent ensemble un système de vision stéréo configuré pour calculer la géométrie de l’environnement. Les deux caméras sont calibrées ensemble : leurs images sont rectifiées de façon à obtenir des lignes épipolaires horizontales et sont recadrées pour se concentrer sur la zone d’intérêt constituée par l’image de la surface de projection. La distance inter-axiale entre la première et la deuxième caméra est fixée et comprise entre 4 et 10 cm de manière à permettre une analyse précise de la surface de projection pour cet ordre de grandeur de la distance entre le système stéréo et la surface de projection. Le système de vision stéréo ainsi formé permet une reconstruction précise de la géométrie de la surface de projection et en temps réel. Les données obtenues en temps réel de la géométrie de l’environnement permettent un très grand nombre d’interactions : la perception d’objet 3D en fonction de la surface de projection pour la réalité augmentée spatiale, mais aussi des interactions avec les mains de l’utilisateur pour le contrôle ou la manipulation des objets 3D.A second infrared camera (102) is attached to the first camera (103) at the top of the lamp so as to create a stereo vision system with the first camera. It is not necessarily a very wide angle and is tilted to observe the projection surface. Thus the two cameras observe the projection area and together constitute a stereo vision system configured to calculate the geometry of the environment. The two cameras are calibrated together: their images are adjusted so as to obtain horizontal epipolar lines and are cropped to focus on the area of interest formed by the image of the projection surface. The inter-axial distance between the first and the second camera is fixed and between 4 and 10 cm so as to allow an accurate analysis of the projection surface for this order of magnitude of the distance between the stereo system and the projection surface . The stereo vision system thus formed allows precise reconstruction of the geometry of the projection surface in real time. The data obtained in real time from the geometry of the environment allow a very large number of interactions: the perception of 3D objects as a function of the projection surface for augmented spatial reality, but also interactions with the hands of the for the control or manipulation of 3D objects.
La géométrie de l’environnement peut également être calculée de façon précise en suivant une approche par lumière structurée. Cette approche est plus précise que l’approche par vision stéréo car elle ne dépend pas de la présence d’éléments texturés parmi les objets de la surface de projection ; cependant elle a pour inconvénient de ne pas tourner en temps réel car elle mobilise le projecteur pendant une phase de projection des lumières structurées. Dans l’approche par lumière structurée, l’une des deux caméras et le picoprojecteur (101) constituent un système stéréo. La caméra capture les images des lumières structurées projetées par le picoprojecteur. L’analyse et le décodage de ces images conduit au calcul de la géométrie de l’environnement. Ainsi dans cette approche, le picoprojecteur à courte focale est utilisé à la fois pour reconstruire la géométrie de l’environnement de l’utilisateur pendant une phase d’initialisation, et à la fois pour projeter des objets virtuels dans l’environnement réel de l’utilisateur après la phase d’initialisation. L’unité informatique peut analyser les images pour réaliser une segmentation de la géométrie capturée. Chaque objet 3D isolé par segmentation peut être suivi en temps réel par une ou les deux caméras grâce à des algorithmes de vision par ordinateur de suivi et cartographie (tracking and mapping). L’approche par lumière structurée permet la calibration du projecteur, c’est-à-dire le calcul de ses paramètres intrinsèques ; ainsi que la calibration de l’ensemble caméra - projecteur, c’est-à-dire le calcul de la pose du projecteur par rapport à la pose de la caméra qui analyse les lumières structurées ; de façon à créer un unique système de coordonnées pour le picoprojecteur, les deux caméras et le monde virtuel.The geometry of the environment can also be precisely calculated using a structured light approach. This approach is more precise than the stereo vision approach because it does not depend on the presence of textured elements among the objects on the projection surface; however, it has the disadvantage of not turning in real time because it mobilizes the projector during a phase of projection of the structured lights. In the structured light approach, one of the two cameras and the picoprojector (101) constitute a stereo system. The camera captures the images of the structured lights projected by the picoprojecteur. The analysis and decoding of these images leads to the calculation of the geometry of the environment. Thus in this approach, the short throw picoprojector is used both to reconstruct the geometry of the user's environment during an initialization phase, and both to project virtual objects into the real environment of the user. user after the initialization phase. The IT unit can analyze the images to segment the captured geometry. Each 3D object isolated by segmentation can be followed in real time by one or both cameras thanks to computer vision algorithms for tracking and mapping. The structured light approach allows the calibration of the projector, that is to say the calculation of its intrinsic parameters; as well as the calibration of the camera - projector assembly, that is to say the calculation of the pose of the projector compared to the pose of the camera which analyzes the structured lights; so as to create a single coordinate system for the picoprojector, the two cameras and the virtual world.
La lampe peut être composée d’un système de microphone ou de réseau de microphones (105), utilisé comme dispositif de commande vocale. Ce système permet à la lampe de projeter un assistant intelligent virtuel en 3D qui interagit de façon personnelle avec l’utilisateur.The lamp may consist of a microphone system or a microphone array (105), used as a voice control device. This system allows the lamp to project a virtual intelligent assistant in 3D which interacts in a personal way with the user.
Le dispositif peut être embarqué dans un véhicule automobile et incrusté dans le tableau de bord de façon à créer une interface utilisateur projetée directement sur le tableau de bord. L’automobiliste interagit alors avec du contenu 3D comme des vues GPS 3D (301) ; ou encore une visualisation du véhicule en 3D qui permet d’avertir et localiser un problème du véhicule en 3D comme la visualisation 3D d’une porte ouverte. Le dispositif permet de s’affranchir d’écrans qui contraignent la conception du panneau de bord et qui brisent le design épuré favorable au confort intérieur du véhicule. Le dispositif reste discret grâce à la compacité permise par la technologie à focale ultra courte (ultra short throw pico projector). L’interface utilisateur est tactile même si le tableau de bord est de géométrie complexe grâce au système de vision stéréo de la lampe capable d’analyser la géométrie de l’environnement en temps réel. La projection est nette même si le tableau de bord est de géométrie complexe grâce à la technologie laser éventuellement utilisée (scanned laser pico projector).The device can be embedded in a motor vehicle and embedded in the dashboard so as to create a user interface projected directly on the dashboard. The motorist then interacts with 3D content such as 3D GPS views (301); or a 3D vehicle visualization that warns and locates a 3D vehicle problem such as 3D visualization of an open door. The device makes it possible to dispense with screens which constrain the design of the dashboard and which break the sleek design favorable to the interior comfort of the vehicle. The device remains discreet thanks to the compactness made possible by ultra short throw pico projector technology. The user interface is tactile even if the dashboard is of complex geometry thanks to the stereo vision system of the lamp capable of analyzing the geometry of the environment in real time. The projection is clear even if the dashboard is of complex geometry thanks to the laser technology possibly used (scanned laser pico projector).
Le dispositif selon l’invention est particulièrement destiné à l’industrie de la maison intelligente et à l’industrie automobile.The device according to the invention is particularly intended for the smart home industry and the automotive industry.
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1770555A FR3066838A1 (en) | 2017-05-29 | 2017-05-29 | SPACE ENHANCED REALITY OFFICE LAMINATING VIRTUAL CONTENT FOR ILLUSION AND CONTROL OF VIRTUAL 3D OBJECTS DIRECTLY IN THE USER ENVIRONMENT |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1770555A FR3066838A1 (en) | 2017-05-29 | 2017-05-29 | SPACE ENHANCED REALITY OFFICE LAMINATING VIRTUAL CONTENT FOR ILLUSION AND CONTROL OF VIRTUAL 3D OBJECTS DIRECTLY IN THE USER ENVIRONMENT |
| FR1770555 | 2017-05-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3066838A1 true FR3066838A1 (en) | 2018-11-30 |
Family
ID=59521148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1770555A Withdrawn FR3066838A1 (en) | 2017-05-29 | 2017-05-29 | SPACE ENHANCED REALITY OFFICE LAMINATING VIRTUAL CONTENT FOR ILLUSION AND CONTROL OF VIRTUAL 3D OBJECTS DIRECTLY IN THE USER ENVIRONMENT |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3066838A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192506A (en) * | 2021-05-07 | 2021-07-30 | 来噻信息技术（上海）有限公司 | AI MEDIA lamp book and intelligent reading control method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080065291A1 (en) * | 2002-11-04 | 2008-03-13 | Automotive Technologies International, Inc. | Gesture-Based Control of Vehicular Components |
| US20140241614A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | System for 2D/3D Spatial Feature Processing |
| US9557630B1 (en) * | 2013-06-26 | 2017-01-31 | Amazon Technologies, Inc. | Projection system with refractive beam steering |
-
2017
- 2017-05-29 FR FR1770555A patent/FR3066838A1/en not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080065291A1 (en) * | 2002-11-04 | 2008-03-13 | Automotive Technologies International, Inc. | Gesture-Based Control of Vehicular Components |
| US20140241614A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | System for 2D/3D Spatial Feature Processing |
| US9557630B1 (en) * | 2013-06-26 | 2017-01-31 | Amazon Technologies, Inc. | Projection system with refractive beam steering |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192506A (en) * | 2021-05-07 | 2021-07-30 | 来噻信息技术（上海）有限公司 | AI MEDIA lamp book and intelligent reading control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9934580B2 (en) | Enhanced contrast for object detection and characterization by optical imaging based on differences between images | |
| US9979953B1 (en) | Reflector-based depth mapping of a scene | |
| US10565720B2 (en) | External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality | |
| JP5043023B2 (en) | Image processing method and apparatus | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| US10178374B2 (en) | Depth imaging of a surrounding environment | |
| EP1167950A1 (en) | Apparatus and method for examining a surface | |
| JP6799155B2 (en) | Information processing device, information processing system, and subject information identification method | |
| FR2864311A1 (en) | Display system for vehicle e.g. automobile, has extraction unit extracting position on image of scene from red light element of recognized object, and windshield having display zone in which display image is superposed on scene | |
| FR2987908A1 (en) | AUTOMATIC SCANNER AND METHOD FOR 3D SCANNING OF A HUMAN CEPHALIC PERIPHERAL PORTION | |
| JP6799154B2 (en) | Information processing device and material identification method | |
| FR2984057A1 (en) | VIDEO FILM TURNING SYSTEM | |
| EP3381015B1 (en) | Systems and methods for forming three-dimensional models of objects | |
| JP2017129950A (en) | Image processing device, imaging device and image processing program | |
| FR2934741A1 (en) | INTERACTIVE DEVICE AND METHOD OF USE | |
| WO2018078777A1 (en) | Aerial image display system, wavelength-selective image-forming device, image display device, aerial image display method | |
| FR3066838A1 (en) | SPACE ENHANCED REALITY OFFICE LAMINATING VIRTUAL CONTENT FOR ILLUSION AND CONTROL OF VIRTUAL 3D OBJECTS DIRECTLY IN THE USER ENVIRONMENT | |
| FR2821152A1 (en) | Equipment for measuring the roughness of skin, comprises camera preferably digital which captures images of surface with lighting alternately from either side, and algorithm giving slopes and relief | |
| WO2019101901A1 (en) | Device for acquiring an individual's face by photogrammetry | |
| FR2969319A1 (en) | Self-calibrated interactive video-projection device e.g. interactive whiteboard device, for use in e.g. teaching field, has separation unit oriented such that lighting and detection paths are superimposed between separation unit and screen | |
| KR20120103319A (en) | Light sensor for detecting surface angle and sensing method using the same | |
| FR3009878A1 (en) | DECISION DEVICE PROVIDED FOR DECIDING IF AN EYE IS TRUE OR FALSE | |
| FR3064768A1 (en) | TRANSPARENCY SYSTEM FOR BANALIZED CAMERA | |
| FR2966257A1 (en) | METHOD AND APPARATUS FOR CONSTRUCTING A RELIEVE IMAGE FROM TWO-DIMENSIONAL IMAGES | |
| JP2015126281A (en) | Projector, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20181130 |
|
| ST | Notification of lapse |
Effective date: 20200108 |