EP3195593A1 - Dispositif et procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'intéraction spatialisés 2d et 3d pour la création d'environnements intéractifs - Google Patents

Dispositif et procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'intéraction spatialisés 2d et 3d pour la création d'environnements intéractifs

Info

Publication number
EP3195593A1
EP3195593A1 EP15775768.3A EP15775768A EP3195593A1 EP 3195593 A1 EP3195593 A1 EP 3195593A1 EP 15775768 A EP15775768 A EP 15775768A EP 3195593 A1 EP3195593 A1 EP 3195593A1
Authority
EP
European Patent Office
Prior art keywords
display
spatialized
interaction
user
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15775768.3A
Other languages
German (de)
English (en)
Inventor
Stéphane VALES
Vincent PEYRUQUÉOU
Alexandre Lemort
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ingenuity I/o
Original Assignee
Ingenuity I/o
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ingenuity I/o filed Critical Ingenuity I/o
Publication of EP3195593A1 publication Critical patent/EP3195593A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/32—Simulation of view from aircraft by projected image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention relates to the field of information presentation devices and interaction devices. It relates more particularly to multiple-image digital image projection and display devices taking into account the interactions of one or more users with this mainly visual environment but which can be extended to the sound domain and to any spatialized information device. .
  • the hardware needed to create a truly immersive virtual reality experience ie in which the user is not a simple viewer but can interact with the virtual environment as it would with the real environment, is quite prohibitive which restricts its use to research and some business areas where security constraints are more important than budget constraints.
  • the results obtained will not necessarily be representative of real-world usage.
  • the virtual world does not necessarily reproduce the real environment in all its details (sound and light conditions, vibrations, etc.) and it is not adapted to collaboration because virtual avatars do not allow to accurately transcribe the relative positions users between them and non-verbal communication (gestures, attitudes, mimicry, etc.).
  • augmented reality Another state-of-the-art solution is based on augmented reality, the principle of which is to mix the real world and the virtual world.
  • the user perceives the real world through a pair of semi-transparent glasses that superimpose in real time a 3D virtual model (or 2D) to his perception of the real world.
  • augmented reality has an advantage in terms of algorithm and render fidelity: using the real world puts the user in a familiar environment and reduces modeling efforts by reusing existing elements of the user's environment, which makes it possible to reduce the complexity of the graphical scene manipulated in terms of the number of polygons.
  • a major disadvantage of this approach is that the user must be paired with a pair of augmented reality glasses which can be tiring for long evaluations and requires equipment adapted to the sight (corrective glasses, contact lenses, etc.). of all the users participating in the evaluation which can be quite expensive.
  • Another major drawback is that each user has his or her own subjective view of the augmented real world, which does not facilitate the creation of a shared context in co-localized collaboration situations: even if the virtual world superimposed on reality is shared. , different users do not see exactly the same thing, more particularly the virtual world presented to user can come to hide the hands of a second user thus preventing the first user from becoming fully aware of the actions of his collaborator.
  • a disadvantage of this approach is that computer vision is very sensitive to occlusion: a user can hide the actions of another user by placing his arm or hand between it and the camera, making it invisible to the user. the camera.
  • the computer vision is also sensitive to ambient light which constrains the conditions of use of the environment thus achieved, in particular the maximum brightness tolerated by the computer vision is generally lower than the illumination of the workplace of the users .
  • display devices such as screens
  • the use of display devices, such as screens, in the field of the camera can disrupt computer vision: the light and heat emitted by these display devices can be perceived by the camera and lead to false positives.
  • Computer vision hardly handles dynamic changes in the environment because this technique relies on comparing a current image to a starting condition.
  • the present invention aims to remedy these drawbacks by providing a method and a device for rapidly and inexpensively real interactive environment that can dynamically adapt to the devices present. More particularly, the present invention is directed to a device for orchestrating 2D and 3D spatial display surfaces, projection devices and spatial interaction devices.
  • the device according to the invention is particularly suitable for producing simulators, for example a cockpit simulator, but is not limited to this field of use. Presentation of the invention
  • the invention aims firstly at a display management and interaction device on a plurality of supports, comprising:
  • the second aim of the invention is a display device comprising a device as described above and:
  • At least one spatialized interaction device adapted to detecting gestural instructions from a user.
  • the invention aims in another aspect a display management method and interacting on a plurality of selected areas on display media, said display surfaces receiving images projected by at least one image projection system.
  • the method comprises a step:
  • the method comprises modeling each display surface, using at least one of the following substeps:
  • the sub-step 100C includes an automated setting using a computer vision system coupled to a projection system displaying different sequences of visual patterns to detect and calibrate the different planes of projection.
  • the sub-step 100C comprises modeling a virtual projection plane according to the orientation of the image projection system but also to its focal length, this virtual projection plane being normal to the projection axis of the image projection system and located at a distance depending on the focal length of the projector.
  • the method comprises a step: 200 / integration of 3D spatialized interaction devices in the global geometric environment model, through the determination geometric transformations necessary for the interpretation of the information that these 3D spatialized interaction devices provide in the same three-dimensional coordinate system as that used for the modeling of the display surfaces.
  • step 200 comprises sub-steps:
  • the method comprises a step: 300 / integration of at least one spatialized interaction device 2D in the global geometric model of environment by the determination of transformation of 2D coordinates from the device of 2D spatialized interaction in 3D coordinates that can be taken into account in the global geometric model of environment.
  • the method comprises a step:
  • this step 400 having the following sub-steps:
  • the invention then constitutes a device and a method for orchestrating display surfaces, projection devices and 2D and 3D spatial interaction devices for the creation of multimodal interactive environments.
  • the invention aims at a device and a method of unifying in a same three-dimensional frame of a plurality of display surfaces, video projection devices and input devices including at least one 2D or 3D spatial interaction device and / or a touch surface - all of which may be static or mobile - to match any point, line or shape of the physical space produced by a device. input, one or more points and / or one or more lines and / or one or more shapes on the display surfaces and the video projection devices.
  • the invention relates to a system (hardware and method) adapted to recreate a partially or completely simulated environment on a set of arbitrary surfaces surrounding the user, providing a display equivalent to that which it would have in a real environment, with identical tactile and / or interaction functions.
  • the software implementing the method of the invention comprises modules intended:
  • this screen directly displaying the data to be displayed
  • FIG. 1 the different elements involved in an implementation of the invention
  • FIG. 2 a flowchart of the main steps of the process. Detailed description of an embodiment of the invention
  • a device according to the invention is used in the context of the generation of a cockpit simulator. It will be referred to hereafter as the simulation management device.
  • the simulation management device uses for its implementation a plurality of display surfaces 10 not necessarily flat, nor necessarily parallel, related or coplanar.
  • the invention can naturally be implemented on a single surface, but finds full use only for the generation of images to several surfaces.
  • the display surfaces 10 considered here are in particular passive type. That is, it can typically be board surfaces, boards, etc.
  • the display surfaces 10 consist of a set of cardboard boxes of various sizes, arranged substantially facing a user 15 of said simulation management device.
  • the simulation management device comprises first and foremost at least one image projection system 11 to these display surfaces 10, for example of the video projector type.
  • image projection systems 11 may, more generally, consist of any device capable of generating dynamic visual information.
  • the simulation management device comprises secondly a computer 12, for example of the microcomputer type, adapted to send data to be displayed and display commands to image projection systems 1 1.
  • This calculator 12 is connected to a database 13.
  • some display surfaces 10 ' may consist of screens (LCD type or other).
  • the computer 12 sends directly to these screens 10 'the images to be displayed.
  • the simulation management device comprises thirdly at least one spatialized interaction device 16 between the user 15 and the computer 12.
  • a non-contact spatialized interaction device may for example be of type based on pattern recognition. and / or movements ("Leap Motion” type, Kinect-deposited mark-, Eye-tracking eye movement detection, etc.).
  • Leap Motion type, Kinect-deposited mark-, Eye-tracking eye movement detection, etc.
  • Such systems are known to those skilled in the art, and the details of their constitution are beyond the scope of the present invention. It is therefore not detailed further here, as for the computer 12 and the image projection systems 1 1. These systems make it possible to interpret visual or manual movements of the user as commands for modifying the display.
  • non-contact spatialized interaction devices 16 make it possible to detect movements of the user's hands 15 towards certain areas of the display surfaces. 10, for example representing images of aircraft system control panel areas.
  • the simulation management device can change the display according to the movements of the user's hand 15, representative of what would happen if a user acted on the actual control panel of the aircraft system.
  • the simulation management device can determine, thanks to the detectors 16, the position or the attitude of the user facing the display surfaces 10, and consequently adapt the display as a function of this attitude of the user. 15. This attitude may characterize either an area it observes or a change control to the vehicle being simulated.
  • the simulation management device also comprises at least one contact interaction device such as sensor, button, touch surface, etc.
  • the simulation management device may also include interaction devices between the user 15 and the computer 12, such as voice recognition, presence detector or other active device involved in interactive environments and generating discrete or continuous events.
  • the simulation management device finally comprises a digital communication network 14 connecting the above elements, and in particular the spatialized interaction devices 16, the image projection systems 1 1 and the computer 12.
  • the choice of the network 14 is naturally adapted to the volume of digital data (for example images) to be transited on this network.
  • the simulation management device finally comprises means for managing the image projection systems 11, implemented in the form of one or more software modules by the computer 12.
  • a geometric modeling of the user's visual environment is performed.
  • the simulation management device comprises for this purpose in the first place a module for combining display surfaces 10 of heterogeneous natures within the same digital environment model.
  • each display surface 10 is modeled in the same frame of this three-dimensional space (the digital environment model).
  • the modeling of each display surface 10 can be carried out using three techniques that can be combined with each other:
  • the first modeling technique uses a direct geometric measurement in space using tools such as meters, ribbons, graduated rulers, and so on.
  • 100B The second modeling technique uses a geometric measurement using three-dimensional modeling systems, for example based on accelerometer, optical or laser processing techniques, etc. Such techniques are known to those skilled in the art.
  • the third modeling technique uses a visual calibration.
  • patterns For one skilled in the art, it can be automated using a computer vision system coupled to a projection system displaying different sequences of patterns (“patterns”) visual (checkerboard, parallel bands, etc.) to detect and calibrate the different projection planes.
  • This visual registration can also be manual, and performed using graphical tools to move virtual landmarks through the display systems 10 to match physical landmarks.
  • This visual staggering task may for example require the user to visually project video-projected landmarks on the corners of a display surface 10 forming a physical polygon, regardless of the position of the projection system. 1 1, provided that it illuminates the viewing surface 10 considered.
  • the visual calibration modeling technique is combined with first or second modeling techniques, by direct geometric measurement. Indeed, the visual calibration modeling technique is based only on the geometric projection, it does not keep the distances. As such, the visual calibration modeling technique is only an easy way to easily replace a projector 1 1 in the environment, provided that the display surfaces 10 on which it projects have been modeled with one of the first two techniques 100A, 100B defined above.
  • the projector 1 1 can be placed approximately and the technique of visual registration makes it possible to "realign" it with the polygons corresponding to the display surfaces 10.
  • the environment is completely modeled, in the form of a global geometric model of environment, c That is, data are available characterizing the position and dimensions of each display surface 10 in the user's visual environment vis-a-vis the image projection systems 11.
  • this environment uses an image projection system 1 1 to power one or more display surfaces 10, it is necessary to create a correspondence between these display surfaces 10 and the image projection system 1 1 as a display source, so that each display surface 10 is controllably addressable by the image projection system 11.
  • the image projection system 11 can display any composite image comprising a set of projected images to various display surfaces 10, matching its projection to match each desired image with the display surface 10 corresponding, whose edges or characteristic points have been identified.
  • the visual calibration environment modeling technique described above is not the only way to geometrically model the visual environment. This modeling can also be ensured in the following way:
  • a virtual projection plane is modeled according to the orientation of the image projection system 1 1 but also of its focal length. This is the plan that should be matched with a projection wall in a typical use, for example in a meeting room. This plane is normal to the projection axis of the projection system of images 1 1 and located at a distance depending on the focal length of the projector, corresponding to the sharpness distance of the image.
  • the device under consideration is compatible with display surfaces 10, image projection systems 11 and moving interactive devices if it has been able to dynamically update the overall geometric environment model with the aid of FIG. least one of the three environmental modeling techniques defined above.
  • the 3D spatialized interaction devices 16 are integrated in the global geometric environment model by determining the geometric transformations necessary for the interpretation of the information they provide in the same reference frame. three dimensions than the one used for modeling the visual environment.
  • the simulation management device comprises, secondly, an interaction management module provided by the spatialized interaction devices 16.
  • the calculation of the transformation function between the intrinsic coordinate system of the spatialized interaction device and the reference point of the invention is made by knowing the position of at least two points in these two marks or a point and a point. vector.
  • the modeling can be completed by a visual calibration of these spatialized interaction devices 1.
  • the modeling of the interaction device can be obtained through the modeling of this display surface 10 in the global geometrical model of environment, to allow the computation of the geometrical transformations allowing the bijective relation of the information generated by this device.
  • the simulation management device performs the necessary calculations to match the information of the spatialized interaction devices 16 with the display surfaces 10 and produces visual effects on them accordingly.
  • the correspondence includes in a non-exhaustive way:
  • Spatial sound sources for example by using Dolby 5.1 -marque- or binaural-listening solutions, can also be integrated into the global environment benchmark, just like visual devices. This only requires knowing the position of the user's head. This position can be obtained by different computer vision systems known to those skilled in the art. 300 / Management of spatialized interactions in two dimensions
  • a step 300 the method implemented in the invention, and described here in a non-limiting example, interprets the interactions captured by the spatialized interaction devices in two dimensions (for example, a sensor that tracks eye movements ( eye-tracking) or tactile devices, a precise rectangular area (tactile or multitouch frame) or an entire plane (radarTouch - registered trademark -, light beam, laser or infrared plane), which can be used together to a display surface (the two then constitute a tactile or multitouch display surface) or without a display surface (in this case they are gestural interaction devices in the "in-air gesture" space ) and retranscribes them as modifications of the display on the display surfaces 10.
  • two dimensions for example, a sensor that tracks eye movements ( eye-tracking) or tactile devices, a precise rectangular area (tactile or multitouch frame) or an entire plane (radarTouch - registered trademark -, light beam, laser or infrared plane), which can be used together to a display surface (the two then constitute a tactile or multitouch display surface
  • Two-dimensional spatialized interaction devices require, in comparison with the three-dimensional spatialized interaction devices, complementary operations for transforming the 2D coordinates into 3D coordinates that can be taken into account in the overall geometric environment model of the invention. .
  • This integration into the global geometric model involves the attachment of each two-dimensional spatialized interaction device to a reference plane surface (virtual or not) modeled in the global environment and, secondly, by the use of launching techniques. radius to extend the capabilities of the 2D device to other display surfaces 10 of the environment.
  • Calibration of a 2D spatialized interaction device is done using a visual calibration grid with a number of reference points, usually five or nine points even if three non-aligned points are sufficient for the skilled in the art. These reference points can be projected on the reference surface of the 2D spatialized interaction device in various ways, using or not the display capabilities of the invention. In all cases, the calibration of a 2D spatialized interaction device becomes reference point by reference point, and makes it possible to create a correspondence between the data of the 2D spatialized interaction device and the visual calibration grid.
  • the method uses known techniques to launch radius to detect intersections with dots. other display surfaces 10 or other devices that can be reduced to the case of a spatial interaction device in 3D.
  • the reference surface no longer needs to be visible. It is only necessary to obtain the information of the resulting point (s) on this reference surface from a mathematical point of view in order to represent them in the reference of the global environment.
  • a step 400 the method implemented in the invention orchestrates the images projected on the display surfaces according to the information received from all the spatialized interaction devices.
  • the generation of projected images on the various display surfaces 10 in real time is called the orchestration according to the actions of the user 15 as detected by the spatialized interaction devices 16.
  • This modification of the images is calculated by the computer 12 and transmitted to the display surfaces 10 by the image projection systems 1 1.
  • a first step it is a matter of mathematically projecting the information of the spatialized interaction devices 16 onto the display surfaces 10.
  • the projection obtained is used to perform various actions on the display surfaces 10 concerned:
  • the fusion of the information of the different spatialized interaction devices 16 and the display surfaces 10 within the global geometric environment model makes it possible to operate a spatialized interaction device 16 on several display surfaces 10 at the same time.
  • a second step it is to use the spatialized information to locate physical entities (objects or users, example: a Leap Motion allows to locate in the space the hand of the user 15) and to project the information about or around these entities.
  • This projection is based both on the 3D positioning of the display surfaces 10 and on the virtual reference surfaces of the projectors 1 1.
  • the reference virtual surface of a video projector 1 1 means the "rectangular" area corresponding to the projection area of the projector at its “sharpness distance”. This "rectangular" surface is normal to the projection axis of the video projector.
  • each spatialized interaction device 16 communicates to the other elements (spatialized interaction devices 16, display surfaces 10, image projection systems 1 1) of the simulation management device the actions it captures. and each display surface 10 detects whether it is affected by these actions and, where appropriate, responds by visually updating itself, and communicating with the rest of the device.
  • the simulation management device comprises at least one third-party interaction device of the voice command type, presence sensors, etc.
  • the simulation management device described here as a non-limiting example finds particular use in the context of prototyping. interactive environments (cockpits, supervision systems, etc.) by allowing to recreate and extend all or part of a complex work environment by using prototyping devices or low-cost devices compared to the devices that will be selected in the environment once industrialized and put into operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

L'invention vise un dispositif de gestion de projection d'images sur une pluralité de supports, comportant : • des moyens de désignation et de modélisation géométrique d'une pluralité de zones choisies sur des surfaces d'affichage (10), ces zones d'affichage (10) formant l'environnement visuel d'un l'utilisateur (15), ces désignations et modélisations résultant en un modèle géométrique d'environnement, • des moyens d'interprétation des informations fournies par au moins un dispositif d'interaction spatialisé (16) de cet utilisateur (15) dans ce modèle géométrique d'environnement • des moyens de génération des images projetées sur les diverses zones d'affichage (10) par au moins un système de projection d'images (11) en fonction des actions de l'utilisateur (15) telles que détectées par les dispositifs d'interaction spatialisés (16).

Description

Dispositif et procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'intéraction spatialisés 2d et 3d pour la création d'environnements intéractifs
La présente invention relève du domaine des dispositifs de présentation d'information et des dispositifs d'interaction. Elle relève plus particulièrement des dispositifs de projection et d'affichage d'images numériques sur supports multiples prenant en compte des interactions d'un ou plusieurs utilisateurs avec cet environnement principalement visuel mais pouvant être étendu au domaine sonore et à tout dispositif d'information spatialisé.
Préambule et art antérieur
L'informatique est un univers en perpétuelle évolution sur différents plans : le matériel, le logiciel, l'architecture et les usages. L'informatique a débuté dans les années 1950 sur le modèle de l'unité centrale fixe (mainframe) utilisée par plusieurs personnes, avant d'évoluer vers le modèle d'ordinateur personnel (Personal Computer) dans les années 1980, d'ordinateurs interconnectés via Internet dans les années 1990 et finalement évoluer vers l'informatique ubiquitaire ou omniprésente (pervasive Computing) où l'utilisateur est entouré d'un ensemble de dispositifs informatiques avec lesquels il peut interagir ou qu'il peut utiliser pour monitorer son environnement.
Ces évolutions du matériel informatique et son ubiquité dans l'environnement ont introduit de nouvelles exigences en termes d'architecture logicielle (informatique distribuée), de communications et d'échanges d'information entre les différents dispositifs constituant l'environnement interactif de l'utilisateur : il faut pouvoir gérer l'hétérogénéité des agents présents (différents facteur de formes, systèmes d'exploitation, etc.), permettre à l'utilisateur une gestion dynamique de ses tâches (utiliser le ou les dispositifs les plus adaptés à sa tâche en fonction du contexte courant, pouvoir changer de dispositifs en cours de tâche, etc.) et offrir la possibilité d'enrichir le système avec de nouveaux dispositifs pour que l'environnement interactif de l'utilisateur ne soit pas fermé.
La combinaison des progrès techniques (puissance de calcul, parallélisme, multiplication des dispositifs, etc.), des évolutions méthodologiques permettant une meilleur prise en compte des besoins utilisateurs (conception centrée sur l'utilisateur, expérience utilisateur, etc.) ainsi que l'explosion des usages du numérique au cours des dernières années font qu'aujourd'hui il est de plus en plus fréquent que la réalisation d'un système interactif se traduisent par la mise en œuvre de plusieurs dispositifs informatiques, qu'ils s'agissent de dispositifs de calcul, dispositifs d'affichage, de dispositifs d'entrée, de dispositifs d'émission sonore, etc. Par exemple, dans le cadre de la réalisation d'une nouvelle fonctionnalité pour des simulateurs de navigation, tels que des simulateurs de vol, de nombreux écrans représentent les écrans d'un cockpit réel d'aéronef, les tableaux de commande et les images vues à travers les vitres du cockpit, de façon telle qu'un utilisateur se sent immergé dans l'environnement d'un aéronef réel. Des dispositifs d'interaction tels que manche de commande, interrupteurs etc. complètent l'environnement de l'utilisateur. Les images projetées sur les divers écrans d'affichage sont modifiées en temps réel selon les lois de vols de l'aéronef et selon les commandes de l'utilisateur, telles que détectées à travers les dispositifs d'interaction.
La multiplication des dispositifs nécessaires à la réalisation de ces environnements interactifs dans lesquels l'utilisateur aura accès aux fonctionnalités proposées fait que ces environnements sont généralement très coûteux et complexes à mettre en place, ce qui rend moins évident le prototypage et l'évaluation de nouvelles fonctionnalités dans ces environnements.
Pour l'homme de l'art, une solution à ce problème de complexité de réalisation consiste à recourir à la réalité virtuelle : l'environnement de l'utilisateur est reproduit virtuellement et les nouvelles fonctionnalités sont incorporées dans cet environnement virtuel. L'utilisateur peut ensuite évaluer les nouvelles fonctionnalités en s'immergeant virtuellement dans l'environnement à l'aide d'un casque de réalité virtuelle. Cette approche présente plusieurs inconvénients.
D'une part, le matériel nécessaire pour créer une expérience de réalité virtuelle réellement immersive, c'est à dire dans laquelle l'utilisateur n'est pas un simple spectateur mais peut interagir avec l'environnement virtuel comme il ferait avec l'environnement réel, est assez prohibitif ce qui restreint son utilisation à la recherche et à certains domaines métiers où les contraintes sécuritaires sont plus importantes que les contraintes budgétaires.
D'autre part, même avec une expérience de réalité virtuelle de qualité et très immersive, les résultats obtenus ne seront pas forcément représentatifs de l'utilisation dans le monde réel. Le monde virtuel ne reproduit pas forcément l'environnement réel dans tous ses détails (conditions sonores et lumineuses, vibrations, etc.) et il n'est pas adapté à la collaboration parce que les avatars virtuels ne permettent pas de transcrire fidèlement les positions relatives des utilisateurs entre eux et la communication non verbale (gestes, attitudes, mimiques, etc.).
Une autre solution de l'état de l'art repose sur la réalité augmentée dont le principe est de mélanger le monde réel et le monde virtuel. L'utilisateur perçoit le monde réel au travers d'une paire de lunettes semi-transparentes qui superposent en temps réel un modèle virtuel 3D (ou 2D) à sa perception du monde réel. Par rapport à la réalité virtuelle, la réalité augmentée présente un avantage en termes d'algorithme et de fidélité du rendu : l'utilisation du monde réel permet de placer l'utilisateur dans un environnement familier et de réduire les efforts de modélisation en réutilisant des éléments existants de l'environnement de l'utilisateur ce qui permet de diminuer la complexité de la scène graphique manipulée en termes de nombre de polygones. Un inconvénient majeur de cette approche est que l'utilisateur doit être appareillé avec une paire de lunettes de réalité augmentée ce qui peut être fatiguant pour les évaluations longues et nécessite des équipements adaptés à la vue (lunettes correctrices, lentilles de contact, etc.) de l'ensemble des utilisateurs participants à l'évaluation ce qui peut être assez coûteux. Un autre inconvénient majeur est que chaque utilisateur dispose de sa propre vue subjective du monde réel augmenté ce qui ne facilite pas la création d'un contexte partagé dans les situations de collaboration co-localisée : même si le monde virtuel superposé à la réalité est partagé, les différents utilisateurs ne voient pas exactement la même chose, plus particulièrement le monde virtuel présenté à utilisateur peut venir masquer les mains d'un second utilisateur empêchant ainsi le premier utilisateur de prendre pleinement conscience des actions de son collaborateur.
La dernière solution à disposition de l'homme de l'art est d'utiliser la vidéo-projection pour enrichir un environnement réel avec des éléments virtuels. Des techniques comme le « projection mapping » permettent de projeter des images sur des structures en relief ou de recréer des univers à 360° . Via l'utilisation des logiciels spécifiques, les volumes sont reproduits afin d'obtenir une projection vidéo qui se superpose le plus fidèlement possible à la structure physique utilisée pour l'affichage. Ces techniques sont particulièrement adaptées à l'affichage sur une surface physique quelconque. Pour rendre interactive ces surfaces, l'homme de l'art recourt à la vision par ordinateur avec des caméras 2D ou 3D : l'approche consiste à détecter par analyse d'image les moments où l'utilisateur touche la surface physique afin de déclencher les actions appropriées pour mettre à jour le contenu projeté. Un inconvénient de cette approche est que la vision par ordinateur est très sensible à l'occlusion : un utilisateur peut masquer les actions d'un autre utilisateur en plaçant son bras ou sa main entre celui-ci et la caméra, le rendant ainsi invisible à la caméra. La vision par ordinateur est aussi sensible à la lumière ambiante ce qui contraint les conditions d'utilisation de l'environnement ainsi réalisé, en particulier la luminosité maximale tolérée par la vision par ordinateur est généralement inférieure à l'éclairage du lieu de travail des utilisateurs. De plus, l'utilisation de dispositifs d'affichage, comme des écrans, dans le champ de la caméra peut perturber la vision par ordinateur : la lumière et la chaleur émise par ces dispositifs d'affichage peuvent être perçues par la caméra et conduire à des faux positifs. La vision par ordinateur gère difficilement les changements dynamiques de l'environnement parce que cette technique repose sur la comparaison d'une image courante à une condition de départ. Pour prendre en compte un changement comme l'apparition ou la disparition d'un dispositif dans l'environnement de travail, il faut recalibrer dynamiquement la vision par ordinateur ce qui introduit des coupures dans l'interaction : il faut attendre que le système se soit reconfiguré pour agir sans risque d'erreur sur le nouvel environnement.
La présente invention vise à remédier à ces inconvénients en fournissant un procédé et un dispositif pour réaliser rapidement et à moindre coût un environnement réel interactif qui sait s'adapter dynamiquement aux dispositifs présents. Plus particulièrement, la présente invention vise un dispositif d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'interaction spatialisés 2D et 3D.
Le dispositif selon l'invention est particulièrement adapté à la réalisation de simulateurs, par exemple un simulateur de cockpit, mais n'est nullement limité à ce domaine d'utilisation. Exposé de l'invention
L'invention vise en premier lieu un dispositif de gestion d'affichage et d'interaction sur une pluralité de supports, comportant :
- des moyens de désignation et de modélisation géométrique d'une pluralité de zones choisies sur des surfaces d'affichage, et / ou de projection d'images, ces zones d'affichage formant l'environnement visuel d'au moins un l'utilisateur, ces désignations et modélisations résultant en un modèle géométrique d'environnement interactif,
- des moyens d'interprétation des informations fournies par au moins un dispositif d'interaction spatialisé dans ce modèle géométrique d'environnement - des moyens de génération des images projetées sur les diverses zones d'affichage par au moins un système de projection et d'affichage d'images en fonction des actions de l'utilisateur telles que détectées par les dispositifs d'interaction spatialisés. L'invention vise en second lieu un dispositif d'affichage, comporte un dispositif tel qu'exposé ci-dessus et :
- une pluralité de surfaces passives d'affichage,
- au moins un système de projection d'image vers ces surfaces d'affichage,
- au moins un dispositif d'interaction spatialisé adapté à détecter des instructions gestuelles d'un utilisateur.
L'invention vise sous un autre aspect un procédé de gestion d'affichage et d'interaction sur une pluralité de zones choisies sur des supports d'affichage, ces surfaces d'affichage recevant des images projetées par au moins un système de projection d'images.
Le procédé comporte une étape :
100/ de génération d'un modèle géométrique global d'environnement, c'est à dire de données caractérisant la position et les dimensions de chaque surface d'affichage face aux systèmes de projection d'image, l'orientation ou la distance précises de chaque surface d'affichage vis à vis des systèmes de projection d'image étant initialement inconnues.
Dans une mise en œuvre plus particulière, le procédé comporte la modélisation de chaque surface d'affichage, en utilisant au moins l'une des sous-étapes suivantes:
100A mesure géométrique directe dans l'espace,
100B mesure géométrique à l'aide de systèmes de modélisation en trois dimensions,
100C calage visuel.
Dans une mise en œuvre encore plus particulière, la sous-étape 100C comporte un calage automatisé à l'aide d'un système de vision par ordinateur couplé à un système de projection affichant différentes séquences de motifs visuels pour détecter et calibrer les différents plans de projection.
Dans une mise en œuvre particulière alternative, la sous-étape 100C comporte la modélisation d'un plan de projection virtuel en fonction de l'orientation du système de projection d'images mais aussi de sa focale, ce plan de projection virtuel étant normal à l'axe de projection du système de projection d'images et situé à une distance dépendant de la focale du projecteur.
Dans une mise en œuvre particulière, le procédé comporte une étape : 200/ d'intégration de dispositifs d'interaction spatialisés 3D dans le modèle géométrique global d'environnement, par le biais de la détermination des transformations géométriques nécessaires à l'interprétation des informations que ces dispositifs d'interaction spatialisé 3D fournissent dans le même repère à trois dimensions que celui utilisé pour la modélisation des surfaces d'affichage.
Dans une mise en œuvre plus particulière, l'étape 200 comporte des sous-étapes :
200A. de calcul de la fonction de transformation entre le repère intrinsèque du dispositif d'interaction spatialisé et le repère du modèle d'environnement global, à partir de la position d'au moins deux points dans ces deux repères ou d'un point et d'un vecteur,
200D. de génération d'une fonction de correspondance entre les informations des dispositifs d'interaction spatialisés et les surfaces d'affichage.
Dans une mise en œuvre particulière, le procédé comporte une étape : 300/ d'intégration d'au moins un dispositif d'interaction spatialisés 2D dans le modèle géométrique global d'environnement par la détermination de transformation des coordonnées 2D issues du dispositif d'interaction spatialisé 2D en coordonnées 3D pouvant être prises en compte dans le modèle géométrique global d'environnement.
Dans une mise en œuvre particulière, le procédé comporte une étape :
400/ de génération des images projetées sur les diverses surfaces d'affichage en temps réel en fonction des actions de l'utilisateur telles que détectées par les dispositifs d'interaction spatialisés, cette étape 400 comportant des sous-étapes suivantes :
400A. de projection mathématique des informations des dispositifs d'interaction spatialisés sur les surfaces d'affichage,
400B. d'utilisation des informations spatialisées pour localiser des entités physiques et projeter de l'information sur ou autour de ces entités.
On comprend que l'invention constitue alors un dispositif et un procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'interaction spatialisés 2D et 3D pour la création d'environnements interactifs multimodaux.
En d'autres termes, l'invention vise un dispositif et un procédé d'unification dans un même repère en trois dimensions d'une pluralité de surfaces d'affichage, de dispositifs de projection vidéo et de dispositifs d'entrée incluant au moins un dispositif d'interaction spatialisée 2D ou 3D et / ou une surface tactile - tous pouvant être statiques ou mobiles -, permettant de faire correspondre à tout point, à toute ligne et à toute forme de l'espace physique, produits par un dispositif d'entrée, un ou plusieurs points et/ou une ou plusieurs lignes et/ou une ou plusieurs formes sur les surfaces d'affichage et les dispositifs de projection vidéo.
L'invention concerne un système (matériel et procédé) adapté à recréer un environnement partiellement ou complètement simulé sur un ensemble de surfaces quelconques entourant l'utilisateur, en lui fournissant un affichage équivalent à celui qu'il aurait dans un environnement réel, avec des fonctions tactiles et / ou d'interaction identiques.
A cet effet, le logiciel mettant en œuvre le procédé de l'invention comporte des modules destinés :
à adapter la géométrie d'une image projetée par un vidéoprojecteur à une ou plusieurs surfaces quelconques non nécessairement planes et non nécessairement orientées face au projecteur,
à projeter des images, à l'aide du vidéoprojecteur, sur des surfaces désignées par l'utilisateur en temps réel, ces surfaces entourant l'utilisateur et étant de tailles et orientations quelconques, comprenant ou non des écrans d'affichage,
à tenir compte de la présence d'un écran d'affichage parmi les surfaces désignées, et à ne pas projeter d'image sur cette surface, cet écran affichant directement les données à afficher
à gérer éventuellement une interaction tactile sur les surfaces de projection. Présentation des figures
Les caractéristiques et avantages de l'invention seront mieux appréciés grâce à la description qui suit, description qui expose les caractéristiques de l'invention au travers d'un exemple non limitatif d'application.
La description s'appuie sur les figures annexées qui représentent :
Figure 1 : les différents éléments impliqués dans une mise en œuvre de l'invention,
Figure 2 : un organigramme des étapes principales du procédé. Description détaillée d'un mode de réalisation de l'invention
Dans le présent mode de mise en œuvre, donné ici à titre illustratif et non limitatif, un dispositif selon l'invention est utilisé dans le cadre de la génération d'un simulateur de cockpit. On le désignera par la suite sous le terme de dispositif de gestion de simulation.
Comme on le voit sur la figure 1 , le dispositif de gestion de simulation utilise pour sa mise en œuvre une pluralité de surfaces d'affichage 10 non nécessairement planes, ni nécessairement parallèles, connexes ou coplanaires. L'invention peut naturellement être mise en œuvre sur une seule surface, mais ne trouve sa pleine utilisation que pour la génération d'images vers plusieurs surfaces.
Les surfaces d'affichage 10 ici considérées sont notamment de type passif. C'est à dire qu'il peut typiquement s'agir de surface de boites cartonnées, de planches, etc. Dans un mode de réalisation donné à titre de simple exemple illustratif, les surfaces d'affichage 10 sont constituées d'un ensemble de boites cartonnées de tailles diverses, disposées sensiblement face à un utilisateur 15 dudit dispositif de gestion de simulation
Le dispositif de gestion de simulation comporte en premier lieu au moins un système de projection d'images 11 vers ces surfaces d'affichage 10, par exemple de type vidéoprojecteur. Ces systèmes de projection d'images 1 1 peuvent, plus généralement, être constitués de tout dispositif capable de générer une information visuelle dynamique.
Le dispositif de gestion de simulation comporte en second lieu un calculateur 12, par exemple de type microordinateur, adapté à envoyer des données à afficher et des commandes d'affichage aux systèmes de projection d'images 1 1 . Ce calculateur 12 est relié à une base de données 13.
Dans un mode de mise en œuvre particulier, certaines surfaces d'affichage 10' peuvent être constituées d'écrans (de type LCD ou autre). Dans ce cas, le calculateur 12 envoie directement à ces écrans 10' les images à afficher.
Le dispositif de gestion de simulation comprend en troisième lieu au moins un dispositif 16 d'interaction spatialisée entre l'utilisateur 15 et le calculateur 12. Un tel dispositif d'interaction spatialisée sans contact peut être par exemple de type basé sur des reconnaissances de formes et/ou de mouvements (type « Leap Motion », Kinect -marque déposée-, détection de mouvement oculaires « Eye-tracking », etc.). De tels systèmes sont connus de l'homme du métier, et le détail de leur constitution sort du cadre de la présente invention. Il n'est donc pas détaillé plus avant ici, de même que pour ce qui concerne le calculateur 12 et les systèmes de projection d'images 1 1 . Ces systèmes permettent d'interpréter des mouvements visuels ou manuels de l'utilisateur comme des commandes de modification de l'affichage.
On comprend que dans le cas particulier de la mise en œuvre ici décrite à titre d'exemple, de tels dispositifs d'interaction spatialisée sans contact 16 permettent de détecter des mouvements des mains de l'utilisateur 15 vers certaines zones des surfaces d'affichage 10, représentant par exemple des images de zones de panneau de commande de système avion. De la sorte, le dispositif de gestion de simulation peut modifier l'affichage en fonction des mouvements de la main de l'utilisateur 15, de façon représentative de ce qui se produirait si un utilisateur agissait sur le panneau de commande réel du système avion. De même, le dispositif de gestion de simulation peut déterminer, grâce aux détecteurs 16, la position ou l'attitude de l'utilisateur 15 face aux surfaces d'affichage 10, et adapter en conséquence l'affichage en fonction de cette attitude de l'utilisateur 15. Cette attitude peut caractériser soit une zone qu'il observe, soit une commande de changement à destination du véhicule faisant l'objet de la simulation. Dans le présent exemple non limitatif de mise en œuvre, le dispositif de gestion de simulation comprend également au moins un dispositif d'interaction par contact tel que capteur, bouton, surface tactile, etc.
Le dispositif de gestion de simulation peut également comprendre des dispositifs d'interaction entre l'utilisateur 15 et le calculateur 12, tels que reconnaissance vocale, détecteur de présence ou autre dispositif actif intervenant dans les environnements interactifs et générant des événements discrets ou continus.
Dans le présent exemple non limitatif de mise en œuvre, le dispositif de gestion de simulation comprend enfin un réseau de communication numérique 14 reliant les éléments ci-dessus, et notamment les dispositifs d'interaction spatialisés 16, les systèmes de projection d'images 1 1 et le calculateur 12. Le choix du réseau 14 est naturellement adapté au volume de données numériques (par exemple images) à faire transiter sur ce réseau.
Le dispositif de gestion de simulation comporte enfin des moyens de gestion des systèmes de projection d'images 1 1 , mis en œuvre sous la forme d'un ou plusieurs modules logiciels par le calculateur 12.
Le procédé mis en œuvre par ce logiciel comporte plusieurs étapes :
100/ Modélisation géométrique de l'environnement visuel
Dans une étape 100, il est réalisé une modélisation géométrique de l'environnement visuel de l'utilisateur.
Le dispositif de gestion de simulation comporte à cet effet en premier lieu un module permettant de combiner des surfaces d'affichage 10 de natures hétérogènes au sein d'un même modèle numérique d'environnement.
Ces surfaces d'affichage 10 sont modélisées dans un même repère de cet espace à trois dimensions (le modèle numérique d'environnement). La modélisation de chaque surface d'affichage 10 peut être réalisée à l'aide de trois techniques combinables entre elles:
100A. La première technique de modélisation utilise une mesure géométrique directe dans l'espace à l'aide d'outils tels que des mètres, rubans, règles graduées, etc. 100B. La seconde technique de modélisation utilise une mesure géométrique à l'aide de systèmes de modélisation en trois dimensions, par exemple basés sur des techniques à base d'accéléromètre, de traitement optique ou laser, etc. De telles techniques sont connues de l'homme du métier.
Ces mesures géométriques permettent de modéliser et repérer aussi bien des surfaces d'affichage 10 que les systèmes de projection d'images 1 1 qui génèrent les images affichées par ces surfaces d'affichage 10 (en particulier un vidéoprojecteur en tant que dispositif émetteur) ou encore les dispositifs d'interaction.
100C. La troisième technique de modélisation utilise un calage visuel.
Pour l'homme de l'art, celui-ci peut être automatisé à l'aide d'un système de vision par ordinateur couplé à un système de projection affichant différentes séquences de motifs (« patterns ») visuels (damier, bandes parallèle, etc.) pour détecter et calibrer les différents plans de projection.
Ce calage visuel peut également être manuel, et réalisé à l'aide d'outils graphiques permettant de déplacer des points de repère virtuels par le biais des systèmes d'affichage 10 pour les faire correspondre à des points de repère physiques .
Cette tâche de calage visuel peut par exemple demander à l'utilisateur 15 de placer visuellement des points de repère vidéo-projetés sur les coins d'une surface d'affichage 10 formant un polygone physique, quelle que soit la position du système de projection d'images 1 1 , à condition que ce dernier éclaire la surface d'affichage 10 considérée.
Pour permettre une véritable modélisation en 3D des surfaces d'affichage 10, des systèmes de projection d'images 1 1 et des dispositifs d'interaction, incluant les distances et angles dans un repère orthonormé, la technique de modélisation par calage visuel est combinée aux première ou seconde techniques de modélisation, par mesure géométrique directe. En effet, la technique de modélisation par calage visuel n'étant basée que sur de la projection géométrique, elle ne conserve pas les distances. A ce titre, la technique de modélisation par calage visuel ne constitue qu'une facilité pour replacer facilement un vidéoprojecteur 1 1 dans l'environnement, pour peu que les surfaces d'affichage 10 sur lesquelles il projette aient été modélisées avec l'une des deux premières techniques 100A, 100B définies ci-dessus. Il est à noter que, dans un exemple particulier de réalisation avec affichage sur des boites cartonnées faisant office de surfaces d'affichage 10, si les boites cartonnées ne sont pas déplacées, le vidéoprojecteur 1 1 peut être placé de façon approximative et la technique de calage visuel permet de le "réaligner" avec les polygones correspondant aux surfaces d'affichage 10.
Dans le cas où les techniques de mesure géométrique directe 100A, 100B (première ou seconde techniques de modélisation des systèmes d'affichage 10) sont utilisées, l'environnement est complètement modélisé, sous forme d'un modèle géométrique global d'environnement, c'est à dire que l'on dispose de données caractérisant la position et les dimensions de chaque surface d'affichage 10 dans l'environnement visuel de l'utilisateur 15 face aux systèmes de projection d'image 1 1 .
Pour autant, si cet environnement utilise un système de projection d'images 1 1 pour alimenter une ou plusieurs surfaces d'affichage 10, il est nécessaire de créer une correspondance entre ces surfaces d'affichage 10 et le système de projection d'images 1 1 en tant que source d'affichage, de manière à ce que chaque surface d'affichage 10 soit adressable sur commande par le système de projection d'image 1 1 .
De la sorte, le système de projection d'image 1 1 peut afficher toute image composite comprenant un ensemble d'images projetées vers diverses surfaces d'affichage 10, en adaptant sa projection pour faire coïncider chaque image souhaitée avec la surface d'affichage 10 correspondante, dont les bords ou points caractéristiques ont été identifiés.
La technique de modélisation d'environnement par calage visuel décrite ci-dessus n'est pas l'unique moyen de modéliser géométriquement l'environnement visuel. Cette modélisation peut aussi être assurée de la manière suivante :
100C-1 . Dans un premier temps, un plan de projection virtuel est modélisé en fonction de l'orientation du système de projection d'images 1 1 mais aussi de sa focale. Il s'agit du plan qu'il faudrait faire correspondre avec un mur de projection dans un usage classique, par exemple dans une salle de réunion. Ce plan est normal à l'axe de projection du système de projection d'images 1 1 et situé à une distance dépendant de la focale du projecteur, correspondant à la distance de netteté de l'image.
100C-2. Dans un second temps, connaissant précisément la position du « rectangle» générateur de ce plan de projection dans le repère du modèle géométrique global d'environnement, il est possible de projeter sur ce plan les surfaces d'affichage 10 que le système de projection d'images 1 1 doit alimenter. Le résultat de celte projection donne les coordonnées, dans le plan de projection, des points clés pour les surfaces d'affichage 10 à alimenter par projection vidéo. Il est alors possible d'utiliser la technique de modélisation par calage visuel pour ces points clés qui ont été déterminés par calcul mathématique plutôt que par la position d'un objet physique.
Le dispositif considéré est compatible avec des surfaces d'affichage 10, des systèmes de projection d'images 1 1 et des dispositifs interactifs mouvants si l'ont sait mettre à jour dynamiquement le modèle géométrique global d'environnement à l'aide d'au moins l'une des trois techniques de modélisation d'environnement définies plus haut.
200/ Gestion des interactions spatialisées en trois dimensions
Dans une étape 200 du procédé, les dispositifs d'interaction spatialisés 3D 16 sont intégrés dans le modèle géométrique global d'environnement par le biais de la détermination des transformations géométriques nécessaires à l'interprétation des informations qu'ils fournissent dans le même repère à trois dimensions que celui utilisé pour la modélisation de l'environnement visuel. Le dispositif de gestion de simulation comporte à cet effet en second lieu un module de gestion des interactions fournies par les dispositifs d'interaction spatialisés 16.
200A. Le calcul de la fonction de transformation entre le repère intrinsèque du dispositif d'interaction spatialisé et le repère de l'invention s'effectue en connaissant la position d'au moins deux points dans ces deux repères ou d'un point et d'un vecteur.
Ces données nécessaires au calcul peuvent être déterminées à l'aide des première ou seconde techniques de modélisation d'environnement visuel, par mesure géométrique directe, utilisées pour l'affichage et détaillées plus haut.
200B. Dans le cas où les dispositifs d'interaction spatialisés 16 considérés ont un comportement relatif à une surface d'affichage 10 particulière leur servant de référence, la modélisation peut être complétée par un calibrage visuel de ces dispositifs d'interaction spatialisés 1 .
200C. La modélisation du dispositif d'interaction peut être obtenue au travers de la modélisation de cette surface d'affichage 10 dans le modèle géométrique global d'environnement, pour permettre le calcul des transformations géométriques permettant la mise en relation bijective des informations générées par ce dispositif d'interaction spatialisé 16 dans sa surface de référence, avec les autres surfaces d'affichage 10 et l'ensemble de l'environnement. Ceci peut être le cas par exemple pour un dispositif de suivi oculaire (« eye tracking ») capable de projeter la direction du regard uniquement sur un écran. Connaissant les coordonnées précises du "point de regard" sur cet écran et la modélisation de cet écran dans l'environnement global, il devient simple d'obtenir les coordonnées du "point de regard", exprimées dans le repère de l'environnement global. 200D. Une fois le calibrage réalisé, le dispositif de gestion de simulation procède aux calculs nécessaires pour faire correspondre les Informations des dispositifs d'interaction spatialisée 16 avec les surfaces d'affichage 10 et produit des effets visuels sur ces derniers en conséquence. Les correspondances incluent de façon non-exhaustive:
· un pointage précis sur les surfaces d'affichage 10,
la réalisation de gestes de l'utilisateur 15 sur une ou plusieurs surfaces d'affichage 10 induisant des réactions ou feedbacks,
une combinaison d'interaction multimodale (fusion multimodale en entrée) entre l'un des deux moyens précédents et un dispositif d'interaction autre (exemple: une commande vocale).
Les sources sonores spatialisées, en utilisant par exemple les solutions Dolby 5.1 -marque déposée- ou l'écoute binaurale, peuvent aussi être intégrées dans le repère de l'environnement global, au même titre que les dispositifs visuels. Ceci réclame seulement de connaître la position de la tête de l'utilisateur. Cette position peut être obtenue par différents systèmes de vision informatique connus de l'homme de l'art. 300/ Gestion des interactions spatialisées en deux dimensions
Dans une étape 300, le procédé mis en œuvre dans l'invention, et décrit ici dans un exemple non limitatif, interprète les interactions captées par les dispositifs d'interaction spatialisé en deux dimensions (par exemple, un capteur qui suit les déplacements oculaires (eye-tracking) ou des dispositifs de tactilisation, d'une zone rectangulaire précise (cadre tactile ou multitouch) ou d'un plan entier (radarTouch - marque déposée -, plan de faisceaux lumineux, lasers ou infrarouges), qui peuvent être utilisés conjointement à une surface d'affichage (les deux constituent alors une surface d'affichage tactile ou multitouch) ou sans surface d'affichage (il s'agit dans ce cas de dispositifs d'interaction gestuelle dans l'espace « in-air gesture ») et les retranscrit en modifications de l'affichage sur les surfaces d'affichage 10.
Les dispositifs d'Interaction spatialisée en deux dimensions réclament, par comparaison aux dispositifs d'interaction spatialisés trois dimensions, des opérations complémentaires pour transformer les coordonnées 2D en coordonnées 3D pouvant être pris en compte dans le modèle géométrique global d'environnement de l'invention.
300A. Cette intégration dans le modèle géométrique global passe par le rattachement de chaque dispositif d'interaction spatialisé en deux dimensions à une surface plane de référence (virtuelle ou non) modélisée dans l'environnement global et, ensuite, par l'utilisation de techniques de lancer de rayon pour étendre les capacités du dispositif 2D à d'autres surfaces d'affichage 10 de l'environnement.
Le calibrage d'un dispositif d'Interaction spatialisée 2D se fait à l'aide d'une grille visuelle de calibrage comportant un certain nombre de points de référence, généralement cinq ou neuf points même si trois points non-alignés sont suffisants pour l'homme de l'art. Ces points de référence peuvent être projetés sur la surface de référence du dispositif d'interaction spatialisé 2D de diverses manières, utilisant ou non les capacités d'affichage de l'invention. Dans tous les cas, le calibrage d'un dispositif d'interaction spatialisée 2D se fait point de référence par point de référence, et permet de créer une correspondance entre les données du dispositif d'interaction spatialisé 2D et la grille visuelle de calibrage.
Connaissant la position du dispositif d'interaction spatialisé 2D dans le modèle géométrique global d'environnement et au moins un point résultant sur la surface de référence, le procédé utilise des techniques, connues en soi, de lancer de rayon pour détecter des intersections avec d'autres surfaces d'affichage 10 ou d'autres dispositifs qui permettent de se ramener au cas d'un dispositif d'interaction spatialisé en 3D.
Il est à noter qu'une fois le calibrage réalisé, la surface de référence n'a plus besoin d'être visible. Il est seulement nécessaire d'obtenir l'information du ou des points résultants sur cette surface de référence d'un point de vue mathématique pour pouvoir les représenter dans le repère de l'environnement global.
400/ Orchestration des surfaces d'affichage 10 et des dispositifs d'interaction spatialisés 16
Dans une étape 400, le procédé mis en œuvre dans l'invention, orchestre les images projetées sur les surfaces d'affichage en fonction des informations reçues de tous les dispositifs d'interaction spatialisés.
On appelle orchestration la génération des images projetées sur les diverses surfaces d'affichage 10 en temps réel en fonction des actions de l'utilisateur 15 telles que détectées par les dispositifs d'interaction spatialisés 16. Cette modification des images est calculée par le calculateur 12 et émise vers les surfaces d'affichage 10 par les systèmes de projection d'images 1 1 .
Cette orchestration est assurée par des calculs mathématiques de changement de repère et de lancer de rayon.
400A. Dans une première étape, il s'agit de projeter mathématiquement les informations des dispositifs d'interaction spatialisés 16 sur les surfaces d'affichage 10. La projection obtenue est utilisée pour réaliser différentes actions sur les surfaces d'affichage 10 concernées:
pointage, déclenchement d'actions,
équivalent de clic ou de touch en combinant le pointage avec des événements venant des gestes et mouvements de l'utilisateur 15 sur le dispositif d'interaction 16 considéré ou venant d'autres sources (fusion multimodale).
La fusion des informations des différents dispositifs d'interaction spatialisés 16 et des surfaces d'affichage 10 au sein du modèle géométrique global d'environnement permet de faire opérer un dispositif d'interaction spatialisé 16 sur plusieurs surfaces d'affichage 10 en même temps.
400B. Dans une deuxième étape, il s'agit d'utiliser les informations spatialisées pour localiser des entités physiques (objets ou des utilisateurs, exemple: un Leap Motion permet de localiser dans l'espace la main de l'utilisateur 15) et projeter de l'information sur ou autour de ces entités. Cette projection s'appuie à la fois sur le positionnement en 3D des surfaces d'affichage 10 et sur les surfaces virtuelles de référence des vidéoprojecteurs 1 1 . Nous rappelons que l'on entend par surface virtuelle de référence d'un vidéoprojecteur 1 1 la surface "rectangulaire" correspondant à la zone de projection du vidéoprojecteur à sa "distance de netteté". Cette surface "rectangulaire" est normale à l'axe de projection du vidéoprojecteur.
Dans une variante, chaque dispositif d'interaction spatialisé 16 communique aux autres éléments (dispositifs d'interaction spatialisés 16, surfaces d'affichage 10, systèmes de projection d'image 1 1 ) du dispositif de gestion de simulation les actions qu'il capte et chaque surface d'affichage 10 détecte si elle est concernée par ces actions et, le cas échéant, réagit en se mettant à jour visuellement fonctionnellement, et en communiquant avec le reste du dispositif.
Dans une autre variante de mise en œuvre du dispositif, il est possible de rajouter, au logiciel de gestion du dispositif, une couche de pilotage globale qui permet :
d'activer ou de désactiver des surfaces d'affichage 10 et des dispositifs d'Interaction spatialisés 16 selon différentes conditions,
aux différentes surfaces d'affichage 10 et aux différents dispositifs d'interaction spatialisés 16 de se synchroniser entre eux pour interagir et réagir de façon globale et coordonnée (techniques de fusion et fission multimodale en entrée et en sortie, connues de l'homme de l'art).
Dans encore une autre variante, le dispositif de gestion de simulation comporte au moins un dispositif d'interaction tiers du type commande vocale, capteurs de présence, etc.
Il peut également comporter un dispositif d'affichage holographique en complément ou en remplacement d'une partie des surfaces d'affichage 10. Le dispositif de gestion de simulation ici décrit à titre d'exemple non limitatif trouve notamment une utilisation dans le cadre du prototypage d'environnements interactifs (cockpits, systèmes de supervision, etc.) en permettant de recréer et d'étendre tout ou partie d'un environnement de travail complexe en utilisant des dispositifs de prototypage ou des dispositifs à bas coût comparés aux dispositifs qui seront retenus dans l'environnement une fois industrialisé et mise en opération.

Claims

REVENDICATIONS
1. Dispositif de gestion d'affichage et d'interaction sur une pluralité de supports, caractérisé en ce qu'il comporte :
- des moyens de désignation et de modélisation géométrique d'une pluralité de zones choisies sur des surfaces d'affichage (10), et / ou de projection d'images, ces zones d'affichage formant l'environnement visuel d'au moins un utilisateur (15), ces désignations et modélisations résultant en un modèle géométrique d'environnement,
- des moyens d'interprétation des informations fournies par au moins un dispositif d'interaction spatialisé (16) de cet utilisateur (15) dans ce modèle géométrique d'environnement,
- des moyens de génération des images projetées sur les diverses zones d'affichage (10) par au moins un système de projection d'images (1 1 ) en fonction des actions de l'utilisateur (15) telles que détectées par les dispositifs d'interaction spatialisés (16).
2. Dispositif d'affichage, caractérisé en ce qu'il comporte un dispositif selon la revendication 1 , et :
- une pluralité de surfaces passives d'affichage (1 0),
- au moins un système de projection d'image (1 1 ) vers ces surfaces d'affichage (10),
- au moins un dispositif d'interaction spatialisé (16) adapté à détecter des instructions gestuelles d'un utilisateur (15).
3. Procédé de gestion d'affichage et d'interaction sur une pluralité de zones choisies sur des supports d'affichage (10), ces surfaces d'affichage recevant des images projetées par au moins un système de projection d'images (1 1 ),
caractérisé en ce qu'il comporte une étape :
100/ de génération d'un modèle géométrique global d'environnement, c'est à dire de données caractérisant la position et les dimensions de chaque surface d'affichage (10) face aux systèmes de projection d'image (1 1 ), l'orientation ou la distance précises de chaque surface d'affichage (10) vis à vis des systèmes de projection d'image(1 1 ) étant initialement inconnues.
4. Procédé selon la revendication 3, caractérisé en ce qu'il comporte la modélisation de chaque surface d'affichage (10), en utilisant au moins l'une des sous-étapes suivantes:
100A mesure géométrique directe dans l'espace,
100B mesure géométrique à l'aide de systèmes de modélisation en trois dimensions,
100C calage visuel.
5. Procédé selon la revendication 4, caractérisé en ce que la sous-étape 100C comporte un calage automatisé à l'aide d'un système de vision par ordinateur couplé à un système de projection affichant différentes séquences de motifs visuels pour détecter et calibrer les différents plans de projection.
6. Procédé selon la revendication 4, caractérisé en ce que la sous-étape 100C comporte la modélisation d'un plan de projection virtuel en fonction de l'orientation du système de projection d'images (1 1 ) mais aussi de sa focale, ce plan de projection virtuel étant normal à l'axe de projection du système de projection d'images (1 1 ) et situé à une distance dépendant de la focale du projecteur.
7. Procédé selon l'une quelconque des revendications 3 à 6, caractérisé en ce qu'il comporte une étape :
200/ d'intégration de dispositifs d'interaction spatialisés 3D (16) dans le modèle géométrique global d'environnement, par le biais de la détermination des transformations géométriques nécessaires à l'interprétation des informations que ces dispositifs d'interaction spatialisé 3D (16) fournissent dans le même repère à trois dimensions que celui utilisé pour la modélisation des surfaces d'affichage (10).
8. Procédé selon la revendication 7, caractérisé en ce que l'étape 200 comporte des sous-étapes :
200A. de calcul de la fonction de transformation entre le repère intrinsèque du dispositif d'interaction spatialisé et le repère du modèle d'environnement global, à partir de la position d'au moins deux points dans ces deux repères ou d'un point et d'un vecteur,
200D. de génération d'une fonction de correspondance entre les informations des dispositifs d'interaction spatialisés (16) et les surfaces d'affichage (10).
9. Procédé selon l'une quelconque des revendications 3 à 8, caractérisé en ce qu'il comporte une étape :
300/ d'intégration d'au moins un dispositif d'interaction spatialisés 2D dans le modèle géométrique global d'environnement par la détermination de transformation des coordonnées 2D issues du dispositif d'interaction spatialisé 2D en coordonnées 3D pouvant être prises en compte dans le modèle géométrique global d'environnement.
10. Procédé selon l'une quelconque des revendications 3 à 9, caractérisé en ce qu'il comporte une étape :
400/ de génération des images projetées sur les diverses surfaces d'affichage (10) en temps réel en fonction des actions de l'utilisateur (15) telles que détectées par les dispositifs d'interaction spatialisés (16), cette étape 400 comportant des sous-étapes suivantes :
400A. de projection mathématique des informations des dispositifs d'interaction spatialisés (16) sur les surfaces d'affichage (10),
400B. d'utilisation des informations spatialisées pour localiser des entités physiques et projeter de l'information sur ou autour de ces entités.
EP15775768.3A 2014-09-16 2015-09-15 Dispositif et procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'intéraction spatialisés 2d et 3d pour la création d'environnements intéractifs Withdrawn EP3195593A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1458702A FR3025917A1 (fr) 2014-09-16 2014-09-16 Dispositif et procede d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'interaction spatialises 2d et 3d pour la creation d'environnements interactifs
PCT/FR2015/052469 WO2016042256A1 (fr) 2014-09-16 2015-09-15 Dispositif et procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'intéraction spatialisés 2d et 3d pour la création d'environnements intéractifs

Publications (1)

Publication Number Publication Date
EP3195593A1 true EP3195593A1 (fr) 2017-07-26

Family

ID=52988107

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15775768.3A Withdrawn EP3195593A1 (fr) 2014-09-16 2015-09-15 Dispositif et procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'intéraction spatialisés 2d et 3d pour la création d'environnements intéractifs

Country Status (4)

Country Link
US (1) US20170257610A1 (fr)
EP (1) EP3195593A1 (fr)
FR (1) FR3025917A1 (fr)
WO (1) WO2016042256A1 (fr)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6780315B2 (ja) * 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
WO2019079790A1 (fr) * 2017-10-21 2019-04-25 Eyecam, Inc Système d'interface utilisateur graphique adaptatif
CN107908384A (zh) * 2017-11-18 2018-04-13 深圳市星野信息技术有限公司 一种实时显示全息人像的方法、装置、系统及存储介质
US10607407B2 (en) * 2018-03-30 2020-03-31 Cae Inc. Dynamically modifying visual rendering of a visual element comprising a visual contouring associated therewith
CN113325659A (zh) * 2021-05-31 2021-08-31 深圳市极鑫科技有限公司 一种基于投影显示的人机交互系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7019748B2 (en) * 2001-08-15 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. Simulating motion of static objects in scenes
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
TWI385842B (zh) * 2009-07-21 2013-02-11 Nat Univ Tsing Hua 電池電極製作方法
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction

Also Published As

Publication number Publication date
WO2016042256A1 (fr) 2016-03-24
US20170257610A1 (en) 2017-09-07
FR3025917A1 (fr) 2016-03-18

Similar Documents

Publication Publication Date Title
US10657716B2 (en) Collaborative augmented reality system
US11043031B2 (en) Content display property management
US10553031B2 (en) Digital project file presentation
KR102222974B1 (ko) 홀로그램 스냅 그리드
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
CN107209386B (zh) 增强现实视野对象跟随器
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
KR102460047B1 (ko) 유저 안경 특성을 결정하는 눈 추적용 디바이스를 갖는 헤드업 디스플레이
EP3195593A1 (fr) Dispositif et procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'intéraction spatialisés 2d et 3d pour la création d'environnements intéractifs
US11340707B2 (en) Hand gesture-based emojis
US11743064B2 (en) Private collaboration spaces for computing systems
WO2016209605A1 (fr) Ancrage situé à un endroit virtuel
US11797720B2 (en) Tool bridge
US11727238B2 (en) Augmented camera for improved spatial localization and spatial orientation determination
KR20230017849A (ko) 증강 현실 안내
US11449189B1 (en) Virtual reality-based augmented reality development system
US11057612B1 (en) Generating composite stereoscopic images usually visually-demarked regions of surfaces
US11961195B2 (en) Method and device for sketch-based placement of virtual objects
Sánchez Salazar Chavarría et al. Interactive 3D touch and gesture capable holographic light field display with automatic registration between user and content
Guizzi et al. Augmented Reality and Virtual Reality: From the Industrial Field to Other Areas
US11676329B1 (en) Mobile device holographic calling with front and back camera capture
US11763525B1 (en) Blind object tracking using point clouds
US20240112413A1 (en) Mapping a Real-World Room for A Shared Artificial Reality Environment
US20240112412A1 (en) Mapping a Real-World Room for A Shared Artificial Reality Environment
US20240112414A1 (en) Mapping a Real-World Room for A Shared Artificial Reality Environment

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170418

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: PEYRUQUEOU, VINCENT

Inventor name: VALES, STEPHANE

Inventor name: LEMORT, ALEXANDRE

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200511

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

R17C First examination report despatched (corrected)

Effective date: 20200728

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220224