FR2928468A1

FR2928468A1 - DEVICE FOR NON-TOUCH INTERACTION WITH AN IMAGE NOT BASED ON ANY SUPPORT

Info

Publication number: FR2928468A1
Application number: FR0801170A
Authority: FR
Inventors: Gwenole Bocquet
Original assignee: Individual
Current assignee: Individual
Priority date: 2008-03-04
Filing date: 2008-03-04
Publication date: 2009-09-11
Anticipated expiration: 2028-03-04
Also published as: WO2009112722A3; WO2009112722A9; FR2928468B1; WO2009112722A2

Abstract

La présente invention concerne une Borne interactive.La présente invention est caractérisée en ce qu'elle permet à un utilisateur d'interagir en temps réel sans contact matériel et sans aucun accessoire avec une animation (20) par des mouvements et/ou positionnement de ses mains dans des zones déterminées de l'espace. La présente invention utilise des systèmes de capteurs matriciels (4), un écran à cristaux liquides hybride spécial (3) et un système optique de projection (2) combiné avec un afficheur de haute luminosité (1)The present invention relates to an interactive terminal.The present invention is characterized in that it allows a user to interact in real time without material contact and without any accessory with an animation (20) by movements and / or positioning of its hands in certain areas of space. The present invention uses matrix sensor systems (4), a special hybrid liquid crystal display (3) and a projection optical system (2) combined with a high brightness display (1)

Description

DISPOSITIF POUR UNE INTERACTION NON TACTILE AVEC UNE IMAGE RELLE NE REPOSANT SUR AUCUN SUPPORT CHAMP D'APPLICATION DE L'INVENTION 5 La présente invention concerne une Borne interactive pour la publicité, la communication, le téléchargement et la prise d'informations. La présente invention est caractérisée en ce qu'elle permet à un utilisateur d'interagir en temps réel sans contact matériel et sans aucun accessoire avec une animation ne reposant sur aucun support par des 10 mouvements et/ou positionnement de ses mains dans des zones déterminées de l'espace où sont localisées des images en flottement . La présente invention utilise des systèmes de capteurs infrarouges, un écran LCD pourvu d'un rétroéclairage OLED et d'un système de lentilles de Fresnel combiné à un écran source de haute luminosité. La borne interactive peut être utilisée comme espace publicitaire ; comme outil d'exploration d'une banque 15 de données d'animations 3D ; comme outil de modelage 3D, comme outil pour le divertissement ; comme une borne reliée au réseau Internet et compatible avec les standards des télécommunications comme le protocole BLUTOOTH. ETAT DE LA TECHNIQUE 20 11 existe un certain nombre de technologies permettant de produire des images en relief ; de la même manière, il existe un certain nombre de technologies pour la production d'une interaction entre un signal vidéo et un événement physique extérieur. Une technologie bien connue est celle de l'écran tactile. L'inconvénient de cette méthode est de proposer un mode d'interactivité physique avec contact ou quasi contact. 25 Il n'est pas spontané chez l'utilisateur de palper une image sur un écran solide. Les systèmes de réalité augmentée et d'immersion nécessite des casques et/ ou un appareillage sophistiqué tels des bras à retour de force etc. On s'intéresse par la suite uniquement aux systèmes d'affichage d'images en relief ou avec effet 3D ne nécessitant pas le port d'accessoire par l'utilisateur : Les systèmes d'affichage d'images en relief sont divisés selon les catégories suivantes : 30 Les systèmes lenticulaires Les systèmes à barrière de parallaxe Les systèmes à écrans rotatifs Les systèmes à écrans holographiques 35 Les systèmes nécessitant une cage (systèmes rotatifs) ne permettent pas une interactivité directe avec l'image. Les systèmes à barrière de parallaxe et écrans lenticulaires nécessite un traitement particulier en amont des animations ; ce qui complexifie la possibilité de réaliser une interactivité dynamique élaborée et en augmente son coût. Par ailleurs, les systèmes qui utilisent des lentilles de Fresnel ne permettent pas simultanément d'afficher une image réelle d'arrière plan et parfaitement aplanétique. Hors, l'utilisateur a 40 besoin dans un contexte de communication de récolter un maximum d'informations ; le seul affichage 3D restant insuffisant. De plus, la visibilité est accrue lorsque les angles de vision sont maximums. The present invention relates to an interactive terminal for advertising, communication, downloading and information gathering. BACKGROUND OF THE INVENTION The present invention relates to an interactive terminal for advertising, communication, downloading and information gathering. The present invention is characterized in that it allows a user to interact in real time without material contact and without any accessory with an animation based on no support by movements and / or positioning of his hands in specific areas. of the space where floating images are located. The present invention utilizes infrared sensor systems, an LCD screen with OLED backlight, and a Fresnel lens system combined with a high brightness source screen. The interactive terminal can be used as advertising space; as a tool for exploring a bank of 3D animation data; as a 3D modeling tool, as a tool for entertainment; as a terminal connected to the Internet network and compatible with telecommunications standards such as the BLUTOOTH protocol. STATE OF THE ART There are a number of technologies for producing relief images; in the same way, there are a number of technologies for producing an interaction between a video signal and an external physical event. A well-known technology is that of the touch screen. The disadvantage of this method is to propose a mode of physical interactivity with contact or quasi-contact. It is not spontaneous for the user to feel an image on a solid screen. Augmented reality and immersion systems require helmets and / or sophisticated equipment such as force feedback arms, etc. Next, we are interested only in 3D or 3D image display systems that do not require the use of accessories by the user: The systems for displaying relief images are divided according to the categories following: Lenticular systems Parallax barrier systems Rotary screen systems Holographic display systems Systems requiring a cage (rotating systems) do not allow direct interactivity with the image. Parallax barrier systems and lenticular screens require special treatment upstream animations; which complicates the possibility of achieving an elaborate dynamic interactivity and increases its cost. Moreover, systems that use Fresnel lenses do not simultaneously display a real background image and perfectly aplanetic. In addition, the user needs in a communication context to gather a maximum of information; the only 3D display remaining insufficient. In addition, visibility is increased when the viewing angles are maximum.

La présente invention se propose de remédier à ces difficultés par la réalisation d'un dispositif de projection d'animations ne reposant sur aucun support matériel pouvant être modelée de façon dynamique. RESUME DE L'INVENTION Le dispositif selon la présente invention comporte un système source caractérisé par un écran haute luminosité piloté par une unité informatique type PC ; il comporte par ailleurs un ensemble optique de Fresnel pour la production d'une image réelle quasi aplanétique ne reposant sur aucun support ainsi qu'un écran hybride semi transparent OLED/LCD pour la production d'une image réelle. Le dispositif comprend en outre des ensembles de capteurs de position pilotés également par une unité informatique ; une application logicielle dédiée gère la création en temps réel des images selon les événements physiques traduits par les ensembles de capteurs. Le dispositif selon l'invention comprendra des éléments périphériques supplémentaires pour la réalisation d'une borne interactive polyvalente et pouvant être pilotée par le réseau Internet. L'invention est enfin conçue potentiellement pour générer une interaction complètement dynamique avec des éléments 3D en temps réel donnant la possibilité de les modifier sans aucun contact tactile matériel. DESCIRPTION DETAILLEE DES CHAMPS D'APPLICATION DE L'INVENTION La présente invention consiste en une borne de faible épaisseur pouvant être facilement installée dans un magasin, un hall de présentation ou un lieu de passage. La borne selon l'invention comprend un écran qui génère des animations ne reposant sur aucun support (en flottement ) et pouvant être modifiées dynamiquement selon des gestes donnés de l'utilisateur traduits en un langage élémentaire. L'invention a pour avantage en ce qu'elle permet à un utilisateur d'accéder à des informations sans contact tactile tout en garantissant une sensation accrue de réalisme concernant les objets explorés. Un ensemble de gestes peuvent ainsi être codés : Enclenchement d'une rotation directe selon un axe (Oz) ; Enclenchement d'une rotation indirecte selon un axe (Oz) ; Enclenchement d'une rotation directe selon un axe (Oy) ; Enclenchement d'une rotation indirecte selon un axe (0y) ; Translation gauche ; - Translation droite ; - Translation haut ; - Translation bas ; - Zoom avant ; Zoom arrière ; Précédant ; Suivant ; Edition des caractéristiques L'invention est conçue en ce qu'elle permet un contrôle précis d'une interaction fluide non tactile (au sens matériel) pour un réalisme accru. L'invention permet en outre grâce à l'effet de sustentation des images détourées d'améliorer la sensation de volume. L'invention permet un contrôle dynamique des propriétés des objets affichés selon un mode d'interaction intuitif qui ne nécessite pas d'interface matérielle. Le contrôle dynamique non tactile (NTDC) permet une approche plus naturelle et une manipulation plus aisée des concepts géométriques. Le procédé selon l'invention s'applique à la communication, aux jeux vidéo, mais aussi à l'information et la simulation. The present invention proposes to remedy these difficulties by producing an animation projection device that does not rely on any material support that can be modeled dynamically. SUMMARY OF THE INVENTION The device according to the present invention comprises a source system characterized by a high brightness screen controlled by a PC type computer unit; it also includes a Fresnel optical assembly for producing an almost aplanatic real image that does not rely on any support, as well as an OLED / LCD semi-transparent hybrid screen for producing a real image. The device further comprises sets of position sensors also controlled by a computer unit; a dedicated software application manages the real-time creation of images according to the physical events translated by the sensor assemblies. The device according to the invention will comprise additional peripheral elements for producing a multi-purpose interactive terminal that can be controlled by the Internet network. The invention is finally conceived potentially to generate a completely dynamic interaction with 3D elements in real time giving the possibility of modifying them without any tactile tactile contact. DETAILED DESCRIPTION OF THE FIELDS OF APPLICATION OF THE INVENTION The present invention consists of a thin terminal that can be easily installed in a store, a presentation hall or a place of passage. The terminal according to the invention comprises a screen that generates animations that do not rely on any support (floating) and can be dynamically modified according to given gestures of the user translated into a basic language. The invention has the advantage that it allows a user to access information without tactile contact while ensuring a greater sense of realism about the objects explored. A set of gestures can thus be coded: Activation of a direct rotation along an axis (Oz); Engaging an indirect rotation along an axis (Oz); Engaging a direct rotation along an axis (Oy); Engaging an indirect rotation along an axis (0y); Left translation; - Right Translation; - High translation; - Low translation; - Zoom in; Zoom out; Previous; Next ; The invention is designed in that it allows precise control of a non-tactile fluid interaction (in the material sense) for increased realism. The invention also makes it possible, by virtue of the levitation effect of the cut-out images, to improve the sensation of volume. The invention allows dynamic control of the properties of displayed objects in an intuitive interaction mode that does not require a hardware interface. Non-tactile dynamic control (NTDC) allows for a more natural approach and easier handling of geometric concepts. The method according to the invention applies to communication, video games, but also to information and simulation.

L'invention permet de créer : Un clavier virtuel interactif, - Un objet (exemple : un téléphone mobile) interactif Rend possible l'exploration d'un produit tel une automobile par édition virtuelle des fonctions de celle-ci - L'exploration d'une gamme de produits dont la mise à jour peut se faire par Internet sans traitement 15 informatique intermédiaire par simple insertion de fichier vidéo ; Une interactivité avec des téléphones mobiles pour conserver des informations explorées, réaliser un achat ultérieur, accumuler des points cadeaux etc. Un jeu virtuel interactif sans accessoire ; impliquant un codage gestuel plus ou moins complexe ; Un modeleur manuel 3D dynamique sans accessoires périphérique ; 20 La création d'une borne marchande pour l'achat en ligne de produits accessibles dynamiquement ; - L'adjonction d'une reconnaissance (type code barre) des produits de magasin dont la saisie entraîne le lancement d'un séquence interactive ; La diffusion de bandes annonces pour cinéma ; - Une borne destinée aux enfants 25 - Une borne pour les jeux vidéo ; Une borne d'information pour la météo, l'orientation dans une ville (exploration via un plan interactif) ù indication des produits disponibles dans les magasins les plus proches etc. The invention makes it possible to create: An interactive virtual keyboard, - An interactive object (example: a mobile phone) makes it possible to explore a product such as an automobile by virtual editing of the functions thereof - The exploration of a range of products whose updating can be done over the Internet without intermediate computer processing by simply inserting a video file; Interactivity with mobile phones to keep information explored, make a later purchase, earn gift points, etc. An interactive virtual game without accessories; implying a more or less complex gestural coding; A dynamic 3D manual modeler without peripheral accessories; 20 The creation of a merchant terminal for the online purchase of dynamically accessible products; - The addition of a recognition (barcode type) of the products of the store whose input leads to the launching of an interactive sequence; The broadcasting of movie trailers; - A children's terminal 25 - A terminal for video games; An information terminal for the weather, orientation in a city (exploration via an interactive map), indication of the products available in the nearest stores, etc.

L'invention pourra se caractériser selon les objets suivants : 30 Un premier objet de la présente invention consiste en ce que les moyens pour la production des images réelles sont de type optiques et sont réalisés à partir de lentilles de Fresnel pouvant être arrangées en matrices ; - Un second objet de la présente invention consiste en ce qu'elle comprend un écran hybride 35 OLED/LCD qui peut être soit dan un état transparent ou dans un état de mode d'affichage, - Un troisième objet de la présente invention est caractérisé en ce qu'elle comprend des systèmes pour la production et la restitution d'animations vidéo sources tels des écrans LCD, OLED, TOLED (OLED transparent), LED, PLASMA ; mais aussi des écrans de projection associés à des vidéo projecteurs ; 40 Un quatrième objet de la présente invention consiste en ce qu'elle comprend des capteurs physiques reliés par le biais d'une carte d'acquisition à une unité informatique (PC ou carte comprenant des microcontrôleurs) ; ces capteurs seront des capteurs de position de type infrarouge ; mais pourront aussi être des capteurs de mouvement ; Un cinquième objet de l'invention consiste en ce que l'ensemble optique pour la production d'une animation ne reposant sur aucun support matériel peut se caractériser par 1 ou plusieurs sous ensembles optiques, Un sixième objet de l'invention consiste en ce qu'elle comprend selon un mode particulier de réalisation des sources et des détecteurs infrarouges balayant une zone de l'espace coïncidant avec la zone de projection des images Un septième objet de l'invention consiste en qu'elle permet d'établir une correspondance précise et immédiate entre l'emplacement physique des images projetées et la zone de détection des capteurs ; Un huitième objet de la présente invention est caractérisé en ce que les systèmes pour la production des animations sources interactives sont pilotés par un ou plusieurs logiciels implémentés sur un micro-ordinateur (unité informatique PC) ou une carte électronique munie de micro contrôleurs programmables (En PIC par exemple) Les applications pouvant être écrites à titre d'exemple sous WINDEV, C++ ou VISUAL BASIC. Un neuvième objet de la présente invention consiste en ce que l'ensemble optique comprend une première lentille de Fresnel correcteur d'aberrations géométriques et chromatiques pour élargir le champ de vision des images produites par les éléments sources, Un dixième objet de la présente invention consiste en ce qu'elle permet d'afficher une image réelle en détachement parallèlement avec une image réelle générée par un afficheur hybride LCD/OLED selon une grande fréquence de commutation supérieure au seuil de rémanence rétinienne, Un onzième objet de la présente invention consiste en ce l'on adjoint des capteurs électrostatiques, à membrane, à matrice CCD, holographique, doppler, etc. Un douzième de la présente invention consiste en ce que celle-ci peut comprendre en option des capteurs de chaleur, de mouvement, de bruit, de lumière, de pression et de toucher, Un treizième objet de la présente invention consiste en ce qu'elle peut comprendre un système de capteurs/détecteurs infrarouge de distance pour effectuer un repérage par triangulation spatiale. Un dix-huitième objet de la présente invention consiste en ce qu'elle peut comprendre un miroir infrarouge pour la réalisation d'un capteur particulier ; Un quatorzième objet de la présente invention consiste en ce que le système de capteur infrarouge se caractérise selon un mode particulier de réalisation par une caméra infrarouge matricielle CCD qui peut être complétée par un système autofocus et par une source diffuse d'infrarouge ; Un quinzième objet de la présente invention consiste en ce que le système autofocus joint à la caméra infrarouge est piloté par un logiciel qui détermine la distance d'interaction en rapport d'une fonction étalon, Un seizième objet de la présente invention consiste en ce que, selon un mode particulier d'exécution, un programme informatique dédié modifie ou recalcule en temps réel les animations 3D interactives projetées, Un dix-septième objet de la présente invention consiste en ce que les moyens pour la production d'animations ne reposant sur aucun support peuvent être complétés par d'autres moyens ; ces moyens complémentaires sont : des éléments holographiques de projection, des miroirs sans tain, 2928468 s des réseaux lenticulaires, des LEDS, des filtres optiques, des plaques translucides et des masques à cristaux liquides ; Un dix-huitième objet de l'invention consiste en ce que le dispositif optique peut consister en une lentille de Fresnel générant l'effet d'une sphère, 5 Un dix-neuvième objet de la présente invention consiste en ce qu'elle peut comporter optionnellement des buses d'air convergents dans le plan image et dont le flux augmente en fonction des mouvements de la main de l'utilisateur pour simuler un effet tactile artificiel ; Un vingt et unième objet de la présente invention consiste en ce qu'elle est munie selon une application particulière d'un lecteur ou détecteur de code barre pour la restitution dynamique des 10 objets 3D correspondant, Un vingt deuxième objet de la présente invention consiste en ce qu'elle peut optionnellement inclure un système de LED RGB pour éclairer la périphérie des images en flottement ou pour éclairer la périphérie de la sphère générée par la lentille de Fresnel (si cette dernière est utilisée) The invention can be characterized according to the following objects: A first object of the present invention is that the means for the production of real images are optical and are made from Fresnel lenses that can be arranged in dies; A second object of the present invention is that it comprises an OLED / LCD hybrid display which may be in a transparent state or in a display mode state. A third object of the present invention is characterized in that it includes systems for producing and rendering source video animations such as LCD, OLED, TOLED (transparent OLED), LED, PLASMA; but also projection screens associated with video projectors; A fourth object of the present invention is that it comprises physical sensors connected via an acquisition card to a computer unit (PC or card including microcontrollers); these sensors will be infrared-type position sensors; but may also be motion sensors; A fifth object of the invention is that the optical assembly for the production of an animation not relying on any material support can be characterized by 1 or more optical subassemblies, a sixth object of the invention is that According to a particular embodiment, it comprises infrared sources and detectors scanning an area of the space coinciding with the projection area of the images. A seventh object of the invention is that it makes it possible to establish a precise correspondence and immediate between the physical location of the projected images and the detection area of the sensors; An eighth object of the present invention is characterized in that the systems for the production of interactive source animations are controlled by one or more software implemented on a microcomputer (PC computer unit) or an electronic card provided with programmable micro controllers (En PIC for example) Applications that can be written as an example in WINDEV, C ++ or VISUAL BASIC. A ninth object of the present invention is that the optical assembly comprises a first Fresnel corrector geometric and chromatic aberration lens to widen the field of view of the images produced by the source elements, a tenth object of the present invention consists in that it makes it possible to display a real image detachment in parallel with a real image generated by a hybrid LCD / OLED display with a high switching frequency greater than the retinal remanence threshold. An eleventh object of the present invention consists in electrostatic, membrane, CCD matrix, holographic, Doppler, etc. sensors are added. A twelfth of the present invention is that it may optionally include heat, motion, noise, light, pressure and touch sensors. A thirteenth object of the present invention is that may include an infrared sensor / distance sensor system to perform spatial triangulation tracking. An eighteenth object of the present invention is that it may comprise an infrared mirror for producing a particular sensor; A fourteenth object of the present invention consists in that the infrared sensor system is characterized according to a particular embodiment by a CCD matrix infrared camera that can be completed by an autofocus system and a diffuse infrared source; A fifteenth object of the present invention is that the autofocus system attached to the infrared camera is driven by software that determines the relative interaction distance of a standard function, A sixteenth object of the present invention is that , according to a particular embodiment, a dedicated computer program modifies or recalculates in real time projected interactive 3D animations, A seventeenth object of the present invention is that the means for the production of animations does not rely on any support can be supplemented by other means; these complementary means are: projection holographic elements, one-way mirrors, lenticular arrays, LEDS, optical filters, translucent plates and liquid crystal masks; An eighteenth object of the invention is that the optical device may consist of a Fresnel lens generating the effect of a sphere. A nineteenth object of the present invention is that it may comprise optionally air nozzles converging in the image plane and whose flow increases as a function of the movements of the user's hand to simulate an artificial tactile effect; A twenty-first object of the present invention is that it is provided according to a particular application of a reader or bar code detector for the dynamic restitution of the corresponding 3D objects. A second object of the present invention consists of what it can optionally include a RGB LED system to illuminate the periphery of floating images or to illuminate the periphery of the sphere generated by the Fresnel lens (if the latter is used)

15 Le dispositif selon l'invention comprendra à titre non limitatif les éléments techniques suivants : The device according to the invention will include, without limitation, the following technical elements:

Une matrice LCD caractérisé par les éléments suivants : un premier filtre polarisant, un premier substrat en verre, une première matrice d'électrodes transparentes, une première couche d'alignement, une fine couche de cristaux liquides, une seconde couche d'alignement 20 perpendiculaire à la première, une seconde matrice d'électrodes transparentes, un filtre de couleur RGB, un second substrat de verre et un second filtre polarisant perpendiculaire au premier ; - Un dalle de rétroéclairage OLED qui dans l'état 'OFF' est transparente et dans l'état 'ON' diffuse de la lumière blanche ; (typiquement au moins 1000 Cd/m2) Un électronique de contrôle de la matrice LCD ; 25 - Un commutateur électronique de synchronisation qui pilote l'état ON/OFF de la matrice LCD et de la dalle OLED selon une fréquence typique ; - Un afficheur source de haute luminosité type LCD, PLASMA ou OLED ; - Des systèmes de lentilles de Fresnel ou matrices de lentilles de Fresnel ; Des capteurs infrarouges (capteurs de distance ou caméra infrarouge couplée avec une source et 30 optionnellement munie de la fonction autofocus) Un Mini PC informatique ; - Une application informatique qui interprète les signaux des capteurs ; Une application informatique de contrôle en temps réel des animations et informations fonction des informations reçues des capteurs ; 35 Une Connexion Internet ; Des parois opaques ou translucides ; Un système de reconnaissance BLUTOOTH ; Un système de lecture code à barre 40 BREVE DESCRIPTION DES DESSINS La figure 1 représente en vue schématique de côté un mode d'exécution de l'invention ; La figure 2 représente une vue schématique de côté un autre mode d'exécution de l'invention ; La figure 3 représente en vue schématique de côté un mode de réalisation pour un capteur/détecteur infrarouge , La figure 4 représente un mode d'exécution selon l'invention d'un système de capteurs détecteurs selon l'invention. An LCD array characterized by the following elements: a first polarizing filter, a first glass substrate, a first transparent electrode array, a first alignment layer, a thin liquid crystal layer, a second perpendicular alignment layer. at the first, a second transparent electrode array, an RGB color filter, a second glass substrate and a second polarizing filter perpendicular to the first; - An OLED backlight panel which in the 'OFF' state is transparent and in the 'ON' state diffuse white light; (typically at least 1000 Cd / m2) An electronic control of the LCD matrix; An electronic timing switch which drives the ON / OFF state of the LCD array and the OLED panel at a typical frequency; - A high brightness source display type LCD, PLASMA or OLED; - Fresnel lens systems or Fresnel lens arrays; Infrared sensors (distance sensors or infrared camera coupled with a source and optionally equipped with the autofocus function) A computer mini PC; - A computer application that interprets the signals of the sensors; A computer application for real-time control of the animations and information based on information received from the sensors; 35 An Internet Connection; Opaque or translucent walls; BLUTOOTH recognition system; A bar code reading system BRIEF DESCRIPTION OF THE DRAWINGS Figure 1 is a schematic side view of an embodiment of the invention; Figure 2 shows a schematic side view another embodiment of the invention; FIG. 3 is a diagrammatic side view of an embodiment for an infrared sensor / detector. FIG. 4 represents an embodiment according to the invention of a sensor sensor system according to the invention.

DESCRIPTION DETAILLEE Le dispositif selon la présente invention se caractérise par une borne interactive qui comprend un écran source 1. Celui-ci produit des animations originales 18 détourées sur fond uniforme. Ces animations sont 15 générées en temps réel par l'unité PC 11. Le dispositif selon l'invention comprend en outre un système optique de projection 2 constitué de lentilles de Fresnel : celui-ci est muni d'un premier ensemble 5 élargisseur de champ caractérisé par une ou plusieurs lentille de Fresnel arrangées en matrices de sorte que la face striée de celles-ci soit tournée côté observateur 27 ; un second ensemble est caractérisé par un double condenseur ou une matrice de lentille de Fresnel 6 pour 20 la projection d'une image réelle aplanétique 20 en flottement à partir d'une image source 18. Une seconde image réelle 22 est produite par un écran hybride OLED/LCD 3 caractérisé par une matrice à cristaux liquides 7 pour l'affichage des informations 22 et par un système de rétroéclairage OLED 8 : En état `ON' : La dalle OLED 8 est en position `allumée' et éclaire la matrice LCD 7. 25 Simultanément, la matrice LCD 7 munie de son électronique de commande 9 (déportée) affiche l'image courante 22 indiquée par le PC 11 auquel elle est reliée. DETAILED DESCRIPTION The device according to the present invention is characterized by an interactive terminal which comprises a source screen 1. This produces original animations 18 cut off on a uniform background. These animations are generated in real time by the PC unit 11. The device according to the invention further comprises a projection optical system 2 consisting of Fresnel lenses: it is provided with a first set of field expander 5 characterized by one or more Fresnel lenses arranged in dies so that the ridged face thereof is turned to the observer side 27; a second set is characterized by a dual condenser or a Fresnel lens array 6 for projecting a floating aplanatic image 20 from a source image 18. A second actual image 22 is produced by a hybrid screen OLED / LCD 3 characterized by a liquid crystal matrix 7 for displaying the information 22 and by an OLED backlight system 8: In 'ON' state: The OLED panel 8 is in the 'on' position and illuminates the LCD matrix 7 At the same time, the LCD array 7 provided with its control electronics 9 (remote) displays the current image 22 indicated by the PC 11 to which it is connected.

En état 'OFF', la dalle OLED 8 est en position éteinte et est donc transparente ; Simultanément la matrice LCD 7 est aussi dans l'état `transparent' (les cristaux liquides sont alignés 30 perpendiculairement au plan d'incidence des faisceaux optiques) : les faisceaux 19 issus des lentilles de projection 2 passent à travers l'écran hybride 3 pour former l'image en flottement 20 courante. In 'OFF' state, the OLED 8 panel is in the off position and is therefore transparent; Simultaneously, the LCD array 7 is also in the `transparent` state (the liquid crystals are aligned perpendicular to the plane of incidence of the optical beams): the beams 19 coming from the projection lenses 2 pass through the hybrid screen 3 to to form the current floating image.

La commutation ON/OFF est assurée par un commutateur électronique 10 qui est relié au PC 11. Le dispositif 10 peut commuter ou ne pas commuter selon si une image 20 est affichée ou pas. La fréquence de 35 commutation est choisie en exploitant le phénomène de rémanence rétinienne pour obtenir une superposition sans clignotement des images 20 et 22. The switching ON / OFF is provided by an electronic switch 10 which is connected to the PC 11. The device 10 can switch or not to switch depending on whether an image 20 is displayed or not. The switching frequency is chosen by exploiting the retentive remanence phenomenon to obtain a non-flashing superimposition of the images 20 and 22.

L'interactivité est réalisée au moyen d'un système de capteurs 4 qui comprennent une source infrarouge et un système de détection. La source infrarouge se caractérise selon un premier mode de réalisation par une source 40 émettant un faisceau directif qui vient couper le plan image 4e. On incline 4 capteurs de distance infrarouge de ce type 4a, 4b, 4c, 4d vers le plan image 21 de sorte que la zone de détection desdits capteurs coïncide avec la zone où est localisée l'image en flottement 20. Cette configuration permet de coder différentes 6 actions élémentaires de la main de l'utilisateur. A chaque action, correspond un nouvel événement. Un logiciel gère les différentes actions de l'utilisateur et les compulses dans un programme intelligent interactif. Interactivity is achieved by means of a sensor system 4 which includes an infrared source and a detection system. The infrared source is characterized in a first embodiment by a source 40 emitting a directional beam that cuts the image plane 4e. Four such infrared distance sensors 4a, 4b, 4c, 4d are inclined towards the image plane 21 so that the detection zone of said sensors coincides with the zone where the floating image 20 is located. This configuration makes it possible to encode different 6 basic actions of the user's hand. Each action has a new event. A software manages the different actions of the user and the compulsives in an intelligent interactive program.

Selon un second made de réalisation, la source infrarouge 14 se caractérise par une ou plusieurs LED infrarouges couplées avec un ou plusieurs éléments optiques 15 pour étaler les faisceaux 16. Ces éléments optiques pourront consister en une lentille divergente, une matrice de microlentilles ou encore un élément translucide. Selon ce même principe, le système de détection se caractérise par une caméra infrarouge 13 munie d'un système autofocus : Les faisceaux sont réfléchis 17 par la main de l'utilisateur au point de contact virtuel 26. Après leur passage dans l'objectif 13b, ils sont détectés par la matrice CCD infrarouge 13a. Les distance 14b et 14c étant connues ; une puce intégrée (module déjà existant) détecte la maximum d'intensité selon (x, y) reçu par les détecteurs IR de la matrice CCD. Un étalon préalable est effectué entre le maximum de signal électrique et la distance d'interaction (courbe x,y,z ) permettant de détecter la coordonnée (z) (profondeur) de la main de l'utilisateur. Ce mode de réalisation permet de réaliser une interaction avec une finesse de détail accrue (interactivité 3D, modélisation des gestes de la main ; calcul en temps réel d'une application 3D correspondante) According to a second embodiment, the infrared source 14 is characterized by one or more infrared LEDs coupled with one or more optical elements 15 for spreading the beams 16. These optical elements may consist of a diverging lens, a matrix of microlenses or a translucent element. According to this same principle, the detection system is characterized by an infrared camera 13 provided with an autofocus system: The beams are reflected 17 by the hand of the user at the virtual contact point 26. After passing through the lens 13b they are detected by the infrared CCD matrix 13a. The distances 14b and 14c being known; an integrated chip (already existing module) detects the intensity maximum according to (x, y) received by the IR detectors of the CCD matrix. A preliminary standard is made between the maximum electrical signal and the interaction distance (curve x, y, z) for detecting the coordinate (z) (depth) of the hand of the user. This embodiment makes it possible to perform an interaction with an increased detail fineness (3D interactivity, modeling of hand gestures, real-time calculation of a corresponding 3D application)

Selon un mode particulier de réalisation et afin de résoudre des problème de parallaxe, la présente invention comprend un miroir infrarouge 23 placé entre le système élargisseur de champ 5 et l'ensemble optique de 20 projection 2. Le système de capteur 4 est intégré à l'intérieur du dispositif pour être disposé dans la continuité de l'axe optique du système de projection 2. Grâce aux optiques 6, l'image réelle de la main de l'utilisateur est projetée directement dans le champ de détection des capteurs infrarouges. According to a particular embodiment and in order to solve parallax problems, the present invention comprises an infrared mirror 23 placed between the field expander system 5 and the projection optical assembly 2. The sensor system 4 is integrated in the the interior of the device to be disposed in the continuity of the optical axis of the projection system 2. With the optical 6, the real image of the hand of the user is projected directly into the detection field of the infrared sensors.

25 On incline de préférence le miroir infrarouge à 45°. La liaison `Ecran hybride 3 vers le PC Il' est assurée par un câble haut débit 24. De même la liaison 'PC I 1 vers l'afficheur source 1 est assuré par ce même type de câble 25. A titre d'exemple non limitatif l'élément optique de projection possède les caractéristiques optiques suivantes : Un nombre de spires par millimètre compris entre 0.125 et 0.708 (0.508 étant la valeur 30 préférentielle) ; un premier angle de prisme d'environ 2.7 degré, une distance entre chaque spire s'environ 0.508mm et un taux de variation de l'angle des prismes approximativement égal à 0.413 degré par millimètre. A titre d'exemple non limitatif, l'élément optique élargisseur de champ visuel 17 aura les même caractéristiques que celles énumérées ci-dessus. L'élément optique élargisseur de champ pourra lui-même constituer une matrice de sous éléments d'éléments optiques élargisseur de champ visuel et correcteur 35 d'aberrations. Le système optique de projection 2 se caractérise selon un mode particulier de réalisation par une matrice de lentilles de Fresnel dont la fonction est de produire une image composite d'une seule image réelle 20. Les images sources composites sont générées par I'écran source 1. 40 Afin d'optimiser le détourage des images sources, le dispositif comprend des parties translucides ou opaques 28 pouvant éventuellement être éclairées par des systèmes LED à changement de couleur RGB. The infrared mirror is preferably inclined at 45 °. The connection `Hybrid screen 3 to the PC II 'is provided by a high-speed cable 24. Similarly, the connection PC I 1 to the source display 1 is provided by the same type of cable 25. As an example not The optical projection element has the following optical characteristics: a number of turns per millimeter between 0.125 and 0.708 (0.508 being the preferred value); a first prism angle of about 2.7 degrees, a distance between each turn is about 0.508mm and a rate of variation of the prism angle approximately equal to 0.413 degrees per millimeter. By way of non-limiting example, the visual field expanding optical element 17 will have the same characteristics as those listed above. The optical field expander element may itself constitute a matrix of sub-elements of visual field expanding and aberration corrector elements. The projection optical system 2 is characterized according to a particular embodiment by a Fresnel lens matrix whose function is to produce a composite image of a single real image 20. The composite source images are generated by the source screen 1 In order to optimize the trimming of the source images, the device comprises translucent or opaque portions 28 which may optionally be illuminated by RGB color change LED systems.

L'invention peut être configurée selon différents types : On peut intercaler un miroir de renvoie sans tain ou un miroir tête haute inclinable â 45° en sortie du système de projection 2 pour accroître l'effet de transparence de l'écran. The invention can be configured according to different types: It is possible to interpose a mirror of a one-way return or a head-up tilt mirror at 45 ° at the output of the projection system 2 to increase the transparency effect of the screen.

Pour accroître l'effet d'immersion, l'invention peut être équipée de systèmes de restitution sonore (stéréo, 5 :1, enceintes lenticulaire etc.) L'invention peut être totalement pilotée par Internet 12. 5 10 20 25 30 35 To increase the immersion effect, the invention can be equipped with sound reproduction systems (stereo, 5: 1, lenticular enclosures, etc.). The invention can be fully controlled by the Internet 12. 5 10 20 25 30 35

Claims

claims

1. Device for producing and managing a non-tactile interactivity, in the material sense, between a user and a video animation that does not rely on any support and is in the foreground of a real image generated by a hybrid LCD / OLED display comprising: A high brightness source display 1; An optical assembly 2, 5, 6 for the formation of a quasi-aplanetic real image which does not rest on any support which comprises Fresnel-type micro-structured plates arranged in 1 or more matrices of 1 or more Fresnel lenses; 1 or more visual field widening elements correctors of geometric and chromatic aberrations 5; 1 infrared mirror 23 almost transparent in the visible field; - 1 LCD display array 7 and its electronic control components; An OLED backlight panel 8; A set of infrared sensors of distance 4, 13; Optical elements such as diverging short-focal lenses, microlens matrices or translucent elements; Secure Internet connection; - A BLUTOOTH protocol recognition and management system; Interaction management software; An infrared camera 13 provided with an autofocus type system and software for calculating the interaction depth; Air jet nozzles oriented towards the actual image in suspension; The Fresnel lens type visual field expander system 5 is placed in the vicinity of the source screen 1; the projection optical element 6 is placed at a correct distance from the field expanding element 5 for the production of an aplanatic real image situated in a zone coinciding with the detection field of the infrared sensors and emitters; the IR detectors 4, 13 transmit to a PC 11 the information on the spatial position of the fingers of the user 27; specialized software analyzes the information to dynamically translate the type of interaction and the nature of the video sequences to be rendered; the video sequences are either calculated in advance or calculated in real time by a related 3D application; a hybrid display consists of a liquid crystal display (LCD) matrix 7 which is combined with an OLED backlight panel 8 to render a secondary real image 22 superimposed with the floating image 20; the hybrid screen 3 is controlled by an electronic switch which synchronizes 9 in high frequency alternating ON / OFF mode the OLED plate 8 with the LCD array 7. 9Provement 2: Device according to claim 1, characterized in that by means of an infrared mirror 23 and in alignment with the optical axis of the projection system 2, the infrared detection system 4, 13 is placed between the field expander system 5 and the projection optical system 6; the detection of the hand-scattered infrared beams of the user 27 takes place via the projection optical system 6 and the inclined infrared mirror 23. Claim 3: Interactive optical device according to claim 1 to facilitate the coding and dynamic transcription of elementary maneuvers such as `rotations','translations',` zoom ', and other actions; characterized in that four infrared distance detectors 4 controlled by specialized software are used; said distance detectors are inclined so that their beams intersect the interaction plane 21; Each distance detector operates according to a given range of sensitivity so that the detection range coincides with the range of location of the 'floating' images 20. Claim 4 Optical device according to claim 1, characterized in that it comprises a hybrid display 3 having a liquid crystal display (LCD) matrix 7 combined with an OLED backlight panel 8; the assembly is controlled by an electronic switch 9 which synchronizes the high frequency ON / OFF switching of the liquid crystal matrix 7 and the OLED screen 8. Claim 5: Device according to claim 1, characterized in that the optical assembly 2 consists of a double condenser type Fresnel lens doublet coupled with a Fresnel lens whose side turns is directed towards the doublet. Claim 6: Device according to Claim 5, characterized in that a high luminosity source screen 1 and an optical system 2 composed of Fresnel lenses are combined for the production of a quasi-aplanetic real secondary image which does not rest on any support. . Claim 7: Device according to Claim 1, characterized in that the system for detecting the position of the hand of the user 27 is characterized by an infrared camera 13 equipped with an autofocus-type system combined with an infrared source 14 provided with an optical element 15 for spreading the beams 16; be a divergent lens; a matrix of micro lenses or a translucent element. Claim 8: Device according to Claim 1, characterized in that it comprises air nozzles whose flows converge at a maximum of pressure at the level of the image plane 21 in which the interaction takes place; the air flows controlled by the infrared sensor system are regulated according to the depth penetration of the hand in order to simulate a hardness effect of the images in suspension. 9: Device according to claim 1 characterized in that it comprises an infrared barcode reading system for triggering an interactive animation of type 20, 22. Claim 10: Device according to claim 1 characterized in that it comprises a high brightness display 1 combined with a Fresnel optical assembly to generate a real image 20 not based on any support; the assembly also comprises a hybrid display 3 characterized by a liquid crystal matrix 7 provided with an OLED 8 backlighting panel; the assembly is controlled by a computer PC unit I l and an electronic switch 9 whose function is to pass successively at high frequency the liquid crystal matrix 7 and the OLED plate 8 in the states 'ON' (transparent states) and 'OFF' light conditions for OLED 8 panel and display status for LCD matrix 7. 12 20