FR2756077A1 - Ecran tactile et dispositif de visualisation utilisant cet ecran tactile - Google Patents

Abstract

Le dispositif de visualisation est muni d'un écran dépoli ou translucide (1) sur lequel sont présentées les images, soit en y appliquant un transparent, soit par rétroprojection optique. Ce dispositif est muni d'une caméra (6) qui observe l'écran dépoli par l'arrière, et d'un système d'éclairage auxiliaire (2) destiné à éclairer le dépoli. Lorsqu'un opérateur applique son doigt sur le dépoli, la caméra peut discerner l'empreinte de ce doigt. Un système (5) de traitement de l'information délivrée par la caméra est implanté dans le dispositif afin de détecter une ou plusieurs empreintes sur le dépoli, et de calculer les coordonnées de cette ou de ces empreintes sur le dépoli.

Description

ECRAN TACTILE ET DIPOSITIF DE VISUALISATION UTILISANT CET
ECRAN TACTILE
La présente invention concerne les dispositifs interactifs de présentation d'images munis d'un écran tactile.

Parmi les applications de l'invention, l'on peut citer les dispositifs de genre tableaux électroniques qui permettent la présentation et l'élaboration d'images informatiques lors de réunions; les dispositifs interactifs de fournitures d'informations au grand public dans des lieux publics, qui permettent par exemple de déterminer le chemin à prendre pour rejoindre un lieu pointé sur une carte; les dispositifs interactifs de genre tableau de contrôle pour systèmes de surveillance; les dispositifs de télévision par rétroprojection munis d'un écran tactile autorisant une interactivité.

L'on connait déjà divers dispositifs de présentation d'images munis d'écrans tactiles, qui permettent de localiser la position d'un doigt sur une surface transparente disposée devant un écran de visualisation. Parmi les diverses technologies utilisées pour réaliser ces écrans tactiles, l'on peut citer: - les écrans capacitifs, constitués d'une surface transparente en verre ou en matière plastique, sur laquelle sont déposées des électrodes transparentes. Un dispositif électronique permet de mesurer la capacité électrique apparente de ces électrodes; l'approche du doigt vers une électrode modifie cette capacité apparente.

- les écrans résistifs, constitués par deux surfaces transparentes et conductrices légèrement espacées, qui sont mises en contact par la pression d'un doigt. Ces écrans peuvent être structurés en lignes et en colonnes, ce qui permet une détermination discontinue de la position du doigt sur l'écran. I1 peuvent aussi être munis d'une simple couche uniforme de matériau résistif, ce qui permet une détection continue de la position du doigt par mesure des résistances électriques entre plusieurs points de mesure situés en périphérie de l'écran.

- les écrans à barrière optique infrarouge, muni sur chacun de leurs côtés de barrettes d'émetteurs et de récepteurs. Le doigt de l'opérateur vient masquer au moins deux faisceaux horizontaux et verticaux lorsqu'il vient toucher l'écran, ce qui permet sa localisation en X et en Y.

- les écrans à ondes de surface , où la pression du doigt atténue la propagation d'une onde émise, qui est détectée sur le pourtour de l'écran.

Tous ces dispositifs, largement industrialisés, restent cependant onéreux, ce qui limite leur utilisation. Leur coût augmente d'autre part avec la surface de la surface tactile, ce qui rend leur emploi peu attractif pour des équipements de grande surface. Ils sont enfin relativement fragiles, vulnérables et peu résistants au vandalisme.

Pour remédier à ces inconvénients, des dispositifs utilisant une caméra qui observe la surface tactile ont été développés. L'on peut ainsi déterminer la position en XY d'un pointeur situé sur la surface tactile par analyse de l'image de cette surface. Plus précisément, deux types de dispositifs de ce genre ont déjà été développés: - un dispositif utilisant une caméra qui analyse l'image d'un opérateur dont le doigt est posé sur un tableau blanc opaque, l'opérateur et la caméra étant situés du même côté par rapport au tableau. Ce système présente deux inconvénients majeurs: l'opérateur est gêné dans ses opérations de désignation, car il doit prendre garde à ne pas s'interposer entre la caméra et le tableau; d'autre part ce système de désignation est peu précis car le système d'analyse d'image ne peut pas localiser avec précision la position de contact entre le tableau et le doigt.

- un système de caméra qui analyse la position d'un faisceau lumineux émis par un crayon optique et dirigé vers un tableau opaque ou bien translucide. Dans le premier cas la caméra et l'opérateur sont situés du même côté de l'écran, alors que dans le deuxième cas, la caméra et l'opérateur sont situés de part et d'autre de l'écran. Cette deuxième version libère l'opérateur de contraintes de positionnement. Si ce type de dispositif permet d'atteindre une bonne précision de désignation, il impose cependant l'emploi d'un accessoire de désignation pour l'opérateur, ce qui complique l'emploi et n'est pas compatible avec une utilisation dans un lieu public.

La présente invention vise à remédier à l'ensemble des inconvénients des dispositifs ci-dessus, en permettant de disposer d'un écran tactile de coût raisonnable même pour une grande surface de désignation, sans avoir à utiliser d'accessoire de désignation, avec toute liberté de positionnement de l'utilisateur par rapport à l'écran, avec une bonne précision de désignation, et avec une grande robustesse.

Dans ce but l'invention propose notamment un dispositif caractérisé en ce qu'il comprend l'association d'un écran translucide (ou écran dépoli) constituant écran tactile, d'une caméra située derrière cet écran par rapport à l'utilisateur, d'un dispositif d'éclairage auxiliaire illuminant l'ensemble de la surface tactile, et d'un dispositif de traitement de l'image fournie par la caméra. Lorsque le doigt d'un opérateur vient au contact ou au voisinage immédiat de l'écran éclairé par la source de lumière, son image devient perceptible par la caméra au travers de l'écran translucide. Cette image est analysée par le système de traitement de l'information qui peut par exemple calculer les coordonnées X Y du doigt sur l'écran.

Le système d'éclairage peut être situé d'un côté ou de l'autre de l'écran. Si l'on dispose l'éclairage du côté de l'observateur, il faut faire en sorte qu'il éclaire toujours l'écran, sauf lorsque le doigt est suffisamment proche de l'écran. Pour cela l'on disposera plusieurs sources d'éclairage en périphérie de l'écran et dirigées vers le centre de l'écran. Dans ce cas la caméra observe une tache noire caractéristique sur l'écran éclairé lorsqu'un doigt est posé sur l'écran. Dans le cas où l'éclairage est situé de l'autre côté de l'écran par rapport à l'observateur, l'image est observée en contraste inverse: la présence du doigt sur le dépoli renvoie la lumière vers la caméra, qui perçoit une tache claire sur un fond sombre.

Dans les deux configurations d'éclairage, et afin d'éviter si nécessaire d'ajouter de la lumière parasite qui gênerait l'opérateur, l'on peut faire en sorte que cet éclairage n'émette que des rayonnements infrarouges dans une bande spectrale supérieure à 0,7ut, en conservant une énergie suffisante en deçà de 1,1 um pour le cas où l'on utilise une caméra CCD en technologie silicium. Ce type d'éclairage peut être obtenu en interposant un filtre optique devant les sources d'éclairage.

Il faut noter que la caméra qui observe le dépoli reçoit de la lumière issue de sources variées:
1.Lumière utile, issue des moyens d'éclairage spécifiques évoqués ci-dessus.

2.éventuellement lumière émise à l'intérieur du dispositif, par exemple par un rétroprojecteur qui vient former une image sur le dépoli,
3.éventuellement la lumière ambiante extérieure qui traverse le dépoli.

Seule la lumière émise par les moyens d'éclairage spécifiquement étudiés à cet effet, contribue de manière efficace à la formation d'une image du doigt de l'observateur, facilement interprétable par le système d'analyse d'image.

L'on a intérêt à minimiser l'influence des autres sources de lumière. Pour cela plusieurs moyens peuvent être employés, séparément ou en combinaison:
1.Synchroniser dans le temps l'éclairage spécifique avec les prises de vues successives d'images par la caméra, de telle façon que par exemple une image sur deux soit saisie avec l'éclairage spécifique actif, puis avec l'éclairage spécifique éteint. La différence énergétique point à point entre deux images permet de calculer une image qui serait obtenue en neutralisant toutes les sources de lumière parasite.

2.Filtrer spectralement la lumière émise par le rétroprojecteur éventuel et la lumière émise par le système d'éclairage auxiliaire, dans deux domaines spectraux disjoints, la caméra étant munie elle même d'un filtre spectral qui ne laisse passer que la bande spectrale émise par l'éclairage spécifique.

3.Analyser la forme des taches vues par la caméra en ne conservant après traitement que les taches dont la forme est similaire avec l'empreinte de l'extrémité d'un doigt sur le dépoli. Pour cela l'on peut par exemple effectuer un calcul de corrélation entre l'image perçue par la caméra et un modèle d'empreinte, ou bien calculer l'écart type entre le barycentre d'une tache et les divers points qui contribuent à cette tache.

Un tel dispositif peut être réalisé sous diverses variantes, mettant en jeu diverses sources d'images, pour divers types d'utilisateurs. A chaque utilisation est adaptée un choix entre les diverses possibilités qui ont été évoquées ci-dessus.

A titre non limitatif, l'on peut citer les configurations suivantes:
- de la manière la plus économique possible, l'on réalise une boite à lumière chargée de permettre de présenter sur un dépoli un dessin rétroéclairé ,tracé sur une feuille transparente. Une caméra placée à l'intérieur de cette boite à lumière détecte l'image d'un doigt posé sur le transparent, ou bien situé dans son voisinage immédiat. Dans ce cas les fonctions d'éclairage de la boite à lumière et d'éclairage spécifique pour la caméra sont confondues. Ce dispositif trouve par exemple son application dans des bornes interactives permettant aux usagers de se repérer sur des plans de ville, et de déterminer le trajet qu'ils doivent emprunter, en fonction des destinations qu'ils désignent sur le plan.

- de manière plus élaborée, les images sont formées sur le dépoli à l'aide d'un projecteur situé derrière l'écran. Il peut s' agir de projecteurs de type vidéo ou graphiques , utilisant par exemple des technologies de type Cathode Ray Tubes , Liquid Crystal Display ou Digital
Mirors Displays . L'écran est éclairé par l'arrière à l'aide de diodes infrarouges qui fonctionnent en mode pulsé. La caméra est reliée à une carte d'acquisition et de traitement d'image implantées dans une configuration informatique de type Personnal Computer . Cette configuration gère la synchronisation entre les impulsions d'éclairage de l'écran et la saisie d'images par la caméra. Elle gère également le contenu les images qui sont présentées sur l'écran dépoli par le projecteur. L'on dispose alors d'un équipement totalement interactif, avec la possibilité pour l'opérateur d'agir sur des claviers de touches reconfigurables, de déplacer des curseurs, d'écrire sur l'écran, en utilisant son doigt comme pointeur sur l'écran dépoli. Une des particularités de ce dispositif est qu'il est possible d'utiliser simultanément plusieurs pointeurs sur l'écran, puisque l'on peut par exemple détecter la présence et la position de deux doigts posés simultanément sur l'écran. Il suffit d'avoir prévu un logiciel de traitement de l'image délivrée par la caméra, qui autorise l'analyse de plusieurs taches simultanées. Cette possibilité autorise de nombreuses fonctions originales:
- lorsque l'on utilise un logiciel graphique pour générer des images projetées par le projecteur, il est très facile de mesurer la distance entre deux points sur l'écran, en pointant deux endroits différents de l'écran avec deux doigts de deux mains différentes, à condition de disposer d'un logiciel de calcul complémentaire capable de traiter la position de deux curseurs simultanés.

- en aménageant des logiciels de création d'image, par exemple de type Paintbrush , à l'utilisation simultanée de deux curseurs, l'on peut accélérer considérablement leur utilisation: à titre d'exemple, une droite sera tracée directement en définissant simultanément ses deux extrémités sur l'écran.

- en aménageant le logiciel de gestion du pointeur, il est possible de remplacer les fonctions traitées par une souris munie de plusieurs boutons de validation. Ainsi un opérateur qui effectue une désignation sur l'écran avec un doigt, pourra valider cette désignation en appuyant simplement un deuxième doigt de la même main sur l'écran; le logiciel interprétera la présence d'un deuxième doigt comme une validation de la fonction ou de la position désignée par le premier doigt.

L'invention sera mieux comprise à la lecture de la description qui suit de modes particuliers de réalisation, donnés à titre d'exemples non limitatifs. La description se réfère aux dessins qui l'accompagne, dans lesquels:
- La figure 1 est une représentation simplifiée d'un dispositif de présentation d'images muni d'un écran tactile selon un premier mode de réalisation de l'invention, permettant de visualiser des graphiques réalisés sur support transparent (20) qui est plaqué à l'avant d'un dépoli (1);
- la figure 2 , similaire à la figure 1, montre une variante de réalisation d'un équipement de visualisation interactif (9) dans laquelle l'image est obtenue à l'aide d'un projecteur (4) intégré au dispositif;
- la figure 3, similaire à la figure 2, montre une variante de réalisation dans laquelle l'éclairage auxiliaire (2) qui est utilisé pour éclairer la surface dépolie (1) est située en avant de cette surface tactile.

- la figure 4 est une coupe partielle des dispositifs représentés en figure 1 ou 2 au niveau de la surface tactile, et illustre le mécanisme de rétroéclairage de l'extrémité d'un doigt (12) qui vient au contact de la surface tactile diffusante (1);
- la figure 5 est une vue avant d'un dispositif suivant les figures 2 ou 3, et illustre la capacité du dispositif à utiliser simultanément deux pointeurs(13) et (15) pour effectuer des opérations graphiques (ici le tracé d'un segment de droite (14) entre deux points désignés sur l'écran (1)).

Le dispositif comprend un écran diffusant (1) qui fait office de surface tactile. Cette surface est éclairée par une ou plusieurs sources de lumière (2), afin qu'unie caméra (6) puisse enregistrer par l'arrière de l'écran (1) l'image d'un doigt (13) qui vient s'appuyer sur l'écran. Cette image est traitée par un ensemble électronique (5) qui détermine la présence du (ou des) doigt(s) sur l'écran, et les coordonnées de l'empreinte sur le dépoli.

Dans le cas de la figure 1, l'éclairage (2) sert à la fois pour illuminer un dessin réalisé sur un transparent (20) et plaqué sur un dépoli (1), et à fournir la lumière qui sera rétrodiffusée par un doigt (13) posé sur l'ensemble dépoli transparent.Dans le cas de la figure 1, l'information résultante du calcul des coordonnées de l'empreinte du doigt sur le dépoli (1 , est présentée sur l'écran de visualisation électronique (21).

Suivant la figure 4, la lumière d'éclairage (10) est diffusée en (11) à la traversée du dépoli (1), puis rétrodiffusée en (12) par le doigt. Le diamètre (D) et l'intensité lumineuse de la tache ainsi rétrodiffusée sur le dépoli dépend de la distance (d) du doigt par rapport- à l'écran. Pour détecter la présence d'un doigt sur l'écran, le système électronique (5) pourra mémoriser régulièrement l'image initiale rétrodiffusée par l'écran (1) en l'absence de désignation, puis par soustraction avec cette image de référence déterminer la présence d'une tache provoquée par la présence d'un doigt sur le dépoli. Le système électronique vérifiera que les points de la tache sont répartis dans un diamètre (D) compatible avec la dimension d'un doigt (soit environ 10 mm) . Il calculera ensuite le barycentre de ces points et en déduira la position X/Y du doigt sur l'écran. Ce système électronique peut être constitué à l'aide d'un ordinateur de type PC muni d'une carte d'acquisition d'images standart, et d'un logiciel de traitement d'images. Ii faut noter que ce système fonctionne avec des dessins suffisamment transparents, en excluant les zones opaques qui masqueraient l'image des doigts.

Dans le cas des figures 2 et 3, l'éclairage (2) est dédié spécifiquement à l'illumination de la surface tactile (1), afin que la caméra (6) puisse enregistrer l'image d'un doigt qui vient s'appuyer sur l'écran (1). Ici l'éclairage (2) émet une lumière dans la bande spectrale comprise entre 0,7 um et 1,1 um. Les images présentées sur l'écran dépoli (1) sont issues d'un projecteur (4); un miroir dichroïque (7) réfléchit les rayonnements dont la longueur d'onde est supérieure à 0,um et transmet les rayonnements de longueur d'onde inférieure à 0,7 um. De cette manière la caméra (6) n'est pas influencée par la lumière issue du projecteur (4). L'éclairage (2) et la caméra (6) sont reliés au système électronique (5) de pilotage du dispositif. Les informations sont saisies image après image par la caméra (6). Des impulsions lumineuses sont envoyées sur l'écran (1) par le système d'éclairage (2) lors d'un cycle de saisie image sur deux. Le système électronique (5) effectue la différence entre deux prises d'images successives, afin d'éliminer l'influence de toute source de lumière autre que celle émise par l'éclairage (2). A partir de cette image calculée, le système électronique (5) détermine la position éventuelle d'un ou de plusieurs doigts sur l'écran, puis calcule leur(s) coordonnées sur l'écran. Ces coordonnées peuvent être utilisées pour générer de nouvelles images qui seront transmises au projecteur (4), ce projecteur étant lui relié au système électronique (5). La figure (5) illustre un tel fonctionnement.

Claims (10)

REVENDICATIONS

1. Dispositif de visualisation muni d'un écran tactile comprenant un écran (1) dépoli ou translucide, caractérisé en ce qu'il comprend simultanément:

- une caméra (6) qui observe cet écran dépoli (1), en étant située à l'arrière de l'écran dépoli (1) par rapport à l'observateur,

- un système d'éclairage auxiliaire (2) destiné à éclairer le dépoli (1) de façon à faire apparaître l'empreinte d'un ou de plusieurs doigts (13) (15) appuyés sur le dépoli (1);

- un système de traitement de l'information (5) délivrée par la caméra (6), capable de détecter une ou plusieurs taches sur le dépoli, cette ou ces taches correspondant à la ou les empreintes d'un ou de plusieurs doigts (13) appuyés sur le dépoli et vue(s) à travers le dépoli (1), et de calculer les coordonnées de cette ou de ces taches sur le dépoli (1).

2. Dispositif suivant la revendication 1, caractérisé en ce que l'éclairage auxiliaire (2) est implanté à la périphérie de l'écran dépoli, et du même côté que l'observateur par rapport à l'écran dépoli (1).

3. Dispositif suivant la revendication 1, caractérisé en ce que l'éclairage auxiliaire (2) est implanté à l'arrière de l'écran dépoli (1) par rapport à l'observateur.

4. Dispositif selon l'une quelconque des revendications précédantes, caractérisé en ce que l'éclairage auxiliaire (2) émet un rayonnement lumineux uniquement dans le domaine infrarouge, et que la caméra d'observation (6) est munie d'un filtre optique qui lui permet de recevoir uniquement des rayonnements infrarouges.

5. Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce que la source de lumière auxiliaire (2) émet des impulsions de lumière synchronisées avec les instants où la caméra (6) effectue des prises de vue.

6. Dispositif suivant l'une quelconque des revendications précédentes, caractérisé en ce que le système de traitement de l'information (5) délivrée par la caméra effectue la différence entre deux images prises successivement par la camera (6).

7. Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il est pourvu d 'un dispositif optique (4) situé à l'arrière du dépoli (1) par rapport à l'observateur, ce dispositif optique (4) projetant une image sur ce dépoli (1).

8. Dispositif suivant la revendication 7 caractérisé en ce que le projecteur d'image (4) est muni d'un filtre optique (7) qui ne laisse pas passer les rayonnements lumineux dans le domaine spectral dans lequel la caméra (6) est sensible.

9. Dispositif suivant l'une quelconque des revendications précédentes, caractérisé en ce que le système de traitement des informations (5) délivrées par la caméra (6) est capable de détecter la présence simultanée d'au moins deux doigts (13) (15) posés sur le dépoli (1).

10. Dispositif suivant les revendications 7 et 9, caractérisé en ce qu'il est muni d'un logiciel de traitement de l'information capable de traiter la présence de deux curseurs simultanés, les positions de ces deux curseurs étant matérialisées par deux doigts (13 et 15) posés simultanément sur le dépoli (1), et d'effectuer des calculs ou des traitements prenant en compte ces deux positions.