FR2808676A1 - Systeme de visualisation pour aveugle - Google Patents

Abstract

L'invention concerne un système de visualisation d'une scène, pour aveugle ou mal voyant, comprenant un écran tactile sur lequel est visualisée la scène, caractérisé en ce qu'il comporte : - des moyens optroniques pour réaliser des images de la scène; - des moyens de traitement informatique couplés aux moyens optroniques pour commander la prise d'images et délivrer des premières informations pertinentes représentatives desdites images; - des moyens pour restituer sous forme identifiable par un aveugle, lesdites informations pertinentes sur l'écran tactile.Le système de visualisation peut avantageusement comprendre également des moyens de communication permettant de communiquer les premières informations pertinentes avec un serveur ou un réseau.

Description

Le domaine de l'invention est celui des systèmes de visualisation capables restituer à un aveugle ou à un mal voyant sous une forme qui lui soit identifiable un environnement dans lequel il se trouve, et des informations transmises par télécommunication.

maîtrise de notre environnement, au sens des différents éléments fixes ou mobiles qui nous entourent dans un rayon de quelques mètres, necessite une connaissance aussi précise que possible de leurs dimensions leur disposition géographique et si possible, leurs caractéristiques (dur, souple, fragile, chaud...). Pour les aveugles, cette connaissance fait essentiellement appel au sens du toucher et à mémoire, ce qui limite la portée dans l'espace (objets éloignés) et dans le temps (objets mobiles).

Pour se déplacer vers un objet précis et éviter obstacles pendant déplacement, l'aveugle doit soit avoir une connaissance préalable son environnement, soit faire appel à un dispositif lui permettant de l'appréhender. Dans les deux cas, les éléments composant cet environnement doivent être connus (dimensionnés et positionnés) dans une zone comprise entre un et quelques mètres avec une précision de quelques centimètres. Ces éléments appartiennent à divers types - les éléments fixes, tels que murs, escaliers, pièces, gros meubles...

- les éléments déplaçables, tels que portes ouvertes ou fermées, chaises, objets divers...

- les éléments mobiles, tels que personnes, animaux familiers. Si la connaissance des éléments du premier type peut être mémorisée, au moins dans l'environnement quotidien, se pose le problème des objets déplaçables ou mobiles ainsi que la découverte de lieux nouveaux.

Selon l'art antérieur il a déjà été proposé des solutions pour visualiser une scène et la retranscrire sur un écran tactile lisible par un aveugle. Le brevet US 3 594 787 propose en effet d'associer un écran tactile comprenant des éléments associés à des récepteurs photosensibles. Les éléments de l'écran tactile peuvent adopter différentes configurations selon le signal qu'ils reçoivent des récepteurs photosensibles. Cependant un tel disposa reste de résolution assez grossière et ne renseigne qu'imparfaitement un aveugle.

C'est pourquoi l'invention propose un nouveau système de visualisation pour aveugle, associant des moyens optroniques permettant capter éléments essentiels d'une scène, des moyens de traitement informatique capables de commander cette prise d'images puis traiter celles-ci manière à restituer sur un écran tactile un maximum d'informations nécessaires à la bonne compréhension de l'environnement dans lequel se situe un aveugle.

Plus précisément la présente invention a pour objet un système visualisation d'une scène, pour aveugle, comprenant un écran tactile sur lequel visualisée la scène, caractérisé en ce qu'il comporte - des moyens optroniques pour réaliser des images de la scène ; - des moyens de traitement informatique couplés aux moyens optroniques pour commander la prise d'images et délivrer des premières informations pertinentes représentatives desdites images; - des moyens pour restituer sous forme identifiable par un aveugle, lesdites premières informations pertinentes sur l'écran tactile.

Avantageusement les moyens de traitement informatique peuvent commander la prise d'image dans différentes conditions de manière à pouvoir extraire davantage d'informations depuis ces différentes prises d'image. Avantageusement les moyens optroniques permettent de détecter la couleur des objets en particulier par exemple celle de feux tricolores de signalisation.

Avantageusement les moyens optroniques réalisent de l'imagerie polarimetrique qui permet notamment de renseigner sur les différences de rugosité, de texture des différents éléments compris dans l'environnement d'un aveugle. Cette imagerie est réalisée lumière infrarouge en envoyant des ondes polarisées sur un élément précis et en analysant la dépolarisation induite par ledit élément on parvient à obtenir des informations sur le caractère plus ou moins dépolarisant cet élément et donc sur sa structure.

Avantageusement les moyens optroniques utilisés dans l'invention peuvent permettre de prendre des images de deux points de vue légèrement espacés et ainsi réaliser une vision steréoscopique que facilite le traitement de la restitution des volumes et des distances.

Selon un mode préférentiel l'invention le système de l'invention est équipé de moyens permettant de communiquer avec un serveur local ou un réseau, utilisant des liaisons données sans fil de type radio ou infrarouge. L'intérêt est double et reciproque, le système dont bénéficie l'aveugle peut ainsi être renseigné arrivant dans un endroit équipé d'un serveur ou réseau prérenseigné. même le serveur ou réseau peut être enrichi par des informations récupérées par le système de visualisation dont est équipé l'aveugle. Les moyens de communication comprennent d'une part des moyens de transmission des premières informations pertinentes en direction d'un serveur ou d'un réseau et des moyens de réception de secondes informations pertinentes envoyées par le serveur ou le réseau.

Selon un mode préférentiel de l'invention, le système de visualisation de l'invention est intégré dans un boîtier de faibles dimensions portable par un aveugle.

L'invention sera mieux comprise et d'autres avantages apparaîtront à la lecture de la description qui va suivre donnée à titre non limitatif et grâce aux figures annexées parmi lesquelles - la Figure 1 illustre un schéma synoptique d'un premier exemple de système selon l'invention ; - la Figure 2 illustre un schéma synoptique d'un second exemple de système selon l'invention ; - la Figure 3 illustre un exemple de boîtier renfermant le système selon l'invention ; - la Figure 4 illustre une personne équipée d'un boîtier illustré en Figure 3 ; - les Figures 5a-5d illustrent respectivement une vision directe de l'environnement dans lequel évolue un aveugle, l'environnement vu par les moyens optroniques, l'environnement restitué sur l'écran tactile du système de l'invention, l'environnement à courte distance facilitant la préhension d'un objet situé dans l'environnement.

- la Figure 6 illustre un exemple de moyens optroniques utilisés dans le système de l'invention pour une vision stéréoscopique. De manière générale le système de visualisation selon l'invention comprend les différentes composantes illustrées de manière synoptique sur la Figure 1.

Des moyens optroniques MO communiquent de manière réciproque avec des moyens de traitement informatique MTI, qui transmettent de manière réciproque des informations utiles à un écran tactile ET.

Selon une version plus sophistiquée illustrée de manière synoptique en Figure 2, les moyens de traitement informatique sont connectés par moyens MC à un serveur local ou réseau R, de manière à enrichir mutuellement le système de l'invention et le serveur ou réseau.

Ainsi 'association de ces quatre composantes permet - avec l'optronique de capter des éléments de l'environnement avec les portées et précisions souhaitées de l'ordre de quelques mètres avec une précision de l'ordre de lques centimètres, de jour, comme de nuit (en utilisant des éclairages infrarouges), à une cadence suffisante (moyens MO) ; - avec le traitement informatique, d'analyser des donnees, en tirer des informations précises de dimensions, localisation des objets et texture des objets, pour piloter les moyens optroniques et assurer l'interface avec l'écran tactile (moyen MTI) ; - moyens de communication sans fil pour stocker des données, augmenter la capacité de traitement, recevoir des données de localisation, transmettre et recevoir des images .. (moyen MC) ; - l'écran tactile pour restituer des données essentielles de l'environnement ou toute autre information transitant par un réseau sous une forme adaptée, proche du Braille, familière aux aveugles. Elles peuvent être affichées et lues typiquement à une cadence de 1 Hz. données peuvent typiquement être les contours des objets, leurs distances, leurs textures etc.., (écran ET).

Nous allons décrire plus en détails le principe de fonctionnement d'un système selon l'invention et I différentes composantes qui le constituent.

Selon une variante de l'invention l'ensemble du système peut être contenu dans un boîtier plat (par exemple de dimensions 20 x 20 x 3<B>CM)</B> , à commande manuelle (un bouton est prevu pour mettre le système en fonctionnement), ou à commande vocale, tel qu'illustré en Figure 3 comprenant pour une vision stéréoscopique, deux émetteurs S1, S2, deux photodétecteurs P1, P2, un écran tactile Cet appareil peut être porté sur la poitrine comme indiqué en Figure 4.

Selon une autre variante de 'invention, les moyens optroniques peuvent être intégrés sur des moyens portés par l'aveugle ou mal voyant (lunettes par exemple), les autres moyens pouvant être intégrés dans un boîtier pouvant être mis dans une poche par exemple, les moyens optroniques étant reliés électriquement boîtier.

Au fur et à mesure du déplacement de la personne dans son environnement E, les moyens optroniques prennent des images, qui sont traitées puis affichées sur l'écran tactile. des mains de la personne est posée sur l'écran tactile et lit les données qui y sont restituées. La Figure 5a illustre l'environnement réel E et la personne A qui s'y trouve. La Figure 5b illustre l'environnement vu par les moyens optroniques. La Figure 5c illustre l'environnement restitué sur l'écran tactile.

A courte distance, pour saisir ou manipuler un objet, l'image de la seconde main peut également être captée optiquement et ainsi affichée sur l'écran tactile de manière à faciliter la préhension de l'objet comme illustré en Figure 5d. Les moyens utilisés dans le système de visualisation de l'invention sont décrits ci-après plus en détails <U>Les moyens</U> optroniques Dans le cas d'imagerie polarimétrique, ces moyens se composent d'au moins - un émetteur de lumière émettant de préférence dans l'infrarouge, muni d'un polariseur réglable en orientation (par exemple selon 4 axes), éclairant la scène pour 'une part permettre le fonctionnement en l'absence de lumière ambiante, et d'autre part, pouvoir agir sur la polarisation de source d'éclairage. Le champ d'émission est par exemple de 45 d'angle d'émission soit 3 m à la distance de 3 m. 'émission peut être soit continue, soit impulsionnelle à la cadence de prise de vue ; - un détecteur matriciel, sensible dans le proche infrarouge, muni d'un filtre polarisant orientable analysant lumière réfléchie par les objets présents dans la scène visualisée. Le champ est le même que celui de l'émission. La polarisation et les prises de vue sont synchronisées avec celles de 'émission.

Pour un champ donné, la résolution est liée aux nombres de pixels du détecteur matriciel. Elle peut dépasser un million de pixels (1 x 1000) pour améliorer les traitements.

Pour obtenir une vision stéréoscopique et faciliter le traitement de restitution des volumes et distances, l'émetteur, le polariseur et le détecteur, peuvent etre doublés. La Figure 6 illustre une telle configuration. Plus précisément une source d'émission de lumière infrarouge SE,, SE2 envoie un faisceau lumineux qui traverse un polariseur PE,, PE2 et une optique OE,, 0E2 pour venir, éclairer en lumière polarisée une scène S. éléments présents dans cette scène S renvoient une image sur un trajet inverse en traversant respectivement une optique OR,, OR2 un polariseur , PR2 en direction détecteur P,, P2 de type matriciel. II est à noter qu'un schéma peut être modifié en utilisant des éléments optiques communs.

manière générale le système de visualisation selon 'invention comprend une focale courte ne nécessitant pas de mise au point pour les déplacements (images d'éléments situés au-delà d'une certaine distance) et une mise au point pour saisir des objets à courte distance. Cette mise au point peut être effectuée automatiquement de manière classa comme dans les appareils photo et camescopes. <U>Les moyens de traitement informatique</U> Les moyens de traitement informatique sont par exemple ' base de microprocesseurs et de mémoires associés et sont conçus pour remplir notamment fonctions suivantes - commander le fonctionnement des moyens optroniques, en particulier : sensibilité ou gain des photodétecteurs, puissance 'émission infrarouge, orientation de la polarisation, cadence de prise de vue... A noter que le réglage de la polari ion et/ou de la cadence d'illumination est important dans le cas où deux aveugles disposant de systèmes identiques se font face (ou sont proches l'un de l'autre) pour éviter que les moyens optroniques ne s'éblouissent mutuellement.

Pour cela il peut être opéré une fusion des données entre images pour déterminer les contours. Typiquement des images peuvent être prises avec des polarisations différentes, des points de vue différents grâce à deux photodétecteurs et à une cadence supérieure à la cadence de restitution sur l'écran tactile.

informations pertinentes obtenues peuvent être stockees en mémoire dans le système de visualisation et/ou affichées sur l'écran tactile. Le stockage permet l'élaboration d'un modèle de scène avec enrichissement progressif. effet dans le cas du déplacement dans un milieu familier (exemple appartement, jardin...) un modèle de celui-ci peut préexister en mémoire et les images obtenues servent également à l'enrichir. Ainsi, si lors d'un premier passage dans la salle à manger, le système a détecté et identifié une bouteille placée sur le bord de la table, lors d'une seconde venue dans la pièce, l'identification sera facilitée lorsque les informations pertinentes sont à afficher sur l'écran.

Les moyens de traitement informatique peuvent également être utilisés pour inverser comme dans un miroir les images restituées de manière à iliter la correspondance entre les éléments leur représentation, 'est-à-dire la compréhension de la scène.

Les moyens de traitement informatique des images peuvent aussi avantageusement permettre la restitution d'images dans lesquelles les perspectives et lignes de fuite qui sont des notions étrangères à l'expérience de l'aveugle ont été éliminées ou bien au contraire accentuées pour mieux restituer les effets de volume et profondeurs en fonction des souhaits l'utilisateur.

Les moyens de traitement informatique sont également utilisés pour éliminer I effets perturbateurs tels que reflet.

Les moyens de traitement informatique peuvent comprendre fonction OCR (Optical Character Recognition) permettant de lire une affiche, un panneau, plaque de rue... et de restituer ces informations à l'écran tactile. Ils peuvent encore comprendre des moyens pour comparer certaines informations pertinentes à des informations seuil, préenregistrées et déclencher une alarme auditive en cas par exemple d'un obstacle dangereux (escalier, porte basse...).

Enfin ces moyens de traitement informatique pilotent l'interface nécessaire à la commande de l'écran tactile.

<U>Les moyens de communication entre le système et l'extérieur</U> Grâce aux moyens de traitement informatique incorporés dans système de visualisation, le traitement et/ou le stockage des données renseigne à tout instant une personne ayant mis en marche son système. Ces informations peuvent être complétées par des informations présentes dans un serveur local qui serait mis à la disposition de toute une populati et installé dans tout lieu privé ou public.

Le reseau de communication peut être local (Bluetooth, IRDA. avec liaison sans fil courte distance (de l'ordre de quelques dizaines de mètres). Avantageusement le boîtier comportant le système de l'invention, déjà équipé d'une émission/réception infrarouge pour réaliser la prise de vue peut ainsi communiquer avec tout autre système équipé également moyens d'émission/réception IR (type PC, télévision...).

Le reseau de communication peut être également global (GSM, UMTS, WAP...). Dans ce cas le boîtier peut comprendre des composants type de ceux utilisés dans un téléphone mobile pour assurer cette communication radio.

Grâce à ces moyens de communication, un aveugle ou mal voyant peut transmettre les premières informations pertinentes issues des prises de vue réalisées les moyens optroniques à un serveur qui va pouvoir lui communiquer en retour des secondes informations pertinentes pour l'aider dans ses " lacements notamment. Par exemple, une telle personne arrivant dans hall d'aéroport, identifié par des prises de vue ce hall, adresse ce type d'informations à un serveur qui va pouvoir en retour le guider vers un guichet précis. Dans le cas d'un lieu fréquenté par un certain nombre d'aveugles, chacun enrichit le modèle global et en profite à son tour. De même que les moyens de communications dont est équipé le système de visualisation, permettent à un aveugle de communiquer avec un serveur local, ils peuvent également lui permettre de communiquer avec un autre système de visualisation dont serait équipée une autre personne. De même une même scène peut être identifiée par deux personnes sous des angles différents, chacun pouvant enrichir l'autre avec les informations dont il dispose. <U>L'écran tactile</U> Pour restituer la scène dans laquelle se trouve un aveugle, et ce avec une interface qui lui est familière, on peut utiliser un écran tactile fonctionnant avec des picots de hauteur variable, adressés grâce aux informations pertinentes générées par les moyens de traitement de l'information.

Les écrans actuellement disponibles pour l'affichage alphanumérique (Braille) comportent un certain nombre de picots encore appelés dots par caractère. L'écran tactile peut être un écran biniveaux avec une seule hauteur de picot commandable électriquement ou être écran tactile multiniveaux avec différentes hauteurs de picots. Avantageusement l'écran peut comprendre quatre niveaux de picot, permettant de coder la profondeur de la scène. En appelant h, la hauteur des picots " lipsables dans la plaque support h2 et h4 les hauteurs commandables du picot on peut avoir - des picots d'une hauteur h, restituant les objets delà de 4m; - des picots d'une hauteur h2 restituant les objets situes entre 2 et4m; - des picots d'une hauteur h3 restituant tous les objets entre 0 et 2m; - des picots d'une hauteur h4 restituant tous les contours.

Plutôt que d'utiliser un écran tactile avec des picots disposes de mani matricielle, il peut être très avantageux d'utiliser un dispositif comprenant un faible nombre de cellules, chacune des cellules comportant un certain nombre de picots dont on peut commander la hauteur à partir des informations pertinentes. Ces informations pertinentes sont extrai des images que l'on fait défiler au niveau de ces cellules. La société VIRTOUCH LTD propose actuellement un tel écran "Tactile Virtual Screen".

Claims (1)

REVENDICATIONS 1. Système de visualisation d'une scène, pour aveugle ou voyant, comprenant un écran tactile sur lequel est visualisée la scène, caractérisé en ce qu'il comporte - des moyens optroniques pour réaliser des images la scène - des moyens de traitement informatique couplés aux moyens optroniques pour commander la prise d'images et délivrer premières informations pertinentes représentatives desdites images ; - des moyens pour restituer sous forme identifiable par un aveugle, lesdites informations pertinentes sur l'écran tactile. 2. Système de visualisation selon la revendication 1, caractérisé ce qu'il comprend des moyens de communication des premières informations pertinentes avec un serveur ou un réseau, moyens de communications comportant - des moyens de transmissions des informations pertinentes en direction d'un serveur ou d'un réseau ; - des moyens de réception de secondes informati pertinentes envoyées par le serveur ou le réseau. 3. Système de visualisation selon la revendication 2, caractérisé ce que les moyens de communication sont de type radio. 4. Système de visualisation selon la revendication 2, caractéri ce que les moyens de communication sont de type liaison infrarouge. 5. Système de visualisation selon l'une des revendications 1 à 4, caractérisé en ce que les moyens optroniques comprennent au moins un émetteur de lumière couplé à un polariseur pour illuminer la scène en lumière 1 réaliser de l'imagerie polarimétrique. 6. Système de visualisation selon la revendication 5 caractérisé 5 ce que le polariseur est commandable en orientation de manière à obtenir des images polarisées dans différentes conditions. 7. Système de visualisation selon l'une des revendications 5 ou 6, caractérisé en ce que les moyens optroniques comprennent deux émetteurs 1o de lumière, deux polariseurs et deux détecteurs pour réaliser une vision stéréoscopique. 8. Système de visualisation selon l'une des revendications 1 à 7, caractérisé en ce que les moyens de traitement informatique extraient des 15 images enregistrées par le photodétecteur, des informations de distance, de contours et/ou de texture. 9. Système de visualisation selon l'une des revendications 1 à 8, caractérisé en ce que les moyens de traitement informatique mémorisent les 20 informations pertinentes. 10. Système de visualisation selon l'une des revendications 1 à 9, caractérisé en ce que les moyens de traitement informatique restituent sur 'écran la scène inversée comme dans un miroir. 11. Système de visualisation selon l'une des revendications 1 à 0, caractérisé en ce que les moyens de traitement informatique amplifient lignes de perspective de la scène. 30 12. Système de visualisation selon l'une des revendications 1 à 1 , caractérisé en ce que l'écran tactile comporte des picots dont la hauteur est pilotée depuis les informations pertinentes. 13. Système de visualisation selon la revendication 12, caractérisé en ce que la hauteur de chacun des picots peut être variable en fonction des informations pertinentes. 14. Système de visualisation selon la revendication 13, caractérisé en ce que la hauteur des picots est déterminée en fonction la distance séparant un élément présent dans la scène, du système de visualisation. 15. Système de visualisation selon l'une des revendi ions 12 à 14, caractérisé en ce que l'écran comporte une répartition matricielle des picots.

1 Système de visualisation selon l'une des revendications 12 à 14, caractérisé en ce que l'écran tactile comprend un faible nombre de cellules, chacune des cellules comportant un certain nombre picots, les moyens traitement informatiques faisant défiler les informations pertinentes au niveau desdites cellules.