CH711334A2 - Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel. - Google Patents

Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel. Download PDF

Info

Publication number
CH711334A2
CH711334A2 CH01030/15A CH10302015A CH711334A2 CH 711334 A2 CH711334 A2 CH 711334A2 CH 01030/15 A CH01030/15 A CH 01030/15A CH 10302015 A CH10302015 A CH 10302015A CH 711334 A2 CH711334 A2 CH 711334A2
Authority
CH
Switzerland
Prior art keywords
message
visual
module
user
auditory
Prior art date
Application number
CH01030/15A
Other languages
English (en)
Inventor
Cosson Patrick
Original Assignee
Cosson Patrick
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cosson Patrick filed Critical Cosson Patrick
Priority to CH01030/15A priority Critical patent/CH711334A2/fr
Priority to US14/829,763 priority patent/US20170018281A1/en
Priority to PCT/CH2016/000101 priority patent/WO2017008173A1/fr
Publication of CH711334A2 publication Critical patent/CH711334A2/fr

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009Teaching or communicating with deaf persons
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0158Head-up displays characterised by mechanical features with movable elements with adjustable nose pad
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

La présente invention concerne un procédé pour aider un malentendant à comprendre un message sensoriel auditif en transformant le message auditif en un message visuel et, en projetant ce message sur un support dans le champ visuel du malentendant. Elle concerne également un dispositif (10) comportant des moyens pour transformer ledit message sensoriel auditif en un message visuel et des moyens pour le projeter sur une surface positionnée dans le champ visuel dudit utilisateur. Ce dispositif comporte un support (11) portant un capteur en forme de microphones (16, 17) pour capter ledit message, des moyens d’enregistrement et de mémorisation (19) pour enregistrer, mémoriser en temps réel le message auditif, et le transformer en message visuel, un écran (18) placé dans le champ visuel de l’utilisateur, au moins un projecteur (20, 21) pour projeter le message visuel sur ledit écran ainsi qu’un capteur d’un mouvement pupillaire de l’utilisateur, des moyens pour interpréter le mouvement pupillaire de l’utilisateur en une commande d’affichage du message visuel, et des moyens pour exécuter ladite commande en projetant ledit message visuel.

Description

Domaine technique
[0001] La présente invention concerne un procédé pour aider, notamment une personne malentendante, à comprendre un message sensoriel auditif en transformant ledit message sensoriel auditif en un message visuel et en le projetant sur une surface positionnée dans le champ visuel de ladite personne malentendante.
[0002] Elle concerne également un dispositif de mise en œuvre du procédé pour aider, notamment une personne malentendante, à comprendre un message sensoriel auditif, comportant des moyens pour transformer ledit message sensoriel auditif en un message visuel et des moyens pour le projeter sur une surface positionnée dans le champ visuel de ladite personne malentendante.
Technique antérieure
[0003] Dans certaines situations, un individu peut avoir des difficultés à percevoir un message auditif, rendant sa compréhension impossible ou aléatoire. Le problème est généralement dû à un défaut physique, comme par exemple une surdité naissante liée à l’âge ou suite à un accident ou une maladie, se manifestant souvent par la diminution de la sensibilité de l’oreille à certaines fréquences. Ce qui est souvent considéré comme le remède à ce défaut de compréhension, est la prescription par un spécialiste, d’une prothèse auditive en vue d’amplifier le son dans le but de faciliter la perception du message. Or l’amplification du volume sonore ne résout pas tous les problèmes, notamment lorsque l’un des problèmes est lié, pour l’individu concerné, à la perte sélective de certaines tranches de fréquences auditives. L’amplification sonore ne permet pas de recréer les fréquences manquantes. En outre, la compréhension aléatoire évoquée ci-dessus, n’est pas perçue comme telle par l’individu, ni même par l’interlocuteur, et peut conduire à des erreurs d’interprétation aux conséquences plus ou moins fâcheuses.
[0004] Les dispositifs auditifs actuels conseillés ou prescrits pour pallier ces inconvénients sont pour la plupart inefficaces, et sont de ce fait souvent abandonnés par l’utilisateur qui ne trouve pas la réponse à son problème. En particulier, la fatigue provoquée par l’excès de concentration nécessaire lors de l’utilisation de ces appareils auditifs, induit un risque supplémentaire de défaut de compréhension.
[0005] Les situations sont variées, mais on peut en isoler certaines: un sujet présentant une hypoacousie plus ou moins importante allant jusqu’à une surdité totale; un sujet percevant un message auditif noyé dans une ambiance sonore perturbante, par exemple sur un lieu de travail en milieu industriel bruyant, ou en milieu ouvert collectif; un sujet ne maîtrisant pas suffisamment la langue de son interlocuteur peut ne pas en isoler correctement les phonèmes et être incapable de reconnaître les mots prononcés.Toutes ses situations mettent la personne concernée dans un inconfort se traduisant par une incapacité à répondre ou à participer à une conversation par incompréhension.
[0006] La seule alternative consiste alors à demander à l’interlocuteur de répéter ce qu’il vient de dire, parfois plusieurs fois, avec un risque d’erreur de compréhension qui demeure et devient de plus en plus embarrassant pour la personne qui doit répondre. Il se peut que l’interlocuteur se lasse et abandonne la conversation. Le malentendant ou «mal-comprenant» est encore plus mal à l’aise dans cette situation et peut avoir rapidement tendance à l’isolement, ou à se contenter d’une compréhension partielle, avec des conséquences parfois graves et préjudiciables.
[0007] S’agissant d’un problème de surdité plus ou moins importante, il existe des dispositifs auditifs agissant comme des amplificateurs de son sur l’ensemble de la bande passante ou plus spécifiquement sur certaines fréquences déficitaires en fonction du type de surdité. Le bénéfice de ces appareils est variable voire aléatoire. L’augmentation de l’intensité des informations sonores est plus ou moins globale, avec l’inconvénient d’augmenter aussi bien l’information pertinente que le bruit de fond, même si certains dispositifs tentent avec plus ou moins de bonheur d’y remédier. Ainsi, la fatigue auditive est importante dans une ambiance très sonore, surtout lorsque plusieurs interlocuteurs parlent en même temps. Il ne faut pas oublier que le malentendant n’a plus l’habitude de ce bruit de fond et se voit sollicité tout d’un coup avec ces appareils par un environnement très bruyant qui l’oblige à être dans un état d’extrême vigilance pour extraire l’information pertinente. Bien souvent les malentendants qui ne supportent pas cette fatigue auditive abandonnent leur prothèse auditive et se réfugient dans un silence plus confortable, au prix d’un isolement social progressif. L’habitude prise de cet isolement est moins perturbante pour eux que la fatigue auditive ou l’éventuel sentiment de honte et de culpabilité que provoque une compréhension aléatoire.
[0008] Certains équipements utilisent des techniques de stimulation nerveuse se substituant à la stimulation acoustique. A titre d’exemple l’ostéologie qui assure une transmission vibratoire par l’os lui-même ou l’implantation cochléaire directe. Outre le fait d’être des techniques invasives et traumatisantes, elles présentent l’inconvénient de remplacer l’information sonore naturelle par une information sensorielle d’un type inconnu et imposent, de ce fait, un long apprentissage orthophonique qui peut durer parfois plus d’un an, pour une efficacité de substitution qui reste souvent partielle et très éloignée de la perception auditive naturelle. Beaucoup de malentendants refusent ces techniques.
[0009] La plupart des techniques existantes propose de tenter d’améliorer la perception de l’information sonore, au prix d’une amplification du son ou de l’utilisation d’une sensibilité non naturelle, toutes deux perturbantes pour l’intéressé. Mais le problème posé n’est pas tant la perception de l’information sonore que la compréhension intellectuelle de cette information.
[0010] A ce propos, le brevet américain N° 5, 475,798 décrit un dispositif d’aide à la compréhension qui permet de transcrire une information vocale en une information écrite et d’afficher ladite information écrite sur un support disposé dans le champ visuel de l’utilisateur. Les différentes variantes proposées de réalisation de l’appareil sont relativement encombrantes et ne permettent pas de déclencher l’affichage de l’information écrite de manière automatique, sur simple demande de l’utilisateur, ce qui complique l’utilisation et diminue le confort de l’usage dudit appareil ainsi d’ailleurs que son encombrement. Cet appareil doit obligatoirement être enclenché manuellement par l’utilisateur avant d’être utilisé. Or la personne malentendante ne sait pas à quel moment elle va nécessiter une aide à la compréhension, car il peut s’agir d’un simple mot mal entendu dans une phrase prononcée par un interlocuteur ou d’une incompréhension partielle au cours d’un entretien ou d’une conférence. Il est impératif que l’appareil soit disponible en permanence et que les données puissent être réécoutées ou transcrites par l’utilisateur, même après un premier affichage.
Exposé de l’invention
[0011] La présente invention propose de résoudre ces problèmes en offrant un appareil simplifié, facile à utiliser, permettant à l’utilisateur de disposer d’une information visuelle qui traduit une information vocale mal perçue ou mal interprétée, cette transcription ou traduction s’effectuant de manière quasi automatique, discrète par rapport à l’environnement, sans intervention spécifique, et offrant des applications complémentaires, comme celle d’apporter une aide à la compréhension de langues inconnues ou mal maîtrisées par l’utilisateur. Enfin la diversité des problèmes qui peuvent se poser, comme la mauvaise traduction d’une langue, la mauvaise compréhension d’un terme ou d’une expression, nécessite un appareil polyvalent, instantanément disponible, discret et fiable, l’ensemble étant concentré sur un dispositif qui combine toutes les fonctions.
[0012] A cet effet le procédé selon l’invention est caractérisé en ce que l’on capte ledit message sensoriel auditif au moyen d’au moins un capteur monté sur un support du type lunette ou équivalent, en ce que l’on transforme ledit message sensoriel auditif en un message visuel, en ce que l’on enregistre ledit message auditif, en ce que l’on projette ledit message visuel suite à une commande de l’utilisateur, sur un écran solidaire dudit support du type lunette ou équivalent, placé dans le champ visuel dudit utilisateur, en ce que ladite commande de l’utilisateur est effectuée par au moins un mouvement pupillaire de l’utilisateur et en ce que la projection du message visuel est effectuée sous forme statique, en défilement, unique ou répétitive, directe ou retardée, en fonction de ladite commande de l’utilisateur, captée par un organe de détection dudit mouvement pupillaire.
[0013] D’une manière préférentielle, la projection du message visuel est effectuée sur au moins deux lignes d’affichage, la première ligne étant affectée à l’affichage de la transcription visuelle du message auditif, la deuxième ligne étant affectée à une information complémentaire utile pour la compréhension dudit message.
[0014] Ladite information complémentaire utile pour la compréhension dudit message peut être une traduction dudit message auditif dans une langue du choix de l’utilisateur.
[0015] De façon avantageuse, la projection du message visuel peut être effectuée avec un décalage prédéterminé par rapport à la communication dudit message auditif. <tb>En outre le dispositif selon l’invention est caractérisé en ce qu’il comporte: <tb>un support agencé pour porter l’ensemble des éléments fonctionnels qui interviennent pour remplir les fonctions du procédé, ledit ensemble d’éléments fonctionnels comportant; <tb><SEP>au moins un capteur agencé pour capter ledit message sensoriel auditif et monté sur ledit support, <tb>–<SEP>des moyens d’enregistrement et de mémorisation pour enregistrer et mémoriser en temps réel ledit message auditif, <tb>–<SEP>des moyens de transformation pour transformer ledit message sensoriel auditif en un message visuel, <tb>–<SEP>un écran solidaire dudit support et placé dans le champ visuel dudit utilisateur, <tb>–<SEP>au moins un organe pour projeter ledit message visuel sur ledit écran du type lunette ou équivalent, <tb>–<SEP>au moins un capteur d’un mouvement pupillaire de l’utilisateur, <tb>–<SEP>des moyens pour interpréter un mouvement pupillaire de l’utilisateur en une commande d’affichage dudit message visuel, et <tb>–<SEP>des moyens pour exécuter ladite commande en projetant ledit message visuel sous forme statique, en défilement, unique ou répétitive, directe ou retardée.
[0016] Ledit support est avantageusement du type lunette ou équivalent, et comprend un arc antérieur avec un support nasal, ledit arc antérieur portant deux branches latérales articulées aux extrémités dudit arc antérieur.
[0017] Selon un mode de réalisation préféré, ledit organe pour projeter ledit message visuel comporte deux projecteurs respectivement montés sur lesdites branches latérales, chacun desdits projecteurs étant agencé pour projeter au moins une partie dudit message visuel correspondant audit message sensoriel auditif.
[0018] Selon le mode de réalisation préféré, le dispositif comporte des moyens pour capter au moins un mouvement pupillaire de l’utilisateur, des moyens pour interpréter ledit au moins un mouvement pupillaire et des moyens pour exécuter une commande de projection dudit message visuel en fonction de l’interprétation dudit mouvement pupillaire.
[0019] Lesdits moyens pour exécuter une commande de projection dudit message visuel peuvent être directement couplés audits projecteurs agencés pour projeter au moins une partie dudit message visuel.
[0020] De façon avantageuse, ledit au moins un capteur agencé pour capter ledit message sensoriel auditif est un microphone directif monté sur la partie frontale dudit support.
[0021] Selon une forme de réalisation préférée, le dispositif comporte une unité électronique alimentée par une source d’énergie électrique, ledit circuit électronique comportant un premier module, dit module de mémorisation, qui est agencé pour mémoriser temporairement et en temps réel le message sensoriel auditif, un deuxième module, dit module de transcription agencé pour transcrire le message auditif en données visuelles, un troisième module, dit module de commande, qui est agencé pour recevoir et interpréter le message de commande pupillaire et élaborer le message visuel correspondant, et un quatrième module, dit module de déclenchement de l’affichage, agencé pour réaliser l’affichage du message correspondant à la commande pupillaire.
[0022] De manière avantageuse, au moins un desdits premier module, dit module de mémorisation, deuxième module, dit module de transcription, troisième module, dit module de commande et quatrième module, dit module de déclenchement de l’affichage dudit circuit électronique est délocalisé par rapport au support du dispositif et comporte des moyens pour transmettre et recevoir des informations d’un équipement extérieur au dispositif.
[0023] Le dispositif comporte préférentiellement un dispositif d’affichage monté sur ledit arc antérieur agencé pour afficher ledit message visuel sous la forme d’un signal de mots et de phrases écrites et/ou de sigles informatifs.
[0024] Ce dispositif d’affichage peut comporter un écran comprenant au moins deux lignes, agencées pour afficher ledit message visuel sous forme statique, en défilement, unique ou répétitive, directe ou retardée.
[0025] Ce dispositif d’affichage peut être agencé, selon une autre disposition, pour projeter ledit message visuel directement sur la partie haute des verres.
Description sommaire des dessins
[0026] La présente invention et ses avantages apparaîtront mieux dans la description ci-dessous d’un mode de réalisation donné à titre d’exemple non limitatif, en référence aux dessins annexés dans lesquels: <tb>la fig. 1<SEP>est une vue schématique d’ensemble illustrant tous les composants essentiels du dispositif selon l’invention, <tb>la fig. 2<SEP>est une vue schématique illustrant les étapes essentielles du procédé de l’invention, selon un premier mode de réalisation, et <tb>la fig. 3<SEP>est une vue schématique illustrant les étapes essentielles du procédé de l’invention, selon un second mode de réalisation.
Meilleures manières de réaliser l’invention
[0027] Le dispositif selon l’invention comporte plusieurs composants permettant d’une part de capter une information vocale, de transcrire cette information vocale en une information visuelle, d’autre part d’afficher ladite information visuelle dans le champ visuel d’un utilisateur, à la demande de ce dernier, le cas échéant de faire défiler l’information visuelle dans une zone prédéterminée dudit champ visuel. L’information peut être mémorisée, son affichage peut être statique, mais de préférence mobile et le défilement peut être déclenché instantanément ou avec un retard défini à l’avance, voire répété, de telle manière que l’utilisateur puisse accéder à tout moment à l’information lorsqu’il le juge nécessaire en fonction du degré de compréhension de l’information vocale communiquée.
[0028] Il est essentiel que la mise à la disposition de l’utilisateur des données visuelles se fasse de manière efficace, quasi automatique et discrète afin que l’utilisateur ne soit pas pénalisé par le handicap d’une mauvaise perception auditive ou d’une mauvaise compréhension du message vocal et qu’il puisse participer à une discussion, voire participer à un débat de façon normale.
[0029] En référence aux figures et en particulier à la fig. 1 , le dispositif 10 comporte un support 11 agencé pour porter l’ensemble des éléments fonctionnels qui interviennent pour remplir les fonctions évoquées ci-dessus. Le support 11 est avantageusement constitué d’une monture de lunette ou équivalente se présentant comme un arc antérieur 12 pourvu d’un support nasal 13 et de deux branches latérales 14 et 15 qui sont articulées aux extrémités de l’arc antérieur 12. Il peut également être constitué d’une pièce indépendante qui se fixe par des moyens de liaison rapide sur un support de lunette classique. L’arc antérieur 12 est disposé de façon à se trouver à la hauteur de la ligne des sourcils, soit plus haut que la barre transversale des montures de lunettes classiques.
[0030] Le support 11 porte deux microphones 16 et 17, très directionnels qui sont montés de part et d’autre du support nasal 13 de l’arc antérieur 12 et qui captent préférentiellement les sons émis par un interlocuteur présent devant l’utilisateur. L’arc antérieur 12 est avantageusement disposé au niveau des sourcils de l’utilisateur et ménage, dans sa partie haute un bandeau 18 rectiligne, ayant une hauteur suffisante pour permettre la mise en place d’au moins deux lignes d’écriture, ledit bandeau 18 constituant un écran sur lequel est projetée l’information visuelle qui transcrit l’information vocale que l’utilisateur malentendant a de la peine à entendre et/ou à comprendre.
[0031] Les informations vocales captées sont traitées par une unité électronique 19 qui comporte différents secteurs ayant différentes fonctions. Cette unité électronique est, dans l’exemple représenté par la fig. 1 , intégrée dans une des branches 15 du support 11. Un premier module 19a, dit module de mémorisation, mémorise le signal auditif en temps réel. Un deuxième module 19b, dit module de transcription est agencé pour transcrire le message auditif en données visuelles par exemple sous la forme d’un signal de mots et de phrases écrites, pouvant être défilantes. Un troisième module 19c, dit module d’interprétation de la commande, prépare le message visuel à afficher en fonction de l’ordre de commande transmis par des détecteurs de mouvement pupillaire 25 et 26. Un quatrième module 19d, dit module de déclanchement d’affichage, transmet le message visuel à deux projecteurs 20 et 21, et déclenche l’affichage du message visuel sur l’arc antérieur 18, ou sur les verres 23 et 24 du support de lunettes 11. Les projecteurs 20, 21 sont agencés pour projeter lesdits mots et lesdites phrases sur ledit bandeau 18. Lorsque le bandeau comporte deux lignes 18a et 18b, l’une des lignes, par exemple la ligne supérieure 18a assure l’affichage sous une forme défilante de l’information communiquée, la ligne inférieure 18b étant affectée à l’affichage d’une information complémentaire, utile pour la compréhension du message, cette information complémentaire pouvant par exemple être une traduction, dans une langue étrangère du message communiqué, ou l’affichage de sigles informatifs. L’affichage défilant se fait sensiblement comme un prompteur. La transmission du signal dudit quatrième module 19d, dit module de déclanchement d’affichage vers les projecteurs 20, 21 peut également être faite par une liaison câblée. Le quatrième module 19d, peut également transmettre l’information sur un téléphone portable ou une tablette ou tout autre équipement pourvu d’un écran d’affichage 30, comme le montre la fig. 3 , disposé à l’écart du support 11, étant entendu que dans ce cas des moyens de communication entre les composants délocalisés et les composants intégrés devront être prévus.
[0032] L’unité électronique 19 est alimentée par une source d’énergie électrique 22, de préférence une batterie rechargeable, localisée par exemple dans la branche latérale 14 au moyen d’un câblage intégré au support 11. L’arc antérieur 12 sert également de support à des verres de lunettes 23, 24. Dans le cas où le support est porté par une monture de lunette classique, les verres de lunettes peuvent montés directement sur la monture et le support 11 du dispositif 10 ne porte pas les verres de lunettes, mais sert uniquement à porter les composants fonctionnels du dispositif 10.
[0033] La communication évoquée avec un téléphone portable ou une tablette ou tout autre équipement pourvu d’un écran d’affichage permet de transférer le signal sonore à un appareil de traitement du signal intégré dans ces appareils, mais aussi de recevoir de celui-ci un signal en retour, sous forme d’une phrase écrite dans une langue adaptée, ou de sigles particuliers, pouvant être affichés par l’écran du bandeau 18.
[0034] Le premier module 19a, dit module de mémorisation de l’unité électronique 19 est agencé pour mémoriser les informations auditives, le troisième module 19c, dit module d’interprétation de commande, et le quatrième module, dit module de déclanchement d’affichage, sont agencés pour réutiliser les données mémorisées par le module 19a de façon à retarder, si nécessaire de quelques secondes l’affichage de ces informations transcrites sous forme écrite.
[0035] Le quatrième module 19d, dit module de déclenchement de l’affichage est agencé pour permettre l’affichage, éventuellement en faisant défiler le message visuel transcrit, le cas échéant, retardé ou répété avec éventuellement une traduction, à la demande de l’utilisateur. Le déclenchement de l’opération se fait à la demande de l’utilisateur par la détection d’un mouvement prédéterminé de son globe oculaire, à l’aide d’au moins un détecteur de mouvement pupillaire 25, 26, placé à la face interne de l’arc antérieur 12 en face de chaque œil.
[0036] Un logiciel de gestion du dispositif permet à l’utilisateur de sélectionner des options de fonctionnement concernant par exemple l’affichage de l’information transcrite du phonique au visuel, comme l’enclenchement du mode d’affichage statique, l’enclenchement du mode d’affichage défilant, la répétition d’une information, le choix d’une langue de traduction, la transcription intégrale d’une conversation téléphonique. Le mouvement pupillaire actif pourrait par exemple être un déplacement vers le haut ayant une première signification qui est l’ordre de démarrer une projection, un déplacement vers la gauche ayant une deuxième signification comme la commande d’un décalage temporel, un déplacement vers la droite ayant une troisième signification comme la commande d’une accélération du défilement, un déplacement vers le bas ayant une quatrième signification comme entrée dans le menu de choix des options d’affichage et validation de celles-ci.
[0037] D’autres possibilités peuvent être développées, comme celle qui consiste à faire apparaître au moins un signal lumineux à la perception d’un interlocuteur pour attirer l’attention de l’utilisateur, celle consistant à effectuer une description écrite d’une ambiance sonore anormale, celle consistant à afficher des sigles d’alerte pour certains sons, comme par exemple la sonnerie de téléphone, la sonnette d’une porte, le réveil, un niveau sonore anormalement élevé, un véhicule en approche, un fracas de verre, de métal, un feu, de l’eau qui bout, de l’eau qui coule, un orage, la chute d’un objet, le bruit d’une personne, des aboiements, ou celle de communiquer par écrit des ordres transmis par voie orale.
[0038] La fig. 2 illustre les principales étapes de fonctionnement du dispositif 10, lorsqu’il est configuré conformément à une première variante. La première étape consiste à capter le message sensoriel auditif par deux microphones 16 et 17 très directionnels et de les envoyer sur le circuit électronique 19, plus exactement sur le premier module 19a de ce circuit qui sert de récepteur, alimenté par une source de courant électrique 22. Le message sensoriel auditif est transformé en un message visuel par le module 19b. La liaison entre les microphones 16, 17 et le circuit électronique peut être assurée par un câble monté dans le support 11. Le module 19c est conçu pour interpréter un signal de commande transmis par les détecteurs de mouvement pupillaire 25, 26. Le module 19d, dit module de déclanchement d’affichage, déclenche l’affichage de ce message, en fonction de l’interprétation effectuée par les détecteurs de mouvement pupillaire 25, 26. L’affichage peut être décomposé en deux éléments de messages complémentaires C1 et C2 par transmission aux projecteurs 20 et 21 qui le projettent sur une ligne 18a ou sur deux lignes 18a et 18b d’un écran porté par le bandeau d’affichage 18.
[0039] La fig. 3 illustre les principales étapes de fonctionnement du dispositif 10, lorsqu’il est configuré comme le montre la fig. 3 , constitué par une seconde variante de réalisation. Les composants fonctionnels sont les mêmes dans cette réalisation, mais une partie des fonctionnalités est délocalisée dans un téléphone portable 30 ou dans une tablette ou similaire, pourvue d’un émetteur/récepteur 31, de telle manière que la transcription du message peut disposer de moyens informatiques complémentaires qui améliorent les capacités du dispositif pour remplir sa fonction d’aide à la compréhension. Dans cette configuration, le module électronique est un module 19 ́ qui a la fonction d’un émetteur-récepteur, agencé pour communiquer le message vocal des microphones 16 et 17, sur l’élément délocalisé, à savoir le portable 30, via son propre émetteur-récepteur 31. Le module 19 ́ porté par la branche 15 du dispositif 10 comporte, dans ce cas un module 19 ́a qui a les fonctions d’émetteur/récepteur, un module 19 ́c, identique au module 19c de la première variante, à savoir l’interprétation du mouvement pupillaire et un module 19 ́d, identique au module 19d de la première variante, à savoir la commande de l’affichage.
[0040] Dans la seconde variante, seule la transformation du message vocal en message visuel et l’éventuel ajout de données complémentaires ou la transformation des signaux s’effectue sur un appareil extérieur au dispositif 10.
[0041] Le message visuel, qui est en une ou deux phrases, ou le sigle affiché correspond aux quelques dernières secondes passées et enregistrées par le capteur auditif. L’utilisateur peut alors vérifier qu’il a bien entendu le message sonore sans erreur, assurant ainsi une parfaite compréhension, même en absence d’une perception totale.
[0042] Ce mode de fonctionnement peut être utilisé pour des situations demandant une compréhension parfaite, alors même qu’il n’existe pas de défaut de perception. C’est le cas d’une conversation entre deux personnes de langues différentes lorsque l’utilisateur ne maîtrise pas parfaitement la langue de l’interlocuteur. Dans ce cas, la première ligne sert à afficher le message dans la langue de l’interlocuteur et permet à l’utilisateur de vérifier qu’il a bien perçu le bon mot, et ainsi de se perfectionner dans cette langue. Il peut aussi utiliser la seconde ligne pour faire apparaître la traduction de la ligne supérieure dans sa propre langue, en assurant ainsi la bonne compréhension même lorsqu’il ne maîtrise pas du tout la langue concernée.
[0043] L’appareil peut être utilisé par une personne atteinte de surdité totale ou partielle pour tous les actes de la vie courante, notamment la perception des alarmes ou encore pour une communication verbale, téléphonique; par une personne atteinte de troubles cognitifs par exemple de démences ou de la maladie d’Alzheimer ne permettant pas de comprendre la signification du signal sonore; par une personne effectuant un travail à distance d’un émetteur d’ordre ou dans une ambiance bruyante ne permettant pas une bonne compréhension d’un signal phonique.
[0044] L’appareil pourrait être utilisé comme prompteur, pour des conférenciers, des acteurs, au théâtre, pour l’apprentissage de la musique, une ligne affichant la partition, la second sa traduction littérale ou similaire.
[0045] L’invention n’est pas limitée aux formes de réalisation décrites et peut se présenter sous différents aspects dans le cadre défini par les revendications. La réalisation et la disposition des différents composants pourraient être modifiées tout en respectant les fonctionnalités de l’appareil. Les applications pourraient être élargies au-delà de l’aide aux personnes atteintes de surdité partielle ou totale.
[0046] En particulier le dispositif peut être agencé pour être connecté par l’intermédiaire de l’unité électronique 19, par exemple du type émetteur/récepteur «Bluetooth» à tout appareil externe disposant d’une connexion adaptée et pour recevoir un signal auditif à traiter de la même façon et selon la même procédure que le signal provenant des microphones 16 et 17. Cette variante permet en particulier de traiter visuellement une communication téléphonique, ou un ordre donné à distance sur un chantier par un talkie-walkie par exemple, ou tout autre moyen auditif ou électrique.

Claims (15)

1. Procédé pour aider, notamment une personne malentendante, appelée l’utilisateur, à comprendre un message sensoriel auditif en transformant ledit message sensoriel auditif en un message visuel et en le projetant sur une surface positionnée dans le champ visuel dudit utilisateur, caractérisé en ce que l’on capte ledit message sensoriel auditif au moyen d’au moins un capteur monté sur un support du type lunette ou équivalent, en ce que l’on enregistre ledit message auditif en temps réel pour permettre sa réutilisation en temps différé, en ce que l’on transforme ledit message sensoriel auditif en un message visuel, en ce que l’on projette ledit message visuel suite à une commande de l’utilisateur, sur un écran solidaire dudit support du type lunette ou équivalent, placé dans le champ visuel dudit utilisateur, en ce que ladite commande de l’utilisateur est effectuée par au moins un mouvement pupillaire de l’utilisateur et en ce que la projection du message visuel est effectuée sous forme statique, en défilement, unique ou répétitive, directe ou retardée, en fonction de ladite commande de l’utilisateur, captée par un organe de détection dudit mouvement pupillaire.
2. Procédé pour aider une personne malentendante, selon la revendication 1, caractérisé en ce que la projection du message visuel est effectuée sur au moins deux lignes d’affichage, la première ligne étant affectée à l’affichage de la transcription visuelle du message auditif, la deuxième ligne étant affectée à une information complémentaire utile pour la compréhension dudit message.
3. Procédé pour aider une personne malentendante, selon la revendication 2, caractérisé en ce que ladite information complémentaire utile pour la compréhension dudit message est une traduction dudit message auditif dans une langue du choix de l’utilisateur.
4. Procédé pour aider une personne malentendante, selon la revendication 2, caractérisé en ce que la projection du message visuel est effectuée avec un décalage prédéterminé par rapport à la communication dudit message auditif.
5. Dispositif (10) de mise en œuvre du procédé pour aider, notamment une personne malentendante, appelée l’utilisateur, à comprendre un message sensoriel auditif, comportant des moyens pour transformer ledit message sensoriel auditif en un message visuel et des moyens pour le projeter sur une surface positionnée dans le champ visuel dudit utilisateur, caractérisé en ce qu’il comporte: un support (11) agencé pour porter l’ensemble des éléments fonctionnels qui interviennent pour remplir les fonctions du procédé, ledit ensemble d’éléments fonctionnels comportant; – au moins un capteur (16, 17) agencé pour capter ledit message sensoriel auditif et monté sur ledit support, – des moyens d’enregistrement et de mémorisation (19a, 19 ́a) pour enregistrer et mémoriser en temps réel ledit message auditif, – des moyens de transformation (19b, 19 ́b) pour transformer ledit message sensoriel auditif en un message visuel, – un écran solidaire (18) dudit support (11) et placé dans le champ visuel dudit utilisateur, – au moins un organe (20, 21) pour projeter ledit message visuel sur ledit écran du type lunette ou équivalent, – au moins un capteur (25, 26) d’un mouvement pupillaire de l’utilisateur, – des moyens pour interpréter (19c, 19 ́c) un mouvement pupillaire de l’utilisateur en une commande d’affichage dudit message visuel, – et des moyens (19d, 19 ́d) pour exécuter ladite commande en projetant ledit message visuel sous forme statique, en défilement, unique ou répétitive, directe ou retardée.
6. Dispositif selon la revendication 5, caractérisé en ce que ledit support est du type lunette ou équivalent, et comprend un arc antérieur (12) avec un support nasal (13), ledit arc antérieur portant deux branches latérales (14, 15) articulées aux extrémités dudit arc antérieur (12).
7. Dispositif selon la revendication 5, caractérisé en ce que ledit organe pour projeter ledit message visuel comporte deux projecteurs (20, 21) respectivement montés sur lesdites branches latérales (14, 15), chacun desdits projecteurs étant agencé pour projeter au moins une partie dudit message visuel correspondant audit message sensoriel auditif.
8. Dispositif selon la revendication 5, caractérisé en ce qu’il comporte des moyens (25, 26) pour capter au moins un mouvement pupillaire de l’utilisateur, des moyens pour interpréter ledit au moins un mouvement pupillaire et des moyens pour exécuter une commande de projection dudit message visuel en fonction de l’interprétation dudit mouvement pupillaire.
9. Dispositif selon les revendications 5 et 7, caractérisé en ce que lesdits moyens (19d, 19 ́d) pour exécuter une commande de projection dudit message visuel sont couplés audits projecteurs (20, 21) agencés pour projeter au moins une partie dudit message visuel.
10. Dispositif selon la revendication 5, caractérisé en ce que ledit au moins un capteur agencé pour capter ledit message sensoriel auditif est un microphone directif (20, 21) monté sur la partie frontale dudit support.
11. Dispositif selon la revendication 5, caractérisé en ce qu’il comporte une unité électronique (19) alimentée par une source d’énergie électrique (22), ledit circuit électronique comportant un premier module (19a), dit module de mémorisation, qui est agencé pour mémoriser temporairement et en temps réel le message sensoriel auditif, un deuxième module (19b), dit module de transcription agencé pour transcrire le message auditif en données visuelles, un troisième module (19c), dit module de commande, qui est agencé pour recevoir et interpréter le message de commande pupillaire et élaborer le message visuel correspondant, et un quatrième module (19d), dit module de déclenchement de l’affichage, agencé pour réaliser l’affichage du message correspondant à la commande pupillaire.
12. Dispositif selon la revendication 11, caractérisé en ce que, au moins un desdits premier module (19a), dit module de mémorisation, deuxième module (19b), dit module de transcription, troisième module (19c), dit module de commande et quatrième module (19d), dit module de déclenchement de l’affichage dudit circuit électronique (19) est délocalisé par rapport au support du dispositif (10) et comporte des moyens (30, 31) pour transmettre et recevoir des informations d’un équipement extérieur au dispositif.
13. Dispositif selon la revendication 5, caractérisé en ce qu’il comporte un dispositif d’affichage (18) monté sur ledit arc antérieur agencé pour afficher ledit message visuel sous la forme d’un signal de mots et de phrases écrites, et/ou de sigles informatifs.
14. Dispositif selon les revendications 11 à 13, caractérisé en ce que ledit dispositif d’affichage comporte un écran (18) comprenant au moins deux lignes (18a, 18b), agencées pour afficher ledit message visuel sous forme statique, en défilement, unique ou répétitive, directe ou retardée.
15. Dispositif selon les revendications 11 à 14, caractérisé en ce qu’il est agencé pour être connecté par l’intermédiaire de l’unité électronique (19) du type émetteur/récepteur «Bluetooth» à tout appareil externe disposant d’une connexion adaptée et pour recevoir un signal auditif à traiter de la même façon et selon la même procédure que le signal provenant des microphones (16, 17).
CH01030/15A 2015-07-15 2015-07-15 Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel. CH711334A2 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CH01030/15A CH711334A2 (fr) 2015-07-15 2015-07-15 Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel.
US14/829,763 US20170018281A1 (en) 2015-07-15 2015-08-19 Method and device for helping to understand an auditory sensory message by transforming it into a visual message
PCT/CH2016/000101 WO2017008173A1 (fr) 2015-07-15 2016-07-08 Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CH01030/15A CH711334A2 (fr) 2015-07-15 2015-07-15 Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel.

Publications (1)

Publication Number Publication Date
CH711334A2 true CH711334A2 (fr) 2017-01-31

Family

ID=56686595

Family Applications (1)

Application Number Title Priority Date Filing Date
CH01030/15A CH711334A2 (fr) 2015-07-15 2015-07-15 Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel.

Country Status (3)

Country Link
US (1) US20170018281A1 (fr)
CH (1) CH711334A2 (fr)
WO (1) WO2017008173A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018204260B4 (de) * 2018-03-20 2019-11-21 Zf Friedrichshafen Ag Auswerteeinrichtung, Vorrichtung, Verfahren und Computerprogrammprodukt für eine hörgeschädigte Person zur umgebungsabhängigen Wahrnehmung eines Schallereignisses
WO2021142242A1 (fr) * 2020-01-08 2021-07-15 Format Civil Engineering Ltd. Systèmes et programmes de visualisation de signaux auditifs

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5191319A (en) * 1990-10-15 1993-03-02 Kiltz Richard M Method and apparatus for visual portrayal of music
US5285521A (en) * 1991-04-01 1994-02-08 Southwest Research Institute Audible techniques for the perception of nondestructive evaluation information
US5475798A (en) * 1992-01-06 1995-12-12 Handlos, L.L.C. Speech-to-text translator
US5720619A (en) * 1995-04-24 1998-02-24 Fisslinger; Johannes Interactive computer assisted multi-media biofeedback system
US5577510A (en) * 1995-08-18 1996-11-26 Chittum; William R. Portable and programmable biofeedback system with switching circuit for voice-message recording and playback
JPH09114543A (ja) * 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
US6603835B2 (en) * 1997-09-08 2003-08-05 Ultratec, Inc. System for text assisted telephony
US20030191682A1 (en) * 1999-09-28 2003-10-09 Allen Oh Positioning system for perception management
WO2003061285A2 (fr) * 2001-12-24 2003-07-24 Scientific Generics Limited Systeme de legendage
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
US7043463B2 (en) * 2003-04-04 2006-05-09 Icosystem Corporation Methods and systems for interactive evolutionary computing (IEC)
US20070168187A1 (en) * 2006-01-13 2007-07-19 Samuel Fletcher Real time voice analysis and method for providing speech therapy
US20090138270A1 (en) * 2007-11-26 2009-05-28 Samuel G. Fletcher Providing speech therapy by quantifying pronunciation accuracy of speech signals
US20120078628A1 (en) * 2010-09-28 2012-03-29 Ghulman Mahmoud M Head-mounted text display system and method for the hearing impaired
US20140098210A1 (en) * 2011-05-31 2014-04-10 Promtcam Limited Apparatus and method
GB201116994D0 (en) * 2011-10-03 2011-11-16 The Technology Partnership Plc Assistive device
US10514542B2 (en) * 2011-12-19 2019-12-24 Dolby Laboratories Licensing Corporation Head-mounted display
EP2842055B1 (fr) * 2012-04-25 2018-06-27 Kopin Corporation Système de traduction instantanée
US9966075B2 (en) * 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
US9280972B2 (en) * 2013-05-10 2016-03-08 Microsoft Technology Licensing, Llc Speech to text conversion
US9848260B2 (en) * 2013-09-24 2017-12-19 Nuance Communications, Inc. Wearable communication enhancement device

Also Published As

Publication number Publication date
WO2017008173A1 (fr) 2017-01-19
US20170018281A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
US20170303052A1 (en) Wearable auditory feedback device
US8902303B2 (en) Apparatus connectable to glasses
US9380374B2 (en) Hearing assistance systems configured to detect and provide protection to the user from harmful conditions
US20150319546A1 (en) Hearing Assistance System
US20140253702A1 (en) Apparatus and method for executing system commands based on captured image data
US20210312940A1 (en) Glasses with closed captioning, voice recognition, volume of speech detection, and translation capabilities
US20140270200A1 (en) System and method to detect close voice sources and automatically enhance situation awareness
JP6551417B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
US20140236594A1 (en) Assistive device for converting an audio signal into a visual representation
JP6555272B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
JP6447636B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
WO2016167877A1 (fr) Systèmes d&#39;aide auditive configuré pour détecter et fournir une protection contre les conditions nuisibles à l&#39;utilisateur
WO2017008173A1 (fr) Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel
Wagner et al. Does signal degradation affect top–down processing of speech?
US8817996B2 (en) Audio signal processing system and its hearing curve adjusting unit for assisting listening devices
KR20100050959A (ko) 청각장애인을 위한 의사 소통 시스템
US20230238001A1 (en) Eyeglass augmented reality speech to text device and method
KR19990030683A (ko) 언어학습자를 위한 언어능력 훈련장치
IT201800011175A1 (it) Sistema e metodo di ausilio per utenti con disabilità uditiva
WO2023194827A1 (fr) Reconnaissance vocale locale et traitement dans un dispositif porté sur la tête
TWM655413U (zh) 聽損輔助系統
WO2014102354A1 (fr) Systeme de determination de la position dans l&#39;espace de la langue d&#39;un locuteur et procede associe
FR3000593A1 (fr) Procede de communication entre un locuteur et un appareil electronique et appareil electronique associe
TW201624469A (zh) 聽障人士之電子智能溝通眼鏡
FR2894754A1 (fr) Dispositif mains-libres pour telephone portable

Legal Events

Date Code Title Description
AZW Rejection (application)
NV New agent

Representative=s name: P&TS SA, CH

AZW Rejection (application)