FR2860898A1 - Systeme d'interface homme-machine a utilisation de dispositifs par auxiliaires dedies cooperants - Google Patents

Abstract

La présente invention est un système d'Interface Homme-Machine à utilisation de dispositifs par Auxiliaires dédiés coopérants au réseau de transmission des données et à l'exécution de tâches propres à ce dispositif. Les trois Auxiliaires Secrétaire, Lecteur et Scribe mis en oeuvre dans cette invention, notamment à l'aide d'un jeu de commandes universelles ou équivalentes, fournissent un nouvel univers d'interaction Homme-Machine et facilitent l'utilisation du dispositif pour réaliser en coordination des tâches complexes. Le Secrétaire est en charge de l'analyse du contexte de travail de l'utilisateur, des sélections et propositions actives de tâches, de l'exécution des tâches par délégation, de la coordination des Auxiliaires Lecteur et Scribe et des modes de surveillance générale du système. Le Lecteur prend en charge l'analyse de structure des données de contenus, la navigation dans lesdites données de contenus et la restitution desdites données à l'utilisateur. Le Scribe réalise pour l'utilisateur la saisie des données de contenus ou de paramétrage tout en restituant les données saisies. La présente invention trouve des applications directes dans les systèmes informatique ou multimédia.

Description

2860898 1

SYSTEME D'INTERFACE HOMME-MACHINE A UTILISATION DE DISPOSITIFS PAR AUXILIAIRES DEDIES COOPERANTS DOMAINE TECHNIQUE La présente invention concerne un système d'Interface Homme-Machine (IHM) à utilisation active de dispositifs, donnant une nouvelle forme d'interaction Homme-Machine avec l'utilisateur, notamment dans l'utilisation de systèmes multimédia, de systèmes informatiques, de télécommunication, de guidage ou tous autres systèmes de traitement de données électroniques et vocales. Ce système est composé de trois Auxiliaires interactifs et complémentaires dans la saisie et la restitution de données, ainsi que dans l'exécution de tâches au moyen du terminal, commande d'actions ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent: Auxiliaire Secrétaire (Secrétaire), Auxiliaire Lecteur (Lecteur) et Auxiliaire Scribe (Scribe).

ART ANTERIEUR

Les applications à support informatique (automates, applications multimédia, etc.) ayant tendance à se complexifier, notamment depuis l'apparition d'applications à interface graphique interactive, leur insertion dans la vie sociale a creusé le fossé avec des groupes de sujets aux facultés déficientes comme les aveugles. Car ces applications exigent davantage que l'utilisateur s'adapte à la machine que l'inverse.

Au point tel que ce problème s'applique aussi de plus en plus aux personnes voyantes. Des solutions informatiques -matérielles et logicielles- existent pour compenser les sur-handicaps de lecture I écriture de documents et d'utilisation d'applications de communication modernes comme Internet.

Tout d'abord, pour pallier à la déficience de vision d'objets sur écran, des dispositifs de lecture par synthèse vocale ont été créés pour se substituer à l'écran en permettant de lire auditivement tous textes à caractères ASCII.

Bien que relativement peu coûteux et offrant des performances acceptables en qualité d'écoute, rapidité et facilité de commandes, ces dispositifs de lecture ne permettent pas un balayage rapide du texte par analyse intelligente de la structure du texte (identification des titres, paragraphes, etc.), ce qui ne fournit pas de gain de temps notable, ni ne réduit la pénibilité usuellement constatée à la lecture. Par ailleurs, ces dispositifs se trouvent limités dès lors qu'il s'agit d'interpréter des mots écorchés comme ceux issus d'une reconnaissance de caractères: le manque d'interprétation et de fluidité de la lecture rendent l'exercice difficile.

Une solution explorée pour les documents de source Internet, consistant à combiner l'utilisation de logiciels spécialisés d'extraction des parties textuelles avec la mise en place de normes WAI (Web Accessibility Initiative) de structuration des pages Internet doit permettre une exploitation textuelle correcte. Cependant, ces normes étant trop peu respectées par les développeurs de sites Internet, les difficultés d'obtenir des documents structurellement exploitables ou de naviguer rapidement dans les sites ou entre sites rendent l'exploitation de l'Internet extrêmement pénible voire impossible pour les utilisateurs.

Ensuite, pour permettre aux déficients visuels de saisir des données textuelles, des claviers, systèmes de saisie vocale et autres systèmes de pointeurs spéciaux ont été créés.

Tels qu'ils existent à l'heure actuelle, ces systèmes d'IHM à saisie ne permettent pas une localisation rapide du pointeur de saisie (emplacement du curseur) pour introduire le texte au bon endroit. Par ailleurs, les aveugles se plaignent du manque de moyens efficaces pour obtenir du système les rétroactions nécessaires au contrôle des saisies de l'utilisateur, comme la lecture adaptative selon la vitesse de saisie du texte et la position du curseur dans le document.

Enfin, pour faciliter la réalisation de tâches rendues contraignantes voire impossibles pour les déficients visuels, des systèmes d' Aide Technique ou d' Interface d'Assistance ont été créés.

Bien que plus rapides à l'exécution de tâches multimédias complexes, ces solutions se montrent difficiles à assimiler et consommatrices en temps pour l'utilisateur car elles sont toujours basées sur une logique d'organisation écran . Par ailleurs, les utilisateurs manquent de moyens efficaces pour obtenir du système les rétroactions nécessaires à l'autocontrôle des actions que l'utilisateur fait et de celles qu'il fait produire au système. Cette gêne est de plus en plus importante avec les interfaces modernes qui sollicitent très fortement la vision, non seulement pour percevoir les données affichées sur l'écran, mais aussi pour dialoguer, pointer, contrôler, surveiller l'état du système et prévenir toute manipulation accidentelle (exemple: effacement de fichier).

Ainsi, ces techniques connues ne sont pas toujours efficaces et il a fallu trouver un système: É Intelligent, s'adaptant au contexte de travail de l'utilisateur et analysant tous contenus et structures de données, É Intuitif à utiliser à partir d'une interface vocale adaptée, permettant de s'affranchir de tout apprentissage lourd, É Rapide dans la configuration et le choix de tâches, à partir de trois auxiliaires aux fonctionnalités complémentaires, proposant des choix d'actions selon le contexte d'utilisation, É Limitant au maximum les erreurs de saisies par prévention d'erreurs, possibilité d'annulation de tâches complexes et restitution de données à l'utilisateur.

La présente invention adopte une approche cognitive de réseau de transmission des données et de manipulation d'objets à travers un nouvel univers, en abandonnant tout principe de référence à l'affichage: la préoccupation du système d'IHM à utilisation de dispositifs par Auxiliaires dédiés coopérants n'est plus de savoir décrypter l'affichage, mais de savoir ce qu'on y fait.

Claims (2)

RESUME DE L'INVENTION La présente invention concerne un système d'IHM à utilisation de dispositifs par Auxiliaires dédiés coopérants. Ce système d'IHM est caractérisé en ce qu'il comprend trois Auxiliaires complémentaires appelés Secrétaire, Lecteur et Scribe aux modes de communication différenciés. Le Secrétaire a un rôle d'interface utilisateur faisant des propositions stockées en mémoire, exécutant des tâches au moyen du terminal, commande d'actions ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent et surveillant les opérations effectuées par l'utilisateur et pour l'utilisateur. Le Lecteur a un rôle d'analyse et de navigation textuelle et de restitution de lecture de données. Enfin le Scribe a un rôle de saisie de données effectuée par l'utilisateur. Dans un mode préféré, le Secrétaire comprend en particulier un moyen de coordination des Auxiliaires, un moyen de proposition automatique de tâches stockée en mémoire, un moyen d'exécution par délégation desdites tâches choisies par l'utilisateur au moyen du terminal, commande d'actions ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent, un moyen de mémorisation d'un ou plusieurs emplacement(s) du pointeur de recherche et un moyen de surveillance, de contrôle et de restitution de données de la réalisation desdites tâches au moyen d'interface vocale, visuelle, haptiques ou équivalent. Dans un autre mode préféré le Lecteur comprend en particulier un moyen d'analyse de structure de données, un moyen du terminal, commande d'actions ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent permettant de naviguer par pointeur de lecture dans lesdites données, un moyen de mémorisation d'un ou plusieurs emplacement(s) du pointeur de lecture et un moyen d'interface vocale, visuelle, haptiques ou équivalent permettant de restituer desdites données de lecture. Enfin dans un autre mode préféré le Scribe comprend spécifiquement un moyen du terminal, commande d'actions ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent permettant de saisir des données de contenus et de paramétrage, un moyen de mémorisation d'un ou plusieurs emplacement(s) du pointeur d'écriture et un moyen d'interface vocale, visuelle, haptiques ou équivalent permettant de restituer desdites données d'écriture. L'interaction entre les Secrétaire, Lecteur et Scribe est assurée par un moyen de synchronisation de mémoires de pointage, un moyen du terminal, commande d'actions ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent permettant d'appeler la saisie, l'écriture et la lecture. BRÈVE DESCRIPTION DES FIGURES Les deux figures supportant la description de la présente invention sont complémentaires les unes des autres. La Figure 1 représente le schéma systémique des trois Auxiliaires. La Figure 2 représente un synoptique de coordination de ces trois Auxiliaires. DESCRIPTION DETAILLEE DE L'INVENTION Le système de la présente invention a été originalement créé pour mettre à disposition de personnes à déficience visuelle une solution alternative d'assistance active à utilisation de dispositifs, donnant une nouvelle forme d'interaction Homme-Machine. En effet, les tentatives d'interface des systèmes actuels transcrivent vocalement les enchaînements classiques de menus et de sous-menus offerts par les boîtes à outil; ils ne fournissent cependant pas une interface intelligente accompagnant activement l'utilisateur tout au long de ses activités informatique, multimédia, etc. Le système d'IHM a pour objectif de compenser le défaut d'analyse contextuelle de la situation faisant appel aux facultés visuelles ou vocales des utilisateurs par une interface et des fonctions automatiques par les Auxiliaires. Par exemple, un utilisateur voyant qui utilise un gestionnaire de fichiers de son ordinateur sait à travers une analyse visuelle sur écran ou vocale que, lorsqu'il veut déplacer un fichier d'un répertoire vers un autre, il peut sélectionner ce fichier d'un répertoire puis faire un glisser-déposer de ce dernier dans un autre. Or, un utilisateur à déficience visuelle manipule avec difficulté cette opération. Le système d'IHM de la présente invention a pour objectif de faciliter les tâches des utilisateurs en se dotant d'un jeu de commandes universelles d'actions, de terminal ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent ( Valider , Abandonner , Reprendre ), et en enchaînant et exécutant ces tâches à l'aide de trois Auxiliaires coopérants. Ces trois Auxiliaires sont bilingues (par exemple français/anglais) et leurs modes de communication sont différenciés (par exemple, par le biais d'une voix ou d'un prénom spécifique à chacun d'entre eux) pour que l'utilisateur puisse les reconnaître naturellement. Ils sont complémentaires dans l'action et le retour de données sur la réalisation effective desdites tâches. Les Auxiliaires se mettent en marche à la demande de l'utilisateur, à l'aide d'une touche d'appel dédiée, d'une voix (par exemple le prénom) ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent permettant. Ils ont un rôle de coordination comme le Secrétaire et d'actions dédiées comme le Lecteur et le Scribe, fournissant un système d'IHM complet. L'interaction entre l'utilisateur et ces trois Auxiliaires fait l'objet par la suite d'une description détaillée pour souligner les 2860898 6 caractéristiques de l'invention. Les exemples cités sont basés sur des applications bureautiques. DESCRIPTION DES TROIS COMMANDES UNIVERSELLES D'ACTIONS, DE TERMINAL OU TOUS AUTRES SUPPORTS MULTIMÉDIA, INFORMATIQUE, ÉLECTRONIQUE, VOCAL OU ÉQUIVALENT Pour simplifier la gestion des tâches à l'aide des trois commandes universelles d'actions, de terminal ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent; le système d'IHM indique à l'utilisateur le statut de réalisation - effectif ou ineffectif des tâches. L'utilisateur utilise ces trois commandes d'actions comme suit: Valider: en activant cette commande d'actions au moment de son énonciation par le Secrétaire, l'utilisateur confirme son choix sur la proposition stockée en mémoire et énoncée à cet instant. Le Secrétaire accomplit la tâche demandée ou s'achemine vers une autre liste de propositions pour affiner le choix d'action. Abandonner: l'utilisateur demande à annuler la demande d'action ayant conduit le Secrétaire à proposer une liste stockée en mémoire de propositions: le Secrétaire annule la séquence cyclique de propositions et revient à la tâche précédente. Reprendre: lorsque l'utilisateur active cette commande d'actions, le Secrétaire inverse l'ordre de présentation du cycle de la liste stockée en mémoire de propositions à l'utilisateur; cette caractéristique de la liste inversée des propositions permet à l'utilisateur de revenir plus rapidement vers une proposition qu'il aurait laissée passer. Inaction: si l'utilisateur ne sélectionne aucune commande d'actions au bout d'un certain délai d'inaction, le Secrétaire infère que la demande est annulée et passe en mode Abandonner . DESCRIPTION DU SCRIBE Le Scribe a pour rôle à l'intérieur du système d'IHM la saisie de données (paramètres ou contenus) en fonction du contexte et la restitution de cette dernière. Par exemple, en saisissant du texte de contenus, l'utilisateur peut se repérer à tout moment dans le document par la restitution vocale de données. Selon le contexte, il peut saisir ou modifier du texte après la dernière entité prononcée automatiquement par le Scribe soit le caractère, soit le mot, soit la phrase, ou soit le paragraphe. S'il laisse passer la dernière entité dictée par le Scribe, c'est qu'il souhaite ne pas saisir ou modifier de texte. Le repérage des points d'entrée de saisie de données est accessible à l'utilisateur grâce à un pointeur d'insertion/modification de données, déplaçable et hiérarchisable. Par exemple, des commandes pratiques peuvent être les flèches du clavier ou tout autre support physique voire combinaison de supports physiques équivalents. Pour faciliter l'activité de l'utilisateur, le Scribe peut être aussi couplé avec le Secrétaire lorsqu'il y a besoin de saisir des données de paramétrage (par exemple la mise en forme des mots) ou avec le Lecteur lorsqu'il y a besoin d'analyser la structure de données. Par ailleurs, le Scribe possède un rôle de lecture locale, c'est-à-dire une interface vocale, visuelle, haptiques ou équivalent permettant de restituer des données saisies. Par exemple, afin de repérer l'emplacement d'insertion/modification de texte, l'utilisateur a la possibilité de se servir des flèches gauche/droite du clavier pour épeler des mots lettre par lettre, ou les flèches haute/basse pour dicter des mots en entier. De plus, la combinaison d'une touche spéciale (préalablement définie) et des flèches du clavier, permet d'effectuer la dictée de chaque début de phrase ou paragraphe. A la saisie/modification de données, le Scribe peut aussi se faire l'écho des actions effectuées par caractère, mots ou terminaison de phrase selon le principe suivant: à la saisie du premier mot, celui-ci est épelé caractère par caractère; à partir du mot suivant, chaque mot est prononcé en entier, et lorsque l'utilisateur finit un paragraphe et crée le suivant, l'écho l'informe de la fin de phrase; pour ce faire, l'écho prononce les trois derniers mots qu'il étend en amont pour garder une structure logicosyntaxique cohérente: les cas atypiques de dernier mot très long ou de chaîne de caractères sans séparateur, ou de ligne vide sont pris en compte; dans le cas d'un paragraphe vide, l'écho prononcera ligne vide . Le Scribe met à disposition de l'utilisateur un mode de repérage multiple stocké en mémoire. Par exemple, pour marquer plusieurs pages d'un document, l'utilisateur peut faire mémoriser par le système une ou plusieurs pages afin de revenir ultérieurement dessus pour saisir ou modifier du texte. Enfin, le Scribe possède une fonction de reprise qui permet à l'utilisateur de mémoriser et de retrouver I' (les) emplacement(s) du pointeur du Scribe dans son activité. Cette mémorisation de I' (les) emplacement(s) s'opère en utilisant soit le repérage automatique, soit le repérage manuel au moyen du terminal, commande d'actions ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent. Le repérage est automatique si le Scribe en cours d'exécution fait appel au Lecteur; dans ce cas le pointeur du Scribe mémorise cet emplacement pour pouvoir repositionner l'écriture à cet endroit après exécution du Lecteur. Pour le repérage manuel, l'utilisateur définit manuellement la mémorisation avec une touche spéciale ou équivalente à l'aide du terminal, commande d'actions ou tous autres supports multimédia, informatique, électronique, vocal ou équivalent à l'emplacement du pointeur au moment de cette action. Pour reprendre la saisie à l'endroit mémorisé par le Scribe, l'utilisateur active à nouveau sur ladite touche spéciale ou équivalente. DESCRIPTION DU LECTEUR Le Lecteur a pour rôle à l'intérieur du système d'IHM (a) d'analyser la structure des données de contenus, (b) de pointer la lecture desdites données de contenus, (c) de mémoriser l'emplacement du pointeur de lecture, et (d) de restituer ces données. Par exemple, le Lecteur est un assistant permettant à l'utilisateur d'exploiter du contenu texte pour le transcrire sous forme vocale. La lecture d'un fichier texte par le Lecteur est basée sur un pointeur de lecture. A chaque document lu par le Lecteur, le système mémorisera l'emplacement de la phrase au niveau de laquelle se trouve le pointeur de lecture en phase d'arrêt de lecture (commande universelle Abandonner ) afin que l'utilisateur puisse en reprendre la lecture lors d'une prochaine session. A l'appel du Lecteur par l'utilisateur, deux cas de figure se présentent pour initialiser la lecture du texte par le système, soit à l'ouverture d'un document déjà lu donc déjà mémorisé par le système, le pointeur du Lecteur se place au début de la phrase mémorisée lors de la précédente session de lecture; soit à l'ouverture d'un document jamais lu par le système, le pointeur du Lecteur se place au tout début du document. Le pointeur va parcourir linéairement les différents éléments composant le texte: caractères, mots, phrases, paragraphes, page, document. La particularité du Lecteur consiste à analyser la structure des données de contenus. Par exemple, le Lecteur scanne le texte pour en inférer sa structure sous forme hiérarchique aux niveaux mot, phrase, paragraphe, tête de chapitre, page et document. Lors de cette analyse, le Lecteur détecte les erreurs (exemple: reconnaissance de caractères par technologie OCR) et les corrige en temps réel si nécessaire. Le Lecteur effectue une analyse discriminante des éléments particuliers de ces données sur la base de critères précis. Par exemple, une phrase est une série de mots terminée par ; , . , ... , ! , ou ? ; les têtes de chapitres sont identifiées sur la base de critères lexicaux (mots-clés ou mots-types utilisés), syntaxiques (application de règles grammaticales), structurels (présence de numérotation), stylistiques (présence éventuelle de style ou formats-types des caractères) et de dénombrement de nombres de caractères (mots, expression, phrases, paragraphes, etc.). Enfin, le Lecteur permet à l'utilisateur de naviguer à l'aide du pointeur de lecture. Par exemple, l'utilisateur peut se déplacer dans le texte en cours de lecture dans le document actif (c'est-à-dire, dans lequel se situe le pointeur). La navigation est réalisée selon trois modes différents selon le nombre de fois que la commande universelle Valider du Lecteur est activée. La séparation de chaque mode est annoncée par un signal sonore. L'arrêt du Lecteur est commandé par la commande universelle Abandonner . Un premier niveau de lecture consiste à lire séquentiellement chaque phrase du document actif à partir de la dernière phrase lue de la page en cours. Un deuxième niveau de lecture consiste à lire séquentiellement le plan (têtes de chapitre) du document actif à partir de la dernière phrase lue de la page en cours, jusqu'en fin de page. Un troisième niveau de lecture consiste à lire séquentiellement le plan (têtes de chapitre) du document actif à partir de la dernière phrase lue de la page en cours, 30 jusqu'en fin de document. La navigation permet également d'accélérer l'efficacité de lecture des phrases et des têtes de chapitre à l'aide d'une commande spéciale ou équivalente ou à l'aide des commandes universelles ou équivalentes Valider et Reprendre , selon un mode de zoom vocal : le Lecteur lit le début de la phrase (par exemple: cinq 2860898 10 mots minimum) et réalise une troncature de la phrase à des mots-clés connecteurs. Par exemple, un critère pratique de troncature de phrase consiste à déceler les conjonctions de coordination, sauf et et ou . L'utilisateur peut également se déplacer de page en page, relire la phrase en cours 5 ou remonter à la tête de chapitre précédente ou suivante à l'aide des flèches du clavier ou équivalentes. La restitution phonologique transcrite pour l'utilisateur la donnée de contenus sous forme vocale, à la voix caractéristique. Le Lecteur fait appel à l'utilitaire de correction et de phonétiques automatiques de mots, que ce soit par (a) la recomposition de mots séparés par des espaces (exemple: A V E_N T U_R E) - le système n'épelle pas le mot lettre par lettre mais en édicte le mot complet; soit par (b) la correction d'erreurs classiques - fautes de frappe, interprétation de systèmes de reconnaissance de caractère (exemple: OCR de scanners), lecture de documents HTML; soit par (c) l'analyse sémantique pour que le synthétiseur vocal puisse restituer la prononciation exacte des mots (exemple: prononciation de iris et de héros ) ; ou soit par (d) la reconnaissance de la langue employée dans les phrases. Afin de faciliter le confort de lecture pour les personnes à déficience visuelle, le Lecteur donne une respiration au texte en ajoutant des silences dont la durée est déterminée par la structure du texte entourant le pointeur; par exemple, le temps de silence sera accrû à la fin d'une phrase précédent une nouvelle tête de chapitre, ce d'autant plus que le nombre de paragraphes du chapitre comprenant le pointeur est élevé. DESCRIPTION DU SECRÉTAIRE Le Secrétaire a pour rôle à l'intérieur du système d'IHM de (a) coordonner les Auxiliaires, (b) d'établir une liste des propositions de tâches, (c) d'exécuter par délégation ou en collaboration dialoguée des tâches de manutention et (d) de surveiller le système. Le principal rôle du Secrétaire est de distribuer et de coordonner les tâches entre Auxiliaires selon le contexte de travail de l'utilisateur et l'état du système. Le secrétaire dispose également de pointeurs de recherche et de mémoire d'emplacement de recherche et d'éléments trouvés; cette fonction est décrite dans l'exemple de scénario de recherche ciaprès. De plus, le Secrétaire mémorise en permanence le contexte de travail de l'utilisateur, y compris lorsqu'il arrête son système. Par exemple, en arrêtant puis remettant en marche son système, l'utilisateur retrouve son environnement de travail tel que délaissé auparavant; les propositions du Secrétaire seront relatives au contexte recréé. L'utilisateur appelle le Secrétaire qui va annoncer des propositions de tâches: traitement de texte, messagerie, navigateur Internet, etc. Après avoir sélectionné la tâche messagerie où l'auxiliaire de communication va vérifier l'arrivée de nouveaux messages en attente de lecture, l'utilisateur va choisir les propositions hiérarchisées temporellement annoncées par le Secrétaire selon leur pertinence. Dès validation du choix par l'utilisateur (lecture de la messagerie), le Secrétaire fera appel au Lecteur pour annoncer le nom du (des) expéditeur(s) ainsi que le contenu du message. Ensuite, le Secrétaire reprend la main pour annoncer les propositions selon le contexte de travail soit répondre à ce message, dans ce cas le Scribe sera appelé, ou soit lire le message suivant, s'il y en a, dans ce cas le Lecteur sera appelé. Le second rôle du Secrétaire consiste à proposer une liste de choix d'actions selon les critères contextuels ou historiques du travail identifié, de manière successive, et les hiérarchiser intelligemment à l'utilisateur. A cette proposition, l'utilisateur répond en utilisant les trois commandes universelles ou équivalentes du Secrétaire que sont: Valider , Reprendre et Abandonner . Le fait de ne pas répondre au Secrétaire constitue une quatrième commande ou équivalente implicite. Par exemple, lors de la rédaction d'un mèl (contexte identifié), l'utilisateur appellera le Secrétaire pour agir sur ce mèl. Le Secrétaire utilisera alors une liste de propositions du contexte mèl dans un ordre préférentiel comme j'enregistre , j'envoie , j'imprime , etc., mais pas de répondre, car cette dernière proposition n'a pas de sens au stade de rédaction d'un mèl. Lorsque l'utilisateur a choisi la tâche à réaliser, le système exécute la tâche ou enchaîne une autre proposition, et ainsi de suite jusqu'à réalisation des souhaits de l'utilisateur.
1. 2860898 12 Le troisième rôle du Secrétaire consiste à exécuter par délégation des tâches de manutention. Le Secrétaire prépare, hiérarchise, sélectionne, filtre et lit les données de contenus et accompagne l'utilisateur dans son activité.

   Pour reprendre l'exemple précédent du gestionnaire de fichier, l'utilisateur va appeler d'abord le Secrétaire qui lui annonce des propositions et exécute le gestionnaire de fichier selon son choix désiré. Le Secrétaire propose: j'ouvre , je remplace , je recherche , je récupère , j'imprime , je déplace , etc. Si l'utilisateur sélectionne je déplace , le Secrétaire lui annonce la liste des fichiers contenus dans le répertoire en cours. Après la sélection du fichier par la validation par l'utilisateur, le Secrétaire va lui demander la destination en annonçant la liste des répertoires disponibles. Après validation du répertoire destinataire, le Secrétaire va exécuter par délégation des tâches de manutention le déplacement d'un fichier d'un répertoire vers un autre.

   Enfin, le Secrétaire a un rôle étendu dans la surveillance du système qui consiste à effectuer la veille de dysfonctionnements, le contrôle préventif et la vérification de cohérence en l'absence du contrôle visuel de l'utilisateur. Il veille sur le système afin d'alerter et/ou corriger non seulement des dysfonctionnements d'origine technique mais aussi sur des modifications ne résultant pas de l'action de la part de l'utilisateur et pouvant paraître incohérentes compte tenu du contexte.

   Par exemple, si l'utilisateur a précédemment sélectionné un texte, en cas d'appui sur une touche du clavier par inadvertance, toute la sélection sera remplacée par le caractère tapé. Dans ce cas, le Secrétaire qui veille en tâche de fond avertira vocalement l'utilisateur du choix de remplacement ou non, le prévenant ainsi de la présence de la sélection.

   Le Secrétaire contrôle également préventivement les actions effectuées par l'utilisateur. Par exemple, l'utilisateur étant positionné sur un fichier dans un gestionnaire de fichiers, il croit qu'il est dans un traitement de texte et souhaite effacer un paragraphe sélectionné précédemment. En appuyant sur la touche suppression, le Secrétaire contrôle et prévient vocalement l'action de l'utilisateur Voulez-vous effacer le fichier XXX.doc ? Veuillez confirmer votre action. . L'utilisateur a la possibilité de sélectionner l'une des trois commandes universelles ou équivalentes du Secrétaire que sont: Valider , Reprendre et Abandonner .

   Le Secrétaire vérifie aussi la cohérence des actions prises par l'utilisateur. Par exemple, l'utilisateur a tapé un document contenant des paragraphes et des chapitres. Il a décidé de supprimer un chapitre entier. Dans ce contexte, le Secrétaire l'alerte du danger d'effacement d'un bloc de texte supérieur à un pourcentage préalablement paramétré.

   DESCRIPTION DE L'INTERACTION DES TROIS AUXILIAIRES: FIGURE 2 Cette partie décrit l'interaction des trois Auxiliaires selon deux types de procédé : transferts automatique ou manuel de tâches à réaliser et échange de mémoires de pointage entre Auxiliaires. D'abord, le Secrétaire (200) qui fonctionne en tâche de fond coordonne (201) et surveille (202) l'activité de l'utilisateur. L'utilisateur a la possibilité d'appeler soit le Scribe, soit le Lecteur, soit le Secrétaire.

   A l'appel du Secrétaire, ce dernier va identifier le contexte de travail et faire des propositions de tâches (203). Si le contexte de travail est celui d'un pointeur situé dans un document contenant du texte, par exemple, le Lecteur (210) est activé pour lire (230) ce document et exécuter les quatre rôles qui sont l'analyse de structure de donnée (211), la navigation par pointeur de lecture desdites données (212), la mémorisation d'emplacement du pointeur de lecture (213) et la restitution vocale desdites données (214). En cours de lecture du document, l'utilisateur peut insérer ou modifier du texte. Dans ce cas, la synchronisation par pointeur (240) entre le Scribe et le Lecteur est mise à contribution. Le Scribe (220) exerce alors son rôle de saisie des données (221) et en parallèle la lecture vocale (222) des mots, phrases ou paragraphes qu'il est en train de saisir. La poursuite de la lecture des données après passage du Scribe peut être réalisée par synchronisation du pointeur courant du Scribe vers le Lecteur. La reprise de la lecture à l'endroit délaissé avant saisie de donnée par le Scribe, se fait par recouvrement du pointeur de lecture laissé à cet endroit. (223).

   L'utilisateur a la possibilité, en faisant appel au Secrétaire, d'imprimer une partie du document. Le Secrétaire propose une liste des tâches en conséquence puis délègue la tâche d'impression. Si l'utilisateur saisit les paramètres d'impression à l'aide du Scribe, le Secrétaire va vérifier la cohérence des données saisies (250) et donner finalement l'ordre d'exécuter par délégation l'impression du document.

   Le scénario suivant de recherche d'une expression sur une base de documents disponibles sur l'ordinateur de l'utilisateur illustre bien l'interaction des trois Auxiliaires: L'utilisateur appelle le Secrétaire soit par une touche dédiée, par une voix (par exemple le prénom). Le Secrétaire sélectionne et énonce des propositions de tâches dépendant du contexte. Par exemple, si le document actif est un mèl reçu, le Secrétaire annonce je répond , etc. Le Secrétaire annonce une liste de propositions dépendant du contexte de travail qui sont: je cherche , je récupère , j'imprime , je crée un document.

   L'utilisateur qui souhaite rechercher un document sélectionne la proposition je cherche en appuyant sur la commande universelle Valider durant l'écoute de cette proposition par le Secrétaire. Le Secrétaire met alors en oeuvre la procédure de recherche.

   Le Secrétaire enchaîne alors une autre liste de propositions qui sont: dans ce document , les documents ouverts , tous les documents , ce dossier . L'utilisateur choisit tous les documents à la volée, c'est-à-dire lorsqu'il entend la proposition tous les documents , il appuie sur la commande universelle Valider et la maintien jusqu'à la confirmation par le Secrétaire en annonçant par exemple oui-oui , j'y vais ou encore d'accord .

   Le Secrétaire enchaîne, et énonce alors la proposition je cherche l'expression ? appelle le Scribe et attend que l'utilisateur entre une expression. L'utilisateur entre, par exemple le mot représentation ; pendant qu'il introduit le mot, le Scribe se met en écho vocal de ce qu'écrit l'utilisateur. Lorsque celui-ci confirme et lance le Secrétaire dans la recherche, le Scribe énonce à l'utilisateur l'intégralité de ce qu'il a introduit. Le Secrétaire exécute par délégation sa fonction de recherche en testant la présence du mot représentation dans chaque document.

   Lorsqu'il trouve un document qui contient l'expression, le Secrétaire énonce l'auteur, le titre nom du document.Si l'utilisateur ne souhaite pas écouter ce document, il n'intervient pas et laisse le Secrétaire mémoriser l'emplacement d'élément trouvé et poursuivre sa recherche vers le suivant. Si, au contraire, il souhaite prendre connaissance du contenu auquel se réfère le Secrétaire, il demande au Secrétaire de s'arrêter en appuyant sur la commande universelle Valider durant l'énonciation du titre par le Secrétaire. Celui-ci prend virtuellement le document, l'ouvre à la page ad hoc. Le Lecteur prend le relais et lit la partie de texte qui correspond à la référence sélectionnée par le Secrétaire.

   L'utilisateur peut demander au Lecteur d'écourter la lecture et au Secrétaire de choisir la sélection suivante de texte dans le document. Ce dernier dit alors suivant et le Lecteur enchaîne la lecture de la nouvelle sélection. Si, durant l'écoute du Lecteur, l'utilisateur veut écouter la sélection précédemment lue, il maintient la commande universelle Reprendre , le Lecteur s'interrompt et démarre la lecturede la sélection précédente.

   Lorsque la lecture orale par le Lecteur d'une sélection est terminée, le Secrétaire laisse quelques secondes à l'utilisateur qui peut prendre la décision de poursuivre l'écoute en appuyant sur la commande universelle Valider ou laisser le Secrétaire reprendre la main et la parole en proposant une nouvelle liste des propositions du contexte qui sont: Document suivant , Rester dans le document , Revenir au document initial .

   Si l'utilisateur choisit comme précédemment, Document suivant , le Secrétaire mémorise l'emplacement de l'élément trouvé et reprend sa recherche et énonce le nom des documents qui sont pertinents. La recherche du Secrétaire étant silencieuse et parfois ne concernant que peu de titres voire aucun, le pourcentage de documents analysés est énoncé régulièrement pour rythmer l'activité de recherche.

   Si l'utilisateur a choisi Rester dans le document , le Secrétaire affiche le document, pointe sur l'emplacement de l'élément trouvé et appelle le Scribe pour intervenir par écrit puis le Lecteur pour se positionner en vue d'une reprise de la lecture.

   A tout moment de ce scénario, l'utilisateur pouvait abandonner la recherche en appuyant sur la commande universelle Abandonner . Le Secrétaire remet alors l'ensemble des Auxiliaires et leurs mémoires dans la situation initiale juste avant la demande de recherche par l'utilisateur.

   Tel que décrit précédemment, le système d'IHM de la présente invention met à disposition des utilisateurs une nouvelle forme d'interaction HommeMachine répondant à leurs besoins de chaque instant en leur permettant de réaliser rapidement, simplement et avec le moins d'erreurs possibles des tâches complexes. II s'applique à des interfaces pour personnes aux déficiences visuelles mais peut s'étendre à d'autres applications vocales telles que la téléphonie et la 2860898 16 communication, et également à des applications auditives et visuelles telles que l'informatique, le multimédia, le navigateur Internet ou le guidage.
2. 17 REVENDICATIONS

   1. Système d'Interface Homme-Machine à utilisation de dispositifs par Auxiliaires dédiés coopérants, procurant une assistance cognitive de réseau de transmission des données, à l'interface utilisateur et à la gestion et au contrôle de tâches caractérisé en ce qu'il comprend: (a) un moyen de communication (200) aux rôles d'interface utilisateur par propositions, d'exécution de tâches et de surveillance, (b) un moyen de lecture (210) aux rôles d'analyse et de navigation textuelles et de restitution de lecture, et (c) un moyen d'écriture (220) au rôle de saisie de donnée.

   2. Système d'Interface Homme-Machine selon la revendication 1 caractérisé en ce que ledit moyen de communication comprend: (a1) un moyen de coordination desdits Auxiliaires, (a2) un moyen de proposition automatique de tâches, (a3) un moyen d'exécution par délégation desdites tâches choisies par l'utilisateur, (a4) un moyen de recherche par pointeurs et de mémorisation des emplacements desdits pointeurs de recherche, (a5) un moyen de navigation aux emplacements desdits pointeurs de recherche, et (a6) un moyen de surveillance, de contrôle et de restitution de donnée de la réalisation desdites tâches.

   3. Système d'Interface Homme-Machine selon la revendication 1 ou 2 caractérisé en ce que ledit moyen de lecture comprend: (b1) un moyen d'analyse de structure d'au moins un document, (b2) un pointeur de lecture muni d'un moyen de navigation permettant de faire naviguer ledit pointeur de lecture dans ledit document, (b3) un moyen de mémorisation des emplacements desdits pointeurs de lecture, et (b4) un moyen de restitution de donnée de la lecture dudit document.

   4. Système d'Interface Homme-Machine selon la revendication 1, 2 ou 3 caractérisé en en ce que ledit moyen d'écriture comprend: (cl) un moyen de saisie des données en fonction du contexte, 2860898 18 (c2) un pointeur d'écriture, (c3) un moyen de mémorisation des emplacements desdits pointeurs d'écriture, et (c4) un moyen de restitution d'écriture desdites données.

   5. Système d'Interface Homme-Machine selon l'une quelconque des revendications précédentes caractérisé en ce que l'interaction des moyens de communication, de lecture, d'écriture est obtenue par la mise en oeuvre de: (a) un moyen de différenciation d'interface utilisateur spécifique aux moyens de communication, de lecture et d'écriture, (b) un premier moyen de synchronisation desdits pointeurs de lecture et d'écriture, (c) un second moyen de synchronisation desdits pointeurs de recherche avec chacun desdits pointeurs de lecture et d'écriture, (d) un moyen de mémorisation de pointeurs de lecture et d'écriture, 15 (e) un premier moyen d'appel dudit moyen d'écriture, et (f) un second moyen d'appel dudit moyen de lecture.

   6. Système d'Interface Homme-Machine selon l'une quelconque des revendications 1 à 5, portant sur des applications informatiques.

   7. Système d'Interface Homme-Machine selon l'une quelconque des revendications 20 1 à 5, portant sur des applications multimédias.

   8. Système d'Interface Homme-Machine selon l'une quelconque des revendications 1 à 5, portant sur des applications de télécommunication.

   9. Système d'Interface Homme-Machine selon l'une quelconque des revendications 1 à 5, portant sur des applications de guidage.

   10. Système d'Interface Homme-Machine selon l'une quelconque des revendications 1 à 5, portant sur des applications de traitement de données électroniques, notamment vocales, visuelles et haptiques.