EP4533218A1 - Lecteur augmenté et procédé de lecture augmentée de textes - Google Patents

Lecteur augmenté et procédé de lecture augmentée de textes

Info

Publication number
EP4533218A1
EP4533218A1 EP23731537.9A EP23731537A EP4533218A1 EP 4533218 A1 EP4533218 A1 EP 4533218A1 EP 23731537 A EP23731537 A EP 23731537A EP 4533218 A1 EP4533218 A1 EP 4533218A1
Authority
EP
European Patent Office
Prior art keywords
text
augmented
reader
action
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23731537.9A
Other languages
German (de)
English (en)
Inventor
Christian Gregoire
Cyril Plapous
Yann MICHEL ALMERAS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP4533218A1 publication Critical patent/EP4533218A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting

Definitions

  • the augmented text reader includes an analyzer capable of determining a gesture of a user relative to the portion of text as a function of the neural signal received.
  • the controller controls one or more of the following devices:
  • controller commands respectively:
  • the augmented text reader includes one or more of the controlled devices.
  • the reader includes a recorder capable of storing information generated by the implementation of the action relating to the text.
  • the text can be consulted later by the user both in its editing version or in its version enriched by the user.
  • FIG.l a simplified diagram of an augmented text reader according to the invention
  • the augmented text reader 1 comprises at least one controller 10 capable of commanding cmd an action ac relating to a portion of a text ptxt: cmd(a,ptxt), the action ac being a function of a neural signal received sn.
  • the controller 10 controls the action ac by means of a command signal cmd: cmd(ac, ptxt).
  • the commanded action ac corresponds to a real action which would be carried out by the user's gesture gd if the gesture were real and the text support was real.
  • controller 10 respectively commands:
  • the specific text management device or text management system comprising such a text management device is either a text management device 8, 80, 81, 82, distinct from the devices used for increased reading 1, 3, 7 R; either a text management device 18, 180, 1800, 1801, 1802 implemented in the augmented text reader 1; either a text management device 38, 380, 381, 382, 78, 870, 871, 872 implemented in the virtual or real interaction device 3.
  • the reader 1 comprises a storage device 182 such as a memory or a database also called augmented reading information base i k in which the reader records information generated i k by the implementation work of the ac action relating to the text.
  • a storage device 182 such as a memory or a database also called augmented reading information base i k in which the reader records information generated i k by the implementation work of the ac action relating to the text.
  • the neural interface 4 detects a neural signal sn and transmits it to the text augmented reader 1.
  • the text augmented reader 1 receives the transmitted neural signal sn.
  • the augmented text reader 1 includes a neural signal receiver 1 l n which receives the transmitted neural signal sn.
  • the augmented reader 1 comprises a controller 10.
  • the controller 10 commands an action ac relative to a portion of text ptxt as a function of the received neural signal sn.
  • the augmented text reader 1 determines a gesture gd of the user based on the neural signal sn received.
  • the determined gesture gd corresponds either to the gesture actually performed by the user or to the gesture mentally simulated by the user upon detection of the neural signal sn received.
  • the controller 10 commands cmd the action ac relative to a portion of text ptxt according to this determined gesture gd.
  • the augmented text reader 1 includes an analyzer 14, 141 capable of determining a gesture based on a neural signal.
  • the reader augmented with texts 1, or even the controller 10 generates an action to be controlled ag as a function of the neural signal sn received, or even of the determined gesture gd.
  • the augmented text reader 1 includes an action generator 14, 142 capable of generating an action to be controlled ag as a function of the neural signal sn received, or even of the determined gesture gd.
  • the augmented text reader 1 includes an action generator 14 comprising an analyzer 141 and an actual action generator 142, the analyzer 141 provides a determined gesture gd as a function of the neuronal signal sn to the action generator proper 142.
  • the augmented text reader 1 sends the command signal cmd to a device real interaction 7 or virtual 3, either directly or via a text management device 8 (not illustrated), 18.
  • the augmented reader 1 comprises a command transmitter 11' capable of transmitting the command signal cmd to an external device 3,7,8.
  • the text portion ptxt corresponds to a text zone captured zc based on the gaze tracking data dsr.
  • the augmented text reader 1 recovers the text zone zc as a function of the eye tracking data dsr, either it receives them from an external text sensor 6, 36, or it obtains them by means of an internal sensor of texts 136.
  • the sensor 6, 36, 136 is in particular a camera.
  • an augmented or virtual reality device 3 comprises a virtual interaction device 13, 33, a neural interface 34 and/or the augmented text reader 31.
  • the virtual interaction device 13, 33 is either a virtual interaction device 33 distinct from the text augmented reader 1, or a virtual interaction device 13 implemented in the text augmented reader 1, 31.
  • the augmented text reading method PLA includes an analysis of neural signals NLZ detects gd the real or simulated gesture of the user U as a function of the neural signal sn received from a neural interface BI.
  • the PLA text augmented reading method comprises a neural connection LN, also called neural signal interface step, making it possible to exchange with the CMD command a signal relating to a neuronal signal sn received from a BI neural interface.
  • the neural link LN provides the CMD command with an intermediate signal such as a detected gesture gd, or an associated action ag from which the CMD command controls an action ac to be performed on the portion of text ptxt.
  • the LN neuronal connection includes, for example, NLZ analysis and/or AG_DT action determination.
  • the augmented reading method for PLA texts includes detection of text portion Txt_DTC by tracking the user's gaze dsr.
  • dsr gaze tracking data are obtained by detecting a portion of text Txt_DTC: for example received from the gaze tracking device SSR, or determined by gaze tracking E_SV as a function of ocular data captured relating to the eyes of the user U.
  • the gaze tracking E_SV possibly involves the detection of text portion Txt_DTC or implemented by the SSR gaze tracking device.
  • the text portion detection Txt_DTC includes gaze tracking E_SV, they receive the eye data captured from an eye sensor CR.
  • the gaze tracking data dsr obtained is used for the CAPT capture of a text zone of textual content T_DOC, in particular a text zone zl currently viewed and/or read by the user U .
  • CAPT text box capture provides zc captured text box.
  • the captured text zone zc corresponds to the text zone zl viewed and/or read at the time of the capture.
  • control of the capture for example by means of dsr gaze tracking data obtained at that instant.
  • Txt_DTC text portion detection includes CAPT text area capture.
  • the text portion ptxt possibly corresponds to the captured text area zc.
  • the augmented reading process for PLA texts includes an STCK recording of information generated ila by the action ac on the text portion ptxt.
  • the STCK recording is carried out in a BDLA storage device such as a memory or a database also called augmented reading information base i k in which the PLA augmented reading method records STCK of information generated i k by the implementation of the action ac relating to the text.
  • a BDLA storage device such as a memory or a database also called augmented reading information base i k in which the PLA augmented reading method records STCK of information generated i k by the implementation of the action ac relating to the text.
  • the PLA text augmented reading method comprises an IRA_GEN implementation of the action ac relating to the ptxt text generating augmented reading information ila, in particular a generator of augmented reading information controlled by the signal command cmd(ac, ptxt).
  • the PLA text augmented reading method includes text management Txt_MNGT, also called text editing, implementing actions on a text, possibly actions controlled ac as a function of neural signals sn.
  • the implementation of actions commanded ac on a portion of ptxt text generates augmented reading information G.
  • the management of texts Txt_MNGT includes the generation of augmented reading information IRA_GEN and/or STCK recording.
  • a motorized element control signal controls the movement of the motorized element: direction, distance and/or angle, etc.
  • the motorized elements of a robotic bottom constituting a real TID textual interaction device could be commanded to turn a page in the reading direction or in the opposite reading direction, take a highlighter and highlight horizontally or vertically in the reading direction. reading a portion of text with this highlighter, or cornering the corner of a page, or adding a bookmark, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)

Abstract

L'invention concerne un lecteur augmenté et un procédé de lecture augmentée de texte. Un objet de l'invention est un lecteur augmenté de textes comportant au moins un contrôleur apte à commander une action relative à une portion d'un texte, l'action étant fonction d'un signal neuronal reçu. Ainsi, l'utilisateur n'aura pas à manipuler le contenu réel ou virtuel comportant le texte pour déclencher la commande de l'action. Cela facilitera l'accessibilité à la lecture de contenu réel ou virtuel y compris pour les utilisateurs en situation de handicap mais aussi quel que soit le contexte de lecture des contenus par l'utilisateur, notamment dans un contexte de travail où l'utilisateur manipule des outils...

Description

Description
Titre de l'invention : Lecteur augmenté et procédé de lecture augmentée de textes
Domaine technique
[0001] L'invention concerne un lecteur augmenté et un procédé de lecture augmentée de textes.
État de la technique
[0002] A la lecture d’un livre papier, le surlignage de texte, la prise de notes, la recherche de la signification d’un mot dans le dictionnaire ou le marquage d’une page font appel à des équipements externes (crayon, papier, dictionnaire, marque page) ce qui nécessite un arrêt de la lecture. En effet, la manipulation d’un objet autre que le livre oblige à ne plus pouvoir tenir le livre qu’à une main, voire à devoir poser le livre.
[0003] En outre, le surlignage et le cornage d’une page en guise de marque page altèrent le livre ce qui n’est pas forcément souhaitable non plus.
[0004] Des techniques comme le livre numérique peuvent faciliter certaines actions mais possèdent des limitations et inconvénients. Le livre numérique nécessite une manipulation pour accéder aux fonctions (inaccessible à certains types de handicaps ou dans certains contextes d’utilisation).
[0005] Il pourrait alors être envisagé d’utiliser la reconnaissance vocale. Mais, l’usage de la voix ne peut pas s’effectuer dans un environnement qui nécessite de la discrétion ou dans des environnements bruyants.
[0006] De plus, ces techniques ne s’appliquent qu’aux livres numériques pas aux contenus papiers ni à d’autres supports de lecture.
Exposé de l’invention
[0007] Un des buts de la présente invention est d'apporter des améliorations par rapport à l'état de la technique.
[0008] Un objet de l’invention est un lecteur augmenté de textes comportant au moins un contrôleur apte à commander une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu.
[0009] Ainsi, l’utilisateur n’aura pas à manipuler le contenu réel ou virtuel comportant le texte pour déclencher la commande de l’action. Cela facilitera l’accessibilité à la lecture de contenu réel ou virtuel y compris pour les utilisateurs en situation de handicap mais aussi quel que soit le contexte de lecture des contenus par l’utilisateur, notamment dans un contexte de travail où l’utilisateur manipule des outils...
[0010] Avantageusement, la portion du texte est fonction de données de suivi du regard d’un utilisateur. [0011] Ainsi, Faction peut être réalisée sur la totalité du texte ou seulement une partie de celui-ci.
[0012] Avantageusement, la portion du texte est une zone de texte captée en fonction des données de suivi de regard.
[0013] Ainsi, Faction peut être réalisée sur du texte imprimé sur un support réel.
[0014] Avantageusement, le lecteur augmenté de textes comporte un dispositif de suivi de regard fournissant des données de suivi de regard d’un utilisateur.
[0015] Avantageusement, le lecteur augmenté de textes comporte un capteur de textes apte à captée une zone de texte en fonction de données de suivi de regard, la zone de texte captée constituant la partie de texte.
[0016] Avantageusement, le lecteur augmenté de textes comporte un analyseur apte à déterminer un geste d’un utilisateur relativement à la portion de texte en fonction du signal neuronal reçu.
[0017] Ainsi, Faction commandée correspond à une action réelle qui serait réalisée par le geste de l’utilisateur si le geste était réel et le support du texte était réel.
[0018] Avantageusement, le geste est un geste réel ou simulé.
[0019] Ainsi, même un utilisateur dans un situation ou le geste n’est pas réellement exécutable peut déclencher la commande par le contrôleur de Faction en simulant mentalement ce geste.
[0020] Avantageusement, le contrôleur commande un ou plusieurs des dispositifs suivants :
- un éditeur de textes,
- un traducteur,
- un dictionnaire,
- un manipulateur robotisé de contenus textuels réels,
- un synthétiseur vocal,
- un système de réalité augmenté.
[0021] Ainsi, le contrôleur commande respectivement :
- des fonctions d’édition du texte, telles que le surlignage de la partie du texte, l’ajout d’une note relativement à cette partie du texte, d’un marque-page...,
- une traduction de la portion du texte dans une langue soit prédéfinie, soit sélectionnée par un autre signal neuronal,
- une fourniture d’une définition d’un mot correspondant à la partie de texte, voire d’un article encyclopédique correspondant au domaine auquel la portion de texte est relative,
- des mouvement d’un manipulateur robotisé, notamment d’un bras robot (permettant de tourner une page, fermer un contenu, ouvrir un contenu sur un marque page, introduire un marque page, corner une page, surligner un texte...),
- une reproduction vocale du texte de la partie de texte, - une reproduction en réalité augmenté des éléments générés par d’autres dispositifs commandés (surlignage, traduction, définition, marque-page...).
[0022] Avantageusement, le lecteur augmenté de textes comporte un ou plusieurs des dispositifs commandés.
[0023] Avantageusement, le lecteur comporte un enregistreur apte à stocker des informations générées par la mise en œuvre de l’action relative au texte.
Ainsi, le texte pourra être reconsulté ultérieurement par l’utilisateur aussi bien dans sa version d’édition ou dans sa version enrichie par l’utilisateur.
[0024] Un objet de l’invention est aussi un procédé de lecture augmentée de textes comportant au moins une commande d’une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu.
[0025] Avantageusement, le procédé de lecture augmentée de textes comporte une détection de la portion du texte par suivi de regard de l’utilisateur.
[0026] Avantageusement, le procédé de lecture augmentée de textes comporte un enregistrement d’informations générées par l’action sur la partie de texte.
[0027] Avantageusement, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en œuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un lecteur augmenté de textes et étant conçus pour commander l'exécution des différentes étapes de ce procédé.
[0028] L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de lecture augmentée de textes lorsque ledit programme est exécuté par un processeur.
[0029] Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable.
Brève description des dessins
[0030] Les caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description, faite à titre d'exemple, et des figures s’y rapportant qui représentent :
[0031] [Fig.l], un schéma simplifié d’un lecteur augmenté de textes selon l’invention,
[0032] [Fig.2], un schéma simplifié d’une architecture comportant un lecteur augmenté de textes selon l’invention,
[0033] [Fig.3], un schéma simplifié d’un procédé de lecture augmentée de textes selon l’invention.
Description des modes de réalisation [0034] La [Fig.1] illustre un schéma simplifié d’un lecteur augmenté de textes selon l’invention.
[0035] Le lecteur augmenté de textes 1 comporte au moins un contrôleur 10 apte à commander cmd une action ac relative à une portion d’un texte ptxt : cmd(a,ptxt), l’action ac étant fonction d’un signal neuronal reçu sn. Par exemple, le contrôleur 10 commande l’action ac au moyen d’un signal de commande cmd : cmd(ac, ptxt).
[0036] En particulier, un contenu textuel 2 est lu. Lorsque la zone 21 de ce contenu textuel 2 est lue, si le lecteur augmenté de textes 1 reçoit un signal neuronal sn alors le lecteur augmenté de textes 1 commande une action ac relativement à la portion de texte ptxt incluse dans cette zone 21.
[0037] Par contenu textuel est entendu tout support physique ou virtuel comportant un texte, tel qu’un livre papier ou numérique, un magazine papier ou électronique, mais aussi une affiche papier ou numérique, un emballage physique d’un produit, une étiquette apposée sur un objet ou produit...
[0038] L’utilisateur ne manipule alors pas le contenu réel ou virtuel comportant le texte pour déclencher la commande de l’action. Cela facilite l’accessibilité à la lecture de contenu réel ou virtuel y compris pour les utilisateurs en situation de handicap mais aussi quel que soit le contexte de lecture des contenus par l’utilisateur, notamment dans un contexte de travail où l’utilisateur manipule des outils...
[0039] La [Fig.2] illustre un schéma simplifié d’une architecture comportant un lecteur augmenté de textes selon l’invention.
[0040] Le lecteur augmenté de textes 1 comporte un contrôleur 10. Le contrôleur 10 commande cmd une action ac sur une portion de texte ptxt. La portion de texte ptxt correspond notamment à un texte inclus dans une zone 21, 21 R, 21 v d’un contenu textuel 2, éventuellement respectivement un contenu textuel réel 2R, ou un contenu textuel virtuel 2V.
[0041] En particulier, le signal de commande cmd contrôle une action ac d’un dispositif d’interaction sur le contenu textuel 2, notamment un dispositif d’interaction virtuelle 3, 13 avec un contenu textuel réel 2R ou virtuel 2V , respectivement un dispositif d’interaction réelle 7 avec un contenu textuel réel 2R ou une reproduction d’un contenu textuel virtuel 2V.
[0042] Par interaction réelle est entendu une interaction physique dans un environnement réel. Notamment, l’interaction physique est effectuée sur un contenu textuel réel tel qu’un livre papier, ou un sur un contenu textuel virtuel reproduit tel qu’un livre numérique affiché sur une tablette, un smartphone, une liseuse, etc.
[0043] Et, respectivement, par interaction virtuelle est entendu une interaction dans un environnement virtuel ou dans une partie virtuelle d’un environnement en réalité augmenté. Par exemple, l’interaction virtuelle est effectuée sur un contenu textuel virtuel dans un environnement virtuel, tel qu’un livre numérique reproduit en réalité virtuelle ou plus simplement sur une liseuse électronique, ou sans agir directement sur un contenu textuel réel mais dans une partie virtuelle d’un environnement en réalité augmenté placée en superposition sur le contenu textuel réel, tel qu’un livre papier.
[0044] Par exemple, l’action commandé ac correspond à un geste réel du dispositif d’interaction réel 7R, notamment d’un dispositif réel automatisé tel qu’un robot ou plus simplement un bras robotisé ou un dispositif mécanique de manipulation d’un contenu textuel réel 2R ou virtuel 2V, notamment un tourne -page électrique, électronique et/ou automatisé notamment pour livre papier et/ou liseuse.
[0045] De manière alternative, l’action commandé ac correspond à un geste virtuel dans un environnement virtuel d’un dispositif d’interaction virtuel 3, 13 relativement à un contenu textuel virtuel 2V ou réel 2R, tel qu’une fonction d’un éditeur de contenu virtuel, un geste virtuel d’un avatar dans un environnement virtuel reproduisant le contenu textuel virtuel et/ou des informations virtuelles (tel qu’un surlignage du texte, un marque-page, une traduction , une définition de la partie de texte, etc.) générées par le geste virtuel en superposition du contenu textuel réel... Notamment, les informations virtuelles générées constituent un contenu virtuel 32v superposé au contenu textuel réel 2R.
[0046] En particulier, la portion du texte ptxt est fonction de données de suivi du regard dsr d’un utilisateur. L’action ac est alors réalisée sur la totalité de la portion de texte ptxt ou seulement une partie de celle-ci. Un dispositif de suivi de regard, aussi nommé détecteur de regard, 5, 35, 135 détecte le déplacement, le mouvement du regard mr de l’utilisateur U.
[0047] Notamment, le lecteur augmenté de textes 1 reçoit les données de suivi de regard dsr d’un détecteur de regard externe 5, 35, par exemple, d’un détecteur de regard 35 intégré dans des lunettes ou un casque de réalité augmenté 3. De manière alternative, le lecteur augmenté de textes 1 comporte le détecteur de regard 135, aussi nommé dispositif de suivi de regard, fournissant des données de suivi de regard dsr d’un utilisateur.
[0048] En particulier, la portion du texte ptxt est une zone de texte captée zc en fonction des données de suivi de regard dsr. L’action ac est alors réalisée notamment sur du texte imprimé sur un support réel, aussi nommé contenu textuel réel.
[0049] En particulier, un capteur de textes 6, 36, 136, tel qu’une caméra, capte une zone de texte 21 en fonction des données de suivi de regard dsr et fournit une zone de texte captée zc. Eventuellement, le dispositif de suivi de regard 5, 35, 135 et le capteur de textes 6,36, 136 utilisent le ou les mêmes capteur(s) visuel(s), notamment une seule et même caméra.
[0050] Notamment, le lecteur augmenté de textes 1 reçoit la zone captée zc d’un capteur de textes externe 6,36, par exemple, d’un capteur de textes 36 intégré dans des lunettes ou un casque de réalité augmenté 3. De manière alternative, le lecteur augmenté de textes 1 comporte le capteur de textes 136, notamment une caméra apte à captée une zone de texte zc en fonction de données de suivi de regard dsr. La zone de texte captée zc constitue la portion de texte ptxt.
[0051] En particulier, le lecteur augmenté de textes 1 comporte un analyseur 14, 141 apte à déterminer un geste gd d’un utilisateur relativement à la portion de texte ptxt en fonction du signal neuronal reçu sn.
[0052] Ainsi, l’action commandée ac correspond à une action réelle qui serait réalisée par le geste gd de l’utilisateur si le geste était réel et le support du texte était réel.
[0053] En particulier, le geste gd est un geste réel ou simulé. Notamment, l’utilisateur effectue réellement un geste par exemple de la main à distance du contenu réel ou distant, une interface neuronale 4 permet de détecter un signal neuronal particulier sn à l’instant où le geste est effectué. Ce signal neuronal sn est transmis à l’analyseur 14, 141 qui détermine le geste réel effectué par l’utilisateur et commande une action ac pour la réalisation sur le contenu textuel du résultat du geste réel. Ainsi, tout se passe comme si l’utilisateur effectuait ce geste directement sur le contenu textuel. Si l’utilisateur soit en raison d’un handicap, soit parce que ses mains sont déjà utilisées ne peut manipuler directement ou à distance, l’utilisateur simule mentalement le geste qu’il souhaiterait effectuer : le geste est alors dit simulé. Cette simulation mentale du geste déclenche dans le cerveau de l’utilisateur un signal neuronal équivalent au signal neuronal déclenché par le geste réel. Le signal neuronal sn détecté lors du geste simulé est transmis à l’analyseur 14, 141 qui détermine le geste réel mentalement visualisé par l’utilisateur et commande une action ac pour la réalisation sur le contenu textuel du résultat du geste réel. Ainsi, tout se passe comme si l’utilisateur effectuait réellement ce geste directement sur le contenu textuel. Ainsi, même un utilisateur dans un situation ou le geste n’est pas réellement exécutable peut déclencher la commande par le contrôleur de l’action en simulant mentalement ce geste.
[0054] En particulier, le contrôleur 10 commande un ou plusieurs des dispositifs commandés suivants (non illustrés):
- un éditeur de textes 80, 180, 380,
- un traducteur 81, 181, 381,781,
- un dictionnaire 82, 182, 382,782,
- un manipulateur robotisé de contenus textuels réels 7R,
- un synthétiseur vocal 32,
- un système de réalité augmenté 3.
[0055] Ainsi, le contrôleur 10 commande respectivement :
- des fonctions d’édition du texte, telles que le surlignage de la partie du texte, l’ajout d’une note relativement à cette partie du texte, d’un marque-page..
- une traduction de la portion du texte dans une langue soit prédéfinie, soit sélectionnée par un autre signal neuronal,
- une fourniture d’une définition d’un mot correspondant à la partie de texte, voire d’un article encyclopédique correspondant au domaine auquel la portion de texte est relative,
- des mouvement d’un manipulateur robotisé, notamment d’un bras robot (permettant de tourner une page, fermer un contenu, ouvrir un contenu sur un marque page, introduire un marque page, corner une page, surligner un texte...),
- une reproduction vocale du texte de la partie de texte,
- une reproduction en réalité augmenté des éléments générés par d’autres dispositifs commandés (surlignage, traduction, définition, marque-page...).
[0056] En particulier, le lecteur augmenté de textes 1 comporte un ou plusieurs des dispositifs d’interactions 3, 7, voire des dispositifs commandés tels qu’un des dispositifs commandés de gestion de textes 8, 18, 38, 78, notamment un éditeur de textes 80, 180, 380 ; un traducteur 81, 1801, 381, 781 ; et/ou un dictionnaire 82, 1802, 382, 782 ; etc.. Un tel dispositif de gestion de textes constitue un dispositif propre 8, 18, 180, 38, 78, 80, 1800, 380, 81, 1801, 381, 781,82, 1802, 382, 782 ou implémenté dans un système 8, 18,180, 38, 78. Le dispositif propre de gestion de textes ou système de gestion de textes comportant un tel dispositif de gestion de textes est soit un dispositif de gestion de textes 8, 80, 81, 82, distinct des dispositifs utilisés pour la lecture augmentée 1, 3, 7 R ; soit un dispositif de gestion de textes 18, 180, 1800, 1801, 1802 implémenté dans le lecteur augmenté de textes 1 ; soit un dispositif de gestion de textes 38, 380, 381, 382, 78, 870, 871, 872 implémenté dans le dispositif d’interaction virtuel 3 ou réel 7.
[0057] En particulier, le lecteur 1 comporte un enregistreur 181 apte à stocker des informations générées ik par la mise en œuvre de l’action ac relative au texte. Ainsi, le texte pourra être reconsulté ultérieurement par l’utilisateur aussi bien dans sa version d’édition ou dans sa version enrichie par l’utilisateur.
[0058] En particulier, le lecteur 1 comporte un dispositif de stockage 182 tel qu’une mémoire ou une base de données aussi nommé base d’information de lecture augmentée ik dans lequel le lecteur enregistre des informations générées ik par la mise en œuvre de l’action ac relative au texte. Ainsi, les annotations (surlignage, notes, marque-page, etc.) effectuées par l’utilisateur au moyen du lecteur augmenté 1 pourront être reproduites ultérieurement lors d’une nouvelle lecture du contenu textuel 2 par un dispositif d’interaction virtuel 3.
[0059] Dans le cas d’un dispositif d’interaction réel 7 comportant un bras robotisé, le dispositif d’interaction réel 7 comporte notamment un dispositif de manipulation 72, un axe 73 relativement auquel le dispositif de manipulation 72 est déplaçable, par exemple avec des mouvements verticaux mv et/ou horizontaux rnh, et/ou une tige 71 placée entre l’axe 71 et le dispositif de manipulation. Le dispositif de manipulation 72 est apte à interagir avec un contenu textuel virtuel 2V, en particulier avec un dispositif de reproduction 32R du contenu textuel virtuel tel qu’une liseuse électronique, ou avec un contenu textuel réel 2R, notamment en manipulant les pages du contenu textuel réel 2R et/ou un crayon sur les pages de ce contenu textuel réel 2R, etc Le dispositif de manipulation 72 est notamment une pince commandable. Éventuellement, le dispositif d’interaction réel 7 comporte en outre , un dispositif de gestion de texte 78 et/ou un projecteur 783 éventuellement implémenté dans le dispositif de gestion de textes 78 ou connecté à un dispositif de gestion de textes 8, 18 externes au dispositif d’interaction réel.
[0060] Considérons un utilisateur U lisant un texte sur un contenu textuel 2. L’utilisateur U voudrait surligner le texte de la zone de texte 21 de ce contenu textuel 2. Soit il effectue à distance du texte 2 le geste de surligner cette zone de texte 21, soit il simule mentalement le surlignage de cette zone de texte 21. L’interface neuronale 4 détecte un signal neuronal sn et le transmet au lecteur augmenté de textes 1. Le lecteur augmenté de textes 1 reçoit le signal neuronal sn transmis. Notamment, le lecteur augmenté de textes 1 comporte un récepteur de signaux neuronaux 1 ln qui reçoit le signal neuronal transmis sn.
[0061] Le lecteur augmenté 1 comporte un contrôleur 10. Le contrôleur 10 commande cmd une action ac relativement à une portion de texte ptxt en fonction du signal neuronal reçu sn.
[0062] En particulier, le lecteur augmenté de textes 1 détermine un geste gd de l’utilisateur en fonction du signal neuronal sn reçu. Le geste déterminé gd correspond soit au geste réellement effectué par l’utilisateur soit au geste simulé mentalement par l’utilisateur lors de la détection du signal neuronal sn reçu. Puis, le contrôleur 10 commande cmd l’action ac relativement à une portion de texte ptxt en fonction de ce geste déterminé gd. Notamment, le lecteur augmenté de textes 1 comporte un analyseur 14, 141 apte à déterminer un geste en fonction d’un signal neuronal.
[0063] Eventuellement, le lecteur augmenté de textes 1, voire le contrôleur 10, génère une action à commander ag en fonction du signal neuronal sn reçu, voire du geste déterminé gd. En particulier, le lecteur augmenté de textes 1 comporte un générateur d’actions 14, 142 apte à générer une action à commander ag en fonction du signal neuronal sn reçu, voire du geste déterminé gd. Par exemple, le lecteur augmenté de textes 1 comporte un générateur d’actions 14 comportant un analyseur 141 et un générateur d’actions proprement dit 142, l’analyseur 141 fournit un geste déterminé gd en fonction du signal neuronal sn au générateur d’actions proprement dit 142.
[0064] Le lecteur augmenté de textes 1 envoie le signal de commande cmd à un dispositif d’interaction réel 7 ou virtuel 3, soit directement soit via un dispositif de gestion de textes 8 (non illustré), 18. En particulier, le lecteur augmenté 1 comporte un émetteur de commande 11‘ apte à émettre le signal de commande cmd vers un dispositif externe 3,7,8.
[0065] En particulier, la portion de texte ptxt est fonction de données de suivi de regard dsr. Notamment, le lecteur augmenté de textes 1 récupère les données de suivi de regards dsr, soit il les reçoit d’un dispositif de suivi de regard externe 5, 35, soit il les obtient au moyen d’un dispositif de suivi de regard interne 135.
[0066] En particulier, la portion de texte ptxt correspond à une zone de texte captée zc en fonction des données de suivi de regards dsr. Notamment, le lecteur augmenté de textes 1 récupère la zone de texte zc en fonction des données de suivi de regards dsr, soit il les reçoit d’un capteur externe de textes 6, 36, soit il les obtient au moyen d’un capteur interne de textes 136. Le capteur 6, 36, 136 est notamment une caméra.
[0067] Par exemple, le lecteur augmenté de textes 1 comporte un récepteur de données captées 1 Ie provenant de dispositif de suivi de regards 5,35, et/ou de capteur de textes 6,36. De manière alternative, le lecteur augmenté de textes 1 comporte un dispositif de suivi de regards 135, et/ou un capteur de textes 136. Eventuellement, le lecteur augmenté de textes 1 comporte un dispositif d’interaction virtuel 13 comportant un dispositif de suivi de regards 135, et/ou un capteur de textes 136.
[0068] En particulier, le lecteur augmenté de textes 1 détermine la portion de texte ptxt en fonction de données de suivi de regards dsr, voire d’une zone de texte zc captée sur la base de données de suivi de regards dsr. Notamment, le lecteur augmenté de textes 1 comporte un détecteur de texte 12 apte à déterminer la portion de texte ptxt. Eventuellement, le détecteur de texte 12 comporte un dispositif de reconnaissance de caractère 120 apte à extraire la portion de texte ptxt d’une image d’une zone de texte captée zc. Eventuellement, dans un mode de réalisation non illustré, le détecteur de texte comporte le dispositif de suivi de regard 135 et/ou le capteur de textes 136.
[0069] Dans un mode de réalisation non illustré, un dispositif de réalité augmenté ou virtuel 3 comporte un dispositif d’interaction virtuel 13, 33, une interface neuronale 34 et/ou le lecteur augmenté de textes 31. Le dispositif d’interaction virtuel 13, 33 est soit un dispositif d’interaction virtuel 33 distinct du lecteur augmenté de textes 1, soit un dispositif d’interaction virtuel 13 implémenté dans le lecteur augmenté de textes 1, 31.
[0070] La [Fig.3] illustre un schéma simplifié d’un procédé de lecture augmentée de textes selon l’invention.
[0071] Le procédé de lecture augmentée de textes PLA comporte au moins un signal commande cmd d’une action ac relative à une portion d’un texte ptxt. L’action ac est fonction d’un signal neuronal reçu sn. En particulier la commande CMD contrôle l’action ac à effectuer sur la portion de texte ptxt au moyen d’un signal de commande cmd : cmd(ac, ptxt). Le signal neuronal sn est notamment reçu d’une interface neuronale BI. L’interface neuronale BI permet, par exemple, de capter des signaux neuronaux dans le cerveau de l’utilisateur U.
[0072] En particulier, la commande CMD contrôle un dispositif d’interaction TID et/ou une gestion de texte Txt_MNGT Notamment, le dispositif d’interaction TID est contrôlé par la commande CMD en fonction d’une information de lecture augmentée ik fournie par la gestion de texte Txt_MNGT : cmd(ik). En particulier, la gestion de texte Txt_MNGT est mise en œuvre par le dispositif d’interaction TID ou comportée par le procédé de lecture augmentée PLA.
[0073] En particulier, le procédé de lecture augmenté de texte PLA comporte une analyse de signaux neuronaux NLZ détecte gd le geste réel ou simulé de l’utilisateur U en fonction du signal neuronal sn reçu d’une interface neuronale BI.
[0074] En particulier, le procédé de lecture augmenté PLA comporte une détermination d’une action AG_DT notamment en fonction du geste détecté gd, par exemple par l’analyse de signaux neuronaux NLZ. Il s’agit par exemple d’une action préalablement associée au geste détecté. En particulier, la détermination d’action AG_DT consulte une base d’actions BDAG (non illustrée) dans laquelle sont stockés des couples geste- action à la suite d’une association d’un geste et d’une action. Les couples geste-action sont, notamment, soit prédéfinis, soit établis par apprentissage (par exemple, si et quand l’utilisateur U et ou un autre utilisateur est à même de réaliser les gestes directement sur le contenu textuel), etc. éventuellement préalablement à une utilisation de la lecture augmentée de texte PLA ou au fil de l’utilisation de la lecture augmentée de texte PLA
[0075] En particulier, le procédé de lecture augmenté de texte PLA comporte une liaison neuronale LN, aussi nommée étape d’interface de signaux neuronaux, permettant d’échanger avec la commande CMD un signal relatif à un signal neuronal sn reçu d’une interface neuronale BI. Notamment, la liaison neuronale LN fournit à la commande CMD un signal intermédiaire tel qu’un geste détecté gd, ou une action associée ag à partir duquel la commande CMD contrôle une action ac à effectuer sur la portion de texte ptxt. La liaison neuronale LN comporte, par exemple, l’analyse NLZ et/ou la détermination d’action AG_DT.
[0076] En particulier, le procédé de lecture augmentée de textes PLA comporte une détection de portion de texte Txt_DTC par suivi de regard de l’utilisateur dsr. Notamment, des données de suivi de regards dsr sont obtenues par la détection de portion de texte Txt_DTC : par exemple reçu du dispositif de suivi de regard SSR, ou déterminé par un suivi de regard E_SV en fonction de données oculaires captées de relatifs aux yeux de l’utilisateur U. Le suivi de regard E_SV éventuellement est comporté par la détection de portion de texte Txt_DTC ou mise en œuvre par le dispositif de suivi de regard SSR. Dans le cas où la détection de portion de texte Txt_DTC comporte le suivi de regard E_SV, ils reçoivent les données oculaires captées de d’un capteur oculaire CR.
[0077] En particulier, les données de suivi de regards dsr obtenues sont utilisées pour la capture CAPT d’une zone de texte d’un contenu textuel T_DOC, notamment une zone de texte zl actuellement regardée et/ou lue par l’utilisateur U. La capture de zone de texte CAPT fournit une zone de texte captée zc. Dans le cas où la capture CAPT cible une zone de texte zl actuellement regardée et/ou lue par l’utilisateur U, alors la zone de texte captée zc correspond à la zone de texte zl regardée et/ou lue à l’instant de la commande de la capture, par exemple au moyen de données de suivi de regard dsr obtenu à cet instant. Notamment, la détection de portion de texte Txt_DTC comporte la capture de zone de texte CAPT. Ainsi, la portion de texte ptxt correspond éventuellement à la zone de texte captée zc.
[0078] En particulier, la détection de portion de texte Txt_DTC comporte une reconnaissance de texte Txt_RCG, mettant notamment en œuvre une reconnaissance de caractères d’écriture, tel que des caractères alphabétiques, symboles, etc., dans une image. La reconnaissance de texte Txt_RCG reçoit notamment la zone de texte captée zc en fonction des données de suivi de regards dsr par exemple de la capture CAPT et reconnait une portion de texte ptxt inscrite dans la zone de texte captée zc.
[0079] En particulier, le procédé de lecture augmentée de textes PLA comporte un enregistrement STCK d’informations générées ila par l’action ac sur la partie de texte ptxt.
[0080] En particulier, l’enregistrement STCK est effectué dans un dispositif de stockage BDLA tel qu’une mémoire ou une base de données aussi nommé base d’information de lecture augmentée ik dans lequel le procédé de lecture augmenté PLA enregistre STCK des informations générées ik par la mise en œuvre de l’action ac relative au texte. Ainsi, les annotations (surlignage, notes, marque-page, etc.) effectuées par l’utilisateur au moyen du lecteur augmenté 1 pourront être reproduites ultérieurement lors d’une nouvelle lecture du contenu textuel 2 par un dispositif d’interaction virtuel 3.
[0081] En particulier, le procédé de lecture augmentée de texte PLA comporte une mise en œuvre IRA_GEN de l’action ac relative au texte ptxt générant des informations de lecture augmentée ila, notamment un générateur d’informations de lecture augmentée contrôlé par le signal de commande cmd(ac, ptxt).
[0082] En particulier, le procédé de lecture augmentée de texte PLA comporte une gestion de textes Txt_MNGT, aussi nommée édition de textes, mettant en œuvre des actions sur un texte, éventuellement des actions commandées ac en fonction de signaux neuronaux sn. La mise en œuvre des actions commandées ac sur une portion de texte ptxt génère des informations de lecture augmentée G. Eventuellement, la gestion de textes Txt_MNGT comporte la génération d’informations de lecture augmentée IRA_GEN et/ou l’enregistrement STCK.
[0083] Les informations de lecture augmentées ainsi générées ik sont éventuellement utilisées notamment par le procédé de lecture augmentée PLA pour commander cmd(ik ) un dispositif d’interaction textuel TID virtuel ou réel. Par exemple, le signal de commande cmd(ik) comportant les informations de lecture augmentées contrôlera la reproduction par un dispositif d’interaction textuel TID virtuel de ces informations de lecture augmentées ik. La reproduction est notamment une reproduction visuelle et/ou audio. Dans le cas d’un dispositif d’interaction textuel TID réel, le signal de commande cmd(ik) comportant les informations de lecture augmentées sera converti MVT_CNV en un ou plusieurs signaux de commande du ou des éléments motorisés constituant le dispositif d’interaction textuel TID réel soit par le dispositif d’interaction textuel TID réel lui-même, soit par le procédé de lecture augmentée PLA. En particulier un signal de commandes d’éléments motorisé commande le déplacement de l’élément motorisé : sens, distance et/ou angle, etc. Ainsi, les éléments motorisés d’un bas robotisé constituant un dispositif d’interaction textuel TID réel pourront être commandés pour tourner une page dans le sens de lecture ou dans le sens inverse de lecture, prendre un surligneur et surligner horizontalement ou verticalement dans le sens de lecture une portion de texte avec ce surligneur, ou corner le coin d’une page, ou ajouter un marque-page, etc.
[0084] L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de lecture augmentée de textes lorsque ledit programme est exécuté par un processeur.
[0085] L'invention vise aussi un support. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.
[0086] D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau notamment de type Internet.
[0087] Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
[0088] Dans une autre implémentation, l'invention est mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique le terme module peut correspondre aussi bien à un composant logiciel ou à un composant matériel. Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonction selon la description ci-dessus. Un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions.
[0089] Ainsi, la lecture augmentée de texte selon l’invention qu’elle soit implémentée sous la forme d’un lecteur augmenté de texte 1 ou d’un procédé de lecture augmentée de textes PLA propose d’allier une interface neuronale 4, BI, notamment sous la forme d’un casque BCI (interface neuronale directe permettant le contrôle d’objets connectés par la pensée, i.e. signaux EEG) avec au moins un suivi de regard 5, 35, 135, E_SV, SSR, aussi nommé « eye tracking » en anglais) voire un capteur 6, 36, 136, ou une capture CAPT, notamment sous forme de lunettes munies d’une caméra 36 et d’un système d’eye tracking (suivi du regard) 35.
[0090] La caméra 36 des lunettes détecte le texte de la page. Cela fonctionne sur un livre papier comme sur un livre numérique. Les lunettes 3 sont équipées d’un système de suivi du regard 35 ce qui permet de savoir quelle partie du texte (i.e. quels mots) est lue.
[0091] Pour activer une fonction (parmi celles possibles) par la pensée, l’utilisateur U doit penser à bouger un membre ou un muscle. Le fait de penser à bouger une partie du corps a le même effet dans le cortex moteur (zone du cerveau) que de bouger réellement. Ce mouvement ou geste (même simulé) de l’utilisateur peut donc être détecté sn via un casque EEG 4, BI dont les capteurs sont positionnés sur cette zone cérébrale.
[0092] Notamment en associant différents mouvements ou gestes gd, ou différents signaux neuronaux sn correspondants à ces mouvements à différentes actions ag, l’utilisateur U simulant mentalement (pensant) à lever le bras gauche déclenchera l’action ac de traduction de la dernière zone de texte lue. De la même manière, un geste simulé de surlignage, de marquage d’une page (par exemple un geste de placement d’un marque- page, de cornage d’une page), etc. de l’utilisateur U déclenchera le surlignage, le marquage de la page, etc. par le dispositif d’interaction textuel 3, 7, TDI.
[0093] Pour la fonction marque page, un autre geste de l’utilisateur U pourrait être associer au marquage de la page par le dispositif d’interaction textuel 3, è, TDI comme le fait que l’utilisateur, le lecteur U se concentre sur le numéro de page. La caméra 6, 36, 136 (utilisée pour le suivi du regard) reconnaitra le nombre isolé et l’information ik sera stockée 181, STCK dans le dispositif de lecture augmentée 1 ou dispositif de réalité virtuel ou augmenté 3 mettant en œuvre le procédé de lecture augmentée PLA possédant une mémoire 182, BDLA. [0094] La traduction d’un mot ou d’une séquence de texte pourra apparaîtra en réalité augmentée sur le verre de la lunette ou bien être jouée via un casque audio.
[0095] Au-delà des lecteurs du grand public avec les fonctions mentionnées ci-dessus, la fonction de surlignage peut être utilisée par des techniciens pour mémoriser (et restituer facilement), mots clés ou mot de passe lus sur du matériel ou des manuels opérateurs dans des circonstances où il n’est pas facile d’avoir les mains disponibles (usage de gants, sommet d’un pylône, ...). Dans le même contexte, la traduction aisée de certaines instructions peut être très utile.

Claims

Revendications
[Revendication 1] Lecteur augmenté de textes comportant au moins un contrôleur apte à commander une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu.
[Revendication 2] Lecteur augmenté de textes selon la revendication précédente, dans lequel la portion du texte est fonction de données de suivi du regard d’un utilisateur.
[Revendication 3] Lecteur augmenté de textes selon la revendication précédente, dans lequel la portion du texte est une zone de texte captée en fonction des données de suivi de regard.
[Revendication 4] Lecteur augmenté de textes selon l’une quelconque des revendications 2 ou 3, dans lequel le lecteur augmenté de textes comporte un dispositif de suivi de regard fournissant des données de suivi de regard d’un utilisateur.
[Revendication 5] Lecteur augmenté de textes selon l’une quelconque des revendications 2 à 4, dans lequel le lecteur augmenté de textes comporte un capteur de textes apte à captée une zone de texte en fonction de données de suivi de regard, la zone de texte captée constituant la partie de texte.
[Revendication 6] Lecteur augmenté de textes selon l’une quelconque des revendications précédentes, dans lequel le lecteur augmenté de textes comporte un analyseur apte à déterminer un geste d’un utilisateur relativement à la portion de texte en fonction du signal neuronal reçu.
[Revendication 7] Lecteur augmenté de textes selon la revendication précédente, dans lequel le geste est un geste réel ou simulé.
[Revendication 8] Lecteur augmenté de textes selon l’une quelconque des revendications précédentes, dans lequel le contrôleur commande un ou plusieurs des dispositifs suivants :
- un éditeur de textes,
- un traducteur,
- un dictionnaire,
- un manipulateur robotisé de contenus textuels réels,
- un synthétiseur vocal,
- un système de réalité augmenté.
[Revendication 9] Lecteur augmenté de textes selon la revendication précédente, dans lequel le lecteur augmenté de textes comporte un ou plusieurs des dispositifs commandés.
[Revendication 10] Lecteur augmenté de textes selon l’une quelconque des revendications précédentes, dans lequel le lecteur comporte un enregistreur apte à stocker des informations générées par la mise en œuvre de l’action relative au texte.
[Revendication 11] Procédé de lecture augmentée de textes comportant au moins une commande d’une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu.
[Revendication 12] Procédé de lecture augmentée de textes selon la revendication précédente, dans lequel le procédé de lecture comporte une détection de la portion du texte par suivi de regard de l’utilisateur.
[Revendication 13] Procédé de lecture augmentée de textes selon l’une quelconque des revendications 11 ou 12, dans lequel le procédé de lecture comporte un enregistrement d’informations générées par l’action sur la partie de texte.
[Revendication 14] Programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de lecture augmentée de textes selon l’une quelconque des revendications 11 à 13 lorsque ledit programme est exécuté par un processeur.
EP23731537.9A 2022-05-31 2023-05-30 Lecteur augmenté et procédé de lecture augmentée de textes Pending EP4533218A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2205205A FR3136081A1 (fr) 2022-05-31 2022-05-31 Lecteur augmenté et procédé de lecture augmentée de textes
PCT/EP2023/064454 WO2023232820A1 (fr) 2022-05-31 2023-05-30 Lecteur augmenté et procédé de lecture augmentée de textes

Publications (1)

Publication Number Publication Date
EP4533218A1 true EP4533218A1 (fr) 2025-04-09

Family

ID=82693886

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23731537.9A Pending EP4533218A1 (fr) 2022-05-31 2023-05-30 Lecteur augmenté et procédé de lecture augmentée de textes

Country Status (4)

Country Link
EP (1) EP4533218A1 (fr)
CN (1) CN119173838A (fr)
FR (1) FR3136081A1 (fr)
WO (1) WO2023232820A1 (fr)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016036862A1 (fr) * 2014-09-02 2016-03-10 Tobii Ab Systèmes et procédés de saisie de texte fondée sur le regard
WO2019226691A1 (fr) * 2018-05-22 2019-11-28 Magic Leap, Inc. Fusion d'entrée transmodale pour système portable
EP3991013A1 (fr) * 2019-06-28 2022-05-04 Sony Group Corporation Procédé, programme informatique et dispositif monté sur la tête pour déclencher une action, procédé et programme informatique pour un dispositif informatique et dispositif informatique

Also Published As

Publication number Publication date
FR3136081A1 (fr) 2023-12-01
CN119173838A (zh) 2024-12-20
WO2023232820A1 (fr) 2023-12-07

Similar Documents

Publication Publication Date Title
EP4078426B1 (fr) Analyse d'interfaces utilisateur graphiques servant à faciliter une interaction automatique
US10789952B2 (en) Voice command execution from auxiliary input
Wagner et al. Smart sensor integration: A framework for multimodal emotion recognition in real-time
US11308266B1 (en) Augmented reality assisted physical form completion
KR20170093801A (ko) 정지-모션 컨텐츠의 증강
US20220279026A1 (en) System and method for augmented reality video conferencing
Singh et al. Mobile Deep Learning with TensorFlow Lite, ML Kit and Flutter: Build scalable real-world projects to implement end-to-end neural networks on Android and iOS
Kebe et al. A spoken language dataset of descriptions for speech-based grounded language learning
FR2723221A1 (fr) Procede pour identifier les objets dans un systemed'exploitation reposant sur une interface utilisateur graphique sur un ordinateur
Trippas et al. Results presentation methods for a spoken conversational search system
Lau et al. Interpreting Written How-To Instructions.
WO2023034715A1 (fr) Ordre de lecture avec réseaux de transformateurs de pointeurs
EP4533218A1 (fr) Lecteur augmenté et procédé de lecture augmentée de textes
JP2001060058A5 (fr)
Abutalipov et al. Handshape classification in a reverse dictionary of sign languages for the deaf
US20210097284A1 (en) Techniques for presentation of electronic content related to printed material
WO2025144534A1 (fr) Ensembles de données générés par ia pour l'entraînement et la validation de modèle d'ia
US20230333639A1 (en) System, method, and apparatus, and method for a digital audio reading and visual reading assistant that provides automated supplemental information
CN118377379A (zh) 虚拟形象交互方法、装置、存储介质及电子设备
Vijitkunsawat et al. A Comprehensive Benchmark and Evaluation of Thai Finger Spelling in Multi-Modal Deep Learning Models
Arthur et al. Towards a practical lip-to-speech conversion system using deep neural networks and mobile application frontend
FR2513780A1 (fr) Procede pour saisir des extraits de textes d'un modele, et dispositif pour la mise en oeuvre de ce procede
Wei et al. Research on Children's Interactive Books Based on Image Processing Technology
US20250053277A1 (en) Augmenting print books with virtual reality and emotion detection mechanisms
Salamea-Lopez Design of AI-enabled Chatbot

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20241128

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)