FR3136081A1 - Lecteur augmenté et procédé de lecture augmentée de textes - Google Patents
Lecteur augmenté et procédé de lecture augmentée de textes Download PDFInfo
- Publication number
- FR3136081A1 FR3136081A1 FR2205205A FR2205205A FR3136081A1 FR 3136081 A1 FR3136081 A1 FR 3136081A1 FR 2205205 A FR2205205 A FR 2205205A FR 2205205 A FR2205205 A FR 2205205A FR 3136081 A1 FR3136081 A1 FR 3136081A1
- Authority
- FR
- France
- Prior art keywords
- text
- augmented
- reader
- action
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000009471 action Effects 0.000 claims abstract description 69
- 230000001537 neural effect Effects 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 35
- 230000003993 interaction Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010399 physical interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Character Input (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Lecteur augmenté et procédé de lecture augmentée de textes L'invention concerne un lecteur augmenté et un procédé de lecture augmentée de texte. Un objet de l’invention est un lecteur augmenté de textes comportant au moins un contrôleur apte à commander une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu. Ainsi, l’utilisateur n’aura pas à manipuler le contenu réel ou virtuel comportant le texte pour déclencher la commande de l’action. Cela facilitera l’accessibilité à la lecture de contenu réel ou virtuel y compris pour les utilisateurs en situation de handicap mais aussi quel que soit le contexte de lecture des contenus par l’utilisateur, notamment dans un contexte de travail où l’utilisateur manipule des outils… Figure pour l’abrégé : Figure 1
Description
L'invention concerne un lecteur augmenté et un procédé de lecture augmentée de textes.
A la lecture d’un livre papier, le surlignage de texte, la prise de notes, la recherche de la signification d’un mot dans le dictionnaire ou le marquage d’une page font appel à des équipements externes (crayon, papier, dictionnaire, marque page) ce qui nécessite un arrêt de la lecture. En effet, la manipulation d’un objet autre que le livre oblige à ne plus pouvoir tenir le livre qu’à une main, voire à devoir poser le livre.
En outre, le surlignage et le cornage d’une page en guise de marque page altèrent le livre ce qui n’est pas forcément souhaitable non plus.
Des techniques comme le livre numérique peuvent faciliter certaines actions mais possèdent des limitations et inconvénients. Le livre numérique nécessite une manipulation pour accéder aux fonctions (inaccessible à certains types de handicaps ou dans certains contextes d’utilisation).
Il pourrait alors être envisagé d’utiliser la reconnaissance vocale. Mais, l’usage de la voix ne peut pas s’effectuer dans un environnement qui nécessite de la discrétion ou dans des environnements bruyants.
De plus, ces techniques ne s’appliquent qu’aux livres numériques pas aux contenus papiers ni à d’autres supports de lecture.
Un des buts de la présente invention est d'apporter des améliorations par rapport à l'état de la technique.
Un objet de l’invention est un lecteur augmenté de textes comportant au moins un contrôleur apte à commander une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu.
Ainsi, l’utilisateur n’aura pas à manipuler le contenu réel ou virtuel comportant le texte pour déclencher la commande de l’action. Cela facilitera l’accessibilité à la lecture de contenu réel ou virtuel y compris pour les utilisateurs en situation de handicap mais aussi quel que soit le contexte de lecture des contenus par l’utilisateur, notamment dans un contexte de travail où l’utilisateur manipule des outils…
Avantageusement, la portion du texte est fonction de données de suivi du regard d’un utilisateur.
Ainsi, l’action peut être réalisée sur la totalité du texte ou seulement une partie de celui-ci.
Avantageusement, la portion du texte est une zone de texte captée en fonction des données de suivi de regard.
Ainsi, l’action peut être réalisée sur du texte imprimé sur un support réel.
Avantageusement, le lecteur augmenté de textes comporte un dispositif de suivi de regard fournissant des données de suivi de regard d’un utilisateur.
Avantageusement, le lecteur augmenté de textes comporte un capteur de textes apte à captée une zone de texte en fonction de données de suivi de regard, la zone de texte captée constituant la partie de texte.
Avantageusement, le lecteur augmenté de textes comporte un analyseur apte à déterminer un geste d’un utilisateur relativement à la portion de texte en fonction du signal neuronal reçu.
Ainsi, l’action commandée correspond à une action réelle qui serait réalisée par le geste de l’utilisateur si le geste était réel et le support du texte était réel.
Avantageusement, le geste est un geste réel ou simulé.
Ainsi, même un utilisateur dans un situation ou le geste n’est pas réellement exécutable peut déclencher la commande par le contrôleur de l’action en simulant mentalement ce geste.
Avantageusement, le contrôleur commande un ou plusieurs des dispositifs suivants :
- un éditeur de textes,
- un traducteur,
- un dictionnaire,
- un manipulateur robotisé de contenus textuels réels,
- un synthétiseur vocal,
- un système de réalité augmenté.
- un éditeur de textes,
- un traducteur,
- un dictionnaire,
- un manipulateur robotisé de contenus textuels réels,
- un synthétiseur vocal,
- un système de réalité augmenté.
Ainsi, le contrôleur commande respectivement :
- des fonctions d’édition du texte, telles que le surlignage de la partie du texte, l’ajout d’une note relativement à cette partie du texte, d’un marque-page…,
- une traduction de la portion du texte dans une langue soit prédéfinie, soit sélectionnée par un autre signal neuronal,
- une fourniture d’une définition d’un mot correspondant à la partie de texte, voire d’un article encyclopédique correspondant au domaine auquel la portion de texte est relative,
- des mouvement d’un manipulateur robotisé, notamment d’un bras robot (permettant de tourner une page, fermer un contenu, ouvrir un contenu sur un marque page, introduire un marque page, corner une page, surligner un texte…),
- une reproduction vocale du texte de la partie de texte,
- une reproduction en réalité augmenté des éléments générés par d’autres dispositifs commandés (surlignage, traduction, définition, marque-page…).
- des fonctions d’édition du texte, telles que le surlignage de la partie du texte, l’ajout d’une note relativement à cette partie du texte, d’un marque-page…,
- une traduction de la portion du texte dans une langue soit prédéfinie, soit sélectionnée par un autre signal neuronal,
- une fourniture d’une définition d’un mot correspondant à la partie de texte, voire d’un article encyclopédique correspondant au domaine auquel la portion de texte est relative,
- des mouvement d’un manipulateur robotisé, notamment d’un bras robot (permettant de tourner une page, fermer un contenu, ouvrir un contenu sur un marque page, introduire un marque page, corner une page, surligner un texte…),
- une reproduction vocale du texte de la partie de texte,
- une reproduction en réalité augmenté des éléments générés par d’autres dispositifs commandés (surlignage, traduction, définition, marque-page…).
Avantageusement, le lecteur augmenté de textes comporte un ou plusieurs des dispositifs commandés.
Avantageusement, le lecteur comporte un enregistreur apte à stocker des informations générées par la mise en œuvre de l’action relative au texte.
Ainsi, le texte pourra être reconsulté ultérieurement par l’utilisateur aussi bien dans sa version d’édition ou dans sa version enrichie par l’utilisateur.
Ainsi, le texte pourra être reconsulté ultérieurement par l’utilisateur aussi bien dans sa version d’édition ou dans sa version enrichie par l’utilisateur.
Un objet de l’invention est aussi un procédé de lecture augmentée de textes comportant au moins une commande d’une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu.
Avantageusement, le procédé de lecture augmentée de textes comporte une détection de la portion du texte par suivi de regard de l’utilisateur.
Avantageusement, le procédé de lecture augmentée de textes comporte un enregistrement d’informations générées par l’action sur la partie de texte.
Avantageusement, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en œuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un lecteur augmenté de textes et étant conçus pour commander l'exécution des différentes étapes de ce procédé.
L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de lecture augmentée de textes lorsque ledit programme est exécuté par un processeur.
Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable.
Les caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description, faite à titre d'exemple, et des figures s’y rapportant qui représentent :
La illustre un schéma simplifié d’un lecteur augmenté de textes selon l’invention.
Le lecteur augmenté de textes 1 comporte au moins un contrôleur 10 apte à commander cmd une action ac relative à une portion d’un texte ptxt : cmd(a,ptxt), l’action ac étant fonction d’un signal neuronal reçu sn. Par exemple, le contrôleur 10 commande l’action ac au moyen d’un signal de commande cmd : cmd(ac, ptxt).
En particulier, un contenu textuel 2 est lu. Lorsque la zone 21 de ce contenu textuel 2 est lue, si le lecteur augmenté de textes 1 reçoit un signal neuronal sn alors le lecteur augmenté de textes 1 commande une action ac relativement à la portion de texte ptxt incluse dans cette zone 21.
Par contenu textuel est entendu tout support physique ou virtuel comportant un texte, tel qu’un livre papier ou numérique, un magazine papier ou électronique, mais aussi une affiche papier ou numérique, un emballage physique d’un produit, une étiquette apposée sur un objet ou produit…
L’utilisateur ne manipule alors pas le contenu réel ou virtuel comportant le texte pour déclencher la commande de l’action. Cela facilite l’accessibilité à la lecture de contenu réel ou virtuel y compris pour les utilisateurs en situation de handicap mais aussi quel que soit le contexte de lecture des contenus par l’utilisateur, notamment dans un contexte de travail où l’utilisateur manipule des outils…
La illustre un schéma simplifié d’une architecture comportant un lecteur augmenté de textes selon l’invention.
Le lecteur augmenté de textes 1 comporte un contrôleur 10. Le contrôleur 10 commande cmd une action ac sur une portion de texte ptxt. La portion de texte ptxt correspond notamment à un texte inclus dans une zone 21, 21R, 21Vd’un contenu textuel 2, éventuellement respectivement un contenu textuel réel 2R, ou un contenu textuel virtuel 2V.
En particulier, le signal de commande cmd contrôle une action ac d’un dispositif d’interaction sur le contenu textuel 2, notamment un dispositif d’interaction virtuelle 3, 13 avec un contenu textuel réel 2Rou virtuel 2V, respectivement un dispositif d’interaction réelle 7 avec un contenu textuel réel 2Rou une reproduction d’un contenu textuel virtuel 2V.
Par interaction réelle est entendu une interaction physique dans un environnement réel. Notamment, l’interaction physique est effectuée sur un contenu textuel réel tel qu’un livre papier, ou un sur un contenu textuel virtuel reproduit tel qu’un livre numérique affiché sur une tablette, un smartphone, une liseuse, etc.
Et, respectivement, par interaction virtuelle est entendu une interaction dans un environnement virtuel ou dans une partie virtuelle d’un environnement en réalité augmenté. Par exemple, l’interaction virtuelle est effectuée sur un contenu textuel virtuel dans un environnement virtuel, tel qu’un livre numérique reproduit en réalité virtuelle ou plus simplement sur une liseuse électronique, ou sans agir directement sur un contenu textuel réel mais dans une partie virtuelle d’un environnement en réalité augmenté placée en superposition sur le contenu textuel réel, tel qu’un livre papier.
Par exemple, l’action commandé ac correspond à un geste réel du dispositif d’interaction réel 7R, notamment d’un dispositif réel automatisé tel qu’un robot ou plus simplement un bras robotisé ou un dispositif mécanique de manipulation d’un contenu textuel réel 2Rou virtuel 2V, notamment un tourne-page électrique, électronique et/ou automatisé notamment pour livre papier et/ou liseuse.
De manière alternative, l’action commandé ac correspond à un geste virtuel dans un environnement virtuel d’un dispositif d’interaction virtuel 3, 13 relativement à un contenu textuel virtuel 2Vou réel 2R, tel qu’une fonction d’un éditeur de contenu virtuel, un geste virtuel d’un avatar dans un environnement virtuel reproduisant le contenu textuel virtuel et/ou des informations virtuelles (tel qu’un surlignage du texte, un marque-page, une traduction , une définition de la partie de texte, etc.) générées par le geste virtuel en superposition du contenu textuel réel… Notamment, les informations virtuelles générées constituent un contenu virtuel 32Vsuperposé au contenu textuel réel 2R.
En particulier, la portion du texte ptxt est fonction de données de suivi du regard dsrd’un utilisateur. L’action ac est alors réalisée sur la totalité de la portion de texte ptxt ou seulement une partie de celle-ci. Un dispositif de suivi de regard, aussi nommé détecteur de regard, 5, 35, 135 détecte le déplacement, le mouvement du regard mr de l’utilisateur U.
Notamment, le lecteur augmenté de textes 1 reçoit les données de suivi de regard dsrd’un détecteur de regard externe 5, 35, par exemple, d’un détecteur de regard 35 intégré dans des lunettes ou un casque de réalité augmenté 3. De manière alternative, le lecteur augmenté de textes 1 comporte le détecteur de regard 135, aussi nommé dispositif de suivi de regard, fournissant des données de suivi de regard dsrd’un utilisateur.
En particulier, la portion du texte ptxt est une zone de texte captée zc en fonction des données de suivi de regard dsr. L’action ac est alors réalisée notamment sur du texte imprimé sur un support réel, aussi nommé contenu textuel réel.
En particulier, un capteur de textes 6, 36, 136, tel qu’une caméra, capte une zone de texte 21 en fonction des données de suivi de regard dsret fournit une zone de texte captée zc. Eventuellement, le dispositif de suivi de regard 5, 35, 135 et le capteur de textes 6,36, 136 utilisent le ou les mêmes capteur(s) visuel(s), notamment une seule et même caméra.
Notamment, le lecteur augmenté de textes 1 reçoit la zone captée zc d’un capteur de textes externe 6,36, par exemple, d’un capteur de textes 36 intégré dans des lunettes ou un casque de réalité augmenté 3. De manière alternative, le lecteur augmenté de textes 1 comporte le capteur de textes 136, notamment une caméra apte à captée une zone de texte zc en fonction de données de suivi de regard dsr. La zone de texte captée zc constitue la portion de texte ptxt.
En particulier, le lecteur augmenté de textes 1 comporte un analyseur 14, 141 apte à déterminer un geste gd d’un utilisateur relativement à la portion de texte ptxt en fonction du signal neuronal reçu sn.
Ainsi, l’action commandée ac correspond à une action réelle qui serait réalisée par le geste gd de l’utilisateur si le geste était réel et le support du texte était réel.
En particulier, le geste gd est un geste réel ou simulé. Notamment, l’utilisateur effectue réellement un geste par exemple de la main à distance du contenu réel ou distant, une interface neuronale 4 permet de détecter un signal neuronal particulier sn à l’instant où le geste est effectué. Ce signal neuronal sn est transmis à l’analyseur 14, 141 qui détermine le geste réel effectué par l’utilisateur et commande une action ac pour la réalisation sur le contenu textuel du résultat du geste réel. Ainsi, tout se passe comme si l’utilisateur effectuait ce geste directement sur le contenu textuel. Si l’utilisateur soit en raison d’un handicap, soit parce que ses mains sont déjà utilisées ne peut manipuler directement ou à distance, l’utilisateur simule mentalement le geste qu’il souhaiterait effectuer : le geste est alors dit simulé. Cette simulation mentale du geste déclenche dans le cerveau de l’utilisateur un signal neuronal équivalent au signal neuronal déclenché par le geste réel. Le signal neuronal sn détecté lors du geste simulé est transmis à l’analyseur 14, 141 qui détermine le geste réel mentalement visualisé par l’utilisateur et commande une action ac pour la réalisation sur le contenu textuel du résultat du geste réel. Ainsi, tout se passe comme si l’utilisateur effectuait réellement ce geste directement sur le contenu textuel. Ainsi, même un utilisateur dans un situation ou le geste n’est pas réellement exécutable peut déclencher la commande par le contrôleur de l’action en simulant mentalement ce geste.
En particulier, le contrôleur 10 commande un ou plusieurs des dispositifs commandés suivants (non illustrés):
- un éditeur de textes 80, 180, 380,
- un traducteur 81, 181, 381,781,
- un dictionnaire 82, 182, 382,782,
- un manipulateur robotisé de contenus textuels réels 7R,
- un synthétiseur vocal 32,
- un système de réalité augmenté 3.
- un éditeur de textes 80, 180, 380,
- un traducteur 81, 181, 381,781,
- un dictionnaire 82, 182, 382,782,
- un manipulateur robotisé de contenus textuels réels 7R,
- un synthétiseur vocal 32,
- un système de réalité augmenté 3.
Ainsi, le contrôleur 10 commande respectivement :
- des fonctions d’édition du texte, telles que le surlignage de la partie du texte, l’ajout d’une note relativement à cette partie du texte, d’un marque-page…,
- une traduction de la portion du texte dans une langue soit prédéfinie, soit sélectionnée par un autre signal neuronal,
- une fourniture d’une définition d’un mot correspondant à la partie de texte, voire d’un article encyclopédique correspondant au domaine auquel la portion de texte est relative,
- des mouvement d’un manipulateur robotisé, notamment d’un bras robot (permettant de tourner une page, fermer un contenu, ouvrir un contenu sur un marque page, introduire un marque page, corner une page, surligner un texte…),
- une reproduction vocale du texte de la partie de texte,
- une reproduction en réalité augmenté des éléments générés par d’autres dispositifs commandés (surlignage, traduction, définition, marque-page…).
- des fonctions d’édition du texte, telles que le surlignage de la partie du texte, l’ajout d’une note relativement à cette partie du texte, d’un marque-page…,
- une traduction de la portion du texte dans une langue soit prédéfinie, soit sélectionnée par un autre signal neuronal,
- une fourniture d’une définition d’un mot correspondant à la partie de texte, voire d’un article encyclopédique correspondant au domaine auquel la portion de texte est relative,
- des mouvement d’un manipulateur robotisé, notamment d’un bras robot (permettant de tourner une page, fermer un contenu, ouvrir un contenu sur un marque page, introduire un marque page, corner une page, surligner un texte…),
- une reproduction vocale du texte de la partie de texte,
- une reproduction en réalité augmenté des éléments générés par d’autres dispositifs commandés (surlignage, traduction, définition, marque-page…).
En particulier, le lecteur augmenté de textes 1 comporte un ou plusieurs des dispositifs d’interactions 3, 7, voire des dispositifs commandés tels qu’un des dispositifs commandés de gestion de textes 8, 18, 38, 78, notamment un éditeur de textes 80, 180, 380 ; un traducteur 81, 1801, 381, 781 ; et/ou un dictionnaire 82, 1802, 382, 782 ; etc.. Un tel dispositif de gestion de textes constitue un dispositif propre 8, 18, 180, 38, 78, 80, 1800, 380, 81, 1801, 381, 781,82, 1802, 382, 782 ou implémenté dans un système 8, 18,180, 38, 78. Le dispositif propre de gestion de textes ou système de gestion de textes comportant un tel dispositif de gestion de textes est soit un dispositif de gestion de textes 8, 80, 81, 82, distinct des dispositifs utilisés pour la lecture augmentée 1, 3, 7R; soit un dispositif de gestion de textes 18, 180, 1800, 1801, 1802 implémenté dans le lecteur augmenté de textes 1 ; soit un dispositif de gestion de textes 38, 380, 381, 382, 78, 870, 871, 872 implémenté dans le dispositif d’interaction virtuel 3 ou réel 7.
En particulier, le lecteur 1 comporte un enregistreur 181 apte à stocker des informations générées ilapar la mise en œuvre de l’action ac relative au texte. Ainsi, le texte pourra être reconsulté ultérieurement par l’utilisateur aussi bien dans sa version d’édition ou dans sa version enrichie par l’utilisateur.
En particulier, le lecteur 1 comporte un dispositif de stockage 182 tel qu’une mémoire ou une base de données aussi nommé base d’information de lecture augmentée iladans lequel le lecteur enregistre des informations générées ilapar la mise en œuvre de l’action ac relative au texte. Ainsi, les annotations (surlignage, notes, marque-page, etc.) effectuées par l’utilisateur au moyen du lecteur augmenté 1 pourront être reproduites ultérieurement lors d’une nouvelle lecture du contenu textuel 2 par un dispositif d’interaction virtuel 3.
Dans le cas d’un dispositif d’interaction réel 7 comportant un bras robotisé, le dispositif d’interaction réel 7 comporte notamment un dispositif de manipulation 72, un axe 73 relativement auquel le dispositif de manipulation 72 est déplaçable, par exemple avec des mouvements verticaux mv et/ou horizontaux mh, et/ou une tige 71 placée entre l’axe 71 et le dispositif de manipulation. Le dispositif de manipulation 72 est apte à interagir avec un contenu textuel virtuel 2V, en particulier avec un dispositif de reproduction 32Rdu contenu textuel virtuel tel qu’une liseuse électronique, ou avec un contenu textuel réel 2R, notamment en manipulant les pages du contenu textuel réel 2Ret/ou un crayon sur les pages de ce contenu textuel réel 2R, etc.Le dispositif de manipulation 72 est notamment une pince commandable. Éventuellement, le dispositif d’interaction réel 7 comporte en outre , un dispositif de gestion de texte 78 et/ou un projecteur 783 éventuellement implémenté dans le dispositif de gestion de textes 78 ou connecté à un dispositif de gestion de textes 8, 18 externes au dispositif d’interaction réel.
Considérons un utilisateur U lisant un texte sur un contenu textuel 2. L’utilisateur U voudrait surligner le texte de la zone de texte 21 de ce contenu textuel 2. Soit il effectue à distance du texte 2 le geste de surligner cette zone de texte 21, soit il simule mentalement le surlignage de cette zone de texte 21. L’interface neuronale 4 détecte un signal neuronal sn et le transmet au lecteur augmenté de textes 1. Le lecteur augmenté de textes 1 reçoit le signal neuronal sn transmis. Notamment, le lecteur augmenté de textes 1 comporte un récepteur de signaux neuronaux 11nqui reçoit le signal neuronal transmis sn.
Le lecteur augmenté 1 comporte un contrôleur 10. Le contrôleur 10 commande cmd une action ac relativement à une portion de texte ptxt en fonction du signal neuronal reçu sn.
En particulier, le lecteur augmenté de textes 1 détermine un geste gd de l’utilisateur en fonction du signal neuronal sn reçu. Le geste déterminé gd correspond soit au geste réellement effectué par l’utilisateur soit au geste simulé mentalement par l’utilisateur lors de la détection du signal neuronal sn reçu. Puis, le contrôleur 10 commande cmd l’action ac relativement à une portion de texte ptxt en fonction de ce geste déterminé gd. Notamment, le lecteur augmenté de textes 1 comporte un analyseur 14, 141 apte à déterminer un geste en fonction d’un signal neuronal.
Eventuellement, le lecteur augmenté de textes 1, voire le contrôleur 10, génère une action à commander ag en fonction du signal neuronal sn reçu, voire du geste déterminé gd. En particulier, le lecteur augmenté de textes 1 comporte un générateur d’actions 14, 142 apte à générer une action à commander ag en fonction du signal neuronal sn reçu, voire du geste déterminé gd. Par exemple, le lecteur augmenté de textes 1 comporte un générateur d’actions 14 comportant un analyseur 141 et un générateur d’actions proprement dit 142, l’analyseur 141 fournit un geste déterminé gd en fonction du signal neuronal sn au générateur d’actions proprement dit 142.
Le lecteur augmenté de textes 1 envoie le signal de commande cmd à un dispositif d’interaction réel 7 ou virtuel 3, soit directement soit via un dispositif de gestion de textes 8 (non illustré), 18. En particulier, le lecteur augmenté 1 comporte un émetteur de commande 11iapte à émettre le signal de commande cmd vers un dispositif externe 3,7,8.
En particulier, la portion de texte ptxt est fonction de données de suivi de regard dsr. Notamment, le lecteur augmenté de textes 1 récupère les données de suivi de regards dsr, soit il les reçoit d’un dispositif de suivi de regard externe 5, 35, soit il les obtient au moyen d’un dispositif de suivi de regard interne 135.
En particulier, la portion de texte ptxt correspond à une zone de texte captée zc en fonction des données de suivi de regards dsr. Notamment, le lecteur augmenté de textes 1 récupère la zone de texte zc en fonction des données de suivi de regards dsr, soit il les reçoit d’un capteur externe de textes 6, 36, soit il les obtient au moyen d’un capteur interne de textes 136. Le capteur 6, 36, 136 est notamment une caméra.
Par exemple, le lecteur augmenté de textes 1 comporte un récepteur de données captées 11cprovenant de dispositif de suivi de regards 5,35, et/ou de capteur de textes 6,36. De manière alternative, le lecteur augmenté de textes 1 comporte un dispositif de suivi de regards 135, et/ou un capteur de textes 136. Eventuellement, le lecteur augmenté de textes 1 comporte un dispositif d’interaction virtuel 13 comportant un dispositif de suivi de regards 135, et/ou un capteur de textes 136.
En particulier, le lecteur augmenté de textes 1 détermine la portion de texte ptxt en fonction de données de suivi de regards dsr, voire d’une zone de texte zc captée sur la base de données de suivi de regards dsr. Notamment, le lecteur augmenté de textes 1 comporte un détecteur de texte 12 apte à déterminer la portion de texte ptxt. Eventuellement, le détecteur de texte 12 comporte un dispositif de reconnaissance de caractère 120 apte à extraire la portion de texte ptxt d’une image d’une zone de texte captée zc. Eventuellement, dans un mode de réalisation non illustré, le détecteur de texte comporte le dispositif de suivi de regard 135 et/ou le capteur de textes 136.
Dans un mode de réalisation non illustré, un dispositif de réalité augmenté ou virtuel 3 comporte un dispositif d’interaction virtuel 13, 33, une interface neuronale 34 et/ou le lecteur augmenté de textes 31. Le dispositif d’interaction virtuel 13, 33 est soit un dispositif d’interaction virtuel 33 distinct du lecteur augmenté de textes 1, soit un dispositif d’interaction virtuel 13 implémenté dans le lecteur augmenté de textes 1, 31.
La illustre un schéma simplifié d’un procédé de lecture augmentée de textes selon l’invention.
Le procédé de lecture augmentée de textes PLA comporte au moins un signal commande cmd d’une action ac relative à une portion d’un texte ptxt. L’action ac est fonction d’un signal neuronal reçu sn. En particulier la commande CMD contrôle l’action ac à effectuer sur la portion de texte ptxt au moyen d’un signal de commande cmd : cmd(ac, ptxt). Le signal neuronal sn est notamment reçu d’une interface neuronale BI. L’interface neuronale BI permet, par exemple, de capter des signaux neuronaux dans le cerveau de l’utilisateur U.
En particulier, la commande CMD contrôle un dispositif d’interaction TID et/ou une gestion de texte Txt_MNGT Notamment, le dispositif d’interaction TID est contrôlé par la commande CMD en fonction d’une information de lecture augmentée ilafournie par la gestion de texte Txt_MNGT : cmd(ila). En particulier, la gestion de texte Txt_MNGT est mise en œuvre par le dispositif d’interaction TID ou comportée par le procédé de lecture augmentée PLA.
En particulier, le procédé de lecture augmenté de texte PLA comporte une analyse de signaux neuronaux NLZ détecte gd le geste réel ou simulé de l’utilisateur U en fonction du signal neuronal sn reçu d’une interface neuronale BI.
En particulier, le procédé de lecture augmenté PLA comporte une détermination d’une action AG_DT notamment en fonction du geste détecté gd, par exemple par l’analyse de signaux neuronaux NLZ. Il s’agit par exemple d’une action préalablement associée au geste détecté. En particulier, la détermination d’action AG_DT consulte une base d’actions BDAG (non illustrée) dans laquelle sont stockés des couples geste-action à la suite d’une association d’un geste et d’une action. Les couples geste-action sont, notamment, soit prédéfinis, soit établis par apprentissage (par exemple, si et quand l’utilisateur U et ou un autre utilisateur est à même de réaliser les gestes directement sur le contenu textuel), etc. éventuellement préalablement à une utilisation de la lecture augmentée de texte PLA ou au fil de l’utilisation de la lecture augmentée de texte PLA
En particulier, le procédé de lecture augmenté de texte PLA comporte une liaison neuronale LN, aussi nommée étape d’interface de signaux neuronaux, permettant d’échanger avec la commande CMD un signal relatif à un signal neuronal sn reçu d’une interface neuronale BI. Notamment, la liaison neuronale LN fournit à la commande CMD un signal intermédiaire tel qu’un geste détecté gd, ou une action associée ag à partir duquel la commande CMD contrôle une action ac à effectuer sur la portion de texte ptxt. La liaison neuronale LN comporte, par exemple, l’analyse NLZ et/ou la détermination d’action AG_DT.
En particulier, le procédé de lecture augmentée de textes PLA comporte une détection de portion de texte Txt_DTC par suivi de regard de l’utilisateur dsr. Notamment, des données de suivi de regards dsr sont obtenues par la détection de portion de texte Txt_DTC : par exemple reçu du dispositif de suivi de regard SSR, ou déterminé par un suivi de regard E_SV en fonction de données oculaires captées dc relatifs aux yeux de l’utilisateur U. Le suivi de regard E_SV éventuellement est comporté par la détection de portion de texte Txt_DTC ou mise en œuvre par le dispositif de suivi de regard SSR. Dans le cas où la détection de portion de texte Txt_DTC comporte le suivi de regard E_SV, ils reçoivent les données oculaires captées dc d’un capteur oculaire CR.
En particulier, les données de suivi de regards dsr obtenues sont utilisées pour la capture CAPT d’une zone de texte d’un contenu textuel T_DOC, notamment une zone de texte zl actuellement regardée et/ou lue par l’utilisateur U. La capture de zone de texte CAPT fournit une zone de texte captée zc. Dans le cas où la capture CAPT cible une zone de texte zl actuellement regardée et/ou lue par l’utilisateur U, alors la zone de texte captée zc correspond à la zone de texte zl regardée et/ou lue à l’instant de la commande de la capture, par exemple au moyen de données de suivi de regard dsr obtenu à cet instant. Notamment, la détection de portion de texte Txt_DTC comporte la capture de zone de texte CAPT. Ainsi, la portion de texte ptxt correspond éventuellement à la zone de texte captée zc.
En particulier, la détection de portion de texte Txt_DTC comporte une reconnaissance de texte Txt_RCG, mettant notamment en œuvre une reconnaissance de caractères d’écriture, tel que des caractères alphabétiques, symboles, etc., dans une image. La reconnaissance de texte Txt_RCG reçoit notamment la zone de texte captée zc en fonction des données de suivi de regards dsr par exemple de la capture CAPT et reconnait une portion de texte ptxt inscrite dans la zone de texte captée zc.
En particulier, le procédé de lecture augmentée de textes PLA comporte un enregistrement STCK d’informations générées ila par l’action ac sur la partie de texte ptxt.
En particulier, l’enregistrement STCK est effectué dans un dispositif de stockage BDLA tel qu’une mémoire ou une base de données aussi nommé base d’information de lecture augmentée iladans lequel le procédé de lecture augmenté PLA enregistre STCK des informations générées ilapar la mise en œuvre de l’action ac relative au texte. Ainsi, les annotations (surlignage, notes, marque-page, etc.) effectuées par l’utilisateur au moyen du lecteur augmenté 1 pourront être reproduites ultérieurement lors d’une nouvelle lecture du contenu textuel 2 par un dispositif d’interaction virtuel 3.
En particulier, le procédé de lecture augmentée de texte PLA comporte une mise en œuvre IRA_GEN de l’action ac relative au texte ptxt générant des informations de lecture augmentée ila, notamment un générateur d’informations de lecture augmentée contrôlé par le signal de commande cmd(ac, ptxt).
En particulier, le procédé de lecture augmentée de texte PLA comporte une gestion de textes Txt_MNGT, aussi nommée édition de textes, mettant en œuvre des actions sur un texte, éventuellement des actions commandées ac en fonction de signaux neuronaux sn. La mise en œuvre des actions commandées ac sur une portion de texte ptxt génère des informations de lecture augmentée ila. Eventuellement, la gestion de textes Txt_MNGT comporte la génération d’informations de lecture augmentée IRA_GEN et/ou l’enregistrement STCK.
Les informations de lecture augmentées ainsi générées ilasont éventuellement utilisées notamment par le procédé de lecture augmentée PLA pour commander cmd(ila) un dispositif d’interaction textuel TID virtuel ou réel. Par exemple, le signal de commande cmd(ila) comportant les informations de lecture augmentées contrôlera la reproduction par un dispositif d’interaction textuel TID virtuel de ces informations de lecture augmentées ila. La reproduction est notamment une reproduction visuelle et/ou audio. Dans le cas d’un dispositif d’interaction textuel TID réel, le signal de commande cmd(ila) comportant les informations de lecture augmentées sera converti MVT_CNV en un ou plusieurs signaux de commande du ou des éléments motorisés constituant le dispositif d’interaction textuel TID réel soit par le dispositif d’interaction textuel TID réel lui-même, soit par le procédé de lecture augmentée PLA. En particulier un signal de commandes d’éléments motorisé commande le déplacement de l’élément motorisé : sens, distance et/ou angle, etc. Ainsi, les éléments motorisés d’un bas robotisé constituant un dispositif d’interaction textuel TID réel pourront être commandés pour tourner une page dans le sens de lecture ou dans le sens inverse de lecture, prendre un surligneur et surligner horizontalement ou verticalement dans le sens de lecture une portion de texte avec ce surligneur, ou corner le coin d’une page, ou ajouter un marque-page, etc.
L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de lecture augmentée de textes lorsque ledit programme est exécuté par un processeur.
L'invention vise aussi un support. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.
D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau notamment de type Internet.
Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Dans une autre implémentation, l'invention est mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique le terme module peut correspondre aussi bien à un composant logiciel ou à un composant matériel. Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonction selon la description ci-dessus. Un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions.
Ainsi, la lecture augmentée de texte selon l’invention qu’elle soit implémentée sous la forme d’un lecteur augmenté de texte 1 ou d’un procédé de lecture augmentée de textes PLA propose d’allier une interface neuronale 4, BI, notamment sous la forme d’un casque BCI (interface neuronale directe permettant le contrôle d’objets connectés par la pensée, i.e. signaux EEG) avec au moins un suivi de regard 5, 35, 135, E_SV, SSR, aussi nommé « eye tracking » en anglais) voire un capteur 6, 36, 136, ou une capture CAPT, notamment sous forme de lunettes munies d’une caméra 36 et d’un système d’eye tracking (suivi du regard) 35.
La caméra 36 des lunettes détecte le texte de la page. Cela fonctionne sur un livre papier comme sur un livre numérique. Les lunettes 3 sont équipées d’un système de suivi du regard 35 ce qui permet de savoir quelle partie du texte (i.e. quels mots) est lue.
Pour activer une fonction (parmi celles possibles) par la pensée, l’utilisateur U doit penser à bouger un membre ou un muscle. Le fait de penser à bouger une partie du corps a le même effet dans le cortex moteur (zone du cerveau) que de bouger réellement. Ce mouvement ou geste (même simulé) de l’utilisateur peut donc être détecté sn via un casque EEG 4, BI dont les capteurs sont positionnés sur cette zone cérébrale.
Notamment en associant différents mouvements ou gestes gd, ou différents signaux neuronaux sn correspondants à ces mouvements à différentes actions ag, l’utilisateur U simulant mentalement (pensant) à lever le bras gauche déclenchera l’action ac de traduction de la dernière zone de texte lue. De la même manière, un geste simulé de surlignage, de marquage d’une page (par exemple un geste de placement d’un marque-page, de cornage d’une page), etc. de l’utilisateur U déclenchera le surlignage, le marquage de la page, etc. par le dispositif d’interaction textuel 3, 7, TDI.
Pour la fonction marque page, un autre geste de l’utilisateur U pourrait être associer au marquage de la page par le dispositif d’interaction textuel 3, è, TDI comme le fait que l’utilisateur, le lecteur U se concentre sur le numéro de page. La caméra 6, 36, 136 (utilisée pour le suivi du regard) reconnaitra le nombre isolé et l’information ilasera stockée 181, STCK dans le dispositif de lecture augmentée 1 ou dispositif de réalité virtuel ou augmenté 3 mettant en œuvre le procédé de lecture augmentée PLA possédant une mémoire 182, BDLA.
La traduction d’un mot ou d’une séquence de texte pourra apparaitra en réalité augmentée sur le verre de la lunette ou bien être jouée via un casque audio.
Au-delà des lecteurs du grand public avec les fonctions mentionnées ci-dessus, la fonction de surlignage peut être utilisée par des techniciens pour mémoriser (et restituer facilement), mots clés ou mot de passe lus sur du matériel ou des manuels opérateurs dans des circonstances où il n’est pas facile d’avoir les mains disponibles (usage de gants, sommet d’un pylône, …). Dans le même contexte, la traduction aisée de certaines instructions peut être très utile.
Claims (14)
- Lecteur augmenté de textes comportant au moins un contrôleur apte à commander une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu.
- Lecteur augmenté de textes selon la revendication précédente, dans lequel la portion du texte est fonction de données de suivi du regard d’un utilisateur.
- Lecteur augmenté de textes selon la revendication précédente, dans lequel la portion du texte est une zone de texte captée en fonction des données de suivi de regard.
- Lecteur augmenté de textes selon l’une quelconque des revendications 2 ou 3, dans lequel le lecteur augmenté de textes comporte un dispositif de suivi de regard fournissant des données de suivi de regard d’un utilisateur.
- Lecteur augmenté de textes selon l’une quelconque des revendications 2 à 4, dans lequel le lecteur augmenté de textes comporte un capteur de textes apte à captée une zone de texte en fonction de données de suivi de regard, la zone de texte captée constituant la partie de texte.
- Lecteur augmenté de textes selon l’une quelconque des revendications précédentes, dans lequel le lecteur augmenté de textes comporte un analyseur apte à déterminer un geste d’un utilisateur relativement à la portion de texte en fonction du signal neuronal reçu.
- Lecteur augmenté de textes selon la revendication précédente, dans lequel le geste est un geste réel ou simulé.
- Lecteur augmenté de textes selon l’une quelconque des revendications précédentes, dans lequel le contrôleur commande un ou plusieurs des dispositifs suivants :
- un éditeur de textes,
- un traducteur,
- un dictionnaire,
- un manipulateur robotisé de contenus textuels réels,
- un synthétiseur vocal,
- un système de réalité augmenté. - Lecteur augmenté de textes selon la revendication précédente, dans lequel le lecteur augmenté de textes comporte un ou plusieurs des dispositifs commandés.
- Lecteur augmenté de textes selon l’une quelconque des revendications précédentes, dans lequel le lecteur comporte un enregistreur apte à stocker des informations générées par la mise en œuvre de l’action relative au texte.
- Procédé de lecture augmentée de textes comportant au moins une commande d’une action relative à une portion d’un texte, l’action étant fonction d’un signal neuronal reçu.
- Procédé de lecture augmentée de textes selon la revendication précédente, dans lequel le procédé de lecture comporte une détection de la portion du texte par suivi de regard de l’utilisateur.
- Procédé de lecture augmentée de textes selon l’une quelconque des revendications 11 ou 12, dans lequel le procédé de lecture comporte un enregistrement d’informations générées par l’action sur la partie de texte.
- Programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de lecture augmentée de textes selon l’une quelconque des revendications 11 à 13 lorsque ledit programme est exécuté par un processeur.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2205205A FR3136081A1 (fr) | 2022-05-31 | 2022-05-31 | Lecteur augmenté et procédé de lecture augmentée de textes |
| PCT/EP2023/064454 WO2023232820A1 (fr) | 2022-05-31 | 2023-05-30 | Lecteur augmenté et procédé de lecture augmentée de textes |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2205205A FR3136081A1 (fr) | 2022-05-31 | 2022-05-31 | Lecteur augmenté et procédé de lecture augmentée de textes |
| FR2205205 | 2022-05-31 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3136081A1 true FR3136081A1 (fr) | 2023-12-01 |
Family
ID=82693886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2205205A Pending FR3136081A1 (fr) | 2022-05-31 | 2022-05-31 | Lecteur augmenté et procédé de lecture augmentée de textes |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3136081A1 (fr) |
| WO (1) | WO2023232820A1 (fr) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160062458A1 (en) * | 2014-09-02 | 2016-03-03 | Tobii Ab | Gaze based text input systems and methods |
| US20190362557A1 (en) * | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
| WO2020260085A1 (fr) * | 2019-06-28 | 2020-12-30 | Sony Corporation | Procédé, programme informatique et dispositif monté sur la tête pour déclencher une action, procédé et programme informatique pour un dispositif informatique et dispositif informatique |
-
2022
- 2022-05-31 FR FR2205205A patent/FR3136081A1/fr active Pending
-
2023
- 2023-05-30 WO PCT/EP2023/064454 patent/WO2023232820A1/fr unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160062458A1 (en) * | 2014-09-02 | 2016-03-03 | Tobii Ab | Gaze based text input systems and methods |
| US20190362557A1 (en) * | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
| WO2020260085A1 (fr) * | 2019-06-28 | 2020-12-30 | Sony Corporation | Procédé, programme informatique et dispositif monté sur la tête pour déclencher une action, procédé et programme informatique pour un dispositif informatique et dispositif informatique |
Non-Patent Citations (1)
| Title |
|---|
| TAKUMI TOYAMA ET AL: "A mixed reality head-mounted text translation system using eye gaze input", PROCEEDINGS OF THE 19TH INTERNATIONAL CONFERENCE ON INTELLIGENT USER INTERFACES, IUI '14, 24 February 2014 (2014-02-24), New York, New York, USA, pages 329 - 334, XP055118919, ISBN: 978-1-45-032184-6, DOI: 10.1145/2557500.2557528 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023232820A1 (fr) | 2023-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3899696B1 (fr) | Exécution d'instruction vocale à partir d'une entrée auxiliaire | |
| Heidemann et al. | Multimodal interaction in an augmented reality scenario | |
| US20130108994A1 (en) | Adaptive Multimodal Communication Assist System | |
| Singh et al. | Mobile Deep Learning with TensorFlow Lite, ML Kit and Flutter: Build scalable real-world projects to implement end-to-end neural networks on Android and iOS | |
| KR20170093801A (ko) | 정지-모션 컨텐츠의 증강 | |
| US20200327189A1 (en) | Targeted rewrites | |
| US11848968B2 (en) | System and method for augmented reality video conferencing | |
| US11928985B2 (en) | Content pre-personalization using biometric data | |
| Lau et al. | Interpreting Written How-To Instructions. | |
| Kebe et al. | A spoken language dataset of descriptions for speech-based grounded language learning | |
| Vretos et al. | Exploiting sensing devices availability in AR/VR deployments to foster engagement | |
| US11308266B1 (en) | Augmented reality assisted physical form completion | |
| WO2023232820A1 (fr) | Lecteur augmenté et procédé de lecture augmentée de textes | |
| Abutalipov et al. | Handshape classification in a reverse dictionary of sign languages for the deaf | |
| Larsen | Learning Microsoft Cognitive Services | |
| US20210097284A1 (en) | Techniques for presentation of electronic content related to printed material | |
| US10970910B2 (en) | Animation of concepts in printed materials | |
| Deshmukh et al. | Voice-Enabled Vision For The Visually Disabled | |
| FR2513780A1 (fr) | Procede pour saisir des extraits de textes d'un modele, et dispositif pour la mise en oeuvre de ce procede | |
| WO2023232715A1 (fr) | Recommandation de données textuelles en cours d'acquisition | |
| Oh et al. | Understanding mobile document capture and correcting orientation errors | |
| Paplu et al. | Multimodal Perceptual Cues for Context-Aware Human-Robot Interaction | |
| US20240242465A1 (en) | Cognitive placement of captioned text | |
| Alexanderson | Performance, Processing and Perception of Communicative Motion for Avatars and Agents | |
| Salamea-Lopez | Design of AI-enabled Chatbot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20231201 |