FR3119481A1 - Procédé et dispositif d’assistance à la lecture et à son apprentissage par focalisation de l’attention. - Google Patents
Procédé et dispositif d’assistance à la lecture et à son apprentissage par focalisation de l’attention. Download PDFInfo
- Publication number
- FR3119481A1 FR3119481A1 FR2100991A FR2100991A FR3119481A1 FR 3119481 A1 FR3119481 A1 FR 3119481A1 FR 2100991 A FR2100991 A FR 2100991A FR 2100991 A FR2100991 A FR 2100991A FR 3119481 A1 FR3119481 A1 FR 3119481A1
- Authority
- FR
- France
- Prior art keywords
- graphemic
- entities
- entity
- alteration
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004075 alteration Effects 0.000 claims abstract description 93
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims 1
- 238000009877 rendering Methods 0.000 abstract 1
- 230000004438 eyesight Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B17/00—Teaching reading
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
L’invention porte sur un procédé d’assistance à la lecture et à son apprentissage , comprenant les étapes mises en œuvre par un système numérique de : -afficher une succession (80) d’entités graphémiques adjacentes sur un écran (11), les entités graphémiques affichées (811,812, 813, 814) étant affichées avec une altération de façon à permettre la détection de leur affichage par un utilisateur mais de façon à empêcher leur identification par l’utilisateur ;-détecter le pointage (7) par l’utilisateur d’une des entités graphémiques affichées avec altération;-afficher simultanément sur l’écran l’entité graphémique pointée sans altération (802) de façon à permettre son identification par l’utilisateur, et les entités graphémiques adjacentes de l’entité graphémique pointée avec altération (811,813), et restituer acoustiquement à l’utilisateur une entité phonémique (92) associée à l’entité graphémique pointée (802). Figure à publier avec l’abrégé : Fig. 5
Description
L’invention concerne les procédés et dispositifs dans le domaine de la lecture afin d’assister et faciliter son apprentissage.
Apprendre à lire est une phase d’apprentissage complexe, nécessitant une compréhension du lien entre des phonèmes et des graphèmes. Cet apprentissage est encore plus délicat dans les langues où cette correspondance n’est pas unique, dans la mesure où les successions et les combinaisons de caractères correspondent à des entités phonémiques spécifiques et dépendantes du contexte ou des associations entre entités graphémiques. Cet apprentissage est encore plus difficile pour des personnes ayant des troubles dys ou de l’attention tel qu’observé fréquemment en clinique.
Il n’existe à ce jour pas de solution satisfaisante pour assister et favoriser l’apprentissage de la lecture de façon autonome, pour détecter et caractériser des troubles dys, ou encore pour étudier les stratégies de lecture.
L’invention vise à résoudre un ou plusieurs de ces inconvénients. L’invention porte ainsi sur un procédé d’assistance à la lecture et à son apprentissage, comprenant les étapes mises en œuvre par un système numérique de :
-afficher une succession d’entités graphémiques adjacentes sur un écran, les entités graphémiques affichées étant affichées avec une altération de façon à permettre la détection de leur affichage par un utilisateur mais de façon à empêcher leur identification par l’utilisateur ;
-détecter le pointage par l’utilisateur d’une des entités graphémiques affichées avec altération;
-afficher simultanément sur l’écran l’entité graphémique pointée sans altération de façon à permettre son identification par l’utilisateur, et les entités graphémiques adjacentes de l’entité graphémique pointée avec altération, et restituer acoustiquement à l’utilisateur une entité phonémique associée à l’entité graphémique pointée.
-afficher une succession d’entités graphémiques adjacentes sur un écran, les entités graphémiques affichées étant affichées avec une altération de façon à permettre la détection de leur affichage par un utilisateur mais de façon à empêcher leur identification par l’utilisateur ;
-détecter le pointage par l’utilisateur d’une des entités graphémiques affichées avec altération;
-afficher simultanément sur l’écran l’entité graphémique pointée sans altération de façon à permettre son identification par l’utilisateur, et les entités graphémiques adjacentes de l’entité graphémique pointée avec altération, et restituer acoustiquement à l’utilisateur une entité phonémique associée à l’entité graphémique pointée.
L’invention porte également sur les variantes suivantes. L’homme du métier comprendra que chacune des caractéristiques des variantes suivantes peut être combinée indépendamment aux caractéristiques ci-dessus, sans pour autant constituer une généralisation intermédiaire.
Selon une variante, ladite étape d’affichage sans altération de l’entité graphémique pointée comprend l’affichage sans altération du début de l’entité graphémique adjacente suivante selon l’ordre de lecture.
Selon une autre variante, lesdites entités graphémiques sont des syllabes.
Selon encore une variante, le procédé comprend une étape préalable de préparation de la succession d’entités graphémiques adjacentes à afficher, comprenant :
-la réception d’un texte, la segmentation du texte reçu en une succession de syllabes, et l’association de chacune desdites syllabes à une entité phonémique à restituer acoustiquement.
-la réception d’un texte, la segmentation du texte reçu en une succession de syllabes, et l’association de chacune desdites syllabes à une entité phonémique à restituer acoustiquement.
Selon encore une autre variante, le procédé comprend la récupération des entités graphémiques affichées et des entités phonémiques restituées dans une base de données.
Selon une variante, l’entité phonémique restituée acoustiquement est générée en synthèse vocale à partir de l’entité graphémique pointée affichée.
Selon une autre variante, le procédé comprend :
-la détection du pointage par l’utilisateur de l’entité graphémique avec altération adjacente suivante selon le sens de lecture ;
-la mesure du temps séparant le pointage des deux entités graphémiques pointées adjacentes.
-la détection du pointage par l’utilisateur de l’entité graphémique avec altération adjacente suivante selon le sens de lecture ;
-la mesure du temps séparant le pointage des deux entités graphémiques pointées adjacentes.
Selon une autre variante, le procédé comprend la détermination d’un niveau ou d’une anomalie de lecture en fonction dudit temps mesuré.
Selon encore une variante, le procédé comprend l’adaptation de la restitution acoustique des entités phonémiques en fonction dudit temps mesuré.
Selon encore une autre variante, la détection du pointage est effectuée par un contact sur un écran tactile, par un suivi oculaire de l’utilisateur ou par un dispositif de pointage pour ordinateur.
Selon une variante, ledit écran est un écran tactile et dans lequel la détection du pointage est effectuée par un contact sur l’écran tactile, l’affichage sans altération de l’entité graphémique pointée étant réalisé au-dessus du point de contact avec l’écran tactile.
Selon encore une variante, le procédé d’assistance comprend la détection de l’ordre de pointage des entités graphémiques et la génération d’un retour utilisateur si les entités graphémiques ne sont pas pointées selon un sens de lecture prédéfini de la succession d’entités graphémiques, ou comprenant la détection de la vitesse de pointage des entités graphémiques et la génération d’un signal d’erreur si cette vitesse déterminée est supérieure à un seuil prédéfini.
Selon une autre variante, l’affichage sans altération de l’entité graphémique pointée comprend l’envoi, à une carte graphique de pilotage dudit écran, de paramètres d’affichage sans altération et de paramètres de zone d’affichage pour l’application des paramètres d’affichage sans altération.
Selon encore une autre variante, le procédé comprend la restitution d’un indicateur visuel ou sonore identifiant une entité graphémique affichée avec altération et sur laquelle un utilisateur est invité à pointer.
Système d’assistance à l’apprentissage de la lecture, comprenant :
-un dispositif de traitement numérique, présentant une interface de connexion avec un dispositif de restitution sonore, une interface de connexion avec une interface homme-machine de pointage, une interface de connexion avec un écran d’affichage, le dispositif de traitement numérique étant configuré pour :
-envoyer des commandes d’affichage d’une succession d’entités graphémiques adjacentes sur l’interface de connexion à l’écran, les entités graphémiques à afficher présentant une altération de façon à permettre la détection de leur affichage par un utilisateur mais de façon à empêcher leur identification par l’utilisateur ;
-traiter des informations de pointage de l’interface homme-machine, de façon à détecter le pointage par l’utilisateur d’une des entités graphémiques affichées avec altération;
-envoyer des commandes d’affichage simultané sur l’écran de l’entité graphémique pointée sans altération de façon à permettre son identification par l’utilisateur, et des entités graphémiques adjacentes de l’entité graphémique pointée avec altération, et des commandes de restitution acoustique à l’utilisateur d’une entité phonémique associée à l’entité graphémique pointée.
-un dispositif de traitement numérique, présentant une interface de connexion avec un dispositif de restitution sonore, une interface de connexion avec une interface homme-machine de pointage, une interface de connexion avec un écran d’affichage, le dispositif de traitement numérique étant configuré pour :
-envoyer des commandes d’affichage d’une succession d’entités graphémiques adjacentes sur l’interface de connexion à l’écran, les entités graphémiques à afficher présentant une altération de façon à permettre la détection de leur affichage par un utilisateur mais de façon à empêcher leur identification par l’utilisateur ;
-traiter des informations de pointage de l’interface homme-machine, de façon à détecter le pointage par l’utilisateur d’une des entités graphémiques affichées avec altération;
-envoyer des commandes d’affichage simultané sur l’écran de l’entité graphémique pointée sans altération de façon à permettre son identification par l’utilisateur, et des entités graphémiques adjacentes de l’entité graphémique pointée avec altération, et des commandes de restitution acoustique à l’utilisateur d’une entité phonémique associée à l’entité graphémique pointée.
D’autres caractéristiques et avantages de l’invention ressortiront clairement de la description qui en est faite ci-après, à titre indicatif et nullement limitatif, en référence aux dessins annexés, dans lesquels :
L’invention est destinée à assister un utilisateur pour l’apprentissage de la lecture au moyen d’un système numérique. Pour cela, on affiche sur un écran une succession d’entités graphémiques adjacentes qui ont subi une altération visuelle. On détecte le pointage par un utilisateur d’une des entités graphémiques avec altération affichées. On affiche simultanément :
-l’entité graphémique pointée, sans altération;
-les entités graphémiques adjacentes de l’entité graphémique pointée, avec altération. Durant l’affichage de l’entité graphémique pointée sans altération, on restitue acoustiquement une entité phonémique associée à cette entité graphémique pointée.
-l’entité graphémique pointée, sans altération;
-les entités graphémiques adjacentes de l’entité graphémique pointée, avec altération. Durant l’affichage de l’entité graphémique pointée sans altération, on restitue acoustiquement une entité phonémique associée à cette entité graphémique pointée.
Ainsi, l’utilisateur peut focaliser sa vision sur l’entité graphémique sans altération, les entités graphémiques adjacentes avec une altération pour réduire le phénomène d’interférence des éléments présents en vision périphérique. Du fait de la restitution acoustique de l’entité phonémique associée à cette entité graphémique pointée et présentée sans altération, l’utilisateur peut très précisément associer mentalement cette entité graphémique pointée et l’entité phonémique restituée acoustiquement.
Une très grande variété de procédés d’altération d’image peut être utilisée. On peut notamment envisager une altération par application d’un flou gaussien, par application d’un filtre moyen, par application d’un sous-échantillonnage, ou par encodage JPEG avec un taux de compression très élevé, ou tout autre filtre numérique linéaire passe bas. Les altérations peuvent également être additives, par exemple en ajoutant du bruit haute fréquence, de type ‘sel et poivre’, par contamination de spectre.
La illustre une représentation schématique d’un dispositif d’assistance 1 à l’apprentissage de la lecture selon un exemple de mode de réalisation de l’invention. Le dispositif 1 est notamment muni d’un écran d’affichage et d’un dispositif de pointage. Le dispositif 1 est également muni d’au moins un haut-parleur.
Le dispositif 1 illustré est ici sous la forme d’une tablette numérique. La tablette numérique est munie d’un écran tactile 11, permettant à la fois d’afficher des images et de détecter un emplacement de pointage tactile par un utilisateur. La tablette numérique est également munie d’un haut-parleur 15. La tablette numérique dispose d’un accès à une base de données 14. La base de données 14 est par exemple mémorisée dans une mémoire de masse de la tablette numérique. La tablette numérique comporte un système de traitement sous la forme d’une unité centrale ou dispositif de traitement numérique 13, configurée pour piloter différents périphériques. La tablette numérique comporte ici une carte graphique 12 de pilotage de l’écran 11.
La base de données 14 mémorise un ensemble d’entités graphémiques, à afficher selon une succession d’entités graphémiques adjacentes. Pour chacune de ces entités graphémiques, la base de données contient une entité phonémique associée à restituer acoustiquement, comme illustré dans l’exemple de la .
Le dispositif 1 est un système numérique notamment destiné à mettre en œuvre un procédé d’assistance à l’apprentissage de la lecture. Un tel procédé d’assistance comprend notamment les étapes suivantes, illustrées par le diagramme de la :
Lors de l’étape 21, on affiche une succession 81 d’entités graphémiques adjacentes sur l’écran 11, comme illustré à la . La succession 81 d’entités graphémiques comprend notamment les entités graphémiques 811, 812, 813 et 814. Les entités graphémiques de la succession 81 sont ici altérées de façon à permettre leur détection par un utilisateur lors de leur affichage, mais de façon à empêcher leur identification. L’absence d’identification peut être vérifiée sur des bases statistiques, en vérifiant que 95% des personnes d’un groupe de test sont incapables d’identifier ces entités graphémiques. On peut envisager une absence d’identification en vision fovéale ou parafovéale par l’utilisateur. Les entités graphémiques affichées avec altération permettent ainsi leur détection par l’utilisateur, afin de lui permettre de pointer vers eux. Autrement dit, les entités graphémiques altérées ont une altération permettant de les rendre localisables, mais non identifiable (par exemple en vision parafovéale à partir d’une valeur paramétrable et inférieure à 10°). Cette procédure sert à inciter à une exploration du texte affiché.
Ces entités graphémiques correspondent par exemple à une phrase 80 telle qu’illustrée à la . La phrase 80 comprend notamment des entités graphémiques 801, 802, 803 et 804 correspondant à des syllabes. Ces entités graphémiques incluent plusieurs graphèmes pour la plupart. La longueur des entités graphémiques est ici illustrée par une accolade. Dans l’exemple de langue française, la phrase 80 est affichée sous forme d’une succession d’entités graphémiques alignées selon une direction horizontale et devant être lue de la gauche vers la droite. La phrase 80 de la sera ici utilisée comme exemple d’assistance à l’apprentissage de la lecture. L’étape 21 correspond par exemple à une étape de démarrage du processus d’apprentissage, où l’ensemble des entités graphémiques affichées est altéré. L’entité graphémique altérée est ici un cas particulier généré par floutage, comme illustré à la . Avantageusement, aucune restitution acoustique n’est effectuée durant l’affichage de la succession 81, comme indiqué par l’état 90 du haut-parleur à la .
Lors de l’étape 22, on détecte le pointage par l’utilisateur de l’entité graphémique avec altération et affichée 811. Ce pointage est illustré par le pointeur 7 à la .
Lors de l’étape 23, comme illustré à la , on affiche simultanément :
-l’entité graphémique pointée sans altération 801, correspondant à la syllabe ‘La’ en langue Française ;
- l’entité graphémique adjacente avec altération 812. L’entité graphémique 812 est considérée comme altérée si elle ne peut pas être identifiée en vision parafovéale par l’utilisateur. Ainsi, une entité graphémique sera considérée comme altérée même si elle est partiellement affichée non altérée mais n’est pas identifiable par un utilisateur lorsque présenté en vision parafovéale. Dans cet exemple, toutes les autres entités graphémiques de la succession 81 autres que l’entité graphémique 801 sont affichées avec altération.
-l’entité graphémique pointée sans altération 801, correspondant à la syllabe ‘La’ en langue Française ;
- l’entité graphémique adjacente avec altération 812. L’entité graphémique 812 est considérée comme altérée si elle ne peut pas être identifiée en vision parafovéale par l’utilisateur. Ainsi, une entité graphémique sera considérée comme altérée même si elle est partiellement affichée non altérée mais n’est pas identifiable par un utilisateur lorsque présenté en vision parafovéale. Dans cet exemple, toutes les autres entités graphémiques de la succession 81 autres que l’entité graphémique 801 sont affichées avec altération.
Durant l’affichage de l’entité graphémique pointée sans altération 801, une entité phonémique associée à l’entité graphémique 801 est restituée acoustiquement à l’utilisateur. Comme illustré à la , le haut-parleur effectue la restitution acoustique de la syllabe ‘La’, comme indiqué par son état 91.
Lors de l’étape 24, on détecte le pointage par l’utilisateur de l’entité graphémique avec altération et affichée 812. Ce pointage est illustré par le pointeur 7 à la .
Lors de l’étape 25, comme illustré à la , on affiche simultanément :
- l’entité graphémique pointée avec altération 802, correspondant à la syllabe ‘sou’ en langue Française ;
-l’entité graphémique précédente avec altération 811 et l’entité graphémique suivante avec altération 813. Du fait de l’affichage avec altération de ces entités graphémiques adjacentes, l’attention de l’utilisateur peut rester focalisée sur l’entité graphémique pointée 802 et affichée sans altération. Dans cet exemple, toutes les autres entités graphémiques de la succession 81 autres que l’entité graphémique 802 sont affichées avec altération.
- l’entité graphémique pointée avec altération 802, correspondant à la syllabe ‘sou’ en langue Française ;
-l’entité graphémique précédente avec altération 811 et l’entité graphémique suivante avec altération 813. Du fait de l’affichage avec altération de ces entités graphémiques adjacentes, l’attention de l’utilisateur peut rester focalisée sur l’entité graphémique pointée 802 et affichée sans altération. Dans cet exemple, toutes les autres entités graphémiques de la succession 81 autres que l’entité graphémique 802 sont affichées avec altération.
Durant l’affichage de l’entité graphémique pointée sans altération 802, une entité phonémique associée à l’entité graphémique 802 est restituée acoustiquement à l’utilisateur. Comme illustré à la , le haut-parleur effectue la restitution acoustique de la syllabe phonétique ‘su’, comme indiqué par son état 92.
Le procédé d’assistance se poursuit de façon récurrente pour chaque nouvelle entité graphémique pointée. Ainsi, lors de l’étape 26, on détecte le pointage par l’utilisateur de l’entité graphémique avec altération et affichée 813. Ce pointage est illustré par le pointeur 7 à la .
Lors de l’étape 27, comme illustré à la , on affiche simultanément :
-l’entité graphémique pointée sans altération 803, correspondant à la syllabe ‘ris’ en langue Française ;
-l’entité graphémique précédente avec altération 812 et l’entité graphémique suivante avec altération 814. Du fait de l’affichage avec altération de ces entités graphémiques adjacentes, l’attention de l’utilisateur peut rester focalisée sur l’entité graphémique pointée 803 et affichée sans altération. Dans cet exemple, toutes les autres entités graphémiques de la succession 81 autres que l’entité graphémique 803 sont affichées avec altération. Comme illustré à la , le haut-parleur effectue la restitution acoustique de la syllabe phonétique
-l’entité graphémique pointée sans altération 803, correspondant à la syllabe ‘ris’ en langue Française ;
-l’entité graphémique précédente avec altération 812 et l’entité graphémique suivante avec altération 814. Du fait de l’affichage avec altération de ces entités graphémiques adjacentes, l’attention de l’utilisateur peut rester focalisée sur l’entité graphémique pointée 803 et affichée sans altération. Dans cet exemple, toutes les autres entités graphémiques de la succession 81 autres que l’entité graphémique 803 sont affichées avec altération. Comme illustré à la
comme indiqué par son état 93.
L’identification de l’entité graphémique pointée peut être basée sur une détermination récurrente de la position pointée par l’utilisateur. Pour chaque position pointée détectée, on peut déterminer l’entité graphémique la plus proche affichée. Cette entité graphémique reste l’entité graphémique affichée sans altération, tant que le pointage détecté reste le plus proche de celui-ci.
Avantageusement, lors de l’affichage sans altération de l’entité graphémique pointée, on affiche sans altération le début de l’entité graphémique adjacente suivante sans altération, selon l’ordre de lecture. Ainsi, comme illustré à la , le début 822 de l’entité graphémique 812 est affiché sans altération lors de l’affichage de l’entité graphémique 801 sans altération. De même, comme illustré à la , le début 823 de l’entité graphémique 813 est affiché sans altération lors de l’affichage de l’entité graphémique 802 sans altération. Un tel affichage incite l’utilisateur à poursuivre le pointage vers l’entité phonémique suivante dans la succession, afin de l’inciter à poursuivre un pointage correspondant au sens de lecture. Un tel fonctionnement favorise une autonomie de l’utilisateur lors de son apprentissage de la lecture, sans intervention extérieure.
Avantageusement, le procédé détecte le temps séparant le pointage d’entités graphémiques successives par l’utilisateur. Si les déplacements du pointage de l’utilisateur sont mesurés en pixels, une vitesse peut tout d’abord être calculée en pixels par seconde, puis convertie en entités graphémiques par seconde en fonction de la taille de l’affichage des entités graphémiques. Une telle mesure du temps permet par exemple d’extrapoler la vitesse de lecture de l’utilisateur. La vitesse de lecture permet par exemple de déterminer le niveau de lecture de l’utilisateur et d’adapter la difficulté de textes qui seront affichés ultérieurement. La vitesse de lecture permet également de mettre en évidence une difficulté de l’utilisateur, si la vitesse de lecture reste particulièrement lente. La détection d’une difficulté peut également combiner la mesure de la vitesse de lecture avec une identification d’un autre problème de lecture. Le procédé peut par exemple déterminer que l’utilisateur ne pointe pas les entités graphémiques selon le bon sens de lecture ou qu’il pointe les entités graphémiques de façon erratique (par exemple en sautant des entités graphémiques ou en changeant de ligne d’affichage avant d’avoir atteint la fin). Le procédé peut également bloquer la restitution sonore lors du pointage d’une entité graphémique si le texte n’est pas parcouru dans le bon sens de lecture, afin que l’utilisateur soit informé que le sens de lecture n’est pas le bon. Un signal acoustique ou visuel additionnel peut également être restitué à l’utilisateur pour lui signaler ce mauvais sens de lecture.
Le procédé d’assistance selon l’invention peut permettre une restitution sonore répétée d’une entité phonémique, soit si l’utilisateur maintient longtemps le pointage sur une entité graphémique associée, soit s’il répète le pointage vers cette entité graphémique. L’utilisateur peut ainsi parfaire l’apprentissage de cette entité graphémique s’il le souhaite.
La segmentation du texte en entités graphémiques, avec des limites entre les entités graphémiques dans la phrase 80, peut être mise en œuvre au préalable pour que le dispositif 1 se contente d’accéder à des entités graphémiques prédéfinies dans une base de données. Un tel fonctionnement permet une exécution rapide du procédé sur le dispositif 1. Selon un autre fonctionnement, le dispositif 1 peut mettre en œuvre un prétraitement de la phrase 80 afin de définir les limites entre les entités graphémiques. Un tel mode de fonctionnement permet au dispositif 1 de ne pas avoir de limites en termes de textes pouvant servir à l’apprentissage de la lecture. En effet, le dispositif 1 peut alors mettre en œuvre le procédé sur tout texte qui lui est fourni et qui fait l’objet du prétraitement. Ce prétraitement peut être mis en œuvre de façon connue en soi pour découper une phrase 80 entre différentes entités graphémiques et associer une entité phonémique correspondante à chacune de ces entités graphémiques. Pour cela, des entités graphémiques peuvent préalablement être associés à des entités phonémiques correspondantes, puis les entités graphémiques peuvent être classées selon leurs caractéristiques sonores (voyelle, occlusive, fricative, nasale…), puis les entités phonémiques et entités graphémiques peuvent être segmentées à l’échelle souhaitée, l’échelle souhaitée étant typiquement la syllabe. Une telle segmentation en syllabes peut notamment mettre en œuvre l’algorithme décrit dans l’article ‘automatic detection of syllable boundaries in spontaneous speech’, publié en 2010 et disponible à l’adresse https://hal.archives-ouvertes.fr/hal-01393609. L’association entre les entités graphémiques et entités phonémiques peut être réalisée par exemple en mettant en œuvre l’application libre distribuée sous la dénomination eSpeak NG.
L’affichage des entités graphémiques peut être basé sur un stockage préalable d’images avec altération et sans altération des différentes entités graphémiques, en vue de leur affichage sur l’écran durant la mise en œuvre du procédé. L’affichage des entités graphémiques peut être également basé sur un stockage des entités graphémiques sous forme vectorielle, avec l’envoi de paramètres d’altération ou d’affichage sans altération de ces entités graphémiques à une carte graphique pilotant l’écran d’affichage sur la base de paramètres d’affichages. On peut également envisager de générer les images avec altération et sans altération avec le système de traitement du dispositif 1, pour envoyer ces images à la carte graphique de ce dispositif 1. On peut envisager de générer une image globale des entités graphémiques à afficher correspondant à la , appliquer une altération globale de cette image globale pour arriver à l’image avec altération (ici par floutage) illustrée à la , puis mettre en œuvre un affichage sans altération localisé de cette image pour obtenir une image avec une entité graphémique sans altération comme illustré aux figures 4 à 6.
Un prétraitement de l’affichage peut être mis en œuvre comme suit. Le texte de la succession d’entités graphémiques peut faire l’objet d’un prétraitement pour afficher les entités graphémiques avec altération à afficher, pour déterminer les limites des différentes entités graphémiques de la succession, et fixer des paramètres d’affichage sans altération.
L'altération ou l'affichage sans altération des entités graphémiques peut être réalisé en fixant une déviation standard d'un filtre de floutage Gaussien compris entre 0 et 3 fois la taille de fonte de la police. Pour une image sans aucune altération, le rayon sera choisi nul. Pour permettre la détection de l'affichage des entités graphémiques et empêcher leur identification, le rayon ou déviation du filtrage de flou Gaussien sera avantageusement au moins égal à 0,1 fois la taille de la police d’écriture utilisée, et de préférence inférieur à 0,5 fois la taille de la police d’écriture utilisée. Un même rayon de floutage Gaussien pourra être appliqué pour chaque pixel d'une image correspondant à l'entité graphémique à afficher. De tels paramètres d'altération peuvent par exemple être fournis à une carte graphique comme paramètres d'affichage des entités graphémiques. Pour une carte graphique mettant en œuvre l'interface de programmation OpenGL, on pourra lui transmettre des paramètres de nuanceur (pour shader en langue anglaise) de type valeurs de transparence alpha, des valeurs de déviation standard de floutage Gaussien, et des valeurs de position d'application du filtrage Gaussien. Le nuanceur de la carte graphique réalise alors les calculs de floutage/défloutage pour chacun des pixels à afficher, ce qui permet de décharger le système de traitement du dispositif 1.
L’altération et l’affichage sans altération des entités graphémiques peut être réalisé en définissant la dimension des zones d’affichage sur lesquelles les paramètres d’altération et d’affichage sans altération doivent être appliqués. La longueur de la zone d’affichage sur laquelle les paramètres d’altération sont appliqués correspond à la longueur de l’entité graphémique correspondante. Une valeur de paramètre d’affichage sans altération peut être associée à chacun des points de la zone de test. Les valeurs de ce paramètre peuvent initialement être définies en plusieurs points :
-au début et à la fin de la zone d’affichage de l’entité graphémique, la valeur du paramètre correspond à la largeur d’un caractère d’espacement ;
-au centre de l’entité graphémique, la valeur du paramètre est définie à partir de la longueur totale de l’entité graphémique ;
-les valeurs du paramètre en dehors des entités graphémiques peuvent être fixées à une valeur qui garde l’affichage avec altération.
Les autres valeurs de paramètre peuvent être obtenues par interpolation entre la valeur au centre d‘une entité graphémique et la valeur à une extrémité de l’entité graphémique.
-au début et à la fin de la zone d’affichage de l’entité graphémique, la valeur du paramètre correspond à la largeur d’un caractère d’espacement ;
-au centre de l’entité graphémique, la valeur du paramètre est définie à partir de la longueur totale de l’entité graphémique ;
-les valeurs du paramètre en dehors des entités graphémiques peuvent être fixées à une valeur qui garde l’affichage avec altération.
Les autres valeurs de paramètre peuvent être obtenues par interpolation entre la valeur au centre d‘une entité graphémique et la valeur à une extrémité de l’entité graphémique.
Selon une variante, la valeur de ce paramètre n’est pas fixée de façon symétrique par rapport au centre de l’entité graphémique. On peut ainsi prévoir une asymétrie pour que la valeur de ce paramètre soit décalée vers le début ou vers la fin de l’entité graphémique. Pour un sens de lecture de la gauche vers la droite, la position pour laquelle la valeur de ce paramètre est utilisée pourra être décalée légèrement vers la droite.
Comme détaillé auparavant, l’affichage sans altération n’est pas nécessairement appliqué sous l’endroit pointé par l’utilisateur mais sur l’entité graphémique la plus proche ou située au-dessus de l’endroit pointé. En effet, par exemple pour un écran tactile, l’utilisateur sera incité à pointer sous les entités graphémiques à lire, et non sur les entités graphémiques à lire afin que la vision d’une entité graphémique affichée ne soit pas gênée par le doigt de l’utilisateur. Si les entités graphémiques sont affichées sous la forme d’une image globale, les paramètres d’affichage sans altération pourront être appliqués sur une position décalée verticalement au-dessus de l’endroit pointé.
La base de données 14 peut soit être stockée dans une mémoire de masse du dispositif d’assistance 1 accessible à l’utilisateur, soit dans une mémoire volatile du dispositif d’assistance 1 accessible à l’utilisateur, soit être stockée dans un serveur informatique distant, accessible par le dispositif 1.
La base de données 14 peut soit contenir une version vectorielle des entités phonémiques à restituer (par exemple sous forme phonétique), soit un fichier de son à restituer.
La restitution sonore des entités phonémiques associées aux entités graphémiques prend avantageusement en compte la prosodie du texte. La restitution sonore peut ainsi tenir compte du début et de la fin d’une phrase, des espaces entre entités graphémiques ou de la ponctuation entre ces entités graphémiques, ces paramètres de prosodie pouvant être identifiés lors d’un prétraitement du texte. La vitesse de restitution sonore peut également être adaptée à la vitesse de lecture détectée. Les paramètres de prosodie peuvent par exemple être générés au moyen d’une application telle que celle distribuée sous la dénomination eSpeak NG, le procédé peut fournir les paramètres suivants d’adaptation de la restitution sonore de chaque entité phonémique: la vitesse, l’amplitude et la hauteur du son. La vitesse du son peut par exemple être adaptée dans une gamme comprise entre 80 et 140 mots par minute, et corrigée en fonction de la vitesse de lecture détectée (par exemple une correction maximale de ±20 mots par minute). En pratique, on peut limiter la valeur maximale pour ne pas avoir de variation trop importante. Par exemple : l’utilisateur parcourt le texte à une première vitesse (par exemple tactile) correspondant à 100 m/m puis accélère à une deuxième vitesse (toujours tactile) de 130 m/m ; la lecture de restitution sonore de la syllabe parcourue à la deuxième vitesse sera alors de 120 m/m et non pas 130 m/m. Cela permet d’inciter l’utilisateur à ne pas trop accélérer ou décélérer.
Les paramètres de prosodie et les entités phonémiques en version vectorielle peuvent être fournis à une application de synthèse vocale en vue de générer les entités graphémiques à restituer. Une application telle que celle distribuée sous la référence Mbrola peut être utilisée.
Dans les exemples qui précèdent, les entités graphémiques affichées et associées aux entités phonémiques restituées acoustiquement sont des syllabes. Le procédé mis en œuvre favorise ainsi l’assistance à l’apprentissage pour des utilisateurs pour lesquels la méthode syllabique s’avère adaptée. On peut également envisager d’autres types d’entités graphémiques mises en œuvre selon l’invention et associées aux entités phonémiques à restituer, par exemple des lettres alphabétiques, des mots, ou des idéogrammes.
Le dispositif 1 peut faire appel à différentes interfaces pour identifier un pointage de l’utilisateur. Le dispositif 1 peut ainsi comporter un écran tactile pour identifier un point de contact entre l’utilisateur et l’écran tactile, le dispositif 1 peut également être connecté à un dispositif de pointage pour ordinateur (par exemple une souris), à un stylet, ou à une manette, ou le dispositif 1 peut être connecté à un dispositif de suivi oculaire identifiant la position sur l’écran fixée par l’utilisateur.
On peut considérer un pointage vers une entité graphémique si le pointage est effectué de façon effective par l’utilisateur sur cette entité graphémique ou en dessous de cette entité graphémique. Dans l’exemple illustré à la , l’utilisateur a pointé sur une entité graphémique de la succession plutôt qu’en dessous. Afin de permettre à l’utilisateur de bien visionner l’entité graphémique pointée sans altération, cette entité graphémique 802 est avantageusement affichée au-dessus de la zone de pointage et de la succession 81. L’entité graphémique 802 reste affichée à proximité de la succession 81, de sorte que l’utilisateur est incité à poursuivre son pointage vers l’entité graphémique 813.
L’invention a été ici illustrée en utilisant un dispositif 1 de type tablette numérique. On peut également envisager un dispositif 1 de type téléphone smartphone ou de type ordinateur personnel muni d’un écran d’affichage.
On peut également envisager que le dispositif 1 soit muni d’un microphone. Le dispositif 1 peut alors être configuré pour enregistrer l’utilisateur. On peut par exemple envisager que l’utilisateur soit invité à énoncer oralement l’entité phonémique associée à l’entité graphémique pointée. Le dispositif 1 peut alors être configuré pour comparer l’entité phonémique énoncée par l’utilisateur avec l’entité phonémique mémorisée dans la base de données 14. On peut ainsi vérifier si l’utilisateur arrive à restituer vocalement l’entité phonémique associée à l’entité graphémique pointée. Cela permet par exemple de vérifier la qualité de l’apprentissage de l’utilisateur.
Le procédé d’assistance selon l’invention peut être mis en œuvre par un dispositif mémorisant un programme d’ordinateur configuré pour mettre en œuvre ce procédé lorsqu’il est exécuté sur le dispositif. Le procédé d’assistance selon l’invention peut également être mis en œuvre sur un terminal en faisant appel à un serveur fournissant un accès de type logiciel en tant que service. Un fonctionnement en logiciel en tant que service déployé depuis un serveur distant permet la mise en œuvre du procédé sur un terminal présentant des performances réduites.
Le procédé peut être mis en œuvre sous la forme d’un procédé d’affichage d’entités graphémiques et de restitution sonore d’entités phonémiques, interactif avec un pointage de l’utilisateur.
Claims (15)
- Procédé d’assistance à la lecture et à son apprentissage , comprenant les étapes mises en œuvre par un système numérique de :
-afficher une succession (80) d’entités graphémiques adjacentes sur un écran (11), les entités graphémiques affichées (811,812, 813, 814) étant affichées avec une altération de façon à permettre la détection de leur affichage par un utilisateur mais de façon à empêcher leur identification par l’utilisateur ;
-détecter le pointage (7) par l’utilisateur d’une des entités graphémiques affichées avec altération;
-afficher simultanément sur l’écran l’entité graphémique pointée sans altération (802) de façon à permettre son identification par l’utilisateur, et les entités graphémiques adjacentes de l’entité graphémique pointée avec altération (811,813), et restituer acoustiquement à l’utilisateur une entité phonémique (92) associée à l’entité graphémique pointée (802). - Procédé d’assistance selon la revendication 1, dans lequel ladite étape d’affichage sans altération de l’entité graphémique pointée (802) comprend l’affichage sans altération du début (813) de l’entité graphémique adjacente suivante selon l’ordre de lecture.
- Procédé d’assistance selon la revendication 1 ou 2, dans lequel lesdites entités graphémiques sont des syllabes.
- Procédé d’assistance selon la revendication 3, comprenant une étape préalable de préparation de la succession d’entités graphémiques adjacentes à afficher, comprenant :
-la réception d’un texte, la segmentation du texte reçu en une succession de syllabes, et l’association de chacune desdites syllabes à une entité phonémique à restituer acoustiquement. - Procédé d’assistance selon l'une quelconque des revendications 1 à 3, comprenant la récupération des entités graphémiques affichées et des entités phonémiques restituées dans une base de données (14).
- Procédé d’assistance selon l'une quelconque des revendications 1 à 5, dans lequel l’entité phonémique restituée acoustiquement (92) est générée en synthèse vocale à partir de l’entité graphémique pointée affichée (802).
- Procédé d’assistance selon l'une quelconque des revendications précédentes, comprenant :
-la détection du pointage par l’utilisateur de l’entité graphémique avec altération adjacente suivante selon le sens de lecture ;
-la mesure du temps séparant le pointage des deux entités graphémiques pointées adjacentes. - Procédé d’assistance selon la revendication 7, comprenant la détermination d’un niveau ou d’une anomalie de lecture en fonction dudit temps mesuré.
- Procédé d’assistance selon la revendication 7 ou 8, comprenant l’adaptation de la restitution acoustique des entités phonémiques en fonction dudit temps mesuré.
- Procédé d’assistance selon l'une quelconque des revendications précédentes, dans lequel la détection du pointage est effectuée par un contact sur un écran tactile (11), par un suivi oculaire de l’utilisateur ou par un dispositif de pointage pour ordinateur.
- Procédé d’assistance selon la revendication 10, dans lequel ledit écran est un écran tactile (11) et dans lequel la détection du pointage est effectuée par un contact sur l’écran tactile, l’affichage sans altération de l’entité graphémique pointée étant réalisé au-dessus du point de contact avec l’écran tactile.
- Procédé d’assistance selon l'une quelconque des revendications précédentes, comprenant la détection de l’ordre de pointage des entités graphémiques et la génération d’un retour utilisateur si les entités graphémiques ne sont pas pointées selon un sens de lecture prédéfini de la succession d’entités graphémiques, ou comprenant la détection de la vitesse de pointage des entités graphémiques et la génération d’un signal d’erreur si cette vitesse déterminée est supérieure à un seuil prédéfini.
- Procédé d’assistance selon l'une quelconque des revendications précédentes, dans lequel l’affichage sans altération de l’entité graphémique pointée comprend l’envoi, à une carte graphique de pilotage dudit écran, de paramètres d’affichage sans altération et de paramètres de zone d’affichage pour l’application des paramètres d’affichage sans altération.
- Procédé d’assistance selon l'une quelconque des revendications précédentes, comprenant la restitution d’un indicateur visuel ou sonore identifiant une entité graphémique affichée avec altération et sur laquelle un utilisateur est invité à pointer.
- Système d’assistance à l’apprentissage de la lecture, caractérisé en ce qu’il comprend :
-un dispositif de traitement numérique (13), présentant une interface de connexion avec un dispositif de restitution sonore (15), une interface de connexion avec une interface homme-machine de pointage, une interface de connexion avec un écran d’affichage, le dispositif de traitement numérique (13) étant configuré pour :
-envoyer des commandes d’affichage d’une succession (80) d’entités graphémiques adjacentes sur l’interface de connexion à l’écran (11), les entités graphémiques à afficher (811,812, 813, 814) présentant une altération de façon à permettre la détection de leur affichage par un utilisateur mais de façon à empêcher leur identification par l’utilisateur ;
-traiter des informations de pointage de l’interface homme-machine, de façon à détecter le pointage (7) par l’utilisateur d’une des entités graphémiques affichées avec altération;
-envoyer des commandes d’affichage simultané sur l’écran de l’entité graphémique pointée sans altération (802) de façon à permettre son identification par l’utilisateur, et des entités graphémiques adjacentes de l’entité graphémique pointée avec altération (811,813), et des commandes de restitution acoustique à l’utilisateur d’une entité phonémique (92) associée à l’entité graphémique pointée (802).
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2100991A FR3119481B1 (fr) | 2021-02-02 | 2021-02-02 | Procédé et dispositif d’assistance à la lecture et à son apprentissage par focalisation de l’attention. |
US17/588,642 US20220262340A1 (en) | 2021-02-02 | 2022-01-31 | Method and device for assisting reading and learning by focusing attention |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2100991A FR3119481B1 (fr) | 2021-02-02 | 2021-02-02 | Procédé et dispositif d’assistance à la lecture et à son apprentissage par focalisation de l’attention. |
FR2100991 | 2021-02-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
FR3119481A1 true FR3119481A1 (fr) | 2022-08-05 |
FR3119481B1 FR3119481B1 (fr) | 2023-12-22 |
Family
ID=75339902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR2100991A Active FR3119481B1 (fr) | 2021-02-02 | 2021-02-02 | Procédé et dispositif d’assistance à la lecture et à son apprentissage par focalisation de l’attention. |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR3119481B1 (fr) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998006082A1 (fr) * | 1996-08-07 | 1998-02-12 | Walker Randall C | Traitement de textes |
WO2003104936A2 (fr) * | 2002-06-10 | 2003-12-18 | Peter Dorwrick | Jeu et systeme d'apprentissage informatique base sur la memoire |
WO2006105897A1 (fr) * | 2005-04-04 | 2006-10-12 | Gerd Scheimann | Appareil electronique d'aide a l'apprentissage de la lecture, et procede faisant appel a un appareil electronique d'aide a l'apprentissage de la lecture |
EP2778885A1 (fr) * | 2013-03-15 | 2014-09-17 | Orange | Procédé de traitement d'un geste composé, dispositif et terminal d'utilisateur associés |
FR3067140A1 (fr) * | 2017-06-01 | 2018-12-07 | Majenat Sas | Procede de generation d'un document textuel segmente en rheses destine a etre mis graphiquement en evidence |
-
2021
- 2021-02-02 FR FR2100991A patent/FR3119481B1/fr active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998006082A1 (fr) * | 1996-08-07 | 1998-02-12 | Walker Randall C | Traitement de textes |
WO2003104936A2 (fr) * | 2002-06-10 | 2003-12-18 | Peter Dorwrick | Jeu et systeme d'apprentissage informatique base sur la memoire |
WO2006105897A1 (fr) * | 2005-04-04 | 2006-10-12 | Gerd Scheimann | Appareil electronique d'aide a l'apprentissage de la lecture, et procede faisant appel a un appareil electronique d'aide a l'apprentissage de la lecture |
EP2778885A1 (fr) * | 2013-03-15 | 2014-09-17 | Orange | Procédé de traitement d'un geste composé, dispositif et terminal d'utilisateur associés |
FR3067140A1 (fr) * | 2017-06-01 | 2018-12-07 | Majenat Sas | Procede de generation d'un document textuel segmente en rheses destine a etre mis graphiquement en evidence |
Non-Patent Citations (1)
Title |
---|
MARIE-FRANCE EHRLICH ET AL: "Lire, comprendre, m?moriser les textes sur ?cran vid?o", COMMUNICATION ET LANGAGES, vol. 65, no. 1, 1 January 1985 (1985-01-01), pages 91 - 106, XP055439796, ISSN: 0336-1500, DOI: 10.3406/colan.1985.1722 * |
Also Published As
Publication number | Publication date |
---|---|
FR3119481B1 (fr) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200286467A1 (en) | Adaptive interface in a voice-based networked system | |
US10769495B2 (en) | Collecting multimodal image editing requests | |
US9697871B2 (en) | Synchronizing recorded audio content and companion content | |
JP5014449B2 (ja) | 会議システム、情報処理装置、会議支援方法、情報処理方法、及びコンピュータプログラム | |
US11669860B2 (en) | Methods, systems, and media for automated compliance determination of content items | |
CA2921476A1 (fr) | Procede d'assistance a l'exploration visuelle pour un individu atteint d'une pathologie retinienne se traduisant par un scotome | |
WO2014101504A1 (fr) | Procédé et dispositif permettant de détecter des mots dans un programme d'application | |
US20160019801A1 (en) | System and method for improving presentation skills | |
CN111259135A (zh) | 文本的显示方法、提词器及提词系统 | |
CN113703579A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
FR2913552A1 (fr) | Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant | |
FR3119481A1 (fr) | Procédé et dispositif d’assistance à la lecture et à son apprentissage par focalisation de l’attention. | |
US9055161B2 (en) | Text processing method for a digital camera | |
FR3119482A3 (fr) | Procédé et dispositif d’assistance à la lecture et à son apprentissage. | |
US11335080B2 (en) | System for suggesting search terms | |
US10764551B2 (en) | Method for configuring image-recording settings | |
US20210134177A1 (en) | System and method for displaying voice-animated multimedia content | |
US20220020365A1 (en) | Automated assistant with audio presentation interaction | |
US20210065691A1 (en) | Automatic speech sensitivity adjustment feature | |
EP3107302A1 (fr) | Procédé et dispositif de substitution d'une partie d'une sequence video | |
KR20210102620A (ko) | 동영상 기반의 언어장애 분석 시스템, 방법 및 이를 수행하기 위한 프로그램을 기록한 기록매체 | |
EP3928501A1 (fr) | Procédé de gestion d'accès d'un utilisateur à un service vocal, dispositif, système et programmes correspondants | |
FR3136881A1 (fr) | Procédé et dispositif d’identification et d’extension du contexte de saisie d’un utilisateur, pour effectuer des suggestions contextualisées quelle que soit l’application logicielle utilisée. | |
CN111027317A (zh) | 一种听写报读进度的控制方法及电子设备 | |
US20240257811A1 (en) | System and Method for Providing Real-time Speech Recommendations During Verbal Communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20220805 |
|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |