FR3106911A1 - Procédé de stimulation tactile d’un doigt glissant sur une surface tactile et interface haptique mettant en œuvre ce procédé - Google Patents
Procédé de stimulation tactile d’un doigt glissant sur une surface tactile et interface haptique mettant en œuvre ce procédé Download PDFInfo
- Publication number
- FR3106911A1 FR3106911A1 FR2000995A FR2000995A FR3106911A1 FR 3106911 A1 FR3106911 A1 FR 3106911A1 FR 2000995 A FR2000995 A FR 2000995A FR 2000995 A FR2000995 A FR 2000995A FR 3106911 A1 FR3106911 A1 FR 3106911A1
- Authority
- FR
- France
- Prior art keywords
- finger
- tactile
- contact
- sliding
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000000638 stimulation Effects 0.000 title claims abstract description 23
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 239000000725 suspension Substances 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000035807 sensation Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 239000000806 elastomer Substances 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003534 oscillatory effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005339 levitation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000314 lubricant Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Procédé de stimulation tactile d’un doigt glissant sur une surface tactile et interface haptique mettant en œuvre ce procédé Un aspect de l’invention concerne un procédé de stimulation tactile d’un doigt glissant sur une surface tactile (20) d’une interface haptique (10), comportant, lorsqu’un doigt est détecté en contact avec la surface tactile (110), une opération (120-140) de détermination d’une direction de glissement du doigt sur la surface tactile et une opération (160) de génération de déplacements de la surface tactile (20), dans le plan de ladite surface, suivant une direction orthogonale à la direction de glissement du doigt. Un autre aspect de l’invention concerne une interface haptique (10) mettant en œuvre ce procédé. Figure à publier avec l’abrégé : Figure 1
Description
DOMAINE TECHNIQUE DE L’INVENTION
La présente invention concerne un procédé pour générer des stimulations tactiles destinées à être ressenties par l’utilisateur d’une interface haptique. L’invention concerne également une interface haptique mettant en œuvre ce procédé.
L’invention trouve des applications dans les domaines de l’haptique pour procurer des sensations tactiles aux utilisateurs d’interfaces haptiques et, en particulier, lorsque l’utilisateur est en contact glissant avec la surface tactile de l’interface haptique.
ARRIERE-PLAN TECHNOLOGIQUE DE L’INVENTION
Il est connu, dans le domaine de l’haptique, de chercher à reproduire artificiellement, sur une surface lisse, les sensations tactiles ressenties par une personne lorsqu’elle touche certaines matières ou textures, ou lorsqu’elle utilise certains objets présentant une mobilité interne, comme des textiles pileux, des boutons d’interrupteurs, des molettes crantées, etc.
Il est connu, en particulier, de procurer des sensations tactiles à l’utilisateur d’une interface haptique – appelée également écran avec retour tactile - pour simuler, par exemple, l’appui d’une touche ou le ressenti d’une texture lorsque l’utilisateur est en contact physique avec l’interface haptique, notamment lorsqu’il pose son doigt sur la surface tactile de l’interface haptique. Il existe des dispositifs conçus pour procurer de telles sensations. Ces dispositifs comportent généralement un arrangement matériel capable de déplacer la surface de contact, ou surface tactile, sous l’effet d’un signal de commande généré en réponse à la détection d’un point de contact entre le doigt de l’utilisateur et ladite surface tactile.
Ces dispositifs sont prévus pour un contact statique du doigt (ou autre partie du corps de l’utilisateur) avec la surface de contact, c’est-à-dire l’appui d’un doigt à un emplacement de la surface de contact. Or, de nombreuses utilisations des interfaces haptiques nécessitent un contact glissant des doigts sur la surface de contact, par exemple, pour zoomer sur une zone d’affichage, pour atteindre avec le doigt un emplacement ciblé sur la surface de contact, ou pour reproduire un champ de texture présenté dans une région de la surface de contact, ou encore simuler le basculement d’un interrupteur à glissière reproduit par l’interface. On a remarqué que les dispositifs proposant des petits déplacements oscillatoires de la surface de contact pour stimuler le doigt ne sont guère adaptés aux contacts glissants car l’effet des petits déplacements oscillatoires est considérablement atténué, le contact glissant étant moins propre à transmettre des signaux mécaniques vibratoires qu’un contact statique. De plus, les signaux mécaniques sont souvent masqués par le bruit de frottement engendré par le glissement du doigt sur la surface de contact.
Plusieurs techniques de reproduction, sur une surface tactile généralement lisse, des sensations tactiles correspondant à des surfaces texturées ont été divulguées qui ont toutes pour but de répondre à ce problème de contact glissant. L’une de ces techniques propose de forcer la surface de contact à vibrer à une fréquence ultrasonique (c'est-à-dire une fréquence supérieure à 20 KHz). Cette technique a été décrite dans l’article de T. Watanabe et S. Fukui, intitulé «A method for controlling tactile sensation of surface roughness using ultrasonic vibration», IEEE International Conference on Robotics and Automation, 1995, pp. 1134-1139]. Des améliorations ont également été décrites, notamment dans la publication de M.Wiertlewski, R.F. Friesen & J.E. Colgate, intitulée «Partial squeeze film levitation modulates fingertip friction», Proceedings of the National Academy of Sciences, 2016, 113(33):9210-9215. Dans cette technique, la surface de contact est généralement une plaque mince en métal, en verre ou en céramique, sur laquelle sont fixés des transducteurs piézoélectriques. La fréquence d’excitation est choisie pour correspondre à une fréquence propre de la plaque mince de façon à établir une onde stationnaire de flexion dans le domaine solide de cette plaque. La plaque mince est conçue de façon à ce que les ondes stationnaires de flexion prennent place à des fréquences suffisamment hautes et que des longueurs d’ondes soient suffisamment courtes en comparaison avec la taille d’un doigt. Ainsi, lorsque l’amplitude de la vibration dépasse quelques micromètres, le coefficient de friction entre le doigt et la plaque mince diminue fortement. Les procédés pour reproduire tactilement des textures sont basés généralement sur un principe de détection de la position du contact glissant d’un doigt en déplacement dans un champ à deux dimensions et de modulation du coefficient de friction par modulation de l’amplitude de la vibration ultrasonore. Ces procédés mettent généralement en œuvre un algorithme de calcul de la valeur scalaire d’une fonction de la position du doigt qui représente une texture dans le domaine . L’amplitude est alors la suivante:
Plusieurs techniques de reproduction, sur une surface tactile généralement lisse, des sensations tactiles correspondant à des surfaces texturées ont été divulguées qui ont toutes pour but de répondre à ce problème de contact glissant. L’une de ces techniques propose de forcer la surface de contact à vibrer à une fréquence ultrasonique (c'est-à-dire une fréquence supérieure à 20 KHz). Cette technique a été décrite dans l’article de T. Watanabe et S. Fukui, intitulé «A method for controlling tactile sensation of surface roughness using ultrasonic vibration», IEEE International Conference on Robotics and Automation, 1995, pp. 1134-1139]. Des améliorations ont également été décrites, notamment dans la publication de M.Wiertlewski, R.F. Friesen & J.E. Colgate, intitulée «Partial squeeze film levitation modulates fingertip friction», Proceedings of the National Academy of Sciences, 2016, 113(33):9210-9215. Dans cette technique, la surface de contact est généralement une plaque mince en métal, en verre ou en céramique, sur laquelle sont fixés des transducteurs piézoélectriques. La fréquence d’excitation est choisie pour correspondre à une fréquence propre de la plaque mince de façon à établir une onde stationnaire de flexion dans le domaine solide de cette plaque. La plaque mince est conçue de façon à ce que les ondes stationnaires de flexion prennent place à des fréquences suffisamment hautes et que des longueurs d’ondes soient suffisamment courtes en comparaison avec la taille d’un doigt. Ainsi, lorsque l’amplitude de la vibration dépasse quelques micromètres, le coefficient de friction entre le doigt et la plaque mince diminue fortement. Les procédés pour reproduire tactilement des textures sont basés généralement sur un principe de détection de la position du contact glissant d’un doigt en déplacement dans un champ à deux dimensions et de modulation du coefficient de friction par modulation de l’amplitude de la vibration ultrasonore. Ces procédés mettent généralement en œuvre un algorithme de calcul de la valeur scalaire d’une fonction
Une autre technique propose une interface haptique dans laquelle la surface de contact est une plaque mince rigide faite d’un matériau diélectrique comportant une électrode sur la face arrière de ladite plaque. Lorsqu’une forte différence de potentiel électrique oscillante est établie entre le doigt et l’électrode, des charges électriques migrent dans le doigt et la force de Coulomb attire le doigt vers la plaque, ce qui a pour effet d’augmenter le coefficient de friction. Une telle technique a été décrite dans les publications «Perception by the skin of electrically induced vibrations», de Mallinckrodt, E., Hughes, A. et Sleator, W. Jr, 1953, Science 118:277–278 et «Contact mechanics between the human finger and a touchscreen under electroadhesion», de Ayyildiz, M., Scaraggi, M., Sirin, O., Basdogan, C., & Persson, B. N., 2018, Proceedings of the National Academy of Sciences, 115(50), 12668-12673. La mise en œuvre du procédé pour reproduire tactilement des textures est similaire à celle décrite précédemment pour la première technique avec la différence que, dans cette technique, le signal d’excitation augmente le coefficient de friction au lieu de le diminuer, comme dans la précédente technique.
Une autre technique encore propose de causer des vibrations dans une surface rigide en contact avec un doigt glissant. Les vibrations peuvent être effectuées dans la direction normale à la surface de contact, comme décrit dans l’article «Toward quality texture display: vibrotactile stimuli to modify material roughness sensations», de Asano, S., Okamoto, S., Matsuura, Y., et Yamada, Y., 2014, Advanced Robotics, 28(16), 1079-1089. Les vibrations peuvent également être effectuées dans la direction tangentielle à la surface de contact, comme décrit dans la publication "Perceptual constancy in the reproduction of virtual tactile textures with surface displays", de Bochereau, S., Sinclair, S., & Hayward, V., 2018, ACM Transactions on Applied Perception (TAP), 15(2), 10 ou la publication "The spatial spectrum of tangential skin displacement can encode tactual texture", de Wiertlewski, M., Lozada, J., et Hayward, V., 2011, IEEE Transactions on Robotics, 27(3), 461-472. Des variantes ont également été proposées dans lesquelles les vibrations sont effectuées dans des directions arbitraires en fonction de l’amplitude relative des composantes normales et tangentielles, comme décrit dans la demande de brevet US 2018/0267612 A1. Cependant, dans de nombreuses applications, il est indésirable de faire vibrer la surface de contact selon une composante normale à ladite surface car les interfaces haptiques comportant une telle surface de contact émettent alors des ondes sonores, qui sont d’autant plus intenses que les fréquences employées sont hautes et les dimensions de la surface grandes, ce qui est préjudiciable à la qualité de l’interface homme-machine.
Ces différentes techniques de reproduction des sensations tactiles présentent un inconvénient commun, à savoir la forte sensibilité intrinsèque aux conditions de glissement du doigt sur la surface de contact. On entend par «conditions de glissement», la vitesse de glissement, l’effort normal c'est-à-dire la force de l’appui sur la surface de contact, la durée du contact, l’état d’hygrométrie du doigt, l’hygrométrie des conditions ambiantes et la présence de lubrifiants liquides ou solides sur la surface de contact ou sur le doigt. En effet, toutes ces conditions ont tendances à modifier fortement l’amplitude de la force de frottement due au glissement du doigt et, par conséquent, limitent la capacité des procédés à moduler la force de glissement pour reproduire les textures ou des signaux tactiles isolés lors du glissement. Ce problème est particulièrement critique et fait l’objet de recherches pour concevoir des techniques de régulation de l’effort de friction en boucles fermées pour le rendre indépendant des conditions de glissement. L’article «Overcoming the variability of fingertip friction with surface-haptic force-feedback», de Huloux, N., Monnoyer, J., Boyron, M., & Wiertlewski, M., 2018, International Conference on Human Haptic Sensing and Touch Enabled Computer Applications (pp. 326-337), Springer, passe en revue certaines de ces techniques de régulation. L’article «Closed loop application of electroadhesion for increased precision in texture rendering », de Grigorii, R. V., & Colgate, J. E., 2020, arXiv preprint:2001.01868 décrit une technique similaire pour compenser les variations non désirées du coefficient de friction. Toutefois, ces différentes techniques de régulation présentent toutes l’inconvénient d’augmenter considérablement la complexité des procédés et des interfaces haptiques destinées à reproduire des sensations tactiles.
Il existe donc un réel besoin d’un procédé permettant de reproduire, sur une surface lisse, des sensations de textures lorsque le doigt d’un utilisateur est en contact glissant avec ladite surface.
Pour répondre aux problèmes évoqués ci-dessus de sensibilité intrinsèque aux conditions de glissement du doigt sur la surface de contact, le demandeur propose un procédé de stimulation tactile d’un doigt glissant sur une surface tactile dans lequel les déplacements de la surface tactile sont effectués dans le plan de ladite surface, suivant une direction orthogonale à la direction de glissement du doigt.
Selon un premier aspect, l’invention concerne un procédé de stimulation tactile d’un doigt glissant sur une surface tactile d’une interface haptique, comportant, lorsqu’un doigt est détecté en contact avec la surface tactile, une opération de détermination d’une direction de glissement du doigt sur la surface tactile et une opération de génération de déplacements de la surface tactile, dans le plan de ladite surface, suivant une direction orthogonale à la direction de glissement du doigt.
Ce procédé de stimulation permet de générer des mouvements de la surface tactile, pouvant reproduire artificiellement, sur la surface lisse de la surface tactile, des sensations tactiles ressenties par une personne lorsqu’elle touche certaines matières ou textures.
Avantageusement, l’opération de détermination de la direction de glissement comporte les étapes suivantes :
- mesurer les coordonnées cartésiennes
- déterminer la direction de la vélocité de déplacement du point de contact sur la surface tactile, et
- déterminer, dans le plan de la surface tactile, une direction orthogonale à la direction de la vélocité de déplacement.
Le point de contact est l’emplacement du doigt de l’utilisateur sur la surface tactile. Bien entendu, l’utilisateur peut être en contact direct avec l’interface haptique 10, par l’intermédiaire d’une partie de son corps et notamment d’un doigt, ou en contact indirect, par l’intermédiaire d’un équipement adapté tel qu’un stylet ou un gant tactile. La suite de la description sera donnée pour l’exemple d’un doigt de l’utilisateur, étant entendu qu’il peut s’agir d’une autre partie du corps de l’utilisateur ou d’un équipement adapté.
Outre les caractéristiques qui viennent d’être évoquées dans le paragraphe précédent, le procédé de stimulation tactile selon un aspect de l’invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes, considérées individuellement ou selon toutes les combinaisons techniquement possibles:
- l’opération de génération de déplacement de la surface tactile consiste à activer au moins un actionneur adapté pour générer un déplacement de la surface tactile dans son propre plan.
- il comporte, après l’opération de détermination de la direction de glissement du doigt, une opération de détermination d’une amplitude de la stimulation tactile.
- le déplacement de la surface tactile est contrôlé en direction et en amplitude.
- il comporte une étape de traitement des signaux de mesures des coordonnées du point de contact pour limiter des bruits générant une incertitude des mesures.
- la direction de la vélocité de déplacement est déterminée par différentiation, au cours du temps, des coordonnées du point de contact du doigt sur la surface tactile.
- la direction de la vélocité de déplacement est déterminée par détection de l’effort appliqué par le doigt sur la surface tactile dans un plan tangent à ladite surface tactile, cet effort étant aligné à la vélocité de déplacement.
- la direction de la vélocité de déplacement est déterminée par détection optique ou acoustique de la trajectoire du doigt sur la surface tactile.
Un autre aspect de l’invention concerne une interface haptique mettant en œuvre le procédé ci-dessus et comportant :
- une surface tactile,
- un système d’actionnement sur lequel est montée la surface tactile, adapté pour générer un déplacement de ladite surface,
- un dispositif de détection et de localisation d’au moins un point de contact entre le doigt et la surface tactile, et
- une unité de traitement adaptée pour au moins déterminer la direction de glissement du doigt sur la surface tactile et pour commander l’actionneur.
Cette interface haptique peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes, considérées individuellement ou selon toutes les combinaisons techniquement possibles:
- la surface tactile est suspendue à un cadre fixe par des suspensions élastiques.
- les suspensions élastiques sont des sections minces en élastomère.
- le système d’actionnement comporte au moins deux actionneurs disposés orthogonalement l’un par rapport à l’autre, sous la surface tactile.
BREVE DESCRIPTION DES FIGURES
D’autres avantages et caractéristiques de l’invention apparaîtront à la lecture de la description qui suit, illustrée par les figures dans lesquelles:
DESCRIPTION DETAILLEE
Un exemple de réalisation d’un procédé de stimulation tactile d’un doigt sur une surface tactile, lorsque le doigt de l’utilisateur est en contact glissant avec ladite surface, est décrit en détail ci-après, en référence aux dessins annexés. Cet exemple illustre les caractéristiques et avantages de l'invention. Il est toutefois rappelé que l'invention ne se limite pas à cet exemple.
Sur les figures, les éléments identiques sont repérés par des références identiques. Pour des questions de lisibilité des figures, les échelles de taille entre éléments représentés ne sont pas respectées.
La figure1 représente, selon une vue de dessus schématique, une surface tactile 20, par exemple la surface d’un écran tactile de téléphone portable, avec un contact glissant 12, représenté par sa trajectoire . Ce contact glissant 12, comme tous contacts glissants sur une surface tactile, s’étend dans un plan de repère ou et sont des vecteurs unitaires et les deux directions principales du plan de la surface tactile 20, ou surface de contact. Le contact glissant 12 comporte une zone 14, avec un centroïde , correspondant à la zone de contact du doigt avec la surface tactile 20. Le contact glissant 12 s’étend suivant une trajectoire , propre à chaque contact glissant, dans le repère . En d’autres termes, la trajectoire correspond au chemin parcouru par le centroïde de la zone de contact 14 dans le repère , la zone 14 étant représentée sur la figure1 à un instant t quelconque de ce chemin.
Le centroïde étant mobile et sa position étant mesurée dans le repère global , un repère local peut être défini. Si la vitesse de glissement est:
où s est l’abscisse curviligne, alors le vecteur de vitesse de glissement - aussi appelé vélocité de glissement - tangent à la trajectoire de la zone de contact 14 est , où est le vecteur unitaire indiquant la direction de la vélocité de glissement définie par: .
Le centroïde
où s est l’abscisse curviligne, alors le vecteur de vitesse de glissement - aussi appelé vélocité de glissement - tangent à la trajectoire
Un vecteur peut alors être défini, orthogonal à la trajectoire et dans la direction duquel la vélocité de glissement g est nulle si est un vecteur normal à la surface tactile 20. Le vecteur définit ainsi la direction orthogonale à la direction de la vélocité de glissement.
Le procédé de stimulation tactile selon l’invention propose de générer des déplacements de la surface tactile 20, dans le plan , suivant une direction orthogonale à la trajectoire de glissement du doigt. Il propose notamment de déterminer la direction de la vélocité de glissement du doigt et la direction orthogonale à la direction pour définir la direction de déplacement des mouvements de la surface tactile 20. La trajectoire peut être une trajectoire choisie par l’utilisateur et qui, par conséquent, n’est pas connue à l’avance par l’interface. Au contraire, la trajectoire peut être connue à l’avance, par exemple lorsque l’interface indique un chemin à suivre ou lorsque la surface tactile est longue et étroite. Quelle que soit la trajectoire (connue à l’avance ou non), le procédé selon l’invention consiste à déplacer la surface tactile suivant une direction orthogonale à cette trajectoire. Lorsque la trajectoire n’est pas connue à l’avance, le procédé détermine la trajectoire à partir des coordonnées cartésiennes du point de contact. Lorsque la trajectoire est connue à l’avance, le procédé détermine cette trajectoire à partir de données préalablement mémorisées dans l’interface.
Un exemple des différentes opérations et étapes du procédé sont représentées dans un diagramme fonctionnel, sur la figure2. Dans cet exemple de la figure2, le procédé de stimulation tactile 100 comporte une première opération 110 qui consiste à détecter la présence d’un doigt en contact avec la surface tactile 20. Cette détection d’un doigt en contact avec la surface tactile peut être réalisée au moyen de différentes techniques communément utilisées dans les dispositifs tactiles tels que les écrans tactiles des smartphones, kiosques de distribution, caisses enregistreuses ou autres dispositifs informatiques. Les techniques les plus courantes font appel à des méthodes capacitives. D’autres méthodes peuvent bien entendu être utilisées.
Lorsque la présence d’un doigt sur la surface tactile est détectée, c'est-à-dire lorsqu’un point de contact est détecté (test 110), le procédé comporte, à l’étape 120, la détermination de la position de la zone de contact 14 en mesurant les coordonnées cartésiennes et du point de contact dans le repère de la surface tactile 20.
Le procédé comporte ensuite, à l’étape 130, l’estimation de la direction de la vélocité de glissement, de façon plus ou moins précise. En effet, une détermination même approximative est suffisante pour la mise en œuvre du procédé de l’invention. Plusieurs méthodes, plus ou moins aisées à mettre en œuvre et apportant des résultats plus ou moins précis, peuvent être utilisées pour déterminer la direction de la vélocité de glissement du doigt sur la surface tactile. Une méthode est basée sur le calcul de l’incrément de position du point de contact. Cette méthode consiste à détecter la position de la zone de contact 14 du doigt pour en déduire la direction de glissement par différenciation au cours du temps. Il apparaîtra clairement à l’homme du métier que cette méthode donne des résultats peu précis quand la vitesse de glissement est faible et que la résolution de la détection de la position du point de contact est faible. Il existe, cependant, des moyens algorithmiques permettant de rendre l’estimation fiable même en présence d’incertitudes de mesure. Un exemple d’un tel algorithme est décrit, par exemple dans l’article intitulé «A New computational model of friction applied to haptic rendering» de Hayward, V. et Armstrong, B. publié dans Experimental Robotics VI, Peter Corke and James Trevelyan (Eds), Lecture Notes in Control and Information Sciences, Vol. 250, Springer-Verlag, 2000, pp. 403-412.
Des améliorations peuvent également être envisagées afin de limiter les bruits générant une incertitude des mesures. Par exemple, l’incertitude due à la différenciation d’un signal bruité peut être réduite par traitement du signal. Le traitement peut être, par exemple, un lissage ou toute autre forme de filtrage, comme le filtrage de Kalman. L’incertitude des mesures peut également être améliorée en utilisant des observateurs asymptotiques et de reconstructeurs d’état sans différenciation.
Une autre méthode de détermination de la direction de la vélocité de glissement du doigt est basée sur la mesure de l’effort tangentiel appliqué à la surface tactile par le doigt. Cette méthode consiste à détecter l’effort appliqué à la surface tactile dans le plan tangent à ladite surface et d’en déduire la direction de glissement, puisque que cet effort est toujours aligné à la vélocité de glissement. Cette méthode a l’avantage de procurer une valeur de la direction de glissement fiable même quand la vitesse est faible, ou même nulle.
La mesure de l’effort appliqué à la surface tactile peut être réalisée, par exemple, au moyen de jauges de contraintes ou de capteurs de micro-déplacements optiques. Elle peut également être réalisée par des mesures liées aux propriétés de la zone de contact du doigt avec la surface tactile, comme par exemple l’estimation de l’aire de contact du doigt avec la surface ou la mesure de la densité surfacique du contact réel du doigt avec la surface.
D’autres méthodes, par exemple extrinsèques à l’interface tactile, peuvent être utilisées pour estimer la direction de la vélocité de glissement du doigt. Ces méthodes peuvent, par exemple, mettre en œuvre des moyens optiques, acoustiques ou magnétiques pour détecter ou inférer la trajectoire du doigt en contact avec la surface tactile.
Une fois la direction de la vélocité de glissement du doigt estimée, le procédé 100 propose de déterminer, à l’étape 140, la direction orthogonale à la trajectoire du doigt sur la surface tactile. Cette direction orthogonale peut être déterminée par calcul à partir de la direction , comme expliqué précédemment en lien avec la figure1. Le vecteur est facilement calculé en effectuant le produit vectoriel du vecteur par un vecteur , vecteur unitaire orthogonal à la surface tactile, selon la formule .
Le procédé 100 peut comporter ensuite une étape 150 consistant à déterminer l’amplitude de la stimulation du doigt. L’amplitude de la stimulation peut être déterminée en utilisant des méthodes connues. Elle peut, par exemple, être déterminée en calculant la valeur scalaire d’une fonction de la position du doigt qui représente une texture dans un domaine . L’amplitude est alors la suivante : Par exemple si l’on désire créer un effet de rugosité périodique lorsque le doigt glisse dans la direction de dans le domaine rectangulaire ,
alors où représente l’amplitude des déplacements de la surface tactile dans la direction et où représente la fréquence spatiale de la texture périodique. Si, dans un autre exemple, on désire créer un effet de texture soyeuse, alors on peut choisir une fonction telle que sa valeur soit une réalisation d'un processus aléatoire qui suit une loi normale en et en , c’est à dire un bruit blanc.
Le procédé 100 peut comporter ensuite une étape 150 consistant à déterminer l’amplitude de la stimulation du doigt. L’amplitude
alors
Le procédé 100 comporte enfin une étape 160 de génération des déplacements de la surface tactile. Ces déplacements sont prévus pour être effectués dans le propre plan de la surface tactile 20, c'est-à-dire le plan des plus grandes dimensions et de la surface tactile. Autrement dit, les déplacements sont réalisés suivant la direction , la direction ou toute direction intermédiaire dans le repère . La direction des déplacements, ou mouvements, de la surface tactile est selon la direction , orthogonale à la trajectoire du contact glissant, déterminée à l’étape 140. Ces déplacements ou mouvements sont mis en œuvre avec une amplitude de stimulation, par exemple l’amplitude déterminée à l’étape 150 du procédé de la figure2. Ainsi, l’actionnement de la surface tactile est commandé en tenant compte de l’amplitude et de la direction de la stimulation.
Ainsi, le procédé 100 a pour effet de provoquer une stimulation tactile du doigt, indépendante des mouvements de glissement de ce doigt sur la surface tactile indépendante aussi des bruits de frottement du doigt sur ladite surface. Ces stimulations peuvent, par exemple, recréer l’effet d’une texture et simuler une texture sur la surface tactile.
Comme montré sur la figure2, les différentes étapes du procédé 100 sont effectuées en boucle, à une cadence prédéfinie, tant que la stimulation est désirée, ce qui est contrôlé par l’étape 170. De préférence, la boucle est répétée à une cadence élevée afin que l’utilisateur ressente en temps réel les stimulations.
Le procédé selon l’invention, et notamment le procédé selon l’exemple de la figure2, peut être mis en œuvre dans une interface haptique telle que celle représentée sur les figures3 et4. Selon cet exemple, l’interface haptique 10 comporte:
- une surface tactile 20 par laquelle l’utilisateur peut interagir avec ladite interface haptique,
- un dispositif de détection et de localisation assurant la détection du contact du doigt sur la surface tactile,
- un système d’actionnement 30, sous la surface tactile 20, assurant un déplacement de ladite surface tactile 20, et
- une unité de traitement 40 assurant la mise en œuvre du procédé de l’invention et le pilotage des actionneurs 30.
La surface tactile 20, appelée aussi surface de contact, est la face de l’interface haptique 10 par laquelle l’utilisateur entre en contact avec ladite interface. La surface tactile 20 peut être une plaque rigide, par exemple réalisée dans un matériau transparent, de forme rectangulaire, comme représenté sur les figures3 et 4. L’homme du métier comprendra que la surface tactile peut prendre d’autres formes que rectangulaires, par exemple circulaire, triangulaire ou trapézoïdale. Elle peut également prendre d’autres formes que celle d’une plaque. Elle peut être, par exemple, semi-sphérique avec une face bombée. Elle peut être aussi une pièce de forme arbitraire, possédant des surfaces gauches ou des surfaces réglées. Dans ces cas plus généraux, les calculs décrits ci-dessous s’étendent facilement en considérant le plan comme étant le plan tangent à la surface gauche ou réglée au point de contact, comme cela est bien connu de l’homme du métier familier avec la géométrie des surfaces.
Le dispositif de détection et de localisation, non représenté sur les figures, détecte le contact du doigt de l’utilisateur et détermine les coordonnées cartésiennes et du point de contact dans le repère de la surface tactile 20. Un tel dispositif de détection et de localisation est bien connu dans le domaine des surfaces tactiles et ne sera donc pas décrit plus en détail.
Le système d’actionnement 30 de l’interface haptique génère les déplacements suivant deux directions principales de la surface tactile 20 qui une fois combinés génère des déplacements dans toute direction désirée. En effet, le système d’actionnement est configuré pour appliquer de petits déplacements à la surface tactile 20, dans le plan de ladite surface tactile, c'est-à-dire le plan tangent au contact du doigt avec la surface. Le système d’actionnement 30 peut comporter des actionneurs à faible impédance mécanique conçus pour produire un effort qui provoque des déplacements en vainquant les forces inertielles, visqueuses et élastiques qui s’opposent au déplacement ou des actionneurs à forte impédance mécanique forçant un déplacement. Les actionneurs peuvent être entraînés par des moteurs électrodynamiques, des moteurs à réluctance variable, ou des moteurs piézoélectriques. Qu’ils soient à forte ou à faible impédance, les actionneurs sont montés de façon à être solidaires de la surface tactile 20 et répartis sous l’ensemble de ladite surface. Dans l’exemple de la figure 3, le système d’actionnement comporte deux actionneurs (représentés en pointillés sur la figure 3), disposés de façon à produire des efforts orthogonaux selon les lignes bissectrices 35 et 36 de la surface tactile 20 pour provoquer des déplacements arbitraires dans le plan de ladite surface tactile. Dans l’exemple de la figure 4, le système d’actionnement 30 comporte quatre actionneurs 31, 32, 33, 34 (représentés en pointillés sur la figure 4) positionnés orthogonalement deux à deux, chaque actionneur étant positionné en périphérie de la surface tactile, sous ladite surface tactile 20. Les actionneurs sont positionnés symétriquement, deux à deux, par rapport aux bissectrices de la surface tactile, de façon à susciter des déplacements arbitraires dans le plan de la surface tactile.
Le système d’actionnement 30 comporte également des suspensions élastiques 22 pouvant adopter de nombreuses formes. Les suspension élastiques 22 peuvent, par exemple, être des suspensions réalisées à l’aide de sections minces, d’élastomères adhésifs, ou de supports déformables. Dans l’exemple de la figure5, la surface tactile 20 est suspendue à un cadre fixe 21 par les sections minces 22 permettant de petits déplacements de la surface tactile dans le plan . Les sections minces 22 ont pour but d’introduire des liaisons élastiques entre des éléments rigides d’une structure représentés ici par la surface tactile 20 et le cadre fixe 21.
L’unité de traitement 40, dont un exemple est représenté schématiquement sur les figures 3 et 4, assure le traitement des données reçues du dispositif de détection et de localisation et pilote le système d’actionnement 30. L’unité de traitement 40 implémente un algorithme conçu pour calculer les petits déplacements de la surface tactile 20 sur laquelle glisse le doigt stimulé. Cet algorithme met en œuvre les étapes du procédé de l’invention, et notamment les étapes de la figure2. L’unité de traitement 40 est associée à un système d’entrées-sorties permettant d’acquérir les données du dispositif de détection et de localisation et de produire des commandes destinées à activer le système d’actionnement 30. Le système d’actionnement entraîne la surface tactile 20 dans des petits déplacements effectués dans le plan de la surface tactile et orthogonaux à la direction de glissement du doigt sur ladite surface.
Bien que décrit à travers un certain nombre d'exemples, variantes et modes de réalisation, le procédé de stimulation tactile d’un doigt glissant sur une surface tactile selon l’invention comprend divers variantes, modifications et perfectionnements qui apparaîtront de façon évidente à l'homme du métier, étant entendu que ces variantes, modifications et perfectionnements font partie de la portée de l'invention.
Claims (13)
- Procédé de stimulation tactile d’un doigt glissant sur une surface tactile (20) d’une interface haptique (10), comportant, lorsqu’un doigt est détecté en contact avec la surface tactile (110), une opération (120-140) de détermination d’une direction de glissement du doigt sur la surface tactile et une opération (160) de génération de déplacements de la surface tactile (20), dans le plan de ladite surface, suivant une direction orthogonale à la direction de glissement du doigt.
- Procédé selon la revendication 1, caractérisé en ce que l’opération de détermination de la direction de glissement comporte les étapes suivantes:
- mesurer (120) les coordonnées cartésiennes
- déterminer (130) la direction de la vélocité de déplacement (
- déterminer (140), dans le plan (
- mesurer (120) les coordonnées cartésiennes
- Procédé selon la revendication 1 ou 2, caractérisé en ce que l’opération (160) de génération de déplacements de la surface tactile (20) consiste à activer au moins un actionneur (31, 32, 33, 34) adapté pour générer un déplacement de la surface tactile dans son propre plan (
- Procédé selon l’une quelconque des revendications 1 à 3, caractérisé en ce qu’il comporte, après l’opération (130) de détermination de la direction de glissement du doigt, une opération (150) de détermination d’une amplitude de la stimulation tactile.
- Procédé selon les revendications 3 et 4, caractérisé en ce que le déplacement de la surface tactile est contrôlé en direction et en amplitude.
- Procédé selon l’une quelconque des revendications 2 à 5, caractérisé en ce qu’il comporte une étape de traitement des signaux de mesures des coordonnées du point de contact pour limiter des bruits générant une incertitude des mesures.
- Procédé selon l’une quelconque des revendications 2 à 6, caractérisé en ce que la direction de la vélocité de déplacement (
- Procédé selon l’une quelconque des revendications 2 à 6, caractérisé en ce que la direction de la vélocité de déplacement (
- Procédé selon l’une quelconque des revendications 2 à 6, caractérisé en ce que la direction de la vélocité de déplacement (
- Interface haptique (10) mettant en œuvre le procédé selon l’une quelconque des revendications 1 à 9, comportant:
- une surface tactile (20),
- un système d’actionnement (30) sur lequel est montée la surface tactile, adapté pour générer un déplacement de ladite surface,
- un dispositif de détection et de localisation d’au moins un point de contact entre le doigt et la surface tactile, et
- une unité de traitement (40) adaptée pour au moins déterminer la direction de glissement du doigt sur la surface tactile et pour commander l’actionneur.
- Interface selon la revendication 9, caractérisée en ce que la surface tactile (20) est suspendue à un cadre fixe (21) par des suspensions élastiques (22).
- Interface selon la revendication 10, caractérisée en ce que les suspensions élastiques sont des sections minces (22) ou faites de matériaux élastomère.
- Interface selon l’une quelconque des revendications 9 à 11, caractérisée en ce que le système d’actionnement (30) comporte au moins deux actionneurs (31, 32) disposés orthogonalement l’un par rapport à l’autre, sous la surface tactile (20).
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2000995A FR3106911B1 (fr) | 2020-01-31 | 2020-01-31 | Procédé de stimulation tactile d’un doigt glissant sur une surface tactile et interface haptique mettant en œuvre ce procédé |
| PCT/EP2021/051417 WO2021151784A1 (fr) | 2020-01-31 | 2021-01-22 | Procédé de stimulation tactile d'un doigt glissant sur une surface tactile et interface haptique mettant en œuvre ce procédé |
| EP21700789.7A EP4097571A1 (fr) | 2020-01-31 | 2021-01-22 | Procédé de stimulation tactile d'un doigt glissant sur une surface tactile et interface haptique mettant en ?uvre ce procédé |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2000995 | 2020-01-31 | ||
| FR2000995A FR3106911B1 (fr) | 2020-01-31 | 2020-01-31 | Procédé de stimulation tactile d’un doigt glissant sur une surface tactile et interface haptique mettant en œuvre ce procédé |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3106911A1 true FR3106911A1 (fr) | 2021-08-06 |
| FR3106911B1 FR3106911B1 (fr) | 2022-07-01 |
Family
ID=70738679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2000995A Active FR3106911B1 (fr) | 2020-01-31 | 2020-01-31 | Procédé de stimulation tactile d’un doigt glissant sur une surface tactile et interface haptique mettant en œuvre ce procédé |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4097571A1 (fr) |
| FR (1) | FR3106911B1 (fr) |
| WO (1) | WO2021151784A1 (fr) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2934067A1 (fr) * | 2008-07-21 | 2010-01-22 | Dav | Dispositif de commande a retour haptique et procede de commande correspondant |
| US20100079404A1 (en) * | 2008-09-30 | 2010-04-01 | Apple Inc. | Movable Track Pad with Added Functionality |
| US20180267612A1 (en) | 2011-06-21 | 2018-09-20 | Northwestern University | Touch interface device and method for applying lateral forces on a human appendage |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966211A (zh) * | 2014-03-31 | 2020-11-20 | 索尼公司 | 触觉再现设备、触觉再现系统和触觉再现方法 |
-
2020
- 2020-01-31 FR FR2000995A patent/FR3106911B1/fr active Active
-
2021
- 2021-01-22 WO PCT/EP2021/051417 patent/WO2021151784A1/fr unknown
- 2021-01-22 EP EP21700789.7A patent/EP4097571A1/fr active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2934067A1 (fr) * | 2008-07-21 | 2010-01-22 | Dav | Dispositif de commande a retour haptique et procede de commande correspondant |
| US20100079404A1 (en) * | 2008-09-30 | 2010-04-01 | Apple Inc. | Movable Track Pad with Added Functionality |
| US20180267612A1 (en) | 2011-06-21 | 2018-09-20 | Northwestern University | Touch interface device and method for applying lateral forces on a human appendage |
Non-Patent Citations (10)
| Title |
|---|
| ASANO, S.OKAMOTO, S.MATSUURA, Y.YAMADA, Y.: "Toward quality texture display: vibrotactile stimuli to modify material roughness sensations", ADVANCED ROBOTICS, vol. 28, no. 16, 2014, pages 1079 - 1089 |
| AYYILDIZ, M.SCARAGGI, M.SIRIN, O.BASDOGAN, C.PERSSON, B. N.: "Contact mechanics between the human finger and a touchscreen under electroadhesion", PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES, vol. 115, no. 50, 2018, pages 12668 - 12673 |
| BOCHEREAU, S.SINCLAIR, S.HAYWARD, V: "Perceptual constancy in the reproduction of virtual tactile textures with surface displays", ACM TRANSACTIONS ON APPLIED PERCEPTION (TAP, vol. 15, no. 2, 2018, pages 10, XP058384954, DOI: 10.1145/3152764 |
| GRIGORII, R. V.COLGATE, J. E.: "Closed loop application of electroadhesion for increased précision in texture rendering", ARXIV PREPRINT:2001.01868, 2020 |
| HAYWARD, V.ARMSTRONG, B.: "Lecture Notes in Control and Information Sciences", vol. 250, 2000, SPRINGER-VERLAG, article "A New computational model of friction applied to haptic rendering", pages: 403 - 412 |
| HULOUX, N.MONNOYER, J.BOYRON, M.WIERTLEWSKI, M.: "International Conférence on Human Haptic Sensing and Touch Enabled Computer Applications", 2018, SPRINGER, article "Overcoming the variability of fingertip friction with surface-haptic force-feedback", pages: 326 - 337 |
| M. WIERTLEWSKIR.F. FRIESENJ.E. COLGATE: "Partial squeeze film lévitation modulates fingertip friction", PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES, vol. 113, no. 33, 2016, pages 9210 - 9215 |
| MAL- LINCKRODT, E.HUGHES, A.SLEATOR, W. JR: "Perception by the skin of electrically induced vibrations", SCIENCE, vol. 118, 1953, pages 277 - 278, XP055305118 |
| T. WATANABES. FUKUI: "A method for controlling tactile sensation of surface roughness using ultrasonic vibration", IEEE INTERNATIONAL CONFÉRENCE ON ROBOTICS AND AUTOMATION, 1995, pages 1134 - 1139, XP000657310, DOI: 10.1109/ROBOT.1995.525433 |
| WIERTLEWSKI, M.LOZADA, J.HAYWARD, V: "The spatial spectrum of tangential skin displacement can encode tactual texture", IEEE TRANSACTIONS ON ROBOTICS, vol. 27, no. 3, 2011, pages 461 - 472, XP011382851, DOI: 10.1109/TRO.2011.2132830 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021151784A1 (fr) | 2021-08-05 |
| EP4097571A1 (fr) | 2022-12-07 |
| FR3106911B1 (fr) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Basdogan et al. | A review of surface haptics: Enabling tactile effects on touch surfaces | |
| US10591994B2 (en) | Method and apparatus for simulating surface features on a user interface with haptic effects | |
| JP6431126B2 (ja) | モバイルデバイス上での共有されたフィードバックのための双方向性モデル | |
| Winfield et al. | T-pad: Tactile pattern display through variable friction reduction | |
| JP6399865B2 (ja) | スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法 | |
| JP2017228294A (ja) | 触覚フィードバックに関する閉ループ制御のためのシステム及び方法 | |
| JP6044791B2 (ja) | 触感呈示装置および触感呈示方法 | |
| US9152232B2 (en) | Haptic feedback device and haptic feedback method | |
| JP7083357B2 (ja) | タッチセンシティブインターフェース、力の大きさを推定する方法及び装置 | |
| US20120223880A1 (en) | Method and apparatus for producing a dynamic haptic effect | |
| US11235351B2 (en) | Time reversal interface generating an acoustic lubrication | |
| Hayward | Tactile illusions | |
| Hudin et al. | Localized tactile stimulation by time-reversal of flexural waves: Case study with a thin sheet of glass | |
| WO2021151784A1 (fr) | Procédé de stimulation tactile d'un doigt glissant sur une surface tactile et interface haptique mettant en œuvre ce procédé | |
| FR2978570A1 (fr) | Systeme et procede de detection et de localisation d'une perturbation d'un milieu | |
| EP4073619A1 (fr) | Procédé de génération de sensations tactiles localisées sur une surface et interface haptique mettant en oeuvre ce procédé | |
| JP6080083B1 (ja) | 触覚センサ | |
| Bernard | Perception of audio-haptic textures for new touchscreen interactions | |
| EP3914993B1 (fr) | Procédé de génération de sensations tactiles et interface haptique mettant en oeuvre ce procédé | |
| CN118020042A (zh) | 用于估计触摸位置和触摸压力的方法和电子装置 | |
| Meyer | Design Considerations and Digital Tools for Implementing Variable Friction Tactile Displays | |
| JP2011257144A (ja) | 触覚センシング方法 | |
| WO2018197793A1 (fr) | Interface de stimulation tactile par retournement temporel offrant des sensations enrichies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210806 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |