FR3110007A1 - Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction - Google Patents

Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction Download PDF

Info

Publication number
FR3110007A1
FR3110007A1 FR2004435A FR2004435A FR3110007A1 FR 3110007 A1 FR3110007 A1 FR 3110007A1 FR 2004435 A FR2004435 A FR 2004435A FR 2004435 A FR2004435 A FR 2004435A FR 3110007 A1 FR3110007 A1 FR 3110007A1
Authority
FR
France
Prior art keywords
visual
zone
pilot
interaction
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2004435A
Other languages
English (en)
Other versions
FR3110007B1 (fr
Inventor
Stéphanie Lafon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR2004435A priority Critical patent/FR3110007B1/fr
Priority to US17/923,224 priority patent/US20230185366A1/en
Priority to PCT/EP2021/061810 priority patent/WO2021224309A1/fr
Publication of FR3110007A1 publication Critical patent/FR3110007A1/fr
Application granted granted Critical
Publication of FR3110007B1 publication Critical patent/FR3110007B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Système d’interaction avec une pluralité de zones visuelles et ensemble d’interaction dans le cockpit d’un aéronef comprenant un tel système d’interaction La présente invention concerne un système d’interaction avec une pluralité de zones visuelles comprenant : - un module de mesure (32) apte à générer un ensemble de mesures caractérisant chaque position et/ou orientation d’au moins une partie du corps du pilote dans un espace moteur prédéterminé ; - un module de pointage (34) apte à désigner une zone visuelle active dans un espace visuel en utilisant une fonction de transfert, la fonction de transfert associant à chaque ensemble de mesures l’identifiant de l’une des zones visuelles de l’espace visuel ; - un module de sortie (36) apte à transmettre à l’unité d’affichage associée à la zone visuelle active un signal d’activation indiquant la désignation de cette zone. Figure pour l'abrégé : Figure 2

Description

Système d’interaction avec une pluralité de zones visuelles et ensemble d’interaction dans le cockpit d’un aéronef comprenant un tel système d’interaction
La présente invention concerne un système d’interaction avec une pluralité de zones visuelles.
La présente invention concerne également un ensemble d’interaction dans le cockpit d’un aéronef comprenant un tel système d’interaction.
Le domaine de l’invention est celui des moyens d’interaction dans le cockpit d’un aéronef avec des zones visuelles, telles que des écrans d’affichage.
Dans l’état de la technique, on connaît déjà de nombreux moyens d’interaction avec de telles zones visuelles.
Classiquement, l’interaction avec les zones visuelles du cockpit de l’aéronef, s’effectue de manière directe. Ce type d’interaction comprend notamment un appui direct sur des boutons, une rotation des rotateurs ou alors un appui sur des écrans tactiles.
Toutefois, ces interactions ne sont pas toujours adaptées à toutes les circonstances du vol. Notamment, en cas de turbulences ou de situations de pilotage compliquées, l’interaction directe avec les moyens d’interaction correspondants peut être rendue difficile, voire impossible dans certains cas.
Pour résoudre ces problèmes, de manière habituelle, l’équipage se répartit les tâches pour permettre à celui qui doit piloter de se décharger des autres actions qui nécessitent des interactions manuelles directes.
Toutefois, une telle approche impose de nombreuses restrictions sur la répartition des tâches entre les pilotes. Ces restrictions peuvent rendre la répartition non-optimale. De plus, cette approche nécessite que l’équipage soit constitué d’au moins deux pilotes ce qui peut ne pas être compatible avec de nouvelles tendances de réduction du nombre de membres de l’équipage.
Il est donc évident que les futurs moyens d’interaction doivent permettre à l’équipage d’interagir avec des zones visuelles de manière indirecte et cela indépendamment de chaque situation de pilotage même lorsqu’il s’agit d’une situation compliquée.
Dans l’état de la technique, on connaît déjà des moyens d’interaction indirecte avec au moins certaines zones visuelles du cockpit de l’aéronef.
Parmi ces moyens d’interaction, on trouve notamment des moyens de pointage au regard qui permettent de déplacer un curseur s’affichant sur les zones visuelles du cockpit en suivant le regard du pilote.
Toutefois, selon des études récentes, le regard n’est pas toujours le meilleur moyen de contrôle indirect dans le cockpit.
On connaît également des moyens d’interaction indirecte par voix qui permettant de contrôler les zones visuelles du cockpit selon des commandes vocales données par le pilote.
Toutefois, ces moyens d’interaction indirecte ne sont pas non plus optimaux car il n’est pas toujours possible d’interpréter de manière certaine les commandes vocales données par le pilote. De plus, l’utilisation des commandes vocales ne permet pas toujours de désigner une zone active de façon optimale.
Finalement, on connaît également des moyens d’interaction indirecte permettant de désigner une zone interactive par exemple par un mouvement de la tête du pilote. Un tel système est décrit dans le document FR 1872329 de la Demanderesse.
En particulier, les moyens d’interaction décrits dans ce document permettent de désigner à la tête des zones interactives en réalité augmentée une continuité d’interaction en tête basse. La désignation continue se fait grâce à une cible de désignation affichée en réalité augmentée par exemple dans le casque du pilote. Cette cible suit le mouvement de la tête et peut désigner n’importe quelle zone d’interaction en réalité augmentée ou sur les écrans réels du cockpit.
Toutefois, ces moyens d’interaction ne permettent pas au pilote d’interagir avec les zones visuelles correspondantes de manière aisée.
En effet, dans certains cas, l’interaction avec au moins certaines zones virtuelles se heurte à des contraintes d’articulation du pilote. Dans certains autres cas, la zone visuelle devrait être restreinte afin de permettre au pilote une communication confortable avec ces zones.
La présente invention a pour objet de proposer des moyens d’interaction indirecte avec des zones visuelles du cockpit d’un aéronef qui permettent au pilote d’effectuer ces interactions de manière particulièrement aisée et confortable, tout en permettant l’interaction avec un très grand nombre de zones visuelles dans le cockpit.
À cet effet, l’invention a pour objet un système d’interaction avec une pluralité de zones visuelles formant un espace visuel d’un pilote d’un aéronef, chaque zone visuelle étant identifiable par un identifiant et contrôlable par une unité d’affichage associée.
Le système d’interaction comprend un module de mesure apte à générer un ensemble de mesures caractérisant chaque position et/ou orientation d’au moins une partie du corps du pilote dans un espace moteur prédéterminé ; un module de pointage apte à désigner une zone visuelle active dans l’espace visuel en utilisant une fonction de transfert, la fonction de transfert associant à chaque ensemble de mesures l’identifiant de l’une des zones visuelles de l’espace visuel et un module de sortie apte à transmettre à l’unité d’affichage associée à la zone visuelle active un signal d’activation indiquant la désignation de cette zone.
Selon d’autres aspects de l’invention, le système comprend l’une ou plusieurs des caractéristiques suivantes prises isolément ou selon toute combinaison techniquement possible :
- la fonction de transfert associe en outre à chaque ensemble de mesures un point ciblé dans la zone visuelle correspondante ;
- le signal d’activation transmis à l’unité d’affichage associée à la zone visuelle active par le module de sortie comprenant en outre le point ciblé. ;
- l’espace moteur est défini par une zone d’articulations confortables de ladite partie du corps du pilote, de préférence la zone d’articulations confortables étant déterminée par des données statistiques ;
- partie du corps du pilote est choisie dans le groupe comprenant la tête ; au moins un doigt ; et les yeux ;
- chaque ensemble de mesures comprend un angle de rotation de ladite partie du corps du pilote selon l’axe de tangage de l’aéronef et un angle de rotation de ladite partie du corps du pilote selon l’axe de lacet de l’aéronef ;
- chaque zone visuelle correspond à au moins une partie d’un affichage tête-basse ou d’un affichage tête-haute ou d’un affichage virtuel à réalité augmentée ;
- le système comprenant en outre un module de reconnaissance vocale apte à associer à une commande vocale donnée par le pilote un signal de commande en fonction d’une grammaire associée à la zone visuelle active désignée par le module de pointage, et à transmettre en outre à l’unité d’affichage associée à la zone visuelle active ledit signal de commande ;
- le système comprenant en outre un organe de commande apte à déclencher le fonctionnement du module de reconnaissance vocale ;
- le système comprenant en outre un module de mémorisation apte à mémoriser un historique de désignation des zones visuelles ;
- le module de reconnaissance vocale est apte à associer à une commande vocale donnée par le pilote un signal de commande en fonction en outre des grammaires associées à des zones visuelles de l’historique de désignation des zones visuelles ;
- le module de reconnaissance vocale comprend un moteur de reconnaissance vocale apte à déterminer à partir de la commande vocale donnée par le pilote une ou plusieurs commandes reconnues en utilisant l’une des grammaires et à associer à chacune de ces commandes un taux de confiance en fonction de la grammaire utilisée ;
le signal de commande étant déterminé en analysant ce(s) taux de confiance.
L’invention a également pour objet un ensemble d’interaction dans le cockpit d’un aéronef comprenant un système d’interaction tel que décrit précédemment ; une pluralité d’unités d’affichage, chaque unité d’affichage tant apte à contrôler une zone visuelle identifiable par un identifiant, l’ensemble des zones visuelles formant un espace visuel.
Selon d’autres aspects de l’invention, l’ensemble comprend l’une ou plusieurs des caractéristiques suivantes, prises isolément ou selon toutes les combinaisons techniquement possibles :
- chaque unité d’affichage est apte à activer la zone visuelle correspondante en cas de réception d’un signal d’activation correspondant issu du module de sortie (36) du système d’interaction ;
- la fonction de transfert associe en outre à chaque ensemble de mesures un point ciblé dans la zone visuelle correspondante ;
- chaque unité d’affichage st apte à activer en outre une sous-zone de la zone visuelle correspondante, conformément au point ciblé transmis par le signal d’activation.
Ces caractéristiques et avantages de l’invention apparaîtront à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitative, et faite en référence aux dessins annexés, sur lesquels :
- la est une vue schématique d’un ensemble d’interaction selon l’invention, l’ensemble d’interaction comprenant un système d’interaction selon l’invention ;
- la est une vue schématique du système d’interaction de la figure 1 ;
- la est une vue schématique illustrant le fonctionnement d’une fonction de transfert mise en œuvre par le système d’interaction de la ; et
- les figures 4 et 5 sont des vues schématiques illustrant le fonctionnement du système d’interaction de la pour désigner plusieurs zones visuelles.
L’ensemble d’interaction 10 de la permet à l’équipage d’un aéronef d’interagir avec un espace visuel 12.
Par équipage de l’aéronef, on entend un ou plusieurs pilotes contrôlant le vol de l’aéronef à partir du cockpit de celui-ci.
En particulier, dans l’exemple décrit ci-dessous, il est considéré que le cockpit fait partie de l’aéronef même.
Selon d’autres exemples, le cockpit de l’aéronef peut être déporté de celui-ci. Dans un tel cas, le pilotage de l’aéronef s’effectue donc à distance à partir du cockpit qui est alors formé par un centre de commandement disposé par exemple au sol.
Dans la suite de la description, pour des raisons de simplicité, il est supposé que l’équipage est formé d’un seul pilote. Il est toutefois clair que l’invention reste applicable à un nombre quelconque de pilotes.
L’espace visuel 12 présente un espace situé devant le pilote et avantageusement s’étend au moins partiellement autour de celui-ci, selon au moins un axe.
Par exemple, cet espace peut s’étendre selon un angle inférieur à 180° autour du pilote autour d’un axe correspondant à l’axe de lacet de l’aéronef. Selon un autre exemple, cet espace visuel s’étend selon un angle supérieur à 180° autour du pilote autour ce même axe. En complément à ces exemples, l’espace visuel peut s’étendre également au moins partiellement autour d’un axe correspondant à l’axe de tangage de l’aéronef.
L’espace visuel 12 comprend une pluralité de zones visuelles.
Chaque zone visuelle permet d’afficher au pilote des informations relatives au pilotage de l’aéronef.
Dans l’exemple de la , quatre zones visuelles à savoir les zones visuelles 14A, 14B, 14C et 14D sont illustrées.
Dans l’exemple de cette figure, ces zones visuelles 14A à 14D sont de dimensions différentes et sont disposées l’une à côté de l’autre pour former un carré.
Bien entendu, d’autres types de disposition de ces zones sont également envisageables. Par exemple, il est possible de disposer ces zones en « T » de sorte que trois zones visuelles soient sensiblement alignées selon une ligne horizontale et qu’une quatrième zone visuelle soit disposée au-dessous de la zone visuelle du milieu.
Chaque zone visuelle 14A à 14D correspond par exemple à un écran d’affichage, par exemple un écran d’affichage tactile.
Selon d’autres exemples, les zones visuelles 14A à 14D sont décorélées des écrans physiques d’affichage du cockpit.
Ainsi, par exemple, il est possible qu’une zone visuelle soit partagée entre deux ou plus d’écrans d’affichage.
En outre, chaque zone visuelle peut être formée par un ou plusieurs écrans d’affichage dits tête basse ou par un ou plusieurs moyens d’affichage dits tête haute ou de réalité augmentée.
Selon encore un exemple, une zone visuelle peut être partagée entre un écran d’affichage tête basse et un moyen d’affichage tête haute.
Dans l’ensemble de ces exemples, la disposition des zones visuelles dans l’espace visuel 12 est connue. De plus, chaque zone visuelle est identifiable par un identifiant relatif à cette zone.
La position de chaque zone visuelle dans l’espace visuel 12 peut être décrite par exemple par des coordonnées tridimensionnelles d’au moins un point de cette zone ou alors par des coordonnées bidimensionnelles lorsque l’espace visuel 12 est par exemple sensiblement plat.
Chaque zone visuelle peut comprendre une ou plusieurs sous-zones. Les sous-zones peuvent être de plusieurs niveaux et correspondent par exemple à des fonctionnalités particulières des systèmes embarqués correspondants.
Pour permettre au pilote d’interagir avec l’espace visuel 12, l’ensemble d’interaction 10 comprend un système d’interaction 20 et une pluralité d’unités d’affichage.
Chaque unité d’affichage est associée à au moins une zone visuelle et permet de contrôler cette zone visuelle selon des méthodes connues en soi.
Dans l’exemple de la , quatre unités visuelles 24A, 24B, 24C et 24D sont illustrées. Dans cet exemple, chaque unité d’affichage 24A à 24D est associée à l’une des zones visuelles 14A à 14D.
Dans cet exemple, chaque unité d’affichage 24A à 24D permet donc de contrôler la zone visuelle 14A à 14D qui lui est associée.
Selon d’autres exemples, au moins certaines unités d’affichage permettent de contrôler plusieurs zones visuelles ou au moins des parties de ces zones visuelles.
Les unités d’affichage 24A à 24D sont par exemple reliées au système d’interaction 20 par un réseau informatique 25 visible également sur la .
En variante, les unités d’affichage 24A à 24D sont reliées au système d’interaction 20 par tout autre moyen connu en soi.
Chacune des unités d’affichage 24A à 24D est apte à recevoir du système d’interaction 20 des signaux présentant par exemple différentes commandes de contrôle des zones visuelles 14A à 14D.
Ces signaux seront expliqués plus en détail par la suite.
Les unités d’affichage 24A à 24D sont aptes en outre à recevoir des signaux issus d’autres systèmes embarqués (non illustrés). En fonction de ces signaux, ces unités d’affichage 24A à 24D permettent alors de contrôler l’affichage des zones visuelles 14A à 14D de manière connue en soi.
Chacune des unités d’affichage 24A à 24D est apte en outre à déterminer un identifiant d’une grammaire de commandes applicables à chaque zone visuelle et éventuellement à chaque sous-zone de cette zone à un instant donné.
En particulier, par « grammaire », on entend une liste des commandes susceptibles d’être appliquées en relation avec la zone ou la sous-zone visuelle correspondante. L’identifiant d’une telle grammaire permet donc de la déterminer de manière unique.
Enfin, à chaque instant, chacune des unités d’affichage 24A à 24D est apte en outre à transmettre au système d’interaction 20 l’identifiant de la grammaire qui est associée à la zone et/ou de la sous-zone visuelle active à cet instant.
Le système d’interaction 20 sera désormais expliqué plus en détail en référence à la .
Ainsi, comme cela est visible sur cette , le système d’interaction 20 comprend un module de mesure 32, un module de pointage 34 et un module de sortie 36.
De manière optionnelle, le système d’interaction 20 peut comprendre en outre un module de reconnaissance vocale 38, un organe de commande 40 et un module de mémorisation 42.
Ces différents modules seront donc expliqués ci-dessous.
Le module de mesure 32 est apte à générer un ensemble de mesures caractérisant chaque position et/ou orientation d’au moins une partie du corps du pilote dans un espace moteur prédéterminé.
Ladite partie du corps du pilote permet donc d’interagir de manière indirecte avec les zones visuelles 14A à 14D comme cela sera expliqué par la suite.
Selon différents modes de réalisation cette partie du corps peut comprendre la tête du pilote ou/et au moins un doigt ou/et au moins un œil du pilote.
Selon l’invention, l’espace moteur est défini par une zone d’articulation confortable de ladite partie du corps du pilote.
La zone d’articulation confortable est par exemple déterminée selon des données statistiques. Selon un autre exemple, la zone d’articulation confortable est par exemple déterminée par le pilote, en faisant par exemples des tests correspondants. Dans ce dernier cas, l’espace moteur est donc configurable.
Par exemple, lorsque ladite partie du corps du pilote est la tête, l’espace moteur peut être formé par la partie du cockpit dans laquelle se trouve généralement sa tête et borné par des angles d’articulations confortables. Ainsi, un tel espace peut par exemple s’étendre de -65° à 65° autour d’un axe correspondant à l’axe de lacet de l’aéronef et de -30 à +30° autour d’un axe correspondant à l’axe de tangage de l’aéronef. Bien entendu, ces angles peuvent varier en fonction de la partie du corps choisie.
Dans un tel cas, chaque ensemble de mesures acquis par le module de mesure 32 comprend par exemple un angle de rotation de ladite partie selon l’axe de tangage de l’aéronef et un angle de rotation de cette partie selon l’axe de lacet de l’aéronef.
Pour acquérir les mesures correspondantes, le module de mesure 32 se présente par exemple sous la forme d’une ou de plusieurs caméras qui sont alors orientées vers le pilote.
En particulier, le terme « caméra » doit être compris de manière large et peut par exemple comprendre des caméras infrarouges, des caméras à précision élevée, etc…
Le module de pointage 34 est raccordé au module de mesure 32 et est apte à désigner parmi les zones visuelles 14A à 14D, une zone visuelle active en utilisant une fonction de transfert prédéterminée.
En particulier, par zone visuelle active, on entend une zone visuelle avec laquelle le pilote est en train d’interagir pour introduire par exemple une commande de pilotage correspondante.
Par exemple, lorsqu’une zone visuelle est active, seule cette zone est apte à acquérir des commandes de pilotage du pilote.
Par opposition, toutes les autres zones visuelles sont dites inactives.
Avantageusement, l’unité d’affichage 24A à 24D correspondant à la zone visuelle active permet d’afficher cette zone différemment afin de la distinguer des autres zones.
Par exemple, dans ce cas, une couleur particulière peut être affichée autour de la zone visuelle active.
En variante, les unités d’affichage 14A à 14D correspondant à des zones visuelles inactives permettent d’afficher ces zones d’une manière différente pour les distinguer de la zone visuelle active.
Ainsi, par exemple, ces unités d’affichage peuvent afficher ces zones visuelles inactives avec une luminosité basse ou alors avec une couleur particulière.
La fonction de transfert mises en œuvre par le module de pointage 32 permet d’associer à chaque ensemble de mesure fourni par le module de mesure 32 l’identifiant de l’une des zones visuelles 14A à 14D.
En outre, avantageusement selon l’invention, la fonction de transfert permet d’associer à chaque ensemble de mesure fourni par le module de mesure 32 un point ciblé dans la zone visuelle active correspondante. Ce point ciblé peut être par exemple utilisé pour désigner une sous-zone active parmi l’ensemble des sous-zones de la zone active.
Selon l’invention, la fonction de transfert permet de projeter l’espace moteur du pilote sur l’espace visuel 12, comme cela est illustré sur la .
Dans l’exemple de la , l’espace moteur qui est noté sur cette figure par la référence 50 est par exemple divisé sur quatre parties égales. Chacune de ces parties est associée à l’une des zones visuelles 14A à 14D. Par exemple tout point se trouvant dans l’espace moteur 50 entre 0° et Y max ° et entre 0° et P max ° peut renvoyer à la zone visuelle 14B, chaque point se retrouvant entre Y min et 0° et entre 0° et P max ° peut renvoyer à la zone visuelle 14A, chaque point se retrouvant entre Y min ° et 0° et 0° et P min ° peut renvoyer à la zone visuelle 14C et chaque point se retrouvant entre 0° et Y max ° et 0° et P min degré peut renvoyer à la zone visuelle 14D. Dans cet exemple, les valeurs P max ° et Y max ° sont positives et les P min ° et Y min ° sont négatifs.
Bien entendu, d’autres exemples de fonctions de transfert sont également possibles. Par exemple, lorsque le module de mesure 32 prend des mesures relatives aux mouvements de la tête du pilote, la fonction de transfert correspondante peut être adaptée pour prendre en compte l’inclinaison de la tête lorsqu’elle suit une ligne droite horizontale qui dérive par l’effet de la perspective.
Avantageusement, selon l’invention, le module de pointage 34 peut définir des fonctions de transferts de plusieurs niveaux.
Ainsi, par exemple, une fonction de transfert de premier niveau peut renvoyer chaque point de l’espace moteur à l’une des zones visuelles 14A à 14D pour désigner une zone visuelle active parmi ces zones.
Une autre fonction de transfert dite de deuxième niveau, peut renvoyer chaque point de l’espace moteur à une sous-zone visuelle de la zone une zone visuelle active. Il est ainsi possible d’obtenir une fonction de transfert de n-ième où n=3, 4, etc…
Dans ce cas, le module de pointage 34 peut par exemple être configuré pour modifier le niveau de la fonction de transfert utilisé en fonction d’un évènement prédéterminé. Cet évènement est mis en œuvre par exemple par le pilote et comprend par exemple l’immobilisation de ladite partie du corps pendant un intervalle temporel prédéterminé ou un appui sur un bouton de commande ou encore, une commande vocale adaptée.
Pour mettre en œuvre le fonctionnement de la ou des fonctions de transfert, le module de pilote 34 se présente par exemple sous la forme d’un logiciel ou alors d’une composante physique programmable telle qu’un FPGA.
Le module de sortie 36 permet de transmettre à l’unité d’affichage 24A à 24D associée à la zone visuelle active 14A à 14D un signal d’activation indiquant alors la désignation de cette zone par le module de pointage 34.
Lorsque le module de pointage 34 permet de déterminer en outre un point ciblé dans la zone visuelle correspondante, le signal d’activation correspondant transmis à l’unité d’affichage correspondante comprend en outre les coordonnées de ce point ciblé ou un identifiant de la sous-zone correspondant à ce point ciblé.
De plus, lorsque les fonctions de transfert de différents niveaux sont utilisées, le signal d’activation permet d’indiquer la désignation d’une sous-zone de niveau correspondant.
Pour ce faire, le module de sortie 36 se présente par exemple sous la forme d’une carte réseau raccordant alors le module de pointage 34 à chacune des unités d’affichage 24A à 24D.
Le module de reconnaissance vocale 38 est apte à reconnaître une commande vocale donnée par le pilote et à associer à cette commande un signal de commande correspondant.
En particulier, le module de reconnaissance vocale 38 est apte à associer à une commande vocale le signal de commande correspondant en fonction de la zone visuelle active ou alors la sous-zone visuelle active désignée par le module de pointage 34. Pour ce faire, le module de reconnaissance vocale 38 est relié à chacune des unités d’affichage 24A à 24D par exemple via le réseau avionique 25 pour recevoir à chaque instant l’identifiant de la grammaire de la zone et/ou de la sous-zone visuelle active à cette instant.
En variante, le module de reconnaissance vocale 38 est apte à recevoir l’information relative à chaque zone et/ou sous-zone visuelle active de la part du module de pointage 34 et à associer à cette information l’identifiant de la grammaire correspondante.
À la réception de l’identifiant de la grammaire correspondante, le module de reconnaissance vocale 38 est apte à déterminer cette grammaire par exemple dans sa mémoire interne ou dans toute autre mémoire associée.
Puis, à la détection d’une commande vocale donnée par le pilote, le module de reconnaissance vocale 38 est apte à reconnaître cette commande en utilisant un moteur de reconnaissance vocale.
En particulier, le moteur de reconnaissance vocale est apte à associer à chaque commande vocale une ou plusieurs commandes reconnues avec un taux de confiance pour chacune de ces commandes reconnues. Ce taux est par exemple déterminé en fonction de la correspondance de la commande vocale reconnue avec une commande de la grammaire correspondante.
Enfin, en fonction du résultat fourni par le moteur de reconnaissance vocale, le module de reconnaissance vocale 38 est apte à générer le signal de commande correspondant et à transmettre ce signal de commande à l’unité d’affichage 24A à 24D associée à la zone visuelle active 14A à 14D correspondante.
L’organe de commande 40 permet au pilote d’activer le fonctionnement notamment du module de reconnaissance vocale 38.
Avantageusement, selon l’invention, cet organe de commande 40 se présente sous la forme d’un bouton unique qui est lorsqu’il est par exemple appuyé par le pilote, est apte à activer le fonctionnement du module de reconnaissance vocale 38.
Le module de mémorisation 42 est apte à mémoriser un historique de désignation des zones visuelles.
En particulier, le module de mémorisation 42 permet de stocker un nombre prédéterminé des identifiants des grammaires associées aux zones visuelles 14A à 14D et/ou des sous-zones activées l’une après l’autre. Par exemple, ce nombre prédéterminé est égal à trois ou à quatre.
En variante ou en complément, ce module 42 permet de stocker un nombre prédéterminé des identifiants des zones visuelles 14A à 14D et/ou des sous-zones activées l’une après l’autre, et de déterminer les identifiants des grammaires associées à ces zones/sous-zones.
En outre, le module de mémorisation 42 est apte à fournir les identifiants des grammaires mémorisés ou déterminés à partir des identifiants des zones/sous-zones mémorisés, au module de reconnaissance vocale 38 qui est alors apte à élargir sa grammaire utilisable pour reconnaître la commande vocale donnée par le pilote par les grammaires de l’ensemble des identifiants mémorisés par le module de mémorisation 42.
En particulier, dans ce cas, le moteur de reconnaissance vocale utilisé par le module 38 est apte par exemple à associer à chaque commande reconnue un taux de confiance également en fonction de la grammaire utilisée pour le faire.
Le fonctionnement de l’ensemble d’interaction 10 et plus particulièrement du système d’interaction 20 sera désormais expliqué.
Initialement, il est considéré que par exemple la zone visuelle 14B est une zone visuelle active.
Pour désigner une nouvelle zone visuelle active, le pilote tourne par exemple la tête vers la zone visuelle souhaitée.
Par exemple, lorsque le pilote souhaite désigner la zone virtuelle 14A il tourne la tête légèrement à gauche et la lève légèrement par rapport au plan horizontal.
Ce mouvement de la tête est alors détecté par le module de mesure 32 qui génère un ensemble de mesures correspondant et renvoie cet ensemble au module de pointage 34.
Le module de pointage 34 en utilisant la fonction de transfert détermine qu’il s’agit alors de la zone visuelle 14A.
En outre lorsque l’ensemble des mesures acquises par le module de mesure 32 permet en outre de déterminer un point ciblé dans la zone visuelle correspondante, le module de pointage 34 définit en outre ce point et si applicable, la sous-zone correspondant à ce point ciblé.
Ensuite, le module de sortie 36 transmet à l’unité d’affichage 24A qui est associée à la zone visuelle 14A un signal d’activation indiquant alors la désignation de cette zone et éventuellement de la sous-zone correspond au point ciblé. Par exemple, lorsque la zone visuelle 14A comprend deux sous-zones 54, 55 visibles sur la et lorsque le point ciblé correspond à la sous-zone 55, le signal d’activation comprend en outre la désignation de cette sous-zone 55. En variante, le signal d’activation comprend les coordonnées du point ciblé, sans l’identifiant de la sous-zone correspondante. Dans ce cas, la désignation de la sous-zone correspondante s’effectue par l’unité d’affichage 24 en fonction alors de ces coordonnées.
À la réception du signal d’activation, l’unité d’affichage 14A désigne la zone visuelle 14A en tant qu’une zone visuelle active, à la place de la zone visuelle 14B et éventuellement sa sous-zone 55.
En variante, lorsque des fonctions de transfert de plusieurs niveaux sont utilisées, la sous-zone 55 peut être désignée par une fonction de transfert de deuxième niveau.
Dans ce cas, comme dans le cas précédent, le module de pointage 34 désigne la zone visuelle 14A en utilisant une fonction de transfert de premier niveau de la manière analogue à celle décrite ci-dessous.
Puis, après un évènement prédéterminé, le module de pointage 34 modifie le niveau de la fonction de transfert et utilise alors la fonction de transfert de deuxième niveau. Dans ce cas, le pilote peut désigner l’une des sous-zones 54, 55 soit en tournant à gauche ou à droite la tête soit par exemple son doigt.
Enfin, le module de sortie 36 transmet le signal d’activation de la sous-zone correspondante à l’unité d’affichage 24A.
Cette unité d’affichage 24A active alors la sous-zone correspondante comme cela est illustré sur la .
Selon un autre mode de réalisation, après avoir désigné l’une des zones visuelles, par exemple la zone visuelle 14A, le pilote actionne l’organe de commande 40.
Suite à cela, l’organe de commande 40 active alors le module de reconnaissance vocale 38 qui passe au mode d’écoute des commandes vocales prononcées par le pilote.
En outre, le module de reconnaissance vocale 38 désigne comme grammaire active la grammaire correspondant à l’identifiant de la grammaire reçu de la part de l’unité d’affichage correspondante 24A à 24D par exemple au moment de l’activation de l’organe de commande 40
De plus, lorsque cela est applicable, le module de reconnaissance vocale 38 élargit sa grammaire active par des grammaires correspondant aux identifiants reçus de la part du module de mémorisation 42.
Lorsque le pilote annonce la commande vocale, le module de reconnaissance vocale 38 reconnaît alors cette commande en choisissant par exemple la commande ayant le plus fort taux de confiance déterminé par le moteur de reconnaissance vocale.
La commande vocale donnée par le pilote peut par exemple désigner la sous-zone 55 de la zone visuelle active 14A ou toute autre action devant être exercée en relation avec la zone visuelle 14A. Pour cela, un signal de commande correspond est par exemple transmis à l’unité d’affichage 24A associée à la zone visuelle 14A.
Bien entendu, les deux modes de réalisation précités sont commuables entre eux.
Ainsi, il est possible de désigner la zone visuelle active ainsi que la sous-zone visuelle active en utilisant le module de pointage 34 comme cela a été expliqué en relation avec le premier mode de réalisation (avec un point ciblé ou une autre fonction de transfert) et ensuite de reconnaître une commande vocale associée à la zone et/ou à la sous-zone visuelle active.
La présente invention présente alors un certain nombre d’avantages.
Tout d’abord, l’invention permet d’interagir avec des zones visuelles du cockpit d’un aéronef de manière particulièrement simple.
En effet, l’espace moteur associé à la partie du corps correspondant peut être adapté en fonction des articulations confortables par le pilote.
De plus, l’invention permet de mettre en place des interactions multimodales alliant la voix et un mode de désignation indirecte ou complémentaire qui permet de contextualiser les commandes vocales.
En outre, le système d’interaction selon l’invention permet de mémoriser l’historique des zones visuelles actives et de prendre en compte cet historique pour éviter des problèmes de désynchronisation de la parole et du geste de désignation du pilote.
En outre, la mise en place d’une fonction de transfert donne la possibilité de désigner des zones visuelles non-homogènes situées sur des zones étendues tout en prenant en compte les angles d’inconfort particuliers.
En outre, l’invention permet de passer dynamiquement entre différentes zones visuelles ainsi que des sous-zones de ces zones.
Enfin, grâce à l’invention, il devient possible de reconfigurer facilement les zones visuelles du cockpit. Une telle reconfiguration peut par exemple comprendre l’affichage de nouvelles zones/sous-zones visuelles sur un demi-écran ou un plein écran. Ces zones/sous-zones peuvent concerner par exemple des applications de gestion de mission, de pilotage, de contrôle des communications radio, de gestion des systèmes, l’affichage, etc…
L’invention permet également de paramétrer des zones/sous-zone visuelles désignées par exemple à la tête par des commandes vocales correspondantes. Par exemple, en utilisant des commandes vocales, il est possible de régler le zoom sur une carte, le contrôle de l’orientation de la carte, l’affichage ou non de filtres (affichage de plan de vol, du terrain, des points de cheminement, du trafic, de la vision synthétique en superposition, etc…), le centrage de la carte sur un point précis, etc…

Claims (14)

  1. Système d’interaction (20) avec une pluralité de zones visuelles (14A,… 14D) formant un espace visuel (12) d’un pilote d’un aéronef, chaque zone visuelle (14A, … 14D) étant identifiable par un identifiant et contrôlable par une unité d’affichage (24A, …, 24D) associée ;
    le système d’interaction (20) comprenant :
    - un module de mesure (32) apte à générer un ensemble de mesures caractérisant chaque position et/ou orientation d’au moins une partie du corps du pilote dans un espace moteur prédéterminé ;
    - un module de pointage (34) apte à désigner une zone visuelle active (14A) dans l’espace visuel (12) en utilisant une fonction de transfert, la fonction de transfert associant à chaque ensemble de mesures l’identifiant de l’une des zones visuelles (14A,…14D) de l’espace visuel (12) ;
    - un module de sortie (36) apte à transmettre à l’unité d’affichage (24A, …, 24D) associée à la zone visuelle active (14A, …, 14D) un signal d’activation indiquant la désignation de cette zone.
  2. Système (20) selon la revendication 1, dans lequel la fonction de transfert associe en outre à chaque ensemble de mesures un point ciblé dans la zone visuelle (14A, …, 14D) correspondante ;
    le signal d’activation transmis à l’unité d’affichage (24A, …, 24D) associée à la zone visuelle active (14A, …, 14D) par le module de sortie (36) comprenant en outre le point ciblé.
  3. Système (20) selon l’une quelconque des revendications précédentes, dans lequel l’espace moteur est défini par une zone d’articulations confortables de ladite partie du corps du pilote, de préférence la zone d’articulations confortables étant déterminée par des données statistiques.
  4. Système (20) selon l’une quelconque des revendications précédentes, dans lequel ladite partie du corps du pilote est choisie dans le groupe comprenant :
    - la tête ;
    - au moins un doigt ;
    - les yeux.
  5. Système (20) selon l’une quelconque des revendications précédentes, dans lequel chaque ensemble de mesures comprend un angle de rotation de ladite partie du corps du pilote selon l’axe de tangage de l’aéronef et un angle de rotation de ladite partie du corps du pilote selon l’axe de lacet de l’aéronef.
  6. Système (20) selon l’une quelconque des revendications précédentes, dans lequel chaque zone visuelle (14A, …, 14D) correspond à au moins une partie d’un affichage tête-basse ou d’un affichage tête-haute ou d’un affichage virtuel à réalité augmentée.
  7. Système (20) selon l’une quelconque des revendications précédentes, comprenant en outre un module de reconnaissance vocale (38) apte à associer à une commande vocale donnée par le pilote un signal de commande en fonction d’une grammaire associée à la zone visuelle (14A, …, 14D) active désignée par le module de pointage (34), et à transmettre en outre à l’unité d’affichage (24A, …, 24D) associée à la zone visuelle (14A,…, 14D) active ledit signal de commande.
  8. Système (20) selon la revendication 7, comprenant en outre un organe de commande (40) apte à déclencher le fonctionnement du module de reconnaissance vocale (38).
  9. Système (20) selon l’une quelconque des revendications précédentes, comprenant en outre un module de mémorisation (42) apte à mémoriser un historique de désignation des zones visuelles (14A, …, 14D).
  10. Système (20) selon la revendication 9 prise en combinaison avec la revendication 7, dans lequel le module de reconnaissance vocale (38) est apte à associer à une commande vocale donnée par le pilote un signal de commande en fonction en outre des grammaires associées à des zones visuelles (14A,…, 14D) de l’historique de désignation des zones visuelles (14A,…, 14D).
  11. Système (20) selon la revendication 10, dans lequel le module de reconnaissance vocale (38) comprend un moteur de reconnaissance vocale apte à déterminer à partir de la commande vocale donnée par le pilote une ou plusieurs commandes reconnues en utilisant l’une des grammaires et à associer à chacune de ces commandes un taux de confiance en fonction de la grammaire utilisée ;
    le signal de commande étant déterminé en analysant ce(s) taux de confiance.
  12. Ensemble d’interaction (10) dans le cockpit d’un aéronef comprenant :
    - un système d’interaction (20) selon l’une quelconque des revendications précédentes ;
    - une pluralité d’unités d’affichage (24A,…, 24D), chaque unité d’affichage (24A, …, 24D) étant apte à contrôler une zone visuelle (14A, …, 14D) identifiable par un identifiant, l’ensemble des zones visuelles (14A, …, 14D) formant un espace visuel (12).
  13. Ensemble (10) selon la revendication 12, dans lequel chaque unité d’affichage (24A, …, 24D) est apte à activer la zone visuelle (14A,…, 14D) correspondante en cas de réception d’un signal d’activation correspondant issu du module de sortie (36) du système d’interaction (20).
  14. Ensemble (10) selon la revendication 12, dans lequel :
    - la fonction de transfert associe en outre à chaque ensemble de mesures un point ciblé dans la zone visuelle (14A, …, 14D) correspondante ;
    - chaque unité d’affichage (24A, …24D) est apte à activer en outre une sous-zone de la zone visuelle correspondante, conformément au point ciblé transmis par le signal d’activation.
FR2004435A 2020-05-05 2020-05-05 Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction Active FR3110007B1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR2004435A FR3110007B1 (fr) 2020-05-05 2020-05-05 Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction
US17/923,224 US20230185366A1 (en) 2020-05-05 2021-05-05 System for interacting with a plurality of visual zones and interaction assembly in the cockpit of an aircraft comprising such an interaction system
PCT/EP2021/061810 WO2021224309A1 (fr) 2020-05-05 2021-05-05 Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2004435A FR3110007B1 (fr) 2020-05-05 2020-05-05 Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction
FR2004435 2020-05-05

Publications (2)

Publication Number Publication Date
FR3110007A1 true FR3110007A1 (fr) 2021-11-12
FR3110007B1 FR3110007B1 (fr) 2022-05-13

Family

ID=73698886

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2004435A Active FR3110007B1 (fr) 2020-05-05 2020-05-05 Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction

Country Status (3)

Country Link
US (1) US20230185366A1 (fr)
FR (1) FR3110007B1 (fr)
WO (1) WO2021224309A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands
FR3041140A1 (fr) * 2015-09-15 2017-03-17 Dassault Aviat Reconnaissance vocale automatique avec detection d'au moins un element contextuel, et application au pilotage et a la maintenance d'un aeronef
FR3065545A1 (fr) * 2017-04-25 2018-10-26 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
EP3525066A1 (fr) * 2018-02-12 2019-08-14 Thales Vision périphérique dans une interface homme-machine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands
FR3041140A1 (fr) * 2015-09-15 2017-03-17 Dassault Aviat Reconnaissance vocale automatique avec detection d'au moins un element contextuel, et application au pilotage et a la maintenance d'un aeronef
FR3065545A1 (fr) * 2017-04-25 2018-10-26 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
EP3525066A1 (fr) * 2018-02-12 2019-08-14 Thales Vision périphérique dans une interface homme-machine

Also Published As

Publication number Publication date
WO2021224309A1 (fr) 2021-11-11
FR3110007B1 (fr) 2022-05-13
US20230185366A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
EP3086195B1 (fr) Système de pilotage de drone en immersion
US10475254B2 (en) Methods and apparatus to align components in virtual reality environments
EP3316068B1 (fr) Système autonome de prise de vues animées par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible
FR3034681A1 (fr) Systeme de pilotage de drone en immersion.
EP2364757B1 (fr) Procédé et appareil de télécommande d'un drone, notamment d'un drone à voilure tournante
EP3025770A1 (fr) Système video pour le pilotage d'un drone en mode immersif
US20130044128A1 (en) Context adaptive user interface for augmented reality display
FR3052889B1 (fr) Correction d'erreur induite par des vibrations pour affichage a ecran tactile dans un aeronef
FR3042613A1 (fr) Dispositif de pilotage d'un drone apte a maintenir des commandes de pilotage et procede de commande associe.
WO2015112433A1 (fr) Sélection par balayage du regard
CN111602104B (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
EP3222466A1 (fr) Dispositif de commande d'éclairage intérieur d'un véhicule automobile
FR3065544A1 (fr) Procede de pilotage d'un drone a voilure tournante, programme d'ordinateur, appareil electronique et drone associes
US20240028043A1 (en) Robot for preventing interruption while interacting with user
FR3053204A1 (fr) Reseau local pour l'echange simultane de donnees entre un drone et une pluralite de terminaux utilisateur.
CN114648623A (zh) 信息处理装置、信息处理方法以及计算机可读介质
WO2015132281A1 (fr) Procédé de contrôle d'un système de détection et de suivi d'une cible
FR3005173A1 (fr) Procede d'interaction dans un cockpit d'aeronef entre un pilote et son environnement
FR3110007A1 (fr) Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction
EP2936281B1 (fr) Module d'interface
CA3047766C (fr) Systeme d'aide au pilotage d'un aeronef, aeronef associe et procede d'aide au pilotage de cet aeronef
EP3629314A1 (fr) Procédé de planification du vol d'un aéronef, produit programme produit ordinateur et système de planification associés
EP2936284B1 (fr) Module d'interface permettant de detecter un geste
WO2020064956A1 (fr) Système d'affichage tête haute, procédé d'affichage et produit programme d'ordinateur associés
EP3373118B1 (fr) Interface homme machine comportant une caméra et un marqueur

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20211112

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4