FR3093839A1 - Terminal d’opérateur de système de mission et procédé d’affichage et d’interaction associé - Google Patents
Terminal d’opérateur de système de mission et procédé d’affichage et d’interaction associé Download PDFInfo
- Publication number
- FR3093839A1 FR3093839A1 FR1902651A FR1902651A FR3093839A1 FR 3093839 A1 FR3093839 A1 FR 3093839A1 FR 1902651 A FR1902651 A FR 1902651A FR 1902651 A FR1902651 A FR 1902651A FR 3093839 A1 FR3093839 A1 FR 3093839A1
- Authority
- FR
- France
- Prior art keywords
- mission
- display
- resources
- information relating
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000002123 temporal effect Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000002596 correlated effect Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000007257 malfunction Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0039—Modification of a flight plan
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Terminal d’opérateur de système de mission et procédé d’affichage et d’interaction associé L’invention concerne un terminal d’opérateur de système de mission, comportant une interface d’affichage et d’interaction avec l’opérateur, adaptée à afficher des informations relatives à une mission à effectuer par au moins une plateforme mobile (18, 20, 22) ayant des ressources associées, ladite mission impliquant un déplacement de la au moins une plateforme mobile (18, 20, 22) et une utilisation d’au moins une ressource associée à ladite plateforme mobile selon un plan de mission. Le terminal (2) est adapté à afficher sur ladite interface (4) d’affichage et d’interaction, dans une première zone (6) d’affichage d’informations relatives aux ressources utilisées durant la mission, comportant, pour la ou chaque plateforme mobile, une pluralité de ressources associées et un état de disponibilité de chaque ressource affichée. L’invention concerne également un système de mission associé, et un procédé d’affichage et d’interaction associé. Figure pour l'abrégé : Figure 1
Description
La présente invention concerne un terminal d’opérateur de système de mission et un procédé d’affichage et d’interaction mis en œuvre par un terminal d’opérateur de système de mission associé.
L’invention se situe dans le domaine des systèmes de missions effectuées par des plateformes mobiles telles des aéronefs, véhicules terrestres, navires, embarquant des ressources matérielles (capteurs, effecteurs, radars) pour effectuer diverses missions, et en particulier dans le domaine des interfaces homme/machine de tels systèmes.
L’invention trouve des applications pour des missions civiles ou militaires, devant être effectuées soit par une plateforme mobile, soit en collaboration par plusieurs plateformes mobiles.
De manière connue, une mission est définie pour atteindre un objectif donné, grâce à l’utilisation séquentielle de diverses ressources d’une plateforme se déplaçant entre un point de départ et un point cible associé à l’objectif. Les missions faisant intervenir de multiples ressources et de multiples acteurs (par exemple, plusieurs plateformes mobiles) sont en général planifiées à l’avance, avec l’aide d’un générateur de plan de mission. Un opérateur est chargé coordonner la mission, et, le cas échéant, de modifier le plan de mission en fonction d’évènements contextuels induisant un changement de la situation par rapport à la planification initiale.
Les missions étant complexes, il est utile de fournir à un opérateur de mission des outils lui permettant, dans le cadre d’un système de mission fortement automatisé, de comprendre et d’évaluer des modifications proposées par la système, et/ou, de lui fournir des outils lui permettant de modifier le plan de mission rapidement pour tenir compte d’évènement contextuels externes. Dans le cadre de missions complexes impliquant plusieurs acteurs, et nécessitant une réactivité très élevée, il est important de fournir à l’opérateur du système de mission des interfaces homme/système facilitant l’interaction avec le système.
A cet effet, l’invention propose un terminal d’opérateur de système de mission, comportant une interface d’affichage et d’interaction avec l’opérateur, adaptée à afficher des informations relatives à une mission à effectuer par au moins une plateforme mobile ayant des ressources associées, ladite mission impliquant un déplacement de la au moins une plateforme mobile et une utilisation d’au moins une ressource associée à ladite plateforme mobile selon un plan de mission. Ce système est adapté à afficher sur ladite interface d’affichage et d’interaction, dans une première zone d’affichage d’informations relatives aux ressources utilisées durant la mission, comportant, pour la ou chaque plateforme mobile, une pluralité de ressources associées et un état de disponibilité de chaque ressource affichée.
Avantageusement, grâce à l’affichage des informations relatives aux ressources utilisées pendant la mission et à l’état des ressources durant la mission, l’opérateur a la possibilité de contrôler le bon déroulement de la mission.
Le terminal d’opérateur selon l’invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons acceptables.
Pour au moins une desdites ressources, ladite information affichée comporte un élément graphique d’interaction associé à ladite ressource, une action de l’opérateur sur l’élément graphique d’interaction associé à ladite ressource ayant pour effet de recalculer le plan de mission et de mettre à jour l’affichage.
Le terminal est adapté à afficher au moins deux zones d’affichage, comportant ladite première zone d’affichage d’informations relatives aux ressources utilisées durant la mission, ainsi que une deuxième zone d’affichage d’informations relatives aux positions spatiales de la ou des plateformes mobiles durant la mission, lesdites informations relatives aux ressources et informations relatives aux positions spatiales affichées en parallèle étant corrélées, et/ou une troisième zone d’affichage d’informations relatives aux projections temporelles de la ou des plateformes mobiles durant la mission, lesdites informations relatives aux ressources et informations relatives aux projections temporelles affichées en parallèle étant corrélées.
Lorsque la mission est effectuée par plusieurs plateformes mobiles, les ressources sont affichées dans ladite première zone d’affichage sous forme d’une matrice de ressource, chaque colonne ou chaque ligne de ladite matrice de ressources étant associée à une desdites plateformes mobiles.
Un symbole graphique représentatif d’un état de disponibilité ou d’un état d’indisponibilité de chaque ressource est affiché en association chaque ressource affichée dans ladite première zone d’affichage.
Le terminal d’opérateur est configuré pour afficher suite à une réception de donnée contextuelle d’environnement, une indication graphique d’alerte de risque de dysfonctionnement d’au moins une des ressources affichées.
Selon un autre aspect, l’invention concerne un système de mission comportant un terminal d’opérateur tel que brièvement décrit ci-dessus.
Selon un autre aspect l’invention concerne un procédé d’affichage et d’interaction mis en œuvre par un terminal d’opérateur de système de mission comportant une interface d’affichage et d’interaction avec l’opérateur, adaptée à afficher des informations relatives à une mission à effectuer par au moins une plateforme mobile ayant des ressources associées, ladite mission impliquant un déplacement de la au moins une plateforme mobile et une utilisation d’au moins une ressource associée à ladite plateforme mobile selon un plan de mission. Ce procédé comporte des étapes de :
- obtention du plan de mission désignant une ou plusieurs plateformes mobiles et des ressources associées ;
- affichage d’une première zone d’affichage d’informations relatives aux ressources utilisées durant la mission, comportant, pour la ou chaque plateforme mobile, une pluralité de ressources associées et un état de disponibilité de chaque ressource affichée.
Selon un mode de réalisation, le procédé comporte en outre un affichage d’une deuxième zone d’affichage d’informations relatives aux positions spatiales de la ou des plateformes mobiles durant la mission, lesdites informations relatives aux ressources et informations relatives aux positions spatiales affichées en parallèle étant corrélées, et/ou l’affichage d’une troisième zone d’affichage d’informations relatives aux projections temporelles de la ou des plateformes mobiles durant la mission, lesdites informations relatives aux ressources et informations relatives aux projections temporelles affichées en parallèle étant corrélées.
Selon un mode de réalisation, le procédé comporte en outre une réception de commande d’opérateur par action sur un élément graphique d’interaction associé à une des ressources affichées dans ladite première zone d’affichage, un recalcul de plan de mission et une mise à jour de l’affichage.
D’autres caractéristiques et avantages de l’invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles :
La figure 1 illustre schématiquement un mode de réalisation d’un système de mission 1 comportant un terminal d’opérateur 2.
Le terminal d’opérateur 2 comporte une interface 4 d’affichage et d’interaction avec l’opérateur, adaptée à afficher au moins une zone d’affichage 6.
Dans la figure 1, l’affichage d’une seule zone d’affichage est illustré.
Bien entendu, l’affichage d’une pluralité de zones d’affichage est prévu en alternative.
Dans un mode de réalisation, l’interface 4 d’affichage et d’interaction est une interface tactile, permettant à l’opérateur d’effectuer des commandes par sélection ou sélection et déplacement tactile d’éléments affichés, appelés éléments graphiques d’interaction.
Le terminal d’opérateur comporte un dispositif électronique 8, par exemple un ordinateur, qui comprend un contrôleur 10 adapté à commander l’affichage sur l’interface 4 d’affichage et d’interaction et à recevoir et à mettre en œuvre les commandes effectuées par l’opérateur sur l’interface 4 d’affichage et d’interaction.
Le dispositif électronique 8 comprend une unité électronique de mémoire 12 et un processeur 14 associé à l’unité électronique de mémoire 12.
Le dispositif électronique 8 comprend ou est connecté à un module de communication 16 adapté à communiquer à distance, via une liaison radio et selon un protocole de communication approprié, avec une pluralité de plateformes mobiles 18, 20, 22.
Par exemple, la plateforme mobile 18 est un avion, la plateforme mobile 20 est un hélicoptère et la plateforme mobile 22 est un véhicule terrestre. Il s’agit dans cet exemple de plateformes mobiles de types différents, l’exemple étant bien entendu non exhaustif : on peut également envisager tout type d’aéronef, avec ou sans pilote ; tout type de véhicule terrestre.
On entend ici par type de plateforme mobile une plateforme mobile ayant des fonctionnalités similaires.
Bien entendu, il s’agit d’un exemple, le nombre de plateformes mobiles, de même type ou de types différents peut être quelconque, en fonction de la mission envisagée.
Chaque plateforme mobile a des capacités fonctionnelles, par exemple en termes de vitesse de déplacement, altitude de vol pour les aéronefs.
De plus chaque plateforme mobile a des ressources associées, qui sont par exemple : des senseurs, des effecteurs embarqués (e.g. caméras optiques, caméras infrarouges, radars), des ressources de fonctionnement (e.g. quantité de carburant embarqués), des ressources de mission (par exemple, un réservoir d’eau pour un avion bombardier d’eau).
Les ressources associées à chaque plateforme mobile sont connues, et listées dans une base de données de connaissances 24 faisant partie du système de mission 1, mémorisée par exemple sous forme de base de données. Le dispositif électronique 8 du terminal d’opérateur 2 est adapté à communiquer avec la base de connaissances 24.
De plus, chaque plateforme mobile 18, 20, 22 est adaptée à communiquer un état de chaque ressource au terminal d’opérateur 2 via le module de communication 16.
L’état d’une ressource inclut un état de bon fonctionnement ou un état de dysfonctionnement, et peut avoir une valeur associée, par exemple un niveau de remplissage de réservoir de carburant ou de réservoir d’eau.
En outre, chaque plateforme mobile est adaptée à communiquer des données obtenues par les capteurs ou senseurs embarqués au terminal d’opérateur 2.
Le terminal d’opérateur 2 est également adapté, dans le mode de réalisation illustré, à communiquer à distance avec une station de contrôle 30, par exemple pour recevoir des données de contexte, par exemple des données météorologiques mises à jour régulièrement.
Pour une mission à effectuer par une ou plusieurs plateformes mobiles, utilisant leurs capacités et leurs ressources respectives, un plan de mission 32 est calculé par un module de calcul de plans de mission 34. Le module de calcul de plans de mission appartient au système de mission et est adapté à communiquer avec le terminal d’opérateur, et avec la base de données de connaissances 24.
Dans un mode de réalisation, le module de calcul de plans de mission 34 est réalisé sous forme de logiciel et est mis en œuvre par le dispositif électronique 8.
Dans un mode de réalisation, le terminal d’opérateur 2 est situé dans une station de contrôle au sol, et l’opérateur de mission contrôle à distance le déroulement d’une mission.
Dans une variante, le terminal d’opérateur 2 est embarqué sur une des plateformes mobiles engagées dans une mission, et l’opérateur de mission est un des pilotes de la plateforme mobile porteuse.
Dans une autre variante, chaque plateforme mobile embarque un tel terminal de mission, et plusieurs opérateurs sont à même d’interagir avec le terminal de mission dans un mode de fonctionnement collaboratif.
Une mission est définie par un effet recherché sur un objectif.
Pour la mise en œuvre d’une mission, un plan de mission impliquant une ou plusieurs plateformes mobiles et des ressources de ces plateformes est calculé. La réalisation de l’effet recherché impose des contraintes sur les ressources à mettre en œuvre, et également des contraintes spatiales et temporelles.
Un plan de mission est établi sur la base de règles préalablement mémorisées dans la base de données des connaissances 24, en fonction des ressources embarquées à utiliser et des capacités fonctionnelles des ressources et/ou des plateformes mobiles choisies.
Le plan de mission définit des trajectoires des plateformes mobiles, chaque trajectoire étant définie par une pluralité de points de passage, un point de passage étant par exemple défini par des coordonnées spatiales dans un référentiel de géolocalisation.
De même le plan de mission peut définir des points de synchronisation temporelle, qui expriment certaines contraintes de la mission.
Enfin, le plan de mission des états intermédiaires des plateformes mobiles et des ressources à utiliser, chaque état intermédiaire étant défini en fonction de plages spatiales et/ou temporelles.
Le passage d’un état intermédiaire à un autre est effectué par application de fonctions ou services permettant d’obtenir un changement d’état.
En plus des contraintes liées aux plateformes mobiles et aux ressources utilisées pour obtenir l’effet recherché sur l’objectif, des contraintes dues à des données de contexte mises à jour en temps réel sont également à prendre en compte.
La mise à jour en temps réel de contraintes due aux données de contexte induit une mise à jour du plan de mission, la mise à jour pouvant comprendre : une modification de trajectoire pour une ou plusieurs des plateformes mobiles, une modification des ressources utilisées, une modification des contraintes temporelles qui induit par exemple une modification de la vitesse de déplacement d’une des plateformes mobiles.
De plus, le système de mission 1 permet à l’opérateur de mission de surveiller et de commander l’utilisation des plateformes mobiles et des ressources associées, par utilisation du terminal d’opérateur 2. La commande, de l’utilisation ou de la non-utilisation de certaines ressources affichées, par l’opérateur de mission, a également pour effet un re-calcul en temps réel du plan de mission.
La modification en temps réel d’un plan de mission entraîne un envoi de commandes aux plateformes mobiles 18, 20, 22 en déplacement pour mettre en œuvre le plan de mission modifié : par exemple, changement de vitesse et/ou de trajectoire, ou du mode d’utilisation des ressources, ou des ressources à utiliser parmi les ressources disponibles.
Avantageusement, l’état des ressources utilisées pour la mission pour chaque plateforme mobile est affiché dans la zone d’affichage 6, et donc tout changement d’état est affiché.
Dans l’exemple de la figure 1, les ressources sont affichées dans la zone d’affichage 6 sous forme matricielle dans une « matrice de ressources ». Par exemple chaque colonne de la matrice affiche des ressources associées à une plateforme mobile donnée, indiquée par P1, P2, P3dans la matrice des ressources. Les indications P1, P2, P3affichées sont par exemple textuelles, ou bien sont remplacées par des symboles graphiques représentatifs des plateformes mobiles 18, 20, 22 dans l’exemple de la figure 6. Chaque ressource a un élément graphique associé (une « case » de la matrice dans l’exemple de la figure 1), qui peut contenir ou non des informations textuelles. De préférence, l’élément graphique associé à une ressource est un élément graphique d’interaction.
Par exemple, chaque ligne de ressources est affectée à un type de ressource donnée, indiquées par des indications R1, R2, R3dans la figure 1. Les indications R1, R2, R3affichées sont par exemple textuelles, ou bien sont remplacées par des symboles graphiques représentatifs des ressources.
En variante, les lignes de la matrice de ressources ne correspondent pas à un type de ressources, seules les colonnes sont affectées à une plateforme mobile utilisée dans le plan de mission.
Selon une autre variante, ce sont les lignes de la matrice de ressources qui sont affectées à une plateforme mobile utilisée dans le plan de mission.
Selon encore une autre variante, les ressources ne sont pas affichées sous forme de matrice de ressources, mais sous une autre forme, par exemple en regroupant les ressources associées à une même plateforme mobile.
Dans tous les cas, l’affichage des ressources est effectué en parallèle lorsque plusieurs plateformes mobiles sont impliquées dans la mission.
Bien entendu, certains types de ressources (e.g. types de capteurs) ne sont pas embarqués en nombre égal par chaque plateforme mobile ou ne sont embarqués que sur certaines des plateformes mobiles. Dans ce cas, un symbole graphique est affiché dans la case correspondante pour indiquer l’absence ou l’indisponibilité d’une ressource correspondante. Le symbole graphique représentatif d’indisponibilité est par exemple une croix.
De même, un symbole graphique représentatif de disponibilité est prévu pour indiquer qu’une ressource est utilisable. Par exemple le symbole graphique représentatif de disponibilité est une coche (ou « check mark » en anglais).
Enfin, un symbole graphique représentatif d’une ressource en attente, présente mais non utilisée, peut également être représenté. Par exemple, ce symbole graphique représentatif de ressource en attente est un rond.
En complément optionnel, des symboles spécifiques sont prévus pour représenter plus finement les états des ressources par exemple : ressource éteinte ou en mode silence (pour un capteur, un radar), ressource hors service, ressources déjà utilisée ou ressource inefficace dans le contexte de la mission (par exemple, en fonction d’un contexte météorologique).
Ainsi, les états de disponibilité ou d’indisponibilité des ressources sont précisés, fournissant des informations complémentaires utiles pour l’opérateur de mission.
Bien entendu il s’agit ici d’exemples, d’autres symboles graphiques pouvant être envisagés.
De même toute dépendance entre ressources d’une même plateforme mobile ou entre ressources de plusieurs plateformes mobiles engagées dans la mission est également affichée. Par exemple, un lien de dépendance est illustré par un trait dans l’exemple de la figure 1, indiquant que la ressource R2de la plateforme mobile P2est en lien de dépendance avec la ressource R3de la plateforme mobile P1.
La vision de l’état des ressources permet à l’opérateur de mission de prendre des décisions en fonction au moins de la disponibilité ou de l’indisponibilité ponctuelle de certaines ressources.
Par exemple, l’opérateur effectue des commandes par opération tactile (sélection par un doigt, appui prolongé ou mouvement de translation) sur un élément graphique d’interaction affiché en lien avec une ressource associée à une plateforme mobile.
Pour expliciter l’invention grâce à un exemple concret, qui est bien entendu non limitatif, l’exemple d’une mission d’extinction d’un feu est décrit plus en détail ci-après.
Dans une telle mission, l’effet recherché est l’extinction d’un feu, par exemple localisé grossièrement dans une zone géographique.
Il est possible d’envisager la participation d’un avion bombardier d’eau et d’un hélicoptère équipé de capteurs tels des caméras. L’hélicoptère est utilisé pour un repérage spatial précis de la localisation géographique de l’objectif (le feu à éteindre), et doit obtenir et transmettre cette information à l’avion bombardier d’eau afin de programmer la localisation géographique à laquelle l’avion devra effectuer le largage de l’eau de son réservoir pour atteindre l’objectif d’extinction du feu.
Le plan de mission définit des trajectoires de l’avion et de l’hélicoptère, des ressources à utiliser : e.g. un ou plusieurs capteurs embarqués par l’hélicoptère pour déterminer la localisation géographique, un réservoir d’eau à larguer sur l’objectif, et des états intermédiaires et des services/fonctions permettant de les atteindre. Les états intermédiaires sont par exemple : repérage spatial précis de l’objectif, acheminement du bombardier d’eau à une localisation géographique précise, largage d’une quantité déterminée d’eau, vérification de l’atteinte de l’objectif et enfin validation de la mission (i.e. de l’atteinte de l’objectif).
Il s’agit dans ce cas d’une mission collaborative entre plusieurs plateformes mobiles. Bien entendu, chacune a des capacités de fonctionnement qui lui sont propres.
Dans cet exemple, il y a également des contraintes temporelles à réaliser : l’hélicoptère doit se rendre à proximité de l’objectif avant l’avion bombardier d’eau pour effectuer une localisation géographique précise.
Des trajectoires de chaque plateforme mobile sont calculées en fonction de l’objectif et d’autres contraintes connues, par exemple des capacités de fonctionnement de chaque plateforme mobile, de la géographie du terrain survolé, et des conditions de visibilité prévues, ou des conditions météorologiques prévues.
La figure 2 illustre un exemple d’interface 4 d’affichage et d’interaction d’un terminal d’opérateur dans un mode de réalisation de l’invention.
Dans ce mode de réalisation l’opérateur de mission 50 visualise trois zones d’affichage : une première zone 52 d’affichage d’informations relatives aux ressources utilisées durant la mission ; une deuxième zone 54 d’affichage d’informations relatives aux positions spatiales des plateformes durant la mission, et une troisième zone 56 d’affichage d’informations de projection temporelle relatives des plateformes durant la mission.
Dans l’exemple de la figure 2, en lien avec l’exemple de mission d’extinction de feu décrit ci-dessus, deux plateformes mobiles sont utilisées durant la mission, un avion bombardier d’eau 58 et un hélicoptère 60.
Dans l’exemple, deux colonnes de ressources 53A, 53B, respectivement relatives aux ressources de l’avion 58 et de l’hélicoptère 60 sont représentées dans la première zone d’affichage 52.
Deux trajectoires 55A, 55B sont représentées dans la deuxième zone d’affichage 54, la première trajectoire 55A correspondant à l’avion 58 et la deuxième trajectoire 55B correspondant à l’hélicoptère 60.
Deux axes temporels 57A, 57B sont représentées dans la troisième zone d’affichage 56, le premier axe 57A correspondant à l’avion 58 et la deuxième trajectoire 57B correspondant à l’hélicoptère 60. Chaque axe temporel démarre à un instant courant Tcet s’étend jusqu’à un instant ultérieur prévu de fin de mission.
L’objectif à atteindre 62 (feu à éteindre dans cet exemple) est schématiquement représenté dans la deuxième zone d’affichage 54.
Les affichages dans les première, deuxième et troisième zones d’affichage sont corrélés, l’état de disponibilité et d’utilisation des ressources affichées dans la première zone d’affichage correspondant à des points de passage de chaque trajectoire visibles dans la deuxième zone d’affichage et à des projections temporelles associées visibles dans la troisième zone d’affichage.
Dans ce mode de réalisation, l’opérateur de mission a la possibilité de modifier certaines des contraintes, ce qui entraîne une modification du plan de mission.
Par exemple, il a la possibilité de désigner des ressources à utiliser en priorité, par exemple de sélectionner un capteur à utiliser parmi plusieurs capteurs.
Il a également la possibilité de modifier une des trajectoires ou les deux trajectoires 55A, 55B. Par exemple, la modification d’une trajectoire s’effectue de manière ergonomique par sélection par appui d’un doigt d’un point de la trajectoire et glissement sur l’interface d’affichage et d’interaction. La modification interactive d’une des trajectoires ou des deux trajectoires entraîne une modification corrélée de l’affichage dans les première zone d’affichage 52 et troisième zone d’affichage 56.
En effet, une modification de trajectoire peut entraîner des modifications des états des ressources, et une modification des axes temporels, par exemple un allongement ou un raccourcissement des durées de trajets.
Par exemple, comme illustré à la figure 3, une donnée contextuelle, par exemple une perturbation météorologique, est obtenue en cours de mission, par exemple en provenance d’une station de contrôle 30.
La donnée contextuelle qui impose des contraintes sur la mission. Un objet correspondant, affichable sur les première, deuxième et troisième zones d’affichage est généré, de manière à indiquer l’existence et l’étendue de la contrainte sur les ressources, ainsi que dans les représentations spatiale et temporelle.
L’objet 70 affiché en superposition dans la deuxième zone d’affichage représente la zone spatiale affectée par la perturbation météorologique, permettant à l’opérateur de localiser spatialement la zone de perturbation météorologique. Un effet sur les ressources de la perturbation météorologique est affiché dans la première zone d’affichage.
L’objet 72 affiché en superposition de l’axe temporel 57B correspondant à l’hélicoptère dans la troisième zone d’affichage 56, représente l’effet de la perturbation météorologique dans la dimension temporelle, et indique la période temporelle de traversée de la perturbation météorologique.
De plus, des projections 59, 61 de dépendances temporelles entre les plateformes mobiles ou entre des ressources embarquées sur ces plateformes, dépendantes des contraintes du plan de mission, sont illustrées sur la troisième zone d’affichage.
Dans l’exemple, une indication graphique d’alerte 74 est affichée, l’indication graphique étant destinée à indiquer que le bon fonctionnement d’une ou plusieurs ressources est menacé dans un futur proche.
Ainsi, les affichages dans les première, deuxième et troisième zones d’affichage sont corrélés.
Par exemple, l’indication graphique d’alerte 74 est un symbole prédéterminé.
Selon une variante, plusieurs symboles sont prévus pour des indications graphiques d’alerte, en fonction du type d’alerte (e.g. perturbation météorologique, menace externe).
De préférence, l’indication graphique d’alerte 74 est sélectionnée pour attirer l’attention de l’opérateur de mission, par exemple le symbole est clignotant, ou brillant.
L’indication graphique d’alerte 74 peut concerner une ou plusieurs ressources.
En variante, c’est l’élément graphique 76B représentatif de la ressource dont le fonctionnement est menacé par la perturbation météorologique qui est modifié : par exemple il est encadré dans une couleur prédéterminée, il est affiché en mode clignotant.
Par exemple, dans le cadre de la mission d’extinction d’incendie décrite, la perturbation météorologique affecte la visibilité et donc la capacité d’un capteur optique à capter des images exploitables.
L’opérateur de mission est prévenu et grâce à l’interface 4 d’affichage et d’interaction, il peut par exemple sélectionner une autre ressource, par action sur l’élément graphique d’interaction associé, par exemple un capteur fonctionnant dans les conditions de visibilité prévues.
Dans l’exemple de la figure 4, le capteur 76B est dé-sélectionné par l’opérateur de mission par action sur l’élément graphique d’interaction associé, il est indiqué comme étant indisponible dans la première zone d’affichage. L’opérateur sélectionne le capteur 78A, qui est porté par la plateforme 58. Dans l’exemple illustré, les trajectoires restent inchangées. La menace de dysfonctionnement subsiste, mais le capteur 76B n’étant plus utilisé, cette menace ne remet pas en question la réalisation de la mission.
Il est à noter que dans d’autres cas de figure, les trajectoires spatiales et les axes temporels associés sont re-calculées. L’affichage dans les première zone d’affichage 52, deuxième zone d’affichage 54 et troisième zone d’affichage 56 est mis à jour suite au re-calcul des trajectoires.
Si l’opérateur de mission choisit de modifier la trajectoire 55B, pour sortir de la zone de perturbation, le capteur initial 76B pourra être utilisé sans dysfonctionnement. Alors l’indication graphique d’alerte 74 est enlevée, et, le cas échéant, les axes temporels sont modifiés en lien avec les trajectoires spatiales, comme montré schématiquement dans la figure 5.
La figure 6 illustre schématiquement un autre mode de réalisation d’une interface d’affichage et d’interaction d’un terminal d’opérateur de mission selon l’invention.
Dans ce mode de réalisation, l’interface d’affichage et d’interaction 4 est adaptée à afficher une première zone d’affichage 82 d’informations relatives aux ressources utilisées durant la mission ; une deuxième zone d’affichage 84 d’informations relatives aux positions spatiales des plateformes durant la mission, et une troisième zone d’affichage 86 d’informations relatives aux projections temporelles des plateformes durant la mission. En particulier, des dates prévues d’arrivée des plateformes mobiles à des localisations spatiales correspondantes, illustrées par des croix dans l’exemple, ont affichées.
Dans l’exemple illustré à la figure 6, trois plateformes mobiles, un avion, un hélicoptère et un véhicule terrestre interviennent dans la mission. Des symboles 88, 90, 92 représentatifs de ces plateformes mobiles sont représentés dans chacune des première, deuxième et troisième zones d’affichage.
Dans la première zone d’affichage 82 d’informations relatives aux ressources est affichée une matrice de ressource, comprenant une ressource 83A, qui correspond au réservoir d’eau présent sur l’avion bombardier d’eau 88, des capteurs vidéo 85A, 85B embarqués respectivement sur l’avion 88 et l’hélicoptère 90. De plus des ressources 85A, 85B, 85C sont représentées, correspondant aux pilotes des plateformes mobiles 88, 90, 92. L’état de disponibilité des pilotes est indiqué par le symbole graphique 85A, 85B, 85C affiché.
De plus, une quatrième zone d’affichage 94 des données de contexte susceptibles d’impacter les ressources, par exemple de perturber le bon fonctionnement des capteurs, est affichée en lien avec la première zone d’affichage 82 d’informations relatives aux ressources. Dans l’exemple de la figure 6, la présence de fumée est indiquée dans la quatrième zone d’affichage 94, et son effet sur les ressources associées à l’avion 88 sont indiquées.
Une cinquième zone 96 d’affichage des fonctions à utiliser pour obtenir un effet recherché pour passer d’un état courant à l’état suivant du plan de mission est affichée. Dans l’exemple de la figure 6, la fonction à utiliser est la capture vidéo.
Enfin, une sixième zone d’affichage 98 et une septième zone d’affichage 100, pour afficher des informations relatives au plan de mission et à l’objectif de la mission, sont également affichées. Par exemple, dans la figure 6, quatre états intermédiaires sont prévus : un premier état 95 de localisation ou repérage de l’objectif, un deuxième état intermédiaire 97 d’évaluation de l’objectif, un troisième état intermédiaire 99 de largage d’eau et un quatrième état final 101 de validation de l’atteinte de l’objectif.
Le passage d’un état intermédiaire à un état suivant, intermédiaire ou final, met en œuvre un ou plusieurs services, opérationnels ou techniques. Par exemple un service opérationnel est la localisation géographique. Un service technique est par exemple le guidage de caméras ou de radars pour réaliser un service opérationnels. La détermination des services techniques à appeler en fonction de l’objectif et des états intermédiaires est réalisée en utilisant la base de données de connaissances. La figure 7 est un synoptique des principales étapes d’un procédé d’affichage et d’interaction mis en œuvre par un terminal d’opérateur de système de mission selon un mode de réalisation de l’invention.
Le procédé comporte une première étape 100 d’obtention d’un plan de mission initial, en fonction d’un objectif et d’un effet recherché sur l’objectif. Le plan de mission est par exemple calculé et fourni par un module de calcul de plans de mission 34, en fonction de contraintes, de capacités, et ressources de plateformes mobiles impliquées, en utilisant une base de données de connaissances. Le calcul d’un plan de mission est effectué par tout algorithme connu.
A l’issue de l’étape 100, un plan de mission désignant une ou plusieurs plateformes mobiles, des ressources associées, des états intermédiaires et des fonctions ou services à mettre en œuvre est obtenu.
L’étape 100 est suivie d’une étape 110 d’affichage d’une première zone d’affichage d’informations relatives aux ressources utilisées durant la mission, ainsi que de leur état de disponibilité/indisponibilité. Comme décrit ci-dessus, une pluralité de tels états peuvent être indiqués, permettant par exemple de préciser des raisons d’indisponibilité : hors service ou éteint ou déjà utilisé par un autre service ou inefficace.
De préférence, les ressources associées à chaque plateforme mobile sont affichées sous forme d’une matrice de ressources.
Lors de l’initialisation, la première zone d’affichage comporte des informations relatives à un état initial du plan de mission.
Une étape optionnelle 120 d’affichage d’une deuxième zone d’affichage d’informations relatives aux positions spatiales de la plateforme durant la mission, et/ou d’une troisième zone d’affichage d’informations relatives aux projections temporelles de la plateforme durant la mission. Egalement des zones d’affichages complémentaires telles que décrites ci-dessus sont également optionnellement affichées.
Lorsqu’elle est mise en œuvre, l’étape 120 est de préférence réalisée en parallèle de l’’étape 110. Les informations affichées dans la première zone d’affichage, la deuxième zone d’affichage et/ou la troisième zone sont corrélées.
Les étapes d’affichage 110 et 120 sont effectuées de préférence en temps réel, de manière à afficher dynamiquement toute évolution durant la mission et/ou toute donnée de contexte reçue par le terminal d’opérateur.
Ensuite, une étape 130 de réception d’une commande d’opérateur de mission est mise en œuvre. L’opérateur de mission effectue par exemple une commande tactile sur l’une des première, deuxième et troisième zones affichées, comme expliqué ci-dessus, par exemple la sélection ou la désélection d’une ressource par une action sur l’élément graphique d’interaction associé.
La réception d’une commande d’utilisateur entraîne un rafraîchissement 140 des affichages pour afficher d’une part, toute modification effectuée par la commande de l’opérateur dans une ou plusieurs des zones d’affichage, et un recalcul 150 du plan de mission.
Toutes modifications induites par la modification du plan de mission sont affichées également. Ainsi l’étape 150 est suivie des étapes d’affichage 110 et 120 préalablement décrites.
Il est à noter que l’invention a été décrite ci-dessus en relation avec des exemples de mise en œuvre pour des missions faisant intervenir plusieurs plateformes mobiles, chaque plateforme mobile ayant une pluralité de ressources associées.
L’invention s’applique également dans le cas où une seule plateforme mobile, par exemple un aéronef, est utilisé pour la mise en œuvre d’une mission. Dans un tel cas, l’affichage des ressources de la plateforme mobile utilisées pour la mission est prévu, ainsi que, en variante, l’affichage de plusieurs zones d’affichage respectivement une première zone d’affichage d’informations relatives aux ressources utilisées durant la mission ; une deuxième zone d’affichage d’informations relatives aux positions spatiales de la plateforme durant la mission, et une troisième zone d’affichage d’informations relatives aux projections temporelles de la plateforme durant la mission.
Selon une autre variante envisageable, est prévu l’affichage de la première zone d’affichage d’informations relatives aux ressources en corrélation avec une seule autre zone d’affichage, qu’il s’agisse de la zone d’affichage d’informations relatives aux positions spatiales ou de la zone d’affichage d’informations relatives aux projections temporelles de la ou des plateformes mobiles durant la mission.
Avantageusement, toutes mise à jour du plan de mission, soit effectuée par un calcul automatique mis en œuvre par un module de calcul de plans de mission 34, en fonction de données de contexte, soit effectuée suite à une commande de l’opérateur, donne lieu à une modification correspondante de la ou des zones d’affichage d’informations.
Avantageusement, grâce à l’invention, l’opérateur de mission visualise les ressources utilisées pour la mission, ainsi que leur état de disponibilité ou d’indisponibilité. Cela facilite la prise de décision de l’opérateur de mission à tout instant.
Claims (10)
- Terminal d’opérateur de système de mission, comportant une interface d’affichage et d’interaction avec l’opérateur, adaptée à afficher des informations relatives à une mission à effectuer par au moins une plateforme mobile (18, 20, 22) ayant des ressources associées, ladite mission impliquant un déplacement de la au moins une plateforme mobile (18, 20, 22) et une utilisation d’au moins une ressource associée à ladite plateforme mobile selon un plan de mission,
caractérisé en ce qu’il est adapté à afficher sur ladite interface (4) d’affichage et d’interaction, dans une première zone (6, 52, 82) d’affichage d’informations relatives aux ressources utilisées durant la mission, comportant, pour la ou chaque plateforme mobile, une pluralité de ressources associées et un état de disponibilité de chaque ressource affichée. - Terminal d’opérateur selon la revendication 1, dans lequel pour au moins une desdites ressources, ladite information affichée comporte un élément graphique d’interaction associé à ladite ressource, une action de l’opérateur sur l’élément graphique d’interaction associé à ladite ressource ayant pour effet de recalculer (150) le plan de mission et de mettre à jour (110, 120) l’affichage.
- Terminal d’opérateur selon l’une des revendications 1 ou 2, adapté à afficher au moins deux zones d’affichage, comportant ladite première zone (6, 52, 82) d’affichage d’informations relatives aux ressources utilisées durant la mission,
ainsi que une deuxième zone (54, 84) d’affichage d’informations relatives aux positions spatiales de la ou des plateformes mobiles durant la mission, lesdites informations relatives aux ressources et informations relatives aux positions spatiales affichées en parallèle étant corrélées, et/ou
une troisième zone (56, 86) d’affichage d’informations relatives aux projections temporelles de la ou des plateformes mobiles durant la mission, lesdites informations relatives aux ressources et informations relatives aux projections temporelles affichées en parallèle étant corrélées. - Terminal d’opérateur selon l’une quelconque des revendications 1 à 3, dans lequel, lorsque la mission est effectuée par plusieurs plateformes mobiles (18, 20, 22, 58, 60, 88, 90, 92), les ressources sont affichées dans ladite première zone (6, 62, 82) d’affichage sous forme d’une matrice de ressource, chaque colonne ou chaque ligne de ladite matrice de ressources étant associée à une desdites plateformes mobiles.
- Terminal d’opérateur selon l’une quelconque des revendications 1 à 4, dans lequel un symbole graphique représentatif d’un état de disponibilité ou d’un état d’indisponibilité de chaque ressource est affiché en association chaque ressource affichée dans ladite première zone (6, 52, 82) d’affichage.
- Terminal d’opérateur selon l’une quelconque des revendications 1 à 5, configuré pour afficher suite à une réception de donnée contextuelle d’environnement, une indication graphique d’alerte (74) de risque de dysfonctionnement d’au moins une des ressources affichées.
- Système de mission, comportant au moins un dispositif électronique de calcul, une base de données de connaissances (24) et un terminal (2) d’opérateur de mission, le système de mission comportant un module de communication (16) adapté à communiquer à distance, via une liaison radio et selon un protocole de communication approprié, avec une pluralité de plateformes mobile, le système de mission étant configuré pour mettre en œuvre un module (34) de calcul de plans de missions, caractérisé en ce que ledit terminal d’opérateur (2) est conforme aux revendications 1 à 6.
- Procédé d’affichage et d’interaction mis en œuvre par un terminal d’opérateur de système de mission comportant une interface d’affichage et d’interaction avec l’opérateur, adaptée à afficher des informations relatives à une mission à effectuer par au moins une plateforme mobile ayant des ressources associées, ladite mission impliquant un déplacement de la au moins une plateforme mobile et une utilisation d’au moins une ressource associée à ladite plateforme mobile selon un plan de mission, caractérisé en ce qu’il comporte des étapes de :
- obtention (100) du plan de mission désignant une ou plusieurs plateformes mobiles et des ressources associées ;
-affichage (110) d’une première zone d’affichage d’informations relatives aux ressources utilisées durant la mission, comportant, pour la ou chaque plateforme mobile, une pluralité de ressources associées et un état de disponibilité de chaque ressource affichée. - Procédé selon la revendication 8, comportant en outre un affichage (120) d’une deuxième zone d’affichage d’informations relatives aux positions spatiales de la ou des plateformes mobiles durant la mission, lesdites informations relatives aux ressources et informations relatives aux positions spatiales affichées en parallèle étant corrélées, et/ou l’affichage d’une troisième zone d’affichage d’informations relatives aux projections temporelles de la ou des plateformes mobiles durant la mission, lesdites informations relatives aux ressources et informations relatives aux projections temporelles affichées en parallèle étant corrélées.
- Procédé selon l’une des revendications 8 ou 9, comportant en outre une réception (130) de commande d’opérateur par action sur un élément graphique d’interaction associé à une des ressources affichées dans ladite première zone d’affichage, un recalcul (150) de plan de mission et une mise à jour de l’affichage.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1902651A FR3093839B1 (fr) | 2019-03-15 | 2019-03-15 | Terminal d’opérateur de système de mission et procédé d’affichage et d’interaction associé |
| EP20162943.3A EP3709282A1 (fr) | 2019-03-15 | 2020-03-13 | Terminal d'opérateur de système de mission et procédé d'affichage et d'interaction associé |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1902651 | 2019-03-15 | ||
| FR1902651A FR3093839B1 (fr) | 2019-03-15 | 2019-03-15 | Terminal d’opérateur de système de mission et procédé d’affichage et d’interaction associé |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3093839A1 true FR3093839A1 (fr) | 2020-09-18 |
| FR3093839B1 FR3093839B1 (fr) | 2021-07-30 |
Family
ID=67384002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1902651A Active FR3093839B1 (fr) | 2019-03-15 | 2019-03-15 | Terminal d’opérateur de système de mission et procédé d’affichage et d’interaction associé |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3709282A1 (fr) |
| FR (1) | FR3093839B1 (fr) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1307797A2 (fr) * | 2000-05-17 | 2003-05-07 | Abraham E. Karem | Commande intuitive de vehicule et de machine |
| EP2431931A1 (fr) * | 2010-09-21 | 2012-03-21 | The Boeing Company | Gestion du combustible dans un avion |
| US20120237028A1 (en) * | 2011-03-17 | 2012-09-20 | Massachusetts Institute Of Technology | Mission planning interface for accessing vehicle resources |
| EP2642466A1 (fr) * | 2012-03-21 | 2013-09-25 | Dassault Aviation | Système de préparation et de suivi de missions de vol d'aéronefs et procédé correspondant |
| US20170254622A1 (en) * | 2016-03-01 | 2017-09-07 | Northrop Grumman Systems Corporation | Aircraft force multiplication |
-
2019
- 2019-03-15 FR FR1902651A patent/FR3093839B1/fr active Active
-
2020
- 2020-03-13 EP EP20162943.3A patent/EP3709282A1/fr not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1307797A2 (fr) * | 2000-05-17 | 2003-05-07 | Abraham E. Karem | Commande intuitive de vehicule et de machine |
| EP2431931A1 (fr) * | 2010-09-21 | 2012-03-21 | The Boeing Company | Gestion du combustible dans un avion |
| US20120237028A1 (en) * | 2011-03-17 | 2012-09-20 | Massachusetts Institute Of Technology | Mission planning interface for accessing vehicle resources |
| EP2642466A1 (fr) * | 2012-03-21 | 2013-09-25 | Dassault Aviation | Système de préparation et de suivi de missions de vol d'aéronefs et procédé correspondant |
| US20170254622A1 (en) * | 2016-03-01 | 2017-09-07 | Northrop Grumman Systems Corporation | Aircraft force multiplication |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3709282A1 (fr) | 2020-09-16 |
| FR3093839B1 (fr) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10532814B2 (en) | Augmented reality travel route planning | |
| EP3489931B1 (fr) | Système de calcul de mission d'un aéronef comportant une platine de mission | |
| FR2939505A1 (fr) | Systeme de gestion de vol a optimisation du plan de vol lateral | |
| FR3021107A1 (fr) | Procede d'aide a la navigation d'un aeronef avec correlation d'informations dynamiques avec une trajectoire de vol 4d | |
| FR3021401A1 (fr) | Reconfiguration de l'affichage d'un plan de vol pour le pilotage d'un aeronef | |
| EP2991274B1 (fr) | Procédé d'exécution de services en temps réel adaptatif, notamment de gestion de vol et système temps réel mettant en oeuvre un tel procédé | |
| FR2993974A1 (fr) | Procede de construction d'une trajectoire d'un aeronef par vecteur d'etat | |
| FR3021736A1 (fr) | Systeme de prediction visuel de carburant | |
| EP2600174A1 (fr) | Présentation graphique des régions d'indisponibilité de surveillance d'intégrité autonome de récepteur sur un affichage pour avion | |
| WO2016096415A1 (fr) | Dispositif d'affichage et de mise a jour d'un motif de trajectoire aerienne en regard d'une zone au sol, notamment pour une mission de largage | |
| EP3287864B1 (fr) | Procédé d'aide au pilotage d'un aéronef, produit programme d'ordinateur et dispositif d'aide au pilotage associés | |
| FR3093839A1 (fr) | Terminal d’opérateur de système de mission et procédé d’affichage et d’interaction associé | |
| WO2021094081A1 (fr) | Espace collaboratif de gestion de contexte de plan de vol | |
| FR3022045A1 (fr) | Procede et dispositif de determination du sens de virage optimal d'un aeronef | |
| CA3020086A1 (fr) | Procede de controle de la restitution d'alerte(s) et/ou de procedure(s) de reconfiguration systeme(s), produit programme d'ordinateur et systeme de controle associes | |
| FR3068490B1 (fr) | Procede de calcul d'une trajectoire verticale d'un aeronef a partir de sa position courante, produit programme d'ordinateur et systeme de calcul associes | |
| EP3489930A1 (fr) | Système de calcul de mission d'un aéronef, comportant un moteur de calcul de trajectoire de l'aéronef lors de la mission et procédé associé | |
| FR3093585A1 (fr) | Système de gestion d’un plan de mission aérienne destiné à être exécuté par une pluralité de plateformes devant réaliser une pluralité de tâches et procédé associé | |
| US11308812B1 (en) | Systems and methods for actionable avionics event-based communications | |
| CN114518765A (zh) | 基于gis的巡检飞行器航线实时反馈修正系统 | |
| EP3167434A2 (fr) | Equipement optronique aeroporte pour l'imagerie, la surveillance et/ou la designation de cibles | |
| FR3083881A1 (fr) | Systeme de suivi d'un etat de fonctionnement d'un aeronef eet procede associe | |
| FR3078565A1 (fr) | Procede et dispositif d'elaboration d'instructions de guidage routier adaptatives a l'environnement | |
| EP4102488A1 (fr) | Système de génération de commandes reproduisant le comportement d'au moins un opérateur humain, simulateur et procédé associé | |
| FR3121983A1 (fr) | Adaptation automatique du profil vertical d’un aéronef en fonction d’une incertitude de position |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200918 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |