EP3492337B1 - Procédé et dispositif de contrôle d'une interface conducteur-machine - Google Patents

Procédé et dispositif de contrôle d'une interface conducteur-machine Download PDF

Info

Publication number
EP3492337B1
EP3492337B1 EP18203242.5A EP18203242A EP3492337B1 EP 3492337 B1 EP3492337 B1 EP 3492337B1 EP 18203242 A EP18203242 A EP 18203242A EP 3492337 B1 EP3492337 B1 EP 3492337B1
Authority
EP
European Patent Office
Prior art keywords
driver
machine interface
key
driving data
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP18203242.5A
Other languages
German (de)
English (en)
Other versions
EP3492337A1 (fr
Inventor
Matthieu Thibault
Cedrick LELIONNAIS
Frédéric BALLEREAU
Fayçal AHMED ZAID
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SNCF Voyageurs SA
Original Assignee
Nationale Sncf Ste
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nationale Sncf Ste filed Critical Nationale Sncf Ste
Publication of EP3492337A1 publication Critical patent/EP3492337A1/fr
Application granted granted Critical
Publication of EP3492337B1 publication Critical patent/EP3492337B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/009—On-board display devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route

Definitions

  • the invention relates to a method for controlling a driver-machine interface. It also relates to a control device implementing the control method.
  • the field of the invention is the field of checking and validating driver-machine interfaces, in particular rail driver-machine interfaces.
  • Driver-machine interfaces are used to assist a driver of a vehicle, in particular a railway vehicle, by issuing driving instructions to be performed by the driver such as deceleration, acceleration, action on vehicle equipment, etc. These interfaces can also automatically control the vehicle, for example during emergency braking.
  • the document EP 2 147 845 A2 also discloses a method of controlling a driver-machine interface.
  • An aim of the present invention is to remedy these drawbacks.
  • Another object of the present invention is to provide a less expensive and less time-consuming method and device for controlling the driver-machine interfaces.
  • Another aim of the present invention is to provide a method and a device for controlling the driver-machine interfaces that are more precise and more reliable.
  • the control of the driver-machine interface does not require the intervention of an operator.
  • the method reduces operator-machine interface fault detection errors.
  • the process is thus more reliable, more precise, and more repeatable.
  • the process is less expensive and less time consuming.
  • the step of extracting at least one driving data item can comprise a step of image processing by an algorithm, or a neural network, previously trained.
  • the method according to the invention thus allows more efficient detection of the driving data. It is thus more reliable and more precise.
  • the step of extracting at least one driving data item can comprise a step of comparing at least one sound or visual signal with at least one sound or visual signal previously stored in a database. sound and / or visual and associated with driving data.
  • Driving data may be data belonging to a standard specific to the displays of rail driving assistance devices.
  • driving data can be a braking symbol followed by a warning sound.
  • At least one driving data item can be data relating to an operating state of the vehicle or of a network on which said vehicle is traveling.
  • At least one driving datum can be a datum relating to a driving instruction.
  • the method according to the invention can comprise a step of actuating several keys in an order determined as a function of at least one driving data item.
  • the driver-machine interface can comprise a touch screen
  • the method according to the invention can comprise a step of actuating a touch surface of said screen, and / or several surfaces touch screens of said touch screen in a determined order, as a function of at least one driving data item.
  • the method according to the invention can comprise a step of validating the actuation of at least one key of the driver-machine interface, from a status signal of said key.
  • a state signal of at least one key can be a signal obtained by a force sensor configured to detect a press on at least one key, or a tactile surface, of the operator-machine interface.
  • the method according to the invention can comprise a step of storing, in the database, at least one reference signal transmitted by the driver-machine interface in association with at least one driving data item. .
  • each driving data item extracted from an audible or visual signal, can be associated with at least one driving signal.
  • At least one output signal can be a sequence of several displays on the operator-machine interface and / or a sequence of several sounds emitted by the operator-machine interface.
  • the method according to the invention can comprise a step of storing at least one, in particular each, output signal.
  • the storage of at least one output signal allows better traceability of any errors and malfunctions of the driver-machine interface.
  • the method according to the invention can comprise a step of memorizing at least one, in particular each, driving data item detected by the extraction step.
  • the method according to the invention can comprise a step of receiving at least one driving data item from a remote server, in order to perform a step of actuating at least one button of the driver interface. -machine as a function of said at least one driving datum.
  • the method according to the invention can comprise a step of transmitting at least one driving data item and / or at least one output signal to the remote server, for example to store them in a remote storage means. .
  • the acquisition means may comprise at least one camera configured to capture at least one image of all or part of the driver-machine interface.
  • At least one camera can be equipped with a microphone provided for the acquisition of a sound signal.
  • the device according to the invention may comprise means for adjusting the position of at least one camera configured to move at least one camera in order to adjust the focal length of said at least one camera.
  • the device according to the invention can comprise a means for fixing the device according to the invention on, or close to, the driver-machine interface.
  • the device according to the invention can comprise a means for adjusting the brightness of the driver-machine interface.
  • the brightness adjustment means may include at least one lighting means provided to illuminate the driver-machine interface.
  • the means for adjusting the brightness may comprise a light shutter provided to isolate the driver-machine interface and / or the means for acquiring external light.
  • the brightness adjustment means can be configured to reduce light reflections captured by the acquisition means.
  • the visual acquisition means is thus more precise.
  • the actuating means may comprise at least one servomotor configured to move at least one actuating finger to come into contact with at least one key, or a touch surface, of the driver-machine interface.
  • the servomotor can be controlled by the processing module as a function of driving data.
  • the device according to the invention can comprise at least one force sensor arranged on at least one key, or a tactile surface, of the driver-machine interface and provided to detect a press on said driver-machine interface.
  • the force sensor can detect a press of at least one actuating finger on the operator-machine interface and transmit the detection of pressure to the processing module to validate that a key of the operator-machine interface is well operated.
  • At least one, in particular each, actuating finger may comprise a force sensor provided to detect a press on a key, or a touch zone, of the driver-machine interface.
  • the device according to the invention can comprise a means of data communication to a remote server.
  • the FIGURE 1 is a schematic representation of a non-limiting example of the device according to the invention.
  • the device 100 is designed to control a driver-machine interface 102 used to control a rail vehicle.
  • the driver-machine interface 102 comprises at least one key 104 and can send at least one piece of data 106, called driving data, relating for example to a driving instruction or to a signaling of an operating state of the rail vehicle.
  • the device 100 comprises a camera 108 equipped with a microphone 110 provided to capture at least one visual or sound signal emanating from the driver-machine interface 102.
  • the camera can have an acquisition rate substantially equal to 10 fps.
  • the device 100 comprises a means of attachment 112 of the camera 108 and of the microphone 110 on the operator-machine interface 102.
  • the attachment means 112 is configured to conform to the shape of the operator-machine interface 102 and in particularly to leave at least one key 104 accessible.
  • the fixing means 112 comprises a film 114, for example an anti-reflection film, provided to reduce the light reflections captured by the camera 108.
  • the camera 108 is arranged on the fixing means 112 through a support 116 of the camera 108 and a means 118 for adjusting the position of the camera 108.
  • the adjusting means 118 may comprise a motor cylinder, a linear actuator, etc. ., and allows adjustment of the focal length of camera 108.
  • the fixing means 112 and / or the support 116 and / or the adjustment means 118 can be produced by a 3D printing technique.
  • the device 100 comprises a processing means 120 configured to receive at least one sound or visual signal from said camera 108 and microphone 110.
  • the processing means 120 detects at least one driving data item 106 from said at least one sound or visual signal.
  • the processing means 120 can comprise a means for storing at least one, in particular each, control data item 106.
  • the processing means 120 can be a single card computer of the Raspberry Pi 3 ⁇ type.
  • the device 100 also comprises an actuating means 122 connected to said computer 120 and arranged at a key 104 of the driver-machine interface 102 through the fixing means 112.
  • the actuating means 122 comprises a booster 124 connected to an actuating finger 126 provided to come into contact with at least one key 104 of the driver-machine interface 102.
  • the processing means 120 controls the servomotor 124 as a function of at least one control datum 106 and thus makes it possible to actuate at least one key 104 as a function of at least one datum line 106 sent by the operator-machine interface 102.
  • the actuation means 122 also comprises a force sensor 128 configured to detect a press on at least one key 104 by said actuating finger 126 and transmit the press detection to the processing means 120.
  • the processing means 120 communicates with a remote server 130, whether wired or not.
  • the remote server 130 can transmit additional driving data to the processing means 120 and receive at least one sound or visual signal captured by said microphone 110 and camera 108.
  • FIGURE 2 is a schematic representation of a non-limiting example of the method according to the invention.
  • the method 200 is provided for controlling a driver-machine interface used to control a railway vehicle.
  • the method 200 can be implemented by the device 100 of the FIGURE 1 .
  • the method 200 comprises a step 202 of acquiring at least one sound or visual signal emitted by said driver-machine interface.
  • the acquisition step can be by a sound or visual acquisition means such as a camera and / or a microphone.
  • the method 200 then comprises a step 204 of extracting at least one piece of data, called driving, from said at least one sound or visual signal.
  • at least one driving data item can be a representation of a functional state of the rail vehicle and / or of a rail signal and / or of an audible alert.
  • the step 204 of extracting at least one piece of control data can comprise an image processing step using at least one neural network.
  • the method 200 then comprises a step 206 of actuating, by an actuating means, at least one key of the operator-machine interface as a function of at least one driving datum determined in step 204.
  • L 'actuation step 206 can be followed by a validation step pressing a button on the operator-machine interface by a force sensor for example. If the force sensor does not detect a press, the method 200 can repeat step 204 or return an error message.
  • the method 200 also comprises a step 208 of determining a so-called output signal emitted by said driver-machine interface following the actuation step 206.
  • the output signal can be a display or a sound emitted by the operator. driver-machine interface.
  • the method 200 comprises a step 210 of comparing the output signal with a so-called reference signal, previously stored in a database, corresponding to the signal which should be sent by said driver-machine interface following the actuation step. 206.
  • the method 200 comprises a step 212 of transmitting an error signal.
  • the method 200 can be repeated for each sound or visual signal emitted by the operator-machine interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • User Interface Of Digital Computer (AREA)

Description

  • L'invention concerne un procédé de contrôle d'une interface conducteur-machine. Elle concerne aussi un dispositif de contrôle mettant en oeuvre le procédé de contrôle.
  • Le domaine de l'invention est le domaine du contrôle et de la validation des interfaces conducteur-machine, en particulier des interfaces conducteur-machine ferroviaires.
    • ETAT DE LA TECHNIQUE
  • Les interfaces conducteur-machine sont utilisées pour assister un conducteur d'un véhicule, en particulier ferroviaire, en émettant des consignes de conduite à réaliser par le conducteur telles qu'une décélération, une accélération, une action sur un équipement du véhicule, etc. Ces interfaces peuvent aussi piloter automatiquement le véhicule par exemple lors d'un freinage d'urgence.
  • Le bon fonctionnement de ces interfaces est primordial pour la sécurité du véhicule et la gestion du réseau sur lequel ce véhicule circule. On connait les procédés et dispositifs de contrôle et de qualification de ces interfaces conducteur-machine utilisant des procédures de test préalablement définies. Ces procédés et dispositifs nécessitent l'intervention d'un opérateur pour vérifier l'affichage ou les indications sonores émis par les interfaces conducteur-machine et/ou pour interagir avec les interfaces conducteur-machine. Ces procédés et dispositifs, utilisant des procédures de test effectuées par un opérateur, manquent de répétabilité et donc de précision. Ils sont aussi coûteux, en particulier en terme de main d'œuvre et chronophages.
  • Le document EP 2 147 845 A2 divulgue aussi un procédé de contrôle d'une interface conducteur-machine.
  • Un but de la présente invention est de remédier à ces inconvénients.
  • Un autre but de la présente invention est de proposer un procédé et un dispositif de contrôle des interfaces conducteur-machine moins coûteux et moins chronophage.
  • Un autre but de la présente invention est de proposer un procédé et un dispositif de contrôle des interfaces conducteur-machine plus précis et plus fiable.
    • EXPOSE DE L'INVENTION
  • Au moins un des objectifs précités est atteint par un procédé de contrôle d'une interface conducteur-machine utilisée pour piloter un véhicule, en particulier ferroviaire, ledit procédé comprend au moins une itération des étapes suivantes :
    • acquisition, par un moyen d'acquisition sonore et/ou visuel, d'au moins un signal sonore ou visuel émis par ladite interface conducteur-machine,
    • extraction d'au moins une donnée, dite de conduite, à partir dudit au moins un signal sonore ou visuel,
    • actionnement d'au moins une touche, ou une surface tactile, de ladite interface conducteur-machine en fonction de ladite au moins une donnée de conduite,
    • détermination d'un signal, dit de sortie, émis par ladite interface conducteur-machine suite à ladite étape d'actionnement,
    • comparaison dudit signal de sortie à un signal, dit de référence, préalablement mémorisé dans une base de données, correspondant au signal qui devrait être émis par ladite interface conducteur-machine suite à l'étape d'actionnement, et
    • si ledit signal de sortie est différent dudit signal de référence, alors émission d'un signal d'erreur.
  • Avec le procédé selon l'invention, le contrôle de l'interface conducteur-machine ne nécessite pas l'intervention d'un opérateur. Le procédé réduit les erreurs de détection de défauts de l'interface conducteur-machine. Le procédé est ainsi plus fiable, plus précis, et plus répétable. De plus, le procédé est moins coûteux et moins chronophage.
  • Dans une version préférée du procédé selon l'invention, l'étape d'extraction d'au moins une donnée de conduite peut comprendre une étape de traitement d'image par un algorithme, ou un réseau de neurone, préalablement entraîné.
  • Le procédé selon l'invention permet ainsi une détection plus efficace des données de conduite. Il est ainsi plus fiable et plus précis.
  • Alternativement, ou en plus, l'étape d'extraction d'au moins une donnée de conduite peut comprendre une étape de comparaison d'au moins un signal sonore ou visuel avec au moins un signal sonore ou visuel préalablement mémorisé dans une base de données sonore et/ou visuelle et associé à une donnée de conduite.
  • Dans un mode de réalisation avantageux du procédé selon l'invention, au moins une donnée de conduite peut être :
    • une représentation graphique d'un état fonctionnel de l'interface conducteur-machine,
    • une couleur,
    • un texte alphanumérique, et/ou
    • un son.
  • Une donnée de conduite peut être une donnée appartenant à une norme spécifique aux affichages des dispositifs d'assistance à la conduite ferroviaire. Par exemple, une donnée de conduite peut être un symbole de freinage suivi d'un son d'alerte.
  • Au moins une donnée de conduite peut être une donnée relative à un état de fonctionnement du véhicule ou d'un réseau sur lequel circule ledit véhicule.
  • Au moins une donnée de conduite peut être une donnée relative à une consigne de conduite.
  • En particulier, le procédé selon l'invention peut comprendre une étape d'actionnement de plusieurs touches dans un ordre déterminé en fonction d'au moins une donnée de conduite.
  • Dans un mode de réalisation du procédé selon l'invention, l'interface conducteur-machine peut comprendre un écran tactile, le procédé selon l'invention peut comprendre une étape d'actionnement d'une surface tactile dudit écran, et/ou plusieurs surfaces tactiles dudit écran tactile dans un ordre déterminé, en fonction d'au moins une donnée de conduite.
  • Préférentiellement, le procédé selon l'invention peut comprendre une étape de validation de l'actionnement d'au moins une touche de l'interface conducteur-machine, à partir d'un signal d'état de ladite touche.
  • Un signal d'état d'au moins une touche peut être un signal obtenu par un capteur d'effort configuré pour détecter un appui sur au moins une touche, ou une surface tactile, de l'interface conducteur-machine.
  • Dans une version de réalisation, le procédé selon l'invention peut comprendre une étape de mémorisation, dans la base de données, d'au moins un signal de référence émis par l'interface conducteur-machine en association avec au moins une donnée de conduite.
  • Cette étape de mémoration peut être réalisée préalablement à la première itération du procédé selon l'invention. Dans la base de données, chaque donnée de conduite, extraite à partir d'un signal sonore ou visuel, peut être associée à au moins un signal de conduite.
  • Avantageusement, au moins un signal de sortie peut être :
    • un affichage sur l'interface conducteur-machine, et/ou
    • un son émis par l'interface conducteur-machine.
  • En particulier, au moins un signal de sortie peut être une séquence de plusieurs affichages sur l'interface conducteur-machine et/ou une séquence de plusieurs sons émis par l'interface conducteur-machine.
  • Dans un mode particulier de réalisation, le procédé selon l'invention peut comprendre une étape de mémorisation d'au moins un, en particulier chaque, signal de sortie.
  • La mémorisation d'au moins un signal de sortie permet une meilleure traçabilité des éventuelles erreurs et disfonctionnement de l'interface conducteur-machine.
  • Avantageusement, le procédé selon l'invention peut comprendre une étape de mémorisation d'au moins une, en particulier chaque, donnée de conduite détectée par l'étape d'extraction.
  • Suivant un mode de réalisation préféré, le procédé selon l'invention peut comprendre une étape de réception d'au moins une donnée de conduite depuis un serveur distant, pour réaliser une étape d'actionnement d'au moins une touche de l'interface conducteur-machine en fonction de ladite au moins une donnée de conduite.
  • En outre, le procédé selon l'invention peut comprendre une étape de transmission d'au moins une donnée de conduite et/ou d'au moins un signal de sortie vers le serveur distant, par exemple pour les mémoriser dans un moyen de stockage distant.
  • Selon un autre aspect de l'invention, il est proposé un dispositif de contrôle d'une interface conducteur-machine utilisée pour piloter un véhicule en particulier ferroviaire, ledit dispositif comprend :
    • un moyen d'acquisition agencé pour capturer au moins un signal sonore et/ou visuel émis par ladite interface conducteur-machine,
    • un moyen d'actionnement prévu pour actionner une touche, ou une surface tactile, de ladite interface conducteur-machine, et
    • un moyen de traitement ;
    configurés pour mettre en œuvre les étapes du procédé selon l'invention.
  • Dans une version de réalisation du dispositif selon l'invention, le moyen d'acquisition peut comprendre au moins une caméra configurée pour capturer au moins une image de la totalité ou une partie de l'interface conducteur-machine.
  • Au moins une caméra peut être équipée d'un micro prévu pour l'acquisition d'un signal sonore.
  • Le dispositif selon l'invention peut comprendre un moyen de réglage de la position d'au moins une caméra configuré pour déplacer au moins une caméra pour ajuster la focale de ladite au moins une caméra.
  • Avantageusement, le dispositif selon l'invention peut comprendre un moyen de fixation du dispositif selon l'invention sur, ou à proximité de, l'interface conducteur-machine.
  • Préférentiellement, le dispositif selon l'invention peut comprendre un moyen de réglage de la luminosité de l'interface conducteur-machine.
  • Le moyen de réglage de la luminosité peut comprendre au moins un moyen d'éclairage prévu pour éclairer l'interface conducteur-machine. Le moyen de réglage de la luminosité peut comprendre un obturateur de lumière prévu pour isoler l'interface conducteur-machine et/ou le moyen d'acquisition de la lumière extérieure.
  • Le moyen de réglage de la luminosité peut être configuré pour réduire les reflets lumineux capturés par le moyen d'acquisition. Le moyen d'acquisition visuel est ainsi plus précis.
  • Dans un mode de réalisation du dispositif selon l'invention, le moyen d'actionnement peut comprendre au moins un servomoteur configuré pour déplacer au moins un doigt d'actionnement pour venir en contact avec au moins une touche, ou une surface tactile, de l'interface conducteur-machine.
  • Le servomoteur peut être contrôlé par le module de traitement en fonction d'une donnée de conduite.
  • Avantageusement, le dispositif selon l'invention peut comprendre au moins un capteur d'effort agencé sur au moins une touche, ou une surface tactile, de l'interface conducteur-machine et prévu pour détecter un appui sur ladite interface conducteur-machine.
  • Le capteur d'effort peut détecter un appui d'au moins un doigt d'actionnement sur l'interface conducteur-machine et transmettre la détection d'appui au module de traitement pour valider qu'une touche de l'interface conducteur-machine est bien actionnée.
  • Alternativement, au moins un, en particulier chaque, doigt d'actionnement peut comprendre un capteur d'effort prévu pour détecter un appui sur une touche, ou une zone tactile, de l'interface conducteur-machine.
  • En particulier, le dispositif selon l'invention peut comprendre un moyen de communication de données à un serveur distant.
    • DESCRIPTION DES FIGURES ET MODES DE REALISATION
  • D'autres avantages et caractéristiques apparaîtront à l'examen de la description détaillée d'exemples de réalisation nullement limitatifs, et des dessins annexés sur lesquels :
    • la FIGURE 1 est une représentation schématique d'un exemple non limitatif du dispositif selon l'invention ; et
    • la FIGURE 2 est une représentation schématique d'un exemple non limitatif du procédé selon l'invention.
  • La FIGURE 1 est une représentation schématique d'un exemple non limitatif du dispositif selon l'invention.
  • Le dispositif 100 est prévu pour contrôler une interface conducteur-machine 102 utilisée pour piloter un véhicule ferroviaire.
  • L'interface conducteur-machine 102 comprend au moins une touche 104 et peut émettre au moins une donnée 106, dite de conduite, relative par exemple à une instruction de conduite ou à un signalement d'un état de fonctionnement du véhicule ferroviaire.
  • Le dispositif 100 comprend une caméra 108 équipée d'un micro 110 prévus pour capturer au moins un signal visuel ou sonore émanant de l'interface conducteur-machine 102. La caméra peut avoir une cadence d'acquisition sensiblement égale à 10 fps.
  • Le dispositif 100 comprend un moyen de fixation 112 de la caméra 108 et du micro 110 sur l'interface conducteur-machine 102. Le moyen de fixation 112 est configuré pour s'adapter à la forme de l'interface conducteur-machine 102 et en particulier pour laisser au moins une touche 104 accessible. Le moyen de fixation 112 comprend un film 114, par exemple un film anti reflet, prévu pour réduire les reflets lumineux capturer par la caméra 108.
  • La caméra 108 est agencée sur le moyen de fixation 112 à travers un support 116 de la caméra 108 et un moyen de réglage 118 de la position de la caméra 108. Le moyen de réglage 118 peut comprendre un vérin moteur, un actionneur linéaire, etc., et permet le réglage de la focale de la caméra 108.
  • Le moyen de fixation 112 et/ou le support 116 et/ou le un moyen de réglage 118 peuvent être réalisé par une technique d'impression 3D.
  • Le dispositif 100 comprend un moyen de traitement 120 configuré pour recevoir au moins un signal sonore ou visuel desdits caméra 108 et micro 110. Le moyen de traitement 120 détecte au moins une donnée de conduite 106 à partir dudit au moins un signal sonore ou visuel. Le moyen de traitement 120 peut comprendre un moyen de mémorisation d'au moins une, en particulier chaque, donnée de conduite 106. Le moyen de traitement 120 peut être un ordinateur mono carte du type Raspberry Pi 3 ©.
  • Le dispositif 100 comprend aussi un moyen d'actionnement 122 relié audit calculateur 120 et agencé au niveau d'une touche 104 de l'interface conducteur-machine 102 au travers du moyen de fixation 112.
  • Le moyen d'actionnement 122 comprend un servomoteur 124 relié à un doigt d'actionnement 126 prévu pour venir en contact avec au moins une touche 104 de l'interface conducteur-machine 102. Le moyen de traitement 120 commande le servomoteur 124 en fonction d'au moins une donnée de conduite 106 et permet ainsi d'actionner au moins une touche 104 en fonction d'au moins une donnée de conduite 106 émise par l'interface conducteur-machine 102.
  • Le moyen d'actionnement 122 comprend aussi un capteur d'effort 128 configuré pour détecter un appui sur au moins une touche 104 par ledit doigt d'actionnement 126 et transmettre la détection d'appui au moyen de traitement 120.
  • Le moyen de traitement 120 communique avec un serveur distant 130 de façon filaire ou non. Le serveur distant 130 peut transmettre des données de conduite supplémentaires au moyen de traitement 120 et recevoir au moins un signal sonore ou visuel capturé par lesdits micro 110 et caméra 108.
  • La FIGURE 2 est une représentation schématique d'un exemple non limitatif du procédé selon l'invention.
  • Le procédé 200 est prévu pour contrôler d'une interface conducteur-machine utilisée pour piloter un véhicule ferroviaire. Le procédé 200 peut être mis en œuvre par le dispositif 100 de la FIGURE 1.
  • Le procédé 200 comprend une étape 202 d'acquisition d'au moins un signal sonore ou visuel émis par ladite interface conducteur-machine. L'étape d'acquisition peut être par un moyen d'acquisition sonore ou visuel tel qu'une caméra et/ou un micro.
  • Le procédé 200 comprend ensuite une étape 204 d'extraction d'au moins une donnée, dite de conduite, à partir dudit au moins un signal sonore ou visuel. Par exemple, au moins une donnée de conduite peut être une représentation d'un état fonctionnel du véhicule ferroviaire et/ou d'une signalisation ferroviaire et/ou d'une alerte sonore. L'étape 204 d'extraction d'au moins une donnée de conduite peut comprendre une étape de traitement d'image utilisant au moins un réseau de neurones.
  • Le procédé 200 comprend ensuite une étape 206 d'actionnement, par un moyen d'actionnement, d'au moins une touche de l'interface conducteur-machine en fonction d'au moins une donnée de conduite déterminée à l'étape 204. L'étape 206 d'actionnement peut être suivie par une étape de validation d'appui sur une touche de l'interface conducteur-machine par un capteur d'effort par exemple. Si le capteur d'effort ne détecte pas un appui, le procédé 200 peut réitérer l'étape 204 ou renvoyer un message d'erreur.
  • Le procédé 200 comprend aussi une étape 208 de détermination d'un signal, dit de sortie, émis par ladite interface conducteur-machine suite à l'étape d'actionnement 206. Le signal de sortie peut être un affichage ou un son émis par l'interface conducteur-machine.
  • Le procédé 200 comprend une étape 210 de comparaison du signal de sortie à un signal, dit de référence, préalablement mémorisé dans une base de données, correspondant au signal qui devrait être émis par ladite interface conducteur-machine suite à l'étape d'actionnement 206.
  • Si le signal de sortie est différent du signal de référence, alors le procédé 200 comprend une étape 212 d'émission d'un signal d'erreur.
  • Le procédé 200 peut être réitéré pour chaque signal sonore ou visuel émis par l'interface conducteur-machine.
  • Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention qui est définie par les revendications.

Claims (12)

  1. Procédé (200) de contrôle d'une interface conducteur-machine (102) utilisée pour piloter un véhicule en particulier ferroviaire, ledit procédé (200) comprend au moins une itération des étapes suivantes :
    - acquisition (202), par un moyen d'acquisition sonore et/ou visuel (108,110), d'au moins un signal sonore ou visuel émis par ladite interface conducteur-machine (102),
    - extraction (204) d'au moins une donnée, dite de conduite, à partir dudit au moins un signal sonore ou visuel,
    caractérisé en ce que ledit procédé (200) comprend les étapes suivantes :
    - actionnement (206) d'au moins une touche (104), ou une surface tactile, de ladite interface conducteur-machine (102) en fonction de ladite au moins une donnée de conduite,
    - détermination (208) d'un signal, dit de sortie, émis par ladite interface conducteur-machine (102) suite à ladite étape d'actionnement (206),
    - comparaison (210) dudit signal de sortie à un signal, dit de référence, préalablement mémorisé dans une base de données, correspondant au signal qui devrait être émis par ladite interface conducteur-machine (102) suite à l'étape d'actionnement (206), et
    - si ledit signal de sortie est différent dudit signal de référence, alors émission (212) d'un signal d'erreur.
  2. Procédé (200) selon la revendication précédente, caractérisé en ce que l'étape d'extraction (204) d'au moins une donnée de conduite comprend une étape de traitement d'image par un algorithme, ou un réseau de neurone, préalablement entraîné.
  3. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce que au moins une donnée de conduite est :
    - une représentation graphique d'un état fonctionnel de l'interface conducteur-machine (102),
    - une couleur,
    - un texte alphanumérique, et/ou
    - un son.
  4. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une étape de validation de l'actionnement d'au moins une touche (104) de l'interface conducteur-machine (102), à partir d'un signal d'état de ladite touche (104).
  5. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une étape de mémorisation, dans la base de données, d'au moins un signal de référence émis par l'interface conducteur-machine (102) en association avec au moins une donnée de conduite.
  6. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'au moins un signal de sortie est :
    - un affichage sur l'interface conducteur-machine (102), et/ou
    - un son émis par l'interface conducteur-machine (102).
  7. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une étape de réception d'au moins une donnée de conduite depuis un serveur distant, pour réaliser une étape d'actionnement (206) d'au moins une touche (104) de l'interface conducteur-machine (102) en fonction de ladite au moins une donnée de conduite.
  8. Dispositif (100) de contrôle d'une interface conducteur-machine (102) utilisée pour piloter un véhicule en particulier ferroviaire, ledit dispositif (100) comprend :
    - un moyen d'acquisition (108,110) agencé pour capturer au moins un signal sonore et/ou visuel émis par ladite interface conducteur-machine (102),
    caractérisé en ce que le dispositif (100) comprend
    - un moyen d'actionnement (122) prévu pour actionner une touche, ou une surface tactile, de ladite interface conducteur-machine (102), et
    - un moyen de traitement (120) ;
    configurés pour mettre en œuvre les étapes du procédé (200) selon l'une quelconque des revendications précédentes.
  9. Dispositif (100) selon la revendication précédente, caractérisé en ce que le moyen d'acquisition (108,110) comprend au moins une caméra (108) configurée pour capturer au moins une image de la totalité ou une partie de l'interface conducteur-machine (102).
  10. Dispositif (100) selon l'une quelconque des revendications 8 ou 9, caractérisé en ce qu'il comprend un moyen de réglage (114) de la luminosité de l'interface conducteur-machine (102).
  11. Dispositif (100) selon l'une quelconque des revendications 8 à 10, caractérisé en ce que le moyen d'actionnement (122) comprend au moins un servomoteur (124) configuré pour déplacer au moins un doigt d'actionnement (126) pour venir en contact avec au moins une touche (104), ou une surface tactile, de l'interface conducteur-machine (102).
  12. Dispositif (100) selon la revendication précédente, caractérisé en ce qu'il comprend au moins un capteur d'effort (128) agencé sur au moins une touche (102), ou une surface tactile, de l'interface conducteur-machine (102) et prévu pour détecter un appui sur ladite interface conducteur-machine (102).
EP18203242.5A 2017-11-30 2018-10-30 Procédé et dispositif de contrôle d'une interface conducteur-machine Active EP3492337B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1761490A FR3074319B1 (fr) 2017-11-30 2017-11-30 Procede et dispositif de controle d'une interface conducteur-machine

Publications (2)

Publication Number Publication Date
EP3492337A1 EP3492337A1 (fr) 2019-06-05
EP3492337B1 true EP3492337B1 (fr) 2020-09-30

Family

ID=61750273

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18203242.5A Active EP3492337B1 (fr) 2017-11-30 2018-10-30 Procédé et dispositif de contrôle d'une interface conducteur-machine

Country Status (3)

Country Link
EP (1) EP3492337B1 (fr)
ES (1) ES2837700T3 (fr)
FR (1) FR3074319B1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019213109A1 (de) * 2019-08-30 2021-03-04 Siemens Mobility GmbH Verfahren zur Überwachung einer Signalverbindung

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006025523B4 (de) * 2006-05-30 2009-05-14 Bombardier Transportation Gmbh Fernsteuerung eines Drucktasten-Relaisstellwerks
DE102008034161A1 (de) * 2008-07-22 2010-02-18 Siemens Aktiengesellschaft Verfahren zur Überwachung einer Anzeigeeinheit, insbesondere einer Anzeigeeinheit in einem Fahrzeug
DE102011090135A1 (de) * 2011-07-25 2013-01-31 Deuta-Werke Gmbh Vorrichtung und Verfahren für eine sicherheitsrelevante Eingabe über ein Anzeigegerät mit Berührungseingabe
GB2523359B (en) * 2014-02-21 2016-01-06 Risk Telematics Uk Ltd Determining the status of a vehicle
FR3020705B1 (fr) * 2014-04-30 2016-05-20 Soc Nat Des Chemins De Fer Francais Sncf Procede et dispositif pour determiner un itineraire ferroviaire

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
FR3074319A1 (fr) 2019-05-31
EP3492337A1 (fr) 2019-06-05
FR3074319B1 (fr) 2019-10-25
ES2837700T3 (es) 2021-07-01

Similar Documents

Publication Publication Date Title
US20180005044A1 (en) System for transmission and digitization of machine telemetry
US10620617B2 (en) Method of maintenance of an electromechanical device
FR2822562A1 (fr) Procede et dispositif de surveillance d'unites de commande
FR2800190A1 (fr) Procede et systeme pour l'autodiagnostic d'une voiture
FR3037564A1 (fr) Systeme de freinage pour aeronef
FR2957043A1 (fr) Systemes et procedes pour equipement de test integre destine a un systeme de commande de freinage
EP3492337B1 (fr) Procédé et dispositif de contrôle d'une interface conducteur-machine
CN111063054A (zh) 故障信息发送方法和装置、车辆故障处理方法和装置
FR2730074A1 (fr) Architecture de calculateur tolerante aux fautes
EP3542305B1 (fr) Procede de collecte de donnees operationnelles d'aeronef
FR3027129A1 (fr) Systeme de reseau embarque de vehicule et procede de detection d'intrusion sur le reseau embarque
EP1638002A2 (fr) Dispositif et procédé de contrôle d'une console
KR20220105510A (ko) 인공지능 기반 모바일 전력설비 정보안내 및 점검 시스템
FR3102870A1 (fr) Procédé pour déterminer une déviation non autorisée du comportement systémique d’une installation technique par rapport à une plage de valeurs normalisées
EP3513294B1 (fr) Dispositif de controle de la reinitialisation d'un calculateur embarque automobile
CN112889035B (zh) 测试方法、测试装置及终端设备
EP2919421B1 (fr) Commutateur Ethernet, engin mobile et bus de transport de passagers comprenant ledit commutateur Ethernet
FR3106015A1 (fr) Procédé et système pour surveiller des individus transportés dans un véhicule automobile pilotable à distance
EP3666664B1 (fr) Procede et dispositif d'optimisation de tests de systemes en particulier d'un aeronef
EP3889550A1 (fr) Dispositif d échantillonnage de données et ensemble de diagnostic pour un véhicule automobile
FR3087931A1 (fr) Procede et systeme de surveillance d'une installation de securite
EP2729769B1 (fr) Systeme et procede de determination d'un etat de fonctionnement d'un appareil electrique
EP2682924B1 (fr) Procédé et dispositif de commande à distance de machine
KR20180003025A (ko) 차량 상황 대처 시스템
FR2928730A1 (fr) Dispositif et procede d'identification des defauts de fonctionnement d'un appareil.

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191028

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200421

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SOCIETE NATIONALE SNCF

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1318514

Country of ref document: AT

Kind code of ref document: T

Effective date: 20201015

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602018008273

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201231

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1318514

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SNCF VOYAGEURS

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210201

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210130

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201030

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602018008273

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

26N No opposition filed

Effective date: 20210701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201030

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210130

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211031

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211031

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230529

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231019

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231114

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20231010

Year of fee payment: 6

Ref country code: FR

Payment date: 20231023

Year of fee payment: 6

Ref country code: DE

Payment date: 20231011

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20231016

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240925

Year of fee payment: 7