EP3492337A1 - Procédé et dispositif de contrôle d'une interface conducteur-machine - Google Patents

Procédé et dispositif de contrôle d'une interface conducteur-machine Download PDF

Info

Publication number
EP3492337A1
EP3492337A1 EP18203242.5A EP18203242A EP3492337A1 EP 3492337 A1 EP3492337 A1 EP 3492337A1 EP 18203242 A EP18203242 A EP 18203242A EP 3492337 A1 EP3492337 A1 EP 3492337A1
Authority
EP
European Patent Office
Prior art keywords
driver
machine interface
signal
sound
driving data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP18203242.5A
Other languages
German (de)
English (en)
Other versions
EP3492337B1 (fr
Inventor
Matthieu Thibault
Cedrick LELIONNAIS
Frédéric BALLEREAU
Fayçal AHMED ZAID
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SNCF Voyageurs SA
Original Assignee
SNCF Mobilites
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SNCF Mobilites filed Critical SNCF Mobilites
Publication of EP3492337A1 publication Critical patent/EP3492337A1/fr
Application granted granted Critical
Publication of EP3492337B1 publication Critical patent/EP3492337B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/009—On-board display devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route

Definitions

  • the invention relates to a method for controlling a driver-machine interface. It also relates to a control device implementing the control method.
  • the field of the invention is the field of control and validation of the driver-machine interfaces, in particular the railway conductor-machine interfaces.
  • the driver-machine interfaces are used to assist a driver of a vehicle, in particular rail, by issuing instructions for conduct to be performed by the driver such as deceleration, acceleration, action on a vehicle equipment, etc. These interfaces can also automatically control the vehicle for example during an emergency braking.
  • An object of the present invention is to overcome these disadvantages.
  • Another object of the present invention is to provide a method and a device for controlling the driver-machine interfaces less expensive and less time-consuming.
  • Another object of the present invention is to provide a method and a device for controlling the driver-machine interfaces more accurate and more reliable.
  • the control of the driver-machine interface does not require the intervention of an operator.
  • the method reduces fault detection errors of the driver-machine interface.
  • the process is thus more reliable, more accurate, and more repeatable.
  • the process is less expensive and less time consuming.
  • the step of extracting at least one driving data item may comprise a step of image processing by an algorithm, or a neuron network, previously trained.
  • the method according to the invention thus allows a more effective detection of driving data. It is thus more reliable and more accurate.
  • the step of extracting at least one driving data may comprise a step of comparing at least one sound or visual signal with at least one sound or visual signal previously stored in a database sound and / or visual and associated with driving data.
  • Driving data may be data belonging to a specific standard for displays of devices for assistance with railway driving.
  • a driving data may be a brake symbol followed by an alert sound.
  • At least one driving data may be data relating to an operating state of the vehicle or network on which said vehicle is traveling.
  • At least one driving data may be data relating to a driving instruction.
  • the method according to the invention may comprise a step of actuating several keys in a determined order as a function of at least one driving data item.
  • the driver-machine interface may comprise a touch screen
  • the method according to the invention may comprise a step of actuating a tactile surface of said screen, and / or several surfaces. said touch screen in a predetermined order, based on at least one driving data.
  • the method according to the invention may comprise a step of enabling the actuation of at least one key of the driver-machine interface, from a status signal of said key.
  • a status signal of at least one key may be a signal obtained by a force sensor configured to detect a press on at least one key, or a touch surface, of the driver-machine interface.
  • the method according to the invention may comprise a step of storing, in the database, at least one reference signal transmitted by the driver-machine interface in association with at least one driving data. .
  • each driving data extracted from an audible or visual signal, can be associated with at least one driving signal.
  • At least one output signal may be a sequence of several displays on the driver-machine interface and / or a sequence of several sounds emitted by the driver-machine interface.
  • the method according to the invention may comprise a step of memorizing at least one, in particular each, output signal.
  • Storing at least one output signal allows better traceability of possible errors and malfunction of the driver-machine interface.
  • the method according to the invention may comprise a step of memorizing at least one, in particular each, driving data detected by the extraction step.
  • the method according to the invention may comprise a step of receiving at least one driving data from a remote server, to perform a step of operating at least one key of the driver interface. -machine according to said at least one driving data.
  • the method according to the invention may comprise a step of transmitting at least one data item and / or at least one output signal to the remote server, for example to store them in a remote storage means .
  • the acquisition means may comprise at least one camera configured to capture at least one image of all or part of the driver-machine interface.
  • At least one camera may be equipped with a microphone provided for acquiring a sound signal.
  • the device according to the invention may comprise means for adjusting the position of at least one camera configured to move at least one camera to adjust the focal length of said at least one camera.
  • the device according to the invention may comprise means for fixing the device according to the invention on or near the driver-machine interface.
  • the device according to the invention may comprise means for adjusting the brightness of the driver-machine interface.
  • the brightness control means may comprise at least one lighting means provided for illuminating the driver-machine interface.
  • the brightness adjusting means may comprise a light shutter designed to isolate the driver-machine interface and / or the external light acquisition means.
  • the brightness adjusting means may be configured to reduce the glare captured by the acquisition means.
  • the visual acquisition means is thus more precise.
  • the actuating means may comprise at least one servomotor configured to move at least one actuating finger to come into contact with at least one key, or a touch surface, of the actuator. driver-machine interface.
  • the servomotor can be controlled by the processing module according to a driving data.
  • the device according to the invention may comprise at least one force sensor arranged on at least one key, or a touch surface, of the driver-machine interface and designed to detect a support on said driver-machine interface.
  • the force sensor can detect a support of at least one actuating finger on the driver-machine interface and transmit the support detection to the processing module to validate that a key of the driver-machine interface is well operated.
  • At least one, in particular each, actuating finger may comprise a force sensor provided to detect a pressing of a key, or a touch zone, of the driver-machine interface.
  • the device according to the invention may comprise means for communicating data to a remote server.
  • the FIGURE 1 is a schematic representation of a non-limiting example of the device according to the invention.
  • the device 100 is designed to control a driver-machine interface 102 used to control a railway vehicle.
  • the driver-machine interface 102 comprises at least one key 104 and can emit at least one piece of data 106, referred to as a driving data, for example relating to a driving instruction or to an indication of an operating state of the railway vehicle.
  • the device 100 comprises a camera 108 equipped with a microphone 110 designed to capture at least one visual or audible signal emanating from the driver-machine interface 102.
  • the camera can have an acquisition rate substantially equal to 10 fps.
  • the device 100 comprises a fixing means 112 of the camera 108 and the microphone 110 on the driver-machine interface 102.
  • the fixing means 112 is configured to adapt to the shape of the driver-machine interface 102 and to particular to leave at least one key 104 accessible.
  • the fastening means 112 comprises a film 114, for example an anti-reflection film, designed to reduce the light reflections captured by the camera 108.
  • the camera 108 is arranged on the fastening means 112 through a support 116 of the camera 108 and an adjustment means 118 of the position of the camera 108.
  • the adjustment means 118 may comprise a motor cylinder, a linear actuator, etc. ., and allows the adjustment of the focal length of the camera 108.
  • the fixing means 112 and / or the support 116 and / or the adjusting means 118 may be produced by a 3D printing technique.
  • the device 100 comprises a processing means 120 configured to receive at least one sound or visual signal from said camera 108 and microphone 110.
  • the processing means 120 detects at least one line data 106 from said at least one sound or visual signal.
  • the processing means 120 may comprise means for memorizing at least one, in particular each, driving data item 106.
  • the processing means 120 may be a single card computer of the Raspberry Pi 3 ⁇ type.
  • the device 100 also comprises an actuating means 122 connected to said computer 120 and arranged at a key 104 of the driver-machine interface 102 through the fastening means 112.
  • the actuating means 122 comprises a servomotor 124 connected to an actuating finger 126 intended to come into contact with at least one key 104 of the driver-machine interface 102.
  • the processing means 120 controls the servomotor 124 as a function of at least one line data 106 and thus makes it possible to actuate at least one key 104 as a function of at least one data item conduit 106 emitted by the driver-machine interface 102.
  • the actuating means 122 also comprises a force sensor 128 configured to detect a support on at least one key 104 by said actuating finger 126 and to transmit the support detection to the processing means 120.
  • the processing means 120 communicates with a remote server 130 wired or not.
  • the remote server 130 may transmit additional driving data to the processing means 120 and receive at least one sound or visual signal captured by said mic 110 and camera 108.
  • FIGURE 2 is a schematic representation of a non-limiting example of the method according to the invention.
  • the method 200 is intended to control a driver-machine interface used to control a railway vehicle.
  • the method 200 can be implemented by the device 100 of the FIGURE 1 .
  • the method 200 comprises a step 202 for acquiring at least one sound or visual signal emitted by said driver-machine interface.
  • the acquisition step may be by a sound or visual acquisition means such as a camera and / or a microphone.
  • the method 200 then comprises a step 204 for extracting at least one datum, called pipe data, from said at least one sound or visual signal.
  • at least one driving data may be a representation of a functional state of the railway vehicle and / or railway signaling and / or an audible warning.
  • Step 204 of extracting at least one driving data may comprise an image processing step using at least one neural network.
  • the method 200 then comprises a step 206 for actuating, by an actuating means, at least one key of the driver-machine interface as a function of at least one driving datum determined in step 204.
  • L step 206 of operation can be followed by a validation step pressing a key of the driver-machine interface by a force sensor for example. If the force sensor does not detect a press, the method 200 may repeat step 204 or return an error message.
  • the method 200 also comprises a step 208 of determining a signal, said output, emitted by said driver-machine interface following the actuating step 206.
  • the output signal can be a display or a sound emitted by the driver-machine interface.
  • the method 200 comprises a step 210 of comparing the output signal with a reference signal, previously stored in a database, corresponding to the signal that should be emitted by said driver-machine interface following the actuation step 206.
  • the method 200 includes a step 212 of transmitting an error signal.
  • the method 200 may be reiterated for each audible or visual signal emitted by the driver-machine interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L'invention concerne un procédé (200) de contrôle d'une interface conducteur-machine utilisée pour piloter un véhicule en particulier ferroviaire, ledit procédé (200) comprend au moins une itération des étapes suivantes :- acquisition (202), par un moyen d'acquisition sonore ou visuel, d'au moins un signal sonore et/ou visuel émis par ladite interface conducteur-machine,- extraction (204) d'au moins une donnée, dite de conduite, à partir dudit au moins un signal sonore ou visuel,- actionnement (206) d'au moins une touche, ou une surface tactile, de ladite interface conducteur-machine en fonction de ladite au moins une donnée de conduite,- détermination (208) d'un signal, dit de sortie, émis par ladite interface conducteur-machine suite à ladite étape d'actionnement (206),- comparaison (210) dudit signal de sortie à un signal, dit de référence, préalablement mémorisé dans une base de données, correspondant au signal qui devrait être émis par ladite interface conducteur-machine suite à l'étape d'actionnement (206), et- si ledit signal de sortie est différent dudit signal de référence, alors émission (212) d'un signal d'erreur.L'invention concerne aussi un dispositif mettant en oeuvre le procédé (200) selon l'invention.

Description

  • L'invention concerne un procédé de contrôle d'une interface conducteur-machine. Elle concerne aussi un dispositif de contrôle mettant en oeuvre le procédé de contrôle.
  • Le domaine de l'invention est le domaine du contrôle et de la validation des interfaces conducteur-machine, en particulier des interfaces conducteur-machine ferroviaires.
    • ETAT DE LA TECHNIQUE
  • Les interfaces conducteur-machine sont utilisées pour assister un conducteur d'un véhicule, en particulier ferroviaire, en émettant des consignes de conduite à réaliser par le conducteur telles qu'une décélération, une accélération, une action sur un équipement du véhicule, etc. Ces interfaces peuvent aussi piloter automatiquement le véhicule par exemple lors d'un freinage d'urgence.
  • Le bon fonctionnement de ces interfaces est primordial pour la sécurité du véhicule et la gestion du réseau sur lequel ce véhicule circule. On connait les procédés et dispositifs de contrôle et de qualification de ces interfaces conducteur-machine utilisant des procédures de test préalablement définies. Ces procédés et dispositifs nécessitent l'intervention d'un opérateur pour vérifier l'affichage ou les indications sonores émis par les interfaces conducteur-machine et/ou pour interagir avec les interfaces conducteur-machine. Ces procédés et dispositifs, utilisant des procédures de test effectuées par un opérateur, manquent de répétabilité et donc de précision. Ils sont aussi coûteux, en particulier en terme de main d'oeuvre et chronophages.
  • Un but de la présente invention est de remédier à ces inconvénients.
  • Un autre but de la présente invention est de proposer un procédé et un dispositif de contrôle des interfaces conducteur-machine moins coûteux et moins chronophage.
  • Un autre but de la présente invention est de proposer un procédé et un dispositif de contrôle des interfaces conducteur-machine plus précis et plus fiable.
    • EXPOSE DE L'INVENTION
  • Au moins un des objectifs précités est atteint par un procédé de contrôle d'une interface conducteur-machine utilisée pour piloter un véhicule, en particulier ferroviaire, ledit procédé comprend au moins une itération des étapes suivantes :
    • acquisition, par un moyen d'acquisition sonore et/ou visuel, d'au moins un signal sonore ou visuel émis par ladite interface conducteur-machine,
    • extraction d'au moins une donnée, dite de conduite, à partir dudit au moins un signal sonore ou visuel,
    • actionnement d'au moins une touche, ou une surface tactile, de ladite interface conducteur-machine en fonction de ladite au moins une donnée de conduite,
    • détermination d'un signal, dit de sortie, émis par ladite interface conducteur-machine suite à ladite étape d'actionnement,
    • comparaison dudit signal de sortie à un signal, dit de référence, préalablement mémorisé dans une base de données, correspondant au signal qui devrait être émis par ladite interface conducteur-machine suite à l'étape d'actionnement, et
    • si ledit signal de sortie est différent dudit signal de référence, alors émission d'un signal d'erreur.
  • Avec le procédé selon l'invention, le contrôle de l'interface conducteur-machine ne nécessite pas l'intervention d'un opérateur. Le procédé réduit les erreurs de détection de défauts de l'interface conducteur-machine. Le procédé est ainsi plus fiable, plus précis, et plus répétable. De plus, le procédé est moins coûteux et moins chronophage.
  • Dans une version préférée du procédé selon l'invention, l'étape d'extraction d'au moins une donnée de conduite peut comprendre une étape de traitement d'image par un algorithme, ou un réseau de neurone, préalablement entraîné.
  • Le procédé selon l'invention permet ainsi une détection plus efficace des données de conduite. Il est ainsi plus fiable et plus précis.
  • Alternativement, ou en plus, l'étape d'extraction d'au moins une donnée de conduite peut comprendre une étape de comparaison d'au moins un signal sonore ou visuel avec au moins un signal sonore ou visuel préalablement mémorisé dans une base de données sonore et/ou visuelle et associé à une donnée de conduite.
  • Dans un mode de réalisation avantageux du procédé selon l'invention, au moins une donnée de conduite peut être :
    • une représentation graphique d'un état fonctionnel de l'interface conducteur-machine,
    • une couleur,
    • un texte alphanumérique, et/ou
    • un son.
  • Une donnée de conduite peut être une donnée appartenant à une norme spécifique aux affichages des dispositifs d'assistance à la conduite ferroviaire. Par exemple, une donnée de conduite peut être un symbole de freinage suivi d'un son d'alerte.
  • Au moins une donnée de conduite peut être une donnée relative à un état de fonctionnement du véhicule ou d'un réseau sur lequel circule ledit véhicule.
  • Au moins une donnée de conduite peut être une donnée relative à une consigne de conduite.
  • En particulier, le procédé selon l'invention peut comprendre une étape d'actionnement de plusieurs touches dans un ordre déterminé en fonction d'au moins une donnée de conduite.
  • Dans un mode de réalisation du procédé selon l'invention, l'interface conducteur-machine peut comprendre un écran tactile, le procédé selon l'invention peut comprendre une étape d'actionnement d'une surface tactile dudit écran, et/ou plusieurs surfaces tactiles dudit écran tactile dans un ordre déterminé, en fonction d'au moins une donnée de conduite.
  • Préférentiellement, le procédé selon l'invention peut comprendre une étape de validation de l'actionnement d'au moins une touche de l'interface conducteur-machine, à partir d'un signal d'état de ladite touche.
  • Un signal d'état d'au moins une touche peut être un signal obtenu par un capteur d'effort configuré pour détecter un appui sur au moins une touche, ou une surface tactile, de l'interface conducteur-machine.
  • Dans une version de réalisation, le procédé selon l'invention peut comprendre une étape de mémorisation, dans la base de données, d'au moins un signal de référence émis par l'interface conducteur-machine en association avec au moins une donnée de conduite.
  • Cette étape de mémoration peut être réalisée préalablement à la première itération du procédé selon l'invention. Dans la base de données, chaque donnée de conduite, extraite à partir d'un signal sonore ou visuel, peut être associée à au moins un signal de conduite.
  • Avantageusement, au moins un signal de sortie peut être :
    • un affichage sur l'interface conducteur-machine, et/ou
    • un son émis par l'interface conducteur-machine.
  • En particulier, au moins un signal de sortie peut être une séquence de plusieurs affichages sur l'interface conducteur-machine et/ou une séquence de plusieurs sons émis par l'interface conducteur-machine.
  • Dans un mode particulier de réalisation, le procédé selon l'invention peut comprendre une étape de mémorisation d'au moins un, en particulier chaque, signal de sortie.
  • La mémorisation d'au moins un signal de sortie permet une meilleure traçabilité des éventuelles erreurs et disfonctionnement de l'interface conducteur-machine.
  • Avantageusement, le procédé selon l'invention peut comprendre une étape de mémorisation d'au moins une, en particulier chaque, donnée de conduite détectée par l'étape d'extraction.
  • Suivant un mode de réalisation préféré, le procédé selon l'invention peut comprendre une étape de réception d'au moins une donnée de conduite depuis un serveur distant, pour réaliser une étape d'actionnement d'au moins une touche de l'interface conducteur-machine en fonction de ladite au moins une donnée de conduite.
  • En outre, le procédé selon l'invention peut comprendre une étape de transmission d'au moins une donnée de conduite et/ou d'au moins un signal de sortie vers le serveur distant, par exemple pour les mémoriser dans un moyen de stockage distant.
  • Selon un autre aspect de l'invention, il est proposé un dispositif de contrôle d'une interface conducteur-machine utilisée pour piloter un véhicule en particulier ferroviaire, ledit dispositif comprend :
    • un moyen d'acquisition agencé pour capturer au moins un signal sonore et/ou visuel émis par ladite interface conducteur-machine,
    • un moyen d'actionnement prévu pour actionner une touche, ou une surface tactile, de ladite interface conducteur-machine, et
    • un moyen de traitement ;
    configurés pour mettre en oeuvre les étapes du procédé selon l'invention.
  • Dans une version de réalisation du dispositif selon l'invention, le moyen d'acquisition peut comprendre au moins une caméra configurée pour capturer au moins une image de la totalité ou une partie de l'interface conducteur-machine.
  • Au moins une caméra peut être équipée d'un micro prévu pour l'acquisition d'un signal sonore.
  • Le dispositif selon l'invention peut comprendre un moyen de réglage de la position d'au moins une caméra configuré pour déplacer au moins une caméra pour ajuster la focale de ladite au moins une caméra.
  • Avantageusement, le dispositif selon l'invention peut comprendre un moyen de fixation du dispositif selon l'invention sur, ou à proximité de, l'interface conducteur-machine.
  • Préférentiellement, le dispositif selon l'invention peut comprendre un moyen de réglage de la luminosité de l'interface conducteur-machine.
  • Le moyen de réglage de la luminosité peut comprendre au moins un moyen d'éclairage prévu pour éclairer l'interface conducteur-machine. Le moyen de réglage de la luminosité peut comprendre un obturateur de lumière prévu pour isoler l'interface conducteur-machine et/ou le moyen d'acquisition de la lumière extérieure.
  • Le moyen de réglage de la luminosité peut être configuré pour réduire les reflets lumineux capturés par le moyen d'acquisition. Le moyen d'acquisition visuel est ainsi plus précis.
  • Dans un mode de réalisation du dispositif selon l'invention, le moyen d'actionnement peut comprendre au moins un servomoteur configuré pour déplacer au moins un doigt d'actionnement pour venir en contact avec au moins une touche, ou une surface tactile, de l'interface conducteur-machine.
  • Le servomoteur peut être contrôlé par le module de traitement en fonction d'une donnée de conduite.
  • Avantageusement, le dispositif selon l'invention peut comprendre au moins un capteur d'effort agencé sur au moins une touche, ou une surface tactile, de l'interface conducteur-machine et prévu pour détecter un appui sur ladite interface conducteur-machine.
  • Le capteur d'effort peut détecter un appui d'au moins un doigt d'actionnement sur l'interface conducteur-machine et transmettre la détection d'appui au module de traitement pour valider qu'une touche de l'interface conducteur-machine est bien actionnée.
  • Alternativement, au moins un, en particulier chaque, doigt d'actionnement peut comprendre un capteur d'effort prévu pour détecter un appui sur une touche, ou une zone tactile, de l'interface conducteur-machine.
  • En particulier, le dispositif selon l'invention peut comprendre un moyen de communication de données à un serveur distant.
    • DESCRIPTION DES FIGURES ET MODES DE REALISATION
  • D'autres avantages et caractéristiques apparaîtront à l'examen de la description détaillée d'exemples de réalisation nullement limitatifs, et des dessins annexés sur lesquels :
    • la FIGURE 1 est une représentation schématique d'un exemple non limitatif du dispositif selon l'invention ; et
    • la FIGURE 2 est une représentation schématique d'un exemple non limitatif du procédé selon l'invention.
  • Il est bien entendu que les modes de réalisation qui seront décrits dans la suite ne sont nullement limitatifs. On pourra notamment imaginer des variantes de l'invention ne comprenant qu'une sélection de caractéristiques décrites par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Cette sélection comprend au moins une caractéristique de préférence fonctionnelle sans détail structurel, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure.
  • La FIGURE 1 est une représentation schématique d'un exemple non limitatif du dispositif selon l'invention.
  • Le dispositif 100 est prévu pour contrôler une interface conducteur-machine 102 utilisée pour piloter un véhicule ferroviaire.
  • L'interface conducteur-machine 102 comprend au moins une touche 104 et peut émettre au moins une donnée 106, dite de conduite, relative par exemple à une instruction de conduite ou à un signalement d'un état de fonctionnement du véhicule ferroviaire.
  • Le dispositif 100 comprend une caméra 108 équipée d'un micro 110 prévus pour capturer au moins un signal visuel ou sonore émanant de l'interface conducteur-machine 102. La caméra peut avoir une cadence d'acquisition sensiblement égale à 10 fps.
  • Le dispositif 100 comprend un moyen de fixation 112 de la caméra 108 et du micro 110 sur l'interface conducteur-machine 102. Le moyen de fixation 112 est configuré pour s'adapter à la forme de l'interface conducteur-machine 102 et en particulier pour laisser au moins une touche 104 accessible. Le moyen de fixation 112 comprend un film 114, par exemple un film anti reflet, prévu pour réduire les reflets lumineux capturer par la caméra 108.
  • La caméra 108 est agencée sur le moyen de fixation 112 à travers un support 116 de la caméra 108 et un moyen de réglage 118 de la position de la caméra 108. Le moyen de réglage 118 peut comprendre un vérin moteur, un actionneur linéaire, etc., et permet le réglage de la focale de la caméra 108.
  • Le moyen de fixation 112 et/ou le support 116 et/ou le un moyen de réglage 118 peuvent être réalisé par une technique d'impression 3D.
  • Le dispositif 100 comprend un moyen de traitement 120 configuré pour recevoir au moins un signal sonore ou visuel desdits caméra 108 et micro 110. Le moyen de traitement 120 détecte au moins une donnée de conduite 106 à partir dudit au moins un signal sonore ou visuel. Le moyen de traitement 120 peut comprendre un moyen de mémorisation d'au moins une, en particulier chaque, donnée de conduite 106. Le moyen de traitement 120 peut être un ordinateur mono carte du type Raspberry Pi 3 ©.
  • Le dispositif 100 comprend aussi un moyen d'actionnement 122 relié audit calculateur 120 et agencé au niveau d'une touche 104 de l'interface conducteur-machine 102 au travers du moyen de fixation 112.
  • Le moyen d'actionnement 122 comprend un servomoteur 124 relié à un doigt d'actionnement 126 prévu pour venir en contact avec au moins une touche 104 de l'interface conducteur-machine 102. Le moyen de traitement 120 commande le servomoteur 124 en fonction d'au moins une donnée de conduite 106 et permet ainsi d'actionner au moins une touche 104 en fonction d'au moins une donnée de conduite 106 émise par l'interface conducteur-machine 102.
  • Le moyen d'actionnement 122 comprend aussi un capteur d'effort 128 configuré pour détecter un appui sur au moins une touche 104 par ledit doigt d'actionnement 126 et transmettre la détection d'appui au moyen de traitement 120.
  • Le moyen de traitement 120 communique avec un serveur distant 130 de façon filaire ou non. Le serveur distant 130 peut transmettre des données de conduite supplémentaires au moyen de traitement 120 et recevoir au moins un signal sonore ou visuel capturé par lesdits micro 110 et caméra 108.
  • La FIGURE 2 est une représentation schématique d'un exemple non limitatif du procédé selon l'invention.
  • Le procédé 200 est prévu pour contrôler d'une interface conducteur-machine utilisée pour piloter un véhicule ferroviaire. Le procédé 200 peut être mis en oeuvre par le dispositif 100 de la FIGURE 1.
  • Le procédé 200 comprend une étape 202 d'acquisition d'au moins un signal sonore ou visuel émis par ladite interface conducteur-machine. L'étape d'acquisition peut être par un moyen d'acquisition sonore ou visuel tel qu'une caméra et/ou un micro.
  • Le procédé 200 comprend ensuite une étape 204 d'extraction d'au moins une donnée, dite de conduite, à partir dudit au moins un signal sonore ou visuel. Par exemple, au moins une donnée de conduite peut être une représentation d'un état fonctionnel du véhicule ferroviaire et/ou d'une signalisation ferroviaire et/ou d'une alerte sonore. L'étape 204 d'extraction d'au moins une donnée de conduite peut comprendre une étape de traitement d'image utilisant au moins un réseau de neurones.
  • Le procédé 200 comprend ensuite une étape 206 d'actionnement, par un moyen d'actionnement, d'au moins une touche de l'interface conducteur-machine en fonction d'au moins une donnée de conduite déterminée à l'étape 204. L'étape 206 d'actionnement peut être suivie par une étape de validation d'appui sur une touche de l'interface conducteur-machine par un capteur d'effort par exemple. Si le capteur d'effort ne détecte pas un appui, le procédé 200 peut réitérer l'étape 204 ou renvoyer un message d'erreur.
  • Le procédé 200 comprend aussi une étape 208 de détermination d'un signal, dit de sortie, émis par ladite interface conducteur-machine suite à l'étape d'actionnement 206. Le signal de sortie peut être un affichage ou un son émis par l'interface conducteur-machine.
  • Le procédé 200 comprend une étape 210 de comparaison du signal de sortie à un signal, dit de référence, préalablement mémorisé dans une base de données, correspondant au signal qui devrait être émis par ladite interface conducteur-machine suite à l'étape d'actionnement 206.
  • Si le signal de sortie est différent du signal de référence, alors le procédé 200 comprend une étape 212 d'émission d'un signal d'erreur.
  • Le procédé 200 peut être réitéré pour chaque signal sonore ou visuel émis par l'interface conducteur-machine.
  • Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention.

Claims (12)

  1. Procédé (200) de contrôle d'une interface conducteur-machine (102) utilisée pour piloter un véhicule en particulier ferroviaire, ledit procédé (100) comprend au moins une itération des étapes suivantes :
    - acquisition (202), par un moyen d'acquisition sonore et/ou visuel (108,110), d'au moins un signal sonore ou visuel émis par ladite interface conducteur-machine (102),
    - extraction (204) d'au moins une donnée, dite de conduite, à partir dudit au moins un signal sonore ou visuel,
    - actionnement (206) d'au moins une touche (104), ou une surface tactile, de ladite interface conducteur-machine (102) en fonction de ladite au moins une donnée de conduite,
    - détermination (208) d'un signal, dit de sortie, émis par ladite interface conducteur-machine (102) suite à ladite étape d'actionnement (206),
    - comparaison (210) dudit signal de sortie à un signal, dit de référence, préalablement mémorisé dans une base de données, correspondant au signal qui devrait être émis par ladite interface conducteur-machine (102) suite à l'étape d'actionnement (206), et
    - si ledit signal de sortie est différent dudit signal de référence, alors émission (212) d'un signal d'erreur.
  2. Procédé (200) selon la revendication précédente, caractérisé en ce que l'étape d'extraction (204) d'au moins une donnée de conduite comprend une étape de traitement d'image par un algorithme, ou un réseau de neurone, préalablement entraîné.
  3. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce que au moins une donnée de conduite est :
    - une représentation graphique d'un état fonctionnel de l'interface conducteur-machine (102),
    - une couleur,
    - un texte alphanumérique, et/ou
    - un son.
  4. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une étape de validation de l'actionnement d'au moins une touche (104) de l'interface conducteur-machine (102), à partir d'un signal d'état de ladite touche (104).
  5. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une étape de mémorisation, dans la base de données, d'au moins un signal de référence émis par l'interface conducteur-machine (102) en association avec au moins une donnée de conduite.
  6. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'au moins un signal de sortie est :
    - un affichage sur l'interface conducteur-machine (102), et/ou
    - un son émis par l'interface conducteur-machine (102).
  7. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une étape de réception d'au moins une donnée de conduite depuis un serveur distant, pour réaliser une étape d'actionnement (206) d'au moins une touche (104) de l'interface conducteur-machine (102) en fonction de ladite au moins une donnée de conduite.
  8. Dispositif (100) de contrôle d'une interface conducteur-machine (102) utilisée pour piloter un véhicule en particulier ferroviaire, ledit dispositif (100) comprend :
    - un moyen d'acquisition (108,110) agencé pour capturer au moins un signal sonore et/ou visuel émis par ladite interface conducteur-machine (102),
    - un moyen d'actionnement (122) prévu pour actionner une touche, ou une surface tactile, de ladite interface conducteur-machine (102), et
    - un moyen de traitement (120) ;
    configurés pour mettre en oeuvre les étapes du procédé (200) selon l'une quelconque des revendications précédentes.
  9. Dispositif (100) selon la revendication précédente, caractérisé en ce que le moyen d'acquisition (108,110) comprend au moins une caméra (108) configurée pour capturer au moins une image de la totalité ou une partie de l'interface conducteur-machine (102).
  10. Dispositif (100) selon l'une quelconque des revendications 8 ou 9, caractérisé en ce qu'il comprend un moyen de réglage (114) de la luminosité de l'interface conducteur-machine (102).
  11. Dispositif (100) selon l'une quelconque des revendications 8 à 10, caractérisé en ce que le moyen d'actionnement (122) comprend au moins un servomoteur (124) configuré pour déplacer au moins un doigt d'actionnement (126) pour venir en contact avec au moins une touche (104), ou une surface tactile, de l'interface conducteur-machine (102).
  12. Dispositif (100) selon la revendication précédente, caractérisé en ce qu'il comprend au moins un capteur d'effort (128) agencé sur au moins une touche (102), ou une surface tactile, de l'interface conducteur-machine (102) et prévu pour détecter un appui sur ladite interface conducteur-machine (102).
EP18203242.5A 2017-11-30 2018-10-30 Procédé et dispositif de contrôle d'une interface conducteur-machine Active EP3492337B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1761490A FR3074319B1 (fr) 2017-11-30 2017-11-30 Procede et dispositif de controle d'une interface conducteur-machine

Publications (2)

Publication Number Publication Date
EP3492337A1 true EP3492337A1 (fr) 2019-06-05
EP3492337B1 EP3492337B1 (fr) 2020-09-30

Family

ID=61750273

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18203242.5A Active EP3492337B1 (fr) 2017-11-30 2018-10-30 Procédé et dispositif de contrôle d'une interface conducteur-machine

Country Status (3)

Country Link
EP (1) EP3492337B1 (fr)
ES (1) ES2837700T3 (fr)
FR (1) FR3074319B1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3786730A1 (fr) * 2019-08-30 2021-03-03 Siemens Mobility GmbH Procédé de surveillance d'une liaison de signal

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006025523A1 (de) * 2006-05-30 2007-12-06 Bombardier Transportation Gmbh Fernsteuerung eines Drucktasten-Relaisstellwerks
EP2147845A2 (fr) * 2008-07-22 2010-01-27 Siemens Aktiengesellschaft Procédé de surveillance d'une unité d'affichage, notamment d'une unité d'affichage dans un véhicule
EP2551787A1 (fr) * 2011-07-25 2013-01-30 Deuta-Werke GmbH Device and method for input of security-relevant information using a display device with touch input
WO2015124939A1 (fr) * 2014-02-21 2015-08-27 Risk Telematics Uk Limited Détermination de l'état d'un véhicule
EP2939902A1 (fr) * 2014-04-30 2015-11-04 Sncf Reseau Procédé et dispositif pour déterminer un itinéraire ferroviaire

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006025523A1 (de) * 2006-05-30 2007-12-06 Bombardier Transportation Gmbh Fernsteuerung eines Drucktasten-Relaisstellwerks
EP2147845A2 (fr) * 2008-07-22 2010-01-27 Siemens Aktiengesellschaft Procédé de surveillance d'une unité d'affichage, notamment d'une unité d'affichage dans un véhicule
EP2551787A1 (fr) * 2011-07-25 2013-01-30 Deuta-Werke GmbH Device and method for input of security-relevant information using a display device with touch input
WO2015124939A1 (fr) * 2014-02-21 2015-08-27 Risk Telematics Uk Limited Détermination de l'état d'un véhicule
EP2939902A1 (fr) * 2014-04-30 2015-11-04 Sncf Reseau Procédé et dispositif pour déterminer un itinéraire ferroviaire

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3786730A1 (fr) * 2019-08-30 2021-03-03 Siemens Mobility GmbH Procédé de surveillance d'une liaison de signal

Also Published As

Publication number Publication date
EP3492337B1 (fr) 2020-09-30
FR3074319A1 (fr) 2019-05-31
FR3074319B1 (fr) 2019-10-25
ES2837700T3 (es) 2021-07-01

Similar Documents

Publication Publication Date Title
FR3052273A1 (fr) Prediction de pannes dans un aeronef
KR101350036B1 (ko) 전광판의 이상 여부 판단 장치 및 이를 이용한 전광판의 이상 여부 판단 방법
FR2800190A1 (fr) Procede et systeme pour l'autodiagnostic d'une voiture
FR2822562A1 (fr) Procede et dispositif de surveillance d'unites de commande
US10620617B2 (en) Method of maintenance of an electromechanical device
FR3059615A1 (fr) Procede et dispositif de verification d'un systeme de capteurs de vehicule
EP3492337B1 (fr) Procédé et dispositif de contrôle d'une interface conducteur-machine
FR2730074A1 (fr) Architecture de calculateur tolerante aux fautes
CN108369781A (zh) 用于评价由车辆的至少一个传感器检测到的危险情况的方法，用于控制危险警告的呈现的方法和用于呈现危险警告的方法
EP1638002A2 (fr) Dispositif et procédé de contrôle d'une console
EP3443425B1 (fr) Procédé de contrôle d'intégrité de l'avionique d'un aéronef, dispositif et produit programme d'ordinateur associés
FR3102870A1 (fr) Procédé pour déterminer une déviation non autorisée du comportement systémique d’une installation technique par rapport à une plage de valeurs normalisées
EP3513294B1 (fr) Dispositif de controle de la reinitialisation d'un calculateur embarque automobile
KR101784629B1 (ko) 카메라를 이용한 차량의 램프 고장진단방법
CN108020872B (zh) 一种闸机通行传感器检测装置和方法
KR20110045788A (ko) 족부 영상을 기록하는 차량용 멀티미디어 기록 장치
EP2919421B1 (fr) Commutateur Ethernet, engin mobile et bus de transport de passagers comprenant ledit commutateur Ethernet
CN114136342A (zh) 里程篡改判断方法及系统
FR3059814A1 (fr) Procede et dispositif pour verifier un systeme de capteurs d'un vehicule saisissant l'etat d'occupation d'un emplacement de stationnement
FR3107875A1 (fr) Procédé et dispositif de contrôle d’activation de clignotants de véhicule
EP2729769B1 (fr) Systeme et procede de determination d'un etat de fonctionnement d'un appareil electrique
FR3106015A1 (fr) Procédé et système pour surveiller des individus transportés dans un véhicule automobile pilotable à distance
EP3889550A1 (fr) Dispositif d échantillonnage de données et ensemble de diagnostic pour un véhicule automobile
FR3087931A1 (fr) Procede et systeme de surveillance d'une installation de securite
KR20180003025A (ko) 차량 상황 대처 시스템

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191028

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200421

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SOCIETE NATIONALE SNCF

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1318514

Country of ref document: AT

Kind code of ref document: T

Effective date: 20201015

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602018008273

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201231

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1318514

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SNCF VOYAGEURS

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210201

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210130

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201030

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602018008273

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

26N No opposition filed

Effective date: 20210701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201030

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210130

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211031

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211031

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230529

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230926

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231019

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231114

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20231010

Year of fee payment: 6

Ref country code: FR

Payment date: 20231023

Year of fee payment: 6

Ref country code: DE

Payment date: 20231011

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20231016

Year of fee payment: 6