EP3531389A1 - Procede de mesure de l'etat de vigilance d'un pilote - Google Patents

Procede de mesure de l'etat de vigilance d'un pilote Download PDF

Info

Publication number
EP3531389A1
EP3531389A1 EP19155116.7A EP19155116A EP3531389A1 EP 3531389 A1 EP3531389 A1 EP 3531389A1 EP 19155116 A EP19155116 A EP 19155116A EP 3531389 A1 EP3531389 A1 EP 3531389A1
Authority
EP
European Patent Office
Prior art keywords
pilot
microphone
signal
measuring device
loudspeaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP19155116.7A
Other languages
German (de)
English (en)
Other versions
EP3531389B1 (fr
Inventor
Nicolas Clement
Benoît GAUDUIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Operations SAS
Original Assignee
Airbus Operations SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Operations SAS filed Critical Airbus Operations SAS
Publication of EP3531389A1 publication Critical patent/EP3531389A1/fr
Application granted granted Critical
Publication of EP3531389B1 publication Critical patent/EP3531389B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems, e.g. audible personal calling systems
    • G08B3/10—Audible signalling systems, e.g. audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Definitions

  • the present invention relates to a method of measuring the state of alertness of a pilot flying an aircraft.
  • the state of vigilance of a pilot is measured by another pilot, the ground control with which the pilot is in permanent radio contact, or again, as described in the patent application.
  • EP2434465 by sensors carried by the pilot (heart sensors for example). Wearing such sensors for several hours of flight can inconvenience pilots.
  • the present invention aims to provide a means of measuring the state of alertness of a driver that is not inconvenient for the pilot. To this end, the invention relates to a method for measuring the state of vigilance of a pilot of an aircraft which is claimed in claim 1.
  • the method according to the invention is non-intrusive for the pilot and makes it possible to measure the state of vigilance of a pilot and to launch an alert in the case where the pilot lacks vigilance.
  • an aircraft 10 comprises a cockpit 20 in which are installed the seats of a first and a second pilot (co-pilot) 24, 15, different screens 21 and a man-machine interface 22 (the screens comprise a human interface -machine when they are tactile) with which a pilot can interact to give instructions to the components of the aircraft.
  • the aircraft further comprises communications means which consist of a central unit audio communication unit (Audio Management Unit) whose function is to manage the communications of the aircraft, and which is connected for this purpose to antennas (not shown) located on the fuselage of the aircraft for receiving or transmitting electrical signals, to an alert system 50 which emits electrical warning signals to at least one screen 21 in the case of the occurrence of an anomaly (example: stall alarm, fire alarm, ...), and transducers to convert electrical signals into sound waves or vice versa.
  • a central unit audio communication unit Audio Management Unit
  • antennas not shown
  • an alert system 50 which emits electrical warning signals to at least one screen 21 in the case of the occurrence of an anomaly (example: stall alarm, fire alarm, ...), and transducers to convert electrical signals into sound waves or vice versa.
  • a helmet C includes a bow F at each end of which is fixed a listener 31,32.
  • the microphone M is fixed to the arch F while being deported from the latter.
  • the pilot adjusts the helmet so that the arch F wraps the top of its head T, with a earpiece 31,32 located in front of each ear, the microphone M being located in front of the driver's mouth.
  • the aircraft 10 comprises a device for measuring the state of vigilance of a pilot of the aircraft 40, said measuring device, which is configured to measure the time between which a sound wave is emitted by an HP speaker and is received by the microphone M of a headset and calculate the coordinates of a sphere centered on the HP speaker and on the perimeter of which the microphone M is located.
  • the calculation of the intersection points of at least two spheres centered on different HP speakers provides possible positions of the microphone M in the cockpit space 20. These positions are those of the pilot's head T when the C helmet is used by the latter.
  • the measuring device 40 is configured to measure the state of vigilance of a pilot of the aircraft 10.
  • the measuring device 40 is either a module, integrated in the audio communication unit 30, or a central unit module, separate from the audio communication unit 30 (as illustrated by FIG. figure 1 ), and connected to the latter as well as to the alert system 50.
  • the method for measuring the state of vigilance of a pilot implemented by the measuring device 40 will be explained for its implementation in an aircraft cockpit 20 comprising two HP loudspeakers.
  • An HP speaker dedicated to the first pilot is arranged near the seat 24 of the latter, and symmetrically according to a median plane of the fuselage of the aircraft, another HP speaker dedicated to the second pilot (co-pilot) is arranged near the 25th seat of the latter.
  • the loudspeaker HP converts the excitation signal Ssrc (t) into an acoustic wave Pacc (t), and in a receiving step E3, the microphone M of the headset C of a driver picks up the signal.
  • Pacc (t) acoustic wave, and converts it into electrical signal Smic (t) which is transmitted to the audio communication unit 30.
  • the measurement device 40 calculates the distance from the speaker HP to the microphone M of the pilot's helmet and calculates the coordinates of a sphere around the loudspeaker HP in on the perimeter of which the microphone is located.
  • the four steps E1-E4 are implemented for the other speaker HP.
  • the four steps E1-E4 are implemented for a loudspeaker each time an electric excitation signal Ssrc (t) is emitted by the audio communication unit 30 to said loudspeaker HP .
  • the four steps E1-E4 are implemented simultaneously on each of the HP loudspeakers (case in the case of an alert or a radio signal), or can be implemented in an off-set manner when the electrical excitation signals Ssrc (t) are signals specific to the measurement of the vigilance state.
  • a step E5 for determining the microphone position M implemented when the coordinates of two spheres centered on two different HP speakers have been calculated that is to say each time a cycle of steps E1 to E4 is performed for a first and a second speaker HP
  • the measuring device 40 calculates the points of intersection of the spheres located around the two speakers HP. These intersection points are possible positions of the microphone M in the cockpit space.
  • a step E6 measuring the movement of the microphone the measuring device 40 measures, for a predetermined duration (for example, of the order of 30s), the movements of the microphone M taking for reference one of the possible positions, called position detecting microphone M, determined in the previous step E5. It should be noted that increasing the frequency of emission of electrical excitation signals for each speaker increases the accuracy of the measurement of the movement of the microphone.
  • the measuring device 40 determines that the pilot has a lack of vigilance if the microphone M has not moved away from the detection position by a predetermined distance (from the order of a few centimeters, 2 cm for example) for the predetermined duration.
  • the measuring device 40 resumes the measurement of the state of vigilance in the step E5.
  • the measuring device 40 in a warning step E8, generates an electrical signal indicative Salt a lack of vigilance of the pilot.
  • This Salert signal is transmitted to the audio communication unit 30 for sending a signal to the headsets of the pilot's helmet C for which the measuring device 40 has measured a state of lack of vigilance.
  • the signal is intended to be converted into an audible alarm sound by the headset C's headphones 31,32 and the alarm is sounded as long as the signal is transmitted.
  • driver does not perform a predefined action, such as a head movement, a specific interaction with the man-machine interface 22, ....
  • the signal Salert is transmitted to the alert system 50 for displaying a message on at least one of the screens 21 of the cockpit 20.
  • the message is conspicuous (for example flashing, a color alive ...) and includes an instruction requesting the pilot / co-pilot to perform an action (interaction requested from the pilot with the man-machine interface 22) within a predetermined time (for example 30 seconds) to ensure that at least one pilot is able to pilot. If the pilot or the co-pilot performs the requested action within the time limit, the measuring device 40 resumes the measurement of the state of vigilance. On the other hand, if no pilot performs the action, a signal is sent by the measuring device 40 to ground assistance for the implementation of assistance measures, such as for example the takeover of the aircraft at distance.
  • the invention is particularly suited to a cockpit configuration that includes more than two HP speakers. If the cockpit comprises a number n of HP speakers, steps E1 to E4 can be performed for each of the n loudspeakers. Since the number of intersection points of n spheres decreases as the number of speakers is large, the accuracy of the determination of the position of the microphone M is all the more important that the number of loudspeakers HP is high. Thus, when the cockpit 20 comprises at least 4 loudspeakers, the intersection of each of the four spheres is a single point.
  • the measuring device 40 is configured to take into account the fact that for long periods of flight, the pilot may have to remove his helmet C.
  • the driver's helmet C includes a proximity sensor 33 mounted on the headband F of the helmet and whose detection zone is oriented towards the concave part of the helmet.
  • the sensor 33 generates a signal Sactiv comprising the information according to which the helmet C is worn by the pilot when the head T of the pilot is in the vicinity of the sensor 33 (for example, less than two centimeters).
  • the measuring device 40 receiving the output of the sensor is able to generate an electrical signal Salert only when the signal Sactiv is set at 1
  • the audio communication unit 30 when the electrical excitation signals Ssrc (t) are signals specific to the measurement of the vigilance state of a pilot, the audio communication unit 30 generates a signal separate electrical excitation for each speaker HP and these signals are sent to the various speakers HP shifted It is possible to differentiate each signal emitted by a speaker. According to this embodiment, the movement of the microphone is measured continuously and the measurement of the state of alertness is more accurate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Developmental Disabilities (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Animal Behavior & Ethology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Emergency Alarm Devices (AREA)
  • Helmets And Other Head Coverings (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

L'invention concerne un procédé de mesure de l'état de vigilance d'un pilote mis en oeuvre par un dispositif de mesure. Le dispositif de mesure est configuré pour mesurer le temps entre lequel une onde sonore est émise par un haut-parleur arrangé dans le poste de pilotage de l'aéronef et est reçue par le microphone d'un casque d'un pilote et calculer les coordonnées d'une sphère centrée sur le haut-parleur et sur le périmètre de laquelle le microphone se situe.Le calcul des points d'intersections d'au moins deux sphères centrées sur des haut-parleurs différents fournit des positions possibles du microphone dans l'espace du poste de pilotage. Ces positions sont celles de la tête du pilote lorsque le casque est utilisé par ce dernier.Via la connaissance d'au moins une position possible de la tête du pilote dans le poste de pilotage, le dispositif de mesurer est configuré pour mesurer l'état de vigilance du pilote et alerter en cas d'un manque de vigilance avéré du pilote.

Description

  • La présente invention concerne un procédé de mesure de l'état de vigilance d'un pilote au pilotage d'un aéronef.
  • L'incapacité d'un pilote au pilotage un aéronef se traduit par un comportement anormal du pilote pendant plusieurs secondes, en particulier marqué par un manque de vigilance du pilote qui peut être dû à un malaise physique ou psychologique (stress). Dès lors qu'une suspicion d'incapacité au pilotage existe, un plan d'action est initié pour remplacer ou assister le pilote afin de poursuivre le vol de l'aéronef dans des conditions optimales.
  • Durant un vol, l'état de vigilance d'un pilote est mesuré par un autre pilote, le contrôle au sol avec lequel le pilote est en contact radio permanent, ou encore, comme décrit dans la demande de brevet EP2434465 , par des capteurs portés par le pilote (capteurs cardiaques par exemple). Le port de tels capteurs durant plusieurs heures de vol peut incommoder les pilotes.
  • La présente invention a pour objectif de proposer un moyen de mesurer l'état de vigilance d'un pilote qui ne soit incommodant pour le pilote. A cet effet, l'invention concerne un procédé de mesure de l'état de vigilance d'un pilote d'un aéronef qui est revendiqué dans la revendication 1.
  • Le procédé selon l'invention est non intrusif pour le pilote et permet de mesurer l'état de vigilance d'un pilote et de lancer une alerte dans le cas où le pilote manque de vigilance.
  • Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels :
    • la figure 1 représente un aéronef comportant un dispositif de mesure pour la mise en oeuvre du procédé de mesure de l'état de vigilance d'un pilote selon un mode de réalisation de l'invention ;
    • la figure 2 représente une vue d'un poste de pilotage de l'aéronef de la figure 1 dans lequel sont arrangés différents haut-parleurs utilisés dans la mise en oeuvre du procédé de mesure de l'état de vigilance d'un pilote selon un mode de réalisation de l'invention ;
    • la figure 3 est une vue d'un casque d'un pilote utilisé dans la mise en oeuvre du procédé de mesure de l'état de vigilance d'un pilote selon un mode de réalisation de l'invention ; et
    • la figure 4 est un diagramme représentant les différentes étapes du procédé de mesure de l'état de vigilance d'un aéronef selon un mode de réalisation de l'invention.
  • En référence avec les figures 1 et 2, un aéronef 10 comprend un poste de pilotage 20 dans lequel sont installés les sièges d'un premier et d'un second pilote (copilote) 24,15, différents écrans 21 et une interface homme-machine 22 (les écrans comprennent une interface homme-machine lorsqu'ils sont tactiles) avec lequel un pilote peut interagir pour donner des instructions aux composants de l'aéronefs.
  • L'aéronef comprend en outre des moyens de communications qui se composent d'une unité de communication audio 30 (Audio Management Unit) de type unité centrale ayant pour fonction de gérer les communications de l'aéronef, et qui est connectée pour cela à des antennes (non représentées) situées sur le fuselage de l'aéronef pour la réception ou l'émission de signaux électriques, à un système d'alerte 50 qui émet des signaux électriques d'alerte vers au mois un écran 21 dans le cas de la survenue d'une anomalie (exemple : alarme de décrochage, alarme incendie, ...), et à des transducteurs pour convertir des signaux électriques en ondes sonores ou inversement.
  • Les transducteurs sont arrangés dans le poste de pilotage 20 et comprennent :
    • au moins deux haut-parleurs HP, par exemple agencés sur le plafond 26 ou sur des consoles 27,28 du poste de pilotage 20;
    • pour chaque pilote, un microphone M et deux écouteurs 31,32 arrangés sur le casque C (boomset en anglais) de chaque pilote.
  • De manière connue, et en référence avec la figure 3, un casque C comprend un arceau F à chaque extrémité duquel est fixé un écouteur 31,32. Le microphone M est fixé à l'arceau F tout en étant déporté de ce dernier. En position d'utilisation, le pilote règle le casque de sorte que l'arceau F enveloppe le haut de sa tête T, avec un écouteur 31,32 situé devant chaque oreille, le microphone M étant lui situé devant la bouche du pilote.
  • Selon l'invention, l'aéronef 10 comprend un dispositif de mesure de l'état de vigilance d'un pilote de l'aéronef 40, dit dispositif de mesure, qui est configuré pour mesurer le temps entre lequel une onde sonore est émise par un haut-parleur HP et est reçue par le microphone M d'un casque et calculer les coordonnées d'une sphère centrée sur le haut-parleur HP et sur le périmètre de laquelle le microphone M se situe.
  • Le calcul des points d'intersections d'au moins deux sphères centrées sur des haut-parleurs HP différents fournit des positions possibles du microphone M dans l'espace du poste de pilotage 20. Ces positions sont celles de la tête du pilote T lorsque le casque C est utilisé par ce dernier.
  • Via la connaissance d'au moins une position possible de la tête T du pilote dans le poste de pilotage 20, le dispositif de mesure 40 est configuré pour mesurer l'état de vigilance d'un pilote de l'aéronef 10.
  • Le dispositif de mesure 40 est soit un module, intégré dans l'unité de communication audio 30, soit un module de type unité centrale, distinct de l'unité de communication audio 30 (comme illustré par la figure 1), et connecté à cette dernière ainsi qu'au système d'alerte 50.
  • En référence avec la figure 4, le procédé de mesure de l'état de vigilance d'un pilote mis en oeuvre par le dispositif de mesure 40 va être explicité pour sa mise en oeuvre dans un poste de pilotage d'aéronef 20 comprenant deux hauts parleurs HP. Un haut-parleur HP dédié au premier pilote est arrangé à proximité du siège 24 de ce dernier, et de manière symétrique selon un plan médian du fuselage de l'aéronef, un autre haut-parleur HP dédié au second pilote (copilote) est arrangé à proximité du siège 25 de ce dernier.
  • On considère uniquement le cas du microphone M du casque C du premier pilote, mais le procédé tel que décrit s'applique de manière identique pour chaque microphone M du pilote/copilote puisque les entrées des microphones M sont différenciées au niveau de l'unité de communication audio 30 de sorte que ladite unité peut différencier les signaux qu'elle reçoit des microphones M.
  • Dans une étape E1 d'émission, l'unité de communication audio 30 émet un signal d'excitation électrique Ssrc(t) vers un haut-parleur HP. Un signal d'excitation électrique émis par l'unité de communication audio vers un haut-parleur est par exemple :
    • un signal reçu de l'extérieur de l'aéronef (autre aéronef, sol...) via une antenne ;
    • un signal électrique d'alerte généré par le système d'alerte 50. Le signal électrique d'alerte est, par exemple, un signal, qui lorsqu'il sera convertit en onde acoustique, sera un bip, une tonalité, une alarme ; et
    • un signal spécifique à la mesure de l'état de vigilance d'un pilote, qui est généré par le dispositif de mesure 40. Le signal spécifique est, par exemple, configuré pour être inaudible par les pilotes une fois convertit en onde acoustique.
  • Dans une étape E2 de conversion, le haut-parleur HP convertit le signal d'excitation Ssrc(t) en onde acoustique Pacc(t), puis dans une étape E3 de réception, le microphone M du casque C d'un pilote capte l'onde acoustique Pacc(t), et la convertit en signal électrique Smic(t) qui est transmise vers l'unité de communication audio 30.
  • A l'issue de l'étape E3, dans une étape E4 de calcul, le dispositif de mesure 40 calcule la distance du haut-parleur HP au microphone M du casque du pilote et calcule les coordonnées d'une sphère autour du haut-parleur HP dans sur le périmètre de laquelle le microphone se situe.
  • Dans le détail, le calcul de la distance et des coordonnées de la sphère comprend :
    • a) le calcul du maximum de la fonction d'intercorrélation RSsrcSmic entre le signal d'excitation électrique Ssrc(t) et le signal électrique Smic(t) émis par un microphone ayant reçu l'onde acoustique Pacc(t) du haut-parleur HP, le maximum ainsi calculé représente le temps de propagation acoustique du signal d'excitation Ssrc1(t).
    • b) le calcul de la distance du haut-parleur HP au microphone M, en multipliant le temps de propagation calculé par la célérité du son ; et
    • c) la détermination des coordonnées de la sphère, rendue possible par le fait que haut-parleur HP a une position fixe et connue dans le poste de pilotage 20 (la position est enregistrée dans une mémoire du dispositif de mesure 40).
  • Les quatre étapes E1-E4 sont mises en oeuvre pour l'autre haut-parleur HP. De manière générale, les quatre étapes E1-E4 sont mises en oeuvre pour un haut-parleur à chaque fois qu'un signal d'excitation électrique Ssrc(t) est émis par l'unité de communication audio 30 vers ledit haut-parleur HP.
  • En fonction de la nature des signaux d'excitation électrique Ssrc(t), les quatre étapes E1-E4 sont mises en oeuvre simultanément sur chacun des hauts parleurs HP (cas dans le cas d'une alerte ou d'une signal radio), ou peuvent être mises en oeuvre de manière décalée lorsque les signaux d'excitation électrique Ssrc(t) sont des signaux spécifiques à la mesure de l'état de vigilance.
  • Dans une étape E5 de détermination de la position de microphone M mise en oeuvre lorsque les coordonnées de deux sphères centrées sur deux haut-parleurs HP différents ont été calculées (c'est-à-dire à chaque fois qu'un cycle d'étapes E1 à E4 est réalisé pour un premier et un second haut-parleur HP), le dispositif de mesure 40 calcule les points d'intersection des sphères situées autour des deux haut-parleurs HP. Ces points d'intersections sont des positions possibles du microphone M dans l'espace du poste de pilotage.
  • Dans une étape E6 de mesure du mouvement du microphone, le dispositif de mesure 40 mesure, pendant une durée prédéterminée (par exemple, de l'ordre de 30s), les mouvements du microphone M en prenant pour référence une des positions possibles, dite position de détection, du microphone M, déterminée à l'étape E5 précédente. On notera que l'augmentation de la fréquence d'émission de signaux d'excitation électriques pour chaque haut-parleur augmente la précision de la mesure du mouvement du microphone.
  • Ensuite, dans une étape E7 de détermination d'incapacité, le dispositif de mesure 40 détermine que le pilote présente un manque de vigilance si le microphone M ne s'est pas éloigné de la position de détection d'une distance prédéterminée (de l'ordre de quelques centimètres, 2 cm par exemple) pendant la durée prédéterminée.
  • Si durant la durée prédéterminée, la tête du pilote s'est éloignée de la position de détection de la distance prédéterminée, alors le dispositif de mesure 40 reprend la mesure de l'état de vigilance à l' étape E5.
  • Au contraire, si durant la durée prédéterminée, la tête du pilote ne s'est pas éloignée de la position de détection de la distance prédéterminée, alors le dispositif de mesure 40, dans une étape E8 d'alerte, génère un signal électrique Salert indicatif d'un manque de vigilance du pilote.
  • Ce signal Salert est transmis à l'unité de communication audio 30 pour l'envoi d'un signal aux écouteurs du casque C du pilote pour lequel le dispositif de mesure 40 a mesuré un état de manque de vigilance. Le signal est dans ce cas prévu pour être transformé en son d'alarme audible par les écouteurs 31,32 du casque C du pilote et l'alarme est émise tant que le pilote n'accomplit pas une action prédéfinie, comme par exemple un mouvement de la tête, une interaction spécifique avec l'interface homme-machine 22, ....
  • En variante, le signal Salert est transmis au système d'alerte 50 pour l'affichage d'un message sur au moins l'un des écrans 21 du poste de pilotage 20. Le message est ostensible (par exemple clignotant, d'une couleur vive...) et comporte une instruction demandant au pilot/copilote d'accomplir une action (interaction demandée au pilote avec l'interface homme-machine 22) dans un délai prédéterminé (par exemple 30 secondes) afin de s'assurer qu'au moins un pilote est apte au pilotage. Si le pilote ou le copilote accomplit l'action demandée dans le délai, le dispositif de mesure 40 reprend la mesure de l'état de vigilance. En revanche si aucun pilote n'accomplit l'action, un signal est envoyé par le dispositif de mesure 40 vers une assistance au sol pour la mise en oeuvre de mesures d'assistance, comme par exemple la prise de contrôle de l'aéronef à distance.
  • L'invention est particulièrement adaptée à une configuration de poste de pilotage 20 qui comprend plus de deux haut-parleurs HP. Si le poste de pilotage comprend un nombre n de haut-parleurs HP, les étapes E1 à E4 peuvent être effectuées pour chacun des n haut-parleurs. Puisque le nombre de points d'intersections de n sphères diminue à mesure que le nombre de haut-parleurs est important, la précision de la détermination de la position du microphone M est d'autant plus importante que le nombre de haut-parleurs HP est élevé. Ainsi, lorsque le poste de pilotage 20 comprend au moins 4 haut-parleurs, l'intersection de chacune des quatre sphères est un unique point.
  • Dans la description du procédé décrite ci-dessus, on a considéré que le pilote porte son casque C durant tout le vol, par exemple du fait d'une obligation formulée par sa compagnie aérienne. En variante, le dispositif de mesure 40 est configuré pour prendre en compte le fait que pour de longues durées de vol, le pilote peut avoir à enlever son casque C.
  • A cette fin, dans un mode de réalisation de l'invention, le casque C du pilote comprend un capteur de proximité 33 monté sur l'arceau F du casque et dont la zone de détection est orientée vers la partie concave du casque. Le capteur 33 génère un signal Sactiv comprenant l'information selon laquelle le casque C est porté par le pilote lorsque la tête T du pilote se situe à proximité du capteur 33 (par exemple, moins de deux centimètres). En considérant un exemple dans une logique Booléenne où le signal Sactiv mis à 1 indique que la casque C est porté par le pilote, le dispositif de mesure40 recevant la sortie du capteur est apte à générer un signal électrique Salert uniquement lorsque le signal Sactiv est mis à 1
  • La description du procédé tel que décrit précédemment est alors modifiée en ce sens :
    • qu'il comprend une étape EP de vérification de l'utilisation du casque C par le pilote, mis en oeuvre en permanence par le dispositif de mesure 40, dans laquelle le dispositif de mesure 40 vérifie que le casque est porté par le pilote (réception d'un signal Sactiv mis à 1 en logique booléen considérée ici à titre d'exemple uniquement), ou n'est pas porté par le pilote (réception d'un signal Sactiv mis à 0).
    • que l'étape E8 d'alerte est mise en oeuvre à la condition supplémentaire que le casque C est porté par le pilote (soit Sactiv mis à 1).
  • Dans un mode de réalisation préférentiel de l'invention, lorsque les signaux d'excitations électrique Ssrc(t) sont des signaux spécifiques à la mesure de l'état de vigilance d'un pilote, l'unité de communication audio 30 génère un signal d'excitation électrique distinct pour chaque haut-parleur HP et ces signaux sont envoyées vers les différents haut-parleurs HP en décalé Il est ainsi possible de différencier chaque signal émis par un haut-parleur. Selon ce mode de réalisation, le mouvement du microphone est mesuré en continu et la mesure de l'état de vigilance est plus précise.

Claims (5)

  1. Procédé de mesure de l'état de vigilance d'un pilote d'un aéronef (10), l'aéronef comprenant un poste de pilotage (20) dans lequel sont arrangés au moins un écran (21) et une interface-homme machine (22), ainsi qu'au moins deux haut-parleurs (HP), et au moins un casque (C) comprenant un microphone (M) prévu pour être utilisé par un pilote et au moins un écouteur (31,32), le microphone (M) étant situé à proximité de la tête (T) du pilote lorsque ce dernier utilise son casque (C), l'aéronef (10) comprenant en outre une unité de communication audio (30) configurée pour gérer les communications de l'aéronef (10) et à laquelle sont connectés les haut-parleurs (HP) et le casque (C), ainsi qu'un dispositif de mesure (40) de l'état de vigilance d'un pilote l'aéronef, dit dispositif de mesure, connecté à l'unité de communication audio (30) et configuré pour mesurer le temps entre lequel une onde sonore est émise par un haut-parleur (HP) et est reçue par le microphone (M) et calculer une pluralité de positions possibles du microphone (M) autour du haut-parleur (HP), le procédé comprenant les étapes suivantes :
    - une étape E1 d'émission dans laquelle l'unité de communication audio (30) émet un signal d'excitation électrique (Ssrc(t)) vers un haut-parleur (HP) ;
    - une étape E2 de conversion dans laquelle le haut-parleur (HP) convertit le signal d'excitation (Ssrc(t)) en onde acoustique (Pacc(t)) ;
    - une étape E3 de réception dans laquelle le microphone (M) capte l'onde acoustique (Pacc(t)) et la convertit en signal électrique (Smic(t)) transmis vers l'unité de communication audio (30) ;
    - une étape E4 de calcul, dans laquelle le dispositif de mesure (40) calcule la distance du haut-parleur (HP) au microphone (M) et calcule les coordonnées d'une sphère centrée sur le haut-parleur (HP) et sur le périmètre de laquelle le microphone (M) se situe ;
    les quatre étapes E1-E4 étant mises en oeuvre pour chaque haut-parleur (HP) à chaque fois qu'un signal d'excitation électrique (Ssrc(t)) est émis par l'unité de communication audio (30) vers ledit haut-parleur,
    - une étape E5 de détermination de la position du microphone (M) mise en oeuvre par le dispositif de mesure (40) lorsque les coordonnées d'au moins deux sphères centrées sur des haut-parleurs (HP) différents ont été calculées, et dans laquelle le dispositif de mesure (40) calcule les points d'intersection des sphères, lesdits points d'intersections étant des positions possibles du microphone et étant représentatives des positions possibles de la tête (T) du pilote lorsque ce dernier utilise son casque ;
    - une étape E6 de mesure du mouvement du microphone (M), dans laquelle le dispositif de mesure (40) mesure, pendant une durée prédéterminée, les mouvements d'au moins une position possible du microphone (M), dite position de détection, déterminée à l'étape E5 précédente ;
    - une étape E7 de détermination de manque de vigilance, dans laquelle le dispositif de le dispositif de mesure (40) détermine que le pilote présente un manque de vigilance si le microphone (M) s'est pas éloignée de la position de détection d'une distance prédéterminée pendant la durée prédéterminée ;
    - une étape E8 d'alerte, mise en oeuvre dans le cas où le dispositif de mesure (40) a déterminé que le pilote présente un manque de vigilance, dans laquelle le dispositif de mesure (40) génère un signal électrique (Salert) indicatif d'un manque de vigilance.
    caractérisé en ce que dans l'étape E4 de calcul mise en oeuvre pour un haut-parleur (HP), le dispositif de mesure (40) :
    a) calcule le maximum de la fonction d'intercorrélation (RSsrcSmic ) entre le signal d'excitation électrique (Ssrc(t)) de l'unité de communication audio (30) et le signal électrique (Smic(t)) provenant du microphone (M), le maximum ainsi calculé représentant le temps de propagation acoustique du signal d'excitation électrique ;
    b) calcule la distance du haut-parleur (HP) au microphone (M); et
    c) détermine les coordonnées de la sphère autour du haut-parleur (HP).
  2. Procédé de détection selon la revendication 1, caractérisé en ce que suite à l'étape E8 d'alerte, le signal électrique (Salert) indicatif d'un manque de vigilance du pilote est transmis à l'unité de communication audio (30), et en ce qu'a la réception dudit signal électrique (Salert), l'unité de communication audio (30) émet un signal d'excitation électrique vers au moins un écouteur (31,32) du casque (C) pour l'émission d'un son d'alarme audible par le pilote.
  3. Procédé de détection selon la revendication 1, l'aéronef (10) comprenant un système d'alerte (50) configuré, dans le cas de la survenue d'une anomalie, pour émettre des signaux électriques d'alerte et afficher des messages d'alerte sur ledit au moins un écran (21), caractérisé en ce que suite à l'étape E8 d'alerte, le signal électrique (Salert) indicatif d'un manque de vigilance du pilote est transmis au système d'alerte (50) pour l'affichage, sur le au moins un écran (21), d'un message demandant au pilote d'effectuer une action via l'interface homme-machine (22) dans un délai prédéterminé, et
    - si un pilote accomplit l'action dans le délai, le dispositif de mesure (40) reboucle à l'étape (E5) de détermination de la position du microphone (M)
    - si un pilote n'accomplit pas l'action dans le délai, un signal est envoyé par le dispositif de mesure (40) vers une assistance au sol pour la mise en oeuvre de mesures d'assistance.
  4. Procédé de détection selon l'une quelconque des revendications 1 à 3, le casque (C) comprenant un arceau (F) destiné à enserrer la tête (T) du pilote lorsque le casque est utilisé, et un capteur de proximité (33) monté sur l'arceau (F), une zone de détection dudit capteur (33) étant orientée vers une partie concave dudit arceau, le capteur (C) étant configuré pour générer un signal (Sactiv) comprenant l'information selon laquelle le casque (C) est utilisé lorsque la tête (T) du pilote est située en deçà d'une distance prédéterminée du capteur (33), caractérisé en ce que le procédé comprend une étape EP de vérification de l'utilisation du casque (C) par le pilote, mis en oeuvre en permanence par le dispositif de mesure (40), dans laquelle le dispositif de mesure (40) détermine si le casque (C) est utilisé ou non par le pilote en fonction de l'information contenue dans le signal (Sactiv) généré par le capteur (33),
    et en ce que l'étape E8 d'alerte est mise en oeuvre à la condition supplémentaire que le casque (C) est utilisé par le pilote.
  5. Procédé de détection selon l'une quelconque des revendications 1 à 4, l'aéronef (10) comprenant un système d'alerte (50) configuré, dans le cas de la survenue d'une anomalie, pour émettre des signaux électriques d'alerte et afficher des messages d'alerte sur ledit au moins un écran (21), caractérisé en ce qu'un signal d'excitation électrique émis par l'unité de communication audio vers un haut-parleur est un signal pris parmi :
    - un signal reçu de l'extérieur de l'aéronef (10) ;
    - un signal électriques d'alerte généré par le système d'alerte (50) ;
    - un signal spécifique à la détection de l'incapacité d'un pilote, généré par le dispositif de mesure (40).
EP19155116.7A 2018-02-23 2019-02-01 Procede de mesure de l'etat de vigilance d'un pilote Active EP3531389B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1851572A FR3078407A1 (fr) 2018-02-23 2018-02-23 Procede de mesure de l'etat de vigilance d'un pilote

Publications (2)

Publication Number Publication Date
EP3531389A1 true EP3531389A1 (fr) 2019-08-28
EP3531389B1 EP3531389B1 (fr) 2020-04-08

Family

ID=62683320

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19155116.7A Active EP3531389B1 (fr) 2018-02-23 2019-02-01 Procede de mesure de l'etat de vigilance d'un pilote

Country Status (4)

Country Link
US (1) US10546596B2 (fr)
EP (1) EP3531389B1 (fr)
CN (1) CN110179483A (fr)
FR (1) FR3078407A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3120055B1 (fr) 2021-02-22 2023-02-24 Dassault Aviat Système de surveillance de l'état opérationnel d'un équipage d'aeronef, et procédé associé
CN115258174B (zh) * 2022-08-01 2024-07-23 中国商用飞机有限责任公司北京民用飞机技术研究中心 飞行员注意力告警方法、装置、计算机设备及存储介质
EP4324749B1 (fr) * 2022-08-17 2025-10-29 Airbus (S.A.S.) Procédé et système de surveillance d'opérateur de véhicule

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992007346A1 (fr) * 1990-10-22 1992-04-30 Logitech, Inc. Appareil et procede de localisation de position ultrasonique
US5339259A (en) * 1992-07-10 1994-08-16 Northrop Grumman Corporation High speed high resolution ultrasonic position and orientation tracker
EP2434465A2 (fr) 2010-09-24 2012-03-28 Honeywell International Inc. Génération d'alertes et procédés de commande d'avion correspondants
US20150104038A1 (en) * 2013-10-14 2015-04-16 Hyundai Motor Company Wearable computer

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041789B2 (en) * 2011-03-25 2015-05-26 Tk Holdings Inc. System and method for determining driver alertness
US20150015400A1 (en) * 2013-07-11 2015-01-15 L&P Property Management Company Computer-Aided System Detecting Operator Fatigue (CASDOF)
CN103473890B (zh) * 2013-09-12 2015-09-16 合肥工业大学 基于多信息的驾驶员疲劳实时监测系统及监测方法
CN104808772B (zh) * 2014-01-24 2018-10-16 北京奇虎科技有限公司 检测头戴式智能设备持续附着在人体上的装置和方法
MX2017002988A (es) * 2014-09-09 2018-02-01 Torvec Inc Métodos y aparato para monitorear el nivel de alerta de una persona que utiliza un dispositivo portátil, y proporcionar una notificación.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992007346A1 (fr) * 1990-10-22 1992-04-30 Logitech, Inc. Appareil et procede de localisation de position ultrasonique
US5339259A (en) * 1992-07-10 1994-08-16 Northrop Grumman Corporation High speed high resolution ultrasonic position and orientation tracker
EP2434465A2 (fr) 2010-09-24 2012-03-28 Honeywell International Inc. Génération d'alertes et procédés de commande d'avion correspondants
US20150104038A1 (en) * 2013-10-14 2015-04-16 Hyundai Motor Company Wearable computer

Also Published As

Publication number Publication date
CN110179483A (zh) 2019-08-30
FR3078407A1 (fr) 2019-08-30
US20190267025A1 (en) 2019-08-29
EP3531389B1 (fr) 2020-04-08
US10546596B2 (en) 2020-01-28

Similar Documents

Publication Publication Date Title
US11202137B1 (en) Wearable audio device placement detection
EP0813688B1 (fr) Appareil personnel de goniometrie
EP3531389B1 (fr) Procede de mesure de l'etat de vigilance d'un pilote
US11356788B2 (en) Spatialized audio rendering for head worn audio device in a vehicle
JP5881263B2 (ja) 着用可能な計算機システムへのサウンド状態の表示
US9041545B2 (en) Audio awareness apparatus, system, and method of using the same
EP3226577A1 (fr) Casque d'écoute avec un capteur de champ magnétique
US9729970B2 (en) Assembly and a method for determining a distance between two sound generating objects
EP2624593B1 (fr) Identification de la vitesse et de la direction du vent en utilisant le bruit du vent
CN102901969A (zh) 用于检测车辆的车辆周围环境中的物体的方法和装置
FR3032574A1 (fr) Procede de communication d'un message vocal comprenant une etape de transcription d'une portion determinee d'un signal audio correspondant audit message vocal et dispositif pour sa mise en oeuvre
US20230381025A1 (en) Situational awareness, communication, and safety in hearing protection and communication systems
CA3149207A1 (fr) Amelioration de la connaissance de la situation, de la communication et de la securite dans les systemes de protection de l'ouie et de communication
US20240107246A1 (en) State detection for wearable audio devices
EP4140149B1 (fr) Détection de positions d'utilisation de système audio portable
TWI471826B (zh) 聲音偵測通報系統及方法
CN208060857U (zh) Vr头戴显示器
EP3109668A1 (fr) Appareil à main pour un utilisateur déficient visuel
CN117098035A (zh) 光学和声学麦克风信号的联合处理
US20200103550A1 (en) Headset and system for automatically generating turbulence reports
CN119861426B (zh) 一种多模复合型生命探测系统
KR20060011064A (ko) 기적을 이용한 타선 방향 추정 장치 및 그 방법
EP2360842B1 (fr) Procédé de détection du fonctionnement d'un dispositif de transmission sans fil de signaux de voix
KR100357779B1 (ko) 수중 음향 탐지시스템
KR101490821B1 (ko) 입체 음향 기술 적용 방법 및 이를 이용한 지상 감시 레이더 시스템

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190201

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20191127

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AIRBUS OPERATIONS (S.A.S.)

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1255413

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200415

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602019000039

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20200408

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200817

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200808

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200709

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200708

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1255413

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200708

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602019000039

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

26N No opposition filed

Effective date: 20210112

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602019000039

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20210228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210901

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210228

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220228

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20190201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20260219

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20260218

Year of fee payment: 8