EP3982337B1 - Procede et systeme de mesure amelioree du temps de passage sur une ligne de chronometrage - Google Patents

Procede et systeme de mesure amelioree du temps de passage sur une ligne de chronometrage Download PDF

Info

Publication number
EP3982337B1
EP3982337B1 EP20201010.4A EP20201010A EP3982337B1 EP 3982337 B1 EP3982337 B1 EP 3982337B1 EP 20201010 A EP20201010 A EP 20201010A EP 3982337 B1 EP3982337 B1 EP 3982337B1
Authority
EP
European Patent Office
Prior art keywords
passage
line
pixels
sensor
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP20201010.4A
Other languages
German (de)
English (en)
Other versions
EP3982337A1 (fr
Inventor
M. Pascal RICHARD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Swiss Timing Ltd
Original Assignee
Swiss Timing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Swiss Timing Ltd filed Critical Swiss Timing Ltd
Priority to EP20201010.4A priority Critical patent/EP3982337B1/fr
Priority to US17/408,706 priority patent/US20220111285A1/en
Publication of EP3982337A1 publication Critical patent/EP3982337A1/fr
Application granted granted Critical
Publication of EP3982337B1 publication Critical patent/EP3982337B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686—Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/22—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people in connection with sports or games
    • G07C1/24—Race time-recorders
    • G—PHYSICS
    • G04—HOROLOGY
    • G04F—TIME-INTERVAL MEASURING
    • G04F10/00—Apparatus for measuring unknown time intervals by electric means
    • G—PHYSICS
    • G04—HOROLOGY
    • G04F—TIME-INTERVAL MEASURING
    • G04F8/00—Apparatus for measuring unknown time intervals by electromechanical means
    • G04F8/08—Means used apart from the time-piece for starting or stopping same

Definitions

  • the invention relates to a method for improved measurement of the passage time on a timing line of a race by a competitor, in particular of a sporting discipline.
  • the invention also relates to a system for improved measurement of the passage time on a timing line of a race by a competitor, in particular of a sporting discipline, for the implementation of the method.
  • a running sport competition such as a sprint race in athletics, cycling, cross-country skiing, speed skating, a bobsleigh race, or during a horse racing event
  • sensors to measure the intermediate or final time of competitors, in particular to classify competitors.
  • the requirements are different depending on the sport. For example, in an athletics sprint race, the moment is defined as soon as part of the athlete's torso crosses the finish line. For a speed skating or cross-country ski race, the moment is defined when the skate or foot reaches the finish line.
  • a sensor is placed near the finish line to measure the passage time of competitors.
  • a photoelectric cell is used as a receiver and a pulsed infrared light transmitter, the transmitter and the receiver being arranged on either side. on the other, in the axis of the finish line.
  • the receiver no longer receives the pulsed light, which makes it possible to deduce their passage time.
  • devices comprising the transmitter and the receiver in the same box, to have a single system placed at one end of the line.
  • a reflector for example a reflector, is arranged at the other end of the finish line to reflect the infrared light from the transmitter towards the receiver.
  • the document EP 0 898 249 describes an example of a method and system for measuring the passage time of competitors on a timing line.
  • the invention therefore aims to overcome the disadvantages of the aforementioned state of the art by proposing a method for improved measurement of the passage time on a timing line of a race by a competitor, in particular of a sporting discipline, which avoids measuring spurious passage times caused by objects or people other than runners.
  • the additional information on the movement or dimensions of the detected object makes it possible to verify that it is indeed a competitor passing the timing line, and not a parasitic object. or a person who passes in front of the sensor by mistake.
  • Another advantage of the invention is that this makes it possible to use a system arranged on one side of the timing line, without having to resort to another device on the other side of the line.
  • the method comprises a step of transmitting the measured passage time to a display unit.
  • the senor being provided with a matrix of pixels, the sensor is configured to detect variations in optical signals received by at least part of the pixels of the matrix to produce the electrical signals.
  • the additional information is the direction of movement of the object.
  • the direction of movement on the columns of pixels is detected thanks to the modification of the pixels before and/or after the column of pixels of the timing line.
  • the additional information is the speed of movement of the object.
  • the additional information is the height of the object.
  • the additional information is the width of the object.
  • the additional information is a detection zone where the object is expected.
  • the detection is carried out by analyzing the variation of the electrical signals.
  • the pixels of the image sensor detect the optical signals independently of each other.
  • the entire sensor is used during each step of the process.
  • the system comprises a unit for displaying the measured times.
  • the senor is configured to continuously detect variations in at least part of the pixels of the matrix.
  • the system comprises a camera provided with the sensor, preferably the camera is of the neuro-morphic type.
  • the image processing unit comprises an artificial intelligence module.
  • the method is intended to allow improved measurement of the passage time on a timing line of a race by a competitor, in particular for a sporting discipline.
  • the method described below relates for example to an athletics race, cross-country skiing, speed skating, cycling, bobsleigh or a horse race.
  • the method is implemented by a shooting system comprising at least one image sensor.
  • the sensor is provided with a matrix of pixels forming an image capture surface.
  • the sensor is configured to detect variations in optical signals received by at least a portion of the pixels of the matrix to produce the electrical signals.
  • the method 10 according to the invention is a method for improved measurement of the passage time on a timing line of a race by a competitor, in particular of a sporting discipline.
  • the method comprises a first step 1 consisting of acquiring electrical signals representative of the image of the timing line captured by the image sensor.
  • the sensor is provided with a matrix of pixels.
  • the sensor is configured to detect variations in optical signals received by at least a portion of the pixels of the matrix to produce the electrical signals. Electrical signals are produced based on optical signals received by the sensor pixels.
  • the method consists of transmitting the electrical signals to an image processing unit.
  • the image processing unit detects the passage of the timing line by an object.
  • the image processing unit detects an object passing the timing line, using the variation in intensity of the electrical signals transmitted by the pixels of the sensor, the electrical signals representing the variation of the optical signals received by the pixels.
  • the timing line is for example defined by one or more columns of pixels. Thus, when the pixels of this or these columns vary in intensity, the image processing unit detects the passage of an object.
  • the fourth step 4 which is preferably carried out simultaneously with the third step, consists of detecting at least one additional piece of information concerning the movement or the dimensions of the object to verify that the object corresponds to a competitor.
  • additional information are mentioned below. These examples can of course be combined together to detect multiple additional pieces of information at the same time.
  • the additional information is the direction of movement of the object.
  • variations in the intensity of the pixels before and/or after the column(s) of pixels of the timing line are detected.
  • This embodiment is for example useful in the case of cycling races whose finish is in the mountains, and during which certain cyclists cross the finish line in the opposite direction to go back down to their vacation spot. Illustrations of this embodiment are described for figure 2 And 3 .
  • the additional information is the speed of movement of the object.
  • the processing unit calculates the speed of the object based on the speed of movement of the intensity variation detected by the sensor pixels. In other words, we follow the movement of a shape defined by the intensity or color of the sensor pixels.
  • the processing unit is then configured to estimate the speed of movement of the detected object. If the speed of the object does not does not correspond to an expected value interval, the image processing unit does not send an order to measure the time of passage of the object on the timing line.
  • the additional information is the height of the object.
  • the additional information is the width of the object.
  • the additional information is a detection zone where the object is expected.
  • the zone can for example be defined above or below a line defined on the sensor.
  • detection is concentrated on an area of the sensor defined by only part of the pixels.
  • the image processing unit is configured to be able to choose an area of the sensor on which objects can be detected. For example, during a cycling race, if we want to avoid taking a time measurement for a car that is lower than a competitor on a bike, we must define a height greater than a car to avoid transmitting the time measured from it.
  • An example of this embodiment is notably represented on the figures 2 And 4 .
  • the image processing unit transmits a timing order to a time measurement unit, to record the passage time of said object.
  • the image processing unit detects additional information corresponding to a competitor, it sends a detection signal to the measuring unit when the object passes the timing line.
  • the measuring unit records the time of passage of said object on the timing line corresponding to the instant of passage of the object.
  • the measuring unit is configured to time the passage of time and to record the time of each competitor, when he receives an order from the image processing unit.
  • the seventh step consists of transmitting the measured passage time to a display unit, to display the competitor's time and compare it to the times of other competitors, for example in a ranking based on the shortest time.
  • the display unit is for example a giant screen installed on a finish area or in front of a spectator stand.
  • FIG. 2 shows an illustration of the image that the sensor 9 of the camera receives.
  • One or more columns of pixels corresponding to a timing line are defined on the sensor.
  • a first object 11 passes the timing line in the correct direction and a second object 12 passes the timing line in the opposite direction.
  • the image processing unit gives a timing order for the first object passing the line in the right direction and not for the second object passing in the other direction. .
  • the image processing unit calculates the speed of progression of the first object to verify that it is a competitor who passes the timing line.
  • the position of the first object 11 is identified at several locations on the sensor, so that the image processing unit is able to deduce the speed of movement of the object.
  • the image processing unit transmits a measurement order to the timing time measurement unit. Conversely, if the speed does not belong to this interval, the image processing unit considers that it is not a competitor and does not transmit an order.
  • Two lines 14, 15 make it possible to define limits below and above which the detected objects are not considered as competitors according to the fourth embodiment of detection of additional information.
  • the first object 11 which passes between lines 14, 15 has its passage time measured, while the one passing outside lines 14, 15 is not timed.
  • the line layout is defined on the image sensor, and can be changed as desired to suit the type of stroke.
  • FIG. 3 shows a timing line 20 of the finish line type of a race.
  • a measuring system 23 comprises a camera 17 connected to an image processing unit 21.
  • the camera 17 is directed on the line 20 so that the optical axis of the camera is substantially directed towards this line.
  • 18 competitors cross line 20 in the right direction, while one person 19 crosses line 20 in the other direction.
  • This person 19 can be a competitor who has already passed line 20 or a referee who monitors the race. Thanks to the method according to the invention, the timed time of the person 19 passing in the opposite direction is not measured, because the image processing unit 21 detects that this person 19 is not moving in the appropriate direction.
  • a measuring system 23 arranged to time the timing line 20, which is of the finish line type. This is a cycling race in which 28 riders on bicycles cross the finish line, while 22 cars follow the 28 riders and 27 people can cross the line 20 on foot.
  • a height or width of the objects to be detected or by using the recognition of objects by the image processing unit 21 to detect the runners, we avoid timing the car 22, the cyclist 27 passing the line 20 in opposite direction and person 29 crossing the line on foot. Only 28 bike riders passing the line in the desired direction are timed.
  • the general silhouette of the detected object can be detected to verify that it is indeed a competitor on a bicycle 28.
  • FIG. 5 illustrates a measurement system 23 comprising an acquisition unit 31 comprising a camera 17 provided with an image sensor.
  • the image sensor includes an array of pixels.
  • the entire sensor is used for image processing.
  • the image acquisition frequency is preferably between 1000 Hz and 10000 Hz.
  • the camera 17 is of the neuro-morphic type, each pixel of the sensor detecting light signals independently of each other. others, the corresponding electrical signals being transmitted to an image processing unit 21.
  • the measuring system 23 comprises an image processing unit 21 and a timing unit 33 and a display unit 34.
  • the image processing unit 21 transmits a measurement order to the timing unit 33, which records the competitor's passage time.
  • the timing time can then be transmitted to the display unit 34 to display the competitor's time in a ranking against other competitors already registered.
  • the image processing unit 21 may include an artificial intelligence module making it possible to recognize an object passing the timing line, in order to determine whether it is a competitor or a parasitic object. .
  • the invention is not limited to the embodiments described with reference to the figures and variants could be considered without departing from the scope of the invention.
  • the values of the first and second image acquisition frequencies could be chosen with higher values if the evolution of the technical capabilities of the two types of camera allows it.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of Unknown Time Intervals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

    Domaine de l'invention
  • L'invention concerne un procédé de mesure améliorée du temps de passage sur une ligne de chronométrage d'une course par un concurrent, notamment d'une discipline sportive.
  • L'invention concerne encore un système de mesure améliorée du temps de passage sur une ligne de chronométrage d'une course par un concurrent, notamment d'une discipline sportive, pour la mise en oeuvre du procédé.
    • Arrière-plan de l'invention
  • Dans une compétition de sport de course, telle qu'une course de sprint en athlétisme, de cyclisme, de ski de fonds, de patinage de vitesse, d'une course de bobsleigh, ou lors d'une épreuve hippique, il est bien connu d'avoir recours à des capteurs pour mesurer un temps intermédiaire ou final des concurrents, en particulier pour effectuer le classement des concurrents. Les exigences sont différentes selon les sports. Par exemple, dans une course de sprint d'athlétisme, le moment est défini dès qu'une partie du buste de l'athlète passe la ligne d'arrivée. Pour une course de patinage de vitesse ou de ski de fonds, le moment est défini lorsque le patin ou le pied atteint la ligne d'arrivée.
  • Un capteur est par exemple disposé à proximité de la ligne d'arrivée pour mesurer le temps de passage des concurrents. On utilise par exemple une cellule photoélectrique comme récepteur et un émetteur de lumière infrarouge pulsée, l'émetteur et le récepteur étant agencés de part et d'autre, dans l'axe de la ligne d'arrivée. Ainsi, lorsqu'un concurrent traverse la ligne d'arrivée, le récepteur ne reçoit plus la lumière pulsée, ce qui permet de déduire son temps de passage. Il existe aussi des appareils comportant l'émetteur et le récepteur dans un même boitier, pour avoir un seul système disposé à une extrémité de la ligne. Dans ce cas, un réflecteur, par exemple un catadioptre, est agencé à l'autre extrémité de la ligne d'arrivée pour réfléchir la lumière infrarouge de l'émetteur vers le récepteur.
  • Le document EP 0 898 249 décrit un exemple de procédé et de système de mesure du temps de passage de concurrents sur une ligne de chronométrage.
  • Cependant, avec les systèmes actuels, il est fréquent de faire des erreurs de mesure à cause d'objets parasites détectés par le capteur. En effet, lorsqu'il pleut ou qu'il neige fortement, la quantité de lumière pulsée peut être réduite avant d'arriver au capteur et provoquer une mesure d'un temps de chronométrage. Des personnes peuvent aussi passer devant le capteur alors qu'ils ne sont pas des coureurs. Dans le cas d'une course cycliste par exemple, des voitures sont susceptibles de passer la ligne de chronométrage, ou encore des coureurs peuvent passer la ligne d'arrivée en sens inverse après une arrivée, en particulier lors d'étapes de montagnes.
    • Résumé de l'invention
  • L'invention a donc pour but de pallier les inconvénients de l'état de la technique susmentionné en proposant un procédé de mesure améliorée du temps de passage sur une ligne de chronométrage d'une course par un concurrent, notamment d'une discipline sportive, qui évite de mesurer des temps de passages parasites provoqués par d'autres objets ou personnes que des coureurs.
  • A cet effet, l'invention concerne un procédé de mesure améliorée du temps de passage sur une ligne de chronométrage d'une course par un concurrent, notamment pour une discipline sportive, le procédé étant mis en oeuvre par un système de mesure du temps de passage comportant au moins un capteur d'images du temps de passage sur une ligne de chronométrage d'une course par un concurrent, notamment pour une discipline sportive.
    • Le procédé est remarquable en ce qu'il comprend les étapes consécutives suivantes:
    • acquérir des signaux électriques représentatifs de l'image de la ligne de chronométrage saisie par le capteur d'images, les signaux électriques étant produits en fonction de signaux optiques reçus par le capteur,
    • transmettre les signaux électriques à une unité de traitement d'images,
    • détecter le passage d'une ligne de chronométrage par un objet,
    • détecter au moins une information supplémentaire concernant le déplacement ou les dimensions de l'objet pour vérifier que l'objet correspond à un concurrent,
    • transmettre un ordre de mesure du temps de passage à une unité de chronométrage si l'objet correspond à un concurrent, et
    • mesurer le temps de passage dudit objet sur la ligne de chronométrage correspondant à l'instant de passage de l'objet.
  • Grâce à ce procédé, l'information supplémentaire sur le déplacement ou les dimensions de l'objet détecté permet de vérifier qu'il s'agit bien d'un concurrent qui passe la ligne de chronométrage, et non d'un objet parasite ou d'une personne qui passe devant le capteur par erreur. Un autre avantage de l'invention est que cela permet d'utiliser un système agencé d'un seul côté de la ligne de chronométrage, sans avoir recours à un autre dispositif de l'autre côté de la ligne.
  • Selon un mode de réalisation particulier de l'invention, le procédé comprend une étape de transmission du temps de passage mesuré à une unité d'affichage.
  • Selon un mode de réalisation particulier de l'invention, le capteur étant muni d'une matrice de pixels, le capteur est configuré pour détecter les variations de signaux optiques reçus par au moins une partie des pixels de la matrice pour produire les signaux électriques.
  • Selon un mode de réalisation particulier de l'invention, l'information supplémentaire est le sens de déplacement de l'objet.
  • Selon un mode de réalisation particulier de l'invention, on détecte le sens de déplacement sur les colonnes de pixels grâce à la modification des pixels avant et/ou après la colonne de pixels de la ligne de chronométrage.
  • Selon un mode de réalisation particulier de l'invention, l'information supplémentaire est la vitesse de déplacement de l'objet.
  • Selon un mode de réalisation particulier de l'invention, l'information supplémentaire est la hauteur de l'objet.
  • Selon un mode de réalisation particulier de l'invention, l'information supplémentaire est la largeur de l'objet.
  • Selon un mode de réalisation particulier de l'invention, l'information supplémentaire est une zone de détection où l'objet est attendu.
  • Selon un mode de réalisation particulier de l'invention, la détection est effectuée grâce à une analyse de la variation des signaux électriques.
  • Selon un mode de réalisation particulier de l'invention, les pixels du capteur d'image détectent les signaux optiques indépendamment les uns des autres.
  • Selon un mode de réalisation particulier de l'invention, on utilise la totalité du capteur lors de chaque étape du procédé.
  • L'invention concerne aussi un système de mesure améliorée du temps de passage sur une ligne de chronométrage d'une course par un concurrent, notamment pour une discipline sportive. A cette fin, le système comprend :
    • une unité d'acquisition pour acquérir des signaux électriques représentatifs de l'image de la ligne de chronométrage, l'unité d'acquisition comportant au moins un capteur d'images muni d'une matrice de pixels, les signaux électriques étant produits en fonction de signaux optiques reçus par les pixels de la matrice,
    • une unité de traitement d'images pour traiter les signaux électriques transmis par l'unité d'acquisition, de manière à détecter le passage de la ligne de chronométrage par un objet, l'unité de traitement étant configurée pour détecter au moins une information supplémentaire concernant le déplacement ou les dimensions de l'objet pour vérifier que l'objet correspond à un concurrent,
    • une unité de mesure du temps de passage dudit objet sur la ligne de chronométrage correspondant à l'instant de passage de l'objet, l'unité d'acquisition étant configurée pour transmettre les signaux électriques à l'unité de traitement d'images et pour transmettre un ordre de mesure du temps de passage à l'unité de mesure si l'objet correspond à un concurrent.
  • Selon un mode de réalisation particulier de l'invention, le système comprend une unité d'affichage des temps mesurés.
  • Selon un mode de réalisation particulier de l'invention, le capteur est configuré pour détecter continuellement les variations d'au moins une partie des pixels de la matrice.
  • Selon un mode de réalisation particulier de l'invention, le système comprend une caméra munie du capteur, de préférence la caméra est de type neuro-morphique.
  • Selon un mode de réalisation particulier de l'invention, l'unité de traitement d'image comprend un module d'intelligence artificielle.
    • Brève description des dessins
  • Les buts, avantages et caractéristiques du procédé et du système d'affichage selon l'invention apparaîtront mieux dans la description suivante d'au moins une forme d'exécution non limitative illustrée par les dessins sur lesquels :
    • La figure 1 est un schéma synoptique d'un procédé de mesure amélioré du temps de passage sur une ligne de chronométrage selon l'invention.
    • La figure 2 est une représentation schématique illustrant un premier mode de réalisation du procédé selon l'invention.
    • La figure 3 est une représentation schématique illustrant un deuxième mode de réalisation du procédé selon l'invention.
    • La figure 4 est une représentation schématique illustrant un troisième mode de réalisation du procédé selon l'invention.
    • La figure 5 est une représentation schématique d'un système de mesure amélioré du temps de passage sur une ligne de chronométrage selon l'invention.
    Description détaillée de l'invention
  • Selon l'invention, le procédé est prévu pour permettre une mesure améliorée du temps de passage sur une ligne de chronométrage d'une course par un concurrent, notamment pour une discipline sportive.
  • Le procédé décrit ci-dessous porte par exemple sur une course d'athlétisme, de ski de fonds, de patinage de vitesse, de cyclisme, de bobsleigh ou une course hippique. Le procédé est mis en oeuvre par un système de prise de vue comportant au moins un capteur d'images. De préférence, le capteur est muni d'une matrice de pixels formant une surface de capture d'image. Le capteur est configuré pour détecter les variations de signaux optiques reçus par au moins une partie des pixels de la matrice pour produire les signaux électriques.
  • Sur la figure 1, le procédé 10 selon l'invention est un procédé de mesure améliorée du temps de passage sur une ligne de chronométrage d'une course par un concurrent, notamment d'une discipline sportive.
  • Le procédé comprend une première étape 1 consistant à acquérir des signaux électriques représentatifs de l'image de la ligne de chronométrage saisie par le capteur d'images. De préférence, le capteur est muni d'une matrice de pixels. Le capteur est configuré pour détecter les variations de signaux optiques reçus par au moins une partie des pixels de la matrice pour produire les signaux électriques. Les signaux électriques sont produits en fonction de signaux optiques reçus par les pixels du capteur.
  • Dans une deuxième étape 2, le procédé consiste à transmettre les signaux électriques à une unité de traitement d'images.
  • Pour la troisième étape 3, l'unité de traitement d'images détecte le passage de la ligne de chronométrage par un objet. L'unité de traitement d'images détecte un objet passant la ligne de chronométrage, grâce à la variation d'intensité des signaux électrique transmis par les pixels du capteur, les signaux électriques représentant la variation des signaux optiques reçus par les pixels. La ligne de chronométrage est par exemple définie par une ou plusieurs colonnes de pixels. Ainsi, lorsque les pixels de cette ou ces colonnes varient d'intensité, l'unité de traitement d'images détecte le passage d'un objet.
  • La quatrième étape 4, qui s'effectue de préférence simultanément à la troisième étape, consiste à détecter au moins une information supplémentaire concernant le déplacement ou les dimensions de l'objet pour vérifier que l'objet correspond à un concurrent. Des exemples non limitatifs d'informations supplémentaires sont mentionnés ci-dessous. Ces exemples peuvent bien sûr être combinés ensemble pour détecter plusieurs informations supplémentaires en même temps.
  • Selon un premier mode de réalisation, l'information supplémentaire est le sens de déplacement de l'objet. Pour détecter le sens de déplacement, on détecte les variations d'intensité des pixels avant et/ou après la ou les colonnes de pixels de la ligne de chronométrage. Ainsi, si l'objet mesuré passe la ligne de chronométrage dans le mauvais sens, on en déduit qu'il ne s'agit pas d'un concurrent. Ce mode de réalisation est par exemple utile dans le cas de courses cyclistes dont l'arrivée est en montagne, et pendant lesquelles certains cyclistes repassent la ligne d'arrivée en sens inverse pour redescendre vers leur lieu de villégiature. Des illustrations de ce mode de réalisation sont décrits pour les figures 2 et 3.
  • Dans un deuxième mode de réalisation, l'information supplémentaire est la vitesse de déplacement de l'objet. Pour cela, l'unité de traitement calcule la vitesse de l'objet en fonction de la vitesse de déplacement de la variation d'intensité détectés par les pixels du capteur. Autrement dit, on suit le déplacement d'une forme définie par l'intensité ou la couleur des pixels du capteur. L'unité de traitement est ensuite configurée pour estimer la vitesse de déplacement de l'objet détecté. Si la vitesse de l'objet ne correspond pas à un intervalle de valeur attendu, l'unité de traitement d'image n'envoie pas d'ordre de mesure du temps de passage de l'objet sur la ligne de chronométrage.
  • Pour le troisième mode de réalisation, l'information supplémentaire est la hauteur de l'objet. On mesure la hauteur de l'objet sur les images formées à partir des signaux électriques. Dans une variante de réalisation, l'information supplémentaire est la largeur de l'objet. Ces deux variantes peuvent aussi être combinées pour vérifier qu'il s'agit d'un concurrent, et non d'un objet plus petit ou plus grand passant la ligne de chronométrage par hasard. La taille de l'objet est évaluée à partir des images de l'objet obtenues par les pixels du capteur. L'unité de traitement d'image est configurée pour évaluer les dimensions de l'objet. Un exemple de ce mode de réalisation est notamment représenté sur la figure 2.
  • Dans un quatrième mode de réalisation, l'information supplémentaire est une zone de détection où l'objet est attendu. La zone peut par exemple être définie au-dessus ou en-dessous d'une ligne définie sur le capteur. Ainsi, on concentre la détection sur une zone du capteur définie par une partie seulement des pixels. L'unité de traitement d'image est configurée pour pouvoir choisir une zone du capteur sur laquelle des objets peuvent être détectés. Par exemple, lors d'une course cycliste, si on veut éviter de prendre une mesure du temps pour une voiture qui est moins haute qu'un concurrent sur un vélo, il faut définir une hauteur supérieure à une voiture pour éviter de transmettre le temps mesuré de celle-ci. Un exemple de ce mode de réalisation est notamment représenté sur les figures 2 et 4.
  • Dans une cinquième étape 5, l'unité de traitement d'image transmet un ordre de chronométrage à une unité de mesure du temps, pour enregistrer le temps de passage dudit objet. Lorsque l'unité de traitement d'image détecte une information supplémentaire correspondant à un concurrent, elle envoie un signal de détection à l'unité de mesure au moment du passage de la ligne de chronométrage par l'objet.
  • Pour la sixième étape, l'unité de mesure enregistre le temps de passage dudit objet sur la ligne de chronométrage correspondant à l'instant de passage de l'objet. L'unité de mesure est configurée pour chronométrer le temps qui passe et pour enregistrer le temps de chaque concurrent, lorsqu'il reçoit un ordre de la part de l'unité de traitement d'image.
  • La septième étape consiste à transmettre le temps de passage mesuré à une unité d'affichage, pour afficher le temps du concurrent et le comparer aux temps des autres concurrents, par exemple dans un classement basé sur le temps le plus court. L'unité d'affichage est par exemple un écran géant installé sur une aire d'arrivée ou devant une tribune de spectateurs.
  • Grâce au procédé, on s'assure de transmettre les mesures de concurrents et d'éviter de mesurer le temps d'objets parasites.
  • La figure 2 montre une illustration de l'image que reçoit le capteur 9 de la caméra. Sur le capteur est défini une ou plusieurs colonnes de pixels correspondant à une ligne de chronométrage. Sur l'image, un premier objet 11 passe la ligne de chronométrage dans le bon sens et un deuxième objet 12 passe la ligne de chronométrage en sens inverse. Selon le premier mode de réalisation de détection de l'information supplémentaire, l'unité de traitement d'image donne un ordre de chronométrage pour le premier objet passant la ligne dans le bon sens et pas pour le deuxième objet passant dans l'autre sens.
  • Dans le cas du deuxième mode de réalisation de détection de l'information supplémentaire, l'unité de traitement d'image calcule la vitesse de progression du premier objet pour vérifier que c'est un concurrent qui passe la ligne de chronométrage. La position du premier objet 11 est identifiée en plusieurs endroits du capteur, de sorte que l'unité de traitement d'image est capable de déduire la vitesse de déplacement de l'objet. Dans le cas où la vitesse appartient à un intervalle de temps correspondant à la vitesse d'un concurrent, l'unité de traitement d'image transmet un ordre de mesure à l'unité de mesure du temps de chronométrage. A contrario, si la vitesse n'appartient pas à cet intervalle, l'unité de traitement d'image considère qu'il ne s'agit pas d'un concurrent et ne transmet pas d'ordre.
  • Deux lignes 14, 15 permettent de définir des limites en-dessous et au-dessus desquelles les objets détectés ne sont pas considérés comme des concurrents selon le quatrième mode de réalisation de détection de l'information supplémentaire. Par exemple, le premier objet 11 qui passe entre les lignes 14, 15 voit son temps de passage mesuré, alors que celui passant en dehors des lignes 14, 15 n'est pas chronométré. On peut utiliser une ligne seulement, et définir que les concurrents passent au-dessus ou en dessous de la ligne. La disposition de la ligne est définie sur le capteur d'image, et peut être modifiée comme on le souhaite pour s'adapter au type de course.
  • La figure 3 montre une ligne de chronométrage 20 de type ligne d'arrivée d'une course. Un système de mesure 23 comprend une caméra 17 reliée à une unité de traitement d'image 21. La caméra 17 est dirigée sur la ligne 20 de sorte que l'axe optique de la caméra est sensiblement dirigé vers cette ligne. Des concurrents 18 passent la ligne 20 dans le bon sens, tandis qu'une personne 19 passe la ligne 20 dans l'autre sens. Cette personne 19 peut être un concurrent ayant déjà passé la ligne 20 ou un arbitre qui surveille la course. Grâce au procédé selon l'invention, on ne mesure pas le temps chronométré de la personne 19 passant en sens inverse, car l'unité de traitement d'image 21 détecte que cette personne 19 ne se déplace pas dans le sens adéquat.
  • Sur la figure 4, on distingue un système de mesure 23 agencé pour chronométrer la ligne de chronométrage 20, qui est de type ligne d'arrivée. Il s'agit d'une course cycliste dans laquelle des coureurs à vélo 28 passent la ligne d'arrivée, tandis que des voitures 22 suivent les coureurs 28 et des personnes 27 peuvent passer a ligne 20 à pied. En choisissant une hauteur ou une largeur des objets à détecter, ou en utilisant la reconnaissance des objets par l'unité de traitement d'image 21 pour détecter les coureurs, on évite de chronométrer la voiture 22, le cycliste 27 passant la ligne 20 en sens inverse et la personne 29 passant la ligne à pied. Seuls les coureurs à vélo 28 passant ligne dans le sens souhaité sont chronométrés. En variante, on peut détecter la silhouette générale de l'objet détecté pour vérifier qu'il s'agit bien d'un concurrent à vélo 28.
  • La figure 5 illustre un système de mesure 23 comprenant une unité d'acquisition 31 comprenant une caméra 17 munie d'un capteur d'image. Le capteur d'images comprend une matrice de pixels. Avantageusement, le capteur entier est utilisé pour le traitement des images. Dans une première variante de réalisation, la fréquence d'acquisition des images est de préférence comprise entre 1000 Hz et 10000 Hz. De préférence, la caméra 17 est de type neuro-morphique, chaque pixel du capteur détectant des signaux lumineux indépendamment les uns des autres, les signaux électriques correspondants étant transmis à une unité de traitement d'images 21.
  • Le système de mesure 23 comprend une unité de traitement d'image 21 et une unité de chronométrage 33 et une unité d'affichage 34. Ainsi, après les étapes de détection selon le procédé décrit précédemment, l'unité de traitement d'images 21 transmet un ordre de mesure à l'unité de chronométrage 33, qui enregistre le temps de passage du concurrent. Le temps de chronométrage peut ensuite être transmis à l'unité d'affichage 34 pour afficher le temps du concurrent dans un classement par rapport aux autres concurrents déjà enregistrés. En option, l'unité de traitement d'image 21 peut comprendre un module d'intelligence artificielle permettant de reconnaître un objet passant la ligne de chronométrage, afin de déterminer s'il s'agit d'un concurrent ou d'un objet parasite.
  • Naturellement, l'invention n'est pas limitée aux modes de réalisation décrits en référence aux figures et des variantes pourraient être envisagées sans sortir du cadre de l'invention. En particulier, les valeurs des première et deuxième fréquences d'acquisition d'images pourront être choisies avec des valeurs supérieures si l'évolution des capacités techniques des deux types de caméra le permet.

Claims (17)

  1. Procédé (10) de mesure améliorée du temps de passage sur une ligne de chronométrage (13, 20) d'une course par un concurrent, notamment pour une discipline sportive, le procédé (10) étant mis en oeuvre par un système de mesure (23) comportant au moins un capteur d'images, le procédé (10) comprenant les étapes consécutives suivantes :
    - acquérir (1) des signaux électriques représentatifs de l'image de la ligne de chronométrage (13, 20) saisie par le capteur d'images, les signaux électriques étant produits en fonction de signaux optiques reçus par le capteur,
    - transmettre (2) les signaux électriques à une unité de traitement d'images (21, 21),
    - détecter (3) le passage d'une ligne de chronométrage (13, 20) par un objet (11, 12),
    caractérisé en ce qu'il comprend les étapes consécutives suivantes :
    - détecter (4) au moins une information supplémentaire concernant le déplacement ou les dimensions de l'objet (11, 12) pour vérifier que l'objet (11) correspond à un concurrent (18, 28),
    - transmettre (5) un ordre de mesure du temps de passage à une unité de mesure (33) si l'objet (11) correspond à un concurrent (18, 28), et
    - mesurer (6) le temps de passage dudit objet (11) sur la ligne de chronométrage correspondant à l'instant de passage de l'objet (11).
  2. Procédé (1) selon la revendication 1, caractérisé en ce qu'il comprend une étape de transmission (7) du temps de passage mesuré à une unité d'affichage (34).
  3. Procédé (1) selon la revendication 1 ou 2, caractérisé en ce que le capteur étant muni d'une matrice de pixels, le capteur est configuré pour détecter les variations de signaux optiques reçus par au moins une partie des pixels de la matrice pour produire les signaux électriques.
  4. Procédé (1) selon l'une, quelconque, des revendications précédentes, caractérisé en ce que l'information supplémentaire est le sens de déplacement de l'objet (11, 12).
  5. Procédé (1) selon la revendication 4, caractérisé en ce qu'on détecte le sens de déplacement sur les colonnes de pixels grâce à la modification des pixels avant et/ou après la ou les colonnes de pixels de la ligne de chronométrage.
  6. Procédé (1) selon l'une, quelconque, des revendications 1 à 3, caractérisé en ce que l'information supplémentaire est la vitesse de déplacement de l'objet (11, 12).
  7. Procédé (1) selon l'une, quelconque, des revendications 1 à 3, caractérisé en ce que l'information supplémentaire est la hauteur de l'objet (11, 12).
  8. Procédé (1) selon l'une, quelconque, des revendications 1 à 3, caractérisé en ce que l'information supplémentaire est la largeur de l'objet (11, 12).
  9. Procédé (1) l'une, quelconque, des revendications 1 à 3, caractérisé en ce que l'information supplémentaire est une zone de détection où l'objet (11, 12) est attendu.
  10. Procédé (1) selon l'une, quelconque, des revendications précédentes, caractérisé en ce que la détection est effectuée grâce à une analyse de la variation des signaux électriques.
  11. Procédé (1) selon l'une, quelconque, des revendications précédentes, caractérisé en ce que les pixels du capteur d'image détectent les signaux optiques indépendamment les uns des autres.
  12. Procédé (1) selon l'une, quelconque, des revendications précédentes, caractérisé en ce qu'on utilise la totalité du capteur lors de chaque étape du procédé.
  13. Système (23, 23) de mesure améliorée du temps de passage sur une ligne de chronométrage (13, 20) d'une course par un concurrent (18, 28), notamment pour une discipline sportive, le système étant caractérisé en ce qu'il comprend :
    - une unité d'acquisition (31) pour acquérir des signaux électriques représentatifs de l'image de la ligne de chronométrage, l'unité d'acquisition (31) comportant au moins un capteur d'images muni d'une matrice de pixels, les signaux électriques étant produits en fonction de signaux optiques reçus par les pixels de la matrice,
    - une unité de traitement d'images (21) pour traiter les signaux électriques transmis par l'unité d'acquisition (31), de manière à détecter le passage de la ligne de chronométrage par un objet (11, 12), et
    - une unité de mesure (33) du temps de passage dudit objet (11) sur la ligne de chronométrage correspondant à l'instant de passage de l'objet (11), l'unité d'acquisition (11) étant configurée pour transmettre les signaux électriques à l'unité de traitement d'images (21).
    caractérisé en ce que :
    - l'unité de traitement est configurée pour détecter au moins une information supplémentaire concernant le déplacement ou les dimensions de l'objet pour vérifier que l'objet (11, 12) correspond à un concurrent, et
    - l'unité d'acquisition (11) est configurée pour transmettre un ordre de mesure du temps de passage à l'unité de mesure (33) si l'objet (11) correspond à un concurrent (18, 28).
  14. Système (23) selon la revendication 13, caractérisé en ce qu'il comprend une unité d'affichage (34) des temps mesurés.
  15. Système (23) selon la revendication 13 ou 14, caractérisé en ce que le capteur est configuré pour détecter continuellement les variations d'au moins une partie, de préférence de la totalité, des pixels de la matrice.
  16. Système (23) selon l'une, quelconque, des revendications 13 à 15, caractérisé en ce qu'il comprend une caméra (17) munie du capteur, de préférence la caméra (17) est de type neuro-morphique.
  17. Système (23) selon l'une, quelconque, des revendications 13 à 16, caractérisé en ce que l'unité de traitement d'image (21) comprend un module d'intelligence artificielle.
EP20201010.4A 2020-10-09 2020-10-09 Procede et systeme de mesure amelioree du temps de passage sur une ligne de chronometrage Active EP3982337B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20201010.4A EP3982337B1 (fr) 2020-10-09 2020-10-09 Procede et systeme de mesure amelioree du temps de passage sur une ligne de chronometrage
US17/408,706 US20220111285A1 (en) 2020-10-09 2021-08-23 Method and system for improved measurement of the time of passage on a timekeeping line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP20201010.4A EP3982337B1 (fr) 2020-10-09 2020-10-09 Procede et systeme de mesure amelioree du temps de passage sur une ligne de chronometrage

Publications (2)

Publication Number Publication Date
EP3982337A1 EP3982337A1 (fr) 2022-04-13
EP3982337B1 true EP3982337B1 (fr) 2023-09-27

Family

ID=73039782

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20201010.4A Active EP3982337B1 (fr) 2020-10-09 2020-10-09 Procede et systeme de mesure amelioree du temps de passage sur une ligne de chronometrage

Country Status (2)

Country Link
US (1) US20220111285A1 (fr)
EP (1) EP3982337B1 (fr)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69721520T2 (de) * 1997-08-22 2004-03-18 Omega Electronics S.A. System mit einem Photosensor, insbesonder zur Zeitmessung bei Wettkämpfen, und Einstellverfahren zum Ausrichten eines solchen Systems auf eine Ziellinie
CH706165A2 (fr) * 2012-02-22 2013-08-30 Swiss Timing Ltd Dispositif d'affichage en 3D d'une image photofinish.
WO2015193049A1 (fr) * 2014-06-17 2015-12-23 Swiss Timing Ltd Système et procédé de mesure de temps à base de caméra automatique

Also Published As

Publication number Publication date
US20220111285A1 (en) 2022-04-14
EP3982337A1 (fr) 2022-04-13

Similar Documents

Publication Publication Date Title
FR2979148A1 (fr) Dispositif et procede d'estimation pour estimer la vitesse instantanee d'un individu ou d'un objet
FR2589604A1 (fr) Appareil pour le chronometrage de courses sportives
WO2010047015A1 (fr) Dispositif de surveillance de la périphérie d'un véhicule
EP1329729B1 (fr) Système de détermination de la vitesse d'un ski
EP3982337B1 (fr) Procede et systeme de mesure amelioree du temps de passage sur une ligne de chronometrage
EP2453992A1 (fr) Dispositif et procédé de détection et de commentaire d'un événement de jeu aux abords d'une cage de but
CH717944A2 (fr) Procédé et système de mesure du temps de passage sur un ligne de chronométrage.
CH717611A2 (fr) Système de jugement ou détermination de position ou posture et/ou d'un temps sur une ligne de passage d'au moins un compétiteur ou coureur dans une compétition sportive.
EP2817675A2 (fr) Dispositif d'affichage en 3d d'une image photofinish
EP1340103B1 (fr) Procede pour detecter des corps nouveaux dans une scene eclairee
WO2021048513A1 (fr) Système et dispositif de localisation et/ou de chronomètrage
EP3613480B1 (fr) Procede et systeme de classement continu d'un concurrent lors d'un parcours d'une discipline sportive de glisse de type slalom
EP3667415B1 (fr) Procede et systeme d'affichage d'une image instantanee de l'arrivee d'une course a partir d'une image temporelle de type photofinish
EP2887655A1 (fr) Filtre couleur adaptatif pour capteur numérique
WO2013190202A1 (fr) Regroupement de donnees attachees a des images
FR2892822A1 (fr) Dispositif et procede de mesure de vitesse d'un element mobile dans un environnement borne
EP3770806A1 (fr) Procede de surveillance video du franchissement d'une ligne par des personnes, programme d'ordinateur et dispositif correspondants
EP2909788B1 (fr) Procédé de segmentation de doigts
FR2857768A1 (fr) Procede d'acquisition d'image d'empreinte digitale
EP0965817A1 (fr) Procédé optique de caractérisation d'une voie le long de laquelle se déplace un véhicule guidé
FR2843849A1 (fr) Procede d'assistance pour l'arbitrage et installation pour sa mise en oeuvre
CH716847B1 (fr) Système de supervision d'une compétition sportive.
EP2904543B1 (fr) Procédé de comptage de personnes pour appareil stéréoscopique et appareil stéréoscopique de comptage de personnes correspondant
CH706165A2 (fr) Dispositif d'affichage en 3D d'une image photofinish.
FR2998437B1 (fr) Procede et systeme de determination en temps reel de signaux a sommer parmi un ensemble de signaux recus

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221013

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230125

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230614

INTG Intention to grant announced

Effective date: 20230627

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602020018197

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231227

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231228

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231019

Year of fee payment: 4

Ref country code: DE

Payment date: 20230929

Year of fee payment: 4

Ref country code: CH

Payment date: 20231102

Year of fee payment: 4

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230927

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1616185

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230927

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240127

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240127

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230927

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240129