EP3817868A1 - Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles - Google Patents

Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles

Info

Publication number
EP3817868A1
EP3817868A1 EP19737837.5A EP19737837A EP3817868A1 EP 3817868 A1 EP3817868 A1 EP 3817868A1 EP 19737837 A EP19737837 A EP 19737837A EP 3817868 A1 EP3817868 A1 EP 3817868A1
Authority
EP
European Patent Office
Prior art keywords
light
sorting
conveyor
package
packages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP19737837.5A
Other languages
German (de)
English (en)
Other versions
EP3817868B1 (fr
Inventor
Bruno Volta
Christophe Caillon
Eric Deschamps
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Solystic SAS
Original Assignee
Solystic SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Solystic SAS filed Critical Solystic SAS
Publication of EP3817868A1 publication Critical patent/EP3817868A1/fr
Application granted granted Critical
Publication of EP3817868B1 publication Critical patent/EP3817868B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C7/00—Sorting by hand only e.g. of mail
    • B07C7/005—Computer assisted manual sorting, e.g. for mail

Definitions

  • Sorting method in which the packages are transported by a conveyor in a direction of travel to an operator, in which a control-command unit identifies a package to be sorted by means of a reading of an identification element and , in response to identification, automatically determines a sorting outlet for said package where it must be transferred by the operator from the conveyor, said control-command unit being arranged to control light sources distributed along the conveyor in order to generate and control a light indicator to assist in sorting the package such that said light indicator moves with said package along the conveyor.
  • the packages are identified on the conveyor by means of optical readers acquiring information carried by the packages in alphanumeric form, bar code or two-dimensional symbols.
  • the progress levels of each of the packages on the conveyor are deduced from the detection of their passage to a given level of the conveyor by photoelectric cells and from the knowledge of the speed of movement of the packages by the conveyor.
  • the indicators accompany the packages because they are synchronized with the passage of the packages at a given point and are controlled to move at the supposed speed of the packages, in fact, the speed of movement of the conveyor.
  • such a system requires a ginning of the packages, that is to say a transport of the packages one by one, separated from each other by a certain distance in their direction of movement so, by example, to avoid ambiguities as to the identity of the parcels which could lead to sorting errors.
  • the process described above requires the reading of sorting indications by the operators as well as the implementation of a ginning system of the packages and is based on a predictive method of deducting the location of packages, a method that does not support the unexpected or the handling of packages during sorting.
  • the invention aims to improve the robustness and the versatility of a sorting process using mobile light indicators.
  • the subject of the invention is a method of sorting packages in which the packages are transported by a conveyor in a direction of movement up to a operator, in which a control-command unit identifies each package to be sorted by means of an automatic reading of an identification element attached to said package and, in response to the identification, automatically determines a sorting outlet for said package where this must be transferred by the operator from the conveyor, and said control-command unit being arranged to control light sources distributed along the conveyor in order to generate and control a light indicator of assistance in sorting said package of such that said light indicator moves with said package along the conveyor, characterized in that it comprises the following steps:
  • digital images are acquired comprising said package moving on the conveyor, in that from said digital images, the control-command unit extracts in real time information on a position of said package and a dimension thereof according to the direction of movement of said package on the conveyor to monitor said package and, on the basis of this monitoring, controls the light sources in real time so as to form the light indicator in the form of a light segment having a length according to the direction of movement which is substantially equal to the dimension of said package according to the direction of movement.
  • This process is to improve the robustness of the package tracking by allowing it to be tracked in real time along its entire route on the conveyor between its identification and its transfer by the operator, even in the event of the package being blocked or handled. during its movement or unexpected or undetected behavior of the conveyor.
  • This process also has the effect of facilitating the identification of a parcel to be sorted by direct correspondence between a physical characteristic of the parcel and a visual characteristic of a light indicator: the length of the parcel according to the direction of movement and the width of the signal. bright are substantially equal.
  • a chassis with indicator lights can be placed along the conveyor, receptacles on wheels that can be placed on the chassis can be used as sorting outlets, each receptacle being associated with one of the indicator lights and arranged to proximity thereof, and the control-command unit can command the lighting of an indicator light located near said sorting outlet to indicate to the human operator said sorting outlet;
  • the light sources may be capable of emitting several colors of light
  • the control unit may control the light sources in response to the determination of the sorting output of the package in such a way that said light segment is a first color, and a second light segment can move with a second package to be transferred to said sorting outlet and be of the first color;
  • a third light segment progressing with a third package to be transferred to another sorting outlet may be of a second color different from the first color
  • - Said indicator lights can be capable of emitting several colors of light and the control unit can control the indicator light located near said sorting outlet so that the indicator light emits light of the first color.
  • FIG. 1 - Figures IA and IB respectively illustrate a top view and a side view of a sorting system comprising a conveyor;
  • Figure 2A illustrates a digital image of the conveyor of Figures IA and IB;
  • Figure 2B illustrates a strip of light sources located along the conveyor of Figures IA and IB;
  • Figure 2C illustrates a diagram indicating the functional links between the elements of the sorting system of Figures IA and IB;
  • FIG. 3A to 3C and 4 illustrate steps of the sorting process implemented by the system of Figures IA and IB.
  • FIGS. IA to 4 An embodiment of a sorting method according to the invention is illustrated by FIGS. IA to 4.
  • packages 110 to be sorted are placed on a conveyor during a step S00 and then, during a step S02, a conveyor 100 transports the packages 110 in a direction Dir of movement up to Op operators who are responsible for manually transferring these packages into receptacles 130 on casters used as sorting outlets.
  • the conveyor 100 may for example be a belt conveyor or a roller conveyor.
  • the receptacles on casters are arranged along the conveyor, at the level of one or more chassis 140 delimiting locations on the ground 144 each intended to be occupied by one of the trolleys 130.
  • the chassis or the chassis 140 are fitted with an indicator light 142 at each location 144, here so that the indicators are located above the trolleys when the latter are in place, so that each indicator light is associated with one of the sorting outputs.
  • the packages pass through an automatic reading means 150 which reads identification elements 112 attached to the packages, the automatic reading means being functionally connected to and controlled by a control unit.
  • command 160 which identifies the packages during a step S04, for example by associating them each with the respective information read by the means 150 of automatic reading.
  • the automatic reading means 150 can for example be an optical scanner capable of reading a barcode, a two-dimensional code or information presented in alphanumeric form present on an affixed label on the parcel and used as an identification element.
  • the control-command system is configured to, during a step S06, automatically determine a sorting outlet for each of the identified packages, an outlet into which these packages must be transferred by the operator from the conveyor.
  • This determination is made for example by retrieving information from a database 162 which contains a correspondence table between, on the one hand, the information such as destination addresses read from the packages by the automatic reading means 150 and, on the other hand, the sorting outlets in which the packages must be transferred by the operators, then by assigning to each package the corresponding sorting outlet according to the correspondence table.
  • the conveyor is surmounted by cameras 170a to 170d arranged so that their fields of vision 172 overlap in pairs so as to preferably cover the entire course of a package on the conveyor between its passage through the automatic reading means 150 until it is transferred to a sorting outlet 130 by an operator Op.
  • the cameras are controlled by the control-command system and send back to it the digital images which they acquire continuously between the passage of the packages at the level of the automatic reading means until the packages are picked up on the conveyor by the operators, the images being acquired at a frequency preferably greater than 5 Hz and less than 100 Hz, more preferably greater than 10 Hz and less than 30 Hz, in order to carry out a time control real without request excessive computing power.
  • digital images are acquired comprising a parcel moving on the conveyor, these images are analyzed by the control-command unit which extracts in real time information on a position of the parcel on the conveyor and a dimension of it according to the direction of movement of the package on the conveyor to track the package.
  • the analysis can be carried out by means of a neural network configured to locate the packages in the images, compare images taken successively and deduce therefrom the position and the displacement of each of the packages included in these images, the resulting analysis by tracking these packages during their travels.
  • One of the cameras, the camera 170a in FIG. 1B, is arranged so that its field of vision covers the passage of the packages 110 at the level of the automatic reading means 150, and the control-command unit identifies a given parcel carrying information 112 read by the automatic reading means by associating it with the parcel identified at the level of the automatic reading means in the image acquired by this camera at the time of reading this information.
  • image acquired by this camera at the time of reading it should be understood that, in a series of digital images taken in succession by said camera, we consider the digital image temporally closest to the time of reading.
  • This process makes it possible to follow in real time the packages transported by the conveyor, independently of the speed of movement of the conveyor and the variations of this speed or unexpected stop, and is insensitive to handling of the packages as long as they remain on the conveyor and / or in the field of vision of the cameras, package tracking is therefore very robust and adaptable.
  • the orientation of the cameras is such that, as illustrated in FIG. 2A which represents a digital image 250 acquired by one of the cameras, the fields of vision of the cameras are preferably more extended in the longitudinal direction of the conveyor, this is that is to say in the direction Dir of displacement of the packages, that in the transverse direction, and the columns of pixels of the digital images are oriented perpendicularly this direction Dir of displacement of the packages.
  • control-command unit detects the points Pextl Pext2 of each package identified on the digital images which are respectively the most upstream and the most downstream of the conveyor, and the two columns of pixels CLl and CL2 on which these two points are respectively located.
  • This operation amounts to extracting images, and in each image, the position P and the extent E of a projection of each package on an edge of the conveyor in a direction perpendicular to the direction of movement on the conveyor (it is considered here that the edge of the conveyor is perpendicular to the direction of movement of the packages).
  • position P and the extent E are considered in the images and can therefore be expressed in pixels, but that, if necessary, a calibration establishing a correspondence between the points of the digital images and the real positions on the conveyor would make it possible to obtain positions and ranges measured in meters at the level of the conveyor; position P and extent E represent information on a position of the package and a dimension thereof according to the direction (Dir) of movement of the conveyor.
  • the extraction of the positions P and the ranges E of each of the packages from digital images constitutes tracking of the packages on the basis of which the control-command unit controls, during a step S10, distributed light sources along the conveyor in the form of a strip 120 of light sources 205 so as to form light segments 122 having lengths L in the direction of movement Dir which are substantially equal to the dimensions D of the respective packages in the direction of movement and move with the respective packages, as shown in Figure IA.
  • control unit switches on the light sources located at the level of the projection of a package by switching on the light sources positioned, on the images, between the columns CL1 and CL2 defining the position and extent of this package on an image, for example by means of a pre-established correspondence between, on the one hand, the pixel columns of the images and, on the other hand, the positions of the light sources 205 along the conveyor.
  • the correspondence can be recovered by the control-command unit in a correspondence table prepared in advance and stored in the database 162.
  • the lighting of the light sources is constantly updated and leads to the formation of light segments moving with the packages, which allows the operators immediately associate a mobile light segment with a package moving on the conveyor.
  • FIG. 2B shows an initial situation and three successive updates of the ignition of light sources of a portion of a strip 120 of light sources at four successive instants tOO to t03, with the patterns 205a and 205b respectively indicating 205 light sources off and 205 light sources on.
  • Successive updates make it possible to control the position and the length L of a light segment 122 movable along the conveyor, the length L being proportional to the extent E of a projection of each package on an edge of the conveyor in a perpendicular direction to the direction of movement on the conveyor, this projection being considered on one of the digital images used for tracking the package.
  • each pixel in one of the images corresponds to a square of 1 cm side on the conveyor and that the strip 120 of light sources consists of light sources such as diodes distributed along the conveyor in a step of 1 cm, then each diode corresponds to one of the pixel columns of one of the images.
  • the control system commands the lighting of the 50 diodes corresponding to these 50 pixels, which results in a light segment produced by the diodes of about 50 cm, this light segment moving with the package.
  • Two strips 120 of light sources can frame the conveyor 100 and be controlled independently by the control-command system, for example in order to generate light segments intended for operators located on either side of the conveyor to transfer packages in sorting outlets also located on either side of the conveyor, as illustrated in FIG. IA.
  • FIG. 2C illustrates that the control-command system 160 is functionally connected to the scanner 150, to the cameras 160a to 160d, to the strips 120 of light sources, to the indicator lights 142 and to the database 162.
  • the conveyor is divided into sorting sections Sec-1 to Sec-4 indicated in FIG. 3A, each sorting section being assigned to a given operator having the responsibility of transferring the packages to a destination or several sorting outputs given at During a step S12, the control-command system does not generate the light segments for indicating the sorting of the packages until they enter the section of the operator responsible for their respective sorting destinations.
  • FIG. 3A gives the example of a side view of a conveyor transporting packages to be sorted at 5 successive instants to at t 4 .
  • a light segment 122x associated with a HOx package is only generated when this package enters the Sec-3 section under the responsibility of an operator to whom the transfer of this package is assigned to a sorting outlet.
  • the light segments 122y and 122z associated respectively with HOy and 110O packages are generated as soon as these packages enter the Sec-2 section under the responsibility of an operator to whom the transfers of these packages are assigned.
  • the method according to the invention makes it possible to generate light segments which are associated with respective packages and which make it possible to quickly and surely identify them as well in a situation (a) in which the packages are shelled on the conveyor only in a situation (b) in which the packages overlap in the direction perpendicular to the direction Dir of movement.
  • a in which the packages are shelled on the conveyor only in a situation (b) in which the packages overlap in the direction perpendicular to the direction Dir of movement.
  • the light indicators 122a and 122b are respectively associated with packages 110a and 110b, despite their overlap with other packages.
  • This characteristic is very advantageous since a ginning of the packages on the conveyor is not necessary, and therefore that the packages can occupy the conveyor in a much denser manner, which increases the sorting rate and simplifies the procedure and the infrastructure. disposal of packages on the conveyor.
  • step S12 a simple manipulation of one of the packages by the operator during a step SU is sufficient to remove the ambiguity, by longitudinal shift of one of the packages relative to the other and / or by changing its orientation, then proceeding to the transfer of step S12.
  • a rotation of a package will generally result in a variation of the length of the associated light segment, passing from L1 in situation (a) to L2 in situation (b) after handling of the llOd package.
  • one or the other of the preceding manipulations carried out by an operator makes it possible to remove the ambiguity and surely associate the light segment 122 with the package 110d, and not with the package 110c.
  • control-command system turns on the indicator light 142 associated with this output, for example when the package is no longer spotted on the digital images used for tracking the package.
  • the light sources 205 and the indicator lights 142 may be able to emit several colors of light.
  • a sorting outlet can be associated with a particular color which is specific to it, and the control-command system can consequently generate light segments of this particular color when associated with a package to be transferred to this outlet. sorting, each sorting outlet being associated with a different color from the other sorting outlets.
  • control-command system can control the indicator lights 142 in such a way that they each emit the color of their respective sorting outlets and that of the light segments 122 indicating the packages respectively to be transferred there.
  • the color correspondences between the sorting outputs on the one hand and the light segments 122 and / or the indicator lights 142 on the other hand can be indicated in a table stored in the database 162.
  • the removal of ambiguity as to the identification of a package to be transferred by an operator can also be done in real time, and this in the very simple manner explained above, which brings operational simplicity, robustness and flexibility to the sorting process.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Sorting Of Articles (AREA)
  • Control Of Conveyors (AREA)
  • Discharge Of Articles From Conveyors (AREA)
  • Spinning Or Twisting Of Yarns (AREA)

Abstract

Procédé de tri de colis dans lequel des colis 110 sont transportés par un convoyeur 100 jusqu'à un opérateur Op transférant les colis dans des sorties de tri 130, avec des indicateurs lumineux d'assistance au tri qui se déplacent avec les colis le long du convoyeur, chaque indicateur étant associé à l'un des colis, dans lequel on acquiert des images numériques dudit colis en déplacement sur le convoyeur, on extrait des photos des informations sur la position dudit colis et sa dimension selon sa direction de déplacement pour réaliser un suivi en temps réel de ce colis et, sur la base de ce suivi, on commande en temps réel des sources de lumière de manière à former un indicateur lumineux sous forme d'un segment lumineux 122 ayant une longueur L sensiblement égale à la dimensions D dudit colis auquel il est associé.

Description

PROCEDE DE TRI DE COLIS SUR CONVOYEUR AVEC INDICATEURS
LUMINEUX MOBILES
Domaine technique
Procédé de tri dans lequel les colis sont transportés par un convoyeur dans une direction de déplacement jusqu'à un opérateur, dans lequel une unité de contrôle-commande identifie un colis à trier au moyen d'une lecture d'un élément d'identification et, en réponse à l'identification, détermine automatiquement une sortie de tri dudit colis où celui-ci doit être transféré par l'opérateur depuis le convoyeur, ladite unité de contrôle-commande étant agencée pour commander des sources de lumière réparties le long du convoyeur afin de générer et contrôler un indicateur lumineux d'assistance au tri du colis de manière telle que ledit indicateur lumineux se déplace avec ledit colis le long convoyeur.
Technique antérieure
Un tel type de procédé est décrit dans le brevet européen EP 1 531 949 Bl qui divulgue un procédé de tri dans lequel un convoyeur transporte des colis à trier avec une bande de diodes électroluminescentes s'étendant sur le bord du convoyeur et affichant des indicateurs de destination de tri qui accompagnent le colis au cours de son déplacement sur le convoyeur, de manière à assister un opérateur humain effectuant manuellement le tri.
Dans ce brevet, les colis sont identifiés sur le convoyeur au moyen de lecteurs optiques acquérant des informations portées par les colis sous forme alphanumérique, de code barre ou de symboles à deux dimensions . Les niveaux d'avancement de chacun des colis sur le convoyeur sont déduits de la détection de leurs passages à un niveau donné du convoyeur par des cellules photo électriques et de la connaissance de la vitesse de déplacement des colis par le convoyeur.
Les indicateurs accompagnent les colis parce qu'ils sont synchronisés au passage des colis en un point donné et sont contrôlés pour se déplacer à la vitesse supposée des colis, en fait, la vitesse de déplacement du convoyeur .
Pour son bon fonctionnement, un tel système impose un égrenage des colis, c'est-à-dire un transport des colis un par un, séparés l'un de l'autre d'une certaine distance dans leur direction de déplacement afin, par exemple, d'éviter des ambiguïtés quant à l'identité des colis qui pourraient entraîner des erreurs de tri.
En plus de limiter l'exploitation du potentiel du convoyeur à un transport des colis un par un, le procédé décrit ci-dessus impose la lecture d'indications de tri par les opérateurs ainsi que l'implémentation d'un système d'égrenage des colis et repose sur une méthode prédictive de déduction de l'emplacement des colis, méthode ne supportant pas l'imprévu ou les manipulations des colis en cours de tri.
Exposé de l'invention
L'invention a pour objectif d'améliorer la robustesse et la versatilité d'un procédé de tri utilisant des indicateurs lumineux mobiles.
A cet effet, l'invention a pour objet un procédé de tri de colis dans lequel les colis sont transportés par un convoyeur dans une direction de déplacement jusqu'à un opérateur, dans lequel une unité de contrôle-commande identifie chaque colis à trier au moyen d'une lecture automatique d'un élément d'identification attaché audit colis et, en réponse à l'identification, détermine automatiquement une sortie de tri dudit colis où celui-ci doit être transféré par l'opérateur depuis le convoyeur, et ladite unité de contrôle-commande étant agencée pour commander des sources de lumière réparties le long du convoyeur afin de générer et contrôler un indicateur lumineux d'assistance au tri dudit colis de manière telle que ledit indicateur lumineux se déplace avec ledit colis le long convoyeur, caractérisé en ce qu'il comporte les étapes suivantes :
on acquiert des images numériques comprenant ledit colis en déplacement sur le convoyeur, en ce que à partir desdites images numériques, l'unité de contrôle-commande extrait en temps réel des informations sur une position dudit colis et une dimension de celui-ci selon la direction de déplacement dudit colis sur le convoyeur pour réaliser un suivi dudit colis et, sur la base de ce suivi, commande en temps réel les sources de lumière de manière à former l'indicateur lumineux sous forme d'un segment lumineux ayant une longueur selon la direction de déplacement qui est sensiblement égale à la dimension dudit colis selon la direction de déplacement.
Ce procédé a pour effet d'améliorer la robustesse du suivi du colis en permettant de le suivre en temps réel sur tout son parcours sur le convoyeur entre son identification et son transfert par l'opérateur, même en cas de blocage ou de manipulation du colis pendant son déplacement ou de comportement imprévu ou non détecté du convoyeur . Ce procédé a également pour effet de faciliter l'identification d'un colis à trier par correspondance directe entre une caractéristique physique du colis et une caractéristique visuelle d'un indicateur lumineux : la longueur du colis selon la direction de déplacement et la largeur du signal lumineux sont sensiblement égales.
Le procédé selon l'invention peut avantageusement présenter les particularités suivantes :
- pour acquérir les images numériques, on peut utiliser des caméras agencées de sorte que leurs champs de vision se chevauchent deux à deux ;
- on peut disposer un châssis muni de voyants lumineux le long du convoyeur, on peut utiliser comme sorties de tri des réceptacles sur roulettes que l'on dispose au niveau du châssis, chaque réceptacle étant associé à l'un des voyant lumineux et disposé à proximité de celui-ci, et l'unité de contrôle-commande peut commander l'allumage d'un voyant lumineux situé à proximité de ladite sortie de tri pour indiquer à l'opérateur humain ladite sortie de tri ;
- les sources de lumière peuvent être aptes à émettre plusieurs couleurs de lumière, l'unité de contrôle-commande peut commander les sources de lumière en réponse à la détermination de la sortie de tri du colis de manière telle que ledit segment lumineux est d'une première couleur, et un second segment lumineux peut se déplacer avec un second colis devant être transféré à ladite sortie de tri et être de la première couleur ;
- un troisième segment lumineux progressant avec un troisième colis devant être transféré à une autre sortie de tri peut être d'une seconde couleur différente de la première couleur ; et
- lesdits voyants lumineux peuvent être aptes à émettre plusieurs couleurs de lumière et l'unité de contrôle-commande peut commander le voyant lumineux situé à proximité de ladite sortie de tri de manière telle que le voyant lumineux émette de la lumière de la première couleur .
Présentation sommaire des dessins
La présente invention sera mieux comprise et d'autres avantages apparaîtront à la lecture de la description détaillée d'un mode de réalisation pris à titre d'exemple nullement limitatif et illustré par les dessins annexés, dans lesquels :
- les figures IA et IB illustrent respectivement une vue d'en haut et une vue de côté d'un système de tri comprenant un convoyeur ;
- la figure 2A illustre une image numérique du convoyeur des figures IA et IB ;
- la figure 2B illustre une bande de sources de lumière située le long du convoyeur des figures IA et IB ;
- la figure 2C illustre un diagramme indiquant les liens fonctionnels entre les éléments du système de tri des figures IA et IB ; et
- les figures 3A à 3C et 4 illustrent des étapes du procédé de tri mis en œuvre par le système des figures IA et IB.
Description d'un mode de réalisation
Un mode de réalisation d'un procédé de tri selon l'invention est illustré par les figures IA à 4. Au début de ce procédé, des colis 110 à trier sont disposés sur un convoyeur au cours d'une étape S00 puis, au cours d'une étape S02, un convoyeur 100 transporte les colis 110 dans une direction Dir de déplacement jusqu'à des opérateurs Op qui sont chargés de transférer manuellement ces colis dans des réceptacles 130 sur roulettes utilisés comme sorties de tri.
Le convoyeur 100 peut être par exemple un convoyeur à bande ou encore à rouleaux.
Les réceptacles sur roulettes sont disposés le long du convoyeur, au niveau d'un ou plusieurs châssis 140 délimitant au sol des emplacements 144 chacun prévu pour être occupé par un des chariots à roulettes 130.
Le ou les châssis 140 sont équipés d'un voyant lumineux 142 au niveau de chaque emplacement 144, ici de manière telle que les voyants sont situés au-dessus des chariots à roulettes lorsque ces derniers sont en place, de sorte que chaque voyant lumineux est associé à l'une des sorties de tri.
Au cours de leur transport par le convoyeur, les colis passent au niveau d'un moyen 150 de lecture automatique qui lit des éléments 112 d'identification attachés aux colis, le moyen de lecture automatique étant fonctionnellement connecté à et contrôlé par une unité de contrôle-commande 160 qui identifie les colis au cours d'une étape S04, par exemple en les associant chacun aux informations respectives lues par le moyen 150 de lecture automatique .
Le moyen 150 de lecture automatique peut être par exemple un scanner optique apte à lire un code-barres, un code bidimensionnel ou une information se présentant sous forme alphanumérique présente sur une étiquette apposée sur le colis et utilisée comme élément d'identification.
Le système de contrôle-commande est configuré pour, au cours d'une étape S06, déterminer automatiquement une sortie de tri pour chacun des colis identifiés, sortie dans laquelle ces colis doivent être transférés par l'opérateur depuis le convoyeur.
Cette détermination s'effectue par exemple en récupérant des informations d'une base de donnée 162 qui contient une table de correspondance entre, d'une part, les informations telles que des adresses de destination lues sur les colis par le moyen 150 de lecture automatique et, d'autre part, les sorties de tri dans lesquelles les colis doivent être transférés par les opérateurs, puis en assignant à chaque colis la sortie de tri correspondante selon la table de correspondance.
Comme illustré par la figure IB, le convoyeur est surmonté de caméras 170a à 170d agencées de sorte que leurs champs de vision 172 se chevauchent deux à deux de manière à couvrir, de préférence, la totalité du parcours d'un colis sur le convoyeur entre son passage au niveau du moyen 150 de lecture automatique jusqu'à son transfert dans une sortie de tri 130 par un opérateur Op.
Au cours d'une étape SOI, les caméras sont commandées par le système de contrôle-commande et lui renvoient les images numériques qu'elles acquièrent de façon continue entre le passage des colis au niveau du moyen de lecture automatique jusqu'à ce que les colis soient récupérés sur le convoyeur par les opérateurs, l'acquisition des images se faisant à une fréquence de préférence supérieure à 5Hz et inférieure à 100 Hz, plus préférentiellement supérieure à 10 Hz et inférieure à 30 Hz, afin de réaliser un contrôle en temps réel sans demander une puissance de calcul excessive.
En utilisant les caméras, on acquiert des images numériques comprenant un colis en déplacement sur le convoyeur, ces images sont analysées par l'unité de contrôle-commande qui en extrait en temps réel des informations sur une position du colis sur le convoyeur et une dimension de celui-ci selon la direction de déplacement du colis sur le convoyeur pour réaliser un suivi du colis.
L'analyse peut s'effectuer au moyen d'un réseau de neurones configuré pour repérer les colis dans les images, comparer des images prises successivement et en déduire la position et le déplacement de chacun des colis compris dans ces images, l'analyse résultant en un suivi de ces colis au cours de leurs déplacements.
L'une des caméras, la caméra 170a de la figure IB, est agencée de manière à ce que son champ de vision couvre le passage des colis 110 au niveau du moyen 150 de lecture automatique, et l'unité de contrôle-commande identifie un colis donné portant des informations 112 lues par le moyen de lecture automatique en l'associant au colis repéré au niveau du moyen de lecture automatique dans l'image acquise par cette caméra au moment de la lecture de ces informations.
Par « image acquise par cette caméra au moment de la lecture », il doit être compris que, dans une série d'images numériques prises en succession par ladite caméra, on considère l'image numérique temporellement la plus proche du moment de la lecture.
A partir du moment où un colis transporté par le convoyeur est associé à un colis repéré sur une image, ce colis est suivi par analyse en temps réel des images prises successivement par l'ensemble des caméras ; le recouvrement des champs de vision des caméras permet de suivre le colis le long de son déplacement sur le convoyeur sans le perdre de vue en établissant une correspondance entre un colis quittant le champ de vison d'une caméra et entrant le champ de vision d'une caméra adjacente .
Ce procédé permet de suivre en temps réel les colis transportés par le convoyeur, indépendamment de la vitesse de déplacement du convoyeur et des variations de cette vitesse ou d'arrêt inopiné, et est insensible aux manipulations des colis tant que ceux-ci restent sur le convoyeur et/ou dans le champ de vison des caméras, le suivi des colis est donc très robuste et adaptable.
L'orientation des caméras est telle que, comme illustré par la figure 2A qui représente une image numérique 250 acquise par l'une des caméras, les champs de vison des caméras sont de préférence plus étendus dans la direction longitudinale du convoyeur, c'est-à-dire dans la direction Dir de déplacement des colis, que dans la direction transversale, et les colonnes de pixels des images numériques sont orientées perpendiculairement cette direction Dir de déplacement des colis.
Au cours de l'analyse, pendant une étape S08, l'unité de contrôle-commande détecte les points Pextl Pext2 de chaque colis repéré sur les images numériques qui sont respectivement le plus en amont et le plus en aval du convoyeur, et les deux colonnes de pixels CLl et CL2 sur lesquelles ces deux points sont respectivement situés .
Cette opération revient à extraire des images, et dans chaque image, la position P et l'étendue E d'une projection de chaque colis sur un bord du convoyeur selon une direction perpendiculaire à la direction de déplacement sur le convoyeur (il est considéré ici que le bord du convoyeur est perpendiculaire à la direction de déplacement des colis) .
Il est à noter que la position P et l'étendue E sont considérées dans les images et peuvent donc s'exprimer en pixels, mais que, si besoin était, une calibration établissant une correspondance entre les points des images numériques et les positions réelles sur le convoyeur permettrait d'obtenir des positions et des étendues se mesurant en mètres au niveau du convoyeur ; la position P et l'étendue E représentent des informations sur une position du colis et une dimension de celui-ci selon la direction (Dir) de déplacement du convoyeur .
L'extraction des positions P et des étendues E de chacun des colis à partir des images numériques constitue un suivi des colis sur la base duquel l'unité de contrôle-commande commande, au cours d'une étape S10, des sources de lumière réparties le long du convoyeur sous forme d'une bande 120 de sources 205 de lumière de manière à former des segments lumineux 122 ayant des longueurs L selon la direction Dir de déplacement qui sont sensiblement égales aux dimensions D des colis respectifs selon la direction de déplacement et se déplacent avec les colis respectifs, comme indiqué sur la figure IA.
Plus précisément, l'unité de contrôle-commande allume les sources de lumière situées au niveau de la projection d'un colis en allumant les sources de lumière positionnées, sur les images, entre les colonnes CLl et CL2 définissant la position et l'étendue de ce colis sur une image, par exemple au moyen d'une correspondance préétablie entre, d'une part, les colonnes de pixels des images et, d'autre part, les positions des sources de lumière 205 le long du convoyeur.
La correspondance peut être récupérée par l'unité de contrôle-commande dans une table de correspondance préparée à l'avance et stockée dans la base de données 162.
L'analyse des images et les commandes du système de contrôle-commande se réalisant en temps réel, l'allumage des sources de lumière est réactualisé en permanence et mène à la formation de segments lumineux se déplaçant avec les colis, ce qui permet aux opérateurs d'associer immédiatement un segment lumineux mobile à un colis en déplacement sur le convoyeur.
Ainsi, la figure 2B montre une situation initiale et trois réactualisations successives de l'allumage de sources de lumière d'une portion d'une bande 120 de sources de lumière à quatre instants successifs tOO à t03, avec les motifs 205a et 205b indiquant respectivement des sources 205 de lumière éteintes et des sources 205 de lumière allumées.
Les réactualisations successives permettent de contrôler la position et la longueur L d'un segment lumineux 122 mobile le long du convoyeur, la longueur L étant proportionnelle à l'étendue E d'une projection de chaque colis sur un bord du convoyeur selon une direction perpendiculaire à la direction de déplacement sur le convoyeur, cette projection étant considérée sur l'une des images numériques utilisées pour le suivi du colis.
Si, par exemple, chaque pixel de l'une des images correspond à un carré de 1 cm de côté sur le convoyeur et que la bande 120 de sources de lumière est constituée de sources de lumière telles que des diodes réparties le long du convoyeur selon un pas de 1 cm, alors chaque diode correspond à une des colonnes de pixels de l'une des images.
Dans l'exemple ci-dessus, pour le cas d'un colis dont la projection sur le bord du convoyeur selon une direction perpendiculaire à la direction de déplacement s'étend sur 50 pixels sur les images, alors le système de contrôle-commande commande l'allumage des 50 diodes correspondant à ces 50 pixels, ce qui se traduit par un segment lumineux produit par les diodes d'environ 50 cm, ce segment lumineux se déplaçant avec le colis.
Deux bandes 120 de sources de lumière peuvent encadrer le convoyeur 100 et être commandées indépendamment par le système de contrôle-commande, par exemple afin de générer des segments lumineux à destination d'opérateurs situés de part et d'autre du convoyeur pour transférer des colis dans des sorties de tri situées elles aussi de part et d'autre du convoyeur, comme illustré par la figure IA.
La figure 2C illustre que le système de contrôle- commande 160 est fonctionnellement connecté au scanner 150, aux caméras 160a à 160d, aux bandes 120 de sources de lumière, aux voyants lumineux 142 et à la base de données 162.
Dans ce mode de réalisation, le convoyeur est divisé en sections de tri Sec-1 à Sec-4 indiquées sur la figure 3A, chaque section de tri étant assignée à un opérateur donné ayant la responsabilité de transférer les colis à destination d'une ou plusieurs sorties de tri données au cours d'une étape S12, le système de contrôle-commande ne générant les segments lumineux d'indication de tri des colis que lorsque ces derniers entrent dans la section de l'opérateur responsable de leurs destinations de tri respectives .
La figure 3A donne l'exemple d'une vue de côté d'un convoyeur transportant des colis à trier à 5 instants successifs to à t4.
Comme illustré, un segment lumineux 122x associé à un colis HOx n'est généré que lorsque ce colis entre dans la section Sec-3 sous la responsabilité d'un opérateur auquel est assigné le transfert de ce colis dans une sortie de tri.
En revanche, les segments lumineux 122y et 122z associés respectivement aux colis HOy et llOz sont générés dès que ces colis entrent dans la section Sec-2 sous la responsabilité d'un opérateur auquel sont assignés les transferts de ces colis.
Dans ces deux cas, lorsque les colis sont retirés du convoyeur par les opérateurs, ils n'apparaissent plus sur les images numériques et n'y sont donc plus repérés, et la génération des segments lumineux respectifs s'arrête au cours d'une étape S14, ce qui correspond à l'instant t4 de la figure 3A pour les colis HOx et HOy.
Comme illustré par la figure 3B, le procédé selon l'invention permet de générer des segments lumineux qui sont associés à des colis respectifs et qui permettent de rapidement et sûrement les identifier aussi bien dans une situation (a) dans laquelle les colis sont égrenés sur le convoyeur que dans une situation (b) dans laquelle les colis se chevauchent selon la direction perpendiculaire à la direction Dir de déplacement. Dans la figure 3B, il est par exemple aisé pour un opérateur de voir que les indicateurs lumineux 122a et 122b sont respectivement associés aux colis 110a et 110b, et ce en dépit de leur chevauchement avec d'autres colis.
Cette caractéristique est très avantageuse puisqu'un égrenage des colis sur le convoyeur n'est pas nécessaire, et donc que les colis peuvent occuper le convoyeur de manière beaucoup plus dense, ce qui augmente le débit de tri et simplifie la procédure et l'infrastructure de disposition des colis sur le convoyeur.
Lorsqu'un opérateur ne détecte pas d'ambiguïté quant au colis associé à un segment lumineux donné au cours de l'étape de test T00 du diagramme de la figure 4, comme par exemple dans les situations (a) et (b) des figures 3B, l'opérateur transfère simplement les colis au cours de l'étape S12.
Lorsqu'un opérateur détecte une ambiguïté, comme par exemple dans la situation (a) de la figure 3C dans laquelle deux colis 110c et HOd de mêmes dimensions et de même orientation se trouvent au même niveau du convoyeur, il est impossible de déterminer a priori à quel colis le segment lumineux 122 est associé.
Dans un tel cas, une simple manipulation de l'un des colis par l'opérateur au cours d'une étape SU suffit à lever l'ambiguïté, par décalage longitudinal de l'un des colis par rapport à l'autre et/ou par changement de son orientation, puis de procéder au transfert de l'étape S12.
Le décalage longitudinal d'un colis par rapport à l'autre entraînera un décalage du segment lumineux par rapport à l'un des colis, ce qui est une première manière de lever l'ambiguïté.
Une rotation d'un colis entraînera généralement une variation de la longueur du segment lumineux associé, passant de Ll dans la situation (a) à L2 dans la situation (b) après manipulation du colis llOd.
Ainsi, dans l'exemple de la figure 3C, l'une ou l'autre des manipulations précédentes effectuée par un opérateur permet de lever l'ambiguïté et d'associer sûrement le segment lumineux 122 au colis llOd, et non au colis 110c.
Lorsqu'un colis est sûrement identifié, un opérateur le récupère sur le convoyeur et le transporte jusqu'à la sortie de tri 130 dans laquelle il doit être transféré au cours de l'étape S12.
Pour assister l'opérateur, le système de contrôle- commande allume le voyant lumineux 142 associé à cette sortie, par exemple au moment où le colis n'est plus repéré sur les images numériques utilisées pour le suivi du colis.
Pour faciliter davantage le travail des opérateurs Op, les sources de lumière 205 et les voyants lumineux 142 peuvent être aptes à émettre plusieurs couleurs de lumière .
Ainsi, une sortie de tri peut être associée à une couleur particulière qui lui est propre, et le système de contrôle-commande peut générer en conséquence des segments lumineux de cette couleur particulière lorsqu'ils sont associés à un colis devant être transféré à cette sortie de tri, chaque sortie de tri étant associée à une couleur différente des autres sorties de tri .
Il doit être entendu par « couleur différente » qu'un opérateur peut aisément distinguer cette couleur des autres couleurs. Par exemple, si les colis HOy et llOz de la figure 3A doivent être transférés à une même sortie, les segments lumineux respectifs 122y et 122z émettront une lumière d'une même première couleur tandis que si le colis HOx doit être transféré à une autre sortie, l'indicateur lumineux 122x émettra une lumière d'une seconde couleur, différente de la première couleur.
De la même manière, le système de contrôle-commande peut commander les voyants lumineux 142 de manière telle qu'ils émettent chacun la couleur de leurs sorties de tri respectives et celle des segments lumineux 122 indiquant les colis devant respectivement y être transférés.
Les correspondances de couleurs entre les sorties de tri d'une part et les segments lumineux 122 et/ou les voyants lumineux 142 d'autre part peuvent être indiquées dans une table stockée dans la base de données 162.
Dans le procédé selon l'invention, grâce au suivi des colis incluant l'extraction d'informations sur leurs positions et leurs dimensions selon la direction de déplacement du convoyeur et le contrôle en temps réel des segments lumineux, la levée d'ambiguïté quant à l'identification d'un colis à transférer par un opérateur peut également se faire en temps réel, et ce de la manière très simple expliquée plus haut, ce qui apporte au procédé de tri simplicité opérationnelle, robustesse et souplesse.
L'expression « temps réel » doit être comprise dans cette description comme décrivant une réaction du système de contrôle-commande à la suite d'une action sur les colis qui est suffisamment rapide pour que les opérateurs en perçoivent presque immédiatement les conséquences dans les positions et longueurs des segments lumineux, par exemple moins de 5s après l'action sur les colis, de préférence moins de 2s, et plus préférentiellement moins d'une seconde.
De plus, la lecture d'informations de destination de colis et la mémorisation d'association entre les destinations et les sorties de tri par les opérateurs ne sont pas nécessaires, le procédé indiquant directement aux opérateurs, par le biais de signaux lumineux, les colis à transférer et les sorties de tri où transférer ces colis, ce qui permet une grande efficacité du tri en terme de vitesse et de fiabilité ainsi qu'une excellente souplesse organisationnelle.
Il va de soi que la présente invention ne saurait être limitée au mode de réalisation tel qu'exposé plus haut, susceptible de subir des modifications sans pour autant sortir du cadre de l'invention.

Claims

REVENDICATIONS
1. Procédé de tri de colis dans lequel les colis sont transportés (S02) par un convoyeur dans une direction (Dir) de déplacement jusqu'à un opérateur (Op) , dans lequel une unité de contrôle-commande (160) identifie (S04) chaque colis (110) à trier au moyen d'une lecture automatique d'un élément (112) d'identification attaché audit colis et, en réponse à l'identification, détermine (S06) automatiquement une sortie (130) de tri dudit colis où celui-ci doit être transféré par l'opérateur depuis le convoyeur, ladite unité de contrôle-commande étant agencée pour commander des sources de lumière réparties le long du convoyeur afin de générer et contrôler un indicateur lumineux d'assistance au tri dudit colis de manière telle que ledit indicateur lumineux se déplace avec ledit colis le long convoyeur, caractérisé en ce qu' il comprend les étapes suivantes :
on acquiert (SOI) des images numériques (250) comprenant ledit colis en déplacement sur le convoyeur, en ce que, à partir desdites images numériques, l'unité de contrôle- commande extrait (S08) en temps réel des informations (E, P) sur une position dudit colis et une dimension de celui-ci selon la direction (Dir) de déplacement du convoyeur pour réaliser un suivi dudit colis et, sur la base de ce suivi, commande (S10) en temps réel les sources (205) de lumière de manière à former l'indicateur lumineux sous forme d'un segment lumineux (122) ayant une longueur (L) selon la direction de déplacement qui est sensiblement égale à la dimension (D) du colis selon la direction de déplacement.
2. Le procédé de tri selon la revendication 1 caractérisé en ce que, pour acquérir les images numériques, on utilise des caméras agencées de sorte que leurs champs de vision (Sa, Sb, Sc, Sd) se chevauchent deux à deux.
3. Le procédé de tri selon la revendication 1 ou 2, caractérisé en ce qu'on dispose un châssis (140) muni de voyants lumineux (144) le long du convoyeur, en ce qu'on utilise comme sorties de tri des réceptacles (130) sur roulettes que l'on dispose au niveau du châssis, chaque réceptacle étant associé à l'un des voyant lumineux et disposé à proximité de celui-ci, et en ce que l'unité de contrôle-commande commande l'allumage d'un voyant lumineux situé à proximité de ladite sortie de tri pour indiquer à l'opérateur humain ladite sortie de tri.
4. Le procédé de tri selon l'une quelconque des revendications 1 à 3, caractérisé en ce que les sources de lumière sont aptes à émettre plusieurs couleurs de lumière, en ce que l'unité de contrôle-commande commande les sources de lumière en réponse à la détermination de la sortie de tri du colis de manière telle que ledit segment lumineux (122y) est d'une première couleur, et en ce qu'un second segment lumineux (122z) se déplaçant avec un second colis devant être transféré à ladite sortie de tri est de la première couleur.
5. Le procédé de tri selon la revendication 4, caractérisé en ce qu'un troisième segment lumineux (122x) progressant avec un troisième colis devant être transféré à une autre sortie de tri est d'une seconde couleur différente de la première couleur.
6. Le procédé de tri selon la revendication 4 ou 5, caractérisé en ce que lesdits voyants lumineux sont aptes à émettre plusieurs couleurs de lumière et en ce que l'unité de contrôle-commande commande le voyant lumineux situé à proximité de ladite sortie de tri de manière telle que le voyant lumineux émette de la lumière de la première couleur.
EP19737837.5A 2018-07-06 2019-06-04 Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles Active EP3817868B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1870813A FR3083460B1 (fr) 2018-07-06 2018-07-06 Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles
PCT/FR2019/051323 WO2020008122A1 (fr) 2018-07-06 2019-06-04 Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles

Publications (2)

Publication Number Publication Date
EP3817868A1 true EP3817868A1 (fr) 2021-05-12
EP3817868B1 EP3817868B1 (fr) 2022-05-25

Family

ID=63209617

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19737837.5A Active EP3817868B1 (fr) 2018-07-06 2019-06-04 Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles

Country Status (4)

Country Link
EP (1) EP3817868B1 (fr)
ES (1) ES2920699T3 (fr)
FR (1) FR3083460B1 (fr)
WO (1) WO2020008122A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3101072A1 (fr) * 2019-09-19 2021-03-26 Fives Intralogistics S.A. Système de suivi d’articles
CN111558537A (zh) * 2020-06-03 2020-08-21 广东康利达物联科技有限公司 基于灯带指引的货物分拣系统及分拣方法
CN112958490A (zh) * 2021-02-01 2021-06-15 广州市兴世机械制造有限公司 一种自动化流水线上不良品跟踪系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6878896B2 (en) * 2002-07-24 2005-04-12 United Parcel Service Of America, Inc. Synchronous semi-automatic parallel sorting
US8825200B2 (en) * 2007-11-07 2014-09-02 Siemens Industry, Inc. Method and system for tracking of items
US9299013B1 (en) * 2014-03-27 2016-03-29 Amazon Technologies, Inc. Visual task feedback for workstations in materials handling facilities

Also Published As

Publication number Publication date
FR3083460B1 (fr) 2020-07-10
EP3817868B1 (fr) 2022-05-25
ES2920699T3 (es) 2022-08-08
FR3083460A1 (fr) 2020-01-10
WO2020008122A1 (fr) 2020-01-09

Similar Documents

Publication Publication Date Title
EP3817868B1 (fr) Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles
EP3383770B1 (fr) Installation de tri d'articles comprenant un système de détection et d'analyse de la trajectoire des articles et procédé de tri
CN103223870A (zh) 受电弓损坏和磨损监视系统
FR2930105A1 (fr) Module d'inventaire pour un systeme de videosurveillance, procede pour realiser l'inventaire d'une zone surveillee et programme d'ordinateur.
FR2590704A1 (fr) Methode de diagnostic automatique de l'etat de fonctionnement d'un appareil
FR3027140A1 (fr) Installation logistique avec des navettes de transport de colis et des equipements portatifs d'identification des colis
EP1429272A1 (fr) Système de collecte et de vérification automatique de commandes d'objets
WO2016096157A1 (fr) Dispositif et procédé de contrôle de la qualité de boîtes pliables et installation de fabrication comprenant un tel dispositif de contrôle
EP1987472B1 (fr) Biodetecteur sans contact
EP4070295A1 (fr) Système et procédé de détection de fraude
EP3171990A1 (fr) Procédé pour trier des objets postaux dans un casier de tri avec un dénombrement automatique des objets triés
FR3059137A1 (fr) Procede et systeme de detection d'un objet en relief dans un parking
CA1275472C (fr) Procede et systeme de surveillance d'une installation industrielle
EP0923746B1 (fr) Procede pour la detection, l'identification et le suivi d'objets optiquement invisibles
FR2997212A1 (fr) Appairage d'un objet et d'un detenteur de cet objet
EP4169002A1 (fr) Procédé d'authentification d'un élément optiquement variable
CN104835239A (zh) 一种硬币识别装置及其识别方法
EP1778415A1 (fr) Installation de triage et de regroupement d'objets, recipients ou autres
EP2984639B1 (fr) Dispositif et procede de suivi 3d video d'objets d'interêt
CA3213067A1 (fr) Systeme de traitement de plantes notamment en agriculture
EP0559594A1 (fr) Procédé de création de la signature d'un objet représenté sur une image numérique,du type consistant à définir au moins un calibre dimensionnel caractéristique dudit objet, et procédé correspondant de vérification de la signature d'un objet
FR2918237A1 (fr) Procede de reperage de cameras d'un reseau et procede d'exploitation d'un tel reseau.
BE1021836B1 (nl) Inrichting voor het bepalen van een aantal kratten en werkwijze om kratten in een transportvoertuig te brengen of daaruit te halen
WO2022058596A2 (fr) Systeme de remise d'une commande en point-retrait
FR3101072A1 (fr) Système de suivi d’articles

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210208

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20220225

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602019015247

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1494058

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220615

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: FI

Ref legal event code: FGE

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2920699

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20220808

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1494058

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220926

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220825

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220826

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220825

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220925

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602019015247

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220604

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220604

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

26N No opposition filed

Effective date: 20230228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20230830

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20190604

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240621

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240619

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240619

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240628

Year of fee payment: 6

Ref country code: FI

Payment date: 20240625

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20240619

Year of fee payment: 6

Ref country code: BE

Payment date: 20240619

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20240625

Year of fee payment: 6