EP3817868B1 - Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles - Google Patents

Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles Download PDF

Info

Publication number
EP3817868B1
EP3817868B1 EP19737837.5A EP19737837A EP3817868B1 EP 3817868 B1 EP3817868 B1 EP 3817868B1 EP 19737837 A EP19737837 A EP 19737837A EP 3817868 B1 EP3817868 B1 EP 3817868B1
Authority
EP
European Patent Office
Prior art keywords
parcel
conveyor
sorting
light
parcels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP19737837.5A
Other languages
German (de)
English (en)
Other versions
EP3817868A1 (fr
Inventor
Bruno Volta
Christophe Caillon
Eric Deschamps
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Solystic SAS
Original Assignee
Solystic SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Solystic SAS filed Critical Solystic SAS
Publication of EP3817868A1 publication Critical patent/EP3817868A1/fr
Application granted granted Critical
Publication of EP3817868B1 publication Critical patent/EP3817868B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C7/00—Sorting by hand only e.g. of mail
    • B07C7/005—Computer assisted manual sorting, e.g. for mail

Definitions

  • Sorting method in which parcels are transported by a conveyor in a direction of travel to an operator, in which a control-command unit identifies a parcel to be sorted by means of a reading of an identification element and , in response to the identification, automatically determines a sorting outlet of said package where it must be transferred by the operator from the conveyor, said control-command unit being arranged to control light sources distributed along the conveyor in order to generate and control a luminous indicator for assistance in sorting the parcel in such a way that said luminous indicator moves with said parcel along the conveyor.
  • the packages are identified on the conveyor by means of optical readers acquiring information carried by the packages in the form alphanumeric, bar code or two-dimensional symbols.
  • the progress levels of each of the packages on the conveyor are deduced from the detection of their passages at a given level of the conveyor by photoelectric cells and from the knowledge of the speed of movement of the packages by the conveyor.
  • the indicators accompany the parcels because they are synchronized to the passage of the parcels at a given point and are controlled to move at the supposed speed of the parcels, in fact, the speed of movement of the conveyor.
  • the process described above imposes the reading of indications of sorting by the operators as well as the implementation of a system of ginning of the parcels and is based on a predictive method of deducing the location of the parcels, a method that does not support the unforeseen or the handling of the parcels during sorting.
  • the object of the invention is to improve the robustness and versatility of a sorting method using mobile luminous indicators.
  • the subject of the invention is a process for parcel sorting in which the parcels are transported by a conveyor in a direction of travel to an operator, in which a control-command unit identifies each parcel to be sorted by means of an automatic reading of an identification element attached to said package and, in response to the identification, automatically determines a sorting outlet of said package where it must be transferred by the operator from the conveyor, and said control-command unit being arranged to control light sources distributed along the conveyor in order to generate and control a light indicator to assist in sorting said parcel in such a way that said light indicator moves with said parcel along the long conveyor, characterized in that it comprises the following steps: digital images comprising said parcel moving on the conveyor are acquired, from said digital images, the control-command unit extracts in real time information on a position of said parcel and a dimension thereof according to the direction of displacement said package on the conveyor to track said package and, on the basis of this tracking, controls the light sources in real time so as to form the light indicator in the form of a light segment having a length in the
  • This process has the effect of improving the robustness of the tracking of the package by allowing it to be tracked in real time throughout its journey on the conveyor between its identification and its transfer by the operator, even in the event of blockage or manipulation of the package. during his unexpected or undetected movement or behavior of the conveyor.
  • This method also has the effect of facilitating the identification of a parcel to be sorted by direct correspondence between a physical characteristic of the parcel and a visual characteristic of a luminous indicator: the length of the parcel according to the direction of movement and the width of the signal light are substantially equal.
  • FIG. 1A One embodiment of a sorting method according to the invention is illustrated by the figures 1A to 4 .
  • parcels 110 to be sorted are placed on a conveyor during a step S00 then, during a step S02, a conveyor 100 transports the parcels 110 in a direction Dir of movement up to Op operators who are responsible for manually transferring these parcels into receptacles 130 on wheels used as sorting outlets.
  • the conveyor 100 can for example be a belt conveyor or even a roller conveyor.
  • the receptacles on wheels are arranged along the conveyor, at the level of one or more frames 140 delimiting locations 144 on the ground, each intended to be occupied by one of the trolleys on wheels 130.
  • the frame or frames 140 are equipped with an indicator light 142 at each location 144, here in such a way that the lights are located above the roller carts when the latter are in place, so that each indicator light is associated with one of the sorting outlets.
  • the parcels pass at the level of an automatic reading means 150 which reads identification elements 112 attached to the parcels, the automatic reading means being functionally connected to and controlled by a control unit -command 160 which identifies the parcels during a step S04, for example by associating each of them with the respective information read by the means 150 of automatic reading.
  • the automatic reading means 150 may for example be an optical scanner capable of reading a barcode, a two-dimensional code or information in alphanumeric form present on a label affixed to the package and used as an identification element.
  • the control-command system is configured to, during a step S06, automatically determine a sorting outlet for each of the identified parcels, an outlet into which these parcels must be transferred by the operator from the conveyor.
  • This determination is made for example by retrieving information from a database 162 which contains a correspondence table between, on the one hand, information such as destination addresses read on the packages by the means 150 of automatic reading and, on the other hand, the sorting outlets in which the parcels must be transferred by the operators, then assigning each parcel the corresponding sorting outlet according to the correspondence table.
  • the conveyor is surmounted by cameras 170a to 170d arranged so that their fields of vision 172 overlap two by two so as to cover, preferably, the entire route of a package on the conveyor between its passage at the level of the means 150 for automatic reading until it is transferred to a sorting outlet 130 by an operator Op.
  • the cameras are controlled by the control-command system and send back to it the digital images which they acquire continuously between the passage of the packages at the level of the automatic reading means until the parcels are recovered from the conveyor by the operators, the acquisition of the images being done at a frequency preferably greater than 5 Hz and less than 100 Hz, plus preferably greater than 10 Hz and less than 30 Hz, in order to perform real-time control without requiring excessive computing power.
  • digital images are acquired comprising a parcel moving on the conveyor, these images are analyzed by the control-command unit which extracts from them in real time information on a position of the parcel on the conveyor and a dimension of the latter according to the direction of movement of the parcel on the conveyor to carry out a follow-up of the parcel.
  • the analysis can be carried out by means of a neural network configured to locate the packages in the images, compare images taken successively and deduce therefrom the position and the movement of each of the packages included in these images, the analysis resulting tracking these parcels as they travel.
  • One of the cameras, camera 170a of the figure 1B is arranged so that its field of vision covers the passage of the parcels 110 at the level of the automatic reading means 150, and the control-command unit identifies a given parcel carrying information 112 read by the automatic reading means by associating it with the package identified at the level of the automatic reading means in the image acquired by this camera at the time of reading this information.
  • image acquired by this camera at the time of reading it should be understood that, in a series of digital images taken in succession by said camera, the digital image temporally closest to the time of reading is considered.
  • This process makes it possible to follow in real time the parcels transported by the conveyor, independently of the speed of movement of the conveyor and of the variations of this speed or of unexpected stoppage, and is insensitive to handling of the parcels as long as they remain on the conveyor and/or in the field of view of the cameras, parcel tracking is therefore very robust and adaptable.
  • the orientation of the cameras is such that, as illustrated by the figure 2A which represents a digital image 250 acquired by one of the cameras, the fields of vision of the cameras are preferably more extensive in the longitudinal direction of the conveyor, that is to say in the direction Dir of movement of the packages, than in the transverse direction, and the columns of pixels of the digital images are oriented perpendicular to this direction Dir of movement of the packages.
  • control-command unit detects the points Pext1 Pext2 of each parcel marked on the digital images which are respectively the most upstream and the most downstream of the conveyor, and the two columns of pixels CL1 and CL2 on which these two points are respectively located.
  • This operation amounts to extracting images, and in each image, the position P and the extent E of a projection of each package on an edge of the conveyor in a direction perpendicular to the direction of movement on the conveyor (it is considered here that the edge of the conveyor is parallel to the direction of movement of the packages).
  • the position P and the extent E are considered in the images and can therefore be expressed in pixels, but that, if necessary, a calibration establishing a correspondence between the points of the digital images and the real positions on the conveyor would make it possible to obtain positions and extents measured in meters at the level of the conveyor; the position P and the extent E represent information on a position of the parcel and a dimension of the latter according to the direction (Dir) of movement of the conveyor.
  • the extraction of the positions P and the extents E of each of the packages from the digital images constitutes a tracking of the packages on the basis of which the control-command unit controls, during a step S10, distributed light sources along the conveyor in the form of a strip 120 of light sources 205 so as to form light segments 122 having lengths L in the direction Dir of movement which are substantially equal to the dimensions D of the respective packages in the direction of movement and move with the respective parcels, as indicated on the Figure 1A .
  • control-command unit switches on the light sources located at the level of the projection of a package by turning on the light sources positioned, on the images, between the columns CL1 and CL2 defining the position and extent of this package on an image, for example by means of a pre-established correspondence between, of on the one hand, the columns of pixels of the images and, on the other hand, the positions of the light sources 205 along the conveyor.
  • the correspondence can be recovered by the control-command unit in a correspondence table prepared in advance and stored in the database 162.
  • the switching on of the light sources is constantly updated and leads to the formation of light segments moving with the packages, which allows the operators to immediately associate a moving light segment with a parcel moving on the conveyor.
  • the figure 2B shows an initial situation and three successive updates of the switching on of light sources of a portion of a strip 120 of light sources at four successive instants t00 to t03, with the patterns 205a and 205b respectively indicating light sources 205 off and light sources 205 on.
  • the successive updates make it possible to control the position and the length L of a luminous segment 122 mobile along the conveyor, the length L being proportional to the extent E of a projection of each package on an edge of the conveyor in a perpendicular direction to the direction of travel on the conveyor, this projection being considered on one digital images used for tracking the package.
  • each pixel of one of the images corresponds to a square of 1 cm side on the conveyor and the strip 120 of light sources consists of light sources such as diodes distributed along the conveyor according to a step of 1 cm, then each diode corresponds to one of the columns of pixels of one of the images.
  • the control-command system commands the lighting of the 50 diodes corresponding to these 50 pixels, which results in a light segment produced by the diodes of approximately 50 cm, this light segment moving with the package.
  • Two strips 120 of light sources can frame the conveyor 100 and be controlled independently by the control-command system, for example in order to generate light segments intended for operators located on either side of the conveyor to transfer parcels in sorting outlets also located on either side of the conveyor, as illustrated by the Figure 1A .
  • the Fig. 2C illustrates that the control system 160 is functionally connected to the scanner 150, the cameras 160a to 160d, the strips 120 of light sources, the indicator lights 142 and the database 162.
  • the conveyor is divided into Sec-1 to Sec-4 sorting sections shown on the Figure 3A , each sorting section being assigned to an operator given having the responsibility of transferring the parcels to one or more given sorting outlets during a step S12, the control-command system only generating the luminous segments indicating the sorting of the parcels only when the latter enter in the section of the operator responsible for their respective sorting destinations.
  • the Figure 3A gives the example of a side view of a conveyor transporting parcels to be sorted at 5 successive instants t 0 to t 4 .
  • a 122x light segment associated with a 110x package is only generated when this package enters the Sec-3 section under the responsibility of an operator assigned to transfer this package to a sorting outlet.
  • the light segments 122y and 122z associated respectively with the packages 110y and 110z are generated as soon as these packages enter the Sec-2 section under the responsibility of an operator to whom the transfers of these packages are assigned.
  • the method according to the invention makes it possible to generate luminous segments which are associated with respective parcels and which make it possible to quickly and surely identify them both in a situation (a) in which the parcels are shelled on the conveyor and in a situation (b) in which the parcels overlap in the direction perpendicular to the Dir direction of movement.
  • step S11 a simple manipulation of one of the packages by the operator during a step S11 suffices to remove the ambiguity, by longitudinal offset of one of the packages relative to the other and/or by changing its orientation, then proceeding to the transfer of step S12.
  • the longitudinal shift of one parcel relative to the other will cause the light segment to shift relative to one of the parcels, which is a first way to remove the ambiguity.
  • a rotation of a package will generally lead to a variation in the length of the associated light segment, changing from L1 in situation (a) to L2 in situation (b) after handling the package 110d.
  • control-command system turns on the indicator light 142 associated with this output, for example when the package is no longer identified on the digital images used for tracking the package.
  • the light sources 205 and the indicator lights 142 can be capable of emitting several colors of light.
  • a sorting outlet can be associated with a particular color that is specific to it, and the control-command system can consequently generate light segments of this particular color when they are associated with a parcel to be transferred to this exit.
  • sorting outlet each sorting outlet being associated with a different color from the other sorting outlets.
  • the respective light segments 122y and 122z will emit a light of a same first color while if the parcel 110x must be transferred to another exit, the indicator light 122x will emit a light of one second color, different from the first color.
  • control-command system can control the indicator lights 142 in such a way that they each emit the color of their respective sorting outlets and that of the light segments 122 indicating the parcels respectively to be transferred there.
  • the color correspondences between the sorting outlets on the one hand and the light segments 122 and/or the indicator lights 142 on the other hand can be indicated in a table stored in the database 162.
  • the removal of ambiguity as to the identification of a parcel to be transferred by an operator can also be done in real time, and this in the very simple manner explained above, which brings operational simplicity, robustness and flexibility to the sorting process.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Sorting Of Articles (AREA)
  • Control Of Conveyors (AREA)
  • Discharge Of Articles From Conveyors (AREA)
  • Spinning Or Twisting Of Yarns (AREA)

Description

    Domaine technique
  • Procédé de tri dans lequel des colis sont transportés par un convoyeur dans une direction de déplacement jusqu'à un opérateur, dans lequel une unité de contrôle-commande identifie un colis à trier au moyen d'une lecture d'un élément d'identification et, en réponse à l'identification, détermine automatiquement une sortie de tri dudit colis où celui-ci doit être transféré par l'opérateur depuis le convoyeur, ladite unité de contrôle-commande étant agencée pour commander des sources de lumière réparties le long du convoyeur afin de générer et contrôler un indicateur lumineux d'assistance au tri du colis de manière telle que ledit indicateur lumineux se déplace avec ledit colis le long du convoyeur.
    • Technique antérieure
  • Un tel type de procédé est décrit dans le brevet européen EP 1 531 949 B1 qui divulgue un procédé de tri dans lequel un convoyeur transporte des colis à trier avec une bande de diodes électroluminescentes s'étendant sur le bord du convoyeur et affichant des indicateurs de destination de tri qui accompagnent le colis au cours de son déplacement sur le convoyeur, de manière à assister un opérateur humain effectuant manuellement le tri.
  • Dans ce brevet, les colis sont identifiés sur le convoyeur au moyen de lecteurs optiques acquérant des informations portées par les colis sous forme alphanumérique, de code barre ou de symboles à deux dimensions.
  • Les niveaux d'avancement de chacun des colis sur le convoyeur sont déduits de la détection de leurs passages à un niveau donné du convoyeur par des cellules photoélectriques et de la connaissance de la vitesse de déplacement des colis par le convoyeur.
  • Les indicateurs accompagnent les colis parce qu'ils sont synchronisés au passage des colis en un point donné et sont contrôlés pour se déplacer à la vitesse supposée des colis, en fait, la vitesse de déplacement du convoyeur.
  • Pour son bon fonctionnement, un tel système impose un égrenage des colis, c'est-à-dire un transport des colis un par un, séparés l'un de l'autre d'une certaine distance dans leur direction de déplacement afin, par exemple, d'éviter des ambiguïtés quant à l'identité des colis qui pourraient entraîner des erreurs de tri.
  • En plus de limiter l'exploitation du potentiel du convoyeur à un transport des colis un par un, le procédé décrit ci-dessus impose la lecture d'indications de tri par les opérateurs ainsi que l'implémentation d'un système d'égrenage des colis et repose sur une méthode prédictive de déduction de l'emplacement des colis, méthode ne supportant pas l'imprévu ou les manipulations des colis en cours de tri.
    • Exposé de l'invention
  • L'invention a pour objectif d'améliorer la robustesse et la versatilité d'un procédé de tri utilisant des indicateurs lumineux mobiles.
  • A cet effet, l'invention a pour objet un procédé de tri de colis dans lequel les colis sont transportés par un convoyeur dans une direction de déplacement jusqu'à un opérateur, dans lequel une unité de contrôle-commande identifie chaque colis à trier au moyen d'une lecture automatique d'un élément d'identification attaché audit colis et, en réponse à l'identification, détermine automatiquement une sortie de tri dudit colis où celui-ci doit être transféré par l'opérateur depuis le convoyeur, et ladite unité de contrôle-commande étant agencée pour commander des sources de lumière réparties le long du convoyeur afin de générer et contrôler un indicateur lumineux d'assistance au tri dudit colis de manière telle que ledit indicateur lumineux se déplace avec ledit colis le long convoyeur, caractérisé en ce qu'il comporte les étapes suivantes :
    on acquiert des images numériques comprenant ledit colis en déplacement sur le convoyeur, à partir desdites images numériques, l'unité de contrôle-commande extrait en temps réel des informations sur une position dudit colis et une dimension de celui-ci selon la direction de déplacement dudit colis sur le convoyeur pour réaliser un suivi dudit colis et, sur la base de ce suivi, commande en temps réel les sources de lumière de manière à former l'indicateur lumineux sous forme d'un segment lumineux ayant une longueur selon la direction de déplacement qui est sensiblement égale à la dimension dudit colis selon la direction de déplacement.
  • Ce procédé a pour effet d'améliorer la robustesse du suivi du colis en permettant de le suivre en temps réel sur tout son parcours sur le convoyeur entre son identification et son transfert par l'opérateur, même en cas de blocage ou de manipulation du colis pendant son déplacement ou de comportement imprévu ou non détecté du convoyeur.
  • Ce procédé a également pour effet de faciliter l'identification d'un colis à trier par correspondance directe entre une caractéristique physique du colis et une caractéristique visuelle d'un indicateur lumineux : la longueur du colis selon la direction de déplacement et la largeur du signal lumineux sont sensiblement égales.
  • Le procédé selon l'invention peut avantageusement présenter les particularités suivantes :
    • pour acquérir les images numériques, on peut utiliser des caméras agencées de sorte que leurs champs de vision se chevauchent deux à deux ;
    • on peut disposer un châssis muni de voyants lumineux le long du convoyeur, on peut utiliser comme sorties de tri des réceptacles sur roulettes que l'on dispose au niveau du châssis, chaque réceptacle étant associé à l'un des voyant lumineux et disposé à proximité de celui-ci, et l'unité de contrôle-commande peut commander l'allumage d'un voyant lumineux situé à proximité de ladite sortie de tri pour indiquer à l'opérateur humain ladite sortie de tri ;
    • les sources de lumière peuvent être aptes à émettre plusieurs couleurs de lumière, l'unité de contrôle-commande peut commander les sources de lumière en réponse à la détermination de la sortie de tri du colis de manière telle que ledit segment lumineux est d'une première couleur, et un second segment lumineux peut se déplacer avec un second colis devant être transféré à ladite sortie de tri et être de la première couleur ;
    • un troisième segment lumineux progressant avec un troisième colis devant être transféré à une autre sortie de tri peut être d'une seconde couleur différente de la première couleur ; et
    • lesdits voyants lumineux peuvent être aptes à émettre plusieurs couleurs de lumière et l'unité de contrôle-commande peut commander le voyant lumineux situé à proximité de ladite sortie de tri de manière telle que le voyant lumineux émette de la lumière de la première couleur.
    Présentation sommaire des dessins
  • La présente invention sera mieux comprise et d'autres avantages apparaîtront à la lecture de la description détaillée d'un mode de réalisation pris à titre d'exemple nullement limitatif et illustré par les dessins annexés, dans lesquels :
    • les figures 1A et 1B illustrent respectivement une vue d'en haut et une vue de côté d'un système de tri comprenant un convoyeur ;
    • la figure 2A illustre une image numérique du convoyeur des figures 1A et 1B ;
    • la figure 2B illustre une bande de sources de lumière située le long du convoyeur des figures 1A et 1B ;
    • la figure 2C illustre un diagramme indiquant les liens fonctionnels entre les éléments du système de tri des figures 1A et 1B ; et
    • les figures 3A à 3C et 4 illustrent des étapes du procédé de tri mis en œuvre par le système des figures 1A et 1B.
    Description d'un mode de réalisation
  • Un mode de réalisation d'un procédé de tri selon l'invention est illustré par les figures 1A à 4.
  • Au début de ce procédé, des colis 110 à trier sont disposés sur un convoyeur au cours d'une étape S00 puis, au cours d'une étape S02, un convoyeur 100 transporte les colis 110 dans une direction Dir de déplacement jusqu'à des opérateurs Op qui sont chargés de transférer manuellement ces colis dans des réceptacles 130 sur roulettes utilisés comme sorties de tri.
  • Le convoyeur 100 peut être par exemple un convoyeur à bande ou encore à rouleaux.
  • Les réceptacles sur roulettes sont disposés le long du convoyeur, au niveau d'un ou plusieurs châssis 140 délimitant au sol des emplacements 144 chacun prévu pour être occupé par un des chariots à roulettes 130.
  • Le ou les châssis 140 sont équipés d'un voyant lumineux 142 au niveau de chaque emplacement 144, ici de manière telle que les voyants sont situés au-dessus des chariots à roulettes lorsque ces derniers sont en place, de sorte que chaque voyant lumineux est associé à l'une des sorties de tri.
  • Au cours de leur transport par le convoyeur, les colis passent au niveau d'un moyen 150 de lecture automatique qui lit des éléments 112 d'identification attachés aux colis, le moyen de lecture automatique étant fonctionnellement connecté à et contrôlé par une unité de contrôle-commande 160 qui identifie les colis au cours d'une étape S04, par exemple en les associant chacun aux informations respectives lues par le moyen 150 de lecture automatique.
  • Le moyen 150 de lecture automatique peut être par exemple un scanner optique apte à lire un code-barres, un code bidimensionnel ou une information se présentant sous forme alphanumérique présente sur une étiquette apposée sur le colis et utilisée comme élément d'identification.
  • Le système de contrôle-commande est configuré pour, au cours d'une étape S06, déterminer automatiquement une sortie de tri pour chacun des colis identifiés, sortie dans laquelle ces colis doivent être transférés par l'opérateur depuis le convoyeur.
  • Cette détermination s'effectue par exemple en récupérant des informations d'une base de donnée 162 qui contient une table de correspondance entre, d'une part, les informations telles que des adresses de destination lues sur les colis par le moyen 150 de lecture automatique et, d'autre part, les sorties de tri dans lesquelles les colis doivent être transférés par les opérateurs, puis en assignant à chaque colis la sortie de tri correspondante selon la table de correspondance.
  • Comme illustré par la figure 1B, le convoyeur est surmonté de caméras 170a à 170d agencées de sorte que leurs champs de vision 172 se chevauchent deux à deux de manière à couvrir, de préférence, la totalité du parcours d'un colis sur le convoyeur entre son passage au niveau du moyen 150 de lecture automatique jusqu'à son transfert dans une sortie de tri 130 par un opérateur Op.
  • Au cours d'une étape S01, les caméras sont commandées par le système de contrôle-commande et lui renvoient les images numériques qu'elles acquièrent de façon continue entre le passage des colis au niveau du moyen de lecture automatique jusqu'à ce que les colis soient récupérés sur le convoyeur par les opérateurs, l'acquisition des images se faisant à une fréquence de préférence supérieure à 5Hz et inférieure à 100 Hz, plus préférentiellement supérieure à 10 Hz et inférieure à 30 Hz, afin de réaliser un contrôle en temps réel sans demander une puissance de calcul excessive.
  • En utilisant les caméras, on acquiert des images numériques comprenant un colis en déplacement sur le convoyeur, ces images sont analysées par l'unité de contrôle-commande qui en extrait en temps réel des informations sur une position du colis sur le convoyeur et une dimension de celui-ci selon la direction de déplacement du colis sur le convoyeur pour réaliser un suivi du colis.
  • L'analyse peut s'effectuer au moyen d'un réseau de neurones configuré pour repérer les colis dans les images, comparer des images prises successivement et en déduire la position et le déplacement de chacun des colis compris dans ces images, l'analyse résultant en un suivi de ces colis au cours de leurs déplacements.
  • L'une des caméras, la caméra 170a de la figure 1B, est agencée de manière à ce que son champ de vision couvre le passage des colis 110 au niveau du moyen 150 de lecture automatique, et l'unité de contrôle-commande identifie un colis donné portant des informations 112 lues par le moyen de lecture automatique en l'associant au colis repéré au niveau du moyen de lecture automatique dans l'image acquise par cette caméra au moment de la lecture de ces informations.
  • Par « image acquise par cette caméra au moment de la lecture », il doit être compris que, dans une série d'images numériques prises en succession par ladite caméra, on considère l'image numérique temporellement la plus proche du moment de la lecture.
  • A partir du moment où un colis transporté par le convoyeur est associé à un colis repéré sur une image, ce colis est suivi par analyse en temps réel des images prises successivement par l'ensemble des caméras ; le recouvrement des champs de vision des caméras permet de suivre le colis le long de son déplacement sur le convoyeur sans le perdre de vue en établissant une correspondance entre un colis quittant le champ de vison d'une caméra et entrant le champ de vision d'une caméra adjacente.
  • Ce procédé permet de suivre en temps réel les colis transportés par le convoyeur, indépendamment de la vitesse de déplacement du convoyeur et des variations de cette vitesse ou d'arrêt inopiné, et est insensible aux manipulations des colis tant que ceux-ci restent sur le convoyeur et/ou dans le champ de vison des caméras, le suivi des colis est donc très robuste et adaptable.
  • L'orientation des caméras est telle que, comme illustré par la figure 2A qui représente une image numérique 250 acquise par l'une des caméras, les champs de vison des caméras sont de préférence plus étendus dans la direction longitudinale du convoyeur, c'est-à-dire dans la direction Dir de déplacement des colis, que dans la direction transversale, et les colonnes de pixels des images numériques sont orientées perpendiculairement cette direction Dir de déplacement des colis.
  • Au cours de l'analyse, pendant une étape S08, l'unité de contrôle-commande détecte les points Pext1 Pext2 de chaque colis repéré sur les images numériques qui sont respectivement le plus en amont et le plus en aval du convoyeur, et les deux colonnes de pixels CL1 et CL2 sur lesquelles ces deux points sont respectivement situés.
  • Cette opération revient à extraire des images, et dans chaque image, la position P et l'étendue E d'une projection de chaque colis sur un bord du convoyeur selon une direction perpendiculaire à la direction de déplacement sur le convoyeur (il est considéré ici que le bord du convoyeur est parallèle à la direction de déplacement des colis).
  • Il est à noter que la position P et l'étendue E sont considérées dans les images et peuvent donc s'exprimer en pixels, mais que, si besoin était, une calibration établissant une correspondance entre les points des images numériques et les positions réelles sur le convoyeur permettrait d'obtenir des positions et des étendues se mesurant en mètres au niveau du convoyeur ; la position P et l'étendue E représentent des informations sur une position du colis et une dimension de celui-ci selon la direction (Dir) de déplacement du convoyeur.
  • L'extraction des positions P et des étendues E de chacun des colis à partir des images numériques constitue un suivi des colis sur la base duquel l'unité de contrôle-commande commande, au cours d'une étape S10, des sources de lumière réparties le long du convoyeur sous forme d'une bande 120 de sources 205 de lumière de manière à former des segments lumineux 122 ayant des longueurs L selon la direction Dir de déplacement qui sont sensiblement égales aux dimensions D des colis respectifs selon la direction de déplacement et se déplacent avec les colis respectifs, comme indiqué sur la figure 1A.
  • Plus précisément, l'unité de contrôle-commande allume les sources de lumière situées au niveau de la projection d'un colis en allumant les sources de lumière positionnées, sur les images, entre les colonnes CL1 et CL2 définissant la position et l'étendue de ce colis sur une image, par exemple au moyen d'une correspondance préétablie entre, d'une part, les colonnes de pixels des images et, d'autre part, les positions des sources de lumière 205 le long du convoyeur.
  • La correspondance peut être récupérée par l'unité de contrôle-commande dans une table de correspondance préparée à l'avance et stockée dans la base de données 162.
  • L'analyse des images et les commandes du système de contrôle-commande se réalisant en temps réel, l'allumage des sources de lumière est réactualisé en permanence et mène à la formation de segments lumineux se déplaçant avec les colis, ce qui permet aux opérateurs d'associer immédiatement un segment lumineux mobile à un colis en déplacement sur le convoyeur.
  • Ainsi, la figure 2B montre une situation initiale et trois réactualisations successives de l'allumage de sources de lumière d'une portion d'une bande 120 de sources de lumière à quatre instants successifs t00 à t03, avec les motifs 205a et 205b indiquant respectivement des sources 205 de lumière éteintes et des sources 205 de lumière allumées.
  • Les réactualisations successives permettent de contrôler la position et la longueur L d'un segment lumineux 122 mobile le long du convoyeur, la longueur L étant proportionnelle à l'étendue E d'une projection de chaque colis sur un bord du convoyeur selon une direction perpendiculaire à la direction de déplacement sur le convoyeur, cette projection étant considérée sur l'une des images numériques utilisées pour le suivi du colis.
  • Si, par exemple, chaque pixel de l'une des images correspond à un carré de 1 cm de côté sur le convoyeur et que la bande 120 de sources de lumière est constituée de sources de lumière telles que des diodes réparties le long du convoyeur selon un pas de 1 cm, alors chaque diode correspond à une des colonnes de pixels de l'une des images.
  • Dans l'exemple ci-dessus, pour le cas d'un colis dont la projection sur le bord du convoyeur selon une direction perpendiculaire à la direction de déplacement s'étend sur 50 pixels sur les images, alors le système de contrôle-commande commande l'allumage des 50 diodes correspondant à ces 50 pixels, ce qui se traduit par un segment lumineux produit par les diodes d'environ 50 cm, ce segment lumineux se déplaçant avec le colis.
  • Deux bandes 120 de sources de lumière peuvent encadrer le convoyeur 100 et être commandées indépendamment par le système de contrôle-commande, par exemple afin de générer des segments lumineux à destination d'opérateurs situés de part et d'autre du convoyeur pour transférer des colis dans des sorties de tri situées elles aussi de part et d'autre du convoyeur, comme illustré par la figure 1A.
  • La figure 2C illustre que le système de contrôle-commande 160 est fonctionnellement connecté au scanner 150, aux caméras 160a à 160d, aux bandes 120 de sources de lumière, aux voyants lumineux 142 et à la base de données 162.
  • Dans ce mode de réalisation, le convoyeur est divisé en sections de tri Sec-1 à Sec-4 indiquées sur la figure 3A, chaque section de tri étant assignée à un opérateur donné ayant la responsabilité de transférer les colis à destination d'une ou plusieurs sorties de tri données au cours d'une étape S12, le système de contrôle-commande ne générant les segments lumineux d'indication de tri des colis que lorsque ces derniers entrent dans la section de l'opérateur responsable de leurs destinations de tri respectives.
  • La figure 3A donne l'exemple d'une vue de côté d'un convoyeur transportant des colis à trier à 5 instants successifs t0 à t4.
  • Comme illustré, un segment lumineux 122x associé à un colis 110x n'est généré que lorsque ce colis entre dans la section Sec-3 sous la responsabilité d'un opérateur auquel est assigné le transfert de ce colis dans une sortie de tri.
  • En revanche, les segments lumineux 122y et 122z associés respectivement aux colis 110y et 110z sont générés dès que ces colis entrent dans la section Sec-2 sous la responsabilité d'un opérateur auquel sont assignés les transferts de ces colis.
  • Dans ces deux cas, lorsque les colis sont retirés du convoyeur par les opérateurs, ils n'apparaissent plus sur les images numériques et n'y sont donc plus repérés, et la génération des segments lumineux respectifs s'arrête au cours d'une étape S14, ce qui correspond à l'instant t4 de la figure 3A pour les colis 110x et 110y.
  • Comme illustré par la figure 3B, le procédé selon l'invention permet de générer des segments lumineux qui sont associés à des colis respectifs et qui permettent de rapidement et sûrement les identifier aussi bien dans une situation (a) dans laquelle les colis sont égrenés sur le convoyeur que dans une situation (b) dans laquelle les colis se chevauchent selon la direction perpendiculaire à la direction Dir de déplacement.
  • Dans la figure 3B, il est par exemple aisé pour un opérateur de voir que les indicateurs lumineux 122a et 122b sont respectivement associés aux colis 110a et 110b, et ce en dépit de leur chevauchement avec d'autres colis.
  • Cette caractéristique est très avantageuse puisqu'un égrenage des colis sur le convoyeur n'est pas nécessaire, et donc que les colis peuvent occuper le convoyeur de manière beaucoup plus dense, ce qui augmente le débit de tri et simplifie la procédure et l'infrastructure de disposition des colis sur le convoyeur.
  • Lorsqu'un opérateur ne détecte pas d'ambiguïté quant au colis associé à un segment lumineux donné au cours de l'étape de test T00 du diagramme de la figure 4, comme par exemple dans les situations (a) et (b) de la figure 3B, l'opérateur transfère simplement les colis au cours de l'étape S12.
  • Lorsqu'un opérateur détecte une ambiguïté, comme par exemple dans la situation (a) de la figure 3C dans laquelle deux colis 110c et 110d de mêmes dimensions et de même orientation se trouvent au même niveau du convoyeur, il est impossible de déterminer a priori à quel colis le segment lumineux 122 est associé.
  • Dans un tel cas, une simple manipulation de l'un des colis par l'opérateur au cours d'une étape S11 suffit à lever l'ambiguïté, par décalage longitudinal de l'un des colis par rapport à l'autre et/ou par changement de son orientation, puis de procéder au transfert de l'étape S12.
  • Le décalage longitudinal d'un colis par rapport à l'autre entraînera un décalage du segment lumineux par rapport à l'un des colis, ce qui est une première manière de lever l'ambiguïté.
  • Une rotation d'un colis entraînera généralement une variation de la longueur du segment lumineux associé, passant de L1 dans la situation (a) à L2 dans la situation (b) après manipulation du colis 110d.
  • Ainsi, dans l'exemple de la figure 3C, l'une ou l'autre des manipulations précédentes effectuée par un opérateur permet de lever l'ambiguïté et d'associer sûrement le segment lumineux 122 au colis 110d, et non au colis 110c.
  • Lorsqu'un colis est sûrement identifié, un opérateur le récupère sur le convoyeur et le transporte jusqu'à la sortie de tri 130 dans laquelle il doit être transféré au cours de l'étape S12.
  • Pour assister l'opérateur, le système de contrôle-commande allume le voyant lumineux 142 associé à cette sortie, par exemple au moment où le colis n'est plus repéré sur les images numériques utilisées pour le suivi du colis.
  • Pour faciliter davantage le travail des opérateurs Op, les sources de lumière 205 et les voyants lumineux 142 peuvent être aptes à émettre plusieurs couleurs de lumière.
  • Ainsi, une sortie de tri peut être associée à une couleur particulière qui lui est propre, et le système de contrôle-commande peut générer en conséquence des segments lumineux de cette couleur particulière lorsqu'ils sont associés à un colis devant être transféré à cette sortie de tri, chaque sortie de tri étant associée à une couleur différente des autres sorties de tri.
  • Il doit être entendu par « couleur différente » qu'un opérateur peut aisément distinguer cette couleur des autres couleurs.
  • Par exemple, si les colis 110y et 110z de la figure 3A doivent être transférés à une même sortie, les segments lumineux respectifs 122y et 122z émettront une lumière d'une même première couleur tandis que si le colis 110x doit être transféré à une autre sortie, l'indicateur lumineux 122x émettra une lumière d'une seconde couleur, différente de la première couleur.
  • De la même manière, le système de contrôle-commande peut commander les voyants lumineux 142 de manière telle qu'ils émettent chacun la couleur de leurs sorties de tri respectives et celle des segments lumineux 122 indiquant les colis devant respectivement y être transférés.
  • Les correspondances de couleurs entre les sorties de tri d'une part et les segments lumineux 122 et/ou les voyants lumineux 142 d'autre part peuvent être indiquées dans une table stockée dans la base de données 162.
  • Dans le procédé selon l'invention, grâce au suivi des colis incluant l'extraction d'informations sur leurs positions et leurs dimensions selon la direction de déplacement du convoyeur et le contrôle en temps réel des segments lumineux, la levée d'ambiguïté quant à l'identification d'un colis à transférer par un opérateur peut également se faire en temps réel, et ce de la manière très simple expliquée plus haut, ce qui apporte au procédé de tri simplicité opérationnelle, robustesse et souplesse.
  • L'expression « temps réel » doit être comprise dans cette description comme décrivant une réaction du système de contrôle-commande à la suite d'une action sur les colis qui est suffisamment rapide pour que les opérateurs en perçoivent presque immédiatement les conséquences dans les positions et longueurs des segments lumineux, par exemple moins de 5s après l'action sur les colis, de préférence moins de 2s, et plus préférentiellement moins d'une seconde.
  • De plus, la lecture d'informations de destination de colis et la mémorisation d'association entre les destinations et les sorties de tri par les opérateurs ne sont pas nécessaires, le procédé indiquant directement aux opérateurs, par le biais de signaux lumineux, les colis à transférer et les sorties de tri où transférer ces colis, ce qui permet une grande efficacité du tri en terme de vitesse et de fiabilité ainsi qu'une excellente souplesse organisationnelle.
  • Il va de soi que la présente invention ne saurait être limitée au mode de réalisation tel qu'exposé plus haut, susceptible de subir des modifications sans pour autant sortir du cadre de l'invention.

Claims (6)

  1. Procédé de tri de colis dans lequel les colis sont transportés (S02) par un convoyeur dans une direction (Dir) de déplacement jusqu'à un opérateur (Op), dans lequel une unité de contrôle-commande (160) identifie (S04) chaque colis (110) à trier au moyen d'une lecture automatique d'un élément (112) d'identification attaché audit colis et, en réponse à l'identification, détermine (S06) automatiquement une sortie (130) de tri dudit colis où celui-ci doit être transféré par l'opérateur depuis le convoyeur, ladite unité de contrôle-commande étant agencée pour commander des sources de lumière réparties le long du convoyeur afin de générer et contrôler un indicateur lumineux d'assistance au tri dudit colis de manière telle que ledit indicateur lumineux se déplace avec ledit colis le long convoyeur, caractérisé en ce qu'il comprend les étapes suivantes :
    on acquiert (S01) des images numériques (250) comprenant ledit colis en déplacement sur le convoyeur, à partir desdites images numériques, l'unité de contrôle-commande extrait (S08) en temps réel des informations (E, P) sur une position dudit colis et une dimension de celui-ci selon la direction (Dir) de déplacement du convoyeur pour réaliser un suivi dudit colis et, sur la base de ce suivi, commande (S10) en temps réel les sources (205) de lumière de manière à former l'indicateur lumineux sous forme d'un segment lumineux (122) ayant une longueur (L) selon la direction de déplacement qui est sensiblement égale à la dimension (D) du colis selon la direction de déplacement.
  2. Le procédé de tri selon la revendication 1, caractérisé en ce que, pour acquérir les images numériques, on utilise des caméras agencées de sorte que leurs champs de vision (Sa, Sb, Sc, Sd) se chevauchent deux à deux.
  3. Le procédé de tri selon la revendication 1 ou 2, caractérisé en ce qu'on dispose un châssis (140) muni de voyants lumineux (142) le long du convoyeur, en ce qu'on utilise comme sorties de tri des réceptacles (130) sur roulettes que l'on dispose au niveau du châssis, chaque réceptacle étant associé à l'un des voyant lumineux et disposé à proximité de celui-ci, et en ce que l'unité de contrôle-commande commande l'allumage d'un voyant lumineux situé à proximité de ladite sortie de tri pour indiquer à l'opérateur humain ladite sortie de tri.
  4. Le procédé de tri selon l'une quelconque des revendications 1 à 3, caractérisé en ce que les sources de lumière sont aptes à émettre plusieurs couleurs de lumière, en ce que l'unité de contrôle-commande commande les sources de lumière en réponse à la détermination de la sortie de tri du colis de manière telle que ledit segment lumineux (122y) est d'une première couleur, et en ce qu'un second segment lumineux (122z) se déplaçant avec un second colis devant être transféré à ladite sortie de tri est de la première couleur.
  5. Le procédé de tri selon la revendication 4, caractérisé en ce qu'un troisième segment lumineux (122x) progressant avec un troisième colis devant être transféré à une autre sortie de tri est d'une seconde couleur différente de la première couleur.
  6. Le procédé de tri selon la revendication 4 ou 5, caractérisé en ce que lesdits voyants lumineux sont aptes à émettre plusieurs couleurs de lumière et en ce que l'unité de contrôle-commande commande le voyant lumineux situé à proximité de ladite sortie de tri de manière telle que le voyant lumineux émette de la lumière de la première couleur.
EP19737837.5A 2018-07-06 2019-06-04 Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles Active EP3817868B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1870813A FR3083460B1 (fr) 2018-07-06 2018-07-06 Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles
PCT/FR2019/051323 WO2020008122A1 (fr) 2018-07-06 2019-06-04 Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles

Publications (2)

Publication Number Publication Date
EP3817868A1 EP3817868A1 (fr) 2021-05-12
EP3817868B1 true EP3817868B1 (fr) 2022-05-25

Family

ID=63209617

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19737837.5A Active EP3817868B1 (fr) 2018-07-06 2019-06-04 Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles

Country Status (4)

Country Link
EP (1) EP3817868B1 (fr)
ES (1) ES2920699T3 (fr)
FR (1) FR3083460B1 (fr)
WO (1) WO2020008122A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3101072A1 (fr) * 2019-09-19 2021-03-26 Fives Intralogistics S.A. Système de suivi d’articles
CN111558537A (zh) * 2020-06-03 2020-08-21 广东康利达物联科技有限公司 基于灯带指引的货物分拣系统及分拣方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6878896B2 (en) * 2002-07-24 2005-04-12 United Parcel Service Of America, Inc. Synchronous semi-automatic parallel sorting
US8825200B2 (en) * 2007-11-07 2014-09-02 Siemens Industry, Inc. Method and system for tracking of items
US9299013B1 (en) * 2014-03-27 2016-03-29 Amazon Technologies, Inc. Visual task feedback for workstations in materials handling facilities

Also Published As

Publication number Publication date
FR3083460B1 (fr) 2020-07-10
ES2920699T3 (es) 2022-08-08
EP3817868A1 (fr) 2021-05-12
WO2020008122A1 (fr) 2020-01-09
FR3083460A1 (fr) 2020-01-10

Similar Documents

Publication Publication Date Title
EP3817868B1 (fr) Procede de tri de colis sur convoyeur avec indicateurs lumineux mobiles
EP3207509B1 (fr) Installation logistique avec des navettes de transport de colis et des equipements portatifs d'identification des colis
FR2757140A1 (fr) Systeme et procede automatises d'acheminement de bagages destines a etre utilises dans un systeme de transport de bagages
FR2600191A1 (fr) Discriminateur de papier-monnaie
CH625431A5 (fr)
EP3572157B1 (fr) Procede de tri bagage en aeroport avec videocodage optimise
WO2017093433A1 (fr) Installation de tri d'articles comprenant un système de détection et d'analyse de la trajectoire des articles et procédé de tri
EP3171990B1 (fr) Procédé pour trier des objets postaux dans un casier de tri avec un dénombrement automatique des objets triés
CN110097715A (zh) 商品管理服务器、自动收银系统及商品管理方法
NL8501822A (nl) Processorschakeling
EP1987472B1 (fr) Biodetecteur sans contact
EP3572156A1 (fr) Procede de tri de bagages dans un aeroport
FR3030351A1 (fr) Dispositif et procede de controle de la qualite de boites pliables et installation de fabrication comprenant un tel dispositif de controle
EP3516605A1 (fr) Système d'acheminement d'objets, mettant en oeuvre un système de diffusion ciblée d'informations
EP0865004B1 (fr) Système de localisation de transpondeurs pour installation de télépéage autoroutier
FR3096816A1 (fr) Procédé, système et appareil pour la détection de façades de produits
EP0587484A1 (fr) Dispositif d'analyse de supports d'informations de bulletins de jeu
EP3529758A1 (fr) Système d'acheminement d'objets par des individus d'une communauté, procédant à un contrôle du contenu par imagerie lors du transfert de l'emballage entre individus
WO2014060227A1 (fr) Appairage d'un objet et d'un detenteur de cet objet
EP0923746B1 (fr) Procede pour la detection, l'identification et le suivi d'objets optiquement invisibles
EP3940614A1 (fr) Magasin autonome de vente au détail en libre-service
EP3713218B1 (fr) Kit d'identification de bagage
FR3101072A1 (fr) Système de suivi d’articles
CN107430702A (zh) 基于所获取的图像对棒状产品计数
FR2918237A1 (fr) Procede de reperage de cameras d'un reseau et procede d'exploitation d'un tel reseau.

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210208

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20220225

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602019015247

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1494058

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220615

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: FI

Ref legal event code: FGE

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2920699

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20220808

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1494058

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220926

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220825

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220826

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220825

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220925

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602019015247

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220604

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220604

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

26N No opposition filed

Effective date: 20230228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20230620

Year of fee payment: 5

Ref country code: NL

Payment date: 20230620

Year of fee payment: 5

Ref country code: FR

Payment date: 20230628

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20230620

Year of fee payment: 5

Ref country code: FI

Payment date: 20230621

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20230620

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230623

Year of fee payment: 5

Ref country code: GB

Payment date: 20230622

Year of fee payment: 5

Ref country code: ES

Payment date: 20230830

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220525