EP3763448B1 - Method and device for generating and maintaining an allocation of object data and position of an object - Google Patents

Method and device for generating and maintaining an allocation of object data and position of an object Download PDF

Info

Publication number
EP3763448B1
EP3763448B1 EP19185901.6A EP19185901A EP3763448B1 EP 3763448 B1 EP3763448 B1 EP 3763448B1 EP 19185901 A EP19185901 A EP 19185901A EP 3763448 B1 EP3763448 B1 EP 3763448B1
Authority
EP
European Patent Office
Prior art keywords
data
object data
optical
transfer point
delivery path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP19185901.6A
Other languages
German (de)
French (fr)
Other versions
EP3763448A1 (en
Inventor
Jan BEHLING
Jan Josef Jesper
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Beumer Group GmbH and Co KG
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Beumer Group GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV, Beumer Group GmbH and Co KG filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to EP19185901.6A priority Critical patent/EP3763448B1/en
Priority to PL19185901.6T priority patent/PL3763448T3/en
Priority to US16/925,566 priority patent/US11583898B2/en
Priority to JP2020119076A priority patent/JP7426910B2/en
Publication of EP3763448A1 publication Critical patent/EP3763448A1/en
Application granted granted Critical
Publication of EP3763448B1 publication Critical patent/EP3763448B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04Sorting according to size
    • B07C5/10Sorting according to size measured by light-responsive means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00Sorting according to destination
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04Sorting according to size
    • B07C5/12Sorting according to size characterised by the application to particular articles, not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • B07C5/361Processing or control devices therefor, e.g. escort memory
    • B07C5/362Separating or distributor mechanisms

Definitions

  • the invention relates to a method and a device for generating and maintaining an association of item data of an item with a changing physical position of the item in a sorting device which has at least one input for feeding items to the sorting device and a multiplicity of transfer points at which selected Objects can be ejected from the sorting device.
  • the sorting data available via the sorting conveyor control system for the objects on the sorting conveyor can be accessed, in which case, for example, an image comparison or a comparison of other identification features such as barcodes, etc. can be done.
  • a sorting system e.g. a sorting conveyor
  • the sorting data available via the sorting conveyor control system for the objects on the sorting conveyor can be accessed, in which case, for example, an image comparison or a comparison of other identification features such as barcodes, etc. can be done.
  • Such an assignment is complex.
  • the unambiguous association between the object and the position is usually lost because objects overtake one another or slide over one another.
  • the object of the present invention is, in a sorting device, in the simplest possible way, to never lose the association between an ejected object and its position during a course of movement of the object subsequent to the ejection process, and furthermore, should the association ever be lost, restore them without significant effort.
  • the item data of a specific item preferably includes at least identity data of the item, which can be stored in a higher-level controller of the sorting device.
  • the identity data can correspond to an identity feature of the object or can be derived from it.
  • further data is recorded as object data and expediently also stored, in particular the optical object data and at least one current position of the object in the form of position data.
  • Sorting data from which a sorting target for a specific object can be derived or which directly describes the sorting target can, for example, be recorded optically, for example using a barcode on the object, or can already be stored in the controller and assigned to the identity data, so that use the identity data to find the sorting data.
  • the sorting data can also be stored as part of the item data of a respective item.
  • the sorting device can be any device, installation or system that is suitable for sorting objects, with at least one entrance and several transfer points for ejecting selected objects being present.
  • it can be a continuous conveyor, for example a ring sorter, with conveyor units that are equipped with tilting trays, drop flaps or cross-belt conveyor elements.
  • intermittent technologies are also included, such as a sorting system with driverless transport vehicles (FTF).
  • FFF driverless transport vehicles
  • the transfer points can be ejection devices of one type or a continuous conveyor, which is followed by a delivery path, for example in the form of a conveyor, a chute, a roller conveyor and/or a container into which the objects are dropped or thrown.
  • the combination of a transfer point, e.g. an ejection device of a sorting conveyor, with an adjoining discharge path, which extends to a removal point and can be formed, for example, by a removal conveyor is also referred to as a terminal.
  • a discharge device can have, for example, a push-off device, a pusher or a flipper.
  • the optical object data of the objects can be recorded using at least one camera and/or at least one scanner, in particular a laser scanner.
  • the tracking includes successive position determinations at time intervals, which can either be permanently specified, for example time intervals between 0.1 ms and 10 s, or result from other parameters and are not directly specified.
  • one or more dimensions of the object are recorded, for example optical recording processes can be carried out in one, two or all three coordinate directions, for example using at least one measuring camera, a laser measuring device or using light barrier arrangements. Additionally or alternatively, one or more images of the object can be recorded and the weight of the object can be recorded, for example by means of a weighing device integrated in the area of a feed belt.
  • the recorded data relating to dimensions, images and/or weight are preferably stored as part of the item data associated with the item.
  • the position determinations repeated at short intervals as part of the tracking are expediently carried out by means of optical detection of the object, in particular by one or more cameras or scanners, with image or optical tracking data being generated, and by comparing this data with the previously recorded and stored optical object data .
  • This comparison can be carried out with each position determination, after a number of position determinations, e.g. every second, fifth, tenth or 100th, at predetermined time intervals or at least at the latest when the object is removed, in order to establish a link or association between the previously recorded optical object data and/or other object data of the object with the object data, in particular image data, recorded as part of the tracking, so that the object is clearly identified at the latest when it is removed or at least its recipient data can be assigned.
  • One and the same camera or scanner device is expediently provided both for capturing the optical object data and for the repeated optical capturing of the object as part of the tracking.
  • a removal position and/or a removal time of the ejected object from the removal path is recorded and preferably also stored, in particular as a further part of the object data of the object.
  • the optical object data can be recorded at a specified point in time, as an alternative to the recording at a specified position, or when the object has been discharged from the sorting device at the transfer point.
  • the assignment of the object data to the physical position of the object at a position along the delivery route may be lost, for example because the object was transported by one or several other objects are temporarily completely or partially hidden from the view of an image capture device or camera used for tracking, or because an object is removed from the delivery path, for example falls off the delivery path or is removed manually and then manually placed back on the delivery path, in such a case it is provided that after the loss of the assignment as soon as possible, ie in particular as soon as the object is no longer covered from the view of the image acquisition device, or has been covered, the tracking is fixed, in particular by further optical Object data and expediently also the physical position of the object are recorded and compared with the optical object data, and if the optical object data match the other optical object data within a specified tolerance range, the tracking is continued on the basis of the optical object data recorded earlier, with the tracking successively repeated position determinations of the object along the delivery path at time
  • Error information can be added to the object data if the further optical object data deviates from the optical object data outside of a predefined tolerance range.
  • the object data of all objects that are simultaneously on a delivery path of a transfer point and have not yet been removed are assigned to the transfer point as a subset of all object data present in the sorting device and the optical object data when comparing the further optical object data with the optical object data of the subset of item data associated with the handover point.
  • the invention expediently provides that the identity or object data of an object removed from the delivery path and/or information derived therefrom are transmitted to a person or removal device removing the object.
  • Derived information can be, for example, the position of an object in the order of a delivery trip by a driver of a parcel vehicle, with knowledge of which the vehicle can be better loaded. An exact deposit position in the parcel vehicle can also be transmitted.
  • the invention thus advantageously makes it possible for the person or removal device removing an object not to repeat the Must determine the identity of the object, but has the identity data already recorded due to the position tracking of the object immediately available, and possibly other information.
  • 1 shows a detail of a sorting device in the form of a sorting conveyor 2, which comprises at least one input in the form of an infeed device 4, on which the objects 20 to be sorted can be fed individually to the sorting conveyor 2 and from which in 1 only a foremost end section abutting on the sorting conveyor 2 is shown with an object 20 just to be introduced.
  • 1 12 also shows a detection device 6, for example in the form of a camera, a scanner or a combination thereof, with which the first image data and identity features of each individual item 20 can be recorded as item data on the sorting conveyor 2.
  • the detection device 6 is also set up to detect the dimensions of the objects and to determine the weight.
  • the sorting conveyor 2 comprises a number of transport units 8a that are moved in a conveying direction 8, each of which is provided with a cross-belt conveyor element that can be driven transversely to the conveying direction 8, on which an object is received, transported and transported to a specific transfer point or to a specific terminal can be given.
  • the transfer point 10 is formed here by an ejection device known per se.
  • a central controller of the sorting system to which the item data or the first image data and identity features of each individual item that is introduced is transmitted, also has sorting data for each individual item, from which it can be inferred at which transfer point or to which end point each individual item on the sorting conveyor 2 located object is to be ejected.
  • the controller continuously receives logical and/or physical position data of each individual item on the sorting conveyor, or can determine this based on the speed of the sorting conveyor, i.e. logical position data in relation to an assignment of an object to the transport unit of the sorting conveyor carrying it, and/or physical position data.
  • the controller Since the controller knows the sorting destination of each item based on the sorting data mentioned, and thus the transfer point at which the item is to be ejected, the controller can tell the sorting conveyor or the transport unit carrying a specific item when or shortly before reaching the specific transfer point transmit an ejection signal, whereupon the cross-belt conveyor element is put into operation and ejects the object at the specific transfer point 10 .
  • a plurality of induction devices can be provided for feeding articles onto the sorting conveyor, and a detection device can be provided on one or more induction devices, either as in 1 shown downstream of the infeed device on the sorting conveyor, or directly on the infeed device for capturing specific item data of the items during or immediately before infeed, e.g. identity data, image data, general optical object data and/or dimensions or weight.
  • an image acquisition device in the form of a camera 12, with which optical object data such as image data of each object to be ejected or ejected at the transfer point 10 is recorded, if these have not previously been recorded.
  • the camera or image capturing device is connected to the controller and transmits the optical object data to it, or these data can be queried by the controller from the image capturing device.
  • the controller Before, during or after the ejection of an object at the transfer point assigned to it, in this example the ejection device, the controller registers the ejected object as an object that is located at or subsequent to the specific transfer point, with the object data being assigned to such a specific transfer point Items can be stored as a subset of all item data present in the sorting device. In the example of 2 four objects have been ejected at the transfer point 10, so that the subset of object data includes the object data such as image or optical object data and identity data of these four objects in connection with or association with the transfer point 10.
  • Each ejected object is tracked by tracking from the transfer point 10 with regard to its position along the delivery path up to its final removal at a removal point 14 .
  • This tracking is carried out in a manner known per se in that the camera 12 captures an image of the object at short time intervals, which can be less than 1 ms or less than 10 ms, for example, and in each case with an image taken shortly beforehand is adjusted, from which a current position of the object is determined.
  • Each item's current position is stored as part of the item's item data, so that at any point in time there is an association between the item's item data and the position.
  • the object is tracked by said tracking until it is removed from the delivery path, in particular up to a removal point 14, which can be set up in such a way that every object discharged at the transfer point 10 is regularly removed there. Alternatively, it is possible for an object to be removed from it at any point along the delivery path.
  • the assignment of the item data to the physical position of the item may be lost during its movement along the delivery path, e.g. if the item is briefly covered by other items and is not or not completely visible to the camera.
  • either the additional optical object data can be taken as a basis and stored, for example as an additional part of the object data, or the tracking can be continued on the basis of the optical object data recorded earlier.
  • this information can be used when an object is removed from the terminal or the delivery route or removal point, for example to transport several objects belonging to a sorting destination together or to store, or to remove objects belonging to different sorting destinations from one and the same delivery path or removal point, and to assign them to individual, different sorting destinations using the sorting information known for each object and to transport them further in different ways. This makes it possible for one and assign several sorting destinations to the same transfer point and thereby save transfer points or use them more than once.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erzeugen und Aufrechterhalten einer Zuordnung von Gegenstandsdaten eines Gegenstands zu einer sich verändernden physischen Position des Gegenstands in einer Sortiervorrichtung, die mindestens einen Eingang zum Zuführen von Gegenständen zu der Sortiervorrichtung und eine Vielzahl von Übergabepunkten, an denen ausgewählte Gegenstände von der Sortiervorrichtung ausschleusbar sind, umfasst.The invention relates to a method and a device for generating and maintaining an association of item data of an item with a changing physical position of the item in a sorting device which has at least one input for feeding items to the sorting device and a multiplicity of transfer points at which selected Objects can be ejected from the sorting device.

Aus der US-A-2014/0305850 ist ein Verfahren zum Erzeugen und Aufrechterhalten einer Zuordnung von Gegenstandsdaten eines Gegenstands zu einer sich verändernden physischen Position des Gegenstands in einer Sortiervorrichtung bekannt, wobei jedoch keine optischen Objektdaten der ausgeschleusten Gegenstände erfasst werden, und kein auf solchen Daten basiertes Verfolgen des Gegenstands durch Tracking erfolgt, und weiterhin eine Vorrichtung zum Ausführen eines solchen Verfahrens, jedoch ohne eine Erfassungseinrichtung zum Erfassen von optischen Objektdaten und Steuerungen zum Tracking ausgeschleuster Gegenstände.From the US-A-2014/0305850 a method for generating and maintaining an assignment of object data of an object to a changing physical position of the object in a sorting device is known, but no optical object data of the ejected objects are recorded, and no tracking of the object based on such data takes place, and also a device for carrying out such a method, but without a detection device for detecting optical object data and controls for tracking ejected objects.

Um einen von einer Sortieranlage, bspw. einem Sortierförderer, ausgeschleusten Gegenstand zu identifizieren, kann auf die über die Steuerung des Sortierförderers verfügbaren Sortierdaten der auf dem Sortierförderer befindlichen Gegenstände zurückgegriffen werden, wobei dann bspw. ein Bildabgleich oder ein Abgleich sonstiger Identifizierungsmerkmale wie Barcodes usw. vorgenommen werden kann. Eine solche Zuordnung ist aufwendig. Weiterhin geht beim Ausschleusen eines Gegenstands meist auch die eindeutige Zuordnung zwischen Gegenstand und Position verloren, weil sich Gegenstände überholen oder übereinander schieben.In order to identify an object that has been ejected from a sorting system, e.g. a sorting conveyor, the sorting data available via the sorting conveyor control system for the objects on the sorting conveyor can be accessed, in which case, for example, an image comparison or a comparison of other identification features such as barcodes, etc. can be done. Such an assignment is complex. Furthermore, when an object is ejected, the unambiguous association between the object and the position is usually lost because objects overtake one another or slide over one another.

Die Aufgabe der vorliegenden Erfindung besteht darin, in einer Sortiervorrichtung in möglichst einfacher Weise die Zuordnung zwischen einem ausgeschleusten Gegenstand und seiner Position während eines an den Ausschleusvorgang anschließenden Bewegungsverlaufs des Gegenstands zu keinem Zeitpunkt zu verlieren, und weiterhin, sollte die Zuordnung einmal verloren gegangen sein, diese ohne wesentlichen Aufwand wieder herzustellen.The object of the present invention is, in a sorting device, in the simplest possible way, to never lose the association between an ejected object and its position during a course of movement of the object subsequent to the ejection process, and furthermore, should the association ever be lost, restore them without significant effort.

Zur Lösung der vorgenannten Aufgabe schlägt die Erfindung ein Verfahren zum Erzeugen und Aufrechterhalten einer Zuordnung von Gegenstandsdaten eines Gegenstands zu einer sich verändernden physischen Position des Gegenstands in einer Sortiervorrichtung vor, die mindestens einen Eingang zum Zuführen von Gegenständen zu der Sortiervorrichtung und eine Vielzahl von Übergabepunkten, an denen ausgewählte Gegenstände von der Sortiervorrichtung ausschleusbar sind, umfasst, mit den Schritten:

  • Zuführen eines Gegenstandes, von dem zumindest ein Identitätsmerkmal als Teil von Gegenstandsdaten des Gegenstands gespeichert sein kann, an einem Eingang der Sortiervorrichtung, Erfassen von Identitätsdaten vor, während oder nach dem Zuführen, und Speichern der Identitätsdaten als Teil von Gegenstandsdaten des Gegenstands,
  • aufgrund von Sortierdaten, aus denen für jeden Gegenstand ein Sortierziel des Gegenstands ableitbar ist, Bestimmen eines dem Gegenstand zugeordneten Übergabepunkts,
  • Transportieren des Gegenstands bis zu dem bestimmten Übergabepunkt,
  • Ausschleusen des Gegenstands an dem bestimmten Übergabepunkt,
  • Erfassen von optischen Objektdaten jedes an dem Übergabepunkt ausgeschleusten Gegenstands, wenn der Gegenstand eine vorgegebene Position auf der Sortiervorrichtung, an dem Übergabepunkt oder entlang eines sich von dem Übergabepunkt bis zu einem Entnahmepunkt erstreckenden Abgabewegs erreicht hat, und Speichern der optischen Objektdaten als weiteren Teil der Gegenstandsdaten des Gegenstands,
  • Fortbewegen des Gegenstands entlang des Abgabewegs,
  • während des Fortbewegens, auf den optischen Objektdaten basiertes Verfolgen des ausgeschleusten Gegenstands durch Tracking, wobei das Tracking in zeitlichen Abständen aufeinanderfolgend wiederholte Positionsbestimmungen des Gegenstands entlang des Abgabewegs bis zu einer Entnahme des Gegenstands und Speichern einer aktuellen Position des Gegenstands als weiteren Teil der Gegenstandsdaten des Gegenstands umfasst.
In order to achieve the aforementioned object, the invention proposes a method for generating and maintaining an association of item data of an item with a changing physical position of the item in a sorting device, which has at least one input for supplying items to the sorting device and a large number of transfer points, at which selected objects can be ejected from the sorting device, with the steps:
  • Supplying an object, of which at least one identity feature can be stored as part of object data of the object, at an entrance of the sorting device, recording identity data before, during or after supply, and storing the identity data as part of object data of the object,
  • on the basis of sorting data from which a sorting destination of the object can be derived for each object, determining a transfer point assigned to the object,
  • transporting the item to the specified transfer point,
  • ejecting the item at the specified transfer point,
  • Detection of optical object data for each object discharged at the transfer point when the object has reached a predetermined position on the sorting device, at the transfer point or along a delivery path extending from the transfer point to a removal point, and storing the optical object data as a further part of the object data of the object
  • moving the item along the delivery path,
  • while moving, following the ejected object based on the optical object data by tracking, the tracking being successively repeated position determinations at time intervals of the item along the delivery path up to a removal of the item and storing a current position of the item as a further part of the item data of the item.

Bei einer derartigen Identifikation eines Gegenstands an einem bestimmten Übergabepunkt, bspw. einer bestimmten Ausschleuseinrichtung eines Sortierförderers, wird vorteilhaft die Tatsache genutzt, dass ein zu sortierender Gegenstand bereits bei der Zuführung zu dem Sortierförderer oder auf dem Sortierförderer selbst identifiziert wird, damit der Gegenstand an einem bestimmten, ihm zugeordneten Übergabepunkt ausgeschleust werden kann.With such an identification of an object at a specific transfer point, e.g certain transfer point assigned to it can be discharged.

Die Gegenstandsdaten eines bestimmten Gegenstands umfassen bevorzugt zumindest Identitätsdaten des Gegenstands, die in einer übergeordneten Steuerung der Sortiervorrichtung gespeichert sein können. Die Identitätsdaten können einem Identitätsmerkmal des Gegenstands entsprechen oder daraus ableitbar sein. Im Verlauf des Verfahrens werden weitere Daten als Gegenstandsdaten erfasst und zweckmäßigerweise auch gespeichert, insbesondere die optischen Objektdaten und zumindest eine aktuelle Position des Gegenstands in Form von Positionsdaten.The item data of a specific item preferably includes at least identity data of the item, which can be stored in a higher-level controller of the sorting device. The identity data can correspond to an identity feature of the object or can be derived from it. In the course of the method, further data is recorded as object data and expediently also stored, in particular the optical object data and at least one current position of the object in the form of position data.

Sortierdaten, aus denen ein Sortierziel eines bestimmten Gegenstands ableitbar ist oder die das Sortierziel unmittelbar beschreiben, können bspw. optisch erfasst werden, etwa anhand eines Barcodes an dem Gegenstand, oder können in der Steuerung bereits gespeichert sein und den Identitätsdaten zugeordnet sein, so dass sich anhand der Identitätsdaten die Sortierdaten auffinden lassen. Die Sortierdaten können ebenfalls als Teil der Gegenstandsdaten eines jeweiligen Gegenstands gespeichert werden.Sorting data from which a sorting target for a specific object can be derived or which directly describes the sorting target can, for example, be recorded optically, for example using a barcode on the object, or can already be stored in the controller and assigned to the identity data, so that use the identity data to find the sorting data. The sorting data can also be stored as part of the item data of a respective item.

Bei der Sortiervorrichtung kann es sich um jegliche Vorrichtung, Anlage oder ein System handeln, die bzw. das sich zum Sortieren von Gegenständen eignet, wobei mindestens ein Eingang und mehrere Übergabepunkte zum Ausschleusen ausgewählter Gegenstände vorhanden sind. Beispielsweise kann es sich um einen Stetigförderer, bspw. Ringsorter, handeln, mit Fördereinheiten, die mit Kippschalen, Fallklappen oder Quergurtförderelementen ausgestattet sind. Andererseits sind auch unstetig arbeitende Techniken umfasst, wie bspw. ein Sortiersystem mit Fahrerlosen Transportfahrzeugen (FTF). Die Übergabepunkte können Ausschleuseinrichtungen eines Sortes oder Stetigförderers sein, an die sich ein Abgabeweg anschließt, bspw. in Form eines Förderers, einer Rutsche, einer Rollenbahn und/oder eines Behälters, in den die Gegenstände fallen gelassen werden oder geworfen werden. Die Kombination eines Übergabepunktes, bspw. einer Ausschleuseinrichtung eines Sortierförderers, mit einem sich daran anschließenden Abgabeweg, der sich bis zu einem Entnahmepunkt erstreckt und bspw. durch einen Entnahmeförderer gebildet sein kann, wird auch als Endstelle bezeichnet.The sorting device can be any device, installation or system that is suitable for sorting objects, with at least one entrance and several transfer points for ejecting selected objects being present. For example, it can be a continuous conveyor, for example a ring sorter, with conveyor units that are equipped with tilting trays, drop flaps or cross-belt conveyor elements. On the other hand, intermittent technologies are also included, such as a sorting system with driverless transport vehicles (FTF). The transfer points can be ejection devices of one type or a continuous conveyor, which is followed by a delivery path, for example in the form of a conveyor, a chute, a roller conveyor and/or a container into which the objects are dropped or thrown. The combination of a transfer point, e.g. an ejection device of a sorting conveyor, with an adjoining discharge path, which extends to a removal point and can be formed, for example, by a removal conveyor, is also referred to as a terminal.

Eine Ausschleuseinrichtung kann bspw. eine Abschiebeeinrichtung, einen Pusher oder Flipper aufweisen.A discharge device can have, for example, a push-off device, a pusher or a flipper.

Die optischen Objektdaten der Gegenstände können mittels mindestens einer Kamera und/oder mindestens eines Scanners, insbesondere Laserscanners, erfasst werden.The optical object data of the objects can be recorded using at least one camera and/or at least one scanner, in particular a laser scanner.

Das Tracking umfasst aufeinanderfolgende Positionsbestimmungen in zeitlichen Abständen, die entweder fest vorgegeben sein können, bspw. Zeitintervalle zwischen 0,1 ms und 10 s, oder aber sich aus anderen Parametern ergeben und nicht unmittelbar vorgegeben sind.The tracking includes successive position determinations at time intervals, which can either be permanently specified, for example time intervals between 0.1 ms and 10 s, or result from other parameters and are not directly specified.

Wenn eine oder mehrere Abmessungen des Gegenstands erfasst werden, können bspw. optische Erfassungsvorgänge in einer, zwei oder allen drei Koordinatenrichtungen vorgenommen werden, bspw. mittels mindestens einer Messkamera, einer Lasermesseinrichtung oder mittels Lichtschrankenanordnungen. Zusätzlich oder alternativ können ein oder mehrere Bilder des Gegenstands aufgenommen werden, und das Gewicht des Gegenstands kann erfasst werden, bspw. mittels einer im Bereich eines Zuführbands integrierten Wiegeeinrichtung. Die erfassten Daten bezüglich Abmessungen, Bildern und/oder Gewicht werden bevorzugt als Teil der dem Gegenstand zugeordneten Gegenstandsdaten gespeichert.If one or more dimensions of the object are recorded, for example optical recording processes can be carried out in one, two or all three coordinate directions, for example using at least one measuring camera, a laser measuring device or using light barrier arrangements. Additionally or alternatively, one or more images of the object can be recorded and the weight of the object can be recorded, for example by means of a weighing device integrated in the area of a feed belt. The recorded data relating to dimensions, images and/or weight are preferably stored as part of the item data associated with the item.

Es kann vorgesehen sein, dass der Gegenstand entlang des Abgabewegs aktiv gefördert wird oder sich antriebslos bewegt, bspw. rutscht, rollt oder fällt.Provision can be made for the object to be actively conveyed along the delivery path or to move without being driven, for example slipping, rolling or falling.

Die in kurzen zeitlichen Abständen wiederholten Positionsbestimmungen im Rahmen des Trackings erfolgen zweckmäßigerweise mittels optischer Erfassung des Gegenstands, insbesondere durch eine oder mehrere Kameras oder Scanner, wobei Bild- oder optische Trackingdaten erzeugt werden, und durch Abgleich dieser Daten mit den zuvor erfassten und gespeicherten optischen Objektdaten. Dieser Abgleich kann bei jeder Positionsbestimmung, nach jeweils einer Anzahl von Positionsbestimmungen, bspw. bei jeder zweiten, fünften, zehnten oder 100sten, in vorgegebenen zeitlichen Abständen oder jedenfalls spätestens bei der Entnahme des Gegenstands erfolgen, um spätestens zu diesem Zeitpunkt eine Verknüpfung oder Zuordnung zwischen den zuvor erfassten optischen Objektdaten und/oder sonstigen Gegenstandsdaten des Gegenstands mit den im Rahmen des Trackings erfassten Objektdaten, insbesondere Bilddaten, herzustellen, damit der Gegenstand spätestens bei der Entnahme eindeutig identifiziert ist oder zumindest seine Empfängerdaten zuordenbar sind.The position determinations repeated at short intervals as part of the tracking are expediently carried out by means of optical detection of the object, in particular by one or more cameras or scanners, with image or optical tracking data being generated, and by comparing this data with the previously recorded and stored optical object data . This comparison can be carried out with each position determination, after a number of position determinations, e.g. every second, fifth, tenth or 100th, at predetermined time intervals or at least at the latest when the object is removed, in order to establish a link or association between the previously recorded optical object data and/or other object data of the object with the object data, in particular image data, recorded as part of the tracking, so that the object is clearly identified at the latest when it is removed or at least its recipient data can be assigned.

Zweckmäßigerweise ist ein und dieselbe Kamera oder Scannereinrichtung sowohl für die Erfassung der optischen Objektdaten als auch für die wiederholte optische Erfassung des Gegenstands im Rahmen des Tracking vorgesehen.One and the same camera or scanner device is expediently provided both for capturing the optical object data and for the repeated optical capturing of the object as part of the tracking.

Bevorzugt ist vorgesehen, dass eine Entnahmeposition und/oder ein Entnahmezeitpunkt des ausgeschleusten Gegenstands von dem Abnahmeweg erfasst und bevorzugt auch gespeichert wird, insbesondere als weiterer Teil der Gegenstandsdaten des Gegenstands.It is preferably provided that a removal position and/or a removal time of the ejected object from the removal path is recorded and preferably also stored, in particular as a further part of the object data of the object.

Die optischen Objektdaten können zu einem vorgegebenen Zeitpunkt erfasst werden, alternativ zu der Erfassung an einer vorgegebenen Position, oder dann, wenn der Gegenstand von der Sortiervorrichtung an dem Übergabepunkt ausgeschleust worden ist.The optical object data can be recorded at a specified point in time, as an alternative to the recording at a specified position, or when the object has been discharged from the sorting device at the transfer point.

Es liegt im Rahmen der Erfindung, dass sich mehrere ausgeschleuste Gegenstände gleichzeitig auf dem Abgabeweg befinden und jeder einzelne Gegenstand durch Tracking verfolgt wird. Unabhängig davon, ob ein Tracking eines einzigen Gegenstands oder mehrerer Gegenstände gleichzeitig erfolgt, bedeutet dies im Rahmen der Erfindung eine im Wesentlichen kontinuierliche, in kleinen Zeitabständen (bspw. weniger als 1 ms, 10 ms oder 100 ms) erfolgende bildliche Erfassung und Positionsbestimmung eines Gegenstands bzw. jedes einzelnen Gegenstands, so dass die Position eines oder jedes Gegenstands auf dem Abgabeweg jederzeit oder genauer gesagt zu in kleinen Abständen aufeinanderfolgenden Zeitpunkten bekannt ist. Es genügt, die jeweils letzte oder aktuelle Position des Gegenstands als Teil der Gegenstandsdaten zu speichern, wobei diese mit der nächsten aktuellen Position überschrieben werden kann. Die genannten Zeitabstände können so klein sein, dass eine praktisch kontinuierliche Positionserfassung erfolgt.It is within the scope of the invention that several ejected objects are on the discharge path at the same time and that each individual object is tracked. Regardless of whether a single item or multiple items are tracked simultaneously, this means within the framework of the Invention of an essentially continuous, at short time intervals (e.g. less than 1 ms, 10 ms or 100 ms) taking place pictorial detection and position determination of an object or each individual object, so that the position of one or each object on the delivery path at any time or more precisely said is known at points in time following one another at small intervals. It is sufficient to store the last or current position of the object as part of the object data, which can be overwritten with the next current position. The time intervals mentioned can be so small that a practically continuous position detection takes place.

Bei einer rasch aufeinanderfolgenden Übergabe zahlreicher Gegenstände an ein und demselben Übergabepunkt kann es dazu kommen, dass bei dem Tracking eines Gegenstands ein Verlust der Zuordnung der Gegenstandsdaten zu der physischen Position des Gegenstands an einer Position entlang des Abgabewegs eintritt, etwa weil der Gegenstand von einem oder mehreren anderen Gegenständen aus Sicht einer für das Tracking verwendeten Bilderfassungseinrichtung bzw. Kamera zeitweise ganz oder teilweise verdeckt ist, oder weil ein Gegenstand von dem Abgabeweg entfernt wird, beispielsweise von dem Abgabeweg herunterfällt oder manuell entnommen wird, und anschließend manuell auf den Abgabeweg zurückgelegt wird, wobei für einen solchen Fall vorgesehen ist, dass nach dem Verlust der Zuordnung sobald wie möglich, d.h. insbesondere sobald der Gegenstand aus Sicht der Bilderfassungseinrichtung nicht mehr verdeckt ist, oder zurückgelegt worden ist, das Tracking festgesetzt wird, insbesondere indem weitere optische Objektdaten und zweckmäßigerweise auch die physische Position des Gegenstands erfasst und mit den optischen Objektdaten abgeglichen werden, und bei Übereinstimmung der optischen Objektdaten mit den weiteren optischen Objektdaten im Rahmen eines festgelegten Toleranzbereichs das Tracking auf der Grundlage der früher erfassten optischen Objektdaten fortgesetzt wird, wobei das Tracking in zeitlichen Abständen aufeinanderfolgend wiederholte Positionsbestimmungen des Gegenstands entlang des Abgabewegs bis zu einer Entnahme des Gegenstands und Speichern einer aktuellen Position des Gegenstands als weiteren Teil der Gegenstandsdaten des Gegenstands umfasst.If numerous objects are handed over in rapid succession at one and the same handover point, it can happen that when an object is being tracked, the assignment of the object data to the physical position of the object at a position along the delivery route may be lost, for example because the object was transported by one or several other objects are temporarily completely or partially hidden from the view of an image capture device or camera used for tracking, or because an object is removed from the delivery path, for example falls off the delivery path or is removed manually and then manually placed back on the delivery path, in such a case it is provided that after the loss of the assignment as soon as possible, ie in particular as soon as the object is no longer covered from the view of the image acquisition device, or has been covered, the tracking is fixed, in particular by further optical Object data and expediently also the physical position of the object are recorded and compared with the optical object data, and if the optical object data match the other optical object data within a specified tolerance range, the tracking is continued on the basis of the optical object data recorded earlier, with the tracking successively repeated position determinations of the object along the delivery path at time intervals until the object is removed and storing a current position of the object as a further part of the object data of the object.

Bei einem wiederholten Verlust der Zuordnung der Gegenstandsdaten zu einer physischen Position des Gegenstands können die vorgenannten Schritte erneut durchlaufen werden.If the assignment of the object data to a physical position of the object is repeatedly lost, the aforementioned steps can be run through again.

Bei einer Abweichung der weiteren optischen Objektdaten von den optischen Objektdaten außerhalb eines vorgegebenen Toleranzbereichs kann den Gegenstandsdaten eine Fehlerinformation hinzugefügt werden.Error information can be added to the object data if the further optical object data deviates from the optical object data outside of a predefined tolerance range.

Es kann vorgesehen sein, dass sämtliche innerhalb des Abgabewegs zwischen dem Übergabepunkt und dem Entnahmepunkt befindlichen Gegenstände fortlaufend erfasst und durch das Tracking verfolgt werden und bei einem Verdecken eines Gegenstands durch einen anderen Gegenstand im Abgabeweg oder Entfernen eines Gegenstands von dem Abgabewegdas Tracking des Gegenstands sobald wie möglich fortgesetzt wird, insbesondere sobald der Gegenstand nicht mehr verdeckt ist oder auf den Abgabeweg zurückgelegt worden ist.Provision can be made for all objects located within the delivery path between the transfer point and the removal point to be continuously recorded and tracked and, if an object is covered by another object in the delivery path or an object removed from the delivery path, the tracking of the object as soon as possible continues as far as possible, especially as soon as the item is no longer covered or has been returned to the delivery route.

Es liegt im Rahmen der Erfindung, dass die Gegenstandsdaten aller gleichzeitig auf einem Abgabeweg eines Übergabepunkts befindlichen, noch nicht entnommenen Gegenstände als eine Teilmenge aller in der Sortiervorrichtung vorliegenden Gegenstandsdaten dem Übergabepunkt zugeordnet werden und beim Abgleichen der weiteren optischen Objektdaten mit den optischen Objektdaten die optischen Objektdaten der dem Übergabepunkt zugeordneten Teilmenge von Gegenstandsdaten verwendet werden.It is within the scope of the invention that the object data of all objects that are simultaneously on a delivery path of a transfer point and have not yet been removed are assigned to the transfer point as a subset of all object data present in the sorting device and the optical object data when comparing the further optical object data with the optical object data of the subset of item data associated with the handover point.

Zweckmäßigerweise sieht die Erfindung vor, dass die Identitäts- oder Gegenstandsdaten eines von dem Abgabeweg entnommenen Gegenstands und/oder eine daraus abgeleitete Information an eine den Gegenstand entnehmende Person oder Entnahmeeinrichtung übermittelt werden. Eine abgeleitete Information kann beispielsweise die Position eines Gegenstands in der Reihenfolge einer Auslieferfahrt eines Fahrers eines Paketfahrzeugs sein, mit deren Kenntnis das Fahrzeug besser beladen werden kann. Auch kann eine genaue Ablageposition im Paketfahrzeug übermittelt werden. Die Erfindung ermöglicht somit vorteilhafterweise, dass die einen Gegenstand entnehmende Person oder Entnahmeeinrichtung nicht nochmals die Identität des Gegenstands feststellen muss, sondern die bereits erfassten Identitätsdaten aufgrund der Positionsverfolgung des Gegenstands unmittelbar zur Verfügung hat, und ggf. noch weitere Informationen.The invention expediently provides that the identity or object data of an object removed from the delivery path and/or information derived therefrom are transmitted to a person or removal device removing the object. Derived information can be, for example, the position of an object in the order of a delivery trip by a driver of a parcel vehicle, with knowledge of which the vehicle can be better loaded. An exact deposit position in the parcel vehicle can also be transmitted. The invention thus advantageously makes it possible for the person or removal device removing an object not to repeat the Must determine the identity of the object, but has the identity data already recorded due to the position tracking of the object immediately available, and possibly other information.

Es kann vorgesehen sein, dass an dem Eingang, bspw. auf einer Einschleuseinrichtung, oder auf der Sortiervorrichtung selbst die Abmessungen und/oder das Gewicht eines Gegenstands erfasst und als Teil der Gegenstandsdaten gespeichert und bedarfsweise an eine Steuerung übermittelt werden.Provision can be made for the dimensions and/or weight of an object to be recorded at the entrance, e.g.

In vorrichtungsmäßiger Hinsicht wird die Aufgabe der Erfindung gelöst durch eine Vorrichtung zum Erzeugen und Aufrechterhalten einer Zuordnung von Gegenstandsdaten eines Gegenstands zu einer sich verändernden physischen Position des Gegenstands in einer Sortiervorrichtung, die mindestens einen Eingang zum Zuführen von Gegenständen auf die Sortiervorrichtung und eine Vielzahl von Übergabepunkten, an denen ausgewählte Gegenstände von der Sortiervorrichtung ausschleusbar sind, und

  • eine Speichereinrichtung zum Speichern der Gegenstandsdaten, einer Position und von optischen Objektdaten,
  • eine Ausschleuseinrichtung zum Ausschleusen eines bestimmten Gegenstands von der Sortiervorrichtung an einem bestimmten Übergabepunkt,
  • eine im Bereich des Übergabepunkts angeordnete Erfassungseinrichtung zum Erfassen von optischen Objektdaten und zum Verfolgen eines oder mehrerer an dem Übergabepunkt ausgeschleuster Gegenstände durch Tracking, und
  • eine Steuerung, die zum Steuern der Sortiervorrichtung zum Ausführen des Verfahrens nach der Erfindung eingerichtet ist, umfasst.
In terms of device, the object of the invention is achieved by a device for generating and maintaining an assignment of item data of an item to a changing physical position of the item in a sorting device, which has at least one input for feeding items to the sorting device and a large number of transfer points , on which selected objects can be ejected from the sorting device, and
  • a storage device for storing the object data, a position and optical object data,
  • an ejection device for ejecting a specific object from the sorting device at a specific transfer point,
  • a detection device arranged in the area of the transfer point for detecting optical object data and for tracking one or more objects discharged at the transfer point by tracking, and
  • a controller arranged to control the sorting device for carrying out the method according to the invention.

Weitere Vorteile und Merkmale der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispiels, wobei auf eine Zeichnung Bezug genommen wird, in der

  • Fig. 1 einen Teilabschnitt eines Sortierförderers im Bereich eines Übergabepunkts mit einer darüber angeordneten Erfassungseinrichtung für Bilddaten und Identitätsmerkmalen von Gegenständen zeigt,
  • Fig. 2 eine von dem Sortierförderer abzweigenden Abgabeweg mit darauf befindlichen, ausgeschleusten Gegenständen und einer im Bereich des Übergabepunkts angeordneten Kamera zeigt,
  • Fig. 3 die Endstelle nach Fig. 2 zeigt, wobei die Gegenstände zu einem späteren Zeitpunkt in einer anderen Position dargestellt sind, und
  • Fig. 4 eine Seitenansicht des Abgabewegs nach Fig. 2 und 3 zeigt.
Further advantages and features of the invention result from the following description of an exemplary embodiment, reference being made to a drawing in which
  • 1 shows a section of a sorting conveyor in the area of a transfer point with a recording device for image data and identity features of objects arranged above it,
  • 2 shows a delivery path branching off from the sorting conveyor with ejected objects on it and a camera arranged in the area of the transfer point,
  • 3 the terminus after 2 with the items being shown in a different position at a later date, and
  • 4 Figure 1 shows a side view of the delivery path 2 and 3 indicates.

Fig. 1 zeigt ausschnittsweise eine Sortiervorrichtung in Form eines Sortierförderers 2, der mindestens einen Eingang in Form einer Einschleuseinrichtung 4 umfasst, auf der die zu sortierenden Gegenstände 20 einzeln dem Sortierförderer 2 zugeführt werden können und von der in Fig. 1 nur ein vorderster, an den Sortierförderer 2 anstoßender Endabschnitt mit einem gerade einzuschleusenden Gegenstand 20 dargestellt ist. Fig. 1 zeigt weiterhin eine Erfassungseinrichtung 6 z.B. in Form einer Kamera, eines Scanners oder Kombination davon, mit der erste Bilddaten und Identitätsmerkmale jedes einzelnen Gegenstands 20 als Gegenstandsdaten auf dem Sortierförderer 2 erfasst werden können. Vorzugsweise ist die Erfassungseinrichtung 6 auch zur Erfassung von Abmessungen der Gegenstände sowie zum Bestimmen des Gewichts eingerichtet. 1 shows a detail of a sorting device in the form of a sorting conveyor 2, which comprises at least one input in the form of an infeed device 4, on which the objects 20 to be sorted can be fed individually to the sorting conveyor 2 and from which in 1 only a foremost end section abutting on the sorting conveyor 2 is shown with an object 20 just to be introduced. 1 12 also shows a detection device 6, for example in the form of a camera, a scanner or a combination thereof, with which the first image data and identity features of each individual item 20 can be recorded as item data on the sorting conveyor 2. Preferably, the detection device 6 is also set up to detect the dimensions of the objects and to determine the weight.

Der Sortierförderer 2 umfasst in dem dargestellten Beispiel eine Anzahl von in einer Förderrichtung 8 bewegten Transporteinheiten 8a, von denen jede mit einem quer zur Förderrichtung 8 antreibbaren Quergurtförderelement versehen ist, auf dem jeweils ein Gegenstand aufgenommen, transportiert und an einem bestimmten Übergabepunkt oder an einer bestimmten Endstelle abgegeben werden kann. Der Übergabepunkt 10 ist hierbei durch eine an sich bekannte Ausschleuseinrichtung gebildet.In the example shown, the sorting conveyor 2 comprises a number of transport units 8a that are moved in a conveying direction 8, each of which is provided with a cross-belt conveyor element that can be driven transversely to the conveying direction 8, on which an object is received, transported and transported to a specific transfer point or to a specific terminal can be given. The transfer point 10 is formed here by an ejection device known per se.

Fig. 2 zeigt einen solchen Übergabepunkt 10 mit einem daran anschließenden Abgabeweg, der sich quer zur Förderrichtung 8 oder unter einem bestimmten Winkel dazu seitlich an den Sortierförderer 2 anschließt. Eine zentrale Steuerung der Sortieranlage, an die die Gegenstandsdaten bzw. die ersten Bilddaten und Identitätsmerkmale jedes einzelnen eingeschleusten Gegenstands übermittelt werden, verfügt gleichzeitig über Sortierdaten jedes einzelnen Gegenstands, aus denen entnehmbar ist, an welchem Übergabepunkt bzw. in welche Endstelle jeder einzelne auf dem Sortierförderer 2 befindliche Gegenstand auszuschleusen ist. 2 shows such a transfer point 10 with an adjoining delivery path that extends transversely to the conveying direction 8 or at a certain angle to the side of the sorting conveyor 2. A central controller of the sorting system, to which the item data or the first image data and identity features of each individual item that is introduced is transmitted, also has sorting data for each individual item, from which it can be inferred at which transfer point or to which end point each individual item on the sorting conveyor 2 located object is to be ejected.

Weiterhin erhält die Steuerung aufgrund der bekannten Position der Einschleuseinrichtung und der ebenfalls bekannten Geschwindigkeit des Sortierförderers fortlaufend logische und/oder physische Positionsdaten jedes einzelnen auf dem Sortierförderer befindlichen Gegenstands, oder kann diese anhand der Geschwindigkeit des Sortierförderers bestimmen, d.h. logische Positionsdaten in Bezug auf eine Zuordnung eines Gegenstands zu der diesen tragenden Transporteinheit des Sortierförderers, und/oder physische Positionsdaten.Furthermore, based on the known position of the infeed device and the also known speed of the sorting conveyor, the controller continuously receives logical and/or physical position data of each individual item on the sorting conveyor, or can determine this based on the speed of the sorting conveyor, i.e. logical position data in relation to an assignment of an object to the transport unit of the sorting conveyor carrying it, and/or physical position data.

Da die Steuerung aufgrund der genannten Sortierdaten das Sortierziel eines jeden Gegenstands kennt, und damit den Übergabepunkt, an der dem Gegenstand auszuschleusen ist, kann die Steuerung dem Sortierförderer bzw. der Transporteinheit, die einen bestimmten Gegenstand trägt, bei oder kurz vor Erreichen des bestimmten Übergabepunkts ein Ausschleussignal übermitteln, woraufhin das Quergurtförderelement in Betrieb gesetzt wird und den Gegenstand an dem bestimmten Übergabepunkt 10 ausschleust.Since the controller knows the sorting destination of each item based on the sorting data mentioned, and thus the transfer point at which the item is to be ejected, the controller can tell the sorting conveyor or the transport unit carrying a specific item when or shortly before reaching the specific transfer point transmit an ejection signal, whereupon the cross-belt conveyor element is put into operation and ejects the object at the specific transfer point 10 .

Selbstverständlich können eine Vielzahl von Einschleuseinrichtungen zum Zuführen von Gegenständen auf den Sortierförderer vorgesehen sein, und es kann eine Erfassungseinrichtung an einer oder mehreren Einschleuseinrichtungen vorgesehen sein, entweder wie in Fig. 1 dargestellt stromab der Einschleuseinrichtung auf dem Sortierförderer, oder aber unmittelbar auf der Einschleuseinrichtung zur Erfassung bestimmter Gegenstandsdaten der Gegenstände beim bzw. unmittelbar vor dem Einschleusen, bspw. Identitätsdaten, Bilddaten, allgemein optische Objektdaten und/oder Abmessungen oder Gewicht.Of course, a plurality of induction devices can be provided for feeding articles onto the sorting conveyor, and a detection device can be provided on one or more induction devices, either as in 1 shown downstream of the infeed device on the sorting conveyor, or directly on the infeed device for capturing specific item data of the items during or immediately before infeed, e.g. identity data, image data, general optical object data and/or dimensions or weight.

Wie Fig. 2 zeigt, ist im Bereich des Übergabepunkts 10, in diesem Fall etwa mittig oberhalb des daran anschließenden Abgabewegs, eine Bilderfassungseinrichtung in Form einer Kamera 12 angeordnet, mit der optische Objektdaten wie etwa Bilddaten von jedem an dem Übergabepunkt 10 auszuschleusenden oder ausgeschleusten Gegenstand erfasst werden, falls diese nicht bereits zuvor erfasst worden sind. Die Kamera bzw. Bilderfassungseinrichtung ist mit der Steuerung verbunden und übermittelt die optischen Objektdaten an diese, oder diese Daten können durch die Steuerung von der Bilderfassungseinrichtung abfragbar sein.As 2 shows, in the area of the transfer point 10, in this case roughly in the middle above the adjoining delivery path, there is an image acquisition device in the form of a camera 12, with which optical object data such as image data of each object to be ejected or ejected at the transfer point 10 is recorded, if these have not previously been recorded. The camera or image capturing device is connected to the controller and transmits the optical object data to it, or these data can be queried by the controller from the image capturing device.

Vor, während oder nach dem Ausschleusen eines Gegenstands an der diesem zugeordneten Übergabepunkt, in diesem Beispiel der Ausschleuseinrichtung, registriert die Steuerung den ausgeschleusten Gegenstand als einen Gegenstand, der sich an oder anschließend an den bestimmten Übergabepunkt befindet, wobei die Gegenstandsdaten solcher einem bestimmten Übergabepunkt zugeordneten Gegenstände als eine Teilmenge aller in der Sortiervorrichtung vorliegenden Gegenstandsdaten gespeichert werden können. Im Beispiel der Fig. 2 sind vier Gegenstände an dem Übergabepunkt 10 ausgeschleust worden, so dass die Teilmenge von Gegenstandsdaten die Gegenstandsdaten wie Bild- oder optische Objektdaten und Identitätsdaten dieser vier Gegenstände in Verknüpfung mit oder Zuordnung zu dem Übergabepunkt 10 umfasst.Before, during or after the ejection of an object at the transfer point assigned to it, in this example the ejection device, the controller registers the ejected object as an object that is located at or subsequent to the specific transfer point, with the object data being assigned to such a specific transfer point Items can be stored as a subset of all item data present in the sorting device. In the example of 2 four objects have been ejected at the transfer point 10, so that the subset of object data includes the object data such as image or optical object data and identity data of these four objects in connection with or association with the transfer point 10.

Jeder ausgeschleuste Gegenstand wird ab dem Übergabepunkt 10 hinsichtlich seiner Position entlang des Abgabewegs bis zu seiner letztendlichen Entnahme an einem Entnahmepunkt 14 durch Tracking verfolgt. Diese Verfolgung durch Tracking erfolgt in an sich bekannter Weise dadurch, dass mittels der Kamera 12 in kurzen zeitlichen Abständen, die bspw. kleiner als 1 ms oder kleiner als 10 ms sein können, ein Bild des Gegenstands erfasst und mit einem jeweils kurz zuvor aufgenommenen Bild abgeglichen wird, woraus eine aktuelle Position des Gegenstands bestimmt wird. Jede aktuelle Position eines Gegenstands wird als Teil der Gegenstandsdaten des Gegenstands gespeichert, so dass zu jedem Zeitpunkt eine Zuordnung der Gegenstandsdaten des Gegenstands und der Position besteht.Each ejected object is tracked by tracking from the transfer point 10 with regard to its position along the delivery path up to its final removal at a removal point 14 . This tracking is carried out in a manner known per se in that the camera 12 captures an image of the object at short time intervals, which can be less than 1 ms or less than 10 ms, for example, and in each case with an image taken shortly beforehand is adjusted, from which a current position of the object is determined. Each item's current position is stored as part of the item's item data, so that at any point in time there is an association between the item's item data and the position.

Der Gegenstand wird durch das genannte Tracking bis zu einer Entnahme von dem Abgabeweg verfolgt, insbesondere bis zu einem Entnahmepunkt 14, der so eingerichtet sein kann, dass regelmäßig jeder an dem Übergabepunkt 10 ausgeschleuste Gegenstand dort entnommen wird. Alternativ besteht die Möglichkeit, dass ein Gegenstand an einem beliebigen Punkt entlang des Abgabewegs von diesem entnommen wird.The object is tracked by said tracking until it is removed from the delivery path, in particular up to a removal point 14, which can be set up in such a way that every object discharged at the transfer point 10 is regularly removed there. Alternatively, it is possible for an object to be removed from it at any point along the delivery path.

Bei dem Tracking eines Gegenstands kann ein Verlust der Zuordnung der Gegenstandsdaten zu der physischen Position des Gegenstands während dessen Bewegung entlang des Abgabewegs eintreten, bspw. wenn der Gegenstand kurzzeitig von anderen Gegenständen verdeckt wird und für die Kamera nicht oder nicht vollständig sichtbar ist. Für diesen Fall ist vorgesehen, dass nach dem Verlust der Zuordnung weitere optische Objektdaten, insbesondere Bilddaten, des Gegenstands erfasst werden, insbesondere sobald dieser nicht mehr von anderen Gegenständen verdeckt wird und für die Kamera erneut sichtbar wird, und dass diese weiteren optischen Objektdaten oder Bilddaten mit den ursprünglichen, zuvor erfassten optischen Objektdaten oder Bilddaten abgeglichen werden. Wenn hierbei im Rahmen eines vorgegebenen Toleranzbereichs eine Übereinstimmung zwischen den weiteren Bild- oder optischen Objektdaten und dazu passenden, zuvor erfassten Bild- oder optischen Objektdaten gefunden wird, kann das Tracking des Gegenstands fortgesetzt werden. Hierbei können entweder die weiteren optischen Objektdaten zugrunde gelegt werden und gespeichert werden, bspw. als weiterer Teil der Gegenstandsdaten, oder das Tracking kann auf Grundlage der früher erfassten optischen Objektdaten fortgesetzt werden.When tracking an item, the assignment of the item data to the physical position of the item may be lost during its movement along the delivery path, e.g. if the item is briefly covered by other items and is not or not completely visible to the camera. In this case, provision is made for further optical object data, in particular image data, of the object to be recorded after the assignment is lost, in particular as soon as it is no longer covered by other objects and becomes visible to the camera again, and for this further optical object data or image data to be recorded be compared with the original, previously recorded optical object data or image data. If a match is found between the further image or optical object data and the matching, previously recorded image or optical object data within a predefined tolerance range, the tracking of the object can be continued. In this case, either the additional optical object data can be taken as a basis and stored, for example as an additional part of the object data, or the tracking can be continued on the basis of the optical object data recorded earlier.

Da in der Steuerung die Gegenstandsdaten jedes einzelnen Gegenstands auf der Endstelle 10 gespeichert sind, kann diese Information beim Entnehmen eines Gegenstands von der Endstelle oder dem Abgabeweg bzw. Entnahmepunkt genutzt werden, um bspw. mehrere zu einem Sortierziel gehörige Gegenstände gemeinsam weiter zu transportieren oder zu lagern, oder aber um zu unterschiedlichen Sortierzielen gehörende Gegenstände von ein und demselben Abgabeweg oder Entnahmepunkt zu entnehmen, und anhand der für jeden Gegenstand bekannten Sortierinformation einzelnen, unterschiedlichen Sortierzielen zuzuordnen und unterschiedlich weiter zu transportieren. Damit besteht die Möglichkeit, ein und demselben Übergabepunkt mehrere Sortierziele zuzuordnen und dadurch Übergabepunkte einzusparen bzw. mehrfach zu nutzen.Since the object data of each individual object is stored in the controller at terminal 10, this information can be used when an object is removed from the terminal or the delivery route or removal point, for example to transport several objects belonging to a sorting destination together or to store, or to remove objects belonging to different sorting destinations from one and the same delivery path or removal point, and to assign them to individual, different sorting destinations using the sorting information known for each object and to transport them further in different ways. This makes it possible for one and assign several sorting destinations to the same transfer point and thereby save transfer points or use them more than once.

Fig. 4 erläutert in einer Seitenansicht die Anordnung mehrerer Übergabepunkte bzw. Endstellen 10.1, 10.2, 10.3, ..., wobei im dargestellten Beispiel die Endstelle 10 bzw. 10.1 als "destination #32" bezeichnet ist, wie auch in Fig. 1 angedeutet ist, wo die vier Gegenstände (#4, #15, #99, #171) dem Sortierziel "destination #32" zugeordnet sind. 4 explains the arrangement of several transfer points or terminals 10.1, 10.2, 10.3, ... in a side view, with terminal 10 or 10.1 being referred to as “destination #32” in the example shown, as also in FIG 1 it is indicated where the four objects (#4, #15, #99, #171) are assigned to the sorting destination "destination #32".

Claims (15)

  1. Method for generating and maintaining an allocation of object data of an object to a changing physical position of the object (20) in a sorting device (2) that comprises at least one entry point (4) for feeding objects to the sorting device (2) and a plurality of transfer points (10) at which selected objects (20) can be discharged from the sorting device (2), with the steps of:
    - feeding in an object (20), of which at least one identity feature can be stored as part of the object data of the object (20), at an entry point (4) of the sorting device, capturing identity data before, during or after such feeding in, and storing the identity data as part of the object data of the object (20),
    - on the basis of sorting data from which a sorting destination of the object (20) can be derived for each object (20), determining a transfer point (10) that is allocated to the object (20),
    - transporting the object (20) as far as the specified transfer point (10),
    - discharging the object (20) at the specified transfer point (10),
    characterised by the additional steps of:
    - capturing optical object data for each object (20) discharged at the transfer point (10) when the object (20) has reached a predetermined position on the sorting device (2), at the transfer point (10) or along a delivery path extending from the transfer point (10) to a removal point (14), and storing the optical object data as an additional part of the object data of the object (20),
    - moving the object (20) along the delivery path,
    - during the movement, tracking the discharged object (20) on the basis of the optical object data by means of the tracking system,
    wherein the tracking comprises repeated determination of the position of the object (20) along the delivery path at consecutive time intervals, until the object (20) is removed, and storing a current position of the object (20) as an additional part of the object data of the object (20).
  2. Method according to claim 1, characterised in that for each determination of the position, the tracking comprises an optical capture of the object (20), wherein a comparison is made with the optical object data for each determination of the position, at particular intervals of time or when the object (20) is removed.
  3. Method according to claim 1 or 2, characterised in that during, before or after an object is fed in, one or more dimensions and/or one or more images and/or a weight of an object (20) are captured and stored as part of the object data.
  4. Method according to one of the preceding claims, characterised in that the object (20) is actively transported along the delivery path or moves in an unpowered manner, slips, rolls or falls.
  5. Method according to one of the preceding claims, characterised in that a removal position and/or time of removal of the object (20) from the delivery path is captured and stored.
  6. Method according to one of the preceding claims, characterised in that the capture of the optical object data is carried out at a predetermined point in time or when the object (20) has been discharged from the sorting device (2) at the transfer point (10).
  7. Method according to one of the preceding claims, characterised in that several discharged objects (20) are simultaneously situated on the delivery path (10) and each individual object (20) is tracked by the tracking system.
  8. Method according to one of the preceding claims, characterised in that during the tracking of the object (20), a loss of the allocation of the object data to the physical position of the object (20) occurs at a position along the delivery path, wherein after the allocation is lost, additional optical object data of the object (20) are captured as soon as possible and are compared with the optical object data, and wherein if the optical object data agree with the additional optical object data within the scope of a specified tolerance range, the tracking is continued on the basis of the optical object data.
  9. Method according to claim 8, characterised in that in the event of a repeated loss of the allocation of the object data to the physical position of the object (20), the steps according to claim 8 are run through again.
  10. Method according to claim 8 or 9, characterised in that in the event that the additional optical object data deviate from the optical object data outside the tolerance range, an error message is added to the object data.
  11. Method according to claim 7 or according to claim 8, 9 or 10 insofar as it refers back to claim 7, characterised in that all the objects (20) situated within the delivery path between the transfer point (10) and the removal point (14) are continuously captured and tracked by the tracking system, and in the event that an object is obscured by another object in the delivery path (10), the tracking of the obscured object is continued as soon as the object is no longer obscured.
  12. Method according to one of the claims 8 to 11, characterised in that the object data of all objects (20) that are simultaneously situated on a delivery path of a transfer point (10) and have not yet been removed are allocated to the transfer point (10) as a subset of all the object data present in the sorting device, and when the additional optical object data are compared with the optical object data, the optical object data of the subset of object data allocated to the transfer point (10) are used.
  13. Method according to one of the preceding claims, characterised in that the identity data or object data of an object (20) taken from the delivery path and/or an item of information derived from them are communicated to a person or removal device removing the object.
  14. Device for generating and maintaining an allocation of object data of an object to a changing physical position of the object (20) in a sorting device (2), comprising at least one entry point (4) for feeding objects to the sorting device (2) and a plurality of transfer points (10) at which selected objects (20) can be discharged from the sorting device (2), and also
    - a storage device for storing the object data of a position and of optical object data,
    - a discharge device for discharging a particular object from the sorting device (2) at a particular transfer point (10),
    characterised by
    - a capture device (12) arranged in the area of the transfer point (10), for capturing
    optical object data and for tracking one or more objects (20) discharged at the transfer point (10), and
    - a control unit that is set up to control the sorting device (2) to execute the method according to one of the claims 1 to 13.
  15. Device according to claim 14, characterised in that
    the sorting device (2) comprises tilting pans, drop flap units or transverse conveyor belt units or driverless transport vehicles.
EP19185901.6A 2019-07-12 2019-07-12 Method and device for generating and maintaining an allocation of object data and position of an object Active EP3763448B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19185901.6A EP3763448B1 (en) 2019-07-12 2019-07-12 Method and device for generating and maintaining an allocation of object data and position of an object
PL19185901.6T PL3763448T3 (en) 2019-07-12 2019-07-12 Method and device for generating and maintaining an allocation of object data and position of an object
US16/925,566 US11583898B2 (en) 2019-07-12 2020-07-10 Method and device for producing and maintaining an assignment of object data and the position of an object
JP2020119076A JP7426910B2 (en) 2019-07-12 2020-07-10 Method and apparatus for generating and maintaining correspondence between article data and article location

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP19185901.6A EP3763448B1 (en) 2019-07-12 2019-07-12 Method and device for generating and maintaining an allocation of object data and position of an object

Publications (2)

Publication Number Publication Date
EP3763448A1 EP3763448A1 (en) 2021-01-13
EP3763448B1 true EP3763448B1 (en) 2022-05-11

Family

ID=67262103

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19185901.6A Active EP3763448B1 (en) 2019-07-12 2019-07-12 Method and device for generating and maintaining an allocation of object data and position of an object

Country Status (4)

Country Link
US (1) US11583898B2 (en)
EP (1) EP3763448B1 (en)
JP (1) JP7426910B2 (en)
PL (1) PL3763448T3 (en)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US7063256B2 (en) * 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
US7816617B2 (en) * 2007-05-21 2010-10-19 Lockheed Martin Corporation Configurable intelligent conveyor system and method
DE102007040367B4 (en) * 2007-08-17 2022-11-17 Ssi Schäfer Automation Gmbh Material flow control to avoid collisions in a conveyor system
US8825200B2 (en) * 2007-11-07 2014-09-02 Siemens Industry, Inc. Method and system for tracking of items
US8608068B2 (en) * 2007-12-05 2013-12-17 Siemens Industry, Inc. Mail processing tracking system and method
JP5977544B2 (en) * 2012-03-09 2016-08-24 キヤノン株式会社 Information processing apparatus and information processing method
CA2841721C (en) * 2013-02-07 2021-02-09 Kirk Serjeantson Package vision sort system and method
EP3041615B1 (en) * 2013-09-06 2019-05-01 Beumer Group A/S Method for inducting and singulating items to a sorter
FR3019068B1 (en) * 2014-03-25 2017-10-20 Solystic POSTAL SORTING MACHINE WITH ROBOTIC HANDLING ARMS
FR3032365B1 (en) * 2015-02-10 2017-02-03 Veolia Environnement-VE SELECTIVE SORTING PROCEDURE
EP3271082B1 (en) * 2015-03-16 2020-05-06 Nanopix Integrated Software Solutions Private Limited A novel intelligent grading machine with trajectory tracking sensor network and a process therefor
US10207296B2 (en) * 2015-07-16 2019-02-19 UHV Technologies, Inc. Material sorting system
US9731328B2 (en) * 2015-08-03 2017-08-15 Linear Group Services, LLC Inspection and sorting machine
JP6730061B2 (en) 2016-04-01 2020-07-29 株式会社東芝 Delivery support device, delivery support system, and delivery support program
JP6679442B2 (en) 2016-07-29 2020-04-15 パナソニックi−PROセンシングソリューションズ株式会社 Package tracking system, package tracking method and package tracking program
US10773897B2 (en) * 2017-05-05 2020-09-15 Fives Intralogistics Corp Off-loading, typing and item separation system
CA3066078C (en) * 2017-06-06 2022-03-01 Material Handling Systems, Inc. System and method for identifying and transferring parcels from a first conveyor to a second conveyor
WO2019178738A1 (en) * 2018-03-20 2019-09-26 深圳前海达闼云端智能科技有限公司 Item positioning method and system
US10766711B2 (en) * 2019-02-08 2020-09-08 Advanced Technology & Research Corp. Modular package sorting system

Also Published As

Publication number Publication date
PL3763448T3 (en) 2022-11-21
EP3763448A1 (en) 2021-01-13
US20210008599A1 (en) 2021-01-14
JP7426910B2 (en) 2024-02-02
JP2021014365A (en) 2021-02-12
US11583898B2 (en) 2023-02-21

Similar Documents

Publication Publication Date Title
DE102017214634B4 (en) Workpiece sorting system and process
EP3601118B1 (en) Production system with an agv for automatically discharging containers to picking shelves
EP3254893B1 (en) Delivery vehicle and method for delivering mail items to different locations along a delivery route
EP1185473B1 (en) Device for handling individually packaged goods
EP2741867B1 (en) Sorting installation and sorting method for jointly sorting different kinds of articles
EP0119402B1 (en) Object recognition and identification method
EP2106376B1 (en) Intelligent accumulating conveyor
DE102015117241B4 (en) Control of a conveyor system
EP1846309B1 (en) Apparatus and method for sorting unordered containers in an order picking system
DE102007038834A1 (en) Method and device for separating individual goods
DE102017113818B4 (en) ARTICLE FEEDING DEVICE WITH A SECTION FOR TEMPORARY PLACEMENT
WO2014037119A1 (en) Device and method for controlling the tracking of a value document stack
WO2014009138A1 (en) Method and device for transporting articles from dispensing stations into receiving stations
DE102019117349A1 (en) Device and method for handling piece goods that are moved one after the other in at least one row
EP3857523B1 (en) Arrangement and method for processing security documents
EP3448163B1 (en) Method and device for detecting the prone/supine position of fish conveyed by means of a conveying device
EP2818254B1 (en) Device for singulating piece goods
EP3763448B1 (en) Method and device for generating and maintaining an allocation of object data and position of an object
AT524439B1 (en) System for separating and identifying articles
EP2750809A1 (en) Method and device for sorting identification objects
EP3678792B1 (en) Device and method for removing containers which have been incorrectly imprinted in a direct printing machine
DE102017222566B4 (en) Robot system and production system
EP2105215B1 (en) Method and assembly for synchronising the distribution information of a sorting item with the information about a sorter element furnished with this sorting item
DE19756532B4 (en) Used glass bottle color classification method and corresponding device
AT525383A1 (en) System for separating and identifying articles

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210121

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20211216

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

GRAF Information related to payment of grant fee modified

Free format text: ORIGINAL CODE: EPIDOSCIGR3

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V.

Owner name: BEUMER GROUP GMBH & CO. KG

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1490934

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220515

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502019004324

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220912

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220811

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220812

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220811

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220911

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502019004324

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

26N No opposition filed

Effective date: 20230214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220712

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220731

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220731

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220712

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230720

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230731

Year of fee payment: 5

Ref country code: GB

Payment date: 20230724

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20230703

Year of fee payment: 5

Ref country code: FR

Payment date: 20230724

Year of fee payment: 5

Ref country code: DE

Payment date: 20230720

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511