EP2283937B1 - Method and device for transporting objects to destinations depending on pattern images - Google Patents
Method and device for transporting objects to destinations depending on pattern images Download PDFInfo
- Publication number
- EP2283937B1 EP2283937B1 EP10172124.9A EP10172124A EP2283937B1 EP 2283937 B1 EP2283937 B1 EP 2283937B1 EP 10172124 A EP10172124 A EP 10172124A EP 2283937 B1 EP2283937 B1 EP 2283937B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- image
- image pattern
- abb
- sorting system
- transported
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 19
- 241001417495 Serranidae Species 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000000919 ceramic Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229940124447 delivery agent Drugs 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/10—Apparatus characterised by the means used for detection ofthe destination
- B07C3/14—Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
Landscapes
- Sorting Of Articles (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Transportieren von Gegenständen, insbesondere von Postsendungen, an von Bildmustern abhängende Zielpunkte.The invention relates to a method and a device for transporting objects, in particular postal items, to target points which depend on image patterns.
Häufig wird eine große Anzahl gleichartiger Gegenstände, z. B. viele Exemplare einer Zeitschriftenausgabe, auf dem Postweg an die jeweiligen Empfänger verschickt. In der Regel können einige dieser Postsendungen nicht an den Empfänger zugestellt werden, weil die Empfängeradresse auf der Postsendung nicht mehr gültig ist. Solche Postsendungen sollen oft an den Absender zurückgesandt werden. Das Problem tritt auf, dass die Absenderadresse auf der Postsendung gar nicht von außen lesbar ist oder jedenfalls schwieriger lesbar ist als die Empfängeradresse.Often, a large number of similar items, such. B. many copies of a magazine issue, sent by post to the respective recipient. As a rule, some of these mailpieces can not be delivered to the recipient because the recipient address on the mailpiece is no longer valid. Such mail should often be returned to the sender. The problem arises that the sender address on the mail item is not readable from the outside or at least more difficult to read than the recipient address.
In
In
In
In
In
In
In
In
In
In
In
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zum Transportieren von Gegenständen zu Zielpunkten bereitzustellen, bei der Bildmuster auf den Gegenständen beim Transport ausgewertet werden, wobei die Notwendigkeit vermieden wird, manuell rechnerverfügbare Beschreibungen von Bildmustern einzugeben.In
The invention is based on the object, a method and an apparatus for transporting objects to target points in which image patterns on objects are evaluated during transport, avoiding the need to manually enter computer-readable descriptions of image patterns.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Vorrichtung mit den Merkmalen des Anspruchs 9 gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.The object is achieved by a method having the features of
Die lösungsgemäße Vorrichtung umfasst
- eine Klassifizierungs-Vorrichtung,
- eine Sortieranlage und
- einen Bildmuster-Datenspeicher.
- a classification device,
- a sorting plant and
- a pattern data store.
Die Klassifizierungs-Vorrichtung weist ein Bildaufnahmegerät und einen Gruppierer auf. Die Sortieranlage weist ebenfalls ein Bildaufnahmegerät sowie einen Bildmuster-Erkenner auf.The classifying apparatus includes an image pickup device and a grouper. The sorting system also has an image pickup device and a picture pattern recognizer.
Lösungsgemäß werden zunächst eine Trainingsphase und anschließend eine Sortierphase durchgeführt. Die Sortieranlage wird mindestens in der Sortierphase verwendet.According to the solution, first a training phase and then a sorting phase are carried out. The sorting system is used at least in the sorting phase.
In der Trainingsphase wird eine vorgegebene Stichprobe mit zu transportierenden Gegenständen verwendet. Folgende Schritte werden lösungsgemäß in der Trainingsphase durchgeführt:In the training phase, a predetermined sample of items to be transported is used. The following steps are performed according to the solution in the training phase:
Die zu transportierenden Gegenständen der Stichprobe durchlaufen die Klassifizierungs-Vorrichtung.The items to be transported in the sample pass through the classification device.
Das Bildaufnahmegerät erzeugt von jedem Gegenstand der Stichprobe jeweils mindestens ein Abbild.The image capture device generates at least one image of each subject of the sample.
Der Gruppierer stellt automatisch fest, welche verschiedenen Bildmuster auf jeweils mindestens einem Gegenstand der Stichprobe dargestellt werden. Hierbei wendet der Gruppierer eines Clustering-Verfahrens auf die Abbilder der Stichprobe an.The grouper automatically determines which different image patterns are displayed on at least one subject of the sample. In doing so, the grouper applies a clustering method to the images of the sample.
Die dergestalt ermittelten Bildmuster werden in dem Bildmuster-Datenspeicher abgespeichert.The thus determined image patterns are stored in the image pattern data memory.
In der Sortierphase werden lösungsgemäß für jeden zu transportierenden Gegenstand die folgenden Schritte durchgeführt:
- Der zu transportierende Gegenstand durchläuft die Sortieranlage.
- Das Bildaufnahmegerät erzeugt von dem zu transportierenden Gegenstand mindestens ein Abbild.
- Der Bildmuster-Erkenner stellt automatisch fest, ob auf dem Gegenstand ein Bildmuster dargestellt wird, das in dem Bildmuster-Datenspeicher abgespeichert ist, und wenn ja welches. Hierfür wertet der Bildmuster-Erkenner das Abbild des Gegenstands aus.
- die Sortieranlage ermittelt dann, wenn auf dem Gegenstand ein abgespeichertes Bildmuster dargestellt wird, unter Verwendung des Bildmusters einen Zielpunkt, an den dieser Gegenstand zu transportieren ist.
- die Sortieranlage löst einen Transport des Gegenstands zu diesem Zielpunkt aus.
- The object to be transported passes through the sorting system.
- The image capture device generates at least one image of the object to be transported.
- The image recognizer automatically detects whether an image pattern stored in the image pattern data memory is displayed on the object and, if so, which one. For this purpose, the image pattern recognizer evaluates the image of the object.
- the sorting system determines when the object a stored image pattern is displayed, using the image pattern, a target point to which this object is to be transported.
- the sorting system triggers a transport of the object to this destination point.
Die Erfindung spart die Notwendigkeit ein, dass in einer Trainingsphase ein Bearbeiter rechnerverfügbare Beschreibungen von Bildmustern verfügbar macht, so dass die Sortieranlage diese Bildmuster für die Sortierphase verwenden kann. Dies ist insbesondere dann von Vorteil, wenn laufend neue Bildmuster auf Gegenständen hinzukommen, so dass eine Trainingsphase mit manueller Eingabe stets zu spät kommen würde.The invention eliminates the need for a processor to make computer-available descriptions of image patterns available in a training phase so that the sorting system can use those image patterns for the sorting phase. This is particularly advantageous if new patterns are added to objects on an ongoing basis, so that a training phase with manual input would always be too late.
Die Erfindung spart weiterhin die Notwendigkeit ein, dass ein Versender von Gegenständen eine rechnerverfügbare Beschreibung eines Bildmusters an die Sortieranlage übermittelt. Es genügt, dass der Versender - oder ein Dritter - Gegenstände mit dem Bildmuster zur Verfügung stellt.The invention further eliminates the need for a mailer of items to communicate a computer-accessible description of a picture pattern to the sorting system. It is enough that the sender - or a third party - provides items with the image pattern.
Vorzugsweise wird die Sortieranlage auch für die Trainingsphase verwendet. Dadurch lassen sich Bestandteile der Sortieranlage, z. B. das Bildaufnahmegerät, in beiden Phasen verwenden.Preferably, the sorting system is also used for the training phase. As a result, components of the sorting system, z. As the imaging device, use in both phases.
Vorzugsweise wird das Clustering-Verfahren so durchgeführt, dass Gruppen von Abbildern gebildet werden, wobei jede Gruppe mindestens zwei Abbilder umfasst, die das gleiche Bildmuster zeigen. Möglich ist auch, eine Mindestanzahl von Abbildern pro Clustern festzulegen, die deutlich größer als 2 ist.Preferably, the clustering method is performed to form groups of images, each group comprising at least two images that show the same image pattern. It is also possible to set a minimum number of images per cluster that is significantly larger than 2.
Vorzugsweise werden mehrere Bild-Merkmale vorgegeben. Durch Auswertung eines Abbilds wird ermittelt, welchen Wert jedes Merkmal für dieses Abbild annimmt. Dadurch wird ein Merkmalswerte-Vektor für das Abbild erzeugt. Im Bildmuster-Datenspeicher werden charakteristische Merkmalswerte-Vektoren für die Bildmuster abgespeichert. In der Sortierphase wird für jeden zu transportierenden Gegenstand jeweils ein MerkmalswerteVektor erzeugt und mit den abgespeicherten Merkmalswerte-Vektoren verglichen. Dadurch lässt sich besonders schnell entscheiden, ob und wenn ja welches Bildmuster auf dem Gegenstand dargestellt ist.Preferably, several image features are specified. By evaluating an image, it is determined which value each feature assumes for this image. This creates a feature value vector for the image. Characteristic feature value vectors for the image patterns are stored in the image data memory. In the sorting phase, a feature value vector is generated for each object to be transported and compared with the stored feature value vectors. This makes it particularly easy to decide whether and, if so, which image pattern is displayed on the object.
Das lösungsgemäße Verfahren und die lösungsgemäße Vorrichtung lassen sich z. B. für den Transport von flachen Postsendungen, Paketen, Frachtstücken, Gepäckstücken oder Werkstücken in einer Fertigung verwenden.The solution according to the method and the device according to the solution can be z. B. for the transport of flat mail, packages, packages, pieces of luggage or workpieces in a manufacturing use.
Im Folgenden wird die Erfindung anhand eines Ausführungsbeispiels beschrieben. Dabei veranschaulichen:
- Fig. 1
- den ersten Durchlauf von Postsendungen durch eine Sortieranlage, wobei Bildmuster per Clustering er- kannt werden;
- Fig. 2
- den zweiten Durchlauf von Postsendungen durch die Sortieranlage von
Fig. 1 , wobei die Erkennungsergeb- nisse aus dem ersten Durchlauf angewendet werden;
- Fig. 1
- the first pass of mail through a sorting system, whereby image patterns are detected by clustering;
- Fig. 2
- the second pass of mail through the sorting system of
Fig. 1 wherein the recognition results from the first pass are applied;
Im Ausführungsbeispiel wird das Verfahren angewendet, um Bildmuster auf Postsendungen zu erkennen. Die Postsendungen sind beispielsweise Exemplare einer Ausgabe einer Zeitschrift oder eines Katalogs, die auf dem Postweg versandt werden. Die Postsendungen können flach sein oder auch Pakete oder Frachtstücke sein. Binnen weniger Tage soll ein Post-Dienstleister viele gleichartige Exemplare zusammen mit anderen Postsendungen an ihre jeweiligen Empfänger zuzusenden.In the exemplary embodiment, the method is used to recognize image patterns on mailpieces. For example, the mailpieces are copies of an issue of a journal or a catalog that will be sent by post. The mailpieces can be flat or even packages or freight items. Within a few days, a postal service provider is to send many identical copies together with other mailpieces to their respective recipients.
Die Bildmuster sind z. B. Logos oder Embleme, mit denen Absender ihre Postsendungen versehen. Das Bildmuster kennzeichnet den Absender und ist z. B. eine geschützte Bildmarke. Natürlich kann das Bildmuster Buchstaben einer natürlichen Sprache oder andere Zeichen enthalten.The picture patterns are z. As logos or emblems, with which sender provide their mail. The image pattern identifies the sender and is z. B. a protected figurative mark. Of course, the pattern may contain letters of a natural language or other characters.
Das Bildmuster auf einer Postsendung soll insbesondere dann erkannt werden, wenn die Postsendung nicht an denjenigen Empfänger zugestellt werden kann, dessen Postadresse auf der Postsendung angegeben ist. Beispielsweise ist der der Empfänger unbekannt verzogen. Oder der Empfänger ist zwar umgezogen und hat seine neue Adresse dem Post-Dienstleister mitgeteilt. Jedoch soll die Postsendung aufgrund einer Vorausverfügung ("endorsement") des Absenders nicht an die neue Adresse nachgesandt werden. Vielmehr soll entweder die Postsendung vernichtet werden, und eine Benachrichtigung über die Nichtzustellung der Postsendung soll an den Absender übermittelt werden ("sender notification"). Oder die Postsendung versehen mit einer Information über die neue Adresse soll an den Absender zurückgesandt werden. Möglich ist, dass die Postsendung mit einer Vorausverfügung ("endorsement") versehen ist, die festlegt, was mit der Postsendung geschehen soll, wenn die Postsendung nicht an diejenige Adresse gesandt werden kann, die auf der Postsendung angegeben ist.The image pattern on a mailpiece should be recognized, in particular, if the mailpiece can not be delivered to the recipient whose postal address is specified on the mailpiece. For example, the receiver is unknown warped. Or the recipient has moved and has communicated his new address to the postal service provider. However, the mailpiece should not be forwarded to the new address due to a sender's "endorsement". Rather, either the mailpiece should be destroyed, and a notification about the non-delivery of the mailpiece should be sent to the sender ("sender notification"). Or the mailing provided with information about the new address should be returned to the sender. It is possible that the item of mail is provided with an "endorsement", which determines what should happen to the item of mail if the item of mail can not be sent to the address specified on the item of mail.
In den gerade beschriebenen Fällen ist es erforderlich, die Absenderadresse zu ermitteln. Falls ein Bildmuster des Absenders auf der Postsendung erkannt werden kann, so wird es erleichtert, die zurückzusendenden Postsendungen nach den jeweiligen Absendern zu sortieren. Beispielsweise sind in einer Bildmuster-Adressen-Datenbank des Post-Dienstleisters die Adressen und Bildmuster von registrierten Absendern abgespeichert. Möglich ist auch, ein Verfahren durchzuführen, wie es in
Die erkannten Bildmuster sowie weitere Angaben zum Absender auf der Postsendung werden mit dieser Datenbank verglichen. Möglich ist es, nach erfolgreichem Vergleich die Postsendungen nach Absendern zu gruppieren, um alle Postsendungen an denselben Absender gemeinsam zustellen zu können. Im einfachsten Fall reicht es aus, die zurückzusendenden Postsendungen nach Absender-Bildmustern zu sortieren, ohne dass notwendigerweise automatisch die Absenderadresse bereits während des Sortierens entziffert wird.The recognized image patterns as well as further details of the sender on the mailpiece are compared with this database. After a successful comparison, it is possible to group the mail items by sender to be able to deliver all the mailpieces to the same sender. In the simplest case, it suffices to sort the mailpieces to be returned according to sender image patterns without necessarily automatically deciphering the sender address during sorting.
In einer anderen Ausgestaltung liefert ein Versender eine Menge gleichartiger Postsendungen, z. B. die Zeitschriften-Exemplare einer Ausgabe, ohne Zustelladresse und versehen mit seinem eigenen Bildmuster zum Post-Dienstleister. Außerdem übermittelt der Versender eine Adressliste mit Zustelladressen an den Post-Dienstleister, vorzugsweise in rechnerverfügbarer Form. An jede Zustelladresse in dieser Adressliste soll jeweils mindestens ein Exemplar der Menge gleichartiger Postsendungen zugestellt werden. Möglich ist, dass die Adressliste für jede Zustelladresse die Anzahl von Exemplaren, die an diese Zustelladresse zuzustellen sind, enthält.In another embodiment, a sender delivers a lot of similar mailings, e.g. As the magazine copies of an issue, without delivery address and provided with its own pattern to the postal service provider. In addition, the sender sends an address list with delivery addresses to the postal service provider, preferably in computer-available form. At least one copy of the quantity of similar mailpieces is to be delivered to each delivery address in this address list. It is possible that the address list for each delivery address contains the number of copies to be delivered to this delivery address.
Der Post-Dienstleister wertet die Adressliste aus und versieht jedes Exemplar mit einer Zustelladresse aus der Adressliste. Hierbei sind die gleichartigen Postsendungen von anderen Postsendungen aufgrund des gleichen Bildmusters zu unterscheiden.The postal service provider evaluates the address list and assigns each copy with an address from the address list. In this case, the similar mailpieces are to be distinguished from other mailpieces due to the same image pattern.
In einer Trainingsphase, also einem ersten Verfahrensschritt des Ausführungsbeispiels, wird eine Stichprobe mit Bildmuster-Abbildern erzeugt und ausgewertet.
Hierfür durchläuft eine bestimmte Menge von Postsendungen Ps-a, Ps-b, ..., Ps-n eine Sortieranlage, z. B. alle Postsendungen, die an einem bestimmten Tag die Sortieranlage erreichen. Eine Kamera 1 der Sortieranlage erzeugt von jeder Postsendung Ps-a, Ps-b, ... mindestens ein Abbild Abb-a, Abb-b, .... Möglich ist, dass mehrere Kameras mehrere Abbilder von derselben Postsendung aus verschiedenen Richtungen erzeugen, um auch Absenderangaben auf der Rückseite einer flachen Postsendung zu erfassen oder weil die Postsendung ein Paket ist und sechs Oberflächen dafür in Betracht kommen, die Absenderangaben zu zeigen. Ebenfalls ist möglich, dass zunächst ein Abbild Abb-a, Abb-b, ... erzeugt und ausgewertet wird und nur dann, wenn dieses eine Abbild nicht die Empfängeradresse oder nicht die Absenderadresse zeigt, die Postsendung gewendet wird und ein weiteres Abbild erzeugt wird.For this purpose, passes through a certain amount of mail Ps-a, Ps-b, ..., Ps-n a sorting system, z. B. all mail items that reach the sorting system on a particular day. A
Einige oder viele dieser Abbilder Abb-a, Abb-b, ... enthalten Bildmuster verschiedener Absender der Postsendungen Ps-a, Psb, .... Andere Abbilder enthalten keine Bildmuster.Some or many of these images Abb-a, Abb-b, ... contain image patterns of different senders of the mailings Ps-a, Psb, .... Other images contain no image patterns.
Die n Abbilder Abb-a, Abb-b, ... werden ausgewertet. In einer Ausführungsform werden die n Abbilder vor der eigentlichen Auswertung orientiert und skaliert. Durch das Orientieren wird sichergestellt, dass in allen Abbildern mit gleichen Bildmuster das Bildmuster in der gleichen Orientierung erscheint, also nicht einmal aufrecht stehend und einmal auf dem Kopf stehend. Vorzugsweise werden die Abbilder anhand der jeweiligen Empfängeradresse im Abbild orientiert. Durch das Skalieren werden alle Abbilder auf dieselbe Größe normiert, auch wenn die Abbilder von unterschiedlich großen Postsendungen stammen. Möglich ist auch, die eigentliche Auswertung durchzuführen, ohne vorab die Abbilder zu orientieren und zu skalieren.The n images Abb-a, Abb-b, ... are evaluated. In one embodiment, the n images are oriented and scaled before the actual evaluation. Orientation ensures that in all images with the same image pattern, the image pattern appears in the same orientation, ie not even standing upright and once standing upside down. Preferably, the images are oriented on the basis of the respective recipient address in the image. Scaling normalizes all images to the same size, even if the images come from different sizes of mail. It is also possible, the actual evaluation without first orienting and scaling the images.
Bei der eigentlichen Auswertung wird in einer Ausgestaltung zunächst in jedem Abbild nach demjenigen Bereich gesucht, der Angaben zum Absender der Postsendung enthält. In diesem Bereich könnte eine Abbildung eines Bildmusters des Absenders enthalten sein. Möglich ist natürlich, dass einzelne Abbilder keinerlei Absenderangaben enthalten.In the actual evaluation, in one embodiment, each image is first searched for the area containing information about the sender of the mailpiece. This area could contain an image of a sender's image pattern. It is of course possible that individual images do not contain any sender information.
Zunächst wird versucht, diesen Bereich mit Absenderangaben automatisch zu ermitteln. Möglich ist, dass vorgegeben wird, dass ein interessierendes Bildmuster stets in einem bestimmten Bereich der Postsendung zu suchen ist, z. B. im oberen linken Quadranten oder der linken Hälfte der Postsendung, um so ein Bildmuster eines Absenders von einem Freimachungsvermerk zu unterscheiden.First, an attempt is made to automatically determine this area with sender details. It is possible that it is specified that an image pattern of interest is always to be found in a certain area of the mailpiece, eg. In the upper left quadrant or the left half of the mailpiece so as to distinguish a picture pattern of a sender from a franking mark.
Gelingt es nicht, in einem Abbild eine Absenderangabe zu ermitteln, wird in einer Ausgestaltung das Abbild auf einem Bildschirmgerät einer Videocodierstation dargestellt. Ein Bearbeiter markiert im dargestellten Abbild den Bereich, der die Absenderangaben enthält, oder gibt ein, dass das Abbild keine Absenderangaben enthält. Beispielsweise positioniert der Absender mittels einer Maus ein Rechteck um den Bereich mit der Absenderangabe. Möglich, aber nicht erforderlich ist, dass der Bearbeiter die Absenderadresse selber eingibt. Ein Bildmuster kann er aber nicht eingeben, zumindest wenn sie aus mehr als einem Text besteht oder einen Text in bestimmter Typographie zeigt.If it is not possible to determine a sender information in an image, in one embodiment the image is displayed on a video display device of a video coding station. An engineer marks the area containing the sender details in the displayed image, or specifies that the image does not contain any sender information. For example, the sender uses a mouse to position a rectangle around the sender specified area. Possible, but not required, is that the processor enters the sender address himself. However, he can not enter an image pattern, at least if it consists of more than one text or shows a text in a specific typography.
Vorgegeben werden m Merkmale, die sich durch Auswertung eines Postsendungs-Abbilds berechnen lassen. Für jedes einer Postsendung der Stichprobe wird jeweils ein Merkmalswertevektor mit m Merkmalswerten erzeugt, indem das jeweilige Abbild Abb-a, Abb-b, ... der Postsendung automatisch ausgewertet wird. Dieser Merkmalswertevektor gibt an, welche m Werte die m Merkmale für diese Postsendung annehmen.Predetermined m characteristics that can be calculated by evaluating a mailpiece image. For each one postal item of the random sample, a feature value vector with m feature values is generated in each case by the respective image Abb-a, Abb-b,... Of the mail item being automatically evaluated. This feature value vector indicates which m values assume the m features for this mail item.
Einige dieser m Merkmale geben die Farbverteilung auf der Postsendung an. Hierfür wird das Spektrum der sichtbaren Farben in endlich viele Farbbereiche ("Farbkanäle") unterteilt. Für jeden Farbbereich werden Parameter derjenigen Fläche im Abbild Abb-a, Abb-b, ... berechnet, die Bildpunkte mit Farbtönen aus diesem Farbbereich umfasst ("Farbbereichs-Fläche"). Zu diesen Parametern gehören z. B. die Größe der Farbbereichs-Fläche selber, die Kantenlänge eines die Fläche umschreibenden Quadrats, die Diagonalen einer umschreibenden Ellipse, der Schwerpunkt und die Umfangslänge der Farbbereichs-Fläche. Möglich ist es, das Abbild der Postsendung in Bereiche zu unterteilen, z. B. in vier Quadranten, und die jeweiligen Parameter der Farbbereichs-Fläche in jedem Quadranten zu berechnen.Some of these features indicate the color distribution on the mail piece. For this purpose, the spectrum of visible colors is subdivided into finite color areas ("color channels"). For each color range, parameters of that area in the image Abb-a, Abb-b, ... are calculated, which includes pixels with hues from this color range ("color gamut area"). These parameters include, for. For example, the size of the color area area itself, the edge length of a square circumscribing the area, the diagonal of a circumscribing ellipse, the centroid, and the perimeter length of the color area area. It is possible to divide the image of the mail item into areas, eg. In four quadrants, and calculate the respective parameters of the gamut area in each quadrant.
Weitere Merkmale können aus der Verteilung und Häufigkeit von Grauwerten resultieren, wofür ein Raster über das Abbild gelegt wird. Derartige Verfahren sind z. B. bekannt, um Postsendungen wiederzuerkennen, ohne sie mit einer Markierung zu versehen ("Fingerprint", "Virtual ID").Other features may result from the distribution and frequency of gray values, for which a grid is superimposed over the image. Such methods are for. B. known to recognize mailings without providing them with a marker ("Fingerprint", "Virtual ID").
Eine Cluster-Bildungs-Einrichtung 3 wendet ein Clustering-Verfahren an. Unter "cluster analysis" oder auch "clustering" wird allgemein ein Verfahren verstanden, bei dem eine menge von Objekten, die durch jeweils einen Merkmalswertevektor beschrieben sind, auf Gruppen aufgeteilt werden, wobei die Objekte einer Gruppe zueinander ähnlich sind. "Clustering" ist ein Verfahren des "unsupervised learning" und wird z. B. in den Gebieten "machine learning", "data mining, "pattern recognition", "image analysis" und "bioinformatics" angewendet. Beispiele für Clustering-Verfahren sind "k-means clustering", "fuzzy c-means clustering", "QT clustering algorithm", "locality-sensitive hashing" und graphentheoretische Modelle.A cluster educator 3 applies a clustering method. "Cluster analysis" or "clustering" is generally understood to mean a method in which a set of objects, which are each described by a feature value vector, are divided into groups, the objects of a group being similar to one another. "Clustering" is a method of "unsupervised learning" and is z. In the fields of machine learning, data mining, pattern recognition, image analysis, and bioinformatics Examples of clustering methods are k-means clustering, fuzzy c-means clustering, "QT clustering algorithm", "locality-sensitive hashing" and graph theory models.
Für das Clustering-Verfahren des Ausführungsbeispiels wird ein Abstandsmaß zwischen zwei Merkmalswertevektoren vorgegeben. Die Abstände zwischen jeweils zwei Merkmalswertevektoren der Stichprobe werden berechnet. Bei n Abbildern Abb-a, Abb-b, ... der Stichprobe sind dies n * (n-1) / 2 Abstandsberechnungen. Alle Abbilder, deren Abstände gemäß diesem Abstandsmaß kleiner sind als eine vorgegebene Schranke, werden als Abbilder einer Gruppe (eines "Clusters") behandelt, die das gleiche Bildmuster zeigen.For the clustering method of the embodiment, a distance measure between two feature value vectors is specified. The distances between two characteristic value vectors of the sample are calculated. For n images Abb-a, Abb-b, ... of the sample these are n * (n-1) / 2 distance calculations. All images whose distances according to this distance measure are smaller than a predetermined limit are treated as images of a group (a "cluster") showing the same image pattern.
Vorzugsweise werden die Gruppen ("Cluster") so berechnet, dass in jede Gruppe mindestens zwei Abbilder der Stichprobe fallen.Preferably, the groups ("clusters") are calculated so that at least two images of the sample fall into each group.
Durch diese Anwendung eines Clustering-Verfahrens erkennt die Cluster-Bildungs-Einrichtung 3 automatisch, welche verschiedenen Bildmuster in den Abbildern Abb-a, Abb-b, ... enthalten sind. Das gleiche Bildmuster, z. B. das gleiche Logo eines Zeitschriftenverlags, kann auf unterschiedlichen Postsendungen desselben Absenders in unterschiedlichen Größen und - aufgrund von Variationen beim Druckvorgang und von Umgebungsbedingungen beim Aufnehmen der Abbilder - in unterschiedlichen Ausgestaltungen auftreten. Daher bildet die Cluster-Bildungs-Einrichtung 3 beim Anwenden des Clustering-Verfahren Gruppen von annähernd gleichartigen Bildmustern.Through this application of a clustering method, the cluster-forming device 3 automatically recognizes which different image patterns are contained in the images Abb-a, Abb-b,.... The same picture pattern, z. As the same logo of a magazine publisher, can occur on different mailings of the same sender in different sizes and - due to variations in the printing process and environmental conditions when recording the images - in different configurations. Therefore, when applying the clustering method, the clustering device 3 forms groups of approximately similar image patterns.
Die erkannten Gruppen von gleichartigen Bildmustern werden in einer Bildmuster-Datenbank 4 oder einem sonstigen geeigneten Datenspeicher abgespeichert. Dadurch wird automatisch eine Bildmuster-Datenbank 4 mit Referenz-Bildmustern erzeugt. Vorzugsweise wird jede Gruppe dadurch abgespeichert, dass in der Bildmuster-Datenbank 4 eine rechnerverfügbare Beschreibung desjenigen Bereichs im Raum der möglichen Merkmalswertevektoren abgespeichert wird, in dem alle Merkmalswertevektoren dieser Gruppe liegen. Möglich ist auch, ein charakteristischer Merkmalswertevektor oder ein charakteristisches Abbild aus dieser Gruppe abzuspeichern. Möglich, aber nicht erforderlich, ist es, zusätzlich aus den Abbildern jeweils ein Bildmuster zu extrahieren und eine Beschreibung dieses Bildmusters abzuspeichern.The identified groups of similar image patterns are stored in an image database 4 or other suitable data storage. As a result, an image data base 4 with reference image patterns is automatically generated. Preferably, each group is stored by storing in the image pattern database 4 a computer-accessible description of that area in the space of the possible feature value vectors in which all the feature value vectors of this group are located. It is also possible to store a characteristic feature value vector or a characteristic image from this group. It is possible, but not necessary, to additionally extract one image pattern from the images and to store a description of this image pattern.
In einer Sortierphase, also einem zweiten Verfahrensschritt des Ausführungsbeispiels, durchlaufen erneut Postsendungen die Sortieranlage. Im Ausführungsbeispiel wird die Sortieranlage also sowohl für die Schritte der Trainingsphase als auch für die Schritte der Sortierphase verwendet.
Festgestellt wird, welche Postsendungen an den Absender zurückzusenden sind und wegen welchen Postsendungen eine Benachrichtigung an den Absender erzeugt werden soll. Von jeder solchen Postsendung wird so wie oben beschrieben ein Bildmusters des Absenders, das auf der Postsendung angebracht ist, ermittelt. Ein Bildmuster-Erkenner 5 identifiziert ein Bildmuster auf einer Postsendung und vergleicht dieses Bildmuster mit denjenigen Referenz-Bildmustern, die im ersten Verfahrensschritt automatisch ermittelt und in der Bildmuster-Datenbank 4 abgespeichert wurden.It is ascertained which mailpieces are to be returned to the sender and for which mailpieces a notification is to be generated to the sender. From each such mail item, as described above, an image pattern of the sender mounted on the mailpiece is detected. An
In einer Ausgestaltung werden alle Postsendungen, die mit verschiedenen Varianten des gleichen Bildmusters versehen sind, in dieselbe Sortierendstelle - oder dieselben Sortierendstellen, wenn nicht alle Postsendungen in eine einzige Sortierendstelle passen - der Sortieranlage ausgeschleust. Diese Postsendungen sind an dieselbe Zustelladresse zurückzusenden.In one embodiment, all mail items that are provided with different variants of the same image pattern, in the same sorting end - or the same sorting outlets, if not all mail items fit into a single sorting end - the sorting system discharged. These mail items are to be returned to the same delivery address.
In einer Ausgestaltung werden alle Postsendungen aus derselben Sortierendstelle in einen Transportbehälter verbracht, z. B. ein Postpaket. Dieser Transportbehälter wird mit der Postadresse des Absenders versehen und an diese Postadresse transportiert. In dieser Ausgestaltung wird die gemeinsame Absenderangabe nicht notwendigerweise während des Sortierens ermittelt, sondern erst dann, wenn der Transportbehälter beschriftet wird.In one embodiment, all mail items are spent from the same sorting end in a transport container, z. B. a postal parcel. This transport container is provided with the postal address of the sender and transported to this postal address. In this embodiment, the common sender information is not necessarily determined during sorting, but only when the transport container is labeled.
In einer anderen Ausgestaltung wird zusätzlich während des Sortierens, also in der Sortierphase, die gemeinsame Absenderadresse aller Postsendungen, die an denselben Absender zurückzusenden sind, ermittelt. Hierfür wird eine dieser Postsendungen ausgewählt. Die auf der Postsendung aufgebrachte Absenderadresse wird ermittelt. Zunächst wird versucht, die Absenderadresse auf der ausgewählten Postsendung automatisch zu ermitteln und zu entziffern. Gelingt dies nicht, so wird ein Abbild der Oberfläche der Postsendung auf einem Bildschirm einer Videocodierstation dargestellt. Ein Bearbeiter markiert den Bereich im Abbild, der die Absenderangaben zeigt. Versucht wird, die Adresse in diesem Bereich automatisch zu lesen. Gelingt dies nicht, so gibt der Bearbeiter die Absenderangaben ein.In another embodiment, the common sender address of all mail items that are to be returned to the same sender is additionally determined during the sorting, that is, in the sorting phase. For this purpose, one of these mailings selected. The sender address applied to the mailpiece is determined. First, an attempt is made to automatically determine and decipher the sender address on the selected mail piece. If this is not successful, an image of the surface of the mail item is displayed on a screen of a video coding station. An engineer marks the area in the image that shows the sender details. It is attempted to automatically read the address in this area. If this fails, the processor enters the sender details.
Möglich ist, dass die Postsendungen eines bestimmten Absenders keine Absenderangaben enthalten, zumindest nicht auf einer von außen sichtbaren Seite. Beispielsweise zeigt eine Ausgabe einer Zeitschrift zwar ein Bildmuster des herausgebenden Verlags im Deckblatt, aber keine Absenderadresse.It is possible that the mailings of a particular sender do not contain sender information, at least not on an externally visible page. For example, an issue of a journal may show a picture pattern of the issuing publisher in the cover page, but no sender address.
In einer Ausgestaltung wird daher im zweiten Durchlauf zusätzlich eine Bildmuster-Adress-Datenbank 6 vorgegeben. Diese Bildmuster-Adress-Datenbank 6 enthält mehrere Datensätze. Jeder Datensatz umfasst jeweils ein Referenz-Bildmuster eines Absenders sowie eine Zustelladresse dieses Absenders. Der Datensatz kann zusätzliche Informationen enthalten, z. B. Informationen für die Abrechnung von Transport-Dienstleistungen, die für diesen Absender erbracht wurden.In one embodiment, an image pattern address database 6 is therefore additionally specified in the second pass. This image pattern address database 6 contains several data records. Each record comprises a reference image pattern of a sender as well as a delivery address of this sender. The record may contain additional information, e.g. B. Billing information for transportation services provided to this sender.
Das Bildmuster der ausgewählten Postsendung wird ermittelt. Dieses Bildmuster wird mit Referenz-Bildmustern von Datensätzen der Bildmuster-Adress-Datenbank 6 verglichen. Der Datensatz mit dem ähnlichsten Referenz-Bildmuster wird automatisch ausgewählt. Gelingt diese automatische Auswahl nicht, so wählt ein Bearbeiter das richtige Bildmuster unter automatisch ausgewählten ähnlichen Referenz-Bildmustern aus. Diejenige Zustelladresse, die vom Datensatz mit dem ähnlichsten Referenz-Bildmuster umfasst wird, wird als Zustelladresse für alle Postsendungen mit diesem Bildmuster verwendet. Die Postsendungen werden vorzugsweise gemeinsam an diese Zustelladresse des Absenders transportiert.
Claims (10)
- Method for transporting objects to destinations,
wherein the following steps are performed in a training phase:- a sample comprising objects (Ps-a, Ps-b,...) that are to be transported passes through a classification device,- wherein the classification device has an image acquisition device (1) and a grouper (3),- the image acquisition device (1) in each case generates at least one image (Abb-a, Abb-b, ...) of each object (Ps-a, Ps-b,...) in the sample,- the grouper (3) automatically establishes, by applying a clustering method to the images (Abb-a, Abb-b, ...), which different image patterns are represented on at least one object (Ps-a, Ps-b,...) of the sample in each case, and- the image patterns determined in said manner are stored in an image pattern data store (4),and wherein the following steps are performed in a sorting phase for each object (Ps-1, Ps-2, ...) that is to be transported:- the object (Ps-1, Ps-2, ...) that is to be transported passes through a sorting system,- wherein the sorting system has an image acquisition device (1) and an image pattern identifier (5),- the image acquisition device (1) generates at least one image (Abb-1, Abb-2, ...) of the object (Ps-1, Ps-2, ...) that is to be transported,- the image pattern identifier (5) automatically establishes, by evaluating the image (Abb-1, Abb-2, ...), whether an image pattern stored in the image pattern data store (4) is represented on the object, and if so, which,- the sorting system then, if such an image pattern is represented on the object (Ps-1, Ps-2, ...), uses the image pattern to determine a destination to which said object is to be transported, and- the sorting system initiates a transport of the object (Ps-1, Ps-2, ...) to said destination. - Method according to claim 1,
characterised in that
the sorting system- also comprises the grouper (3) and- is also used for the method steps of the training phase. - Method according to claim 1 or claim 2,
characterised in that
in the sorting phase the following steps are performed for each image pattern stored in the image pattern data store (4) :- it is determined on which objects (Ps-1, Ps-2, ...) that are to be transported said image pattern is represented,- a common destination is determined to which all objects (Ps-1, Ps-2, ...) having said image pattern are to be transported, and- the sorting system initiates the transport of all objects (Ps-1, Ps-2, ...) having said image pattern to the determined destination. - Method according to claim 3,
characterised in that
for at least one image pattern, determining the destination comprises the following steps:- one of the objects having said image pattern is selected,- the destination is determined by evaluation of the at least one image of said selected object. - Method according to claim 3,
characterised in that
for at least one image pattern, determining the destination comprises the following steps:an image pattern-destinations data store (6) is specifiedin which are stored a plurality of reference image patterns and, in each case, destination information for each reference image pattern,the image pattern is compared with reference image patterns in the image pattern-destinations data store (6),a reference image pattern is selected as the result of the comparison, andthe destination information of the selected reference image pattern is determined and used as the common destination. - Method according to one of claims 1 to 5,
characterised in that
a plurality of image features is specified,
in the training phase, the grouper (3)- determines, for each image of an object in the sample, which value each specified feature assumes in each case for said image,- thereby calculates a feature value vector in each case for each image, and- uses the feature value vectors for establishing which different image patterns are represented on the objects. - Method according to claim 6,
characterised in that
in the training phase, the grouper (3)- combines into a group all images whose feature value vectors differ from one another by at most a predefined limit or a limit calculated in the training phase, and- automatically decides that different image patterns are represented in two images belonging to two different groups. - Method according to claim 6 or claim 7,
characterised in that
the step of storing the image patterns determined in the training phase in the image pattern data store (4), comprises the step of storing a computer-available description of a range in the space of the possible feature value vectors, and
the step wherein the image pattern identifier (5) automatically establishes in the sorting phase whether an image pattern, and if so, which, is represented on an image
comprises the steps wherein the image pattern identifier (5)- calculates a feature value vector for the image and- compares said feature value vector with the feature value vector descriptions stored in the image pattern data store (4). - Device for transporting objects to destinations,
wherein the device comprises- a classification device,- a sorting system and- an image pattern data store (4),the classification device has an image acquisition device (1) and a grouper (3),
the sorting system has an image acquisition device (1) and an image pattern identifier (5),
the device is embodied for performing the following steps in a training phase:- a sample containing objects (Ps-a, Ps-b,...) that are to be transported passes through the classification device,- the image acquisition device (1) generates at least one image (Abb-a, Abb-b, ...) of each object (Ps-a, Ps-b,...) in the sample in each case,- the grouper (3) automatically establishes, by applying a clustering method to the images (Abb-a, Abb-b, ...), which different image patterns are represented on at least one object (Ps-a, Ps-b,...) of the sample in each case, and- the device stores the image patterns determined in said manner in an image pattern data store (4), andthe device is furthermore embodied for performing the following steps for each object (Ps-1, Ps-2, ...) that is to be transported in a sorting phase:- the object (Ps-1, Ps-2, ...) that is to be transported passes through a sorting system,- the image acquisition device (1) generates at least one image (Abb-1, Abb-2, ...) of the object (Ps-1, Ps-2, ...) that is to be transported,- the image pattern identifier (5) automatically establishes, by evaluating the image (Abb-1, Abb-2, ...), whether an image pattern stored in the image pattern data store (4) is represented on the object, and if so, which,- the sorting system then, if such an image pattern is represented on the object (Ps-1, Ps-2, ...), uses the image pattern to determine a destination to which said object is to be transported, and- the sorting system initiates a transport of the object (Ps-1, Ps-2, ...) to said destination. - Device according to claim 9,
characterised in that
the sorting system- also comprises the grouper (3) and- is also embodied for performing the method steps of the training phase.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200910036626 DE102009036626A1 (en) | 2009-08-07 | 2009-08-07 | Method and device for transporting objects to image-pattern-dependent destination points |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2283937A1 EP2283937A1 (en) | 2011-02-16 |
EP2283937B1 true EP2283937B1 (en) | 2013-12-18 |
Family
ID=42937573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP10172124.9A Active EP2283937B1 (en) | 2009-08-07 | 2010-08-06 | Method and device for transporting objects to destinations depending on pattern images |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2283937B1 (en) |
DE (1) | DE102009036626A1 (en) |
DK (1) | DK2283937T3 (en) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4320331A1 (en) * | 1993-06-20 | 1994-12-22 | Robert Prof Dr Ing Massen | Flexible optical sorting of hollow bodies |
PT700515E (en) * | 1993-05-28 | 2001-03-30 | Millennium Venture Holdings Lt | AUTOMATIC INSPECTION APPARATUS |
DE19501996C2 (en) * | 1995-01-11 | 1996-12-12 | Mannesmann Ag | Control for conveyor systems |
DE19751862C2 (en) * | 1997-11-22 | 2002-09-19 | Lutz Priese | Method and device for identifying and sorting belt-conveyed objects |
DE19836767C1 (en) | 1998-08-13 | 1999-11-18 | Siemens Ag | Processing of items to be returned to sender |
DE20218212U1 (en) * | 2002-08-12 | 2003-12-24 | Mit Management Intelligenter Technologien Gmbh | Device for automatic address block marking |
FR2873469B1 (en) | 2004-07-20 | 2007-08-31 | Solystic Sa | METHOD FOR DETECTION OF SPINNING. |
US20070239848A1 (en) | 2006-04-11 | 2007-10-11 | John Avery | Uniform resource locator vectors |
US20080008376A1 (en) | 2006-07-07 | 2008-01-10 | Lockheed Martin Corporation | Detection and identification of postal indicia |
JP4893278B2 (en) * | 2006-12-01 | 2012-03-07 | 日本電気株式会社 | Certificate identification system and certificate identification method |
DE102006059525B3 (en) | 2006-12-14 | 2008-04-17 | Siemens Ag | Objects i.e. postal items, transport controlling method, involves generating message if no data set is found with image of misrouted object under emitted data set such that delivery point specification of misrouted object is read as false |
DE102007038186B4 (en) | 2007-08-13 | 2009-05-14 | Siemens Ag | Method and device for transporting bulk mail |
-
2009
- 2009-08-07 DE DE200910036626 patent/DE102009036626A1/en not_active Withdrawn
-
2010
- 2010-08-06 DK DK10172124T patent/DK2283937T3/en active
- 2010-08-06 EP EP10172124.9A patent/EP2283937B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
DK2283937T3 (en) | 2014-03-10 |
EP2283937A1 (en) | 2011-02-16 |
DE102009036626A1 (en) | 2011-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60308025T2 (en) | IDENTIFICATION MARKING OF POSTS BY IMAGE SIGNATURE AND RELATED POST MACHINING MACHINE | |
EP2371461B1 (en) | Method for transporting an object to be printed | |
DE19705891C1 (en) | Mechanically sorting method for mixed size mail | |
DE19646522C2 (en) | Method and device for recognizing distribution information on shipments | |
DE4000603A1 (en) | Intermediate storing method for letters or envelopes - optically scanning and storing patterns resulting from scanning signal processing for comparison when retrieving | |
DE102011083580A1 (en) | Sorting system and sorting method for the common sorting of various objects | |
DE69926280T2 (en) | Method for recognizing addresses and letter processing device | |
EP2197599B1 (en) | Method and device for transporting and handling a plurality of articles | |
DE102008015313A1 (en) | Method and device for processing and transporting objects in an order | |
DE19836767C1 (en) | Processing of items to be returned to sender | |
EP1259932B1 (en) | Method and device for reading the addresses of mailed items | |
EP3071340B1 (en) | Method and appartus for sorting objects | |
EP2260952B1 (en) | Method and device for controlling the transportation of an object to a holder unit | |
DE102008017190A1 (en) | Method and device for transporting objects | |
DE102009060515A1 (en) | Method and device for sorting articles of different format classes | |
EP2097182B1 (en) | Method of, and apparatus for, controlling the transportation of articles, and arrangement for transporting a plurality of articles | |
EP1656218B1 (en) | Method and device for processing graphical information found on postal deliveries | |
EP2431932B1 (en) | Method and device for processing objects using an interim storage device and a sorting assembly | |
EP0844029B1 (en) | Method and device for identifying mail | |
WO2009037290A1 (en) | Method and device for transporting and handling a plurality of articles | |
EP2283937B1 (en) | Method and device for transporting objects to destinations depending on pattern images | |
EP2259210A2 (en) | Method and device for analysing a database | |
DE102008004655A1 (en) | Method and device for transporting objects | |
WO2007042093A1 (en) | Apparatus for, and method of, sorting flat objects, in particular mail in the form of letters | |
EP1389493A1 (en) | Process and apparatus for automatic marking of address fields |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME RS |
|
17P | Request for examination filed |
Effective date: 20110110 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SIEMENS AKTIENGESELLSCHAFT |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
INTG | Intention to grant announced |
Effective date: 20130719 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: SIEMENS SCHWEIZ AG, CH Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 645372 Country of ref document: AT Kind code of ref document: T Effective date: 20140115 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502010005686 Country of ref document: DE Effective date: 20140213 |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: T3 Effective date: 20140306 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: T3 |
|
REG | Reference to a national code |
Ref country code: SE Ref legal event code: TRGR |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140318 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140418 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140418 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502010005686 Country of ref document: DE |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20140919 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502010005686 Country of ref document: DE Effective date: 20140919 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140806 Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140831 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140806 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140319 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20100806 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 7 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DK Payment date: 20160819 Year of fee payment: 7 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: AT Payment date: 20160708 Year of fee payment: 7 Ref country code: SE Payment date: 20160811 Year of fee payment: 7 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20161109 Year of fee payment: 7 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 8 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PCOW Free format text: NEW ADDRESS: WERNER-VON-SIEMENS-STRASSE 1, 80333 MUENCHEN (DE) |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: EBP Effective date: 20170831 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 645372 Country of ref document: AT Kind code of ref document: T Effective date: 20170806 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170807 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170831 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170831 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170806 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170831 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131218 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 502010005686 Country of ref document: DE Owner name: KOERBER SUPPLY CHAIN LOGISTICS GMBH, DE Free format text: FORMER OWNER: SIEMENS AG, 80333 MUENCHEN, DE |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: PD Owner name: KOERBER SUPPLY CHAIN LOGISTICS GMBH; DE Free format text: DETAILS ASSIGNMENT: CHANGE OF OWNER(S), ASSIGNMENT; FORMER OWNER NAME: SIEMENS AKTIENGESELLSCHAFT Effective date: 20220824 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20220818 AND 20220824 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 502010005686 Country of ref document: DE Representative=s name: MUELLER SCHUPFNER & PARTNER PATENT- UND RECHTS, DE |
|
P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230523 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: NL Payment date: 20230823 Year of fee payment: 14 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20230831 Year of fee payment: 14 Ref country code: GB Payment date: 20230824 Year of fee payment: 14 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20230821 Year of fee payment: 14 Ref country code: DE Payment date: 20230519 Year of fee payment: 14 |