EP2207721A1 - Pickerstrasse und verfahren zum einsetzen von produkten in einen verpackungsbehälter - Google Patents

Pickerstrasse und verfahren zum einsetzen von produkten in einen verpackungsbehälter

Info

Publication number
EP2207721A1
EP2207721A1 EP08804490A EP08804490A EP2207721A1 EP 2207721 A1 EP2207721 A1 EP 2207721A1 EP 08804490 A EP08804490 A EP 08804490A EP 08804490 A EP08804490 A EP 08804490A EP 2207721 A1 EP2207721 A1 EP 2207721A1
Authority
EP
European Patent Office
Prior art keywords
picker
products
image processing
processing system
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP08804490A
Other languages
English (en)
French (fr)
Other versions
EP2207721B1 (de
Inventor
Harry Rutschmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2207721A1 publication Critical patent/EP2207721A1/de
Application granted granted Critical
Publication of EP2207721B1 publication Critical patent/EP2207721B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B35/00—Supplying, feeding, arranging or orientating articles to be packaged
    • B65B35/10—Feeding, e.g. conveying, single articles
    • B65B35/16—Feeding, e.g. conveying, single articles by grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B57/00—Automatic control, checking, warning, or safety devices
    • B65B57/10—Automatic control, checking, warning, or safety devices responsive to absence, presence, abnormal feed, or misplacement of articles or materials to be packaged
    • B65B57/14—Automatic control, checking, warning, or safety devices responsive to absence, presence, abnormal feed, or misplacement of articles or materials to be packaged and operating to control, or stop, the feed of articles or material to be packaged

Definitions

  • the invention relates to a picker line for inserting products into a
  • Packaging container comprising a conveyor belt for the delivery and transport of products in a transport direction and at least one picker equipped with a position image processing system for determining the position of the products on the conveyor belt.
  • a position image processing system for determining the position of the products on the conveyor belt.
  • Products are known, for example, from US-A-5 040 056 and US-A-6 122 895.
  • image processing systems for verifying predetermined quality characteristics, such as e.g. Color and shape of a product.
  • the quality inspection of the products to be packaged such as e.g. Biscuits and the like small bakery products, usually by visual inspection of products delivered on a conveyor belt. Products that do not meet the quality specifications are sorted out manually.
  • the invention has the object of providing a picker road of the type mentioned in such a way that only products are picked that meet predetermined quality requirements.
  • Another object of the invention is the acquisition of quality data in a central system.
  • Another object of the invention is to visualize the quality defects of the non-picked products.
  • a quality image processing system for checking the products passing on the conveyor belt in the transport direction on the quality image processing system to predetermined quality features and assigning a downstream to the quality image processing system in the direction of transport subsequent picker to be transmitted, is arranged as a control command for gripping or non-gripping the products serving quality information.
  • At least two with one position-image processing system equipped picker are arranged in the transport direction one behind the other, each picker is provided for the transmission of the control command for grasping or not grasping the products serving quality information and the position data for the products not picked up by this picker products to the subsequent picker ,
  • Image processing system detected position data in each case to the next picker, the quality data determined by the quality image processing system go through all pickers. In the event of failure of its own position imaging system, each picker will assume the position data acquired by the preceding picker, i. the system is redundant.
  • the picker preceding the failed picker transmits the quality information serving as a control command for grasping or not grasping the products, and communicates the position data for the products not picked up by that picker to the picker following the failed picker.
  • this picker is thus circulating, i. the quality information and the position data are transferred from the previous picker directly to the following picker.
  • the products are displayed on a screen and the quality features recorded by the quality image processing system for the products are visualized. Expediently, the products detected by the position image processing system are marked separately.
  • the quality information acquired by the quality image processing system is assigned to the products detected in the position image processing system with more exact coordinates. Unpicked products must be handed over to the picker with the general quality information "good” or “bad” in the direction of transport, the absence of only one of the quality information leading to the qualifier "poor” for the control of the picker. Bad products, ie products which do not satisfy the quality requirements in at least one point, are not picked by any picker and leave the plant at their end. To locate the quality defects underlying causes are all a product associated quality information to the monitoring system explained below.
  • a user interface usually a screen, available on the good and bad products and the type of error can be seen, so that it can be distinguished, whether products were not picked due to a lack of quality, or if there are other reasons that a product is not packed, eg in case of overload of the system or in case of insufficient adjustment of the system.
  • the pickers were able to assign the quality information to the products or whether the positional tolerance between the quality image processing system and the position image processing system was too great.
  • the indication of the type of defect directly suggests problems in the manufacturing process of the products (e.g., wrong baking temperature, problems with applying a spice mixture, etc.) so that they can be remedied.
  • the system should allow the continued operation of the line even in the event of failure of individual pickers and image processing systems.
  • the proposed system with the device according to the invention includes i.a. the following advantages:
  • the quality image processing system is independent of the position image processing system. Localization by means of positional image processing systems is standard for all types of products, and the quality image processing system is adapted to each project.
  • Process equipment can be corrected, or problems in the allocation of products in the position-imaging system due to excessive tolerance between quality and position image processing system, overload of the picker, etc.
  • Fig. 1 a plan view of a picker street
  • FIG. 2 shows the recognition of a product characterized by a quality image processing system by a position image processing system associated with a picker
  • a picker line 10 shown in FIG. 1 has a revolving conveyor belt 12 for the transport of products 14 to be packed in a transport direction x.
  • three pickers 18n, 18i 2 , 18i 3 and 18 2 1, 18 22 , 18 2 3 arranged one behind the other in two parallel lines are arranged in the transport direction x such that the work areas overlap one another and thereby Cover the conveyor belt 12 over its entire width.
  • each picker 18 1 ⁇ , 18 1 2 , 18 1 3 and 18 2 1 , I 8 22 , 18 2 3 extends each one of the respective picker associated position image processing system 2Oi 1 , 20i 2 , 20i 3 or 2O 2 1 , 2O 22 , 2O 23 transversely to the transport direction x over the area covered by the corresponding picker
  • Conveyor belt 12 such that each two position image processing systems cover the entire width of the conveyor belt.
  • a quality image processing system 16 extends across the entire width of the conveyor belt 12. Errors and product characteristics that may be detected by the quality image processing system 16 include, for example, shape, damage, ink, imprints, etc. - -
  • the picker line 10 comprises only two parallel rows, each with three pickers 18. However, fewer or more than three pickers 10 may be arranged in only one or more than two rows.
  • a picker line 10 consists of a plurality of pickers 18 arranged one behind the other, which are arranged in one or more parallel rows. From the quality image processing system 16, all product data is sent to the first picker 18. In systems with several rows of pickers 18 arranged in parallel, each section of the product data corresponding to its working area, including an overlapping area, is transmitted to each first picker 18.
  • the product 14 to be packaged - e.g. from an oven ready for packaging to Pickerstrasse 10 transferred small bakery - are distributed in the transport direction x upstream of the quality image processing system 16 randomly over the entire width of the conveyor belt 12 of the picker 10 passed.
  • predetermined quality features such as shape, color and the like. Recognizable on the finished product 14 recognizable, suitable for determining the product quality properties and registered in the direction of transport x arranged downstream of the quality image processing system 16 arranged first picker 18.
  • Image processing system 20 of the first picker 18 the exact coordinates of the products 14 are detected on the conveyor belt 12 and compared with the registered in the quality image processing system 16 data, due to the less accurate position determination by the quality image processing system 16, the assignment of the data derived from this system through the position
  • Image processing system 20 takes place via a tolerance window 24 (FIG. 2).
  • the position imaging system 20 communicates the data of the thus-identified products 14 to the associated picker 18, which packages a portion of the good products 14.
  • the data of the products 14 detected by the positional image processing system 20 are also transmitted to the positional image processing system 20 of the subsequent picker 18. This
  • each picker 18 can also access the position data of the preceding picker 18 if necessary.
  • a picking line 10 equipped with a sufficient number of pickers 18 in accordance with the packaging performance only the products 14 which are registered as "bad" by the quality image processing system 16 due to a quality defect and consequently not packed, remain as rejects at the end of the conveyor belt 12.
  • the assignment of a product 14 recognized by the quality image processing system 16 to a product detected by the positional image processing system 20 of a picker 18 is effected by the quality determination of the picker 18 being less accurate compared to the position image processing system 20 of the picker 18.
  • Image processing system 16 via a tolerance window 24. The following designations are used for the different positions of a product 14:
  • P1 Local, detected by the position image processing system 20 of the picker 18
  • Position P2 detected by the quality image processing system 16, within the
  • the products 14 detected and classified by the quality image processing system 16 on the conveyor belt 12 in the transport direction x are moving on a screen 22 with their position on the conveyor in the form of rectangles of light color as "good” (14g ) or with a type of hatch corresponding to the type of defect as “bad” (14s).
  • Products (z) associated with the position imaging system 20 are shown in a darker hue.
  • the current state of the product carpet on the conveyor belt 12 can be seen at any time. In particular, it can also be seen for which reason products 14 leave the plant unpacked, eg because of a recognized quality defect, an excessive position tolerance (data of the quality image processing system 16 and the position image processing system 20 could not be brought into agreement), or because of Overload of the system.
  • a position-imaging system 16 fails, it is detected and the picker 18 affected by the failure receives the image processing data from the upstream picker 18 so that production can be maintained.
  • the failure of a Picker horrung can be detected, so that the data are communicated past the failed picker to the next operational picker. Only the failure of the quality image processing system 16 leads to the shutdown of the line.
  • the positional deviation between communicated and locally detected data is displayed on screen 22 as a dash from the center of the locally detected product. If you only see one point there, the data is stable. This feature helps with
  • Position P2 gives.
  • the locally detected part can be linked with a quality information. If the quality meets the requirements, the product is communicated to the picker queue.
  • Each system sends its product data to the subsequent system as soon as the corresponding product has left the picker's work area. Correctly sent product data 14v are marked in a separate color.
  • the visualization system is implemented on the local picker controls and shows there a section of the own work area as well as the work areas of the adjacent pickers.
  • the system can also be implemented across plants and show the condition of the entire system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

Beschreibung
Titel
PICKERSTRASSE UND VERFAHREN ,ZUM EINSETZEN VON PRODUKTEN IN EINEN VERPACKUNGSBEHÄLTER
Technisches Gebiet
Die Erfindung betrifft eine Pickerstrasse zum Einsetzen von Produkten in einen
Verpackungsbehälter, mit einem Transportband für die Anlieferung und den Transport von Produkten in einer Transportrichtung und wenigstens einem mit einem Positions- Bildverarbeitungssystem zur Bestimmung der Position der Produkte auf dem Transportband ausgestatteten Picker. Im Rahmen der Erfindung liegt auch ein Verfahren zum Betreiben der Pickerstrasse.
Stand der Technik
Pickerstrassen mit einem zum Bildverarbeitungssystem zum Erfassen der Positionen von in zufälliger Orientierung auf einem sich bewegenden Transportband angeordneten
Produkten sind beispielsweise aus US-A-5 040 056 und US-A-6 122 895 bekannt.
Bekannt sind auch Bildverarbeitungssysteme zum Überprüfen von vorgegebenen Qualitätsmerkmalen, wie z.B. Farbe und Form eines Produktes.
Bei Pickerstrassen zum Verpacken von Produkten nach dem Pick & Place System erfolgt die Qualitätsüberprüfung der zu verpackenden Produkte, wie z.B. Biskuits und dergleichen Kleinbackwaren, üblicherweise durch visuelle Prüfung der auf einem Transportband angelieferten Produkte. Produkte, die den Qualitätsvorgaben nicht entsprechen, werden manuell aussortiert.
Grundsätzlich ist auch denkbar, die Qualität der auf einem Transportband angelieferten Produkte vor deren Verpackung in einer Pickerlinie mittels bekannter Bildverarbeitungssysteme zu überprüfen und nicht den geforderten Qualitätsstandards entsprechende Produkte z.B. nach dem in WO 2004/018332 beschriebenen Verfahren automatisch auszusortieren. Darstellung der Erfindung
Der Erfindung liegt die Aufgabe zugrunde, eine Pickerstrasse der eingangs genannten Art so weiterzubilden, dass nur Produkte gepickt werden, die vorgegebenen Qualitätsanforderungen entsprechen.
Ein anderes Ziel der Erfindung ist die Erfassung der Qualitätsdaten in einem zentralen System.
Ein weiteres Ziel der Erfindung ist eine Visualisierung der Qualitätsmängel der nicht gepickten Produkte.
Zur erfindungsgemässen Lösung der Aufgabe führt, dass in Transportrichtung stromauf des wenigstens einen Pickers ein Qualitäts-Bildverarbeitungssystem zur Prüfung der auf dem Transportband in Transportrichtung am Qualitäts-Bildverarbeitungssystem vorbeilaufenden Produkte auf vorgegebene Qualitätsmerkmale und zur Zuordnung einer an den in Transportrichtung stromab an das Qualitäts-Bildverarbeitungssystem anschliessenden Picker zu übermittelnden, als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte dienenden Qualitätsinformation angeordnet ist.
Um auch höchsten Sicherheitsansprüchen zu genügen, können auch zwei Systeme redundant angelegt werden.
Bevorzugt sind wenigstens zwei mit je einem Positions-Bildverarbeitungssystem ausgestattete Picker in Transportrichtung hintereinander angeordnet, wobei jeder Picker zur Übermittlung der als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte dienenden Qualitätsinformationen und der Positionsdaten für die von diesem Picker nicht ergriffenen Produkte an den nachfolgenden Picker vorgesehen ist.
Jeder Picker gibt die erhaltenen Qualitätsinformationen und die von seinem Positions-
Bildverarbeitungssystem erfassten Positionsdaten jeweils an den nächsten Picker weiter, wobei die vom Qualitäts-Bildverarbeitungssystem ermittelten Qualitätsdaten bei allen Pickern durchlaufen. Bei Ausfall seines eigenen Positions-Bildverarbeitungssystems übernimmt jeder Picker die vom vorangehenden Picker erfassten Positionsdaten, d.h. das System ist redundant ausgelegt .
Bei Ausfall eines Bildverarbeitungssystem oder eines Pickers können die als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte dienenden Qualitätsinformationen und die Positionsdaten für die von diesem Picker nicht ergriffenen Produkte an den nächsten Picker übermittelt werden.
Bei einem Ausfall eines Pickers übermittelt der dem ausgefallenen Picker vorangehende Picker die als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte dienenden Qualitätsinformationen und die Positionsdaten für die von diesem Picker nicht ergriffenen Produkte an den dem ausgefallenen Picker nachfolgenden Picker übermittelt. Bei einem Totalausfall eines Pickers wird dieser Picker somit umlaufen, d.h. die Qualitätsinformationen und die Positionsdaten gehen vom vorangehenden Picker direkt auf den nachfolgenden Picker über.
Als Qualitätskriterien werden bevorzugt Form und Farbe der Produkte und das Vorhandensein bildlicher Merkmale auf den Produkten ausgewertet.
Bei einem zum Betreiben der erfindungsgemässen Vorrichtung bevorzugten Verfahren werden die Produkte an einem Bildschirm dargestellt und die vom Qualitäts- Bildverarbeitungssystem für die Produkte erfassten Qualitätsmerkmale visualisiert. Zweckmässigerweise werden dabei die vom Positions-Bildverarbeitungssystem erfassten Produkte gesondert markiert.
Mit dem erfindungsgemässen Pick & Place System ist sichergestellt, dass nur Produkte gepickt werden, die vorgegebenen Qualitätsanforderungen entsprechen. Die Merkmale werden dabei von einem Qualitäts-Bildverarbeitungssystem erfasst und die Produkte entsprechend ihrer Form, Farbe, Struktur oder dem Vorhandensein bestimmter
Eigenschaften, wie Würzmischung und dgl., klassiert. Diese Informationen werden in der Pickeranlage an die einzelnen Picker kommuniziert. Dabei hat jeder Picker ein eigenes Positions-Bildverarbeitungssystem, da sich die Produkte im Laufe der Zeit verschieben können. Die vom Qualitäts-Bildverarbeitungssystem erfassten Qualitätsinformationen wer- den den im Positions-Bildverarbeitungssystem mit exakteren Koordinaten erfassten Produkten zugeordnet. Nicht gepickte Produkte müssen dem in Transportrichtung nachfolgenden Picker mit der generellen Qualitätsinformation "gut" bzw. "schlecht" übergeben werden, wobei das Fehlen nur einer der Qualitätsinformationen zu der für die Steuerung des Pickers massgeblichen Qualifikation "schlecht" führt. Schlechte, d.h. den Qualitätsanforderungen in mindestens einem Punkt nicht genügende Produkte, werden von keinem Picker gepickt und verlassen die Anlage an ihrem Ende. Zur Ortung der den auftretenden Qualitätsmängeln zugrunde liegenden Ursachen werden alle einem Produkt zugehörigen Qualitätsinformationen an das nachfolgend erläuterte Überwachungssystem weitergegeben.
Zur Überwachung der Pickerlinie ist zweckmässigerweise ein User Interface, üblicherweise ein Bildschirm, vorhanden, auf dem gute und schlechte Produkte sowie die Fehlerart zu erkennen sind, so dass unterschieden werden kann, ob Produkte aufgrund eines Qualitätsmangels nicht gepickt wurden, oder ob andere Gründe vorliegen, dass ein Produkt nicht verpackt wird, z.B. bei Überlast der Anlage oder bei mangelhafter Justierung der Anlage. Weiter soll zu erkennen sein ob die Picker die Qualitätsinformation den Produkten zuordnen konnten oder ob die Positionstoleranz zwischen Qualitäts- Bildverarbeitungssystem und Positions-Bildverarbeitungssystem zu gross war. Die Anzeige der Fehlerart lässt direkt auf Probleme im Herstellungsprozess der Produkte (z.B. falsche Backtemperatur, Probleme mit dem Aufbringen einer Gewürzmischung etc.) schliessen, so dass diese behoben werden können. Weiter soll das System das Weiterbetreiben der Linie auch beim Ausfall einzelner Picker und Bildverarbeitungssystemen erlauben.
Das vorgeschlagene System mit der erfindungsgemässen Vorrichtung beinhaltet u.a. die folgenden Vorteile:
Das Qualitäts-Bildverarbeitungssystem ist unabhängig vom Positions- Bildverarbeitungssystem. Dabei ist die Lokalisierung durch Positions- Bildverarbeitungssysteme für alle Arten von Produkten Standard, das Qualitäts- Bildverarbeitungssystem wird jeweils projektspezifisch angepasst.
Es gibt nur ein Qualitäts-Bildverarbeitungssystem, was eine einfache Handhabung ermöglicht und zu einer Kostenersparnis führt.
Der Grund für nicht gepickte Produkte ist sofort ersichtlich, z.B. mangelhafte Qualität der Produkte und welches Qualitätsproblem konkret vorliegt, so dass in den
Prozessanlagen korrigiert werden kann, oder Probleme bei der Zuordnung der Produkte im Positions-Bildverarbeitungssystem wegen zu grosser Toleranz zwischen Qualitäts- und Positions- Bildverarbeitungssystem, Überlast der Picker etc.
- Da gute und schlechte Produkte unterschiedlich visualisiert werden, ergeben sich intuitiv Learnings über das Systemverhalten. Z.B. erkennt man bei mehrbahnigen - -
Linien sehr schnell, auf weicher Bahn quer zur Bandlaufrichtung die meisten Problem auftreten. Dies erlaubt Rückschlüsse auf den Ort einer möglichen Prozessoptimierung.
Hohe Fehlertoleranz beim Ausfall einzelner Picker oder Vision Systeme.
Kurze Beschreibung der Zeichnung
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung; diese zeigt schematisch in
Fig. 1 : eine Draufsicht auf eine Pickerstrasse;
Fig. 2: das Erkennen eines von einem Qualitäts-Bildverarbeitungssystem charakterisierten Produktes durch ein einem Picker zugeordneten Positions- Bildverarbeitungssystem;
Fig. 3: auf einem Bildschirm dargestellte Produkte mit visualisierten Qualitätsmerkmalen.
Beschreibung von Ausführungsbeispielen
Eine in Fig. 1 dargestellte Pickerstrasse 10 weist ein umlaufendes Transportband 12 für den Transport von zu verpackenden Produkten 14 in einer Transportrichtung x auf. Entlang des Transportbandes 12 sind in Transportrichtung x je drei durch ihren Arbeitsbereich charakterisierte Picker 18n, 18i 2 , 18i 3 bzw. 1821 , 1822 , 1823 hintereinander in zwei parallelen Linien so angeordnet, dass sich die Arbeitsbereiche jeweils überlappen und dadurch das Transportband 12 über seine ganze Breite abdecken. In Transportrichtung x stromauf jedes Pickers 181 ^, 181 2, 181 3 bzw. 182 1, I 822, 1823 erstreckt sich je ein dem betreffenden Picker zugehöriges Positions- Bildverarbeitungssystem 2Oi 1, 20i 2, 20i 3 bzw. 2O2 1, 2O22, 2O23 quer zur Transportrichtung x über den vom jeweils zugehörigen Picker abgedeckten Bereich des
Transportbandes 12 derart, dass je zwei Positions-Bildverarbeitungssysteme die gesamte Breite des Transportbandes abdecken. Am Anfang des Transportbandes 12 erstreckt sich ein Qualitäts-Bildverarbeitungssystem 16 quer über die gesamte Breite des Transportbandes 12. Fehler und Produkteigenschaften, die vom Qualitäts- Bildverarbeitungssystem 16 erfasst werden können, sind z.B. Form, Beschädigungen, Farbe, Aufdrucke etc. - -
Im gezeigten Ausführungsbeispiel umfasst die Pickerstrasse 10 nur zwei parallele Reihen mit je drei Pickern 18. Es können jedoch auch weniger oder mehr als drei Picker 10 in nur einer oder in mehr als zwei Reihen angeordnet sein. Allgemein besteht eine Pickerstrasse 10 aus mehreren, hintereinander angeordneten Pickern 18, die in einer oder mehreren parallelen Reihen angeordnet sind. Vom Qualitäts-Bildverarbeitungssystem 16 werden alle Produktdaten an den ersten Picker 18 gesendet. Bei Anlagen mit mehreren parallel angeordneten Reihen von Pickern 18 wird an jeden ersten Picker 18 der seinem Arbeitsbereich einschliesslich eines Überlappungsbereiches entsprechende Ausschnitt aus den Produktdaten übermittelt.
Die zu verpackenden Produkt 14 - z.B. von einem Backofen verpackungsfertig zur Pickerstrasse 10 überführte Kleinbackwaren - werden in Transportrichtung x stromauf des Qualitäts-Bildverarbeitungssystems 16 regellos über die ganze Breite des Transportbandes 12 verteilt der Pickerstrasse 10 übergeben. Beim Durchlaufen der Produkte 14 unter dem Qualitäts-Bildverarbeitungssystem 16 werden von jedem Produkt 14 neben seiner Position auf dem Transportband 12 vorbestimmte Qualitätsmerkmale wie Form, Farbe und dgl. am fertigen Produkt 14 erkennbare, zur Bestimmung der Produktqualität geeignete Eigenschaften registriert und an die in Transportrichtung x stromab des Qualitäts-Bildverarbeitungssystems 16 angeordneten ersten Picker 18 übermittelt. Beim Durchlaufen der Produkte 14 unter dem Positions-
Bildverarbeitungssystem 20 der ersten Picker 18 werden die exakten Koordinaten der Produkte 14 auf dem Transportband 12 erfasst und mit den im Qualitäts- Bildverarbeitungssystem 16 registrierten Daten verglichen, wobei wegen der weniger genauen Positionsermittlung durch das Qualitäts-Bildverarbeitungssystem 16 die Zuordnung der von diesem System stammenden Daten durch das Positions-
Bildverarbeitungssystem 20 über ein Toleranzfenster 24 erfolgt (Fig. 2). Das Positions- Bildverarbeitungssystem 20 übermittelt die Daten der so erkannten Produkte 14 an den zugehörigen Picker 18, der einen Teil der guten Produkte 14 verpackt. Die Daten der vom Positions-Bildverarbeitungssystem 20 erkannten Produkte 14 werden ebenfalls an das Positions-Bildverarbeitungssystem 20 des nachfolgenden Pickers 18 übermittelt. Dieses
Prozedere wiederholt sich für jeden weiteren, in Transportrichtung x stromab nachfolgenden Picker 18. Jeder Picker 18 kann im Bedarfsfall auch auf die Positionsdaten des vorangehenden Pickers 18 zugreifen. Bei einer entsprechend der Verpackungsleistung mit einer ausreichenden Anzahl Picker 18 ausgestatteten Pickerstrasse 10 verbleiben am Ende des Transportbandes 12 nach dem letzten Picker 18 nur die vom Qualitäts-Bildverarbeitungssystem 16 aufgrund eines Qualitätsmangels als "schlecht" registrierten und demzufolge nicht verpackten Produkte 14 als Ausschussware. Wie in Fig. 2 gezeigt, erfolgt die Zuordnung eines vom Qualitäts-Bildverarbeitungssystem 16 erkannten Produktes 14 zu einem vom Positions-Bildverarbeitungssystem 20 eines Pickers 18 erfassten Produkt wegen der im Vergleich zum Positions- Bildverarbeitungssystem 20 des Pickers 18 weniger genauen Positionsermittlung durch das Qualitäts-Bildverarbeitungssystem 16 über ein Toleranzfenster 24. Für die verschiedenen Positionen eines Produktes 14 werden die folgenden Bezeichnungen verwendet:
P1 : Lokale, vom Positions-Bildverarbeitungssystem 20 des Pickers 18 erfasste
Position P2: vom Qualitäts-Bildverarbeitungssystem 16 erfasste, innerhalb des
Toleranzfensters 24 liegende Position
P3: vom Qualitäts-Bildverarbeitungssystem 16 erfasste, ausserhalb des Toleranzfensters 24 liegende Position x, y: Positionskoordinaten, für P1 der Lage des Toleranzfensters, für P2 und P3 der Orientierung des Transportbandes 12 entsprechend
Nur ein Produkt 14, dessen vom Qualitäts-Bildverarbeitungssystem 16 erfasste Position P2 innerhalb des Toleranzfensters 24 liegt, wird vom Picker 18 gepickt, sofern die
Qualitätsanforderungen für dieses Produkt erfüllt sind. Das Produkt 14 mit ausserhalb des Toleranzfensters 24 liegender Position P3 wird - ungeachtet der Qualität - nicht gepickt.
In Fig. 3 sind die vom Qualitäts-Bildverarbeitungssystem 16 erkannten und klassierten, auf dem Transportband 12 in Transportrichtung x sich fortbewegenden Produkte 14 auf einem Bildschirm 22 mit ihrer Position auf dem Transportband in der Form vom Rechtecken in hellem Farbton als "gut" (14g) oder mit einer der Fehlerart entsprechender Schraffur als "schlecht" (14s) dargestellt. Vom Positions-Bildverarbeitungssystem 20 zugeordnete (z) Produkte sind mit dunklerem Farbton dargestellt.
Am Bildschirm 22 ist jederzeit der aktuelle Zustand des Produktteppichs auf dem Transportband 12 zu sehen. Insbesondere ist auch zu erkennen, aus welchem Grund Produkte 14 die Anlage unverpackt verlassen, also z.B. wegen einem erkannten Qualitätsmangel, einer zu grosse Positionstoleranz (Daten des Qualitäts- Bildverarbeitungssystems 16 und des Positions-Bildverarbeitungssystems 20 konnten nicht in Übereinstimmung gebracht werden), oder wegen Überlast der Anlage. Fällt ein Positions-Bildverarbeitungssystem 16 aus, wird dies erkannt, und dem vom Ausfall betroffenen Picker 18 werden die Bildverarbeitungsdaten des vorgelagerten Pickers 18 übermittelt, so dass die Produktion aufrechterhalten werden kann. Auch der Ausfall einer Pickersteuerung kann erkannt werden, so dass die Daten am ausgefallenen Picker vorbei an den nächsten einsatzfähigen Picker kommuniziert werden. Lediglich der Ausfall des Qualitäts-Bildverarbeitungssystems 16 führt zum Abschalten der Linie.
Die Positionsabweichung zwischen kommunizierten und lokal detektierten Daten wird auf dem Bildschirm 22 als Strich aus dem Zentrum des lokal detektierten Produkts dargestellt. Sieht man dort nur einen Punkt sind die Daten stabil. Diese Funktion hilft beim
Einjustieren der Offsets zwischen mehreren Kamerasystemen. Weiterhin können das Ablaufen des Bandes, Encoder- Synchronisationsprobleme und ähnliche unerwünschte Effekte diagnostiziert werden.
Am Bildschirm 22 wird für jedes lokal detektierte Teil (= Teil, das vom Qualitäts-
Bildverarbeitungssystem erkannt und vom Positions-Bildverarbeitungssystem des Pickers erfasst wurde) mit der Position P1 dargestellt, ob es ein passendes Remote Teil (=Teil, das vom Qualitäts-Bildverarbeitungssystem erkannt und vom Positions- Bildverarbeitungssystem nicht erfasst wurde) mit einer innerhalb des Toleranzfensters 24 liegenden Position P2 gibt. Hierbei sind die folgenden Zustände zu unterscheiden:
Für eine lokal detektiertes Teil ist ein passendes Remote Teil vorhanden: Das lokal detektierte Teil kann mit einer Qualitätsinformation verknüpft werden. Falls die Qualität den Anforderungen entspricht, wird das Produkt an die Picker-Warteschlange kommuniziert.
Für ein lokal detektiertes Teil ist kein passendes Remote Teil vorhanden: Das Produkt wird nicht an die Picker-Warteschlange kommuniziert.
- Es ist ein Remote Teil vorhanden, aber es wird kein entsprechendes Teil lokal detektiert: Vermutlich wurde das Teil bereits von einem vorhergehenden Picker verpackt. Es erfolgt keine Datenübermittlung an die Picker-Warteschlange.
Jedes System versendet seine Produktdaten an das nachfolgende System, sobald das entsprechende Produkt aus dem Arbeitsbereich des Pickers herausgelaufen ist. Korrekt versendete Produktdaten 14v werden in einer eigenen Farbe markiert. y
Im gezeigten Beispiel ist das Visualisierungssystem auf den lokalen Pickersteuerungen implementiert und zeigt dort jeweils einen Ausschnitt aus dem eigenen Arbeitsbereich sowie den Arbeitsbereichen der angrenzenden Pickern. Das System kann jedoch auch anlageübergreifend implementiert werden und den Zustand der Gesamtanlage zeigen.

Claims

Ansprüche
1. Pickerstrasse zum Einsetzen von Produkten in einen Verpackungsbehälter, mit einem Transportband (12) für die Anlieferung und den Transport von Produkten (14) in einer Transportrichtung (x) und wenigstens einem mit einem Positions-Bildverarbeitungssystem (20) zur Bestimmung der Position der Produkte (14) auf dem Transportband (12) ausgestatteten Picker (18), dadurch gekennzeichnet, dass in Transportrichtung (x) stromauf des wenigstens einen Pickers (18) ein Qualitäts- Bildverarbeitungssystem (16) zur Prüfung der auf dem Transportband (12) in Transportrichtung (x) am Qualitäts-Bildverarbeitungssystem (16) vorbeilaufenden Produkte (14) auf vorgegebene Qualitätsmerkmale und zur Zuordnung einer an den in Transportrichtung (x) stromab an das Qualitäts-Bildverarbeitungssystem (16) anschliessenden Picker (18) zu übermittelnden, als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte (14) dienenden Qualitätsinformation angeordnet ist.
2. Pickerstrasse nach Anspruch 1 , dadurch gekennzeichnet, dass wenigstens zwei mit je einem Positions-Bildverarbeitungssystem (20) ausgestattete Picker (18) in
Transportrichtung (x) hintereinander angeordnet sind, wobei jeder Picker (18) zur Übermittlung der als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte (14) dienenden Qualitätsinformationen und der Positionsdaten für die von diesem Picker (18) nicht ergriffenen Produkte (14) an den nachfolgenden Picker (18) vorgesehen ist.
3. Verfahren zum Einsetzen von Produkten in einen Verpackungsbehälter mittels einer Pickerstrasse mit einem Transportband (12) für die Anlieferung und den Transport der Produkte (14) in einer Transportrichtung (x) und wenigstens ein dem Transportband zugeordneter, mit einem Positions-Bildverarbeitungssystem (20) zur Bestimmung der Position der Produkte (14) auf dem Transportband (12) ausgestatteten Picker (18), dadurch gekennzeichnet, dass mittels eines in Transportrichtung (x) stromauf des wenigstens einen Pickers (18) angeordneten Qualitäts-Bildverarbeitungssystems (16) die auf dem Transportband (12) in Transportrichtung (x) am Qualitäts-Bildverarbeitungssystem (16) vorbeilaufenden Produkte (14) auf vorgegebene Qualitätsmerkmale geprüft werden, wobei den Produkten (14) eine an den in Transportrichtung (x) stromab an das Qualitäts- Bildverarbeitungssystem (16) anschliessenden Picker (18) zu übermittelnde, als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte (14) dienende Qualitätsinformation zugeordnet wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass wenigstens zwei mit je einem Positions-Bildverarbeitungssystem (20) ausgestattete Picker (18) in
Transportrichtung (x) hintereinander angeordnet sind, wobei jeder Picker (18) die als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte (14) dienenden Qualitätsinformationen und die Positionsdaten für die von diesem Picker (18) nicht ergriffenen Produkte (14) an den nachfolgenden Picker (18) übermittelt.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei Ausfall eines Bildverarbeitungssystem (16, 20) oder eines Pickers (18) die als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte (14) dienenden Qualitätsinformationen und die Positionsdaten für die von diesem Picker (18) nicht ergriffenen Produkte (14) an den nächsten Picker (18) übermittelt werden.
6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass bei einem Ausfall eines Pickers (18) der dem ausgefallenen Picker (18) vorangehende Picker (18) die als Steuerbefehl zum Ergreifen oder Nichtergreifen der Produkte (14) dienenden Qualitätsinformationen und die Positionsdaten für die von diesem Picker (18) nicht ergriffenen Produkte (14) an den dem ausgefallenen Picker (18) nachfolgenden Picker (18) übermittelt.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass Form und Farbe der Produkte (14) und das Vorhandensein bildlicher Merkmale auf den
Produkten (14) als Qualitätskriterien ausgewertet werden.
8. Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die Produkte (14) an einem Bildschirm (22) dargestellt und die vom Qualitäts- Bildverarbeitungssystem (16) für die Produkte (14) erfassten Qualitätsmerkmale visualisiert werden.
9. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die vom Positions- Bildverarbeitungssystem (20) erfassten Produkte (14) gesondert markiert werden.
EP08804490A 2007-10-17 2008-09-19 Pickerstrasse und verfahren zum einsetzen von produkten in einen verpackungsbehälter Not-in-force EP2207721B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007049702A DE102007049702A1 (de) 2007-10-17 2007-10-17 Pickerstrasse
PCT/EP2008/062561 WO2009049990A1 (de) 2007-10-17 2008-09-19 Pickerstrasse und verfahren zum einsetzen von produkten in einen verpackungsbehälter

Publications (2)

Publication Number Publication Date
EP2207721A1 true EP2207721A1 (de) 2010-07-21
EP2207721B1 EP2207721B1 (de) 2011-06-01

Family

ID=40130633

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08804490A Not-in-force EP2207721B1 (de) 2007-10-17 2008-09-19 Pickerstrasse und verfahren zum einsetzen von produkten in einen verpackungsbehälter

Country Status (7)

Country Link
US (1) US8387342B2 (de)
EP (1) EP2207721B1 (de)
JP (1) JP5415431B2 (de)
AT (1) ATE511476T1 (de)
DE (1) DE102007049702A1 (de)
ES (1) ES2367090T3 (de)
WO (1) WO2009049990A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2939769B1 (fr) * 2008-12-11 2010-12-31 Ballina Freres De Procede et installation de distribution de produits pour leur conditionnement
EP2236424B1 (de) * 2009-03-30 2016-02-24 Veltru AG Verfahren und Vorrichtung zum Einlegen von Einzelprodukten in Behälter in einer Roboterstrasse
US9818070B2 (en) 2011-07-22 2017-11-14 Packsize Llc Tiling production of packaging materials
TW201422401A (zh) * 2012-12-03 2014-06-16 Hon Hai Prec Ind Co Ltd 成品取出的檢測系統及檢測方法
RU2667463C2 (ru) 2013-01-18 2018-09-19 ПЭКСАЙЗ ЭлЭлСи Мозаичное производство упаковочных материалов
US10922637B2 (en) 2013-01-18 2021-02-16 Packsize Llc Tiling production of packaging materials
JP6434531B2 (ja) * 2014-11-06 2018-12-05 株式会社Ｆｕｊｉ 部品供給装置
EP3288751A4 (de) 2015-04-29 2019-01-23 Packsize LLC Herstellung kleinteiliger verpackungsmaterialien
CN106697435A (zh) * 2016-11-23 2017-05-24 河池学院 一种生产纸盒流水线质检机器人
CN106586131A (zh) * 2016-11-23 2017-04-26 河池学院 一种水果包装流水线质检机器人
CN106628421B (zh) * 2017-02-15 2022-05-03 常州汇拓科技有限公司 一种枪盖的理盖剔盖装置及其理盖剔盖方法
EP3647235B1 (de) * 2017-06-30 2023-09-20 Panasonic Intellectual Property Management Co., Ltd. Projektionsanweisungsvorrichtung, paketsortieranlage und projektionsanweisungsverfahren
DE102019202008A1 (de) * 2019-02-14 2020-08-20 Krones Aktiengesellschaft Verfahren zum Steuern und/oder Regeln eines Schrumpftunnels und Vorrichtung zum Aufschrumpfen thermoplastischen Verpackungsmaterials auf Artikel
CN114275236B (zh) * 2022-01-13 2023-02-28 上海柠喆机械科技有限公司 一种控制搬运盛装近似圆形或椭圆形产品的托盘的装置的方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5041907A (en) * 1990-01-29 1991-08-20 Technistar Corporation Automated assembly and packaging system
US5040056A (en) 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
JPH05265535A (ja) * 1992-03-18 1993-10-15 Tokico Ltd ロボット制御装置
FR2725640B1 (fr) * 1994-10-12 1997-01-10 Pellenc Sa Machine et procede pour le tri d'objets divers a l'aide d'au moins un bras robotise
JP3216033B2 (ja) * 1995-04-20 2001-10-09 オムロン株式会社 検査結果出力装置および検査結果出力方法、ならびにこの検査結果出力装置を用いた基板検査システムおよびこの検査結果出力方法を用いた基板検査方法
JPH09218158A (ja) * 1996-02-08 1997-08-19 Nireco Corp 対象物の外観評価方法
JP3089337B2 (ja) * 1996-10-18 2000-09-18 株式会社フジキカイ 搬送物品の区分け方法および装置
DE19651717A1 (de) * 1996-12-12 1998-06-18 Schubert Gerhard Gmbh Produktscanner
DE29701564U1 (de) * 1997-01-30 1997-03-27 Schubert Gerhard Gmbh Pickerstraße mit entgegengesetztem Traytransport
JP3673414B2 (ja) * 1998-11-24 2005-07-20 株式会社ニレコ 西瓜外観検査装置
JP2000219317A (ja) * 1999-01-29 2000-08-08 Hitachi Zosen Corp 荷役仕分け装置
CH693710A5 (de) * 1999-07-02 2003-12-31 Sig Pack Systems Ag Verfahren zum Picken und Plazieren von Stückgütern.
JP2002037441A (ja) * 2000-07-19 2002-02-06 Kawasaki Heavy Ind Ltd ランダムワークの整列方法および整列装置
GB2356699A (en) * 1999-11-23 2001-05-30 Robotic Technology Systems Plc Providing information of moving objects
JP2002116810A (ja) * 2000-10-06 2002-04-19 Seiko Instruments Inc トラッキングシステム
JP3551188B2 (ja) * 2002-01-10 2004-08-04 オムロン株式会社 表面状態検査方法および基板検査装置
ATE371617T1 (de) 2002-08-26 2007-09-15 Abb Ab Automatisiertes produktionssystem zur objektidentifikation, auswahl und transport
JP2005111607A (ja) * 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
ITMI20040787A1 (it) * 2004-04-22 2004-07-22 Vortex Systems Srl Sistema di trasferimento di prodotti alimentari mediante raccoglitori
WO2005119774A1 (en) * 2004-06-01 2005-12-15 Manufacturing Integration Technology Ltd Method and apparatus for precise marking and placement of an object
JP4864363B2 (ja) * 2005-07-07 2012-02-01 東芝機械株式会社 ハンドリング装置、作業装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009049990A1 *

Also Published As

Publication number Publication date
EP2207721B1 (de) 2011-06-01
JP5415431B2 (ja) 2014-02-12
DE102007049702A1 (de) 2009-04-23
JP2011500464A (ja) 2011-01-06
US8387342B2 (en) 2013-03-05
WO2009049990A1 (de) 2009-04-23
ATE511476T1 (de) 2011-06-15
US20100223883A1 (en) 2010-09-09
ES2367090T3 (es) 2011-10-28

Similar Documents

Publication Publication Date Title
EP2207721B1 (de) Pickerstrasse und verfahren zum einsetzen von produkten in einen verpackungsbehälter
EP2678745B1 (de) Verfahren zur einrichtung einer fördervorrichtung
DE102007038834A1 (de) Verfahren und Vorrichtung zur Vereinzelung von Stückgut
EP2498157B1 (de) Steuerungsvorrichtung und Steuerungsverfahren für eine Maschine zur Herstellung stabförmiger Artikel der Tabak verarbeitenden Industrie
DE102010005267A1 (de) Fördereinrichtung für Stückgut, Aufsatzvorrichtung für eine Fördereinrichtung, Stückgutverteilanlage und Verfahren zum Einbringen von Stückgut in eine Stückgutverteilanlage
EP0613732B1 (de) Verfahren und Vorrichtung zum Überprüfen der Funktionsfähigkeit von Inspektionseinrichtungen an Flascheninspektionsmaschinen
DE4122037A1 (de) Vorrichtung und verfahren zur steuerung einer linienfertigung
DE4031419A1 (de) Vorrichtung zur datenerfassung und zur ueberwachung von wartungsarbeiten an einem spulautomaten
DE102012210703A1 (de) Handhabung von Portionen
WO2007082575A9 (de) Verfahren und vorrichtung zur überwachung einer produktionslinie
EP3744665B1 (de) Verfahren zur überwachung und/oder instandhaltung einer förderanlage und förderanlage
DE102017110861A1 (de) Vorrichtung und Verfahren zum Steuern eines Materialflusses an einem Materialfluss-Knotenpunkt
EP1297498A1 (de) Vorrichtung zum bearbeiten von blattgut
CH693710A5 (de) Verfahren zum Picken und Plazieren von Stückgütern.
EP2509903B1 (de) Steuervorrichtung, computerprogrammprodukt und verfahren zur steuerung einer druckproduktverarbeitungsanlage
EP3517397A1 (de) Verfahren zur innenraumzustandsüberwachung, sowie fahrzeug mit einer innenraumzustandsüberwachungseinrichtung
DE102014112482A1 (de) Vorrichtung und Verfahren zum Ausstatten von Behältnissen
WO2019048368A1 (de) Vorrichtung und verfahren zur ausrichtung von gebinden
EP2818254A1 (de) Vorrichtung zum Vereinzeln von Stückgutteilen
DE3239567A1 (de) Verfahren und vorrichtung zum sortieren von trockenfruechten, insbesondere kernen
DE102005036964A1 (de) System zur Störfallerkennung und Störfallanalyse
DE102021113060A1 (de) Vorrichtung und Verfahren zur Handhabung und/oder Gruppierung von Stückgütern
EP0296101B1 (de) Vorrichtung und Verfahren zum Auswerten der Betriebsdaten einer Wickelmaschine
DE4332645A1 (de) Getränkefüllmaschine
WO2016188749A1 (de) Korrektur von röntgenbildern

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100517

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502008003749

Country of ref document: DE

Effective date: 20110714

REG Reference to a national code

Ref country code: NL

Ref legal event code: T3

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2367090

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20111028

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110902

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111003

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111001

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

BERE Be: lapsed

Owner name: ROBERT BOSCH G.M.B.H.

Effective date: 20110930

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

26N No opposition filed

Effective date: 20120302

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008003749

Country of ref document: DE

Effective date: 20120302

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110919

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110601

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 511476

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130919

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130919

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20190917

Year of fee payment: 12

Ref country code: DE

Payment date: 20190903

Year of fee payment: 12

Ref country code: SE

Payment date: 20190910

Year of fee payment: 12

Ref country code: FR

Payment date: 20190913

Year of fee payment: 12

Ref country code: NL

Payment date: 20190912

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20190919

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20190925

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20191001

Year of fee payment: 12

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502008003749

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: NL

Ref legal event code: MM

Effective date: 20201001

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20200919

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201001

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200930

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210401

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200930

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200920

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200930

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200919

REG Reference to a national code

Ref country code: SE

Ref legal event code: EUG

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200919

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20220118

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200920