EP2358601A1 - Method for aligning a container - Google Patents

Method for aligning a container

Info

Publication number
EP2358601A1
EP2358601A1 EP09763831A EP09763831A EP2358601A1 EP 2358601 A1 EP2358601 A1 EP 2358601A1 EP 09763831 A EP09763831 A EP 09763831A EP 09763831 A EP09763831 A EP 09763831A EP 2358601 A1 EP2358601 A1 EP 2358601A1
Authority
EP
European Patent Office
Prior art keywords
container
image data
feature
geometric
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP09763831A
Other languages
German (de)
French (fr)
Other versions
EP2358601B1 (en
Inventor
Jürgen Hermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KHS GmbH
Original Assignee
KHS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KHS GmbH filed Critical KHS GmbH
Priority to PL09763831T priority Critical patent/PL2358601T3/en
Publication of EP2358601A1 publication Critical patent/EP2358601A1/en
Application granted granted Critical
Publication of EP2358601B1 publication Critical patent/EP2358601B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/06—Devices for presenting articles in predetermined attitude or position at labelling station
    • B65C9/067—Devices for presenting articles in predetermined attitude or position at labelling station for orienting articles having irregularities, e.g. holes, spots or markings, e.g. labels or imprints, the irregularities or markings being detected

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

The invention relates to a method for aligning a container (2) in relation to at least one geometric container feature in a set position, wherein an alignment of the container (2) is carried out by an analysis of actual image data in a control circuit (12) taken by means of an image recording device (8, 9, 10, 11). The actual image data is analysed in a region for evaluation by means of pattern recognition, which provided an actual position of the container as a result if the geometric container feature is recognised and displays if the feature has not been recognised. The invention further relates to a device for carrying out said method and a computer programme product to carry out all the steps of the method.

Description

Verfahren zum Ausrichten eines Behälters Method for aligning a container
Technisches GebietTechnical area
[0001] Die vorliegende Erfindung betrifft ein Verfah- ren und eine Vorrichtung zum Ausrichten eines Behälters. Des weiteren betrifft die vorliegende Erfindung ein Computerprogramm zum Durchführen des erfindungsgemäßen Verfahrens .[0001] The present invention relates to a method and apparatus for aligning a container. Furthermore, the present invention relates to a computer program for carrying out the method according to the invention.
Beschreibung des Standes der TechnikDescription of the Prior Art
[0002] Verfahren und Vorrichtungen zum Ausrichten von Behältern, insbesondere von Flaschen und für den Einsatz in Abfüll- und Etikettieranlagen, sind im Stand der Technik bekannt .Methods and apparatus for aligning containers, especially bottles and for use in filling and labeling, are known in the art.
[0003] So zeigt die Offenlegungsschrift DE 10 2005 050 902 Al eine Vorrichtung zum Ausrichten von Behältern in Bezug auf wenigstens ein geometrisches Behältermerkmal, die einen Transporteur mit Behälteraufnahmen für jeweils einen Behälter und entlang einer von dem Transporteur gebildeten Transportstrecke angeordnete Kameras eines Bilderkennungs- system umfasst, wobei das BilderkennungsSystem durch einen Vergleich der von den Kameras gelieferten Ist-Bilddaten mit in einer Auswert- und Steuerelektronik abgelegten SoIl- Bilddaten oder Kennwerten das Ausrichten der Behälter bewirkt .Thus, the published patent application DE 10 2005 050 902 A1 shows a device for aligning containers with respect to at least one geometric container feature comprising a conveyor with container receptacles for a respective container and along a transport path formed by the conveyor cameras of a Bildkennungs- system comprises, wherein the image recognition system by aligning the supplied by the cameras actual image data with stored in an evaluation and control electronics SoIl image data or characteristics causes the alignment of the container.
[0004] In dieser bekannten Vorrichtung werden die Behälter anhand eines geometrischen Merkmals ausgerichtet, beispielsweise anhand einer Prägung auf der Oberfläche des Behälters . [0005] Von diesem geometrischen Merkmal wird gemäß dem Stand der Technik ein Bild in der gewünschten Position der Flasche aufgenommen und anschließend eine jeweilige Verzerrung dieses geometrischen Merkmals für die Fälle berechnet, in denen der Behälter jeweils um einen bestimmten Winkel von dieser gewünschten Position verdreht ist. Die so erzeugten Bilder bzw. Bilddaten werden dann als SoIl- Bilddaten hinterlegt und verwendet . Im Betrieb der Vorrichtung wird dann mittels einer Kamera ein Bild von dem Behäl- ter bzw. der Flasche aufgenommen und mittels eines Algorithmus das so generierte tatsächliche Ist-Bild mit den hinterlegten Soll -Bilddaten verglichen. Dabei wird bestimmt, mit welchem Bild der Soll -Bilddaten die höchste Übereinstimmung besteht. Anhand der zu diesem Bild in den Soll -Bilddaten hinterlegten Verdrehung des Behälters bzw. der Flasche kann diese dann um den entsprechenden Winkel in die gewünschte Position gedreht werden.In this known device, the containers are aligned by means of a geometric feature, for example by means of an embossing on the surface of the container. From this geometric feature, a picture is taken in the desired position of the bottle according to the prior art and then calculates a respective distortion of this geometric feature for the cases in which the container is rotated in each case by a certain angle from this desired position , The images or image data thus generated are then stored and used as SoIl image data. During operation of the device, an image of the container or of the bottle is then taken by means of a camera and the thus generated actual image is compared with the stored target image data by means of an algorithm. It is determined with which image of the target image data the highest match exists. Based on the rotation of the container or the bottle deposited for this image in the target image data, it can then be rotated by the corresponding angle into the desired position.
[0006] Gemäß dem Stand der Technik können des weiteren mehrere Stufen solcher Ausrichtvorgänge vorgesehen sein, um sukzessive die gewünschte Ausrichtung bzw. Position des Behälters bzw. der Flasche herbeizuführen.Further, according to the prior art, a plurality of stages of such alignment operations may be provided to successively bring about the desired orientation or position of the container or bottle.
[0007] Des weiteren kann innerhalb einer dieser Stufen vorgesehen sein, dass mehrere Kameras gleichzeitig ein Bild der Flasche aufnehmen, das dann mit den Soll -Bilddaten ver- glichen wird, wobei auch dann der Ausrichtvorgang basierend auf der besten Übereinstimmung vorgenommen wird.Furthermore, it can be provided within one of these stages that a plurality of cameras record an image of the bottle at the same time, which is then compared with the target image data, the alignment process also being carried out based on the best match.
[0008] Bei einem derartigen Ausrichtvorgang wird jedoch stets eine beste Übereinstimmung des aufgenommenen Ist-Bilds mit den Soll -Bilddaten bestimmt und zum Ausrich- ten der Flasche verwendet, selbst wenn diese in absoluterIn such an alignment process, however, a best match of the recorded actual image with the target image data is always determined and used to align the bottle, even if this is in absolute
Betrachtung nur eine sehr niedrige Übereinstimmung mit den Soll-Bilddaten darstellt. So wird auch in dem Fall, in dem eine der Kameras das geometrische Behältermerkmal nicht in ihrem Suchbereich erfasst, etwa weil das geometrische Behältermerkmal so verdreht ist, dass es in einem rechten Winkel zur Kameraachse angeordnet ist, eine beste Übereinstimmung mit einem der Bilder aus den Soll-Bilddaten ermittelt und ein entsprechender Ausrichtvorgang eingeleitet.Consider only a very low agreement with the Represents target image data. Thus, even in the case where one of the cameras does not detect the geometric bin feature in its search area, such as because the geometric bin feature is skewed to be at a right angle to the camera axis, it will best match one of the images from the binoculars Determined target image data and initiated a corresponding alignment process.
[0009] Auch wenn diese Problematik in der Regel lediglich in der ersten Stufe des Ausrichtvorgangs auftritt und in den darauffolgenden Stufen meist kompensiert werden kann, besteht generell ein Bedarf an einem Verfahren zum Ausrichten eines Behälters, das eine schnellere und genauere Ausrichtung des Behälters ermöglicht.Although this problem usually only occurs in the first stage of the alignment process and can usually be compensated in the subsequent stages, there is generally a need for a method for aligning a container, which allows a faster and more accurate alignment of the container.
Zusammenfassung der ErfindungSummary of the invention
[0010] Daher wird erfindungsgemäß ein Verfahren zum Ausrichten eines Behälters in Bezug auf mindestens ein geometrisches Behältermerkmal in eine Sollposition vorgeschlagen, bei dem durch eine Auswertung von mittels mindestens einer Bildaufnahmevorrichtung erzeugten Ist-Bilddaten in einer Steuerelektronik ein Ausrichten des Behälters bewirkt wird, wobei die Ist-Bilddaten in einem Suchbereich mittels einer Mustererkennung ausgewertet werden, die als Ergebnis eine Ist-Position des Behälters ausgibt, falls das geometrische Behältermerkmal erkannt wird, und anzeigt, falls das geometrische Behältermerkmal nicht erkannt wird.Therefore, the invention proposes a method for aligning a container with respect to at least one geometric container feature in a desired position, in which an alignment of the container is effected by an evaluation of generated by at least one image pickup device actual image data in a control electronics, wherein the Actual image data in a search area are evaluated by means of a pattern recognition, which as a result outputs an actual position of the container, if the geometric container feature is recognized, and indicates if the geometric container feature is not recognized.
[0011] Zum Ausrichten der Behälter wird ein neuronales Netz eingesetzt, dem vorab in einem Anlernvorgang beigebracht worden ist, wie das zur Ausrichtung eines Behälters herangezogene geometrische Behältermerkmal in den verschie- denen Orientierungen des Behälters aussieht, und das dar- - A -[0011] To align the containers, a neural network is used, which has been taught beforehand in a learning procedure, how the geometric container feature used to align a container looks in the various orientations of the container, and the - A -
über in der Lage ist, zu erkennen, dass in einem Suchbereich das zu suchende geometrische Behältermerkmal, die sogenannte Suchinstanz, nicht vorhanden ist. Des weiteren ist eine den Ausrichtvorgang steuernde Steuerelektronik dazu in der Lage, eventuelle andere geometrische Behältermerkmale oder Bilder im Suchbereich dahingehend zu klassifizieren, dass diese nicht die Suchinstanz darstellen, indem auch diese sogenannten Exclude- Instanzen als solche vorab angelernt werden.is able to recognize that in a search area the geometric container feature to be searched, the so-called search instance, does not exist. Furthermore, an alignment process controlling control electronics is able to classify any other geometric container features or images in the search area to the effect that they do not represent the search instance by these so-called exclude instances are taught as such in advance.
[0012] Auf diese Weise ist die Steuerelektronik im Rahmen der Musterkennung dazu in der Lage, bestimmte Aufnahmen des Suchbereichs von vornherein zu verwerfen, da sie die Such- Instanz nicht enthalten.In this way, the control electronics in the context of the pattern identifier is able to reject certain recordings of the search area from the outset, since they do not contain the search instance.
[0013] In Ausrichtstufen, in denen mehr als eine Kame- ra Ist-Bilddaten erzeugt, besteht somit die Möglichkeit, die Aufnahmen der Kameras, die die Suchinstanz nicht enthalten, auszusortieren, so dass diese nicht in Konkurrenz zu der Aufnahme treten können, die die Such- Instanz enthält.In alignment stages, in which more than one camera generates actual image data, it is therefore possible to sort out the images of the cameras which do not contain the search instance, so that they can not compete with the image which contains the search instance.
[0014] Auf diese Weise wird ein sehr viel schnelleres und genaueres Ausrichtverfahren bereitgestellt. Grundsätzlich erfolgt die Mustererkennung, indem die Steuerelektronik die Ist -Bilddaten anhand von Soll -Bilddaten dahingehend klassifiziert, ob sie das geometrische Behältermerkmal ent- halten. Die Soll -Bilddaten umfassen dabei das angelernte geometrische Behältermerkmal als Such- Instanz und des weiteren voranstehend beschriebene und ebenso angelernte Exclude- Instanzen.In this way, a much faster and more accurate alignment method is provided. In principle, pattern recognition takes place in that the control electronics classifies the actual image data on the basis of target image data as to whether they contain the geometric container feature. The target image data in this case comprise the learned geometric container feature as a search instance and furthermore the exclude instances described above and likewise trained.
[0015] Das Anlernen der Soll-Bilddaten erfolgt, indem zunächst das auf einer Musterflasche befindliche zu suchen- de geometrische Behältermerkmal, die Suchinstanz, aufgenommen und abgespeichert wird. Das geometrische Behältermerkmal wird daraufhin von einem Benutzer identifiziert, insbesondere anhand seiner Kontur.[0015] The teaching of the desired image data is carried out by firstly searching for the sample image bottle. the geometric container feature, the search instance, is recorded and stored. The geometric container feature is then identified by a user, in particular based on its contour.
[0016] Dieses Anlernen der Such- Instanz kann grundsätzlich am Einsatzort des Verfahrens, d. h. mit der tatsächlich aufgebauten Abfüll- und Etikettieranlage, oder aber abseits davon erfolgen, beispielsweise in einem Labor.This training of the search authority can basically at the site of the process, d. H. with the actually constructed filling and labeling, or off it, for example, in a laboratory.
[0017] Nachdem die Suchinstanz nun grundsätzlich der Steuerelektronik bekannt ist, wird der Behälter bzw. dieAfter the search instance is now basically known to the control electronics, the container or the
Flasche vor einer Bildaufnahmevorrichtung um sich selbst gedreht, wobei in bestimmten Gradschritten jeweilige Bilder des Behälters bzw. der Flasche gemacht werden. Die Vielzahl der Gradschritte hängt insbesondere davon ab, wie genau die Ausrichtung im Betrieb erfolgen soll. Soll beispielsweise eine Ausrichtung auf 1° genau erfolgen, ist es angezeigt, die Bilder ebenfalls in 1° -Schritten, besser in 0,5°-Bottle rotated in front of an image pickup device on itself, wherein in certain steps, respective images of the container or the bottle are made. The multitude of degree steps depends in particular on how exactly the alignment should be performed during operation. If, for example, an alignment is to be done with a precision of 1 °, it is indicated that the images are also displayed in 1 ° increments, better in 0.5 °.
Schritten zu aufzunehmen.To take steps.
[0018] Aus diesen Bildern wird die Suchinstanz nun ausgeschnitten, falls sie noch in dem gesuchten Bereich zu finden ist, was automatisch geschehen kann, da die Suchinstanz bereits vorher angelernt wurde und dem neuronalen Netz bekannt ist.From these images, the search instance is now cut out, if it is still found in the searched area, which can happen automatically, since the search instance has been trained before and the neural network is known.
[0019] Der verbleibende Rest des jeweiligen Bildes wird nun automatisch als Exclude- Instanz angelernt.The remainder of the respective image is now taught automatically as Exclude instance.
[0020] Auf diese Weise werden also über den gesamten Umfang des Behälters bzw. der Flasche aufgenommene Bilder in dem Anlernvorgang klassifiziert. [0021] Bei der Anwendung des Verfahrens werden die von der Bildaufnahmevorrichtung aufgenommenen Ist-Bilddaten mit den in den Soll -Bilddaten abgelegten Instanzen verglichen und festgestellt, ob der Suchbereich eine Exclude- Instanz oder die Suchinstanz enthält .In this way, so taken over the entire circumference of the container or the bottle recorded images are classified in the learning process. In the application of the method, the actual image data recorded by the image recording device are compared with the instances stored in the target image data, and it is determined whether the search region contains an exclude entity or the search entity.
[0022] Enthält der Suchbereich nur eine Exclude- Instanz, wird dies angezeigt und das entsprechende Bild nicht zur Berechnung der Ist-Position der Flasche verwendet.If the search area contains only one exclude instance, this is displayed and the corresponding image is not used to calculate the actual position of the bottle.
[0023] Sollte keine der Bildaufnahmevorrichtungen einer Ausrichtungsstufe die Suchinstanz in ihrem Suchbereich aufgenommen haben, d.h. es wurden lediglich Übereinstimmungen mit Exclude-Instanzen festgestellt, kann vorgesehen sein, die Flasche um eine vorgegebene Gradzahl, beispiels- weise um 120°, zu drehen, um die Wahrscheinlichkeit zu erhöhen, dass die Bildaufnahmevorrichtungen der nächsten Stufe das geometrische Behältermerkmal in ihrem Suchbereich erfassen können.Should none of the image capture devices of an alignment stage have included the search entity in its search area, i. if only matches have been found with exclude instances, it may be intended to rotate the bottle by a predetermined number of degrees, for example 120 °, in order to increase the likelihood that the next stage imaging devices will detect the geometrical bin feature in their search area can.
[0024] Wird festgestellt, dass die Suchinstanz aufge- nommen wurde, wird anhand einer Perspektivenverzerrung des geometrischen Behältermerkmals, eines bekannten Abstands der Bildaufnahmevorrichtung zu dem Behälter während der Aufnahme und eines bekannten Durchmessers des Behälters die Ist-Position des Behälters bzw. seine Orientierung berech- net . Aus der Differenz der Ist-Position des Behälters zu der gewünschten Soll -Position des Behälters kann nun die Gradzahl und die Richtung bestimmt werden, in die der Behälter zu drehen ist.If it is found that the search instance has been included, the actual position of the container or its orientation is calculated on the basis of a perspective distortion of the geometric container feature, a known distance of the image recording device to the container during the recording and a known diameter of the container - net. From the difference between the actual position of the container to the desired desired position of the container, the degree and the direction in which the container is to be rotated can now be determined.
[0025] Der genaue Algorithmus zur Bestimmung dieses Verdrehwinkels ist aus dem Stand der Technik bekannt, siehe beispielsweise die eingangs zitierte Offenlegungsschrift DE 10 2005 050 902 Al.The exact algorithm for determining this twist angle is known from the prior art, see For example, the above-cited published patent application DE 10 2005 050 902 Al.
[0026] Die Erfindung umfasst des weiteren eine Vorrichtung zur Durchführung eines erfindungsgemäßen Verfah- rens .The invention further includes an apparatus for carrying out a method according to the invention.
[0027] Des weiteren deckt die vorliegende Beschreibung auch ein Computerprogramm mit Programmcode ab, um alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Programm auf einem Computer oder einer entspre- chenden Recheneinheit ausgeführt wird. Das Computerprogramm kann auf einem computerlesbaren Datenträger gespeichert sein.Furthermore, the present description also covers a computer program with program code in order to carry out all the steps of a method according to the invention when the program is executed on a computer or a corresponding computing unit. The computer program may be stored on a computer-readable medium.
[0028] Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.Further advantages and embodiments of the invention will become apparent from the description and the accompanying drawings.
[0029] Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those yet to be explained not only in the combination specified, but also in other combinations or alone, without departing from the scope of the present invention.
[0030] Die Erfindung ist anhand eines Ausführungsbeispieles in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.The invention is illustrated schematically with reference to an embodiment in the drawing and will be described below in detail with reference to the drawings.
Kurzbeschreibung der Zeichnung [0031] Figur 1 zeigt eine schematische Ansicht einer Ausführungsform einer erfindungsgemäßen Vorrichtung, auf der das erfindungsgemäße Verfahren ausgeführt werden kann.Brief description of the drawing FIG. 1 shows a schematic view of an embodiment of a device according to the invention, on which the method according to the invention can be carried out.
Ausführliche Beschreibung der ZeichnungDetailed description of the drawing
[0032] Figur 1 zeigt eine Vorrichtung 1, auf der das erfindungsgemäße Verfahren ausgeführt werden kann.FIG. 1 shows a device 1 on which the method according to the invention can be carried out.
[0033] Die Vorrichtung umfasst ein Karussell 5, in dasThe device comprises a carousel 5, in the
Behälter 2 über einen Einlauf 3 hineintransportiert und über einen Auslauf 4 hinaustransportiert werden. Von der Etikettierstation 7 werden die Behälter 2 in die gewünschteContainer 2 transported via an inlet 3 and transported beyond a spout 4. From the labeling station 7, the container 2 in the desired
Orientierung zum Aufbringen eines Etiketts ausgerichtet.Aligned orientation for applying a label.
[0034] In der dargestellten Ausführungsform sind drei Stufen zur Ausrichtung vorgesehen, wobei die erste Stufe die Bildaufnahmevorrichtungen 8 und 9 umfasst, die zweite Stufe die Bildaufnahmevorrichtung 10 und die dritte Stufe die Bildaufnahmevorrichtung 11. Zur Erfassung qualitativ hochwertiger Bilder sind Hintergrundelemente 13, 14, 15 vorgesehen, die auch beleuchtet sein können.In the illustrated embodiment, three stages are provided for alignment, wherein the first stage comprises the image pickup devices 8 and 9, the second stage the image pickup device 10 and the third stage the image pickup device 11. For the acquisition of high quality images are background elements 13, 14, 15 is provided, which can also be illuminated.
[0035] Der Ausrichtvorgang wird von einer Steuerelekt- ronik 12 gesteuert, die Ist-Bilddaten von den Bildaufnahmevorrichtungen 8, 9, 10, 11 empfängt und Steuerungsanweisungen an Behälteraufnahmen 6 ausgeben kann, auf denen die Behälter 2 angeordnet sind.The alignment operation is controlled by a control electronics 12, which receives actual image data from the image sensing devices 8, 9, 10, 11 and can output control commands to container receptacles 6 on which the containers 2 are arranged.
[0036] Zur Inbetriebnahme und zur Vorbereitung des Ausrichtverfahrens hat ein Anlernvorgang zu erfolgen, bei dem zunächst anhand einer ersten Aufnahme eines Musterbehälters eine Suchinstanz, d.h. ein zur Ausrichtung eines Behälters herangezogenes geometrisches Behältermerkmal, von einem Benutzer identifiziert und die Suchinstanz so einem neuronalen Netz der Steuerelektronik: 12 angelernt wird.For commissioning and for the preparation of the alignment process, a learning process has to be carried out, in which first a search instance, ie a geometrical container feature used to align a container, is determined from a first image of a sample container identified a user and the search instance is so a neural network of the control electronics: 12 taught.
[0037] Nun folgt eine 360° -Drehung des Behälters vor der Bildaufnahmevorrichtung, wobei beispielhaft pro Grad eine Bildaufnahme getätigt wird. Die dem neuronalen Netz nunmehr bekannte Suchinstanz wird im Suchbereich der Bildaufnahmevorrichtung ausgeschnitten und der verbleibende Suchbereich als Exclude- Instanz automatisch angelernt. Der Anlernvorgang wird nach einer vollständigen 360° -Drehung des Behälters 2 abgeschlossen.Now follows a 360 ° rotation of the container in front of the image pickup device, with an image capture per example is made per degree. The search instance which is now known to the neural network is cut out in the search area of the image acquisition device and the remaining search area is automatically trained as an exclude entity. The learning process is completed after a complete 360 ° rotation of the container 2.
[0038] Ist die Vorrichtung 1 an ihrem Einsatzort aufgestellt, kann durch eine Bedienperson der entsprechende Soll -Bilddatensatz aufgerufen werden. Es folgt nun ein langsamer Einlauf eines ersten Behälters bzw. einer ersten Flasche, wobei die Bildaufnahmevorrichtungen 8, 9, 10, 11 so ausgerichtet werden, dass sie die möglichen Lagen der Suchinstanz möglichst genau erfassen. Gewünscht ist selbstverständlich ein möglichst enger optischer Auswertungsbereich.If the device 1 is set up at its place of use, the corresponding target image data set can be called up by an operator. This is followed by a slow inlet of a first container or a first bottle, wherein the image recording devices 8, 9, 10, 11 are aligned so that they detect the possible positions of the search instance as accurately as possible. Of course, what is desired is a narrow optical evaluation range.
[0039] Anschließend kann der Schnelllauf für die Produktion gestartet werden.Subsequently, the high-speed for production can be started.
[0040] Auf diese Weise kann mittels des erfindungsgemäßen Verfahrens, der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Computerprogramms ein vereinfachtes und somit beschleunigtes sowie qualitativ verbessertes Ausrichten von Behältern, insbesondere Flaschen, bereitgestellt werden. In this way, by means of the method according to the invention, the device according to the invention and the computer program according to the invention a simplified and thus accelerated and qualitatively improved alignment of containers, in particular bottles, can be provided.

Claims

Patentansprüche claims
1. Verfahren zum Ausrichten eines Behälters (2) in Bezug auf mindestens ein geometrisches Behältermerkmal in eineA method for aligning a container (2) with respect to at least one geometric container feature in one
Soll-Position, bei dem durch eine Auswertung von mittels mindestens einer Bildaufnahmevorrichtung (8, 9, 10, 11) erzeugten Ist-Bilddaten in einer Steuerelektronik (12) ein Ausrichten des Behälters (2) bewirkt wird, wobei die Ist- Bilddaten in einem Suchbereich mittels einer Mustererkennung ausgewertet werden, die als Ergebnis eine Ist-Position des Behälters ausgibt, falls das geometrische Behältermerkmal erkannt wird, und anzeigt, falls das geometrische Behältermerkmal nicht erkannt wird.Target position, in which by an evaluation of at least one image recording device (8, 9, 10, 11) generated actual image data in an electronic control unit (12) aligning the container (2) is effected, wherein the actual image data in one Search range are evaluated by means of a pattern recognition, which outputs as the result of an actual position of the container, if the geometric container feature is detected, and indicates if the geometric container feature is not recognized.
2. Verfahren nach Anspruch 1, bei dem die Mustererkennung erfolgt, indem die Steuerelektronik (12) die Ist-Bilddaten anhand von Soll -Bilddaten dahingehend klassifiziert, ob sie das geometrische Behältermerkmal enthalten.2. The method of claim 1, wherein the pattern recognition takes place in that the control electronics (12) classifies the actual image data on the basis of target image data to determine whether they contain the geometric container feature.
3. Verfahren nach Anspruch 2, bei dem die Soll -Bilddaten das geometrische Behältermerkmal als Suchinstanz und des weiteren Exclude- Instanzen umfassen.3. The method of claim 2, wherein the target image data include the geometric container feature as a search instance and the further Exclude instances.
4. Verfahren nach Anspruch 3, bei dem die Suchinstanz und die Exclude- Instanzen in einem Anlernvorgang in den Soll- Bilddaten abgelegt werden.4. The method of claim 3, wherein the search entity and the Exclude instances are stored in a learning process in the target image data.
5. Verfahren nach Anspruch 4, bei dem das Anlernen der Suchinstanz erfolgt, indem Muster-Bilddaten des geometrischen Behältermerkmals erzeugt werden, in denen das geometrische Behältermerkmal von einem Benutzer identifiziert wird. The method of claim 4, wherein the learning of the search instance is performed by generating pattern image data of the geometric bin feature in which the geometric bin feature is identified by a user.
6. Verfahren nach Anspruch 5, bei dem die Erzeugung der Muster-Bilddaten mittels der mindestens einen Bildaufnahmevorrichtung (8, 9, 10, 11) erfolgt.6. The method of claim 5, wherein the generation of the pattern image data by means of the at least one image pickup device (8, 9, 10, 11) takes place.
7. Verfahren nach Anspruch 5, bei dem die Erzeugung der Muster-Bilddaten mittels einer separaten Bildaufnahmevorrichtung (8, 9, 10, 11) erfolgt.7. The method of claim 5, wherein the generation of the pattern image data by means of a separate image pickup device (8, 9, 10, 11) takes place.
8. Verfahren nach einem der Ansprüche 4, bei dem das Anlernen der Exclude- Instanzen die folgenden Schritte um- fasst :8. The method of claim 4, wherein learning the Exclude instances comprises the following steps:
- Drehen des Behälters um eine bestimmte Gradzahl, - Erzeugen von Muster-Bilddaten des Suchbereichs des Behälters mittels der Bildaufnahmevorrichtung (8, 9, 10, 11),Rotating the container by a certain number of degrees, generating pattern image data of the search region of the container by means of the image recording device (8, 9, 10, 11),
- Ausschneiden der Suchinstanz aus dem Suchbereich,- cutting out the search instance from the search area,
- Automatisches Anlernen des verbleibenden Suchbereichs als Exclude- Instanz,- automatic training of the remaining search area as an exclude instance,
- Wiederholen der voranstehenden Schritte, bis der Behälter um 360° gedreht ist.- Repeat the previous steps until the container is rotated 360 °.
9. Verfahren nach einem der voranstehenden Ansprüche, bei dem bei Ausgabe einer Ist-Position die Ist-Position des Behälters anhand einer Perspektivenverzerrung des geometrischen Merkmals, einem Durchmesser des Behälters und einem Abstand des Behälters zu der mindestens einen Bildaufnahmevorrichtung (8, 9, 10, 11) berechnet wird.9. The method according to any one of the preceding claims, wherein upon output of an actual position, the actual position of the container based on a perspective distortion of the geometric feature, a diameter of the container and a distance of the container to the at least one image pickup device (8, 9, 10 , 11).
10. Verfahren nach einem der voranstehenden Ansprüche, bei dem der Behälter automatisch um eine bestimmte Gradzahl gedreht wird, falls das geometrische Merkmal von keiner der mindestens einen Bildaufnahmevorrichtung (8, 9, 10, 11) erkannt wird.10. The method according to any one of the preceding claims, wherein the container is automatically rotated by a certain degree number, if the geometric feature of none of at least one image pickup device (8, 9, 10, 11) is detected.
11. Vorrichtung zur Durchführung eines Verfahrens nach ei- nem der Ansprüche 1 bis 10.11. Apparatus for carrying out a method according to one of claims 1 to 10.
12. Computerprogramm mit Programmcodemitteln, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 10 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.A computer program comprising program code means for carrying out all the steps of a method according to any one of claims 1 to 10 when the computer program is executed on a computer or a corresponding computing unit.
13. Computerprogramm nach Anspruch 12, das auf einem computerlesbaren Datenträger gespeichert ist. 13. Computer program according to claim 12, which is stored on a computer-readable medium.
EP09763831A 2008-11-20 2009-11-11 Method for aligning a container and computer program Active EP2358601B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PL09763831T PL2358601T3 (en) 2008-11-20 2009-11-11 Method for aligning a container and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008059229A DE102008059229A1 (en) 2008-11-20 2008-11-20 Method for aligning a container
PCT/EP2009/008025 WO2010057592A1 (en) 2008-11-20 2009-11-11 Method for aligning a container

Publications (2)

Publication Number Publication Date
EP2358601A1 true EP2358601A1 (en) 2011-08-24
EP2358601B1 EP2358601B1 (en) 2012-09-05

Family

ID=41682749

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09763831A Active EP2358601B1 (en) 2008-11-20 2009-11-11 Method for aligning a container and computer program

Country Status (6)

Country Link
EP (1) EP2358601B1 (en)
CN (1) CN102216161B (en)
BR (1) BRPI0916040B1 (en)
DE (1) DE102008059229A1 (en)
PL (1) PL2358601T3 (en)
WO (1) WO2010057592A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109738621B (en) 2012-05-14 2021-05-11 高斯外科公司 System and method for estimating amount of blood component in liquid tank
DE102013109384A1 (en) * 2013-08-29 2015-03-05 Krones Ag Device and method for transporting containers in a beverage filling plant
CN107229291B (en) * 2017-06-14 2020-09-15 苏州西斯派克检测科技有限公司 Synchronization method of online vision positioning system
DE102020112191A1 (en) 2020-05-06 2021-11-11 Krones Aktiengesellschaft Container treatment machine and method for aligning a container in a container receptacle of a container treatment machine
DE102021112479A1 (en) * 2021-05-12 2022-11-17 Espera-Werke Gmbh Procedure for operating a labeling system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0624424A (en) * 1992-07-02 1994-02-01 Kuwabara Yasunaga Facing/p0sitioning method for container
US6484478B1 (en) * 2000-01-24 2002-11-26 Illinois Tool Works Inc. System and method for packaging oriented containers
ITBO20020806A1 (en) * 2002-12-20 2004-06-21 Azionaria Costruzioni Acma Spa LABELING AND / OR MARKING MACHINE
DE102005041497A1 (en) * 2005-09-01 2007-03-08 Stratec Control-Systems Gmbh Container e.g. beverage bottle, rotational direction detecting method, involves imaging container during transport of container, and analyzing images of container to determine position of joints that are formed while molding container
DE202005014456U1 (en) * 2005-09-12 2007-02-01 Krones Ag Conveyor transporting container e.g. transparent bottle, aligning device, has camera for optical image at container detecting secondary characteristic that stands in range relation to container-specific characteristic
DE102005050902A1 (en) * 2005-10-21 2007-05-03 Khs Ag Device for aligning containers and labeling machine with such a device
DE102006026618A1 (en) * 2006-09-02 2008-03-13 Khs Ag Method for the accurate application of labels and labeling machine
ITBO20060847A1 (en) * 2006-12-12 2008-06-13 Adriano Fusco SYSTEM TO DETECT AND OPTIMIZE THE ANGULAR POSITIONING OF CONTAINERS IN CONTINUOUS TRANSIT
ITMI20072267A1 (en) * 2007-12-03 2009-06-04 Sidel Holdings & Technology Sa DETECTION SYSTEM AND ANGULAR ORIENTATION OF CONTAINERS IN LABELING MACHINES

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010057592A1 *

Also Published As

Publication number Publication date
EP2358601B1 (en) 2012-09-05
DE102008059229A1 (en) 2010-06-02
CN102216161B (en) 2015-02-25
WO2010057592A1 (en) 2010-05-27
PL2358601T3 (en) 2013-02-28
BRPI0916040B1 (en) 2019-10-22
CN102216161A (en) 2011-10-12
BRPI0916040A2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
EP1777163B1 (en) Device for orienting containers
EP1717573B1 (en) Method for automatic detection of faults in test parts by means of an X-ray test system
DE102018129425B4 (en) System for recognizing a machining error for a laser machining system for machining a workpiece, laser machining system for machining a workpiece by means of a laser beam comprising the same, and method for detecting a machining error in a laser machining system for machining a workpiece
DE102018110749B3 (en) Method for checking a printing cylinder and a corresponding arrangement
EP2358601B1 (en) Method for aligning a container and computer program
DE112017005011T5 (en) Method for generating a taught-in model, device for generating a taught-in model, method for distinguishing signal data, device for distinguishing signal data and program for distinguishing signal data
WO2011124309A1 (en) Image processing method and thermal imaging camera
EP2128793A1 (en) Method and device for inspecting print products, computer program and computer program product
DE112020003158T5 (en) Training method for a target acquisition model, method and device for characterizing the data
WO2019238477A1 (en) Method for examining concordant test objects
DE202005017180U1 (en) Adjusting system for bottles on turntable comprises cameras which detect orientation of bottles at different positions and control unit which compares data obtained with desired orientation and controls adjustment of bottles
EP2047403A1 (en) Method for automated 3d-object recognition and location determination
EP2787485A1 (en) Method and device for automatic detection of defects in flexible bodies
DE102005011330B4 (en) Method for detecting the position of a molded part
DE10257567A1 (en) Computerized application of adhesive to a component, comprises monitoring the adhesive track applied using a camera, checking the contours, and reapplying adhesive if required
DE102019130154A1 (en) Method for the visual support of a handling process and flatbed machine tool
DE4130399A1 (en) Automatic window technique for object detection - reducing processing time for object orientation measurement by using only part for comparison with stored data
DE102018214307A1 (en) System and method for quality inspection in the manufacture of individual parts
EP4147101A1 (en) Container treatment machine and method for aligning a container in a container receptacle of a container treatment machine
DE102020212510A1 (en) Method and device for showing the influence of cutting parameters on a cut edge
DE102019132655A1 (en) Method for checking a wall thickness of a container made of an at least partially transparent material
EP1139285B1 (en) Method and apparatus for testing or inspection of articles
DE10024559B4 (en) Object recognition method
EP4085794B1 (en) Process for preparing and conducting quality testing of brushes, in particular toothbrushes, testing device and brush manufacturing machine
WO2023025570A1 (en) Method and device for monitoring the state of a component

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110620

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 573996

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120915

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009004642

Country of ref document: DE

Effective date: 20121031

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121205

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121206

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

REG Reference to a national code

Ref country code: PL

Ref legal event code: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130105

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

BERE Be: lapsed

Owner name: KHS G.M.B.H.

Effective date: 20121130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130107

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121205

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

26N No opposition filed

Effective date: 20130606

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121130

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009004642

Country of ref document: DE

Effective date: 20130606

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121216

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121130

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121111

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131130

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131130

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20171023

Year of fee payment: 9

Ref country code: AT

Payment date: 20171121

Year of fee payment: 9

Ref country code: GB

Payment date: 20171123

Year of fee payment: 9

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 573996

Country of ref document: AT

Kind code of ref document: T

Effective date: 20181111

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20181111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181111

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20231124

Year of fee payment: 15

Ref country code: FR

Payment date: 20231120

Year of fee payment: 15

Ref country code: DE

Payment date: 20231121

Year of fee payment: 15