EP1645866A2 - Apparatus and method for indentification of containers or flasks in containers - Google Patents

Apparatus and method for indentification of containers or flasks in containers Download PDF

Info

Publication number
EP1645866A2
EP1645866A2 EP05021871A EP05021871A EP1645866A2 EP 1645866 A2 EP1645866 A2 EP 1645866A2 EP 05021871 A EP05021871 A EP 05021871A EP 05021871 A EP05021871 A EP 05021871A EP 1645866 A2 EP1645866 A2 EP 1645866A2
Authority
EP
European Patent Office
Prior art keywords
container
camera
light
containers
illumination device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP05021871A
Other languages
German (de)
French (fr)
Other versions
EP1645866A3 (en
EP1645866B1 (en
Inventor
Rainer Dr. Kwirandt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Krones AG
Original Assignee
Krones AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krones AG filed Critical Krones AG
Publication of EP1645866A2 publication Critical patent/EP1645866A2/en
Publication of EP1645866A3 publication Critical patent/EP1645866A3/en
Application granted granted Critical
Publication of EP1645866B1 publication Critical patent/EP1645866B1/en
Ceased legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04Sorting according to size
    • B07C5/12Sorting according to size characterised by the application to particular articles, not otherwise provided for
    • B07C5/122Sorting according to size characterised by the application to particular articles, not otherwise provided for for bottles, ampoules, jars and other glassware

Definitions

  • the invention relates to a device and a method for detecting containers and / or containers in particular of containers in containers, such as bottles in bottle crates.
  • bottles are found with the bottle mouth down instead of up in the boxes and must be recognized before for removal from the boxes accordingly.
  • a method and a device for recognizing and sorting beverage containers, in particular bottles and crates are known.
  • the bottle case is lit from above through a semi-transparent mirror and from a laterally mounted camera, which looks at the semi-transparent mirror, also viewed from above.
  • orifice diameters can be determined.
  • the camera and lamp are each disposed obliquely above the box, so that the light reflected from the bottle mouth surfaces is detected by the camera.
  • a box of dark material filled with open and closed bottles may serve.
  • the open bottles are recognized by the reflections on the bottle mouth. Lighting that creates these reflections, but also causes reflections on the horizontal parts of the box and on the closures of the closed bottles.
  • the bright reflected light means that neither the color of the box nor the imprint and the color of the closures can be determined properly.
  • an illumination of advantage which emphasizes diffuse scattering surface properties.
  • Object of the present invention is therefore to improve the known device and the known method.
  • An optimal inspection can be achieved by using several types of lighting. By combining the results of the various methods, more comprehensive and accurate statements can be made about the state and content of a box. (Such a comprehensive inspection could consist of the following stations: height detection with ultrasound, glass-PET discrimination, transmitted-light station, recording of the reflexes, recording of the diffuse features, box logo recognition, etc.).
  • the lighting and camera are designed so that the camera once captures an image with directly reflected light from horizontal surfaces.
  • the light is reflected, for example, the bottle mouth surface, closures, bottom of the box or the top of a beverage box directly from the lighting device into the camera. These surfaces act as mirror surfaces.
  • the illumination device and the camera are designed such that the horizontally lying surfaces, such as the mouth surfaces of upright bottles or the upper flat sides of beverage crates, can reflect the light from the illumination device into the camera.
  • the bottom of the bottle, with the bottle mouth facing downwards, is also horizontal and can reflect light into the camera.
  • the second shot uses a light source that is shallow into the box and no reflections on the horizontal surfaces are seen by the camera. This allows the color of box and bottle caps are recognized. Even the imprints of the closures can be detected undisturbed.
  • the oblique light radiation causes the depth of the box remains dark and only features appear as labels in the shoulder area or open PET mouths.
  • the second illumination device is advantageously arranged so that horizontal lying surfaces the light on the camera brieflyreflektieren, so as to avoid disturbing direct reflections; d. H. the light is directed onto diffusely scattering surfaces of the containers and / or containers so that the camera can pick up these surfaces with the diffusely scattered light. Disturbing light reflections are thus avoided.
  • the two camera images are taken with the camera in one and the same position.
  • an image acquisition is advantageous in which two images are successively recorded and in the case of one image only the first illumination device and in the second image only the second illumination device is illuminated.
  • the first illumination device illuminates the containers and / or the containers essentially vertically from above, since then a characteristic photograph can be taken with a camera which is likewise arranged vertically above container and / or container, in which case Muzzle surfaces can be detected. With this camera arrangement can also be made a well-evaluated recording with the second illumination.
  • the second illumination device emits light on the container and / or the container, which is radiated from at an angle of more than 60 ° to the vertical, since then the reflections on the horizontal surfaces are suppressed and the lateral parts of container and containers are well lit and can be detected with the camera.
  • Possible light sources for the first or second illumination device are a flash lamp, fluorescent tubes, a laser LED lamp, for example, an LED lamp may include multiple LEDs.
  • Flashlamps and LEDs have the advantage over fluorescent tubes in that they consume much less energy and produce less waste heat: a fluorescent tube must be switched on permanently and thus essentially generates light Times in which no camera recording takes place and the light generation is therefore unnecessary.
  • the flashlamps or an LED lamp it is possible to turn them on only for a short time only when a camera recording is to be made.
  • the flashing allows the two shots to be taken with the different illuminations in the same place and with the same camera.
  • the first lighting device must, to be able to produce the reflections in the box corners, be much larger than the box; typically the lamp has more than 4 times the box area. Since a large-area and sufficiently bright LED lighting is also associated with increased costs, the first lighting device can consist, for example, of a flashlamp which cooperates with a Fresnel lens and / or a diffusing screen so that light from above can be emitted over as large a area as possible the containers and / or the container can meet.
  • further reflecting surfaces may be provided below the Fresnel lens, the light that would laterally pass the container and / or the container in the direction of the container or the container directs. These reflectors reflect the Fresnel lens, so that the box sees a much larger lamp than is actually available. As a result, the size of this lamp can be limited to an acceptable level.
  • the second illumination device comprises an arrangement of light sources which are arranged at least approximately on a circular ring. This is possible as uniform as possible illumination of the male container or container, which are located (seen from above) within the annulus. Furthermore, it is advantageous if the light sources are arranged above the container or container, so that the incidence of light occurs obliquely from above, since then the characteristic features of containers and containers can be well illuminated and detected.
  • the diameter of the circular ring corresponds approximately to the size dimension of the Fresnel lens. Since the Fresnel lens and the underlying reflectors indicate the diameter of the light beam impinging on the viewing position, the light sources on a smaller diameter annulus would shade that light. A larger circle diameter would cause too little light to arrive in the viewing position. Therefore, here is a good compromise.
  • the method is carried out such that a container with containers located therein is moved between the receptacle of two containers. This allows a continuous transport of containers during the detection of the containers and containers
  • FIGs. 1 and 2 a device 1 for detecting bottles 2 in open-top crates 3 is shown.
  • a bottle crate 3 is located on a conveyor belt 13.
  • the device 1 Above the path of the bottle crate 3, the device 1 is arranged.
  • the device 1 comprises a housing 19, which is shown only in FIG. 1 and has been omitted in FIG. 2 for the sake of clarity.
  • the device 1 comprises a flashlamp 4 in the upper part of the housing, which is surrounded by a reflector 5.
  • the reflector 5 serves to direct the light of the flashlamp 4 substantially in the direction of a Fresnel lens 6.
  • the flash lamp 4 or the inside of the reflector 5 can in this case be designed so that here diffused light is emitted.
  • the light emitted by the flashlamp 4 can be largely collimated by a Fresnel lens 6.
  • the Fresnel lens 6 can in this case have a size of up to 80 or 110 cm. It is therefore advantageous not to hang the Fresnel lens 6 unsupported, but to hang it on a suitable base, such as a glass pane 7. So that the Fresnel lens does not become dirty, it is advantageous to lay it down with its corrugated structure, so that a smooth, easy-to-clean surface remains on the upper side. Also, for the optical properties, it is better if the smooth side faces up, since then the spherical aberration is reduced. Therefore, Fresnel lenses are usually made with the orientation required here, so that neither a custom order nor an above protective screen are required. For further light distribution, the Fresnel lens can be supplemented or replaced by a diffuser.
  • These surfaces 11 may be, for example, glass mirrors, metal mirrors, reflective films or the like.
  • a light beam 16 can be directed with the reflective surface 11 on the bottle crate 3. Without the reflecting surface 11, this light would otherwise be lost.
  • the combination of flash lamp 4, reflector 5, Fresnel lens 6, glass plate 7 and the reflecting surfaces 11 forms a possible embodiment of the first illumination device.
  • a circular ring of LED modules 12 is provided. These modules are each equipped with a plurality of LEDs that can direct light 14 directly to the bottle 2 and the bottle crate 3, namely obliquely from above.
  • a camera 8 is arranged with a lens 9. This camera can look vertically from above on the bottle crate 3 within an angle 18 and pick up the entire box at once.
  • a light-absorbing material 10 may be arranged, which prevents disturbing reflections.
  • This may be, for example, a ring of black foam material in which the lens 9 is inserted.
  • the Fresnel lens 6 is reflected in the lateral reflecting surface 11.
  • the effective size of the light source consisting of the flashlamp 4, the reflector 5 and the Fresnel lens 6 is thus increased by the reflecting surfaces 11.
  • the LED modules 12 are arranged on a support ring 20. This is shown once again in FIG. 3.
  • the modules 12 may be adjustable in their emission direction in order to obtain optimal illumination.
  • the emission angle can be varied with respect to the vertical.
  • the emission angle is more than 60 ° relative to the vertical in order to achieve a flat light irradiation.
  • the LED modules 12, i. the second illumination device is arranged so that they do not shadow the light of the first illumination device or only slightly, but not too far away from the position of the container or the container.
  • the camera 8 and both lighting devices, d. H. Flash lamp 4 and LED modules 12 are controlled by a controller S and indeed as a function of the conveying movement of the crates. 3
  • a bottle crate 3 and a bottle 2 is shown.
  • the bottle crate 3 has a horizontally-lying surface 25 located at the top (box edge).
  • the bottle 2 has on its upper side an orifice surface 26, which is also horizontal.
  • Light striking the surface 25 or 26 from the first light source along the light beam 27 is reflected to the camera according to the light reflection law. This results in bright reflections of the surfaces 25 and 26 in the camera image.
  • Light that strikes the side surfaces 24 of the bottle crate 3 or the label 23 is diffused here substantially diffuse.
  • a bottle crate 3 with bottles 2 is conveyed in the direction of arrow 15 on a conveyor 13 under the device 1, wherein the movement and current position by sensors, not shown, and possibly rotary pulse on the conveyor of the controller S are detected. Then, a flash of light is generated with the flash lamp 4, which is directed with the reflector 5, the Fresnel lens 6 and the reflective surfaces 11 on the bottles 2 and the bottle crate 3. The reflected light on the horizontally-lying surfaces 25 and 26 of the bottles 2 and the bottle crate 3 is received by the camera 8 through the lens. Here, the second illumination device 12 is turned off.
  • the second illumination device 12 is turned on and the flash lamp 4 is no longer used. Then, under illumination by the second illumination device 12 with the camera 8, a second image is taken.
  • the diffuse features of the horizontally lying surfaces 25 and 26 are detected without disturbing reflections.
  • the two images thus obtained are evaluated in an image evaluation device, not shown, to recognize the bottle type.
  • This may, for example, shape and size of the bottle mouth 26, shape and size of the bottle 2, imprint of the labels 23, arrangement of the labels 23, color the labels 23, color of the bottles 2, shape, color and size of the crates 3 etc. include.

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Sorting Of Articles (AREA)

Abstract

The apparatus has an illuminating device and a camera which are so arranged that light from the illumination device is reflected from the containers or parts of the package and can be received by the camera. The apparatus has a second illumination device such that even the diffuse characteristics of the reflected light can be received unaffected by reflections by the camera (8,9). Independent claims also cover a method of identifying containers etc.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Erkennung von Behältern und/oder Gebinden insbesondere von Behältern in Gebinden, wie beispielsweise etwa Flaschen in Flaschenkästen.The invention relates to a device and a method for detecting containers and / or containers in particular of containers in containers, such as bottles in bottle crates.

Rücklaufendes Leergut muss zur Weiterverwertung in der Regel sortiert werden, da die rücklaufenden Flaschen nicht sortenrein sind, d.h., dass verschiedene Flaschensorten miteinander vermischt zurückgegeben werden. In der Regel kann jedoch nur eine Flaschensorte in der entsprechenden Abfüllanlage wiederverwendet werden.Returned empties usually need to be sorted for reuse because the returning bottles are not sorted, that is, different types of bottles are mixed back together. As a rule, however, only one type of bottle can be reused in the corresponding bottling plant.

Auch werden Flaschen mit der Flaschenmündung nach unten statt nach oben in den Kästen angetroffen und müssen vor für die Entnahme aus den Kästen entsprechend erkannt werden.Also bottles are found with the bottle mouth down instead of up in the boxes and must be recognized before for removal from the boxes accordingly.

Eine Schwierigkeit tritt hierbei dadurch auf, dass die Flaschen in Getränkekästen angeordnet sind und daher für beispielsweise Bilderkennungsverfahren nur schwer zugänglich sind, da die Seitenansicht auf die Flaschen durch die Getränkekastenwände versperrt ist.A difficulty arises here in that the bottles are arranged in beverage crates and therefore difficult to access, for example, image recognition methods, since the side view of the bottles is blocked by the beverage crate walls.

Aus der DE 19 509 631 ist ein Verfahren und eine Einrichtung zum Erkennen und Sortieren von Getränkebehältern insbesondere Flaschen und Flaschenkästen bekannt. Hier wird der Flaschenkasten von oben durch einen halbdurchlässigen Spiegel hindurch beleuchtet und von einer seitlich angeordneten Kamera, die auf den halbdurchlässigen Spiegel blickt, ebenfalls von oben betrachtet. Dabei können dann beispielsweise Mündungsdurchmesser ermittelt werden.From DE 19 509 631 a method and a device for recognizing and sorting beverage containers, in particular bottles and crates, are known. Here, the bottle case is lit from above through a semi-transparent mirror and from a laterally mounted camera, which looks at the semi-transparent mirror, also viewed from above. In this case, for example, orifice diameters can be determined.

Bei einer anderen Anordnung sind Kamera und Lampe jeweils schräg über dem Kasten angeordnet, so dass das von den Flaschenmündungsflächen reflektierte Licht von der Kamera erfasst wird.In another arrangement, the camera and lamp are each disposed obliquely above the box, so that the light reflected from the bottle mouth surfaces is detected by the camera.

Hierbei hat es sich als nachteilig herausgestellt, dass es in der Regel nicht ausreicht, nur den Mündungsdurchmesser zu bestimmen, da hiermit eine sortenreine Flaschensortierung nicht gewährleistet wird.It has been found to be disadvantageous that it is usually not sufficient to determine only the orifice diameter, since hereby a sorted bottle sorting is not guaranteed.

Besonders erschwerend bei der Inspektion ist es, dass die unterschiedlichsten Dinge und zustände in den Flaschenkästen vorzufinden sind, und dass reale Gegenstände eine Mischung von verschiedenen optischen Eigenschaften aufweisen, die zu Störungen bei Feststellung von den unterschiedlichen Kasten- und Flaschenmerkmalen führen. Als Beispiel kann ein Kasten aus dunklem Material dienen, der mit offenen und geschlossenen Flaschen befüllt ist. Die offenen Flaschen werden anhand der Reflexe auf der Flaschenmündung erkannt. Eine Beleuchtung die diese Reflexe erzeugt, verursacht aber auch Reflexe auf den horizontalen Teilen des Kastens und auf den Verschlüssen der geschlossenen Flaschen. Dadurch können dann auch dunkle Kästen besser gesehen und inspiziert werden, aber das helle Reflexlicht führt dazu, dass weder die Farbe des Kastens noch der Aufdruck und die Farbe der Verschlüsse einwandfrei festgestellt werden können. Für letztere Merkmale ist eine Beleuchtung von Vorteil, die diffus streuende Oberflächeneigenschaften hervorhebt.Particularly troublesome in the inspection is that a variety of things and conditions are found in the bottle crates, and that real objects have a mixture of different optical properties, which leads to disturbances in determining the different box and bottle features. By way of example, a box of dark material filled with open and closed bottles may serve. The open bottles are recognized by the reflections on the bottle mouth. Lighting that creates these reflections, but also causes reflections on the horizontal parts of the box and on the closures of the closed bottles. As a result, even dark boxes can be better seen and inspected, but the bright reflected light means that neither the color of the box nor the imprint and the color of the closures can be determined properly. For the latter features is an illumination of advantage, which emphasizes diffuse scattering surface properties.

Aufgabe der vorliegenden Erfindung ist es daher, die bekannte Vorrichtung und das bekannte Verfahren zu verbessern.Object of the present invention is therefore to improve the known device and the known method.

Diese Aufgabe wird durch eine Vorrichtung nach Anspruch 1 und ein Verfahren nach Anspruch 15 gelöst.This object is achieved by a device according to claim 1 and a method according to claim 15.

Eine optimale Inspektion ist durch Einsatz mehrerer Beleuchtungsarten erreichbar. Durch Kombination der Ergebnisse der verschiedenen Verfahren können dann umfassendere und genauere Aussagen über den Zustand und Inhalt eines Kastens gemacht werden. (Eine derartig umfassende Inspektion könnte aus folgenden Stationen bestehen: Höhenerkennung mit Ultraschall, Glas-PET-Unterscheidung, Durchlichtstation, eine Aufnahme der Reflexe, eine Aufnahme der diffusen Merkmale, Kastenlogoerkennung etc.).An optimal inspection can be achieved by using several types of lighting. By combining the results of the various methods, more comprehensive and accurate statements can be made about the state and content of a box. (Such a comprehensive inspection could consist of the following stations: height detection with ultrasound, glass-PET discrimination, transmitted-light station, recording of the reflexes, recording of the diffuse features, box logo recognition, etc.).

Bei der Vorrichtung und bei dem Verfahren sind Beleuchtung und Kamera so ausgelegt, dass die Kamera einmal ein Bild mit unmittelbar reflektiertem Licht von horizontalen Flächen aufnimmt. Hierbei wird das Licht an beispielsweise der Flaschenmündungsoberfläche, Verschlüssen, Kastenboden oder der Oberseite eines Getränkekastens direkt von der Beleuchtungseinrichtung in die Kamera reflektiert. Diese Flächen wirken quasi als Spiegelflächen.In the apparatus and method, the lighting and camera are designed so that the camera once captures an image with directly reflected light from horizontal surfaces. Here, the light is reflected, for example, the bottle mouth surface, closures, bottom of the box or the top of a beverage box directly from the lighting device into the camera. These surfaces act as mirror surfaces.

Gleichzeitig ist in diesem ersten Bild diffus gestreutes Licht von solchen Flächen zu sehen, die nicht spiegelnd das Licht von der Beleuchtungseinrichtung in die Kamera reflektieren. Hierzu gehören beispielsweise die Etiketten auf Flaschen, die durch ihre vergleichsweise raue Oberfläche das Licht diffus streuen. Da für die Sichtbarkeit der Reflexe die Kamera und das Licht fast aus der gleichen Richtung in den Kasten schaut, können hier auch Gegenstände, die tief im Gefache liegen, gesehen werden. Licht, das aus der Tiefe der Flaschen wieder nach oben reflektiert wird, liefert Informationen über Flaschenfarbe und -inhalt. Vorteilhafterweise sind die Beleuchtungseinrichtung und die Kamera so ausgebildet, dass die horizontal liegenden Flächen wie etwa die Mündungsflächen von aufrechtstehenden Flaschen oder die oberen flachen Seiten von Getränkekästen das Licht von der Beleuchtungseinrichtung in die Kamera reflektieren können. Der Flaschenboden einer mit der Flaschenmündung nach unten orientierten Flasche ist ebenfalls horizontal und kann Licht in die Kamera reflektieren.At the same time, in this first image, diffusely scattered light can be seen from those surfaces which do not reflect the light from the illumination device into the camera in a mirror-like manner. These include, for example, the labels on bottles, which diffuse the light diffusely due to their comparatively rough surface. As for the visibility of the reflexes, the camera and the light almost from the same direction in the If you are looking for a box, you can also see objects that lie deep in the compartment. Light reflected back from the bottom of the bottles provides information about bottle color and content. Advantageously, the illumination device and the camera are designed such that the horizontally lying surfaces, such as the mouth surfaces of upright bottles or the upper flat sides of beverage crates, can reflect the light from the illumination device into the camera. The bottom of the bottle, with the bottle mouth facing downwards, is also horizontal and can reflect light into the camera.

Bei der zweiten Aufnahme wird eine flach in den Kasten einstrahlende Lichtquelle verwendet, von der keine Reflexe auf den horizontalen Flächen von der Kamera gesehen werden. Dadurch kann die Farbe von Kasten und Flaschenverschlüssen erkannt werden. Sogar die Aufdrucke der Verschlüsse können ungestört erfaßt werden. Die schräge Lichteinstrahlung führt dazu, dass die Tiefe des Kastens dunkel bleibt und nur Merkmale aufscheinen wie Etiketten im Schulterbereich oder auch offene PET-Mündungen.The second shot uses a light source that is shallow into the box and no reflections on the horizontal surfaces are seen by the camera. This allows the color of box and bottle caps are recognized. Even the imprints of the closures can be detected undisturbed. The oblique light radiation causes the depth of the box remains dark and only features appear as labels in the shoulder area or open PET mouths.

Die zweite Beleuchtungseinrichtung ist vorteilhafterweise so angeordnet, dass horizontalliegende Flächen das Licht an der Kamera vorbeireflektieren, um so störende direkte Reflexe zu vermeiden; d. h. das Licht wird so auf diffus streuende Flächen der Behälter und/oder Gebinde gerichtet, dass die Kamera diese Flächen mit dem diffus gestreuten Licht aufnehmen kann. Störende Lichtreflexe werden damit vermieden.The second illumination device is advantageously arranged so that horizontal lying surfaces the light on the camera vorbeireflektieren, so as to avoid disturbing direct reflections; d. H. the light is directed onto diffusely scattering surfaces of the containers and / or containers so that the camera can pick up these surfaces with the diffusely scattered light. Disturbing light reflections are thus avoided.

Vorteilhaft ist es jedoch, dass die beiden Kamerabilder mit der Kamera in ein und derselben Position aufgenommen werden. vorteilhaft ist eine Bildaufnahme, bei der nacheinander zwei Bilder aufgenommen werden und bei einem Bild nur die erste Beleuchtungseinrichtung und bei dem zweiten Bild nur die zweite Beleuchtungseinrichtung beleuchtet.It is advantageous, however, that the two camera images are taken with the camera in one and the same position. an image acquisition is advantageous in which two images are successively recorded and in the case of one image only the first illumination device and in the second image only the second illumination device is illuminated.

Vorteilhaft ist es, wenn die erste Beleuchtungseinrichtung die Behälter und/oder die Gebinde im Wesentlichen senkrecht von oben beleuchtet, da dann mit einer Kamera, die ebenfalls senkrecht über Behälter und/oder Gebinde angeordnet ist, eine charakteristische Aufnahme gemacht werden kann, bei der die Mündungsoberflächen erkannt werden können. Mit dieser Kameraanordnung kann auch eine gut auszuwertende Aufnahme mit der zweiten Beleuchtung gemacht werden.It is advantageous if the first illumination device illuminates the containers and / or the containers essentially vertically from above, since then a characteristic photograph can be taken with a camera which is likewise arranged vertically above container and / or container, in which case Muzzle surfaces can be detected. With this camera arrangement can also be made a well-evaluated recording with the second illumination.

Vorteilhaft ist es weiterhin wenn die zweite Beleuchtungseinrichtung Licht auf die Behälter und/oder die Gebinde abgibt, das von unter einem Winkel von mehr als 60° zur Senkrechten abgestrahlt wird, da dann die Reflexe auf den horizontalen Flächen unterdückt werden und die seitlichen Teile von Behälter und Gebinde gut beleuchtet werden und mit der Kamera erkannt werden können.It is also advantageous if the second illumination device emits light on the container and / or the container, which is radiated from at an angle of more than 60 ° to the vertical, since then the reflections on the horizontal surfaces are suppressed and the lateral parts of container and containers are well lit and can be detected with the camera.

Mögliche Lichtquellen für die erste oder zweite Beleuchtungseinrichtung sind eine Blitzlichtlampe, Leuchtstoffröhren, Laser eine LED-Lampe, wobei beispielsweise eine LED-Lampe mehrere LEDs umfassen kann.Possible light sources for the first or second illumination device are a flash lamp, fluorescent tubes, a laser LED lamp, for example, an LED lamp may include multiple LEDs.

Blitzlichtlampe und LEDs haben unter den hier vorliegenden Bedingungen gegenüber Leuchtstoffröhren den Vorteil, dass sie viel weniger Energie verbrauchen und weniger Abwärme produzieren: Eine Leuchtstoffröhre muss dauerhaft eingeschaltet sein und erzeugt somit Licht im Wesentlichen zu Zeiten, in deren keine Kameraaufnahme stattfindet und die Lichterzeugung somit unnötig ist.Flashlamps and LEDs have the advantage over fluorescent tubes in that they consume much less energy and produce less waste heat: a fluorescent tube must be switched on permanently and thus essentially generates light Times in which no camera recording takes place and the light generation is therefore unnecessary.

Bei den Blitzlichtlampen oder einer LED-Lampe ist es jedoch möglich, diese nur kurzzeitig einzuschalten und zwar nur dann, wenn eine Kameraaufnahme erfolgen soll. Außerdem ermöglicht das Blitzen, dass die beiden Aufnahmen mit den verschiedenen Beleuchtungen am selben Ort und mit der gleichen Kamera erfolgen können.However, with the flashlamps or an LED lamp, it is possible to turn them on only for a short time only when a camera recording is to be made. In addition, the flashing allows the two shots to be taken with the different illuminations in the same place and with the same camera.

Die erste Beleuchtungseinrichtung muß, um auch in den Kastenecken die Reflexe erzeugen zu können, wesentlich größer als der Kasten sein; typischerweise hat die Lampe mehr als die 4-fache Kastenfläche. Da auch eine großflächige und genügend helle LED-Beleuchtung mit erhöhten Kosten verbunden ist, kann die erste Beleuchtungseinrichtung beispielsweise aus einer Blitzlichtlampe bestehen, die mit einer Fresnel-Linse und/oder einer Streuscheibe zusammenwirkt, so dass aus einem möglichst großflächigen Bereich Licht von oben auf die Behälter und/oder die Gebinde treffen kann.The first lighting device must, to be able to produce the reflections in the box corners, be much larger than the box; typically the lamp has more than 4 times the box area. Since a large-area and sufficiently bright LED lighting is also associated with increased costs, the first lighting device can consist, for example, of a flashlamp which cooperates with a Fresnel lens and / or a diffusing screen so that light from above can be emitted over as large a area as possible the containers and / or the container can meet.

Auch können unterhalb der Fresnel-Linse weitere spiegelnde Flächen vorgesehen sein die Licht, das seitlich an dem Behälter und/oder dem Gebinde vorbeilaufen würde in Richtung des Behälters oder des Gebindes lenkt. In diesen Reflektoren spiegelt sich die Fresnellinse, so dass der Kasten eine wesentlich größere Lampe sieht, als real vorhanden ist. Dadurch kann die Größe dieser Lampe auf ein vertretbares Maß begrenzt werden.Also, further reflecting surfaces may be provided below the Fresnel lens, the light that would laterally pass the container and / or the container in the direction of the container or the container directs. These reflectors reflect the Fresnel lens, so that the box sees a much larger lamp than is actually available. As a result, the size of this lamp can be limited to an acceptable level.

Weiterhin ist es vorteilhaft, wenn in der Fresnellinse eine Öffnung vorgesehen ist, durch die die Kamera auf den Aufnahmebereich blicken kann. Je größer der Abstand der Kamera von den aufzunehmenden Objekten ist, desto geringer sind perspektivische Verzerrungen.Furthermore, it is advantageous if an opening is provided in the Fresnel lens, through which the camera can look at the receiving area. The greater the distance of the Camera of the objects to be recorded, the less perspective distortions.

Vorteilhaft ist es weiterhin, wenn die zweite Beleuchtungseinrichtung eine Anordnung von Lichtquellen umfasst, die wenigstens annähernd auf einem Kreisring angeordnet sind. Damit ist eine möglichst gleichmäßige Ausleuchtung der aufzunehmenden Behälter oder Gebinde möglich, die sich (von oben gesehen) innerhalb des Kreisrings befinden. Vorteilhaft ist weiterhin, wenn die Lichtquellen oberhalb der Behälter oder Gebinde angeordnet ist, so dass der Lichteinfall schräg von oben erfolgt, da dann die charakteristischen Merkmale von Behältern und Gebinden gut beleuchtet und erfasst werden können.It is furthermore advantageous if the second illumination device comprises an arrangement of light sources which are arranged at least approximately on a circular ring. This is possible as uniform as possible illumination of the male container or container, which are located (seen from above) within the annulus. Furthermore, it is advantageous if the light sources are arranged above the container or container, so that the incidence of light occurs obliquely from above, since then the characteristic features of containers and containers can be well illuminated and detected.

Vorteilhaft ist hierbei, wenn der Durchmesser des Kreisrings etwa der Größenabmessung der Fresnel-Linse entspricht. Da die Fresnel-Linse und die darunter befindlichen Reflektoren den Durchmesser des Lichtbündels angibt, der auf die Beobachtungsposition trifft, würden die Lichtquellen auf einem Kreisring mit einem kleineren Durchmesser dieses Licht abschatten. Ein größerer Kreisdurchmesser würde dazu führen, dass zuwenig Licht in der Beobachtungsposition ankommt. Von daher ergibt sich hier ein guter Kompromiss.It is advantageous here if the diameter of the circular ring corresponds approximately to the size dimension of the Fresnel lens. Since the Fresnel lens and the underlying reflectors indicate the diameter of the light beam impinging on the viewing position, the light sources on a smaller diameter annulus would shade that light. A larger circle diameter would cause too little light to arrive in the viewing position. Therefore, here is a good compromise.

Aus der DE 20 108 131 ist eine Vorrichtung zur Erkennung des Materials von Gefäßen bekannt, mit der zwischen Glas und PET-Flaschen unterschieden werden kann. Vorteilhaft ist es, eine solche Vorrichtung mit der hier vorgeschlagenen Vorrichtung zu kombinieren, um so zu einer möglichst umfassenden Sortenreinheit zu gelangen.From DE 20 108 131 a device for detecting the material of vessels is known, with which a distinction can be made between glass and PET bottles. It is advantageous to combine such a device with the device proposed here, in order to arrive at the most comprehensive variety purity.

vorteilhaft ist es weiterhin, wenn das Verfahren so durchgeführt wird, dass ein Gebinde mit darin befindlichen Behältern zwischen der Aufnahme von zwei Behältern bewegt wird. Dies erlaubt einen kontinuierlichen Transport von Gebinden während der Erkennung der Gebinde und der BehälterIt is furthermore advantageous if the method is carried out such that a container with containers located therein is moved between the receptacle of two containers. This allows a continuous transport of containers during the detection of the containers and containers

Vorteilhaft ist die Verwendung einer Kamera, bei der in kurzer Folge von maximal 1msec 2 Aufnahmen gemacht werden können, da sich der Kasten während dieser Zeit praktisch nicht im Bild bewegt.It is advantageous to use a camera in which 2 shots can be taken in a short sequence of a maximum of 1msec since the box practically does not move in the picture during this time.

Möglich ist auch ein Stillstand des Gebindes bei der Erkennung, da dann zwei Bilder an identischer Aufnahmepositionen aufgenommen werden können und so einfacher ausgewertet werden können.It is also possible a standstill of the container in the detection, since then two images can be recorded at identical recording positions and can be evaluated easier.

Eine Ausführungsform der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens soll anhand der beiliegenden Figuren erläutert werden. Dabei zeigt:

Fig. 1
eine schematische Schnittansicht einer Vorrichtung,
Fig. 2
eine schematische dreidimensionale Darstellung der Vorrichtung,
Fig. 3
eine schematische Draufsicht auf die Vorrichtung,
Fig. 4
eine schematische dreidimensionale Darstellung einer Flasche und eines Getränkekastens.
An embodiment of the device according to the invention and the method according to the invention will be explained with reference to the accompanying figures. Showing:
Fig. 1
a schematic sectional view of a device,
Fig. 2
a schematic three-dimensional representation of the device,
Fig. 3
a schematic plan view of the device,
Fig. 4
a schematic three-dimensional representation of a bottle and a beverage box.

In den Fig. 1 und 2 ist eine Vorrichtung 1 zur Erkennung von Flaschen 2 in oben offenen Flaschenkästen 3 dargestellt. Ein Flaschenkasten 3 befindet sich auf einem Förderband 13.In Figs. 1 and 2, a device 1 for detecting bottles 2 in open-top crates 3 is shown. A bottle crate 3 is located on a conveyor belt 13.

Oberhalb der Bahn des Flaschenkastens 3 ist die Vorrichtung 1 angeordnet.Above the path of the bottle crate 3, the device 1 is arranged.

Die Vorrichtung 1 umfasst ein Gehäuse 19, das nur in Fig. 1 dargestellt ist und in Fig. 2 der Übersichtlichkeit halber weggelassen wurde.The device 1 comprises a housing 19, which is shown only in FIG. 1 and has been omitted in FIG. 2 for the sake of clarity.

Die Vorrichtung 1 umfasst eine Blitzlichtlampe 4 im oberen Teil des Gehäuses, die von einem Reflektor 5 umgeben ist. Der Reflektor 5 dient dazu, das Licht der Blitzlichtlampe 4 im Wesentlichen in Richtung einer Fresnel-Linse 6 zu richten.The device 1 comprises a flashlamp 4 in the upper part of the housing, which is surrounded by a reflector 5. The reflector 5 serves to direct the light of the flashlamp 4 substantially in the direction of a Fresnel lens 6.

Die Blitzlichtlampe 4 oder die Innenseite des Reflektors 5 kann hierbei so ausgestaltet sein, dass hier diffuses Licht ausgesendet wird.The flash lamp 4 or the inside of the reflector 5 can in this case be designed so that here diffused light is emitted.

Das von der Blitzlichtlampe 4 ausgesendete Licht kann von einer Fresnel-Linse 6 weitgehend kollimiert werden. Die Fresnel-Linse 6 kann hierbei eine Größe von bis zu 80 oder 110 cm haben. Es ist daher vorteilhaft, die Fresnel-Linse 6 nicht freitragend aufzuhängen, sondern auf einer geeigneten Unterlage, wie etwa einer Glasscheibe 7, aufzulegen. Damit die Fresnel-Linse nicht verschmutzt, ist es vorteilhaft, sie mit ihrer geriffelten Struktur nach unten zu legen, so dass auf der Oberseite eine glatte leicht zu reinigende Fläche verbleibt. Auch für die optischen Eigenschaften ist es besser, wenn die glatte Seite nach oben zeigt, da dann die sphärische Aberation verringert ist. Deshalb sind Fresnellinsen üblicher Weise auch mit der hier erforderlichen Orientierung gefertigt, so daß weder eine Sonderanfertigung noch eine obige Schutzscheibe erforderlich sind. Zu weiteren Lichtverteilung kann die Fresnellinse noch durch eine Streuscheibe ergänzt bzw. ersetzt werden.The light emitted by the flashlamp 4 can be largely collimated by a Fresnel lens 6. The Fresnel lens 6 can in this case have a size of up to 80 or 110 cm. It is therefore advantageous not to hang the Fresnel lens 6 unsupported, but to hang it on a suitable base, such as a glass pane 7. So that the Fresnel lens does not become dirty, it is advantageous to lay it down with its corrugated structure, so that a smooth, easy-to-clean surface remains on the upper side. Also, for the optical properties, it is better if the smooth side faces up, since then the spherical aberration is reduced. Therefore, Fresnel lenses are usually made with the orientation required here, so that neither a custom order nor an above protective screen are required. For further light distribution, the Fresnel lens can be supplemented or replaced by a diffuser.

Unterhalb der Glasscheibe 7 sind vier senkrechte Reflektorflächen 11 in Form eines Rechtecks angeordnet. Diese Flächen 11 können beispielsweise Glasspiegel, Metallspiegel, spiegelnde Folien oder Ähnliches sein.Below the glass pane 7 four vertical reflector surfaces 11 are arranged in the form of a rectangle. These surfaces 11 may be, for example, glass mirrors, metal mirrors, reflective films or the like.

Wie in Fig. 1 dargestellt, kann ein Lichtstrahl 16 mit der reflektierenden Fläche 11 auf den Flaschenkasten 3 gerichtet werden. Ohne die spiegelnde Fläche 11 wäre dieses Licht sonst verloren.As shown in Fig. 1, a light beam 16 can be directed with the reflective surface 11 on the bottle crate 3. Without the reflecting surface 11, this light would otherwise be lost.

Die Kombination aus Blitzlichtlampe 4, Reflektor 5, Fresnel-Linse 6, Glasplatte 7 und den spiegelnden Flächen 11 bildet eine mögliche Ausführungsform der ersten Beleuchtungseinrichtung.The combination of flash lamp 4, reflector 5, Fresnel lens 6, glass plate 7 and the reflecting surfaces 11 forms a possible embodiment of the first illumination device.

Als zweite Beleuchtungseinrichtung ist ein kreisförmiger Kranz von LED-Modulen 12 vorgesehen. Diese Module sind jeweils mit einer Mehrzahl von LEDs bestückt, die Licht 14 direkt auf die Flaschen 2 und den Flaschenkasten 3 richten können und zwar schräg von oben.As a second illumination device, a circular ring of LED modules 12 is provided. These modules are each equipped with a plurality of LEDs that can direct light 14 directly to the bottle 2 and the bottle crate 3, namely obliquely from above.

In der Mitte der Fesnel-Linse 6 ist eine Ausnehmung 21. Oberhalb der Ausnehmung 21 ist eine Kamera 8 mit einem Objektiv 9 angeordnet. Diese Kamera kann senkrecht von oben auf den Flaschenkasten 3 innerhalb eines Winkels 18 blicken und den gesamten Kasten auf einmal aufnehmen.In the middle of the Fesnel lens 6 is a recess 21. Above the recess 21, a camera 8 is arranged with a lens 9. This camera can look vertically from above on the bottle crate 3 within an angle 18 and pick up the entire box at once.

Alternativ ist es auch möglich, dass nur beispielsweise eine Reihe von Flaschen 2 aufgenommen wird.Alternatively, it is also possible that only a number of bottles 2, for example, is received.

Um das Objektiv 9 herum kann ein Licht absorbierendes Material 10 angeordnet sein, das störende Reflexe verhindert.Around the lens 9, a light-absorbing material 10 may be arranged, which prevents disturbing reflections.

Dies kann beispielsweise ein Ring aus schwarzem schaumstoffförmigen Material sein, in das das Objektiv 9 gesteckt wird.This may be, for example, a ring of black foam material in which the lens 9 is inserted.

Aus Sicht des Flaschenkastens 3 spiegelt sich die Fresnel-Linse 6 in der seitlichen reflektierenden Fläche 11. Durch die reflektierenden Flächen 11 wird somit die effektive Größe der Lichtquelle bestehend aus Blitzlichtlampe 4, Reflektor 5 und Fresnel-Linse 6 vergrößert.From the perspective of the bottle crate 3, the Fresnel lens 6 is reflected in the lateral reflecting surface 11. The effective size of the light source consisting of the flashlamp 4, the reflector 5 and the Fresnel lens 6 is thus increased by the reflecting surfaces 11.

Damit wird es möglich, dass auch Reflexe von Randbereichen des Flaschenkastens 3 noch mit der Kamera 8 erfasst werden können.This makes it possible that even reflections of edge regions of the bottle crate 3 can still be detected with the camera 8.

Die LED-Module 12 sind auf einem Tragring 20 angeordnet. Dies ist noch einmal in Fig. 3 dargestellt. Die Module 12 können in ihrer Abstrahlrichtung justierbar sein, um eine optimale Ausleuchtung zu erhalten. So kann beispielsweise der Abstrahlwinkel gegenüber der Senkrechten variierbar sein. Bevorzugt beträgt der Abstrahlwinkel bezogen auf die Senkrechte mehr als 60°, um eine flache Lichteinstrahlung zu erreichen.The LED modules 12 are arranged on a support ring 20. This is shown once again in FIG. 3. The modules 12 may be adjustable in their emission direction in order to obtain optimal illumination. Thus, for example, the emission angle can be varied with respect to the vertical. Preferably, the emission angle is more than 60 ° relative to the vertical in order to achieve a flat light irradiation.

Anstelle eines kreisförmigen Tragrings 20 ist auch ein ellipsenförmiger Tragring möglich. Das bedeutet, dass auch die LED-Module 12 nicht auf einem Kreisring, sondern auf einer Ellipse angeordnet sind.Instead of a circular support ring 20 and an elliptical support ring is possible. This means that the LED modules 12 are not arranged on a circular ring, but on an ellipse.

Auch ist es möglich, dass nur die LED-Module 12, die sich seitlich neben einer langen Seite der reflektierenden Flächen 11 befinden, im vergleich zu einem Kreisring oder einer Ellipse etwas nach Innen gerückt sind.It is also possible that only the LED modules 12, which are located laterally next to a long side of the reflective surfaces 11, are moved slightly inward compared to a circular ring or an ellipse.

Auch eine Anordnung auf einem rechteckigen Rahmen ist denkbar.An arrangement on a rectangular frame is conceivable.

Vorteilhaft ist es, wenn die LED-Module 12, d.h. die zweite Beleuchtungseinrichtung so angeordnet ist, dass sie das Licht der ersten Beleuchtungseinrichtung nicht oder nur geringfügig abschatten, aber auch nicht zu weit weg von der Position der Behälter oder der Gebinde sind.It is advantageous if the LED modules 12, i. the second illumination device is arranged so that they do not shadow the light of the first illumination device or only slightly, but not too far away from the position of the container or the container.

Die Kamera 8 und beide Beleuchtungseinrichtungen, d. h. Blitzlampe 4 und LED-Module 12 werden von einer Steuerung S gesteuert und zwar in Abhängigkeit der Förderbewegung der Flaschenkästen 3.The camera 8 and both lighting devices, d. H. Flash lamp 4 and LED modules 12 are controlled by a controller S and indeed as a function of the conveying movement of the crates. 3

In Fig. 4 ist die Reflektion und diffuse Streuung des Lichts näher erläutert. In Fig. 4 ist ein Flaschenkasten 3 und eine Flasche 2 dargestellt. Der Flaschenkasten 3 hat eine oben angeordnete horizontalliegende Fläche 25 (Kastenrand). Die Flasche 2 hat auf ihrer Oberseite eine Mündungsfläche 26, die ebenfalls horizontal liegt. Licht, das von der ersten Lichtquelle entlang des Lichtstrahls 27 auf die Fläche 25 oder 26 trifft, wird nach dem Reflexionsgesetz für Licht zur Kamera reflektiert. Dadurch ergeben sich helle Reflexe der Flächen 25 und 26 in dem Kamerabild.In Fig. 4, the reflection and diffuse scattering of the light is explained in more detail. In Fig. 4, a bottle crate 3 and a bottle 2 is shown. The bottle crate 3 has a horizontally-lying surface 25 located at the top (box edge). The bottle 2 has on its upper side an orifice surface 26, which is also horizontal. Light striking the surface 25 or 26 from the first light source along the light beam 27 is reflected to the camera according to the light reflection law. This results in bright reflections of the surfaces 25 and 26 in the camera image.

Licht, das auf die Seitenflächen 24 des Flaschenkastens 3 oder das Etikett 23 trifft wird hier im Wesentlichen diffus gestreut.Light that strikes the side surfaces 24 of the bottle crate 3 or the label 23 is diffused here substantially diffuse.

Eine Ausführungsform des Verfahrens soll im Folgenden erläutert werden.An embodiment of the method will be explained below.

Ein Flaschenkasten 3 mit Flaschen 2 wird in Pfeilrichtung 15 auf einem Förderer 13 unter die Vorrichtung 1 gefördert, wobei die Bewegung und aktuelle Position durch nicht dargestellte Sensoren und ggf. Drehimpulspulsgeber am Förderer von der Steuerung S erfassbar sind. Dann wird mit der Blitzlichtlampe 4 ein Lichtblitz erzeugt, der mit dem Reflektor 5, der Fresnel-Linse 6 und den reflektierenden Flächen 11 auf die Flaschen 2 und den Flaschenkasten 3 gerichtet wird. Das an den horizontalliegenden Flächen 25 und 26 reflektierte Licht der Flaschen 2 und des Flaschenkastens 3 wird von der Kamera 8 durch das Objektiv aufgenommen. Hierbei ist die zweite Beleuchtungseinrichtung 12 ausgeschaltet.A bottle crate 3 with bottles 2 is conveyed in the direction of arrow 15 on a conveyor 13 under the device 1, wherein the movement and current position by sensors, not shown, and possibly rotary pulse on the conveyor of the controller S are detected. Then, a flash of light is generated with the flash lamp 4, which is directed with the reflector 5, the Fresnel lens 6 and the reflective surfaces 11 on the bottles 2 and the bottle crate 3. The reflected light on the horizontally-lying surfaces 25 and 26 of the bottles 2 and the bottle crate 3 is received by the camera 8 through the lens. Here, the second illumination device 12 is turned off.

Anschließend wird die zweite Beleuchtungseinrichtung 12 eingeschaltet und dabei die Blitzlichtlampe 4 nicht mehr verwendet. Dann wird unter Beleuchtung durch die zweite Beleuchtungseinrichtung 12 mit der Kamera 8 ein zweites Bild aufgenommen.Hierbei werden die diffusen Merkmale der horizontalliegenden Flächen 25 und 26 ohne störende Reflexe erfaßt.Ebenfalls wird diffus gestreutes Licht des Flaschenkörpers 2, der Etiketten 23 und der Flaschenkästen 3 mit der Kamera 8 aufgenommen.Subsequently, the second illumination device 12 is turned on and the flash lamp 4 is no longer used. Then, under illumination by the second illumination device 12 with the camera 8, a second image is taken. Here, the diffuse features of the horizontally lying surfaces 25 and 26 are detected without disturbing reflections. In addition, diffused light of the bottle body 2, the labels 23 and the bottle crates 3 taken with the camera 8.

Es ist auch möglich, in umgekehrter Reihenfolge, erst das Bild mit der zweiten Beleuchtungseinrichtung und dann das Bild mit der ersten Beleuchtungseinrichtung aufzunehmen.It is also possible, in reverse order, first to record the image with the second illumination device and then the image with the first illumination device.

Die beiden so gewonnenen Bilder werden in einer nicht dargestellten Bildauswertungseinrichtung ausgewertet, um den Flaschentyp zu erkennen. Dies kann beispielsweise Form und Größe der Flaschenmündung 26, Form und Größe der Flasche 2, Aufdruck der Etiketten 23, Anordnung der Etiketten 23, Farbe der Etiketten 23, Farbe der Flaschen 2, Form, Farbe und Größe der Flaschenkästen 3 etc. umfassen.The two images thus obtained are evaluated in an image evaluation device, not shown, to recognize the bottle type. This may, for example, shape and size of the bottle mouth 26, shape and size of the bottle 2, imprint of the labels 23, arrangement of the labels 23, color the labels 23, color of the bottles 2, shape, color and size of the crates 3 etc. include.

Es ist so möglich, sowohl die Behälter 2 als auch die Gebinde 3 zu erkennen und anschließend, z.B. über entsprechende Signale der Steuerung S, zu sortieren.It is thus possible to recognize both the containers 2 and the containers 3 and subsequently, e.g. via appropriate signals of the controller S to sort.

Vorteilhaft ist hierbei, wenn nach der Untersuchung mit der Vorrichtung 1 eine Untersuchung mit einer Durchlichteinrichtung, wie sie in der DE 20 108 131 dargestellt ist, erfolgt, um zusätzliche Information für die Sortierung zu erhalten.It is advantageous if, after the examination with the device 1, an examination with a transmitted-light device, as shown in DE 20 108 131, takes place in order to obtain additional information for the sorting.

Claims (19)

Vorrichtung zur Erkennung von Behältern und/oder Gebinden wie etwa von Behältern in Gebinden, wie beispielsweise von Flaschen in Flaschenkästen mit einer Beleuchtungseinrichtung und einer Kamera, die so angeordnet und ausgebildet sind, dass Licht der Beleuchtungseinrichtung von Behälter- und/oder Gebindeteilen reflektiert und mit der Kamera aufgenommen werden kann, gekennzeichnet durch eine zweite Beleuchtungseinrichtung (12), die so ausgebildet ist, dass auch die diffusen Merkmale der vorher bei einer Beleuchtung mit der ersten Beleuchtungseinrichtung reflektierenden Behälter- und/oder Gebindeteile ungestört von Reflexionen von der Kamera (8, 9) aufgenommen werden können.Apparatus for detecting containers and / or containers such as containers in containers, such as bottles in bottle crates with a lighting device and a camera, which are arranged and designed so that light of the illumination device of container and / or container parts reflected and with characterized by a second illumination device (12), which is designed so that the diffuse features of the container and / or container parts previously reflecting upon illumination with the first illumination device undisturbed by reflections from the camera (8, 9) can be recorded. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die erste Beleuchtungseinrichtung (4, 5, 6, 7, 11) so angeordnet und ausgebildet ist, dass deren Licht von horizontalliegenden Flächen (25, 26) der Behälter (2) und/oder der Gebinde (3) in die Kamera (8, 9) reflektiert wird.Apparatus according to claim 1, characterized in that the first illumination device (4, 5, 6, 7, 11) is arranged and designed such that its light from horizontalliegende surfaces (25, 26) of the container (2) and / or the container (3) is reflected in the camera (8, 9). Vorrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die zweite Beleuchtungseinrichtung (12) so angeordnet und ausgebildet ist, dass deren Licht von horizontalliegenden Flächen (25, 26) der Behälter (2) und/oder der Gebinde (3) immer an der Kamera (8, 9) vorbei reflektiert wird.Device according to one of claims 1 or 2, characterized in that the second illumination device (12) is arranged and designed so that their light from horizontalliegenden surfaces (25, 26) of the container (2) and / or the container (3) always is reflected past the camera (8, 9). Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Kamera (8, 9) das reflektierte Licht (28) und das diffusgestreute Licht (30) in derselben Kameraposition aufnehmen kann.Device according to one of claims 1 to 3, characterized in that the camera (8, 9) can receive the reflected light (28) and the diffused light (30) in the same camera position. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Kamera (8, 9) und die erste und zweite Beleuchtungseinrichtung (4, 5, 6, 7, 11, 12) so ausgebildet sind, dass nacheinander mindestens 2 Bilder aufgenommen werden, wobei bei einem nur die erste Beleuchtungseinrichtung (4, 5, 6, 7, 11) beleuchtet und bei dem zweiten nur die zweite Beleuchtungseinrichtung (12) beleuchtet.Device according to one of claims 1 to 4, characterized in that the camera (8, 9) and the first and second illumination means (4, 5, 6, 7, 11, 12) are formed so that successively at least 2 images are taken in which only the first illumination device (4, 5, 6, 7, 11) is illuminated and in the second only the second illumination device (12) is illuminated. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die erste Beleuchtungseinrichtung (4, 5, 6, 7, 11) die Behälter (2) und/oder die Gebinde (3) im wesentlichen senkrecht von oben beleuchtet.Device according to one of Claims 1 to 5, characterized in that the first illumination device (4, 5, 6, 7, 11) illuminates the containers (2) and / or the containers (3) substantially vertically from above. Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die zweite Beleuchtungseinrichtung (12) die Behälter (2) und/oder die Gebinde (3) von oben unter einem Winkel von mehr als 60° zur senkrechten beleuchtet.Device according to one of Claims 1 to 6, characterized in that the second illumination device (12) illuminates the containers (2) and / or the containers (3) from above at an angle of more than 60 ° to the vertical. Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die erste und/oder zweite Beleuchtungseinrichtung (4, 5, 6, 7, 11, 12) eine Blitzlichtlampe (4) und/oder eine Leuchtstoffröhre und/oder einen Laser und/oder eine LED-Lampe umfasst, der/die vorteilhafterweise zusätzlich einen Reflektor (5) aufweist/aufweisen.Device according to one of claims 1 to 7, characterized in that the first and / or second illumination means (4, 5, 6, 7, 11, 12) a flash lamp (4) and / or a fluorescent tube and / or a laser and / or or an LED lamp, which / advantageously additionally comprises a reflector (5) / have. Vorrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die erste Beleuchtungseinrichtung eine Fresnel-Linse (6) umfasst, mit der das Licht einer Lichtquelle (4), wie etwa einer Blitzlichtlampe, in ein im Wesentlichen paralleles Strahlenbündel umgewandelt werden kann, mit dem die Behälter (2) und/oder die Gebinde (3) beleuchtet werden können.Device according to one of claims 1 to 8, characterized in that the first illumination device comprises a Fresnel lens (6), with which the light of a light source (4), such as a flashlamp, can be converted into a substantially parallel beam, with which the container (2) and / or the container (3) can be illuminated. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass unterhalb der Fresnel-Linse (6) mindestens eine spiegelnde Fläche (11) vorgesehen ist, mit der Licht von der Fresnel-Linse (6) zu der Position der Behälter (2) und/oder Gebinde (3) bei der Erkennung gelenkt wird.Apparatus according to claim 9, characterized in that below the Fresnel lens (6) at least one reflective surface (11) is provided, with the light from the Fresnel lens (6) to the position of the container (2) and / or container (3) is steered during detection. Vorrichtung nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass in der Mitte der Fresnel-Linse (6) eine Öffnung (21) vorgesehen ist, durch die die Kamera (8, 9) auf die Position der Behälter (2) und/oder Gebinde (3) bei der Erkennung blicken kann.Device according to one of claims 9 or 10, characterized in that in the middle of the Fresnel lens (6) an opening (21) is provided, through which the camera (8, 9) to the position of the container (2) and / or container (3) can look at the detection. Vorrichtung nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die zweite Beleuchtungseinrichtung (12) eine Anordnung von Lichtquellen auf einem Kreisring (19) oder einer Ellipse oder einem Rechteck umfasst, wobei der Kreisring (19) oder die Ellipse oder das Rechteck von oben gesehen die Position der Behälter und/oder Gebinde (3) bei der Erkennung umschließt und die Lichtquellen (12) oberhalb dieser Position angeordnet sind.Device according to one of claims 1 to 11, characterized in that the second illumination device (12) comprises an arrangement of light sources on a circular ring (19) or an ellipse or a rectangle, wherein the circular ring (19) or the ellipse or the rectangle of Seen above the position of the container and / or container (3) encloses the detection and the light sources (12) are arranged above this position. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass der Durchmesser des Kreisrings (19) etwa der größten Abmessung der Fresnel-Linse (6) entspricht.Apparatus according to claim 12, characterized in that the diameter of the circular ring (19) corresponds approximately to the largest dimension of the Fresnel lens (6). Vorrichtung nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass zusätzlich eine Durchlichtstation vorgesehen ist.Device according to one of claims 1 to 13, characterized in that in addition a transmitted light station is provided. Verfahren zur Erkennung von Behältern und/oder Gebinden, wie etwa von Behältern in Gebinden, wie beispielsweise von Flaschen in Flaschenkästen bei dem mit einer Beleuchtungseinrichtung Behälter und/oder Gebinde so beleuchtet werden, dass Licht der Beleuchtungseinrichtung von Behälter- und/oder Gebindeteilen reflektiert und mit einer Kamera aufgenommen wird, dadurch gekennzeichnet, dass mit einer zweiten Beleuchtungseinrichtung (12) Licht auf die Flächen (23, 24, 25, 26) der Behälter (2) und/oder des Gebindes (3) gerichtet wird und dass die Kamera (8, 9) das von diesen Flächen (23, 24, 25, 26) diffus gestreute Licht (30) ohne Störreflexe aufnimmt.A method for detecting containers and / or containers, such as containers in containers, such as bottles in bottle cases in which illuminated with a lighting device container and / or container so that light of the illumination device of container and / or container parts reflected and is recorded with a camera, characterized in that with a second illumination device (12) light on the surfaces (23, 24, 25, 26) of the container (2) and / or the container (3) is directed and that the camera ( 8, 9) receives from these surfaces (23, 24, 25, 26) diffusely scattered light (30) without interference reflections. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Kamera (8, 9) zwei Bilder aufnimmt, wobei einmal nur die erste (4, 5, 6, 7, 11) und einmal nur die zweite Beleuchtungseinrichtung (12) beleuchtet.A method according to claim 15, characterized in that the camera (8, 9) receives two images, wherein once only the first (4, 5, 6, 7, 11) and once only the second illumination device (12) illuminated. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass die Kamera erst unter Beleuchtung der ersten Beleuchtungseinrichtung und dann unter Beleuchtung der zweiten Beleuchtungseinrichtung aufnimmt oder umgekehrt.A method according to claim 16, characterized in that the camera takes only under illumination of the first illumination device and then under illumination of the second illumination device or vice versa. Verfahren nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass das Gebinde (3) bewegt wird, beispielsweise durch einen Gebindeförderer (13), und die zwei Bilder so aufgenommen werden, dass sich das Gebinde (3) zwischen den zwei Aufnahmen nicht mehr als 10 mm, vorzugsweise 5 mm und noch bevorzugter 1 mm bewegt hat.A method according to claim 16 or 17, characterized in that the container (3) is moved, for example by a container conveyor (13), and the two images are taken so that the container (3) has moved between the two receptacles no more than 10 mm, preferably 5 mm and more preferably 1 mm. Verfahren nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass die Kamera (8, 9) bei Bewegung des Gebindes (3) oder bei einem Stillstand des Gebindes (3) aufnimmt.Method according to one of claims 15 to 18, characterized in that the camera (8, 9) during movement of the container (3) or at a standstill of the container (3) receives.
EP05021871A 2004-10-09 2005-10-07 Apparatus and method for indentification of flasks and containers Ceased EP1645866B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200410049260 DE102004049260A1 (en) 2004-10-09 2004-10-09 Device and method for detecting containers and / or containers

Publications (3)

Publication Number Publication Date
EP1645866A2 true EP1645866A2 (en) 2006-04-12
EP1645866A3 EP1645866A3 (en) 2006-04-19
EP1645866B1 EP1645866B1 (en) 2010-12-08

Family

ID=35708521

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05021871A Ceased EP1645866B1 (en) 2004-10-09 2005-10-07 Apparatus and method for indentification of flasks and containers

Country Status (2)

Country Link
EP (1) EP1645866B1 (en)
DE (2) DE102004049260A1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006034432A1 (en) * 2006-07-26 2008-01-31 Krones Ag Inspection device for containers
WO2008015216A1 (en) * 2006-08-03 2008-02-07 Finatec Holding Ag Method and device for workpiece inspection and/or checking
DE102012104223A1 (en) * 2012-03-12 2013-09-12 H. Leiter Gmbh Method for optical recognizing of beverage bottle boxes in production area, involves triggering illumination of objects with white light, light of different colors, light of different wavelength ranges without continuous illumination
WO2015074985A1 (en) * 2013-11-21 2015-05-28 Siemens Aktiengesellschaft Method for associating objects with object classes and device for sorting objects
CN104792797A (en) * 2014-01-22 2015-07-22 克朗斯股份公司 Device for the optical inspection of packaging objects in beverage technology
CN104949997A (en) * 2014-03-25 2015-09-30 克朗斯股份公司 Inspection device and inspection method for inspecting containers by means of illumination
WO2018050353A1 (en) * 2016-09-14 2018-03-22 Khs Gmbh Device and method for the telecentric inspection of an object
CN108435598A (en) * 2018-04-13 2018-08-24 东莞理工学院 A kind of refractive body surface detection apparatus, method, system, equipment and storage medium based on machine vision
CN111897178A (en) * 2020-08-03 2020-11-06 佛山科学技术学院 Device and method for shooting plant growth condition
CN113624766A (en) * 2020-05-09 2021-11-09 苏州西斯派克检测科技有限公司 Programmable light source with partition control, detection device and control method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202008015402U1 (en) 2008-11-19 2009-02-12 Cerion Gmbh Optical light scattering unit
DE102012010925A1 (en) 2012-06-04 2013-12-05 vision-tec gmbH Device for identifying a bottle
DE202017105355U1 (en) 2017-09-05 2017-11-10 Knut Oppermann Device for detecting bottles
CN112058701B (en) * 2020-08-28 2022-07-19 河海大学常州校区 Coal and coal gangue sorting system and method based on polarization imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0060918A1 (en) 1981-03-11 1982-09-29 Siemens Aktiengesellschaft Device for inspecting bottles
WO1998019150A2 (en) 1996-10-30 1998-05-07 Krones Aktiengesellschaft Hermann Kronseder Maschinenfabrik Device for inspecting bottles and the like
WO2002054051A2 (en) 2000-12-29 2002-07-11 Krones Ag Method and device for optically inspecting bottles

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3932042A (en) * 1974-05-20 1976-01-13 Barry-Wehmiller Company Container inspection apparatus and method of inspection
FI77390B (en) * 1987-03-02 1988-11-30 Halton Oy MOTTAGNINGSANORDNING FOER FLASKOR.
DE4002034C1 (en) * 1989-12-05 1991-05-02 Elpatronic Ag, Zug, Ch
DE19509631A1 (en) * 1995-03-17 1996-09-19 Helmut A Kappner Bottle and bottle crate content detection and sorting method for plastic crate
DE29618394U1 (en) * 1996-10-30 1997-11-27 KRONES AG, 93073 Neutraubling Inspection device for bottles or the like.
JP2000229695A (en) * 1999-02-12 2000-08-22 Mitsubishi Heavy Ind Ltd Container product inspection device
DE19946881A1 (en) * 1999-07-23 2001-01-25 Tema Teubner & Mandewirth Gmbh Automatic object testing arrangement has ring illumination arrangement of light rods, digital camera, evaluation unit; reflection field is formed in association with illumination arrangement
DE10133104C2 (en) * 2001-07-12 2003-06-26 Krones Ag Device and method for inspecting transparent bottoms of filled and / or closed bottles
DE10146449A1 (en) * 2001-09-20 2003-04-17 Krones Ag Procedure for checking closures on vessels
DE20212577U1 (en) * 2002-08-16 2002-11-07 ibea Ingenieurbüro für Elektronik und Automation GmbH, 22525 Hamburg Device for the optical inspection of the surface quality of containers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0060918A1 (en) 1981-03-11 1982-09-29 Siemens Aktiengesellschaft Device for inspecting bottles
WO1998019150A2 (en) 1996-10-30 1998-05-07 Krones Aktiengesellschaft Hermann Kronseder Maschinenfabrik Device for inspecting bottles and the like
WO2002054051A2 (en) 2000-12-29 2002-07-11 Krones Ag Method and device for optically inspecting bottles

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006034432A1 (en) * 2006-07-26 2008-01-31 Krones Ag Inspection device for containers
WO2008015216A1 (en) * 2006-08-03 2008-02-07 Finatec Holding Ag Method and device for workpiece inspection and/or checking
EP1887345A1 (en) * 2006-08-03 2008-02-13 Finatec Holding GmbH Method and apparatus for the inspection and/or the control of a workpiece
DE102012104223A1 (en) * 2012-03-12 2013-09-12 H. Leiter Gmbh Method for optical recognizing of beverage bottle boxes in production area, involves triggering illumination of objects with white light, light of different colors, light of different wavelength ranges without continuous illumination
WO2015074985A1 (en) * 2013-11-21 2015-05-28 Siemens Aktiengesellschaft Method for associating objects with object classes and device for sorting objects
CN106061631A (en) * 2013-11-21 2016-10-26 西门子公司 Method for associating objects with object classes and device for sorting objects
EP2899535A1 (en) * 2014-01-22 2015-07-29 Krones AG Device for the optical inspection of packaging objects in beverage technology
CN104792797A (en) * 2014-01-22 2015-07-22 克朗斯股份公司 Device for the optical inspection of packaging objects in beverage technology
CN104792797B (en) * 2014-01-22 2019-02-19 克朗斯股份公司 For carrying out the device of optical check to the package object in beverage technologies
CN104949997A (en) * 2014-03-25 2015-09-30 克朗斯股份公司 Inspection device and inspection method for inspecting containers by means of illumination
WO2018050353A1 (en) * 2016-09-14 2018-03-22 Khs Gmbh Device and method for the telecentric inspection of an object
CN108435598A (en) * 2018-04-13 2018-08-24 东莞理工学院 A kind of refractive body surface detection apparatus, method, system, equipment and storage medium based on machine vision
CN113624766A (en) * 2020-05-09 2021-11-09 苏州西斯派克检测科技有限公司 Programmable light source with partition control, detection device and control method
CN111897178A (en) * 2020-08-03 2020-11-06 佛山科学技术学院 Device and method for shooting plant growth condition
CN111897178B (en) * 2020-08-03 2022-04-26 佛山科学技术学院 Device and method for shooting plant growth condition

Also Published As

Publication number Publication date
DE102004049260A1 (en) 2006-04-13
DE502005010645D1 (en) 2011-01-20
EP1645866A3 (en) 2006-04-19
EP1645866B1 (en) 2010-12-08

Similar Documents

Publication Publication Date Title
EP1645866B1 (en) Apparatus and method for indentification of flasks and containers
DE102008063077B4 (en) inspection device
EP3204759B1 (en) Inspection apparatus and method for inspecting containers using transmitted light
DE69832839T2 (en) Testing the sealing surface of a container
DE10133104C2 (en) Device and method for inspecting transparent bottoms of filled and / or closed bottles
DE102008062385B4 (en) Method and inspection device for checking containers
DE102011004584A1 (en) Method and apparatus for detecting bubbles and / or wrinkles on labeled containers
DE102010012570B4 (en) Device and method for examining filled containers for foreign bodies
DE102017008406A1 (en) Inspection device with color illumination
DE69424236T2 (en) Testing transparent containers
DE102019208296A1 (en) Method and device for the optical inspection of containers
DE102019208299A1 (en) Method and device for the optical inspection of containers
DE19901736A1 (en) Detector for defects in the body of glass containers
EP1724569A2 (en) Device for inspecting labelled containers
EP3152550A1 (en) Inspection device for container closures
DE102018130940A1 (en) Device and method for detecting the rotational position
DE19511197A1 (en) Method and device for the optical inspection of a surface
DE102018126865A1 (en) Device and method for inspecting containers
DE19920007C1 (en) Instrument for optical inspection of bottle necks, especially their sealing surfaces, includes additional illumination reflected from LEDs, to cover wider range of types including e.g. wide-necked milk bottles
DE3872906T2 (en) DEVICE FOR CHECKING THE SIZE OF THE VACUUM IN A CLOSED CONTAINER.
DE102009036389A1 (en) Method for inspecting beverage crate utilized for accommodating e.g. bottle in beverage industry, involves evaluating number and/or position of lines falling in image aperture of image sensor, where lines are generated by line laser
WO2022263292A1 (en) Method and apparatus for inspecting full containers
EP3254090B1 (en) Vessel inspection device
DE2100729A1 (en) Device for testing transparent containers
DE102005061087A1 (en) Device and method to inspect bottle seals has lighting device throwing light from container to be inspected to observation device imaging top of container along plane vertical to length of container

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK YU

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK YU

17P Request for examination filed

Effective date: 20060308

AKX Designation fees paid

Designated state(s): DE FR GB IT

RTI1 Title (correction)

Free format text: APPARATUS AND METHOD FOR INDENTIFICATION OF FLASKS AND CONTAINERS

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB IT

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REF Corresponds to:

Ref document number: 502005010645

Country of ref document: DE

Date of ref document: 20110120

Kind code of ref document: P

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20110909

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502005010645

Country of ref document: DE

Effective date: 20110909

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20151007

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20161007

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161007

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20180913

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20181018

Year of fee payment: 14

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191007

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20210831

Year of fee payment: 17

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502005010645

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230503