EP2297676A1 - Verfahren und vorrichtung zur vermeidung von alias-effekten bei der optischen erkennung von transportbehältnissen - Google Patents

Verfahren und vorrichtung zur vermeidung von alias-effekten bei der optischen erkennung von transportbehältnissen

Info

Publication number
EP2297676A1
EP2297676A1 EP09753815A EP09753815A EP2297676A1 EP 2297676 A1 EP2297676 A1 EP 2297676A1 EP 09753815 A EP09753815 A EP 09753815A EP 09753815 A EP09753815 A EP 09753815A EP 2297676 A1 EP2297676 A1 EP 2297676A1
Authority
EP
European Patent Office
Prior art keywords
camera
edge
length
lbl
pic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP09753815A
Other languages
English (en)
French (fr)
Other versions
EP2297676B1 (de
Inventor
Ralph Maschotta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wincor Nixdorf International GmbH
Original Assignee
Wincor Nixdorf International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wincor Nixdorf International GmbH filed Critical Wincor Nixdorf International GmbH
Publication of EP2297676A1 publication Critical patent/EP2297676A1/de
Application granted granted Critical
Publication of EP2297676B1 publication Critical patent/EP2297676B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the invention relates to a method for avoiding aliasing in the optical detection of Transportbehaltnissen according to the preamble of claim 1 and a method performing device.
  • the invention relates to a method for avoiding aliasing effects (aliasing effects) in the optical detection of transport containers in the form of beverage crates and other empties and a device in the form of an empties printing system.
  • Fig. 1 shows schematically a designed as beverage box BC Transportbehaltms, which is introduced as empties in a (not shown) empties return system and should be recognized there.
  • FIG. 2a shows a photograph PIC * of the designation LBL made according to a conventional method. It can be seen that due to a too low image resolution, in particular color resolution, appear in the recording PIC * disturbing aliasing or aliasing effects ALI. In particular, dummy patterns are formed, such as Moire rings, which would make subsequent image processing and pattern recognition significantly more difficult. It is well known that by defocusing the camera optics such aliasing effect can be avoided. However, then possibly blurred shots are made that barely or garmcht are suitable for reliably detecting the respective transport container or the beverage container BC.
  • the object is achieved by a method having the features of claim 1 and also by a device having the features of the independent claim.
  • a method for avoiding aliasing in the optical detection of transport containers in which the optics of the camera is set to a defined blur, which is determined by means of image processing, in which a length of edge passes from black and white edges is determined.
  • a device for avoiding aliasing effects in the optical detection of transport containers which has a camera which takes a photographic picture of at least the part of the transport container provided with the optical marking, the device comprising calculating means and emitters ttel which adjust the camera, in particular the optics of the camera, to a defined blurring, wherein the adjusting means adjust the blurring in dependence on a length of edge transitions of black and white edges, which determine the computing means by means of image processing of the recording.
  • the determined length of edge passes gives a measure of the average length of the transitions, ie rising or falling edges of the black and white edges and is hereinafter referred to as the average edge length.
  • the camera can now be focused on an optimal disarming point, which is outside the actual image plane, but still has a not too large average edge length, but has a defined distance to set.
  • the blurring of the camera is preferably set to a focus point outside the image plane of the graphic marking in such a way that a maximum predeterminable average edge length is not exceeded in the photographic image and is not undershot either.
  • it can be checked whether the average edge length in the photographic image is not below a value which is determined for the image plane of the graphic designation to check that the camera is set to a focus point that precedes Image plane is located. This will prevent that from happening the camera is set the wrong disarming point. Because if the newly set focus point of the camera should lie behind the image plane, the image would become sharper as the distance between the image and the camera increases. This measure ensures that always an optimal defocus point (new focus point) is determined, which lies in front of the actual image plane.
  • the mean edge length is preferably determined by determining edge slopes, in particular by their gradients.
  • edge slopes in particular by their gradients.
  • the edge length can be determined by measuring how long the automaton stays in one state before a transition to another state occurs. In each case, the transition shows a beginning or an end for the edge length of the black-and-white edge to be determined.
  • the method is carried out by a device which is designed as a reverse vending machine recognizing Transportbehaltnisse in the form of drinks box.
  • the invention makes use of image processing, in which the length of edge transitions, in particular edge slopes, is detected in order to find the optimum setting point for camera focusing.
  • a separate calibody body is not required to determine the setpoint (disarming point).
  • the blurring can be with any help in the picture consistent black and white area are optimally adjusted. It is also checked if the camera is set so that the fuzziness does not decrease to the rear.
  • Fig. 2b shows a erfmdungsgebound significantly improved recording of the logo with a camera setting, which takes place after a defined disarming point, so that no Alising- effects occur, but still maintains a sufficient image sharpness compared to Figure 2a.
  • Fig. 3 shows a flow chart for a erfmdungsgecroftes method
  • Fig. 4 shows a state diagram of a erfmdungsgehold used machine
  • Fig. 5a illustrates the setting of the camera optics
  • Fig. 5b illustrates the edge lengths of diffuse
  • FIGS. 1 and 2a clarify the starting situation of the invention with reference to the example of a drinks box BC which has a print or label or label LBL which is to be recorded by a camera and recognized by means of image processing.
  • a photograph of the label LBL focuses the camera setting sharply on the image plane, unwanted disturbances, in particular Alising effects ALI, may appear in the photographic recording PIC * due to surface roughness or other circumstances.
  • 2a shows by way of example.
  • Fig. 2b illustrates an acquisition PIC achieved by the invention, which is free from such disturbances.
  • the camera optics is set deliberately out of focus and indeed to a defined value or focus point, so that in particular the Alismg effects no longer appear, the image sharpness or contours KNT but are still sufficiently sharp to be reliably reliably processed by an image recognition to be able to.
  • FIGS. 4 and 5a / b Based on the Auflaufdiagramms shown in FIG. 3, an exemplary embodiment of a erfmdungsgedorfen method 100 is described below. Reference is also made to FIGS. 4 and 5a / b:
  • the inventive method 100 achieves in particular that the camera optics 0 (see Fig. 5a) is set to an optimal defocus point or front focusing point FPV, which is located in front of the actual image plane BE, and not to a complementary rear Focusing FPH is set. Although this false focus FPH was also the same optical blur, but (even slightly) displacement of the photographed object backwards (ie away from the camera) would cause a sharper recording, which would be counterproductive to the aim of the invention. Thus, the invention not only sets the camera to a defined blur, but also ensures that the setting is made to the correct focus.
  • an edge detection in particular the detection of edge lengths, is used, wherein preferably an automaton FSA is used whose state diagram is illustrated in FIG. 4.
  • the machine can differentiate between states that refer to the presence of a so-called leading edge VK or a so-called trailing edge HK. This refers to the transition from black to white or from white to black, as illustrated in FIG. 5b.
  • the machine FSA checks on the basis of two gradient filters FO and F1, which have different filter lengths of, for example, 2 pixels or 5 pixels, whether there is a leading edge VK or a trailing edge HK above a threshold value SO (F0> S0), the state "VK” is assumed, ie a leading edge is detected. Otherwise, the state "HK” is assumed, the automatic machine FSA remains in the same state as long as the second filter result Fl is below or above a threshold value S. If this is not the case, the system switches to the other state Thus, for example, the state "VK” is changed to the state "HK” only if F0 ⁇ S0 and F1> S1.
  • Em state change indicates the beginning or the end of an edge rise (see also FIG As a result, the edge length KL can be determined reliably and on the basis of arbitrary edges No pattern edges or calibration templates need be used The determination of the edge length KL can be made directly on the respective fixed or constant image or label LBL.
  • Method 100 begins with. a step 111 in which two gradient filters FO and Fl (see also Fig. 4) are respectively applied to the image PIC * having different filter lengths.
  • FO is a pure gradient filter
  • Fl is a modified gradient filter, which additionally has a Bmommal filter for smoothing the image.
  • the respective filtering corresponds to a convolution, resulting in two filter results.
  • a next step 112 the results of the convolutions are linked with the finite state machine FSA described above.
  • the determination of the long KL of edge slopes or the edge length can be carried out.
  • the camera optics are then set to a defined blur in step 121. It is set to the front calibration plane (focus FPV).
  • the camera optics or their focusing point is adjusted until the image acquisition has a mean edge length KL, which corresponds to a nominal value (ideal value). If this is the case, then proceeds to step 122.
  • step 122 By means of a check carried out in step 122, whether the set fuzziness does not decrease to the rear, it is ensured that this is the correct focussing point FPV. Thus, the test is based on the posterior caliber plane (focusing point FPH).
  • step 130 the image PIC of the label LBL obtained by means of the defined unsharp camera can be used for further processing and pattern recognition.
  • the invention is particularly suitable for being implemented in a Lehrgut Ruckgabesystem.
  • BC transport container here in the form of a drinks box
  • VK front edge (machine state)
  • VK front edge (machine state)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

Vorgeschlagen wird ein Verfahren (100) zur Vermeidung von Alias-Effekten bei einer optischen Erkennung von Transportbehältnissen (BC), insbesondere von Getränkekästen, die jeweils mit mindestens einer grafischen Kennzeichnung (LBL) versehen sind, wobei zumindest von dem Teil des Transportbehältnisses (BC), der mit der optischen Kennzeichnung (LBL) versehen ist, eine fotografische Aufnahme (PIC) mittels einer Kamera gemacht wird (130). Die Erfindung schlägt vor, dass die Optik (O) der Kamera auf eine definierte Unscharfe eingestellt wird (120), die mittels einer Bildverarbeitung (110) ermittelt wird, bei der eine Länge (KL) von Kantenübergängen von Schwarz-Weiß-Kanten ermittelt wird. Dadurch kann insbesondere in einem Leergutrückgabeautomaten die optische Erkennung von Transportbehältnissen in Gestalt von Getränkekasten deutlich verbessert werden.

Description

Verfahren und Vorrichtung zur Vermeidung von Alias-Effekten bei der optischen Erkennung von Transportbehältnissen
Die Erfindung betrifft ein Verfahren zur Vermeidung von Alias-Effekten bei der optischen Erkennung von Transportbehaltnissen gemäß dem Oberbegriff des Anspruchs 1 sowie eine das Verfahren ausführende Vorrichtung.
Insbesondere betrifft die Erfindung ein Verfahren zur Vermeidung von Alias-Effekten (Aliasing-Effekten) bei der optischen Erkennung von Transportbehältnissen in Gestalt von Getrankekasten und sonstigem Leergut sowie eine Vorrichtung in Gestalt eines Leergutruckgabesystems.
Bei der optischen Erkennung von Transportbehaltnissen, wie sie insbesondere in Leergut-Ruckgabesystemen durchgeführt wird, kommen üblicherweise Kameras und Bildverarbeitungssysteme zum Einsatz, die grafische Kennzeichnungen erkennen sollen, wie z.B. Schriftzuge, Bildelemente bzw. sog. Labels, mit denen die Transportbehaltnisse versehen sind. Dazu machen die Kameras fotografische Aufnahmen, die dann in einer Bildverarbeitung z.B. anhand von Mustererkennung ausgewertet werden, um die jeweilige Kennzeichnung eindeutig zu erkennen. Üblicherweise wird versucht, die Optik der Kameras da?u auf die Bildebene der grafische Kennzeichnung (Logo-Ebene) zu fokussieren, um die Aufnahme möglichst scharf einzustellen. Da ]edoch die abgelichteten Objekte, also die Transportbehaltnisse bzw. Getrankekasten, häufig keine glatte Oberflachenstruktur aufweisen, kann es bei der Bildaufnahme, insbesondere wenn Farbkameras eingesetzt werden, zu Alias- Effekten (Farbalising) kommen. Denn die Farbauflosung der Kameras ist in der Regel deutlich geringer ihre Grauwertauflosung. Aber auch bei Schwarz-Weiß-Kameras, die eine geringe Grauwertauflosung aufweisen, können Alias-Effekte auftreten.
Anhand der Fig. 1 und 2a wird diese Situation veranschaulicht:
Die Fig. 1 zeigt schematisch ein als Getrankekasten BC gestaltetes Transportbehaltms, das als Leergut in ein (nicht dargestelltes) Leergut-Ruckgabesystem eingebracht wird und dort erkannt werden soll. Auf dem Getrankekasten BC sind Kennzeichnungen LBL in Form von Schriftzugen und Bildzeichen angebracht, die den Eigentumer des Getrankekastens (hier eine Brauerei) angeben.
Die Fig. 2a zeigt eine nach herkömmlicher Methode gemachte fotografische Aufnahme PIC* der Kennzeichnung LBL. Es ist zu erkennen, dass aufgrund einer zu niedrigen Bildauflosung, insbesondere Farbauflosung, in der Aufnahme PIC* störende Alias-Effekte bzw. Aliasing-Effekte ALI erscheinen. Insbesondere bilden sich Scheinmuster aus, wie z.B. Moire- Ringe, die eine spatere Bildverarbeitung und Mustererkennung deutlich erschweren wurden. Es ist an sich bekannt, dass durch ein Unscharfstellen der Kameraoptik solche Alias-Effekt vermieden werden können. Jedoch werden dann evtl. derart unscharfe Aufnahmen gemacht, die kaum noch oder garmcht dafür geeignet sind, das jeweilige Transportbehaltnis bzw. den Getrankekasten BC zuverlässig zu erkennen.
Wünschenswert wäre es, ein Verfahren zur Vermeidung von Alias-Ef fekten zu haben, bei dem die Kamera auf eine definierte Unscharfe einstellbar ist, so dass die Alias- Effekte vermieden werden und dennoch eine ausreichende Bildscharfe für eine zuverlässige optische Erkennung von Kennzeichnungen auf Transportbehaltnissen gegeben ist.
Daher ist es Aufgabe der vorliegenden Erfindung, die oben genannten Probleme des Standes der Technik vorteilhaft zu überwinden. Insbesondere soll eine technisch gut zu realisierende Losung zur Vermeidung von Alias-Effekten bei der optischen Erkennung von Transportbehaltnissen vorgeschlagen werden.
Gelost wird die Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und ebenso durch eine Vorrichtung mit den Merkmalen des nebengeordneten Anspruchs.
Demnach wird ein Verfahren zur Vermeidung von Alias-Effekten bei der optischen Erkennung von Transportbehaltnissen vorgeschlagen, bei dem die Optik der Kamera auf eine definierte Unscharfe eingestellt wird, die mittels einer Bildverarbeitung ermittelt wird, bei der eine Lange von Kantenubergangen von Schwarz-Weiß-Kanten ermittelt wird.
Vorgeschlagen wird auch eine Vorrichtung zur Vermeidung von Alias-Effekten bei der optischen Erkennung von Transportbehaltnissen, die eine Kamera aufweist, die zumindest von dem Teil des Transportbehaltnisses, der mit der optischen Kennzeichnung versehen ist, eine fotografische Aufnahme macht, wobei die Vorrichtung Rechenmittel und Emstellππ ttel aufweist, die die Kamera, insbesondere die Optik der Kamera, auf eine definierte Unscharfe einstellen, wobei die Einstellmittel die Unscharfe in Abhängigkeit einer Lange von Kantenubergangen von Schwarz-Weiß-Kanten einstellen, die die Rechenmittel mittels einer Bildverarbeitung der Aufnahme ermitteln. Die ermittelte Lange von Kantenubergangen gibt dabei ein Maß an für die mittlere Lange von den Übergängen, d.h. ansteigenden bzw. abfallenden Flanken der Schwarz-Weiß- Kanten und wird hier nachfolgend auch als mittlere Kantenlange bezeichnet.
Dadurch wird erreicht, dass die Unscharfe der Kamera so eingestellt werden kann, dass das Alising gerade so eben verhindert wird und die Bildschärfe aber ausreicht, um eine zuverlässige Mustererkennung durchzufuhren. Die Kamera kann nun auf einen optimalen Unscharfepunkt fokussiert werden, der außerhalb der eigentlichen Bildebene liegt, aber dennoch eine nicht zu große mittlere Kantenlange aufweist, sondern eine dazu definiert eingestellten Abstand aufweist.
Bevorzugte Aus fuhrungs formen der Erfindung sind den Unter- anspruchen zu entnehmen.
Demnach wird vorzugsweise die Unscharfe der Kamera auf einen außerhalb der Bildebene der grafischen Kennzeichnung liegenden Fokuspunkt so eingestellt, dass in der fotografischen Aufnahme eine maximal vorgebbare mittlere Kantenlange nicht überschritten und auch nicht unterschritten wird. Für die eingestellte Unscharfe der Kamera kann geprüft werden, ob in der fotografische Aufnahme die mittlere Kantenlange nicht unterhalb eines Wertes liegt, der für die Bildebene der grafischen Kennzeichnung ermittelt wird, um zu prüfen, dass die Kamera auf einen Fokuspunkt eingestellt ist, der vor der Bildebene liegt. Dadurch wird verhindert, dass an der Kamera der falsche Unscharfepunkt eingestellt wird. Denn wenn der neu eingestellte Fokussierungspunkt der Kamera hinter der Bildebene liegen sollte, so wurde die Aufnahme mit zunehmendem Abstand zwischen Bild und Kamera scharfer werden. Mit Hilfe dieser Maßnahme wird sichergestellt, dass immer ein optimaler Unscharfepunkt (neuer Fokussierungspunkt) bestimmt wird, der vor der eigentlichen Bildebene liegt.
Bevorzugt wird die mittlere Kantenlange durch Bestimmung von Kantenanstiegen, insbesondere durch deren Gradienten, ermittelt. In diesem Zusammenhang erfolgt vorzugsweise die
Ermittlung der mittleren Kantenlange anhand der Auswertung von Zustanden eines deterministischen endlichen Automaten
(Finite State Automaton) mittels mindestens eines Grandientenfilters, bevorzugt aber mittels zweier Grandien- tenfilter, die verschiedene Filterlangen aufweisen. Dabei kann die Kantenlange dadurch ermittelt werden, dass gemessen wird, wie lange der Automat in einem Zustand verweilt, bevor ein Übergang zu einem anderen Zustand auftritt. Der Übergang zeigt dabei jeweils einen Anfang oder ein Ende für die zu ermittelnde Kantenlange der Schwarz-Weiß-Kante anzeigt.
Vorzugsweise wird das Verfahren von einer Vorrichtung ausgeführt die als Leergut-Ruckgabeautomat gestaltet ist, der Transportbehaltnisse in Gestalt von Getrankekasten erkennt.
Die Erfindung macht sich eine Bildverarbeitung zu nutze, bei der die Lange von Kantenubergangen, insbesondere von Kantenanstiegen, erkannt wird, um den optimalen Einstellpunkt für die Kamera-Fokussierung zu finden.
Em gesonderter Kalibπerungskorper ist nicht für die Ermittlung des Einstellpunktes (Unscharfepunkt) erforderlich. Die Unscharfe kann mi L Hilfe jedes im Bild vorhandenen gleichbleibenden Schwarz-Weiß-Bereichs optimal eingestellt werden. Dabei wird auch geprüft, ob Kamera so eingestellt ist, dass die Unscharfe nach hinten nicht abnimmt.
Die Erfindung und die sich daraus ergebenden Vorteile werden nun im Detail anhand von Ausfuhrungsbeispielen und unter Bezugnahme auf die beiliegenden schematischen Zeichnungen beschrieben, die folgendes darstellen:
Fig. 2b zeigt im Vergleich zur Fig. 2a eine erfmdungsgemaß deutlich verbesserte Aufnahme des Logos mit einer Kamera-Einstellung, die nach einem definierten Unscharfepunkt erfolgt, so dass keine Alising- Effekte auftreten, aber dennoch eine ausreichende Bildschärfe erhalten bleibt;
Fig. 3 zeigt ein Ablaufdiagramm für ein erfmdungsgemaßes Verfahren;
Fig. 4 zeigt ein Zustandsdiagramm eines erfmdungsgemaß verwendeten Automaten; und
Fig. 5a veranschaulicht die Einstellung der Kamera-Optik; und
Fig. 5b veranschaulicht die Kantenlangen von diffusen
Schwarz-Weiß-Kanten .
Wie bereits eingangs beschrieben wird, verdeutlichen die Figuren 1 und 2a die Ausgangssituation der Erfindung anhand des Beispiels eines Getrankekastens BC, der als grafische Kennzeichnung einen Aufdruck oder Etikett bzw. Label LBL aufweist, das von einer Kamera aufgenommen und mittels Bildverarbeitung erkannt werden soll. Da normalerweise für eine fotografische Aufnahme des Labels LBL die Kamera- Einstellung scharf auf die Bildebene fokussieit wird, können aufgrund von Oberflächen-Rauheiten oder auch anderer Gegebenheiten unerwünschte Störungen, insbesondere Alising- Effekte ALI, in der fotografischen Aufnahme PIC* erscheinen, so wie es die Fig. 2a exemplarisch zeigt.
Im Vergleich dazu veranschaulicht Fig. 2b eine mittels der Erfindung erreichten Aufnahme PIC, die von derartigen Störungen befreit ist. Dazu wird die Kamera-Optik bewusst unscharf eingestellt und zwar auf einen definierten Wert bzw. Fokuspunkt, so dass insbesondere die Alismg-Effekte nicht mehr erscheinen, die Bildschärfe bzw. Konturen KNT aber dennoch hinreichend scharf sind, um von einer Bilderkennung sicher zuverlässig verarbeitet werden zu können.
Anhand des in der Fig. 3 dargestellten Auflaufdiagramms wird nachfolgend ein Ausfuhrungsbeispiel eines erfmdungsgemaßen Verfahrens 100 beschrieben. Dabei wird auch auf die Fig. 4 und 5a/b Bezug genommen:
Durch das erfmdungsgemaße Verfahren 100 wird insbesondere erreicht, dass die Kamera-Optik 0 (s. Fig. 5a) auf einen optimalen Unscharfepunkt bzw. vorderen Fokussierpunkt FPV eingestellt wird, der vor der eigentlichen Bildebene BE liegt, und dass nicht etwa auf einen komplementären hinteren Fokussierpunkt FPH eingestellt wird. Dieser falsche Fokussierpunkt FPH wurde zwar auch dieselbe optische Unscharfe aufweisen, wurde aber bei (auch nur leichter) Verschiebung des fotografierten Objektes nach hinten (also von der Kamera weg) eine scharfer werdende Aufnahme bewirken, was kontraproduktiv zum Ziel der Erfindung sein wurde. Die Erfindung stellt also die Kamera nicht nur auf eine definierte Unscharfe ein, sondern sorgt auch dafür, dass die Einstellung auf den richtigen Fokussierpunkt erfolgt.
Zur eigentlichen Einstellung der Unscharfe wird eine Kanten- detektion, insbesondere die Detektion von Kantenlangen, verwendet, wobei vorzugsweise ein Automat FSA eingesetzt wird, dessen Zustandsdiagramm in Fig. 4 veranschaulicht ist. Der Automat kann zwischen Zustanden unterscheiden, die sich auf das Vorhandensein einer sog. Vorderkante VK oder einer sog. Hinterkante HK beziehen. Dabei ist der Übergang von Schwarz nach Weiß bzw. von Weiß nach Schwarz gemeint, so wie dies die Fig. 5b veranschaulicht.
Ausgehend von einem Start-Zustand „0" prüft der Automat FSA anhand von zwei Gradientenfiltern FO und Fl, die verschiedene Filterlangen von z.B. 2 Pixel bzw. 5 Pixeln aufweisen, ob eine Vorderkante VK oder eine Hinterkante HK vorliegt. Liegt das erste Filterergebnis für FO über einem Schwellwert SO (F0>S0), so wird der Zustand „VK" eingenommen, also eine Vorderkante erkannt. Andernfalls wird der Zustand „HK" angenommen. Der Automat FSA verweilt in dem ]eweiligen Zustand so lange, wie auch das zweite Filterergebnis Fl unter bzw. über einem Schwellwert Sl liegt. Erst wenn dies nicht der Fall ist, wird in den anderen Zustand gewechselt. So wird z.B. vom Zustand „VK" erst dann in den Zustand „HK" gewechselt, wenn gilt: F0<S0 und F1>S1. Em Zustandswechsel zeigt dabei den Anfang bzw. das Ende eines Kantenanstiegs an (s. auch Fig. 5b) . Hierdurch kann zuverlässig und anhand von beliebigen Kanten die Kantenlange KL bestimmt werden. Es müssen keine Musterkanten bzw. Kalibiervorlagen verwendet werden Die Bestimmung der Kantenlange KL kann direkt an dem jeweils vorliegenden festgelegten bzw. konstanten Bild odei Label LBL vorgenommen werden. Das Verfahren 100 (s. Frg. 3) beginnt mit. einem Schritt 111, bei dem zwei Gradientenfilter FO und Fl (s. auch Fig. 4) jeweils auf das Bild PIC* angewendet werden, die verschiedene Filterlangen aufweisen. Dabei ist FO ein reiner Gradientenfilter und Fl ein modifizierter Gradientenfllter, der zusätzlich einen Bmommalfilter zur Glattung des Bildes aufweist. Die jeweilige Filterung entspricht einer Faltung, so dass sich zwei Filterergebnisse ergeben.
In einem nächsten Schritt 112 erfolgt die Verknüpfung der Ergebnisse der Faltungen mit dem zuvor beschriebenen endlichen Automaten FSA. Dadurch kann in einem Schritt 113 die Ermittlung der Langen KL von Kantenanstiegen bzw. die Kantenlange durchgeführt werden.
Mit Hilfe der bestimmten Kantenlange KL wird dann im Schritt 121 die Einstellung der Kameraoptik auf eine definierte Unscharfe vorgenommen. Dabei wird auf die vordere Kalibrierebene (Fokussierpunkt FPV) eingestellt.
Im Rahmen einer fortlaufenden Wiederholung der Schritte 111 bis 121 wird die Kameraoptik bzw. ihr Fokussierpunkt solange verstellt, bis die Bildaufnahme eine mittlere Kantenlange KL aufweist, die einem Sollwert (Idealwert) entspricht. Ist das der Fall, so wird mit dem Schritt 122 fortgefahren.
Durch eine im Schritt 122 durchgeführte Überprüfung, ob die eingestellte Unscharfe nach hinten nicht abnimmt, wird sicher gestellt, dass es sich dabei um den richtigen Fokussierpunkt FPV handelt. Die Prüfung erfolgt also guasi anhand der hinteren Kalrbrierebene (Fokussierpunkt FPH) . Schließlich kann im Schritt 130 die mittels der definiert unscharf eingestellten Kamera gewonnene Aufnahme PIC des Labels LBL zur Weiterverarbeitung und Mustererkennung herangezogen werden.
Die Erfindung ist besonders geeignet, in einem Lehrgut- Ruckgabesystem implementiert zu werden.
Bezugs zeichen liste
BC Transportbehaltms, hier in gestalt eines Getrankekastens
LBL Kennzeichnung (Label) , hier als Schriftzug und Bildelement
PIC* Aufnahme mit Alias-Effekten
ALI Alias-Effekt, insbeondere durch Farbalising KNT Konturen, scharf
PIC Aufnahme ohne Alias-Effekte, mit definierter Unscharfe
KNT' Konturen, leicht unscharf
100 Verfahren mit Schrittfolgen 110-130
FSA endlicher Automat (Zustandsdiagramm)
VK vordere Kante (Automaten-Zustand)
HK hintere Kante (Automaten-Zustand) FO Gradientenfilter mit kleiner Filterlange
Fl Gradientenfilter mit größerer Filterlange
O Kamera-Optik
BE Bildebene FPV vorderer Fokussierpunkt (optimaler Unscharfepunkt!
FPH hinterer Fokussierpunkt (falscher Unscharfepunkt )
VK vordere Kante (Automaten-Zustand)
HK hintere Kante (Automaten-Zustand)
KL Lange der Kantenubergange (Kantenlange)

Claims

Patentansprüche
1. Verfahren (100) zur Vermeidung von Alias-Effekten bei einer optischen Erkennung von Transportbehaltnissen
(BC) , insbesondere von Getrankekasten, die jeweils mit mindestens einer grafischen Kennzeichnung (LBL) versehen sind, wobei zumindest von dem Teil des
Transportbehaltnisses (BC) , der mit der optischen Kennzeichnung (LBL) versehen ist, eine fotografische
Aufnahme (PIC) mittels einer Kamera gemacht wird (130) , dadurch gekennzeichnet, dass die Optik (O) der Kamera auf eine definierte Unscharfe eingestellt wird (120) , die mittels einer Bildveraröeitung (110) ermittelt wird, bei der eine
Lange (KL) von Kantenubergangen von Schwarz-Weiß-Kanten ermittelt wird.
2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Unscharfe der Kamera auf einen außerhalb der
Bildebene (BE) der grafischen Kennzeichnung (LBL) liegenden Fokuspunkt (FPV) eingestellt wird, so dass m der fotografische Aufnahme (PIC) eine maximal vorgebbare mittlere Lange (KL) von Kantenubergangen nicht überschritten und nicht unterschritten wird.
3. Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für die eingestellte Unscharfe der Kamera geprüft wird, ob in der fotografische Aufnahme (PIC) die Kantenlange (KL) nicht unterhalb eines Wertes liegt, der für die Bildebene (BE) der grafischen Kennzeichnung (LBL) ermittelt wird, um zu prüfen, dass die Kamera auf einen Fokuspunkt (FPV) eingestellt ist, der vor der Bildebene (BE) liegt (122) .
4. Verfahren (100) einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lange (KL) von Kantenubergangen durch Bestimmung von Kantenanstiegen, insbesondere durch deren Gradienten, ermittelt wird.
5. Verfahren (100) einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ermittlung der Lange (KL) von Kantenubergangen anhand der Auswertung von
Zustanden (VK, HK) eines deterministischen endlichen Automaten (FSA) mittels mindestens eines Grandientenfilters erfolgt.
6. Verfahren (100) Anspruch 5, dadurch gekennzeichnet, dass die Ermittlung der Lange (KL) von Kantenubergangen mittels mindestens zwei Grandientenfilter (FO, Fl) erfolgt, die verschiedene Filterlangen aufweisen.
7. Verfahren (100) nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das ein Übergang von einem Zustand (VK, HK) des Automaten (FSA) zu einem anderen jeweils einen Anfang oder ein Ende für die zu ermittelnde Lange (KL) von Kantenubergangen anzeigt.
8. Vorrichtung zur Vermeidung von Alias-Effekten bei der optischen Erkennung von Transportbehaltnissen (BC) , insbesondere von Getrankekasten, die jeweils mit mindestens einer grafischen Kennzeichnung (LBL) versehen sind, wobei die Vorrichtung eine Kamera aufweist, dj e zumindest von dem Teil des Transportbehaltnisses (BC) , der mit der optischen Kennzeichnung (LBL) versehen ist, eine fotografische Aufnahme (PIC) macht, dadurch gekennzeichnet, dass die Vorrichtung Rechenmittel und Einstellmittel aufweist, die die Optik (O) der Kamera auf eine definierte Unscharfe einstellen, wobei die Einstellmittel die Unscharfe in Abhängigkeit einer Lange (KL) von Kantenubergangen von Schwarz-Weiß-Kanten einstellen, die die Rechenmittel mittels einer Bildverarbeitung der Aufnahme (PIC) ermitteln.
9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Vorrichtung ein Leergutruckgabeautomat ist, der
Transportbehaltnisse in Gestalt von Getrankekasten erkennt .
EP09753815.1A 2008-05-28 2009-05-20 Verfahren und vorrichtung zur vermeidung von alias-effekten bei der optischen erkennung von transportbehältnissen Not-in-force EP2297676B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008025659A DE102008025659A1 (de) 2008-05-28 2008-05-28 Verfahren und Vorrichrung zur Vermeidung von Alias-Effekten bei der optischen Erkennung von Transportbehältnissen
PCT/EP2009/056132 WO2009144160A1 (de) 2008-05-28 2009-05-20 Verfahren und vorrichtung zur vermeidung von alias-effekten bei der optischen erkennung von transportbehältnissen

Publications (2)

Publication Number Publication Date
EP2297676A1 true EP2297676A1 (de) 2011-03-23
EP2297676B1 EP2297676B1 (de) 2015-03-04

Family

ID=41020948

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09753815.1A Not-in-force EP2297676B1 (de) 2008-05-28 2009-05-20 Verfahren und vorrichtung zur vermeidung von alias-effekten bei der optischen erkennung von transportbehältnissen

Country Status (3)

Country Link
EP (1) EP2297676B1 (de)
DE (1) DE102008025659A1 (de)
WO (1) WO2009144160A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3247744B2 (ja) * 1992-12-25 2002-01-21 キヤノン株式会社 撮像装置
DE4408650C2 (de) * 1994-03-15 1996-01-18 Haehnel Olaf Identifikations- und Kontrollsystem für Transportmittel in einem Verarbeitungsbetrieb
DE10137817B4 (de) * 2001-08-06 2005-10-06 Institut für Automation & Kommunikation e.V. Vorrichtung und Verfahren zur Erkennung von optischen Markierungen
JP3555607B2 (ja) * 2001-11-29 2004-08-18 ミノルタ株式会社 オートフォーカス装置
WO2006045285A1 (de) * 2004-10-29 2006-05-04 Wincor Nixdorf International Gmbh Einrichtung zur dreidimensionalen vermessung von objekten
US8264591B2 (en) * 2007-10-22 2012-09-11 Candela Microsystems (S) Pte. Ltd. Method and system for generating focus signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009144160A1 *

Also Published As

Publication number Publication date
WO2009144160A1 (de) 2009-12-03
DE102008025659A1 (de) 2010-01-21
EP2297676B1 (de) 2015-03-04

Similar Documents

Publication Publication Date Title
DE69926205T2 (de) Artefaktentfernungstechnik für schiefenkorrigierte bilder
DE102016216118B4 (de) Objekterkennungsvorrichtung und Fleckerkennungsverfahren
DE102014209197B4 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102009057886A1 (de) Abbildungsvorrichtung
DE69925354T2 (de) Bildverarbeitungssystem um vertikale Muster auf abgetasteten Bildern zu reduzieren
DE60113564T2 (de) Bildverarbeitungseinrichtung und Mustererkennungsvorrichtung, bei der die Bildverarbeitungseinrichtung verwendet wird
DE102013005489B4 (de) Verfahren und Vorrichtung zur automatischen Fehlerstellenerkennung bei biegeschlaffen Körpern
EP1288860A1 (de) Verfahren zur Verarbeitung digitaler fotografischer Bilddaten, welches ein Verfahren zum automatischen Erkennen von rote-Augen-Defekten umfasst
DE102009057885A1 (de) Abbildungsvorrichtung
DE10114757B4 (de) Digitalkamera für ein Mikroskop und Mikroskopsystem mit derartiger Kamera
DE102011051934A1 (de) Verfahren und Vorrichtung zur OCR-Erfassung von Wertdokumenten mittels einer Matrixkamera
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102016208768A1 (de) Bilderzeugungsvorrichtung
DE102016216500B4 (de) Objekterkennungsvorrichtung und Trübungsbestimmungsverfahren
DE69600320T2 (de) Verfahren zur automatischen Erkennung von auswertbaren Zonen in Bildern von mechanischen Teilen
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
DE19848243A1 (de) Biegewinkelerfassungssystem
WO2009086970A1 (de) Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge
DE102017125799A1 (de) Reduktion von Bildstörungen in Bildern
DE10261221A1 (de) Verfahren und Vorrichtung zur Echtzeitkontrolle von Druckbildern
EP2297676B1 (de) Verfahren und vorrichtung zur vermeidung von alias-effekten bei der optischen erkennung von transportbehältnissen
DE102008050456A1 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
EP2138242A2 (de) Verfahren und Vorrichtung zum Erkennen von Transportbehältnissen
WO2020126926A1 (de) Kalibrierungsverfahren zur verbesserung der prüfung von authentifizierungsmustern durch digitale bildaufnahmegeräte

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20101228

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20140526

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502009010723

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06K0009400000

Ipc: G06T0007000000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G06K 9/40 20060101ALN20141031BHEP

Ipc: G06T 7/00 20060101AFI20141031BHEP

INTG Intention to grant announced

Effective date: 20141125

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 714424

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150415

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009010723

Country of ref document: DE

Effective date: 20150416

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20150304

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150604

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150605

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150706

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150704

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009010723

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150520

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150531

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150531

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

26N No opposition filed

Effective date: 20151207

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150520

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 714424

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20090520

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150304

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20190419

Year of fee payment: 11

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200531

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20220523

Year of fee payment: 14

Ref country code: DE

Payment date: 20220429

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502009010723

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20230520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231201

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230520