EP1197926A2 - Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten - Google Patents

Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten Download PDF

Info

Publication number
EP1197926A2
EP1197926A2 EP01122726A EP01122726A EP1197926A2 EP 1197926 A2 EP1197926 A2 EP 1197926A2 EP 01122726 A EP01122726 A EP 01122726A EP 01122726 A EP01122726 A EP 01122726A EP 1197926 A2 EP1197926 A2 EP 1197926A2
Authority
EP
European Patent Office
Prior art keywords
coin
image
illuminated
object field
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP01122726A
Other languages
English (en)
French (fr)
Other versions
EP1197926B1 (de
EP1197926A3 (de
Inventor
Markus Adameck
Manfred Prof. Dr. Eich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crane Payment Innovations GmbH
Original Assignee
National Rejectors Inc GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Rejectors Inc GmbH filed Critical National Rejectors Inc GmbH
Publication of EP1197926A2 publication Critical patent/EP1197926A2/de
Publication of EP1197926A3 publication Critical patent/EP1197926A3/de
Application granted granted Critical
Publication of EP1197926B1 publication Critical patent/EP1197926B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D5/00—Testing specially adapted to determine the identity or genuineness of coins, e.g. for segregating coins which are unacceptable or alien to a currency
    • G07D5/005—Testing the surface pattern, e.g. relief

Definitions

  • the present invention relates to a method for recognizing an embossed image Coin in a coin operated machine.
  • coin machines e.g. B. in coin validators, for example, up to eight coins discriminated within a second.
  • a common distinguishing criterion is the coin material, the is determined with different probes. With known global monetary systems however, the same or almost the same blanks are often used. The finished Coins then only differ in thickness and diameter. An important The distinguishing criterion, however, is the minting of the coin.
  • An opto-electronic coin validator is known from the published patent application DE 2 306 187, in which the coin to be tested is arranged between rotating drive rollers becomes.
  • the light coming from a light source is reflected by a lens a coin rotated by the drive rollers is shown as a small dot.
  • the reflected Part of the reflected light is transferred to a photodiode array by another lens projected.
  • Wells, dirt and other surface conditions, such as For example, wear the reflection changes in the direction of the photodiode array.
  • the disadvantage here is that the coin is arranged between the drive rollers must be what is mechanically complex.
  • EP 0 898 163 A1 and US 6 064 478 each have a method and a device for automatic inspection of themselves known moving surfaces.
  • the method uses diffusely reflected light recorded and evaluated.
  • the intensity of diffusely scattered light is in the Compared to light that reflects on a reflective, metallic surface became orders of magnitude smaller (well over factor 1000).
  • the low intensity of the reflected light makes either a long integration time in the image sensor or the use of strong light sources is necessary.
  • a disadvantage of a long Integration time is that fast moving objects cannot be recorded, least of all with a single shot.
  • the use of strong light sources is expensive and consumes a lot of energy.
  • the method to be inspected is Surface illuminated from three different directions.
  • the light sources each have a different characteristic color.
  • a line scan camera takes the color image of the moving surface and analyzes it for the physical properties of the surface.
  • a disadvantage of the known method is that this method does not work with highly reflective surfaces, as is the case with Coin validation can occur. Nor is it for moving, minted circulation coins are suitable.
  • the method is also so complex that the necessary calculations for, for example, 260,000 pixels not within one given time can be performed.
  • the invention has for its object to provide a method that a reliable and allowing the coin to be quickly minted without the procedure can be fooled by the photo.
  • the method according to the invention runs in several steps.
  • a first Step the coin is moved to an image receiver and to a light source, the two or more lighting sections for preferred parallel lighting of an object field on the coin surface from a different direction.
  • Each of the lighting sections illuminates the object field on the coin surface preferably with parallel light from another direction.
  • the lighting sections are arranged so that the object field preferably consists of a total of 360 ° is illuminated at a fixed azimuthal angle. In the language of the spherical Trigonometry is a full circle of latitude.
  • the parallel lighting ensures that the entire object field is at a fixed azimuthal angle (Width) is illuminated. So reflect all object points for which the reflection condition towards the camera is fulfilled, i.e.
  • the image receiver draws in the inventive Method according to claim 1, two or more recordings of the same Object field simultaneously or one after the other.
  • recordings are taken from the same object field. It can be done simultaneously be illuminated with monochromatic light from 360 ° or in time Sequence monochromatic from several different sections or simultaneously can be illuminated in multiple colors from multiple angular ranges.
  • the object field is designed with light on several angular sections different emission spectra illuminated. The emission spectra should be matched to the filters of the color sensors used. This creates in one Color sensor, at the same time or in chronological order, one or more images, which in the Sensor show the contour lines of the selected gradients of the object field.
  • Difference picture means here that the brightness values of the images are subtracted from each other. By forming the difference the image areas between the two images stand out are equally bright despite different lighting, while the image areas, that have different brightness in both images, in the difference image come to light. With the help of data and image processing, the determined Differential image with predetermined image data for generating a real or false signal compared. If the method according to the invention with a photo of a Embossed image executed, so stand out when comparing the images in the difference image equally bright spots. A uniformly bright difference image is created without evaluable structure.
  • the object field for the Image essentially illuminated with monochrome light.
  • Each of the images shows the embossed image in the area of the object field from a different one Direction illuminated.
  • the parallel lighting ensures that light is only from Locations on the coin surface is reflected towards the camera on which the slope corresponds to a certain value.
  • the object field illuminated with lighting sections of different colors for shooting For example, lighting with red, green and blue light can take place. With this lighting, the light is correspondingly in on the object field Reflected towards the camera, so that the reflection of a spectral range only in one Partial image of the image taken by the color sensor can be seen, but not in the other spectral images.
  • the subtraction of images of different spectra leads to the fact that the differences remain in the pictures and similarities stand out.
  • a color image created in this way is recorded by a color image receiver, the For example, the color image can be broken down into three separate images. It is also possible to provide the image receiver with an appropriate set of filters to to be able to use other colors for the image receiver.
  • a corresponding image receiver is preferably only one Shot of the illuminated object field made and this a shot in disassembled several pictures with different illumination. It is also possible to work with polarized light instead of colored light.
  • polarized light instead of colored light.
  • the method are light sources with a wide Emission spectrum used. Individual spectral ranges can be used using of color filters, preferably short, long and bandpass filters between Object field and light source are arranged can be selected.
  • the coin can also be picked up in its idle state. This is advantageous but is by no means absolutely necessary if in the single color Design more than one shot of the embossed image is made.
  • the object field is covered by all lighting sections illuminated together essentially in a circle.
  • the lighting sections are designed, for example, as circular segments, with preference the light from each segment of the circle hits the object field in parallel.
  • each lighting section a constant angle with respect to the surface normal of the object field. This Illumination causes the respective reflections that arise at the selected one Gradients arise, have almost the same strength and therefore the same Include dimensions in the difference image.
  • the brightness values of the difference image generated are compared to a threshold value compared and depending on whether they are smaller or larger than the threshold, they are set to zero or one or vice versa.
  • the digitalized difference image contains black and white areas that make a comparison with the reference data simplify.
  • SSGM selective stereo Gradient method
  • An object 10 with a structured surface reflects incident light rays 12 and 14 depending on the orientation of the surface normals 16 and 18 at the reflection point in Direction of the observer 20 to different extents.
  • a metallic, reflective Surface with a directed light beam (see Fig. 6, beam A) is illuminated, can be between diffuse Lambert reflection B, directed reflection C and ideally reflecting reflection D can be distinguished.
  • the reflections more real Surfaces can be created using the so-called bidirectional reflection distribution describe function (bidirectional reflection distribution function).
  • a major advantage of the detection of the reflecting components is that with essential lower amounts of light can be worked, which on the one hand saves energy, on the other other shorter exposure times than required for diffuse reflection.
  • the detection The reflective portion enables the selection of all object points in which the reflection conditions be fulfilled.
  • the different brightnesses include thus information about the structure of the reflective surface.
  • FIG. 2 shows how an object 22 is illuminated from different directions 24 and 29 becomes. Depending on the direction of the lighting, light becomes different areas 26 or 28, which have the same amount of slope, reflected.
  • a camera 30 takes with the same camera position essentially those marked with A and B. Pictures on. The image A has on its left side facing the light source 24 is a clearly visible area, while this is in picture B on the right side lies.
  • Image C in Fig. 2 shows the difference image of images A and B, the diffuse Brightness values were suppressed by using a threshold value.
  • Fig. 3 shows the inventive method applied to a 1-DM coin was illuminated from four different directions B1-B4.
  • the difference picture is shown large as image D.
  • E shows a bright picture.
  • the method thus enables reliable distinction between the photo of an embossed image and an actual one Embossed image.
  • there is no reflective part in The direction of observation reflects what is evident in the intensities of the reflections shows.
  • FIG. 4 schematically shows the arrangement of the camera 32 relative to the insertion chute 34 and the coin barrel 36 of a coin machine. Depending on the integration time of the camera The coin can be received on the coin barrel 36 as it falls or while it is being unrolled become.
  • FIGS. 5A and B show two preferred structures for illuminating an object field the coin.
  • the entire coin surface is selected as the object field.
  • the Light source 38 is annular and has 3 lighting sections 40, 42 and 44 that illuminate the embossed image of the coin in the colors red, green and blue.
  • the camera 30 has a digital sensor with a color filter (e.g. Bayer Pattern) that provides a pixel-dependent signal that is proportional to the amount of light detected. This signal can be broken down and thus results in three images of the coin surface. The brightness values of these images are subtracted from each other in order to Generate difference image.
  • the lighting in each of the lighting sections 40, 42 and 43 is carried out by a chain with light-emitting diodes (see FIG.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing Of Coins (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten mit den folgenden Schritten: die Münze wird zu einem Bildempfänger und zu einer Lichtquelle bewegt, wobei die Lichtquelle zwei oder mehr Beleuchtungsabschnitte zur Beleuchtung eines Objektfeldes auf der Münzoberfläche aus jeweils einer anderen Richtung aufweist, der Bildempfänger zeichnet mindestens zwei Aufnahmen des Objektfeldes auf, bei denen das Objektfeld jeweils von einem der Beleuchtungsabschnitte aus einer anderen Richtung beleuchtet wird, aus den Aufnahmen wird ein Differenzbild ermittelt, mit Hilfe einer Daten- und Bildverarbeitung wird das ermittelte Differenzbild mit vorgegebenen Bilddaten verglichen, zur Erzeugung eines Echt- oder Falschsignals. <IMAGE>

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten.
Bei Münzautomaten, z. B. bei Münzprüfern werden beispielsweise bis zu acht Münzen innerhalb von einer Sekunde diskriminiert. Hierzu ist eine Reihe von Verfahren bekannt geworden. Ein häufiges Unterscheidungskriterium ist das Münzmaterial, das mit verschiedenen Sonden ermittelt wird. Bei bekannten weltweiten Währungssystemen werden jedoch häufig gleiche oder fast gleiche Rohlinge benutzt. Die fertigen Münzen unterscheiden sich dann nur noch in Dicke und Durchmesser. Ein wichtiges Unterscheidungskriterium ist jedoch das Prägebild der Münze.
Aus der Offenlegungsschrift DE 2 306 187 ist ein opto-elektronischer Münzprüfer bekannt, bei dem die zu prüfende Münze zwischen sich drehenden Antriebsrollen angeordnet wird. Das von einer Lichtquelle ausgehende Licht wird durch eine Linse auf eine durch die Antriebsrollen gedrehte Münze als kleiner Punkt abgebildet. Der reflektierte Teil des aufireffenden Lichts wird durch eine weitere Linse auf eine Fotodiodenanordnung projiziert. Abhängig von auf der Münze befindlichen Erhebungen, Vertiefungen, Verschmutzungen und der sonstigen Oberflächenbeschaffenheit, wie beispielsweise Abnutzungen, ändert sich die Reflexion in Richtung der Fotodiodenanordnung. Nachteilig hierbei ist, daß die Münze zwischen den Antriebsrollen angeordnet werden muß, was mechanisch aufwendig ist. Ferner ist nachteilig, daß das Signal nicht mit dem Profil des Prägebilds korreliert, was zu einer erhöhten Abweisung von Echtmünzen führt und gleichzeitig zu einer erhöhten Akzeptanz von Falschgeld. Es hat sich gezeigt, daß ein solches System durch ein Schwarz-Weiß-Bild des Prägebilds getäuscht werden kann.
Aus dem Artikel "Photometric method for determining surface orientation from multiple images" von Robert J. Woodham in Optical Engineering 1980, Vol. 19 No. 1, S. 139ff ist es bekannt, zur Untersuchung von Oberflächen die Richtung der einfallenden Beleuchtung zwischen aufeinanderfolgenden Bildern zu variieren, während die Blickrichtung für die Aufnahmen konstant gehalten wird. Die so gewonnenen Bilder enthalten ausreichend Information, um die Oberflächenorientierung in jedem Punkt zu berechnen. Nachteilig an dem von Woodham vorgeschlagenen Verfahren ist, daß zur Berechnung der Oberflächenorientierung aufwendige Rechnungen notwendig sind, die zur Erkennung eines Prägebildes nicht geeignet sind. Wie bei allen Verfahren, die auf dieser Methode des photometrischen Stereos aufbauen, sind mindestens drei Lichtquellen zur Berechnung der Oberflächengradienten notwendig. Nur so können die lokalen, sich über die Oberfläche ändernden Reflektivitäten, beispielsweise bei Umlaufmünzen aufgrund von unterschiedlicher Abnutzung, herausgerechnet werden. Außerdem muß jeder Punkt auf der Oberfläche unverzichtbar von allen drei Lichtquellen beleuchtet werden und es muß ausreichend Licht von jeder der drei Lichtquellen in Beobachtungsrichtung reflektiert werden.
Aus der europäischen Offenlegungsschrift EP 0 898 163 A1 und US 6 064 478 ist jeweils ein Verfahren und eine Vorrichtung zur automatischen Inspektion von sich bewegenden Oberflächen bekannt. Bei der Methode wird diffus reflektiertes Licht aufgezeichnet und ausgewertet. Die Intensität von diffus gestreutem Licht ist im Vergleich zu Licht, das an einer spiegelnden, metallischen Oberfläche reflektiert wurde, um Größenordnungen kleiner (weit über Faktor 1000). Die geringe Intensität des reflektierten Lichts macht entweder eine lange Integrationszeit im Bildsensor oder die Verwendung von starken Lichtquellen notwendig. Nachteilig an einer langen Integrationszeit ist, daß schnell bewegte Objekte nicht aufgenommen werden können, erst recht nicht mit einer einzigen Aufnahme. Die Verwendung starker Lichtquellen ist kostenintensiv und verbraucht viel Energie.
Bei dem aus EP 0 898 163 und US 6 064 478 bekannten Verfahren wird die zu inspizierende Oberfläche aus drei unterschiedlichen Richtung angeleuchtet. Die Lichtquellen besitzen jeweils eine andere charakteristische Farbe. Eine Zeilenkamera nimmt das Farbbild der sich bewegenden Oberfläche auf und analysiert es auf die physikalischen Eigenschaften der Oberfläche. Nachteilig an dem bekannten Verfahren ist, daß dieses Verfahren nicht bei hoch reflektierenden Oberflächen, wie sie bei der Münzprüfung auftreten, eingesetzt werden kann. Auch ist es nicht für sich bewegende, geprägte Umlaufmünzen eignet. Ebenfalls ist das Verfahren derart aufwendig, daß die notwendigen Rechnungen für beispielsweise 260 000 Bildpunkte nicht innerhalb einer vorgegebenen Zeit durchgeführt werden können.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren bereitzustellen, daß ein zuverlässiges und schnelles Aufnehmen des Prägebilds einer Münze gestattet, ohne daß das Verfahren durch das Foto getäuscht werden kann.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen aus Anspruch 1 gelöst.
Das erfindungsgemäße Verfahren läuft in mehreren Schritten ab. In einem ersten Schritt wird die Münze zu einem Bildempfängern und zu einer Lichtquelle bewegt, die zwei oder mehr Beleuchtungsabschnitte zur bevorzugten parallelen Beleuchtung eines Objektfeldes auf der Münzoberfläche aus jeweils einer anderen Richtung aufweist. Jeder der Beleuchtungsabschnitte beleuchtet das Objektfeld auf der Münzoberfläche vorzugsweise mit parallelem Licht aus einer anderen Richtung. Die Beleuchtungsabschnitte sind so angeordnet, daß das Objektfeld bevorzugt aus insgesamt 360° unter einem festen Azimutalwinkel beleuchtet wird. In der Sprache der sphärischen Trigonometrie wird damit ein voller Breitenkreis bezeichnet. Die parallele Beleuchtung stellt sicher, daß das komplette Objektfeld unter einem festen Azimutalwinkel (Breite) beleuchtet wird. So reflektieren alle Objektpunkt, für welche die Reflexionbedingung in Richtung Kamera erfüllt ist, also die denselben Gradienten besitzen, maximal in Richtung des Bildempfängers. Der Bildempfänger zeichnet bei dem erfindungsgemäßen Verfahren gemäß Anspruch 1 zwei oder mehr Aufnahmen desselben Objektfeldes gleichzeitig oder nacheinander auf. Bei dem erfindungsgemäßen Verfahren werden Aufnahmen von demselben Objektfeld aufgenommen. Dabei kann gleichzeitig mit monochromatischem Licht aus 360° beleuchtet werden oder in zeitlicher Abfolge monochromatisch aus mehreren unterschiedlichen Abschnitten oder gleichzeitig mehrfarbig aus mehreren Winkelbereichen beleuchtet werden. In einer vorteilhaften Ausgestaltung wird auf mehreren Winkelabschnitten das Objektfeld mit Licht unterschiedlicher Emissionsspektren beleuchtet. Dabei sollen die Emissionsspektren den Filtern der verwendeten Farbsensoren angepaßt sein. Dadurch entstehen in einem Farbsensor, gleichzeitig oder in zeitlicher Folge, ein oder mehrere Bilder, welche im Sensor die Höhenlinien der ausgewählten Gradienten des Objektfeldes zeigen. Um Fälschungssicherheit gegen Vorlage von Photos zu gewährleisten, wird bei dem erfindungsgemäßen Verfahren das Differenzbild ermittelt. Differenzbild bedeutet hierbei, daß die Helligkeitswerte der Bilder voneinander subtrahiert werden. Durch die Differenzbildung zwischen den Bildern heben sich die Bildbereiche, die bei beiden Aufnahmen trotz unterschiedlicher Beleuchtung gleich hell sind, auf, während die Bildbereiche, die in beiden Bildern eine unterschiedliche Helligkeit besitzen, in dem Differenzbild zutage treten. Mit Hilfe einer Daten- und Bildverarbeitung wird das ermittelte Differenzbild mit vorgegebenen Bilddaten zur Erzeugung eines Echt- oder Falschsignals verglichen. Wird das erfindungsgemäße Verfahren mit einem Foto eines Prägebildes ausgeführt, so heben sich beim Vergleich der Bilder im Differenzbild gleich helle Stellen heraus. Es entsteht ein gleichmäßig helles Differenzbild, ohne auswertbare Struktur.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens wird das Objektfeld für die Aufnahme im wesentlichen mit einfarbigem Licht beleuchtet. Bevorzugt werden bei der Beleuchtung mit einfarbigem Licht mehrere Aufnahmen hintereinander gemacht. Jede der Aufnahmen zeigt das Prägebild im Bereich des Objektfeldes aus einer anderen Richtung beleuchtet. Die parallele Beleuchtung stellt sicher, daß Licht nur von Orten auf der Münzoberfläche in Richtung Kamera reflektiert wird, an dem die Steigung einem bestimmten Wert entspricht.
In einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens wird das Objektfeld mit Beleuchtungsabschnitten unterschiedlicher Farbe für die Aufnahme beleuchtet. Beispielsweise kann eine Beleuchtung mit rotem, grünem und blauem Licht erfolgen. Bei dieser Beleuchtung wird auf dem Objektfeld das Licht entsprechend in Richtung Kamera reflektiert, so daß die Reflexion eines Spektralbereichs nur in einem Teilbild des vom Farbsensor aufgenommenen Bildes zu sehen ist, nicht aber in den anderen Spektralaufnahmen. Die Subtraktion von Bildern unterschiedlicher Spektren führt dazu, daß die Unterschiede in den Bildern enthalten bleiben und Gemeinsamkeiten sich herausheben.
Ein so entstandenes Farbbild wird durch einen Farbbildempfänger aufgenommen, der beispielsweise das Farbbild in drei einzelne Bilder zerlegen kann. Auch ist es möglich, den Bildempfänger mit einem entsprechenden Satz von Filtern zu versehen, um andere Farben für den Bildempfänger verwenden zu können. Bei der Verwendung von farbigem Licht und einem entsprechenden Bildempfänger wird bevorzugt nur eine Aufnahme des ausgeleuchteten Objektfeldes gemacht und diese eine Aufnahme in mehrere Aufnahmen mit unterschiedlicher Ausleuchtung zerlegt. Es ist ebenfalls möglich, anstelle von farbigem Licht mit polarisiertem Licht zu arbeiten. In einer vorzugsweisen Ausgestaltung des Verfahrens werden Lichtquellen mit einem breiten Emissionsspektrum verwendet. Einzelne spektrale Bereiche können unter Verwendung von Farbfiltern, vorzugsweise Kurz-, Lang- und Bandpaßfiltern die zwischen Objektfeld und Lichtquelle angeordnet sind, ausgewählt werden.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens bewegt sich die Münze entlang einem Münzlauf und löst dabei ein Signal zur Betätigung des Bildempfängers und der Lichtquelle aus.
Alternativ hierzu kann die Münze auch in Ihrem Ruhezustand aufgenommen werden. Dies ist vorteilhaft aber keineswegs unbedingt erforderlich, wenn in der einfarbigen Ausgestaltung mehr als eine Aufnahme des Prägebilds gemacht wird.
In einer besonders bevorzugten Ausführung wird das Objektfeld durch alle Beleuchtungsabschnitte zusammen im wesentlichen kreisförmig ausgeleuchtet. Die Beleuchtungsabschnitte sind beispielsweise als Kreissegmente ausgeführt, wobei bevorzugt das Licht aus jedem Kreissegment parallel auf das Objektfeld trifft.
Zweckmäßigerweise erfolgt die Beleuchtung durch jeden Beleuchtungsabschnitt unter einem konstanten Winkel gegenüber der Flächennormalen des Objektfeldes. Diese Ausleuchtung bewirkt, daß die jeweils entstehenden Reflexionen, die an den ausgewählten Gradienten entstehen, nahezu die gleiche Stärke besitzen und somit im gleichen Maße in das Differenzbild eingehen.
Die Helligkeitswerte des erzeugten Differenzbildes werden mit einem Schwellwert verglichen und abhängig davon, ob sie kleiner oder größer als der Schwellwert sind, werden sie zu Null bzw. Eins oder umgekehrt gesetzt. Das so digitalisierte Differenzbild enthält schwarze und weiße Flächen, die einen Vergleich mit den Referenzdaten vereinfachen.
In einer einfachen Ausgestaltung bietet es sich an, das aufgenommene Bild oder die Maxima der erzeugten Bilder ohne Bildung eines Differenzbildes mit einem Schwellwert zu vergleichen und die Werte der Bildpunkte auf Eins zu setzen, wenn sie über dem Schwellwert liegen und ansonsten auf Null zu setzen. Diese Ausgestaltung bietet sich an, wenn in dem Verarbeitungsschritt auf die Verifikation eines 3D-Höhenprofiles verzichtet werden kann.
Alternativ zu der Verwendung eines Schwellwertes ist es ebenfalls möglich, diejenigen Bildpunkte mit einem Helligkeitswert auf null oder eins zu setzen, die innerhalb eines vorgegebenen Intervalls von Helligkeitswerten liegen. Die verbleibenden Bildpunkte werden entsprechend anders gesetzt, so daß Linien konstanter Helligkeit entstehen. Die Linien konstanter Helligkeit können als Höhenlinien des Prägebildes aufgefaßt werden. Da diesen Linien jeweils eine konstante Steigung des Flächenelements in dem Punkt zugrunde liegt, wird dieser Verfahrensschritt auch als Selektive Stereo Gradientenmethode (SSGM) bezeichnet.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens wird anhand der nachfolgenden Zeichnungen näher erläutert. Es zeigt:
Fig. 1:
die Reflektion von parallel einfallendem Licht an unterschiedlich geneigten Flächenelementen,
Fig. 2:
das Prinzip der Differenzbildung zweier Aufnahmen mit anschließender Reskalierung der Helligkeit,
Fig. 3:
das Prägebild einer 1,00 DM Münze bei der Verwendung von vier Aufnahmen,
Fig. 4:
eine rollende Münze auf einem schrägen Münzlauf,
Fig. 5A,B:
eine schematische Darstellung von Kamera und einer ringförmigen Beleuchtung,
Fig. 6:
Helligkeitsverteilung bei der Reflexion an einer spiegelnden Oberfläche.
Ein Objekt 10 mit einer strukturierten Oberfläche reflektiert einfallende Lichtstrahlen 12 und 14 je nach Ausrichtung der Flächennormalen 16 und 18 im Reflexionspunkt in Richtung des Beobachters 20 unterschiedlich stark. Bei einer metallischen, spiegelnden Oberfläche, die mit einem gerichteten Lichtstrahl (vergleiche Fig. 6, Strahl A) beleuchtet wird, kann zwischen diffuser Lambert-Reflexion B, gerichteter Reflexion C und ideal spiegelnder Reflexion D unterschieden werden. Die Reflexionen realer Oberflächen lassen sich durch die sogenannte bidirectional reflection distribution function (bidirektionale Reflexionsverteilungsfunktion) beschreiben. Fig. 6 zeigt den einfallenden Lichtstrahl A und die von der Oberfläche reflektierte Lichtkeule. Schmale Lichtkeulen bedeuten generell, daß keine diffuse Reflexion auftreten und es sich um eine dem Wesen nach spiegelnde Oberfläche handelt. In Reflexionsbedingung (Einfallwinkel = Ausfallwinkel) kann der ideal spiegelnde Anteil um einen Faktor 1000 größer sein, als bei der diffusen Reflexion.
Ein wesentlicher Vorteil der Detektion der spiegelnden Anteile ist, daß mit wesentlich geringeren Lichtmengen gearbeitet werden kann, was zum einen Energie spart, zum anderen kürzere Belichtungszeiten als bei diffuser Reflexion benötigt. Die Detektion des spiegelnden Anteils ermöglicht die Auswahl aller Objektpunkte, in der die Reflexionsbedingungen erfüllt werden. Die unterschiedlichen Helligkeiten beinhalten also Informationen über die Struktur der reflektierenden Oberfläche.
Fig. 2 zeigt wie ein Objekt 22 aus unterschiedlicher Richtung 24 und 29 beleuchtet wird. Je nach Richtung der Beleuchtung wird Licht unterschiedlicher Bereiche 26 bzw. 28, die denselben Betrag der Steigung haben, reflektiert. Eine Kamera 30 nimmt bei derselben Kameraposition im wesentlichen die mit A und B gekennzeichneten Bilder auf. Das Bild A besitzt an seiner linken Seite, die der Lichtquelle 24 zugewandt ist, einen deutlich sichtbaren Bereich, während dieser in Bild B auf der rechten Seiten liegt. Bild C in Fig. 2 zeigt das Differenzbild der Bilder A und B, wobei die diffusen Helligkeitswerte durch die Anwendung eines Schwellwertes unterdrückt wurden.
Fig. 3 zeigt das erfindungsgemäße Verfahren angewendet auf eine 1-DM Münze, die aus vier unterschiedlichen Richtungen B1-B4 beleuchtet wurde. Das Differenzbild ist groß als Bild D dargestellt.
Zum Vergleich dazu zeigt E ein helles Bild. Hier wurde das Foto einer Münze - also ein planes Bild - aus vier unterschiedlichen Richtung B1-B4 beleuchtet und die vier Aufnahmen voneinander subtrahiert. Da das Foto eines Prägebildes unabhängig von der Beleuchtungsrichtung gleiche Lichtmengen in Richtung Kamera reflektiert, heben sich diese bei der Differenzbildung heraus. Damit ermöglicht das Verfahren eine zuverlässige Unterscheidung zwischen dem Foto eines Prägebildes und einem tatsächlichen Prägebild. Insbesondere wird im Fall eines Fotos kein spiegelnder Anteil in Beobachtungsrichtung reflektiert, was sich deutlich in den Intensitäten der Reflexionen zeigt.
Fig. 4 zeigt schematisch die Anordnung der Kamera 32 relativ zu dem Einwurfschacht 34 und dem Münzlauf 36 eines Münzautomaten. Je nach Integrationszeit der Kamera kann die Münze im Fallen oder während des Abrollens auf dem Münzlauf 36 aufgenommen werden.
Fign. 5A und B zeigen zwei bevorzugte Aufbauten für die Beleuchtung eines Objektfeldes der Münze. Hierbei ist als Objektfeld die gesamte Münzoberfläche gewählt. Die Lichtquelle 38 ist ringförmig und besitzt 3 Beleuchtungsabschnitte 40, 42 und 44, die in den Farben rot, grün und blau das Prägebild der Münze beleuchten. Die Kamera 30 besitzt einen digitalen Sensor mit einem Farbfilter (beispielsweise Bayer Pattern), der ein pixelabhängiges Signal liefert, das proportional zur detektierten Lichtmenge ist. Dieses Signal kann zerlegt werden und ergibt so drei Aufnahmen der Münzoberfläche. Die Helligkeitswerte dieser Aufnahmen werden voneinander subtrahiert, um das Differenzbild zu erzeugen. Die Beleuchtung in jedem der Leuchtabschnitte 40, 42 und 43 erfolgt durch eine Kette mit Leuchtdioden (vgl. Fig. 5B), die jeweils die Münzoberfläche über einen Winkelbereich von 120° ausleuchten. Bei dieser Beleuchtung entsteht ein rotationsinvariantes Bild. Anstatt mit farbigem Licht kann auch mit polarisiertem Licht gearbeitet werden, wobei der Bildempfänger dann mit entsprechenden Polarisationsfiltern ausgestattet ist, um die Beleuchtung selektiv aufzeichnen zu können.

Claims (22)

  1. Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten mit den folgenden Schritten:
    die Münze wird zu einem Bildempfänger und zu einer Lichtquelle bewegt, wobei die Lichtquelle zwei oder mehr Beleuchtungsabschnitte zur Beleuchtung eines Objektfeldes auf der Münzoberfläche aus jeweils einer anderen Richtung aufweist,
    der Bildempfänger zeichnet mindestens zwei Aufnahmen des Objektfeldes auf, bei denen das Objektfeld jeweils von einem der Beleuchtungsabschnitte aus einer anderen Richtung beleuchtet wird,
    aus den Aufnahmen wird ein Differenzbild ermittelt,
    mit Hilfe einer Daten- und Bildverarbeitung wird das ermittelte Differenzbild mit vorgegebenen Bilddaten verglichen, zur Erzeugung eines Echt- oder Falschsignals.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Objektfeld von jedem Beleuchtungsabschnitt mit parallelem Licht beleuchtet wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß das Objektfeld für die Aufnahmen im wesentlichen mit einfarbigem Licht beleuchtet wird.
  4. Verfahren nach einem der Ansprüche 2 bis 3, dadurch gekennzeichnet, daß die Aufnahmen nacheinander aufgenommen werden, jeweils bei Beleuchtung mit einem der Beleuchtungsabschnitte.
  5. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß das Objektfeld für die Aufnahmen von den Beleuchtungsabschnitten mit jeweils unterschiedlich farbigem Licht beleuchtet wird.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß das farbige Licht durch die Verwendung von Filtern erzeugt wird.
  7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, daß die Aufnahmen mit einem Bildempfänger gemacht werden, der für sämtliche Farben der Beleuchtungsabschnitte empfindlich ist.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß als Bildempfänger eine Farbkamera verwendet wird und die Beleuchtungsabschnitte auf die Farbkamera abgestimmt farbiges Licht erzeugen derart, daß eine Farbaufnahme in mehrere Aufnahmen mit einer Beleuchtung jeweils eines anderen Beleuchtungsabschnitts zerlegt werden kann.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß die Aufnahmen gleichzeitig gemacht werden, indem eine Farbaufnahme in die durch die unterschiedlichen Beleuchtungsabschnitte beleuchteten Aufnahmen zerlegt wird.
  10. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß das Objektfeld für die Aufnahme mit unterschiedlich polarisiertem Licht beleuchtet wird.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die Bildpixel des Bildempfängers mit Polarisationsfiltern versehen sind, mit denen die Aufnahme in ihre polarisationsabhängigen Anteile zerlegt wird.
  12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß die Münze entlang einem Münzlauf ein Signal zur Betätigung des Bildempfängers und der Lichtquelle auslöst.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß die Münze sich im Ruhezustand während der Aufnahmen befindet.
  14. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß die Münze sich während der Aufnahme in Bewegung befindet, insbesondere die Münze frei fällt, abrollt oder an einer Fläche entlang gleitet.
  15. Verfahren nach einem der Ansprüche 1 bis 14 dadurch gekennzeichnet, daß das Objektfeld durch die Beleuchtungsabschnitte insgesamt im wesentlichen kreisförmig angeleuchtet wird.
  16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß die Beleuchtung durch jeden Beleuchtungsabschnitt unter einem im wesentlichen konstanten Winkel gegenüber der Flächennormalen erfolgt.
  17. Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, daß die Helligkeitswerte des erzeugten Differenzbildes mit einem Schwellwert verglichen werden und abhängig davon, ob sie kleiner oder größer als der Schwellwert sind, zu Null bzw. Eins oder umgekehrt gesetzt werden.
  18. Verfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, daß aus einem mittleren Helligkeitswert der Aufnahme oder einem gemessenen mittleren Helligkeitswert eine dem Sensor vorgeschaltete Meßanordnung aus LED und Photodiode und/oder aus einem Vergleich von mittleren Helligkeitswerten mit maximal auftretenden Helligkeitswerten und/oder aus der Mittelwertabweichung der Helligkeitswerte der Aufnahmen, die Reflektivität der Münzoberfläche ermittelt wird.
  19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß aus der ermittelten Reflektivität auf das Münzmaterial geschlossen wird.
  20. Verfahren nach Anspruch 19 oder 18, dadurch gekennzeichnet, daß aus der ermittelten Reflektivität ein Schwellwert berechnet wird, mit dem das Differenzbild verglichen wird.
  21. Verfahren nach einem der Ansprüche 18 bis 20, dadurch gekennzeichnet, daß aus der ermittelten Reflektivität ein zusätzlicher Vergleichswert berechnet wird, der zur Erzeugung eines Gut- oder Falschsignals dient.
  22. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, daß die Helligkeitswerte des erzeugten Differenzbildes, die innerhalb eines vorbestimmten Wertebereichs liegen, auf Null oder auf Eins gesetzt werden, während die übrigen Helligkeitswerte auf Eins bzw. auf Null gesetzt werden.
EP20010122726 2000-10-14 2001-09-21 Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten Expired - Lifetime EP1197926B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE2000151009 DE10051009A1 (de) 2000-10-14 2000-10-14 Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten
DE10051009 2000-10-14

Publications (3)

Publication Number Publication Date
EP1197926A2 true EP1197926A2 (de) 2002-04-17
EP1197926A3 EP1197926A3 (de) 2004-01-28
EP1197926B1 EP1197926B1 (de) 2006-02-08

Family

ID=7659818

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20010122726 Expired - Lifetime EP1197926B1 (de) 2000-10-14 2001-09-21 Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten

Country Status (3)

Country Link
EP (1) EP1197926B1 (de)
DE (2) DE10051009A1 (de)
ES (1) ES2255530T3 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3116664B1 (de) 2014-06-27 2019-01-30 Key Technology, Inc. Verfahren zum sortieren
US10902584B2 (en) 2016-06-23 2021-01-26 Ultra Electronics Forensic Technology Inc. Detection of surface irregularities in coins

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10248972B4 (de) * 2002-10-17 2009-09-10 Walter Hanke Mechanische Werkstätten GmbH & Co. KG Verfahren zum Prüfen von Münzen und münzähnlichen Gegenständen sowie ein Münzprüfer hierfür
DE10300608B4 (de) * 2003-01-10 2004-09-30 National Rejectors, Inc. Gmbh Verfahren zur Erkennung eines Prägebildes einer Münze in einem Münzautomaten
EP3640582B1 (de) 2018-10-15 2020-08-12 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. System und verfahren zum prüfen der form eines prüfobjekts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2306187A1 (de) 1973-02-08 1974-08-15 Josef Mergili Optoelekttonischer muenzpruefer
EP0898163A1 (de) 1997-08-22 1999-02-24 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Verfahren und Vorrichtung zur automatischen Prüfung bewegter Oberflächen
US6064478A (en) 1995-03-29 2000-05-16 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method of and apparatus for automatic detection of three-dimensional defects in moving surfaces by means of color vision systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3305509A1 (de) * 1983-02-14 1984-08-16 Bally Wulff Automaten GmbH, 1000 Berlin Optische muenzpruefeinrichtung
US4845770A (en) * 1986-11-20 1989-07-04 Oki Electric Industry Co., Ltd. Method and apparatus for processing embossed card
JP3519235B2 (ja) * 1996-03-28 2004-04-12 ローレルバンクマシン株式会社 硬貨判別装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2306187A1 (de) 1973-02-08 1974-08-15 Josef Mergili Optoelekttonischer muenzpruefer
US6064478A (en) 1995-03-29 2000-05-16 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method of and apparatus for automatic detection of three-dimensional defects in moving surfaces by means of color vision systems
EP0898163A1 (de) 1997-08-22 1999-02-24 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Verfahren und Vorrichtung zur automatischen Prüfung bewegter Oberflächen

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3116664B1 (de) 2014-06-27 2019-01-30 Key Technology, Inc. Verfahren zum sortieren
US10902584B2 (en) 2016-06-23 2021-01-26 Ultra Electronics Forensic Technology Inc. Detection of surface irregularities in coins

Also Published As

Publication number Publication date
EP1197926B1 (de) 2006-02-08
EP1197926A3 (de) 2004-01-28
ES2255530T3 (es) 2006-07-01
DE10051009A1 (de) 2002-05-02
DE50108887D1 (de) 2006-04-20

Similar Documents

Publication Publication Date Title
DE19511534C2 (de) Verfahren und Vorrichtung zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe farbtüchtiger Bildauswertungssysteme
DE69316275T2 (de) Apparat und Verfahren zur Durchführung von Dickenmessungen einer Dünnfilmschicht mit Verformungen und örtlichen Neigungsveränderungen
AT401829B (de) Verfahren zur zustands-, qualitäts- bzw. passerkontrolle von optischen sicherheitsmerkmalenauf wertpapieren, insbesondere banknoten, und vorrichtung zur durchführung des verfahrens
EP2422325B1 (de) Selbstbedienungsterminal mit mindestens einer bilddaten erzeugenden kamera zum erkennen von manipulationsversuchen
DE10234431A1 (de) Vorrichtung und Verfahren zur Bearbeitung von Wertdokumenten
DE102018202051B4 (de) Vorrichtung zum automatischen Prüfen von Linsen und Verfahren zum automatischen Prüfen einer Vielzahl von Linsen
EP0927348B1 (de) Verfahren und anordnung zur automatischen optischen qualitätskontrolle von flachen, ebenen produkten
DE3926349A1 (de) Optische fehlerinspektionsvorrichtung
DE102008046988A1 (de) Reflektometer und Verfahren zur Charakterisierung von Materialien und Materialoberflächen zumindest hinsichtlich optischer Streueigenschaften oder/und optischer Reflektionseigenschaften
DE102010047948A1 (de) Verfahren zum Prüfen eines optischen Sicherheitsmerkmals eines Wertdokuments
EP3131070B1 (de) Vorrichtung zum prüfen einer beschichtung eines dokumentes
EP1197926B1 (de) Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten
DE69315143T2 (de) Optische Prüfvorrichtung beim Füllen von Zigaretten
EP1752760A1 (de) Vorrichtung und Verfahren zur Inspektion der Oberfläche eines Wafers
EP1329856B1 (de) Verfahren zur Erkennung eines Prägebildes einer Münze in einem Münzautomaten
DE102015105128B4 (de) Verfahren und Vorrichtung zur Messung des Glanzgrads und/oder der Mattheit von Gegenständen
DE69418887T2 (de) Sicherheitsleser zur automatischen erfassung von verfälschungen und änderungen
EP3570256A1 (de) Prüfverfahren und auslesevorrichtung für eine sicherheitsmarkierung
EP1563467B1 (de) Verfahren zur fotografischen aufnahme eines zylinderförmigen, insbesondere plattenförmigen gegenstandes
EP1437691B1 (de) Verfahren zur Erkennung eines Prägebildes einer Münze in einem Münzautomaten
DE3305509A1 (de) Optische muenzpruefeinrichtung
EP1054361B1 (de) Verfahren und Vorrichtung zur Erkennung der räumlichen Konfiguration von Münzen
DE19733775A1 (de) Verfahren zur Messung von Eigenschaften einer Materialoberfläche
DE102004018856A1 (de) Vorrichtung zur Prüfung von Banknoten
DE102007033835A1 (de) Bildaufnahmetechnik zur direkten Objektsegmentierung in Bildern

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17P Request for examination filed

Effective date: 20040724

AKX Designation fees paid

Designated state(s): DE ES FR GB IT

17Q First examination report despatched

Effective date: 20041007

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE ES FR GB IT

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20060208

REF Corresponds to:

Ref document number: 50108887

Country of ref document: DE

Date of ref document: 20060420

Kind code of ref document: P

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2255530

Country of ref document: ES

Kind code of ref document: T3

ET Fr: translation filed
PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20061109

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20080708

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20080627

Year of fee payment: 8

Ref country code: IT

Payment date: 20080909

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20080924

Year of fee payment: 8

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20090921

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20100531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090921

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20101106

Year of fee payment: 10

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090921

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20110714

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110704

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090922

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50108887

Country of ref document: DE

Effective date: 20120403

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120403