EP3516634A1 - Verfahren und vorrichtung zur erkennung von farbabnutzungen an einem wertdokument, insbesondere einer banknote, sowie wertdokumentbearbeitungssystem - Google Patents

Verfahren und vorrichtung zur erkennung von farbabnutzungen an einem wertdokument, insbesondere einer banknote, sowie wertdokumentbearbeitungssystem

Info

Publication number
EP3516634A1
EP3516634A1 EP17772608.0A EP17772608A EP3516634A1 EP 3516634 A1 EP3516634 A1 EP 3516634A1 EP 17772608 A EP17772608 A EP 17772608A EP 3516634 A1 EP3516634 A1 EP 3516634A1
Authority
EP
European Patent Office
Prior art keywords
value
pixel
pixels
document
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP17772608.0A
Other languages
English (en)
French (fr)
Other versions
EP3516634B1 (de
Inventor
Shanchuan Su
Norbert Holl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giesecke and Devrient Currency Technology GmbH
Original Assignee
Giesecke and Devrient Currency Technology GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giesecke and Devrient Currency Technology GmbH filed Critical Giesecke and Devrient Currency Technology GmbH
Publication of EP3516634A1 publication Critical patent/EP3516634A1/de
Application granted granted Critical
Publication of EP3516634B1 publication Critical patent/EP3516634B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/181—Testing mechanical properties or condition, e.g. wear or tear
    • G07D7/187—Detecting defacement or contamination, e.g. dirt
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12—Visible light, infrared or ultraviolet radiation

Definitions

  • the invention relates to a method and a device for detecting color abrasions on a value document according to the independent claims and to a value-document processing system.
  • color abrasions on a document of value, in particular a banknote are recognized on the basis of an image captured by the document of value, which has a plurality of pixels to which at least one intensity value is assigned in each case, wherein for each pixel a selection of pixels and / or for each Pixel in at least a portion of the image, the steps of: determining an intensity value from intensity values associated with the pixel and pixels in the vicinity of the pixel; Calculating a contrast value based on intensity values associated with the pixel and pixels in the vicinity of the pixel; and classification of the respective pixel with regard to a color wear of the value document as a function of the respectively determined intensity value and calculated contrast value.
  • An inventive device for detecting color wear on a document of value in particular a banknote, based on an image captured by the document of value, which has a plurality of pixels, each associated with at least one intensity value, has an evaluation unit which is set up for each image performing the following steps at least one subarea of the acquired image for a selection of pixels and / or for each pixel: determining an intensity value from intensity values associated with the pixel and pixels in the vicinity of the pixel; Calculating a contrast value based on intensity values associated with the pixel and pixels in the vicinity of the pixel; and classification of the respective pixel with regard to a color wear of the value document as a function of the respectively determined intensity value and calculated contrast value.
  • An inventive value-document processing system comprises: a sensor device for acquiring an image of a value document, in particular a banknote; a device according to the invention for detecting color abrasions on the document of value; and an apparatus for processing, in particular transporting and / or sorting and / or counting value documents as a function of color wear recognized on the respective value document.
  • One aspect of the invention is based on the approach of classifying or classifying individual pixels of the image captured by the value document, taking into account both a local brightness and a local contrast of the image in the region of the respective pixel with regard to possible color wear of the value document.
  • an intensity value representing the local brightness is determined from the intensity values for each pixel which is located in at least one partial area of the image and / or belongs to at least one selection of pixels from the image, which intensity corresponds to the respective pixel as well as to other pixels in the vicinity of the pixel Pixels are assigned.
  • the ascertained intensity value can be identical to an intensity value associated with the pixel or one of the pixels in the vicinity of the pixel.
  • the determined intensity value may also be a value derived from two or more intensity values associated with the pixel and / or the pixels in the environment of the pixel.
  • a contrast value from intensity intensity characterizing the local contrast of the image in the region of the respective pixel is determined. calculates values associated with the pixel and / or pixels in the vicinity of the pixel.
  • both the intensity value determined for this pixel and the contrast value calculated for this pixel are then used.
  • this ensures that e.g. Pixels in relatively bright areas of the image at the same time relatively small contrast values and pixels in relatively dark areas of the image at the same time relatively high contrast values are reliably classified as pixels that indicate color deterioration at the corresponding points of the value document.
  • different areas of the value document in particular IR areas, need not be treated separately.
  • a smaller number of reference value documents is required for the adaptation of the method or the device than in known methods for color wear detection.
  • the cost of any post-adaptation of the method or the device is lower.
  • the influence of quality fluctuations in documents of value on the reliability of color deterioration detection is also reduced.
  • the invention thus enables a simple and reliable detection of color wear on documents of value, in particular banknotes.
  • a selection of picture elements of the picture can be a part of all the picture elements of the picture or even all or substantially all picture elements of the picture acquired.
  • the pixels for which an intensity value is determined in each case, a contrast value is calculated and finally a classification with respect to a color wear of the value document is made, can lie in a partial area or also on the entire area of the acquired image.
  • the method can be carried out for all or substantially all of the pixels lying in the partial area or on the total area of the image, or in each case only for a selection of pixels from the partial area or the total area.
  • a selection of pixels is preferably obtained by twice or n-times sub-sampling, so-called subsampling, of the partial area or of the total area of the acquired image, in which only every second or n-th pixel is selected in both dimensions of the value document.
  • the ascertained intensity value preferably corresponds to the respectively highest intensity value from the intensity values associated with the pixel and / or the pixels in the environment of this pixel.
  • the brightness used in the classification of the respective pixel is hereby represented by the highest intensity value of the pixels to be found in the region of the respective pixel.
  • the classification of the respective pixel with regard to a possible color degradation of the value document is particularly reliable.
  • it may also be preferred that the determined intensity value corresponds to the respectively lowest intensity value from the intensity values corresponding to the image intensity. point and / or pixels in the environment of this pixel are assigned corresponds.
  • the determined intensity value corresponds to an average value, which is formed from the intensity values associated with the pixel and / or pixels in the environment of the pixel.
  • the intensity value determined in this case thus corresponds to a mean brightness of the image of the value document in the region of the respective pixel, the classification of which with regard to possible color wear of the value document is thereby particularly reliable.
  • the determination of the intensity value and / or the calculation of the contrast value be effected on the basis of intensity values which are associated with the pixel and / or the pixels directly adjacent to this pixel.
  • the pixels of the image are also represented by rectangular or square pixels (pixels).
  • the pixels whose intensity values are used in the determination of a maximum, minimum or average intensity value and / or the calculation of a contrast value preferably form a group of 3 ⁇ 3 pixels, the center of the group being the respective pixel to be classified to which the remaining eight pixels adjoin. The latter thus form the immediate surroundings of the pixel.
  • a so-called local operator is preferably used in each case, by means of which not the intensity value associated with the respective pixel but also the intensity value. te of adjacent pixels or pixels from the environment are taken into account.
  • the local image section is therefore also referred to as operator window, which preferably comprises 3 ⁇ 3 pixels. In principle, however, it is also possible to define larger operator windows with, for example, 5 ⁇ 5, 7 ⁇ 7, 9 ⁇ 9 or 11 ⁇ 11 pixels.
  • the number of pixels in the operator window is preferably odd, so that the particular pixel under consideration lies in the middle of the operator window.
  • the calculated contrast value is preferably a measure of a relative change in intensity in the respectively considered region of the image.
  • the contrast value is calculated taking into account a highest intensity value and a lowest intensity value, the highest and lowest intensity values being determined from the intensity values associated with the pixel and the pixels in the environment of the pixel.
  • the contrast value preferably corresponds to a quotient of a difference between the maximum and minimum intensity value in the numerator and a further intensity value in the denominator, wherein the further intensity value preferably corresponds to the sum of the maximum and minimum intensity value.
  • the further intensity value can also be assigned to one of the intensity values associated with the pixel and pixels in the environment of the pixel. net are equivalent to formed mean.
  • the respectively most significant contrast value can be calculated here and, together with the ascertained intensity value, in particular the mean value formed, can be used for the classification of the respective pixel with regard to a color reduction of the value document, whereby this has a particularly high reliability.
  • a grading parameter is calculated on the basis of the ascertained intensity value, in particular of the mean value, and the contrast value, and the grading of the respective pixel is made as a function of the result of a comparison of the grading parameter with a comparison value.
  • the number of parameters to be compared during the classification of originally two namely the ascertained intensity value or mean value and the calculated contrast value, is reduced to only one classification parameter, so that by simply comparing the calculated classification parameter with a single comparison value, a classification of the respective Pixel in a reliable and very simple manner.
  • the grading parameter is calculated on the basis of a distinguishing function, each having one variable for the ascertained intensity value, in particular the mean value, and the contrast value.
  • the distinguishing function may preferably be a linear function, a staircase function or else a polynomial, in particular a polynomial of the second degree.
  • the respective parameters of the distinguishing function which are preferably constant summands, subtrahends and / or factors, can preferably be determined within the framework of a preliminary test run or an adaptation of the method or device.
  • a discrimination function a particularly reliable distinction of pixels in which at the corresponding points of the document of value is a color deterioration, and those pixels where this is not the case.
  • pixels which lie in the region of an edge of the value document and / or of an element characterizing the value document, in particular of an element printed on the value document are removed from the pixels classified with regard to color wear of the value document.
  • the classification of the value document reliably excludes pixels in which the probability that these are incorrectly identified as pixels located in the region of color wear is comparatively high. Accordingly, a classification of the value document based on the pixels cleaned in this way is particularly reliable.
  • a measure of the color wear at the corresponding location of the value document is taken into consideration for the pixels classified with regard to a color wear of the value document, optionally after removal of pixels located in the region of an edge of the value document and / or in the region of an element applied to the value document detected at least one of the following parameters: range of color wear, brightness of the color wear, contrast of the color wear, position of the color wear.
  • the degree of color wear is calculated using a linear function in which one or more of the aforementioned parameters form variables.
  • the number of parameters as variables of the linear function and the associated coefficients, in particular factors, can be For example, in test runs with value documents of known properties are determined or determined.
  • the determination of a measure characterizing the color wear on the value document additionally provides information about the extent and / or the relevance of a recognized color wear, so that an even more accurate classification of the value document as "fit” or due to color wear as "unfit” is made possible.
  • the image obtained from the value document is a
  • Transmission image in particular a dark field transmission image is.
  • FIG. 1 shows an example of a value-document processing system with a
  • Fig. 2 example of a transmission image of a banknote
  • Fig. 3 is a diagram showing a first and second example of a discrimination function
  • Fig. 4 shows an example of an image derived from the transmission image shown in Fig. 2 with pixels classified as pixels based on color wear of the banknote.
  • FIG. 1 shows an example of a value-document processing system with a device 10 for detecting color abrasions on a value document 1, which is in particular a banknote, and an apparatus 30 only schematically indicated for processing, in particular conveying and / or sorting and / or counting, of value documents, in particular depending on the respective value document 1 detected color abrasions.
  • the device 10 has a radiation source 2, which is designed to generate electromagnetic radiation, with which the banknote 1 is irradiated.
  • the electromagnetic radiation is preferably infrared radiation.
  • an image sensor 3 is provided, which is designed to detect spatially resolved electromagnetic radiation emanating from the banknote 1.
  • the image of the banknote 1 detected by the image sensor 3 is a so-called dark field transmission image.
  • the radiation source 2 relative to
  • Image sensor 3 to be arranged such that the latter detects a bright field transmission image or a remission image.
  • the image of the banknote 1 detected by the image sensor 3 has a multiplicity of pixels, so-called pixels, to each of which at least one intensity value which is a measure of the intensity of the transmitted or reflected from a plurality of locations on the banknote 1 and from
  • Image sensor 3 detected electromagnetic radiation.
  • the image data 4 generated by the image sensor 3, which contain the intensity values assigned to the individual pixels, are forwarded to an evaluation unit 5 and analyzed there, in particular with regard to possible color wear on the banknote 1 and classified accordingly.
  • the evaluation unit 5 is adapted to control the banknote processing apparatus 30 so that banknotes 1 are outputted to different output pockets 31 and 32 depending on the result of the classification for color wear.
  • Fig. 2 shows an example of a dark field transmission image 4 of a polymer banknote, which typically comprises a transparent substrate foil provided with a primer made of white lacquer.
  • a printed image which is also referred to as a background print image, printed.
  • numerals and / or infrared-sensitive areas are printed by intaglio printing.
  • a mean value m and a contrast value c taking into account the intensity values of the respective pixel itself as well as the pixels surrounding this pixel determined.
  • the mean m is the arithmetic mean, which is calculated as follows:
  • the contrast value c corresponds to the so-called Michelsen contrast, which is calculated as follows:
  • the contrast value c corresponds to the quotient of the difference between the highest intensity value and the lowest intensity value on the one hand and the sum of the highest intensity value and lowest intensity value on the other hand, in each case from the intensity values Po to Ps in the considered region 9.
  • a first classification which can also be referred to as a pre-distinction, is made as to whether the respective pixel indicates color wear at the corresponding location of the banknote.
  • the rating parameter f calculated using the distinguishing function f (m, c) is greater than or equal to a comparison value for a pixel, which is zero in the present example, then this pixel is classified as a so-called "in-use candidate". the pixel then possibly corresponds to a spot on the banknote with a color wear.
  • FIG. 3 This is illustrated by a first example (dashed) shown in FIG. 3 of a gradient of the contrast c above the mean value m, which forms the boundary between pixels that were not classified as an inkwear candidate (area below the dashed line) and pixels. who were classified as an Inkwear candidate (area above the dashed line).
  • Inkwear candidates which correspond to color wear in the area of intaglio printing typically have a relatively low average intensity m and a relatively high contrast c and are accordingly speaking in the left part of the diagram above the dashed line.
  • Inkwear candidates that correspond to a color wear in the range of the watermark of the banknote have a relatively high average intensity m at the same time comparatively low contrast values c and are thus in the right area of the diagram above the dashed line.
  • Inkwear candidates, which are due to a color wear in Off set réelle Scheme the banknote typically have an average brightness and a mean contrast c and are therefore in the middle of the diagram above the dashed line.
  • an optional further step it can be provided to check the pixels classified as inkwear candidates to determine whether they lie in certain areas of the banknote, for example in the area of the edge of the banknote and / or in the area of certain printing elements. Since pixels from corresponding image areas of the image 4 may possibly be erroneously classified as inkwear candidates, it may be provided to remove these pixels from the group of pixels classified as inkwear candidates. Since the ink Wear candidates can be tested or validated based on their position in Figure 4 of the banknote, this step can also be considered as a validation step or validation.
  • the intensity value I (x, y) of the respective pixel (x, y) can be set to zero if the distinguishing function f (m, c) calculated from the associated mean value m and contrast value c is smaller as zero, and to set to a certain intensity value, for example, the highest intensity value I ma x or max ⁇ Pi ⁇ determined in the area of the respective pixel, if the differentiation function is greater than or equal to zero:
  • an optional further step which is also referred to as classification, it can be provided that for all pixels classified as inkwear candidates, optionally after a validation with removal of pixels lying at the edge and / or in the area of certain printing elements, a measure (so-called Inkwear Level) for the respective color wear at the corresponding point of the banknote is derived.
  • This can preferably be done by calculating an Inkwear Level (InkL) for each of these pixels on the basis of the following linear function:
  • InkL a, x InkA + b, x InkB + c, * InkC + d i * InkP (4)
  • ai indicates in which area of the image of the banknote the pixel classified as an inkwome candidate lies
  • bi denotes a measure of the brightness
  • Q a measure of the contrast
  • di the position of the pixel classified as an inkwear candidate.
  • the associated coefficients InkA, InkB, InkC and InkP can be calculated in advance test runs using banknotes with known properties. Likewise, it can be specified or configured which or how many of the aforementioned information ai, bi, Ci or di are taken into account in the calculation of the inkwear level.
  • contrast values can also be determined with the help of a histogram in which the number or frequency of pixels exceeds their intensity is applied.
  • Certain areas of the banknote in which there is a color wear in the form of abrasion or smudging of the printing ink can be identified by the fact that in the respective histogram between a region of light pixels and a region of dark pixels, a transition region occurs in which only very few pixels can be found , This transitional area depends on the state of the banknote.
  • the respective transition region can be determined in a histogram. On the basis of the lowest and highest intensity value in this transition region, a corresponding contrast value c can then be determined on the basis of equation (2).
  • the method or the device is also designed to analyze or classify any oblique banknotes 1 passing obliquely on the image sensor 3 with regard to possible color abrasions.
  • a skew correction so-called skew correction, is preferably carried out in a subsampling according to the Bresenham algorithm, whereby any rounding errors that result from discretization of continuous coordinates are minimized.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Ink Jet (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von Farbabnutzungen an einem Wertdokument, insbesondere einer Banknote, anhand eines vom Wertdokument erfassten Bildes (4), welches eine Vielzahl von Bildpunkten aufweist, denen jeweils mindestens ein Intensitätswert (Pi) zugeordnet ist, wobei für jeden Bildpunkt einer Auswahl von Bildpunkten des Bildes (4) folgende Schritte durchgeführt werden: Ermittlung eines Intensitätswertes, insbesondere eines Mittelwertes, aus Intensitätswerten (P0 - P8), die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind; Berechnung eines Kontrastwertes anhand von Intensitätswerten (P0 - P8), die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind; und Einstufung des jeweiligen Bildpunkts hinsichtlich einer Farbabnutzung des Wertdokuments (1) in Abhängigkeit vom jeweils ermittelten Intensitätswert, insbesondere Mittelwert, und berechneten Kontrastwert. Die Erfindung betrifft ferner eine entsprechende Vorrichtung sowie ein Wertdokumentbearbeitungssystem.

Description

Verfahren und Vorrichtung zur Erkennung von Farbabnutzungen an einem Wertdokument, insbesondere einer Banknote, sowie
Wertdokumentbearbeitungssystem
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von Farbabnutzungen an einem Wertdokument gemäß den unabhängigen Ansprüchen sowie ein Wertdokumentbearbeitungssystem. Bei im Umlauf befindlichen Wertdokumenten, insbesondere Banknoten, kann es vorkommen, dass das auf ein Wertdokument aufgedruckte Druckbild oder andere Farbelemente zumindest stellenweise bzw. teilweise entfernt oder geändert werden, beispielsweise durch Ausbleichen, Abtragen oder Auswaschen.
Diese sog. Farbabnutzungen, welche auch als„Inkwear" bezeichnet werden, können insbesondere bei Wertdokumenten auftreten, bei welchen Farbe, insbesondere Druckfarbe, auf ein Polymer-Substrat aufgebracht ist. Wird eine solche Banknote bestimmten mechanischen Beanspruchungen ausge- setzt, beispielsweise durch Falten oder Reiben, kann es vorkommen, dass sich die auf der Banknote befindliche Farbe von diesen Stellen zumindest teilweise löst.
Bei der automatischen Prüfung des Zustands, der sog. Fitness, von Bankno- ten ist es wünschenswert, diese auch hinsichtlich möglicher Farbabnutzungen zu prüfen.
Es ist Aufgabe der Erfindung, ein Verfahren sowie eine entsprechende Vorrichtung anzugeben, welches bzw. welche eine einfache und zuverlässige Erkennung von Farbabnutzungen an einem Wertdokument, insbesondere einer Banknote, ermöglicht. Bei einem erfindungsgemäßen Verfahren werden Farbabnutzungen an einem Wertdokument, insbesondere einer Banknote, anhand eines vom Wertdokument erfassten Bildes erkannt, welches eine Vielzahl von Bildpunkten aufweist, denen jeweils mindestens ein Intensitätswert zugeordnet ist, wobei für jeden Bildpunkt einer Auswahl von Bildpunkten und/ oder für jeden Bildpunkt in zumindest einem Teilbereich des Bildes folgende Schritte durchgeführt werden: Ermittlung eines Intensitätswertes aus Intensitätswerten, die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind; Berechnung eines Kontrastwertes anhand von Intensitäts- werten, die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind; und Einstufung des jeweiligen Bildpunkts hinsichtlich einer Farbabnutzung des Wertdokuments in Abhängigkeit vom jeweils ermittelten Intensitätswert und berechneten Kontrastwert. Eine erfindungsgemäße Vorrichtung zur Erkennung von Farbabnutzungen an einem Wertdokument, insbesondere einer Banknote, anhand eines vom Wertdokument erfassten Bildes, welches eine Vielzahl von Bildpunkten aufweist, denen jeweils mindestens ein Intensitätswert zugeordnet ist, weist eine Auswertungseinheit auf, welche dazu eingerichtet ist, für jeden Bild- punkt einer Auswahl von Bildpunkten und/ oder für jeden Bildpunkt in zumindest einem Teilbereich des erfassten Bildes folgende Schritte durchzuführen: Ermittlung eines Intensitätswertes aus Intensitätswerten, die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind; Berechnung eines Kontrastwertes anhand von Intensitätswerten, die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind; und Einstufung des jeweiligen Bildpunkts hinsichtlich einer Farbabnutzung des Wertdokuments in Abhängigkeit vom jeweils ermittelten Intensitätswert und berechneten Kontrastwert. Ein erfindungsgemäßes Wertdokumentbearbeitungssystem weist auf: Eine Sensorvorrichtung zur Erfassung eines Bildes eines Wertdokuments, insbesondere einer Banknote; eine erfindungsgemäße Vorrichtung zur Erkennung von Farbabnutzungen an dem Wertdokument; und eine Vorrichtung zum Bearbeiten, insbesondere Befördern und/ oder Sortieren und/ oder Zählen von Wertdokumenten in Abhängigkeit von am jeweiligen Wertdokument erkannten Farbabnutzungen.
Ein Aspekt der Erfindung basiert auf dem Ansatz, einzelne Bildpunkte des vom Wertdokument erfassten Bildes unter Berücksichtigung sowohl einer lokalen Helligkeit als auch eines lokalen Kontrastes des Bildes im Bereich des jeweiligen Bildpunktes hinsichtlich einer möglichen Farbabnutzung des Wertdokuments einzustufen bzw. zu klassifizieren. Dazu wird für jeden Bildpunkt, der sich in zumindest einem Teilbereich des Bildes befindet und/ oder zumindest einer Auswahl von Bildpunkten aus dem Bild angehört, ein die lokale Helligkeit repräsentierender Intensitätswert aus den Intensitätswerten ermittelt, die dem jeweiligen Bildpunkt sowie anderen Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind. Der ermittelte Intensitätswert kann dabei identisch sein mit einem Intensitätswert, der dem Bildpunkt oder einem der Bildpunkte in der Umgebung des Bildpunkts zugeordnet ist. Alternativ kann es sich bei dem ermittelten Intensitätswert auch um einen Wert handeln, welcher aus zwei oder mehreren Intensitätswerten abgeleitet wird, die dem Bildpunkt und/ oder den Bild- punkten in der Umgebung des Bildpunkts zugeordnet sind.
In entsprechender Weise wird ein den lokalen Kontrast des Bildes im Bereich des jeweiligen Bildpunkts charakterisierender Kontrastwert aus Intensitäts- werten berechnet, die dem Bildpunkt und/ oder den Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind.
Bei der Klassifizierung des jeweiligen Bildpunkts hinsichtlich einer mögli- chen Farbabnutzung des Wertdokuments wird dann sowohl der für diesen Bildpunkt ermittelte Intensitätswert als auch der für diesen Bildpunkt berechnete Kontrastwert herangezogen. Hierdurch wird unter anderem erreicht, dass z.B. Bildpunkte in relativ hellen Bereichen des Bildes bei gleichzeitig relativ kleinen Kontrastwerten sowie Bildpunkte in relativ dunklen Bereichen des Bildes bei gleichzeitig relativ hohen Kontrastwerten zuverlässig als Bildpunkte eingestuft werden, die auf eine Farbabnutzung an den entsprechenden Stellen des Wertdokuments schließen lassen.
Vorteilhafterweise brauchen hierbei unterschiedliche Bereiche des Wertdo- kuments, insbesondere IR-Bereiche, nicht gesondert behandelt werden. Ferner ist zur Adaption des Verfahrens bzw. der Vorrichtung eine geringere Anzahl von Referenz- Wertdokumenten erforderlich als bei bekannten Methoden zur Farbabnutzungserkermung. Auch der Aufwand für eine etwaige Nachadaption des Verfahrens bzw. der Vorrichtung ist geringer. Nicht zu- letzt wird auch der Einfluss von Qualitätsschwankungen bei Wertdokumenten auf die Zuverlässigkeit der Farbabnutzungserkermung verringert.
Insgesamt ermöglicht die Erfindung somit eine einfache und zuverlässige Erkennung von Farbabnutzungen an Wertdokumenten, insbesondere Bank- noten.
Bei einer Auswahl von Bildpunkten des Bildes im Sinne der Erfindung kann es sich um einem Teil aller Bildpunkte des Bildes oder aber auch um alle o- der im Wesentlichen alle Bildpunkte des erfassten Bildes handeln. Die Bildpunkte, für welche jeweils ein Intensitätswert ermittelt, ein Kontrastwert berechnet und schließlich eine Einstufung hinsichtlich einer Farbabnutzung des Wertdokuments vorgenommen wird, können in einem Teilbereich oder aber auch auf der gesamten Fläche des erfassten Bildes liegen. Dabei kann das Verfahren für alle oder im Wesentlichen alle in dem Teilbereich bzw. auf der Gesamtfläche des Bildes liegenden Bildpunkte oder aber jeweils nur für eine Auswahl von Bildpunkten aus dem Teilbereich bzw. der Gesamtfläche durchgeführt werden.
Eine Auswahl von Bildpunkten wird vorzugsweise durch eine zweifache oder n-fache Unterabtastung, sog. Subsampling, des Teilbereichs bzw. der Gesamtfläche des erfassten Bildes erhalten, bei welcher nur jeder zweite bzw. n-te Bildpunkt in beiden Dimensionen des Wertdokuments ausgewählt wird. Auf diese Weise kann die Rechenzeit für die Durchführung des Verfahrens reduziert werden, ohne dass die Erkennung bzw. Klassifizierung der Bildpunkte hinsichtlich möglicher Farbabnutzungen des Wertdokuments signifikant beeinträchtigt wird.
Vorzugsweise entspricht der ermittelte Intensitätswert dem jeweils höchsten Intensitätswert aus den Intensitätswerten, die dem Bildpunkt und/ oder den Bildpunkten in der Umgebung dieses Bildpunkts zugeordnet sind. Die bei der Einstufung des jeweiligen Bildpunkts herangezogene Helligkeit wird hierbei durch den höchsten anzutreffenden Intensitätswert der Bildpunkte im Bereich des jeweiligen Bildpunkts repräsentiert. Die Einstufung des jeweiligen Bildpunkts hinsichtlich einer möglichen Farbabnutzung des Wertdokuments ist dabei besonders zuverlässig. Alternativ kann, je nach Anwendungsfall, auch bevorzugt sein, dass der ermittelte Intensitätswert dem jeweils niedrigsten Intensitätswert aus den Intensitätswerten, die dem Bild- punkt und/ oder Bildpunkten in der Umgebung dieses Bildpunkts zugeordnet sind, entspricht.
Bei einer besonders bevorzugten Ausführung entspricht der ermittelte Inten- sitätswert einem Mittelwert, welcher aus den Intensitätswerten, die dem Bildpunkt und/ oder Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind, gebildet wird. Der hierbei ermittelte Intensitätswert entspricht somit einer mittleren Helligkeit des Bildes des Wertdokuments im Bereich des jeweiligen Bildpunkts, dessen Einstufung hinsichtlich einer möglichen Farbabnutzung des Wertdokuments dadurch besonders zuverlässig ist.
Es ist ferner bevorzugt, dass die Ermittlung des Intensitätswertes und/ oder die Berechnung des Kontrastwertes anhand von Intensitätswerten erfolgen, die dem Bildpunkt und/ oder den diesem Bildpunkt unmittelbar benachbar- ten Bildpunkten zugeordnet sind. Im Falle rechteckiger, insbesondere quadratischer, Detektorelemente bei der Erfassung des Bildes des Wertdokuments werden die Bildpunkte des Bildes ebenfalls durch rechteckige bzw. quadratische Bildpunkte (Pixel) repräsentiert. Die Bildpunkte, deren Intensitätswerte bei der Ermittlung eines maximalen, minimalen bzw. mittleren Intensitäts- wertes und/ oder der Berechnung eines Kontrastwertes herangezogen werden, bilden hierbei vorzugsweise eine Gruppe von 3 x 3 Bildpunkten, wobei in der Mitte der Gruppe der jeweils einzustufende Bildpunkt liegt, an welchen die restlichen acht Bildpunkte angrenzen. Letztere bilden also die unmittelbare Umgebung des Bildpunkts.
Bei der Ermittlung des maximalen, minimalen bzw. mittleren Intensitätswertes und/ oder der Berechnung des Kontrastwertes wird vorzugsweise jeweils ein sog. lokaler Operator verwendet, durch welchen nicht der dem jeweiligen Bildpunkt zugeordnete Intensitätswert, sondern auch die Intensitätswer- te von benachbarten Bildpunkten bzw. Bildpunkten aus der Umgebung berücksichtigt werden. Der lokale Bildausschnitt wird daher auch als Operatorfenster bezeichnet, das vorzugsweise 3 x 3 Bildpunkte umfasst. Grundsätzlich ist es aber auch möglich, größere Operatorfenster mit beispielsweise 5 x 5, 7 x 7, 9 x 9 oder 11 x 11 Bildpunkten zu definieren. Die Anzahl von Bildpunkten im Operatorfenster ist vorzugsweise ungerade, damit der jeweils betrachtete Bildpunkt in der Mitte des Operatorfensters liegt.
Durch Berücksichtigung der dem jeweils betrachteten Bildpunkt unmittelbar benachbarten Bildpunkte bzw. der in einem definierten Operatorfenster liegende Bildpunkte bei der Ermittlung des maximalen, minimalen bzw. mittleren Intensitätswertes und/ oder der Berechnung des Kontrastwertes lässt sich anhand der hierbei erhaltenen Werte eine besonders zuverlässige Einstufung des jeweiligen Bildpunkts hinsichtlich einer Farbabnutzung des Wertdokuments vornehmen.
Bei dem berechneten Kontrastwert handelt es sich vorzugsweise um ein Maß für eine relative Intensitätsänderung im jeweils betrachteten Bereich des Bildes. Vorzugsweise wird der Kontrastwert unter Berücksichtigung eines höchsten Intensitätswertes und eines niedrigsten Intensitätswertes berechnet, wobei der höchste und niedrigste Intensitätswert aus den Intensitätswerten, die dem Bildpunkt und den Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind, ermittelt wird. Vorzugsweise entspricht der Kontrastwert einem Quotienten aus einer Differenz zwischen dem maximalen und minimalen Intensitätswert im Zähler und einem weiteren Intensitätswert im Nenner, wobei der weitere Intensitätswert vorzugsweise der Summe aus dem maximalen und minimalen Intensitätswert entspricht. Alternativ kann der weitere Intensitätswert auch einem aus den Intensitätswerten, die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeord- net sind, gebildeten Mittelwert entsprechen. Je nach Anwendungsfall kann hierbei der jeweils aussagekräftigste Kontrastwert berechnet und zusammen mit dem ermittelten Intensitätswert, insbesondere dem gebildeten Mittelwert, bei der Einstufung des jeweiligen Bildpunkts hinsichtlich einer Farbab- nutzung des Wertdokuments herangezogen werden, wodurch diese eine besonders hohe Zuverlässigkeit aufweist.
Vorzugsweise wird anhand des ermittelten Intensitätswertes, insbesondere des Mittelwertes, und des Kontrastwertes ein Einstufungsparameter berech- net und die Einstufung des jeweiligen Bildpunkts in Abhängigkeit vom Ergebnis eines Vergleichs des Einstufungsparameters mit einem Vergleichswert vorgenommen. Hierdurch wird die Zahl der bei der Einstufung zu vergleichenden Parameter von ursprünglich zwei, nämlich dem ermittelten Intensitätswert bzw. Mittelwert und dem berechneten Kontrastwert, auf nur einen Einstufungsparameter reduziert, so dass durch einen einfachen Vergleich des berechneten Einstufungsparameters mit einem einzigen Vergleichswert eine Klassifizierung des jeweiligen Bildpunkts auf zuverlässige und besonders einfache Weise erfolgt. Vorzugsweise wird der Einstufungsparameter anhand einer Unterscheidungsfunktion mit jeweils einer Variablen für den ermittelten Intensitätswert, insbesondere den Mittelwert, und den Kontrastwert berechnet. Bei der Unterscheidungsfunktion kann es sich vorzugsweise um eine lineare Funktion, eine Treppenfunktion oder aber auch um ein Polynom, insbesondere ein Polynom zweiten Grades, handeln. Die jeweiligen Parameter der Unterscheidungsfunktion, bei welchen es sich vorzugsweise um konstante Summanden, Subtrahenden und/ oder Faktoren handelt, können vorzugsweise im Rahmen eines vorab erfolgenden Testlaufs bzw. einer Adaption des Verfahrens bzw. der Vorrichtung festgelegt werden. Je nach Anwendungsfall erlaubt eine solche Unterscheidungsfunktion eine besonders zuverlässige Unterscheidung von Bildpunkten, bei denen an den entsprechenden Stellen des Wertdokuments eine Farbabnutzung vorliegt, und solchen Bildpunkten, bei denen dies nicht der Fall ist.
Vorzugsweise kann vorgesehen sein, dass aus den hinsichtlich einer Farbabnutzung des Wertdokuments eingestuften Bildpunkten diejenigen Bildpunkte entfernt werden, die im Bereich einer Kante des Wertdokuments und/ oder eines das Wertdokument charakterisierenden Elements, insbesondere eines auf das Wertdokument aufgedruckten Elements, liegen. Dadurch werden bei der Klassifizierung des Wertdokuments Bildpunkte zuverlässig ausgeschlossen, bei denen die Wahrscheinlichkeit, dass diese fälschlicherweise als im Bereich einer Farbabnutzung liegende Bildpunkte identifiziert werden, vergleichsweise hoch ist. Dementsprechend ist eine Klassifizierung des Wertdokuments auf der Grundlage der in dieser Weise bereinigten Bildpunkte ganz besonders zuverlässig.
Vorzugsweise wird für die hinsichtlich einer Farbabnutzung des Wertdokuments eingestuften Bildpunkte, gegebenenfalls nach Entfernen von im Bereich einer Kante des Wertdokuments und/ oder im Bereich eines auf dem Wertdokument aufgebrachten Elements liegenden Bildpunkten, jeweils ein Maß für die Farbabnutzung an der entsprechenden Stelle des Wertdokuments unter Berücksichtigung mindestens eines der folgenden Parameter ermittelt: Bereich der Farbabnutzung, Helligkeit der Farbabnutzung, Kontrast der Farbabnutzung, Position der Farbabnutzung. Vorzugsweise wird das Maß der Farbabnutzung mit Hilfe einer linearen Funktion berechnet, bei welcher einer oder mehrere der vorstehend genannten Parameter Variablen bilden. Die Anzahl von Parametern als Variablen der linearen Funktion sowie die zugehörigen Koeffizienten, insbesondere Faktoren, können bei- spielsweise bei Testläufen mit Wertdokumenten bekannter Eigenschaften festgelegt bzw. ermittelt werden. Die Ermittlung eines die Farbabnutzung am Wertdokument charakterisierenden Maßes gibt zusätzlich Auskunft über das Ausmaß und/ oder die Relevanz einer erkannten Farbabnutzung, so dass eine noch genauere Klassifizierung des Wertdokuments als„fit" bzw. aufgrund von Farbabnutzungen als„unfit" ermöglicht wird.
Es ist ferner bevorzugt, dass das vom Wertdokument erf asste Bild ein
Transmissionsbild, insbesondere ein Dunkelfeld-Transmissionsbild, ist.
Durch Verwendung der anhand eines Transmissionsbildes ermittelten Intensitätswerte bzw. berechneten Kontrastwerte kann eine Einstufung des jeweiligen Bildpunkts hinsichtlich einer Farbabnutzung des Wertdokuments besonders zuverlässig vorgenommen werden. Dies gilt besonders für Dunkelfeld-Transmissionsbilder.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Zusammenhang mit den Figuren. Es zeigen:
Fig. l ein Beispiel eines Wertdokumentbearbeitungssystems mit einer
Vorrichtung zur Erkennung von Farbabnutzungen an Wertdokumenten;
Fig. 2 Beispiel eines Transmissionsbildes einer Banknote;
Fig. 3 ein Diagramm mit einem ersten und zweiten Beispiel einer Unterscheidungsfunktion; und Fig. 4 ein Beispiel eines aus dem in Figur 2 gezeigten Transmissionsbild abgeleiteten Bildes mit Bildpunkten, die als auf einer Farbabnutzung der Banknote beruhende Bildpunkte eingestuft wurden.
Fig. 1 zeigt ein Beispiel eines Wertdokumentbearbeitungssystems mit einer Vorrichtung 10 zur Erkennung von Farbabnutzungen an einem Wertdokument 1, bei welchem es sich insbesondere um eine Banknote handelt, und einer nur schematisch angedeuteten Vorrichtung 30 zum Bearbeiten, insbe- sondere Befördern und/ oder Sortieren und/ oder Zählen, von Wertdokumenten, insbesondere in Abhängigkeit von am jeweiligen Wertdokument 1 erkannten Farbabnutzungen.
Die Vorrichtung 10 weist eine Strahlungsquelle 2 auf, welche dazu ausgelegt ist, elektromagnetische Strahlung zu erzeugen, mit welcher die Banknote 1 bestrahlt wird. Vorzugsweise handelt es sich bei der elektromagnetischen Strahlung um Infrarotstrahlung.
Ferner ist ein Bildsensor 3 vorgesehen, welcher dazu ausgelegt ist, von der Banknote 1 ausgehende elektromagnetische Strahlung ortsaufgelöst zu erfassen. In der im vorliegenden Beispiel gezeigten Anordnung von Strahlungsquelle 2 und Bildsensor 3 handelt es sich bei dem vom Bildsensor 3 erfassten Bild der Banknote 1 um ein sogenanntes Dunkelfeld-Transmissionsbild. Alternativ ist es aber auch möglich, die Strahlungsquelle 2 relativ zum
Bildsensor 3 derart anzuordnen, dass Letzterer ein Hellfeld-Transmissionsbild oder ein Remissionsbild erfasst.
Das vom Bildsensor 3 erfasste Bild der Banknote 1 weist eine Vielzahl von Bildpunkten, sog. Pixel, auf, denen jeweils mindestens ein Intensitätswert zugeordnet ist, welcher ein Maß für die Intensität der von einer Vielzahl von Orten auf der Banknote 1 transmittierten bzw. reflektierten und vom
Bildsensor 3 erfassten elektromagnetischen Strahlung darstellt. Die vom Bildsensor 3 erzeugten Bilddaten 4, welche die den einzelnen Bildpunkten zugeordneten Intensitätswerte enthalten, werden an eine Auswertungseinheit 5 weitergeleitet und dort insbesondere hinsichtlich möglicher Farbabnutzungen an der Banknote 1 analysiert und entsprechend eingestuft. Vorzugsweise ist die Auswertungseinheit 5 dazu ausgelegt, die Vorrichtung 30 zum Bearbeiten von Banknoten derart zu steuern, dass Banknoten 1 in Abhängigkeit vom Ergebnis der Einstufung bzw. Klassifizierung hinsichtlich einer Farbabnutzung in unterschiedliche Ausgabefächer 31 und 32 ausgegeben werden.
Die Analyse der Bilddaten 4 hinsichtlich möglicher Farbabnutzungen der Banknote 1 und deren entsprechende Einstufung bzw. Klassifizierung wird im Folgenden näher erläutert. Fig. 2 zeigt ein Beispiel eines Dunkelfeld-Transmissionsbildes 4 einer Polymer-Banknote, welche typischerweise eine transparente Substratfolie aufweist, die mit einer Grundierung aus Weißlack versehen ist. Auf der Grundierung ist beispielsweise mittels Offsetdruck ein Druckbild, welches auch als Hintergrunddruckbild bezeichnet wird, aufgedruckt. Alternativ oder zu- sätzlich werden beispielsweise Ziffern und/ oder Infrarot-sensitive Bereiche mittels Intagliodruck aufgedruckt.
Aufgrund des beschriebenen typischen Aufbaus von Polymer-Banknoten machen sich Farbabnutzungen und andere Defekte im Dunkelfeld- Transmissionsbild 4 unterschiedlich bemerkbar. Beispielsweise erscheinen Stellen 6, an welchen die Weißlack-Grundierung teilweise abgetragen ist, als sehr dunkel, wohingegen Farbabnutzungen in bedruckten Bereichen in der Regel als relativ helle Stellen 7 erscheinen, da dort die von unten schräg einfallende elektromagnetische Strahlung an der Weißlack-Grundierung gestreut wird. Löcher und Risse in der Banknote machen sich im Dunkelfeld- Transmissionsbild 4 meist als relativ dunkle Bereiche 8 bemerkbar, da dort keine Streuung der elektromagnetischen Strahlung auftritt und diese dadurch nicht vom Bildsensor 3 erfasst wird.
Um nun die in den Bereichen 6 und 7 liegenden Bildpunkte des Bildes 4 automatisch zu ermitteln, welche die Stellen auf der Banknote mit einer Farbabnutzung entsprechen, wird zunächst für jeden Bildpunkt des Bildes 4 oder zumindest für jeden Bildpunkt einer Auswahl von Bildpunkten aus dem Bild 4, beispielsweise im Bereich eines bestimmten Sicherheitsmerkmals, ein Mittelwert m sowie ein Kontrastwert c unter Berücksichtigung der Intensitätswerte des jeweiligen Bildpunkts selbst sowie der diesen Bildpunkt umgebenden Bildpunkte ermittelt.
Wie anhand eines vergrößerten Ausschnitts eines Bereichs 9 des Bildes 4 veranschaulicht ist, sind im Bereich 9 insgesamt neun Bildpunkte enthalten, wobei der Bildpunkt (schraffiert), für welchen der Mittelwert m sowie der Kontrastwert c berechnet wird, in der Mitte des Bereichs 9 liegt. Vorzugsweise handelt es sich bei dem Mittelwert m um den arithmetischen Mittelwert, der wie folgt berechnet wird:
(1)
ie(0,8) Po bis Pe bezeichnen die Intensitätswerte des betrachteten Bildpunkts und der benachbarten Bildpunkte.
Es ist ferner bevorzugt, dass der Kontrastwert c dem sogenannten Michel- sen-Kontrast entspricht, welcher wie folgt berechnet wird:
Das heißt, der Kontrastwert c entspricht dem Quotienten aus der Differenz zwischen dem höchsten Intensitätswert und dem niedrigsten Intensitätswert einerseits und der Summe aus dem höchsten Intensitätswert und niedrigsten Intensitätswert andererseits, und zwar jeweils aus den Intensitätswerten Po bis Ps im betrachteten Bereich 9.
Grundsätzlich ist es möglich, für alle Bildpunkte des Bildes 4 einen entsprechenden Mittelwert m und Kontrastwert c zu berechnen. Um Rechenzeit zu sparen, ohne aber gleichzeitig relevante Information zu verlieren, kann es vorteilhaft sein, mittels Unterabtastung, dem sog. Subsampling, nur für jeden zweiten Bildpunkt entlang der beiden Dimensionen des Bildes 4 entsprechende Werte m und c unter Berücksichtigung der jeweiligen Umgebung des Bildpunktes zu ermitteln, was in Fig. 2 anhand des vergrößerten Bereiches 11 des Bildes 4 exemplarisch veranschaulicht ist. Für die schraffierten Bildpunkte wird jeweils ein Mittelwert m und ein Kontrastwert c berechnet.
In einem weiteren Schritt wird anhand des je Bildpunkt ermittelten Mittelwertes m und Kontrastwertes c eine erste Einstufung, welche auch als Vorunterscheidung bezeichnet werden kann, dahingehend vorgenommen, ob der jeweilige Bildpunkt auf eine Farbabnutzung an der entsprechenden Stelle der Banknote schließen lässt.
Dies wird vorzugsweise durch Berechnung eines Einstufungsparameters f mit Hilfe einer Unterscheidungsfunktion f (m, c) durchgeführt, welche wie folgt definiert ist: f (m, c) = c— a0 + α, x w1 + a2 x m2 = c— x m' ) 0 (3)
In vorliegenden Beispiel ist die Vorunterscheidungsfunktion f (m, c) ein Polynom zweiten Grades in den Variablen m und c, wobei die Parameter ai mit i = 0, 1 und 2 des Polynoms durch eine vorab durchgeführte Adaption des Verfahrens bzw. der Vorrichtung festgelegt bzw. abgeschätzt werden können.
Ist der anhand der Unterscheidungsfunktion f(m, c) berechnete Einstufungsparameter f für einen Bildpunkt größer oder gleich einem Vergleichswert, der im vorliegenden Beispiel null ist, so wird dieser Bildpunkt als sog. Ink- wear-Kandidat eingestuft, d.h. der Bildpunkt entspricht dann möglicherweise einer Stelle auf der Banknote mit einer Farbabnutzung.
Dies wird anhand eines in Fig. 3 gezeigten ersten Beispiels (gestrichelt) eines Verlaufs des Kontrastes c über dem Mittelwert m veranschaulicht, welcher die Grenze bildet zwischen Bildpunkten, die nicht als Inkwear-Kandidat eingestuft wurden (Bereich unterhalb der gestrichelten Linie) und Bildpunkten, die als Inkwear-Kandidat eingestuft wurden (Bereich oberhalb der gestrichelten Linie). Inkwear-Kandidaten, die einer Farbabnutzung im Bereich des Intagliodrucks entsprechen, haben typischerweise eine relativ niedrige mittlere Intensität m und einen relativ hohen Kontrast c und liegen dement- sprechend im linken Bereich des Diagramms oberhalb der gestrichelten Linie. Inkwear-Kandidaten, die einer Farbabnutzung im Bereich des Wasserzeichens der Banknote entsprechen, haben eine relativ hohe mittlere Intensität m bei gleichzeitig vergleichsweise niedrigen Kontrastwerten c und liegen damit im rechten Bereich des Diagramms oberhalb der gestrichelten Linie. Inkwear-Kandidaten, die auf eine Farbabnutzung im Off setdruckbereich der Banknote zurückgehen, weisen typischerweise eine mittlere Helligkeit sowie einen mittleren Kontrast c auf und liegen dementsprechend im mittleren Bereich des Diagramms oberhalb der gestrichelten Linie.
Je nach Anwendungsfall können grundsätzlich auch andere Funktionen als Unterscheidungsfunktion in Frage kommen, beispielsweise eine lineare Funktion oder eine Treppenfunktion, für welche das in Fig. 3 gezeigte zweite Beispiel (strichpunktiert) eines Verlaufs des Kontrastes c über dem Mittelwert m erhalten wird. Bildpunkte, die aufgrund des jeweils berechneten Mittelwertes m und Kontrastwertes c oberhalb des strichpunktierten Verlaufs liegen, werden als Inkwear-Kandidaten eingestuft, wohingegen unterhalb des Verlaufs liegende Bildpunkte als Non-Inkwear-Kandidaten eingestuft werden. Im Übrigen gelten die obigen Ausführungen zum ersten Beispiel des Verlaufs entsprechend.
In einem optionalen weiteren Schritt kann vorgesehen sein, die als Inkwear- Kandidaten eingestuften Bildpunkte dahingehend zu überprüfen, ob diese in bestimmten Bereichen der Banknote liegen, wie beispielsweise im Bereich des Randes der Banknote und/ oder im Bereich bestimmter Druckelemente. Da Bildpunkte aus entsprechenden Bildbereichen des Bildes 4 unter Umständen fälschlicherweise als Inkwear-Kandidaten eingestuft werden können, kann es vorgesehen sein, diese Bildpunkte aus der Gruppe der als Inkwear-Kandidaten eingestuften Bildpunkte zu entfernen. Da hierbei die Ink- wear-Kandidaten anhand ihrer Lage im Bild 4 der Banknote auf ihre Aussagekraft hin geprüft bzw. validiert werden, kann dieser Schritt auch als Validierungsschritt oder Validierung betrachtet werden. In einem weiteren optionalen Schritt kann vorgesehen sein, den Intensitätswert I(x, y) des jeweiligen Bildpunkts (x, y) auf null zu setzen, falls die aus dem zugehörigen Mittelwert m und Kontrastwert c errechnete Unterscheidungsfunktion f (m, c) kleiner ist als null, und auf einen bestimmten Intensitätswert, beispielsweise den im Bereich des jeweiligen Bildpunktes ermittel- ten höchsten Intensitätswert Imax bzw. max{Pi} zu setzen, falls die Unterscheidungsfunktion größer oder gleich null ist:
Π χ , y ) = i
= 0 , wenn f ( m , c ) < 0
Auf diese Weise werden alle als Inkwear-Kandidaten eingestuften Bildpunkte gegenüber einem schwarzen Hintergrund besonders gut sichtbar hervorgehoben. In einem weiteren optionalen Schritt kann vorgesehen sein, das wie vorstehend beschrieben erhaltene Bild von Farbabnutzungen bezüglich Helligkeit zu skalieren, indem allen Bildpunkten mit einer von null verschiedenen Intensität ein konstanter, insbesondere maximaler, Intensitätswert zugeordnet ist, so dass das schließlich erhaltene Bild ein Schwarz- Weiß-Bild darstellt, in dem Bildpunkte, die Farbabnutzungen an den entsprechenden Stellen der Banknote entsprechen, als weiße Bereiche vor einem schwarzen oder sehr dunklen Hintergrund dargestellt werden. Ein solches Bild ist in Fig. 4 beispielhaft gezeigt. Die in Fig. 1 eingezeichneten Bereiche 6 und 7, die Stellen auf der Banknote mit Farbabnutzung entsprechen, sind als weiße Bereiche vor einem homogenen dunklen Hintergrund sehr gut erkennbar, wohingegen Bereiche 8 (siehe Fig. 1), die auf andere Defekte, wie etwa Risse oder Löcher, in der Banknote zurückgehen, nicht in Erscheinung treten. Ebenfalls nicht mehr sichtbar sind bedruckte und/ oder mit einem Wasserzeichen versehene Bereiche (siehe Fig. 1).
In einem optionalen weiteren Schritt, welcher auch als Klassifizierung bezeichnet wird, kann vorgesehen sein, dass für alle als Inkwear-Kandidaten eingestuften Bildpunkte, gegebenenfalls nach einer Validierung mit Entfernung von am Rand und/ oder im Bereich bestimmter Druckelemente liegender Bildpunkten, ein Maß (sog. Inkwear Level) für die jeweilige Farbabnutzung an der entsprechenden Stelle der Banknote abgeleitet wird. Dies kann vorzugsweise dadurch erfolgen, dass für jeden dieser Bildpunkte ein Inkwear Level (InkL) anhand folgender linearer Funktion berechnet wird:
InkL = a, x InkA + b, x InkB + c, *InkC + di * InkP (4)
wobei ai angibt, in welchem Bereich des Bildes der Banknote der als Ink- wear-Kandidat eingestufte Bildpunkt liegt, und bi ein Maß für die Helligkeit, Q ein Maß für den Kontrast und di die Position des als Inkwear-Kandidaten eingestuften Bildpunkts angeben. Die zugehörigen Koeffizienten InkA, InkB, InkC und InkP können bei vorab durchgeführten Testläufen anhand von Banknoten mit bekannten Eigenschaften berechnet werden. Ebenso kann festgelegt bzw. konfiguriert werden, welche bzw. wie viele der vorstehend genannten Informationen ai, bi, Ci bzw. di bei der Berechnung des Inkwear Levels berücksichtigt werden. Alternativ zur weiter oben beschriebenen Bestimmung des jeweiligen Kontrastwertes c durch Berücksichtigung der lokalen Umgebung des jeweiligen Bildpunktes mittels einer sog. lokalen Operation bzw. eines lokalen Operators können Kontrastwerte auch mit Hilfe eines Histogramms ermittelt werden, bei welchem die Anzahl oder Häufigkeit von Bildpunkten über deren Intensität aufgetragen ist. Bestimmte Bereiche der Banknote, in denen eine Farbabnutzung in Form eines Abriebs oder Verschmierens der Druckfarbe vorliegt, können dadurch identifiziert werden, dass im jeweiligen Histogramm zwischen einem Bereich heller Bildpunkte und einem Bereich dunkler Bildpunkte ein Übergangsbereich auftritt, in welchen nur sehr wenige Bildpunkte anzutreffen sind. Dieser Übergangsbereich ist vom jeweiligen Zustand der Banknote abhängig. Durch Verwendung einer dynamisch berechneten Schwelle kann der jeweilige Übergangsbereich in einem Histogramm ermittelt werden. Anhand des jeweils niedrigsten und höchsten Intensitätswertes in diesem Übergangsbereich kann dann anhand von Gleichung (2) ein entsprechender Kontrastwert c ermittelt werden.
Vorzugsweise ist das Verfahren bzw. die Vorrichtung auch dazu ausgelegt, gegebenenfalls schrägliegende bzw. schräg am Bildsensor 3 vorbeilaufende Banknoten 1 hinsichtlich etwaiger Farbabnutzungen zu analysieren bzw. zu klassifizieren. Hierzu wird vorzugsweise bei einer Unterabtastung eine Schräglaufkorrektur, sog. Skew-Korrektur, nach dem Bresenham- Algorithmus durchgeführt, wodurch etwaige Rundungsfehler, die durch eine Diskretisierung von kontinuierlichen Koordinaten entstehen, minimiert werden.

Claims

P a t e n t a n s p r ü c h e
1. Verfahren zur Erkennung von Farbabnutzungen an einem Wertdokument (1), insbesondere einer Banknote, anhand eines vom Wertdokument (1) erfassten Bildes (4), welches eine Vielzahl von Bildpunkten aufweist, denen jeweils mindestens ein Intensitätswert (Pi) zugeordnet ist, wobei für jeden Bildpunkt einer Auswahl von Bildpunkten des Bildes (4) folgende Schritte durchgeführt werden:
a) Ermittlung eines Intensitätswertes (Pi, m) aus Intensitätswerten (Po - P8), die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind,
b) Berechnung eines Kontrastwertes (c) anhand von Intensitätswerten (Po - P8), die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind, und
c) Einstufung des jeweiligen Bildpunkts hinsichtlich einer Farbabnutzung des Wertdokuments (1) in Abhängigkeit vom jeweils ermittelten Intensitätswert (Pi, m) und berechneten Kontrastwert (c).
2. Verfahren nach Anspruch 1, wobei der ermittelte Intensitätswert (Pi) dem höchsten Intensitätswert (max{Pi}) aus den Intensitätswerten (Po - Ps), die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind, entspricht.
3. Vorrichtung nach Anspruch 1, wobei der ermittelte Intensitätswert (m) einem Mittelwert (m) entspricht, welcher aus den Intensitätswerten (Po - P8), die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind, gebildet wird.
4. Verfahren nach einem der vorangehenden Ansprüche, wobei die Ermittlung des Intensitätswertes (Pi, m) und/ oder die Berechnung des Kontrastwertes (c) anhand von Intensitätswerten (Po - Ps) erfolgt, die dem Bildpunkt und den diesem Bildpunkt unmittelbar benachbarten Bildpunkten zugeordnet sind.
5. Verfahren nach einem der vorangehenden Ansprüche, wobei aus den Intensitätswerten (Po - Ps), die dem Bildpunkt und den Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind, ein höchster Intensitätswert (max{Pij) und ein niedrigster Intensitätswert (min{Pi}) ermittelt wird und der Kontrastwert (c) aus dem höchsten Intensitätswert (max{Pi}) und dem niedrigsten Intensitätswert (min{Pi}) berechnet wird.
6. Verfahren nach einem der vorangehenden Ansprüche, wobei anhand des ermittelten Intensitätswertes (Pi, m), insbesondere des Mittelwertes (m), und des Kontrastwertes (c) ein Einstufungsparameter (f) berechnet wird und die Einstufung des jeweiligen Bildpunkts in Abhängigkeit vom Ergebnis eines Vergleichs des Einstufungsparameters (f) mit einem Vergleichswert erfolgt.
7. Verfahren nach Anspruch 6, wobei der Einstufungsparameter (f) anhand einer Unterscheidungsf unktion (f (m, c)) mit jeweils einer Variable für den ermittelten Intensitätswert (Pi, m), insbesondere den Mittelwert (m), und den Kontrastwert (c) berechnet wird.
8. Verfahren nach Anspruch 7, wobei die Unterscheidungsfunktion (f (m, c)) durch eine lineare Funktion, eine Treppenfunktion oder ein Polynom, insbesondere ein Polynom zweiten Grades, gegeben ist.
9. Verfahren nach einem der vorangehenden Ansprüche, wobei aus den hinsichtlich einer Farbabnutzung des Wertdokuments (1) eingestuften Bildpunkten diejenigen Bildpunkte entfernt werden, die im Bereich einer Kante des Wertdokuments (1) und/ oder im Bereich eines auf dem Wertdokument (1) aufgebrachten, insbesondere aufgedruckten, Elements liegen.
10. Verfahren nach einem der vorangehenden Ansprüche, wobei für die hin- sichtlich einer Farbabnutzung des Wertdokuments (1) eingestuften Bildpunkte ein Maß für die Farbabnutzung an der entsprechenden Stelle des Wertdokuments (1) basierend auf mindestens einem der folgenden Parameter ermittelt: Bereich der Farbabnutzung (ai), Helligkeit der Farbabnutzung (bi), Kontrast der Farbabnutzung (ci), Position der Farbabnut- zung (di).
11. Verfahren nach einem der vorangehenden Ansprüche, wobei das vom Wertdokument (1) erfasste Bild (4) ein Transmissionsbild, insbesondere ein Dunkelfeld-Transmissionsbild, ist.
.. Vorrichtung zur Erkennung von Farbabnutzungen an einem Wertdokument (1), insbesondere einer Banknote, anhand eines vom Wertdokument (1) erfassten Bildes, welches eine Vielzahl von Bildpunkten aufweist, denen jeweils mindestens ein Intensitätswert (Pi) zugeordnet ist, mit einer Auswertungseinheit (5), welche dazu eingerichtet ist, für jeden Bildpunkt einer Auswahl von Bildpunkten des Bildes (4) folgende Schritte durchzuführen:
a) Ermittlung eines Intensitätswertes (Pi, m) aus Intensitätswerten (Po - P8), die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind,
b) Berechnung eines Kontrastwertes (c) anhand von Intensitätswerten (Po - Pe), die dem Bildpunkt und Bildpunkten in der Umgebung des Bildpunkts zugeordnet sind, und
c) Einstufung des jeweiligen Bildpunkts hinsichtlich einer Farbabnutzung des Wertdokuments (1) in Abhängigkeit vom jeweils ermittelten Intensitätswert (Pi, m) und berechneten Kontrastwert (c).
13. Wertdokumentbearbeitungssystem mit
- einer Sensorvorrichtung (2, 3) zur Erfassung eines Bildes (4) eines Wert- dokuments (1), insbesondere einer Banknote,
- einer Vorrichtung (10) zur Erkennung von Farbabnutzungen an dem Wertdokument (1) nach Anspruch 12 und
- einer Vorrichtung (30) zum Bearbeiten, insbesondere Befördern und/ oder Sortieren und/ oder Zählen, von Wertdokumenten in Abhän- gigkeit von am jeweiligen Wertdokument (1) erkannten Farbabnutzungen.
EP17772608.0A 2016-09-22 2017-09-13 Verfahren und vorrichtung zur erkennung von farbabnutzungen an einer banknote, sowie wertdokumentbearbeitungssystem Active EP3516634B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016011417.7A DE102016011417A1 (de) 2016-09-22 2016-09-22 Verfahren und Vorrichtung zur Erkennung von Farbabnutzungen an einem Wertdokument, insbesondere einer Banknote, sowie Wertdokumentbearbeitungssystem
PCT/EP2017/001091 WO2018054529A1 (de) 2016-09-22 2017-09-13 Verfahren und vorrichtung zur erkennung von farbabnutzungen an einem wertdokument, insbesondere einer banknote, sowie wertdokumentbearbeitungssystem

Publications (2)

Publication Number Publication Date
EP3516634A1 true EP3516634A1 (de) 2019-07-31
EP3516634B1 EP3516634B1 (de) 2022-11-09

Family

ID=59969112

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17772608.0A Active EP3516634B1 (de) 2016-09-22 2017-09-13 Verfahren und vorrichtung zur erkennung von farbabnutzungen an einer banknote, sowie wertdokumentbearbeitungssystem

Country Status (5)

Country Link
EP (1) EP3516634B1 (de)
AU (1) AU2017332227B2 (de)
CA (1) CA3035917C (de)
DE (1) DE102016011417A1 (de)
WO (1) WO2018054529A1 (de)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT349248B (de) 1976-11-29 1979-03-26 Gao Ges Automation Org Verfahren zur dynamischen messung des verschmutzungsgrades von banknoten und pruefvorrichtung zur durchfuehrung dieses verfahrens
DE19840482A1 (de) * 1998-09-04 2000-03-09 Giesecke & Devrient Gmbh Verfahren und Vorrichtung zum Prüfen von Wertpapieren
JP4180715B2 (ja) * 1998-12-14 2008-11-12 株式会社東芝 印刷物の汚損度判別装置
JP4805495B2 (ja) * 2001-09-17 2011-11-02 株式会社東芝 透過パターン検出装置
DE10335147A1 (de) 2003-07-31 2005-03-03 Giesecke & Devrient Gmbh Verfahren und Vorrichtung für die Ermittlung des Zustands von Banknoten
DE102004018856A1 (de) 2004-04-19 2005-11-03 Giesecke & Devrient Gmbh Vorrichtung zur Prüfung von Banknoten
DE102006053788A1 (de) * 2006-11-15 2008-05-21 Giesecke & Devrient Gmbh Verfahren zur Erkennung von Verschmutzungen im Bereich von Farbübergängen auf Wertdokumenten und Mittel zur Durchführung des Verfahrens
US8577117B2 (en) * 2008-06-30 2013-11-05 Ncr Corporation Evaluating soiling of a media item
AT509025B1 (de) 2009-01-21 2013-07-15 Arc Austrian Res Centers Gmbh Verfahren zur ermittlung der positionen von passpunkten
JP2010277252A (ja) * 2009-05-27 2010-12-09 Toshiba Corp 紙葉類判別装置
AT508873B1 (de) 2009-06-04 2011-07-15 Ait Austrian Inst Technology Verfahren zur aufnahme eines bildes
AT509027B1 (de) 2009-08-03 2013-01-15 Ait Austrian Inst Technology Verfahren und vorrichtung zur reduktion von aufgezeichneten bilddaten
US8805025B2 (en) * 2012-03-30 2014-08-12 Ncr Corporation Stain detection
CN102682514B (zh) * 2012-05-17 2014-07-02 广州广电运通金融电子股份有限公司 一种纸类识别方法及相关装置

Also Published As

Publication number Publication date
WO2018054529A1 (de) 2018-03-29
EP3516634B1 (de) 2022-11-09
DE102016011417A1 (de) 2018-03-22
AU2017332227A1 (en) 2019-04-18
CA3035917C (en) 2021-02-16
AU2017332227B2 (en) 2020-06-04
CA3035917A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
DE10326035B4 (de) Verfahren zur adaptiven Fehlererkennung auf einer strukturierten Oberfläche
EP2577620B1 (de) Vorrichtung zur echtheitsprüfung von wertdokumenten
EP1625936A2 (de) Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
EP3108461B1 (de) Verfahren zum untersuchen eines wertdokuments und mittel zur durchführung des verfahrens
EP3287951A1 (de) Verfahren für die urheberschaftsbewertung eines gemäldes sowie eine entsprechende verwendung
DE102011116487A1 (de) Verschmutzungsprüfung des Fensters einer Messvorrichtung
EP3443542B1 (de) Vorrichtung und verfahren zur prüfung von wertdokumenten, insbesondere banknoten, sowie wertdokumentbearbeitungssystem
DE102004019978B3 (de) Verfahren zur Beurteilung einer Qualität einer von einer Druckmaschine produzierten Drucksache
EP3516634B1 (de) Verfahren und vorrichtung zur erkennung von farbabnutzungen an einer banknote, sowie wertdokumentbearbeitungssystem
EP3050032B1 (de) Verfahren zum prüfen eines wertdokuments mit einem polymersubstrat und einem durchsichtsfenster und mittel zur durchführung des verfahrens
DE10132589B4 (de) Verfahren zur qualitativen Beurteilung von Material
EP3210195B1 (de) Vorrichtung und verfahren zur prüfung von wertdokumenten, insbesondere banknoten, sowie wertdokumentbearbeitungssystem
EP2920769B1 (de) Vorrichtung und verfahren zur prüfung von wertdokumenten
EP3455830B1 (de) Vorrichtung und verfahren zur echtheitsprüfung eines sicherheitselements
DE102013006925A1 (de) Vorrichtung und Verfahren zur Prüfung von Wertdokumenten, insbesondere Banknoten, sowie Wertdokumentbearbeitungssystem
EP2695146B9 (de) Verfahren zur prüfung von wertdokumenten
DE10326032B4 (de) Verfahren zum Selbsttest eines Bildverarbeitungssystems
DE10326031B4 (de) Verfahren zur adaptiven Kantenerkennung
EP1567991B1 (de) Verfahren und vorrichtung zur prüfung von wertdokumenten
EP3882032B1 (de) Bogeninspektion mit globaler helligkeitsanpassung
AT511399B1 (de) Verfahren zur automatisierten klassifikation von einschlüssen
DE112017001026T5 (de) Verfahren und System zur ldentifizierung und Messung eines Defekts, der die Transparenz in einem Substrat für ein Sicherheitsdokument verringert
DE102018111321A1 (de) Adaption eines Sensors für Banknoten
DE10233052A1 (de) Erkennung von Mehrfachabzügen
DE102019106440A1 (de) Vorrichtung zum Erfassen eines taktilen Sicherheitsmerkmals eines Identifikationsdokumentes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190423

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20220412

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1530882

Country of ref document: AT

Kind code of ref document: T

Effective date: 20221115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502017014076

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

RAP4 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: GIESECKE+DEVRIENT CURRENCY TECHNOLOGY GMBH

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20221109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230309

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230209

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230309

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230210

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502017014076

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20230810

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230921

Year of fee payment: 7

Ref country code: AT

Payment date: 20230915

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221109

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20230930

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20231001

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230913