EP3054429A1 - Photometric dovid comparison - Google Patents

Photometric dovid comparison Download PDF

Info

Publication number
EP3054429A1
EP3054429A1 EP15200133.5A EP15200133A EP3054429A1 EP 3054429 A1 EP3054429 A1 EP 3054429A1 EP 15200133 A EP15200133 A EP 15200133A EP 3054429 A1 EP3054429 A1 EP 3054429A1
Authority
EP
European Patent Office
Prior art keywords
image
feature
created
feature image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP15200133.5A
Other languages
German (de)
French (fr)
Other versions
EP3054429B1 (en
Inventor
Daniel Soukup
Reinhold Huber-Mörk
Svorad Stolc
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AIT Austrian Institute of Technology GmbH
Original Assignee
AIT Austrian Institute of Technology GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AIT Austrian Institute of Technology GmbH filed Critical AIT Austrian Institute of Technology GmbH
Publication of EP3054429A1 publication Critical patent/EP3054429A1/en
Application granted granted Critical
Publication of EP3054429B1 publication Critical patent/EP3054429B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12Visible light, infrared or ultraviolet radiation
    • G07D7/128Viewing devices
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/003Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements
    • G07D7/0032Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements using holograms
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12Visible light, infrared or ultraviolet radiation
    • G07D7/121Apparatus characterised by sensor details
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/202Testing patterns thereon using pattern matching
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/202Testing patterns thereon using pattern matching
    • G07D7/205Matching spectral properties
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/202Testing patterns thereon using pattern matching
    • G07D7/206Matching template patterns

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Vergleich der Oberfläche eines Gegenstands (10), insbesondere einer Banknote, einer Chipkarte oder eines Ausweises, umfassend einem DOVID-Bereich (11), mit einem Referenzgegenstand (20), ebenfalls umfassend einen DOVID-Bereich (21), a) wobei der Gegenstand (10) von einer Bildaufnahmeeinheit (30) aufgenommen wird und derart Digitalbilder (32a, 32b, ...) gleicher Größe erstellt werden, wobei jedes Digitalbild (32a, 32b, ...) jeweils unter einer Beleuchtung eines Leuchtmittels (31 a, 31 b, ...) mit jeweils unterschiedlichem Einstrahlungswinkel (Õ, ¸) erstellt wird, und derart ein Bildstapel (39) umfassend die einzelnen Digitalbilder (32a, 32b, ...) erstellt wird, b) wobei ein Merkmalsbild (33) erstellt wird, das dieselbe Größe aufweist wie die erstellten Digitalbilder (32a, 32b, ...), wobei für jeden Bildpunkt (34x, 34y, ...) des zu erstellenden Merkmalsbilds (33) - jeweils eine Beleuchtungsverteilungsfunktion (36x, 36y, ...) ermittelt wird, die angibt, wie stark der in dem Bildpunkt (34x, 34y, ...) abgebildete Teil des DOVID-Bereichs (11) bei einer Beleuchtung unter dem jeweiligen Einfallswinkel (Õ, ¸) Licht reflektiert, und - aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) ein oder mehrere charakteristische Merkmale (37x, 37y, ... ) extrahiert werden und dem jeweiligen Bildpunkt (34x, 34y, ...) des Merkmalsbilds (33) zugeordnet werden, und c) wobei das Merkmalsbild (33) mit einem nach denselben Kriterien von einem Referenzgegenstand (20) erstellten Referenz-Merkmalsbild (23) verglichen wird.The invention relates to a method for comparing the surface of an object (10), in particular a banknote, a chip card or a badge, comprising a DOVID area (11) with a reference object (20), likewise comprising a DOVID area (21). . a) wherein the object (10) is taken by an image recording unit (30) and digital images (32a, 32b, ...) of the same size are created, each digital image (32a, 32b, ...) each under a lighting of a Illuminant (31 a, 31 b, ...) is created with each different angle of incidence (Õ, ¸), and such a picture stack (39) comprising the individual digital images (32 a, 32 b, ...) is created, b) wherein a feature image (33) is created, which has the same size as the created digital images (32a, 32b, ...), wherein for each pixel (34x, 34y, ...) of the feature image to be created (33) in each case an illumination distribution function (36x, 36y,...) is determined which indicates how strongly the part of the DOVID area (11) imaged in the pixel (34x, 34y,...) illuminates at the respective angle of incidence (Õ, ¸) light reflects, and one or more characteristic features (37x, 37y, ...) are extracted from the illumination distribution function (36x, 36y, ...) and assigned to the respective pixel (34x, 34y, ...) of the feature image (33), and c) wherein the feature image (33) is compared with a reference feature image (23) created by a reference object (20) according to the same criteria.

Description

Die Erfindung betrifft ein Verfahren zum Vergleich der Oberfläche eines Gegenstands mit einem Referenzgegenstand gemäß dem Patentanspruch 1.The invention relates to a method for comparing the surface of an object with a reference object according to claim 1.

Aus dem Stand der Technik ist eine Vielzahl von Gegenständen mit Aufdrucken bzw. Applikationen bekannt, die unter unterschiedlichen Richtungen jeweils unterschiedliche Ansichten zeigen. Solche Aufdrucke befinden sich beispielsweise auf Geldscheinen und werden als DOVIDs unter Bezugnahme auf die englische Bezeichnung "Diffractive Optically Variable Image Device" bezeichnet. Gelegentlich werden DOVIDs auch als Hologramme bezeichnet. Aus dem Stand der Technik sind unterschiedliche Verfahren bekannt, wie die Echtheit von DOVID-Aufdrucken einfach ermittelt werden kann. Hierbei wird die jeweilige Banknote, deren Echtheit zu überprüfen ist, jeweils mit einer vorgegebenen echten Banknote verglichen und untersucht, ob eine Übereinstimmung vorliegt.From the prior art, a variety of articles with imprints or applications are known, each showing different views under different directions. Such imprints are for example on bills and are referred to as DOVIDs with reference to the English term "Diffractive Optically Variable Image Device". Occasionally, DOVIDs are also referred to as holograms. Different methods are known from the prior art, as the authenticity of DOVID imprints can be easily determined. In this case, the respective banknote, the authenticity of which is to be checked, is in each case compared with a predetermined genuine banknote and it is examined whether there is a match.

Aus dem Stand der Technik ist es bekannt, den betreffenden Bereich, an dem ein DOVID-Aufdruck vorhanden sein sollte, mikroskopisch zu untersuchen oder punktweise Brechungsmuster des jeweiligen Oberflächenbereichs zu ermitteln und diese anschließend zu vergleichen. Beide Herangehensweisen sind nur mit großem Aufwand zu erreichen und ermöglichen jedenfalls nicht eine rasche Untersuchung einer Vielzahl von Gegenständen, insbesondere Banknoten in kurzer Zeit.From the prior art, it is known to microscopically examine the relevant area to which a DOVID imprint should be present or to determine pointwise refraction patterns of the respective surface area and then to compare them. Both approaches can be achieved only with great effort and in any case do not allow a rapid investigation of a variety of items, especially banknotes in a short time.

Daher ist es Aufgabe der Erfindung, ein rasches und einfach durchzuführendes Verfahren zu schaffen, mit dem Gegenstände einfach auf das Vorhandensein bestimmter DOVID-Aufdrucke sowie auf deren Korrektheit überprüft werden können.Therefore, it is an object of the invention to provide a quick and easy to perform method, with the objects can be easily checked for the presence of certain DOVID imprints and their correctness.

Die Erfindung löst diese Aufgabe bei einem Verfahren der eingangs genannten Art mit den Merkmalen des Patentanspruchs 1. Die Erfindung sieht vor, dass

  • a) der Gegenstand von einer Bildaufnahmeeinheit aufgenommen wird und derart Digitalbilder gleicher Größe erstellt werden, wobei jedes Digitalbild jeweils unter einer Beleuchtung eines Leuchtmittels mit jeweils unterschiedlichem Einstrahlungswinkel erstellt wird, und derart ein Bildstapel umfassend die einzelnen Digitalbilder erstellt wird,
  • b) ein Merkmalsbild erstellt wird, das dieselbe Größe aufweist wie die erstellten Digitalbilder, wobei für jeden Bildpunkt des zu erstellenden Merkmalsbilds
    • jeweils eine Beleuchtungsverteilungsfunktion ermittelt wird, die angibt, wie stark der in dem Bildpunkt abgebildete Teil des DOVID-Bereichs bei einer Beleuchtung unter dem jeweiligen Einfallswinkel Licht reflektiert, und
    • aus der Beleuchtungsverteilungsfunktion ein oder mehrere charakteristische Merkmale extrahiert werden und dem jeweiligen Bildpunkt des Merkmalsbilds zugeordnet werden, und
  • c) das Merkmalsbild mit einem nach denselben Kriterien von einem Referenzgegenstand erstellten Referenz-Merkmalsbild verglichen wird.
The invention solves this problem in a method of the type mentioned above with the features of claim 1. The invention provides that
  • a) the object is taken by an image recording unit and digital images of the same size are created, wherein each digital image is created in each case under illumination of a light source having different angles of incidence, and such an image stack comprising the individual digital images is created,
  • b) creating a feature image having the same size as the created digital images, wherein for each pixel of the feature image to be created
    • in each case an illumination distribution function is determined, which indicates how much the part of the DOVID region imaged in the pixel reflects light when illuminated at the respective angle of incidence, and
    • one or more characteristic features are extracted from the illumination distribution function and assigned to the respective pixel of the feature image, and
  • c) the feature image is compared with a reference feature image created from a reference object according to the same criteria.

Besonders vorteilhaft ist hierbei, dass bereits mit einer geringen Anzahl von vom betreffenden Gegenstand aufgenommenen Bildern sowie mit einer relativ einfach aufbaubaren Beleuchtungseinheit eine wirksame Überprüfung von Gegenständen auf das Vorhandensein und die Korrektheit von DOVID-Aufdrucken möglich ist.It is particularly advantageous in this case that an effective checking of objects for the presence and correctness of DOVID imprints is possible even with a small number of images taken by the relevant object and with a lighting unit which can be mounted relatively simply.

Eine besonders einfache Art der Überprüfung, mit der insbesondere leicht festgestellt werden kann, ob ein DOVID-Aufdruck überhaupt vorhanden ist, sieht vor, dass aus der Beleuchtungsverteilungsfunktion die Exzentrizität als charakteristisches Merkmal extrahiert wird.A particularly simple type of check, with which it is particularly easy to determine whether a DOVID imprint is even present, provides that the eccentricity is extracted as a characteristic feature from the illumination distribution function.

Um zusätzlich oder alternativ auch feststellen zu können, ob DOVID-Bereiche auf dem Gegenstand vorhanden sind, deren Reflektivität sich bei einer Verkippung nach demselben Verkippungswinkel am stärksten ändern, kann vorgesehen sein, dass aus der Beleuchtungsverteilungsfunktion der Ausrichtungswinkel als charakteristisches Merkmal extrahiert wird, der angibt, nach welcher Verkippungsrichtung der DOVID-Bereich seine Reflektivität am stärksten oder am wenigsten ändert oder der die dominante Richtung der Reflexionsverteilung in der Beleuchtungsverteilungsfunktion angibt.In order additionally or alternatively to be able to determine whether there are DOVID areas on the object whose reflectivity changes most when tilting at the same tilt angle, it can be provided that the orientation angle is extracted from the illumination distribution function as a characteristic feature that indicates according to which direction of tilting the DOVID range changes its reflectivity the strongest or least or indicates the dominant direction of the reflection distribution in the illumination distribution function.

Ein besonders einfacher Vergleich, der auf die Rotation des abgebildeten Gegenstands gegenüber der Bildaufnahmeeinheit invariant ist, sieht vor,

  • dass das Merkmalsbild und das Referenz-Merkmalsbild miteinander verglichen werden, indem
    ausgehend vom Merkmalsbild ein Histogramm erstellt wird, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt,
  • dass für das Referenz-Merkmalsbild nach denselben Kriterien ein Referenz-Histogramm erstellt wird, und
  • dass das Histogramm des Merkmalsbilds mit dem Referenz-Histogramm des Referenz-Merkmalsbilds auf Übereinstimmung verglichen wird und eine große Übereinstimmung der Histogramme einer großen Übereinstimmung der DOVID-Bereiche der Gegenstände gleichgehalten wird.
A particularly simple comparison, which is invariant to the rotation of the imaged object relative to the image acquisition unit, provides
  • in that the feature image and the reference feature image are compared with each other by
    a histogram is created starting from the feature image, which indicates the frequency of occurrence of a feature value within a certain value range,
  • that a reference histogram is created for the reference feature image according to the same criteria, and
  • that the histogram of the feature image is compared with the reference histogram of the reference feature image for agreement and a large match the histograms of a large match of the DOVID areas of the objects is kept equal.

Um hierbei eine Winkelausrichtung eines DOVID-Bereichs vorteilhaft ermitteln zu können, kann vorgesehen sein,

  • dass zur Erstellung des Merkmalsbilds aus der Beleuchtungsverteilungsfunktion der Ausrichtungswinkel als Merkmal extrahiert wird, und
  • dass vor dem Vergleich des Histogramms mit dem Referenz-Histogramm beide Histogramme Fourier-transformiert werden und die Fourier-Transformierten der beiden Histogramme miteinander verglichen werden.
In order to be able to advantageously determine an angular orientation of a DOVID area, it can be provided that
  • in that the orientation angle is extracted as a feature to produce the feature image from the illumination distribution function, and
  • in that prior to the comparison of the histogram with the reference histogram, both histograms are Fourier-transformed and the Fourier transforms of the two histograms are compared with one another.

Zur Überprüfung von DOVID-Bereichen bei mehreren unterschiedlichen Lichtwellenlängen kann vorgesehen sein,

  • dass vom Gegenstand von einer Bildaufnahmeeinheit jeweils unter einer Beleuchtung eines Leuchtmittels mit jeweils unterschiedlichem Einstrahlungswinkel jeweils ein Mehrfarben-Digitalbild aufgenommen wird, und diese Mehrfarben-Digitalbilder untereinander jeweils gleiche Größe aufweisen,
  • dass die einzelnen Bildkanäle der Mehrfarben-Digitalbilder separat behandelt werden und für jeden Bildkanal ein eigener Bildstapel erstellt wird,
  • dass nach einem der vorangehenden Ansprüche jeweils für jeden der Bildstapel separat ein Merkmalsbild ermittelt und als Farbkanal-Merkmalsbild dem jeweiligen Farbkanal zugeordnet wird und die Farbkanal-Merkmalsbilder zum Vergleich mit auf dieselbe Weise erstellten Referenz-Farbkanal-Merkmalsbildern herangezogen werden.
To check DOVID ranges at several different wavelengths of light, it may be provided
  • that in each case a multicolor digital image is taken of the object by an image recording unit under illumination of a light source having respectively different irradiation angles, and these multicolor digital images each have the same size,
  • that the individual image channels of the multicolor digital images are treated separately and a separate image stack is created for each image channel,
  • according to one of the preceding claims, a feature image is determined separately for each of the image stacks and assigned as a color channel feature image to the respective color channel and the color channel feature images are used for comparison with reference color channel feature images created in the same way.

Eine besonders einfache Durchführung eines Vergleichs von Farbaufnahmen von DOVID-Bereichen sieht vor, dass aus den Farbkanal-Merkmalsbildern ein Merkmalsbild erstellt wird, indem der jeweilige Merkmalswert durch pixelweise Verknüpfung der Merkmalswerte der Farbkanal-Merkmalsbilder, insbesondere durch Bildung des Mittelwerts, der Summe oder eines Maximums, gebildet wird.A particularly simple performance of a comparison of color shots of DOVID areas provides that a feature image is created from the color channel feature images by the respective feature value by pixel-wise linking the feature values of the color channel feature images, in particular by forming the average, the sum or a Maximums, is formed.

Ein genauerer Vergleich, der insbesondere die ermittelte Ausrichtungswinkelstärke berücksichtigt, sieht vor, dass jedem Bildpunkt jedes Farbkanal-Merkmalsbildes jeweils sowohl Exzentrizität als auch Ausrichtungswinkel zugeordnet werden und ein Merkmalsbild durch pixelweises Heranziehen des Ausrichtungswinkels desjenigen Farbkanals im jeweiligen Bildpunkt als Merkmal gebildet wird, dessen Exzentrizität für diesen Bildpunkt am größten ist.A more detailed comparison, which takes into account, in particular, the detected orientation angle strength, provides that each pixel of each color channel feature image is assigned both eccentricity and orientation angle and a feature image is formed by pixel-wise taking the orientation angle of that color channel in the respective pixel as a feature whose eccentricity for this pixel is the largest.

Weiters kann vorgesehen sein, dass das Referenz-Merkmalsbild aufgrund der Vermessung eines Referenz-Gegenstands mit einem DOVID-Bereich nach einem der vorangehenden Ansprüche analog der Erstellung des Merkmalsbilds vorgenommen wird.Furthermore, it can be provided that the reference feature image is made on the basis of the measurement of a reference object with a DOVID area according to one of the preceding claims analogously to the creation of the feature image.

Vorteilhafterweise kann ein Computerprogramm zur Durchführung eines erfindungsgemäßen Verfahrens auf einem Datenträger abgespeichert werden.Advantageously, a computer program for carrying out a method according to the invention can be stored on a data carrier.

Mehrere Ausführungsbeispiele der Erfindung sind anhand der folgenden Zeichnungsfiguren näher dargestellt.Several embodiments of the invention are illustrated in more detail with reference to the following drawing figures.

Fig. 1a zeigt einen Aufbau einer Erfassungseinheit mit einer Bildaufnahmeeinheit sowie einer Anzahl von Leuchtmitteln. Fig. 1b zeigt schematisch die Einfallswinkel des Lichts eines Leuchtmittels. Fig. 2 zeigt eine Beleuchtungsverteilungsfunktion für einen spezifischen Bildpunkt. Fig. 3 zeigt ein erstes Histogramm, das auf Basis der ermittelten Exzentrizitäten erstellt wurde. Fig. 4 zeigt ein zweites Histogramm, das auf Grundlage der Ausrichtungswinkel erstellt wurde. Fig. 5 zeigt die Ermittlung eines Merkmalsbilds auf Grundlage eines einfarbig aufgenommenen Bildstapels. Fig. 6 zeigt die Ermittlung eines Merkmalsbilds auf Grundlage eines mehrfarbig aufgenommenen Bildstapels. Fig. 1a shows a structure of a detection unit with an image pickup unit and a number of bulbs. Fig. 1b schematically shows the angles of incidence of the light of a light source. Fig. 2 shows a lighting distribution function for a specific pixel. Fig. 3 shows a first histogram, which was created on the basis of the determined eccentricities. Fig. 4 shows a second histogram created based on the orientation angles. Fig. 5 shows the determination of a feature image based on a monochrome recorded image stack. Fig. 6 shows the determination of a feature image based on a multicolored recorded image stack.

Bei einem ersten Ausführungsbeispiel der Erfindung werden die folgenden Schritte sowohl für einen Referenzgegenstand 20 als auch für den zu untersuchenden Gegenstand 10 durchgeführt. Beide Gegenstände 10, 20 weisen jeweils einen Bereich mit einem DOVID-Aufdruck, im folgenden als DOVID-Bereich 11, 21 bezeichnet, auf. Ziel des nunmehr beschriebenen Verfahrens ist es, festzustellen, ob der DOVID-Bereich 11 des Gegenstands 10 mit dem DOVID-Bereich 21 des Referenzgegenstands 20 übereinstimmt und - da es sich beim Referenzgegenstand 20 um einen bekanntermaßen echten Gegenstand handelt - echt ist.In a first embodiment of the invention, the following steps are performed for both a reference object 20 and the object 10 to be examined. Both objects 10, 20 each have an area with a DOVID imprint, hereinafter referred to as DOVID area 11, 21, on. The aim of the method now described is to determine whether the DOVID area 11 of the item 10 matches the DOVID area 21 of the reference item 20 and, since the reference item 20 is a known genuine item, is genuine.

In Fig. 1a ist ein Gegenstand 10 dargestellt, der einen DOVID-Bereich 11 aufweist. Auf den DOVID-Bereich 11 des Gegenstands 10 sind sowohl eine Bildaufnahmeeinheit 30 als auch eine Anzahl von Leuchtmitteln 31 a, 31 b, ... gerichtet. Die einzelnen Leuchtmittel 31 a, 31 b, ... strahlen auf den DOVID-Bereich 11 des Gegenstands 10 jeweils mit unterschiedlichem Einstrahlungswinkel ϕ, θ ein. Wie aus Fig. 1b ersichtlich, bezeichnet der Winkel ϕ den Winkel des Leuchtmittels in der Ebene, während der Winkel θ den Winkel darstellt, in dem die Lichtquelle über der Ebene des Gegenstands 10 steht. Im vorliegenden Ausführungsbeispiel der Erfindung wird von dem Gegenstand 10 mit der Bildaufnahmeeinheit 30 jeweils ein Digitalbild 32a, 32b, ... erstellt, wobei bei jedem der erstellten Digitalbilder 32a, 32b, ... jeweils ein anderes Leuchtmittel 31, 31 b, ... zur Beleuchtung des Gegenstands 10 bzw. des DOVID-Bereichs 11 des Gegenstands 10 herangezogen wird. Derart werden Digitalbilder 32a, 32b ( Fig. 5 ) jeweils mit gleicher Größe erstellt. Die Gesamtheit der derart erstellten Digitalbilder 32a, 32b, ... wird als Bildstapel 39 bezeichnet bzw. zu einem Bildstapel 39 zusammengefasst.In Fig. 1a an article 10 is shown having a DOVID area 11. On the DOVID area 11 of the article 10, both an image pickup unit 30 and a number of bulbs 31 a, 31 b, ... are directed. The individual light sources 31 a, 31 b,... Radiate onto the DOVID region 11 of the object 10, each with a different angle of incidence φ, θ. How out Fig. 1b As can be seen, the angle φ denotes the angle of the illuminant in the plane, while the angle θ represents the angle at which the light source is above the plane of the object 10. In the present embodiment of the invention, a digital image 32a, 32b, ... is created by the object 10 with the image recording unit 30, wherein in each of the created digital images 32a, 32b, ... each other bulbs 31, 31 b, ... is used to illuminate the article 10 and the DOVID area 11 of the object 10. Thus, digital images 32a, 32b ( Fig. 5 ) each created with the same size. The entirety of the digital images 32a, 32b,... Created in this way is referred to as image stack 39 or combined into an image stack 39.

Ausgehend von dem ermittelten Bildstapel 39 wird ein Merkmalsbild 33 erstellt, das dieselbe Größe aufweist wie die erstellten Digitalbilder 32a, 32b, ... des Bildstapels 39. Hierbei werden pixelweise die Intensitätswerte der einzelnen Digitalbilder 32a, 32b, ... jeweils zu einem oder mehreren charakteristischen Merkmalen 37x, 37y akkumuliert. Aus den Intensitätswerten der einzelnen Bildpunkte 34x, 34y an jeweils vorgegebenen einander nach Lage entsprechenden Position in den Digitalbildern 32a, 32b, ... wird jeweils separat eine Beleuchtungsverteilungsfunktion 36x, 36y ermittelt, die die Verteilung der Helligkeit des im jeweiligen Bildpunkt 34x, 34y abgebildeten Bereichs über den Einstrahlungswinkel ϕ, θ angibt. Es werden für jeden Bildpunkt 34x, 34y jeweils aus der Beleuchtungsverteilungsfunktion 36x, 36y ein oder mehrere charakteristische Merkmale 37x, 37y extrahiert, die dem jeweiligen Bildpunkt 34x, 34y des Merkmalsbilds 33 zugeordnet werden.Starting from the determined image stack 39, a feature image 33 is created, which has the same size as the created digital images 32a, 32b,... Of the image stack 39. In this process, the intensity values of the individual digital images 32a, 32b, accumulates several characteristic features 37x, 37y. From the intensity values of the individual pixels 34x, 34y at respectively predetermined positions corresponding to each other in the digital images 32a, 32b, ..., an illumination distribution function 36x, 36y is separately determined, which determines the distribution of the brightness of the image pixel 34x, 34y Indicates the range over the angle of incidence φ, θ. For each pixel 34x, 34y, one or more characteristic features 37x, 37y are respectively extracted from the illumination distribution function 36x, 36y, which are assigned to the respective pixel 34x, 34y of the feature image 33.

Eine mögliche Beleuchtungsverteilungsfunktion 36x, 36y ist in Fig. 2 näher dargestellt. Diese Beleuchtungsverteilungsfunktion 36x, 36y gibt an, wie stark der in dem Bildpunkt 34x, 34y abgebildete Teil des DOVID-Bereichs 11 bei einer Beleuchtung unter dem jeweiligen Einfallswinkel ϕ, θ Licht reflektiert. Zu diesem Zweck wird für die einzelnen Bildpunkte 34x, 34y des Bildstapels 39 jeweils separat der jeweilige Intensitätswert i herangezogen und in der für den jeweiligen Bildpunkt 34x, 34y erstellten Beleuchtungsverteilungsfunktion 36x, 36y an der betreffenden Stelle eingetragen. Aufgrund der bekannten Winkel ϕ, θ der einzelnen Beleuchtungseinheiten 31 a, 31 b, ... ist es möglich, durch stereographische Projektion auf eine Ebene mit den betreffenden Koordinaten x, y die Stützpunkte 35a, 35b, ... zu erhalten.One possible illumination distribution function 36x, 36y is in Fig. 2 shown in more detail. This illumination distribution function 36x, 36y indicates how much the part of the DOVID region 11 imaged in the pixel 34x, 34y reflects light when illuminated at the respective angle of incidence φ, θ. For this purpose, the respective intensity value i is separately used for the individual pixels 34x, 34y of the image stack 39 and is entered at the relevant location in the illumination distribution function 36x, 36y created for the respective pixel 34x, 34y. Owing to the known angles φ, θ of the individual illumination units 31 a, 31 b,..., It is possible to obtain the interpolation points 35 a, 35 b,... By stereographic projection onto a plane with the relevant coordinates x, y.

Jedem der vorhandenen Stützpunkte 35a, 35b, ... wird entsprechend der ermittelten Intensität i des betreffenden Bildpunkts 34x, 34y jeweils eine Intensität i zugeordnet. Durch Interpolation ist es möglich, eine Beleuchtungsverteilungsfunktion 36 auf Grundlage der Stützpunkte 35a, 35b, ... sowie der zugeordneten Intensitäten i zu ermitteln.Each of the existing interpolation points 35a, 35b,... Is assigned an intensity i in accordance with the determined intensity i of the relevant pixel 34x, 34y. By interpolation, it is possible to determine a lighting distribution function 36 on the basis of the support points 35a, 35b,... As well as the associated intensities i.

Als Merkmal 37x, 37y für die Erstellung des Merkmalsbilds 33 wird in diesem Ausführungsbeispiel der Erfindung die Exzentrizität e der jeweiligen Beleuchtungsverteilungsfunktion 36x, 36y herangezogen. Die Exzentrizität e kann vereinfacht und ohne die Notwendigkeit der tatsächlichen Bestimmung einer Beleuchtungsverteilungsfunktion als kontinuierliche Funktion in zwei Variablen x, y durch diskrete Methoden wie folgt ermittelt werden:

  • In einem ersten Schritt wird die Summe M00 als Summe sämtlicher Intensitätswerte ermittelt. Die einzelnen x- und y-Koordinaten der Stützpunkte 35a, 35b, 35c, 35d werden zu Vektoren X, Y zusammengefügt. Die jeweils diesen Stützpunkten 35a, 35b, 35c, 35d zugeordneten Intensitätswerte werden zu einem Intensitätsvektor I zusammengefügt.
As a feature 37x, 37y for the creation of the feature image 33 in this embodiment of the invention, the eccentricity e of the respective Lighting distribution function 36x, 36y used. The eccentricity e can be simplified and determined without the need to actually determine a lighting distribution function as a continuous function in two variables x, y by discrete methods as follows:
  • In a first step, the sum M 00 is determined as the sum of all the intensity values. The individual x and y coordinates of the vertices 35a, 35b, 35c, 35d are merged into vectors X, Y. The respective intensity values associated with these interpolation points 35a, 35b, 35c, 35d are combined to form an intensity vector I.

Anschließend wird ein gewichteter Schwerpunkt der angegebenen Intensitätswerte ermittelt. Die x-Koordinate x_ des gewichteten Schwerpunkts ergibt sich als Skalarprodukt des Vektors X der x-Koordinaten der Stützpunkte und des Intensitätsvektors I der Intensitätswerte dividiert durch die Summe M00. Entsprechend ergibt sich die y-Koordinate y_ des gewichteten Schwerpunkts als Skalarprodukt des Vektors Y der y-Koordinaten der Stützpunkte und der Intensitätswerte I dividiert durch die Summe M00. x_ = l X / M 00 .

Figure imgb0001
y_ = l Y / M 00 .
Figure imgb0002
Subsequently, a weighted center of gravity of the specified intensity values is determined. The x-coordinate x_ of the weighted centroid is obtained as the scalar product of the vector X of the x-coordinates of the vertices and of the intensity vector I of the intensity values divided by the sum M 00 . Accordingly, the y-coordinate y_ of the weighted center of gravity results as the scalar product of the vector Y of the y-coordinates of the vertices and of the intensity values I divided by the sum M 00 . x_ = l X / M 00 ,
Figure imgb0001
y_ = l Y / M 00 ,
Figure imgb0002

Im Folgenden werden nun die Momente zweiter Ordnung µ20, µ11 und µ02 gemäß den folgenden Vorschriften ermittelt: µ 20 = l , X - x_ * X - x_ / M 00

Figure imgb0003
µ 11 = l , X - x_ * Y - y_ / M 00
Figure imgb0004
µ 02 = l , Y - y_ * Y - y_ / M 00 ,
Figure imgb0005
wobei "Vektor minus Skalar" (X-x_) bzw. (Y-y_) bedeutet, dass der Skalar von jedem Element des Vektors subtrahiert wird, und die binäre Operation "*" für zwei Vektor-Operanden die elementweise Multiplikation der beiden Operanden bedeutet. Das Resultat ist dann wieder ein Vektor.In the following, second order moments μ 20 , μ 11 and μ 02 are determined according to the following rules: μ 20 = l . X - x_ * X - x_ / M 00
Figure imgb0003
μ 11 = l . X - x_ * Y - y_ / M 00
Figure imgb0004
μ 02 = l . Y - y_ * Y - y_ / M 00 .
Figure imgb0005
where "vector minus scalar" (X-x_) or (Y-y_) means that the scalar is subtracted from each element of the vector and the binary operation "*" for two vector operands means the element-wise multiplication of the two operands , The result is then a vector again.

Anschließend wird die Exzentrizität e gemäß der folgenden Formel ermittelt: e = µ 20 - µ 02 2 - µ 11 2 / µ 20 + µ 02 2

Figure imgb0006
Subsequently, the eccentricity e is determined according to the following formula: e = μ 20 - μ 02 2 - μ 11 2 / μ 20 + μ 02 2
Figure imgb0006

Dieses Vorgehen kann für jeden einzelnen der Bildpunkte 34x, 34y, ... des zu erstellenden Merkmalsbilds 33 separat vorgenommen werden. Als charakteristisches Merkmal 37x, 37y, ... des jeweiligen Bildpunkts 34x, 34y, ... wird die jeweils ermittelte Exzentrizität e zugeordnet.This procedure can be carried out separately for each individual pixel 34x, 34y,... Of the feature image 33 to be created. As a characteristic feature 37x, 37y, ... of the respective pixel 34x, 34y, ... the respectively determined eccentricity e is assigned.

Mit demselben Vorgehen wird ein Referenzmerkmalsbild 23 des Referenzbilds 20 bzw. des DOVID-Bereichs 21 des Referenzmerkmalsbilds 20 erstellt. Das Merkmalsbild 33 und das Referenzmerkmalsbild 23 werden anschließend miteinander verglichen. Hierbei wird ausgehend vom Merkmalsbild 33 ein Histogramm 38 erstellt, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt. Für das Referenzmerkmalsbild 23 wird nach denselben Kriterien ein Referenzhistogramm 28 erstellt. Fig. 3 zeigt ein derartiges Histogramm. Anschließend werden das Histogramm 38 des Merkmalsbilds 33 und das Referenzhistogramm 28 des Referenzmerkmalsbilds 23 auf Übereinstimmung überprüft. Eine große Übereinstimmung der Histogramme 28, 38 lässt dabei auf eine große Übereinstimmung der DOVID-Bereiche 21, 11 der Gegenstände 20, 10 schließen.With the same procedure, a reference feature image 23 of the reference image 20 or the DOVID region 21 of the reference feature image 20 is created. The feature image 33 and the reference feature image 23 are then compared with each other. Here, starting from the feature image 33, a histogram 38 is created, which indicates the frequency of occurrence of a feature value within a certain range of values. For the reference feature image 23, a reference histogram 28 is created according to the same criteria. Fig. 3 shows such a histogram. Subsequently, the histogram 38 of the feature image 33 and the reference histogram 28 of the reference feature image 23 are checked for coincidence. A large coincidence of the histograms 28, 38 suggests that the DOVID areas 21, 11 of the objects 20, 10 are in great agreement.

Um die Übereinstimmung zweier Histogramme 28, 38 miteinander zu überprüfen, werden die Histogramme zunächst normiert. Anschließend können die einzelnen den Bereichen zugeordneten Häufigkeiten miteinander elementweise multipliziert werden und die sich daraus ergebenden Produkte miteinander summiert werden. Werden die Histogramme 28, 38 als Häufigkeitsvektoren dargestellt, kann ein Übereinstimmungswert durch Bildung des Skalarprodukts der normierten Häufigkeitsvektoren der Histogramme gefunden werden. Für die Normierung kann insbesondere die L2-Norm herangezogen werden.In order to check the coincidence of two histograms 28, 38, the histograms are first normalized. Subsequently, the individual frequencies assigned to the areas can be multiplied element by element and the resulting products summed together. When the histograms 28, 38 are represented as frequency vectors, a match score can be found by forming the scalar product of the normalized frequency vectors of the histograms. For the standardization, in particular the L 2 standard can be used.

Bei einer zweiten Ausführungsform der Erfindung, die im übrigen der ersten Ausführungsform der Erfindung entspricht, besteht die Möglichkeit, das Merkmalsbild 33 und das Referenzmerkmalsbild 23 nicht mittels Histrogrammvergleich zu vergleichen, sondern eine unmittelbare Prüfung der beiden Merkmalsbilder 23, 33 durch Bildvergleich vorzunehmen.In a second embodiment of the invention, which otherwise corresponds to the first embodiment of the invention, it is possible not to compare the feature image 33 and the reference feature image 23 by histogram comparison, but to perform an immediate examination of the two feature images 23, 33 by image comparison.

Eine dritte vorteilhafte Ausführungsform der Erfindung, die im übrigen der ersten Ausführungsform der Erfindung entspricht, verwendet als charakteristische Merkmale anstelle der Exzentrizität e den Ausrichtungswinkel ω als Merkmal 37. Dieser Ausrichtungswinkel ω gibt an, in welcher Verkippungsrichtung der DOVID-Bereich 11 die stärkste Reflektivität aufweist. In derselben Richtung findet auch der dominante Farbwechsel des DOVID-Bereichs statt.A third advantageous embodiment of the invention, which otherwise corresponds to the first embodiment of the invention, uses the orientation angle ω as a characteristic 37 as characteristic features instead of the eccentricity e. This orientation angle ω indicates in which tilting direction the DOVID area 11 has the strongest reflectivity , In the same direction, the dominant color change of the DOVID area takes place.

Basierend auf den bereits im Zusammenhang mit der Exzentrizität e beschriebenen Momenten µ20, µ11 und µ02 kann der Ausrichtungswinkel wie folgt beschrieben werden: ω = 0.5 arctan 2 µ 11 / µ 20 - µ 02

Figure imgb0007
Based on the moments μ 20 , μ 11 and μ 02 already described in connection with the eccentricity e, the orientation angle can be described as follows: ω = 0.5 arctan 2 μ 11 / μ 20 - μ 02
Figure imgb0007

Wenn als Merkmal der Ausrichtungswinkel ω verwendet wird, ist es von Vorteil, dass vor dem Vergleich des Histogramms 38 mit dem Referenzhistogramm 28 beide Histogramme Fourier-transformiert werden und die Fourier-Transformierten der beiden Histogramme miteinander verglichen werden. Ein unter Verwendung des Ausrichtungswinkels ω erstelltes Histogramm ist in Fig. 4 dargestellt und weist einen hinsichtlich seines Arguments periodischen Verlauf auf, der lediglich zwischen -π/2 und π/2 dargestellt ist. Um Verschiebungen dieser Histogramme gegeneinander vernachlässigen zu können, die insbesondere dadurch entstehen, dass der betreffende Gegenstand nicht exakt im gleichen Winkel wie der Referenzgegenstand eingezogen wurde, wird das betreffende Histogramm jeweils Fourier-transformiert. Die betreffenden Fourier-Transformierten sind gegen Verdrehungen des Gegenstands 10 bzw. Referenzgegenstands 20 bei der Aufnahme invariant, sodass hierbei ein besonders einfacher Vergleich möglich ist.When the orientation angle ω is used as a feature, it is advantageous that before comparing the histogram 38 with the reference histogram 28, both histograms are Fourier transformed and the Fourier transforms of the two histograms are compared with each other. A histogram created using the orientation angle ω is in Fig. 4 and has a periodic profile with respect to its argument, which is shown only between -π / 2 and π / 2. In order to be able to neglect displacements of these histograms, which arise, in particular, from the fact that the object in question was not drawn in exactly at the same angle as the reference object, the relevant histogram is Fourier-transformed in each case. The respective Fourier transforms are invariant against rotations of the object 10 or reference object 20 during recording, so that a particularly simple comparison is possible in this case.

Bei einem vierten bevorzugten Ausführungsbeispiel der Erfindung wird der Gegenstand 10 von einer Bildaufnahmeeinheit 30 jeweils unter einer Beleuchtung eines Leuchtmittels 31 a, 31 b, ... mit jeweils unterschiedlichem Einstrahlungswinkel ϕ, θ aufgenommen, wobei jeweils ein Mehrfarben-Digitalbild 32a, 32b, ... aufgenommen wird. Diese Mehrfarben-Digitalbilder 32a, 32b, ... weisen untereinander jeweils dieselbe Größe auf und zeigen denselben Gegenstandsbereich des Gegenstands 10. Im vorliegenden Ausführungsbeispiel weist jedes dieser Mehrfarbendigitalbilder 32a, 32b drei Bildkanäle auf, einen Bildkanal für den roten, einen Bildkanal für den grünen und einen Bildkanal für den blauen Farbanteil des betreffenden Bilds. In einem ersten Schritt wird für jeden Bildkanal jeweils ein separater Bildstapel 39R, 39G, 39B erstellt und anschließend für jeden Bildstapel separat ein Merkmalsbild 33R, 33G, 33B ermittelt. Dieses wird in weiterer Folge als Farb-Merkmalsbild 33R, 33G, 33B dem jeweiligen Farbkanal zugeordnet.In a fourth preferred embodiment of the invention, the object 10 is received by an image pickup unit 30 in each case under illumination of a light source 31 a, 31 b, ..., each with a different angle of incidence φ, θ, wherein in each case one multicolor digital image 32 a, 32 b,. .. is recorded. These multicolor digital images 32a, 32b,..., Each have the same size and show the same subject area of the article 10. In the present embodiment, each of these multicolor digital images 32a, 32b has three image channels, one image channel for the red, one image channel for the green and an image channel for the blue color component of the image in question. In a first step, a separate image stack 39R, 39G, 39B is created for each image channel, and then a feature image 33R, 33G, 33B is determined separately for each image stack. This is subsequently assigned to the respective color channel as a color feature image 33R, 33G, 33B.

Grundsätzlich besteht die Möglichkeit, die so erhaltenen Farb-Merkmalsbilder 33R, 33G, 33B mit auf dieselbe Weise erhaltenen Farb-Merkmalsbildern des Referenzgegenstands zu vergleichen und derart die Übereinstimmung zu überprüfen. Im vorliegenden Ausführungsbeispiel wird jedoch vor dem Vergleich mit dem Referenzbild aus den Farb-Merkmalsbildern 33R, 33G, 33B ein Merkmalsbild 33 erstellt, wobei die Merkmalswerte 37x, 37y pixelweise durch Verknüpfung der Merkmalswerte einander in ihrer Lage entsprechender Bildpunkte 34x, 34y der Farbkanalsmerkmalsbilder erstellt werden. Als Merkmal 37x, 37y kann beispielsweise der Mittelwert, die Summe oder das Maximum der jeweiligen Merkmale in den Farb-Merkmalsbildern 33R, 33G, 33B an der betreffenden Position herangezogen werden.In principle, it is possible to compare the color feature images 33R, 33G, 33B thus obtained with color feature images of the reference object obtained in the same way and thus to verify the match. In the present exemplary embodiment, however, a feature image 33 is created from the color feature images 33R, 33G, 33B before the comparison with the reference image, wherein the feature values 37x, 37y are created pixel by pixel by linking the feature values to one another in their position corresponding pixels 34x, 34y of the color channel feature images. As the feature 37x, 37y, for example, the mean value, the sum or the maximum of the respective features in the color feature images 33R, 33G, 33B at the position concerned can be used.

Bei einer fünften Ausführungsform der Erfindung werden jedem Bildpunkt 34x, 34y jedes Farb-Merkmalsbilds 33R, 33G, 33B sowohl die Exzentrizität e als auch der Ausrichtungswinkel ω als charakteristische Merkmale zugeordnet. Bei der Erstellung des Merkmalsbilds 33 wird für jeden Bildpunkt 34x, 34y jeweils pixelweise untersucht, für welchen Bildkanal jeweils die größte Exzentrizität vorliegt. Der Ausrichtungswinkel w desjenigen Farbkanals im jeweiligen Bildpunkt 34x, 34y wird als Merkmal 37x, 37y herangezogen, dessen Exzentrizität für diesen Bildpunkt 34x, 34y am größten ist.In a fifth embodiment of the invention, each pixel 34x, 34y of each color feature image 33R, 33G, 33B is assigned both the eccentricity e and the orientation angle ω as characteristic features. When creating the feature image 33, pixel by pixel is examined for each pixel 34x, 34y for which image channel the greatest eccentricity is present. The orientation angle w of that color channel in the respective pixel 34x, 34y is used as a feature 37x, 37y whose eccentricity is greatest for this pixel 34x, 34y.

Claims (10)

Verfahren zum Vergleich der Oberfläche eines Gegenstands (10), insbesondere einer Banknote, einer Chipkarte oder eines Ausweises, umfassend einem DOVID-Bereich (11), mit einem Referenzgegenstand (20), ebenfalls umfassend einen DOVID-Bereich (21), a) wobei der Gegenstand (10) von einer Bildaufnahmeeinheit (30) aufgenommen wird und derart Digitalbilder (32a, 32b, ...) gleicher Größe erstellt werden, wobei jedes Digitalbild (32a, 32b, ...) jeweils unter einer Beleuchtung eines Leuchtmittels (31 a, 31 b, ...) mit jeweils unterschiedlichem Einstrahlungswinkel (ϕ, θ) erstellt wird, und derart ein Bildstapel (39) umfassend die einzelnen Digitalbilder (32a, 32b, ...) erstellt wird, b) wobei ein Merkmalsbild (33) erstellt wird, das dieselbe Größe aufweist wie die erstellten Digitalbilder (32a, 32b, ...), wobei für jeden Bildpunkt (34x, 34y, ...) des zu erstellenden Merkmalsbilds (33) - jeweils eine Beleuchtungsverteilungsfunktion (36x, 36y, ...) ermittelt wird, die angibt, wie stark der in dem Bildpunkt (34x, 34y, ...) abgebildete Teil des DOVID-Bereichs (11) bei einer Beleuchtung unter dem jeweiligen Einfallswinkel (ϕ, θ) Licht reflektiert, und - aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) ein oder mehrere charakteristische Merkmale (37x, 37y, ... ) extrahiert werden und dem jeweiligen Bildpunkt (34x, 34y, ...) des Merkmalsbilds (33) zugeordnet werden, und c) wobei das Merkmalsbild (33) mit einem nach denselben Kriterien von einem Referenzgegenstand (20) erstellten Referenz-Merkmalsbild (23) verglichen wird. Method for comparing the surface of an object (10), in particular a banknote, a chip card or a badge, comprising a DOVID area (11) with a reference object (20), also comprising a DOVID area (21), a) wherein the object (10) is taken by an image recording unit (30) and digital images (32a, 32b, ...) of the same size are created, each digital image (32a, 32b, ...) each under a lighting of a Illuminant (31 a, 31 b, ...) is created with each different angle of incidence (φ, θ), and such a picture stack (39) comprising the individual digital images (32a, 32b, ...) is created, b) wherein a feature image (33) is created, which has the same size as the created digital images (32a, 32b, ...), wherein for each pixel (34x, 34y, ...) of the feature image to be created (33) in each case an illumination distribution function (36x, 36y,...) is determined which indicates how strongly the part of the DOVID area (11) imaged in the pixel (34x, 34y,...) illuminates at the respective angle of incidence (φ, θ) reflects light, and one or more characteristic features (37x, 37y, ...) are extracted from the illumination distribution function (36x, 36y, ...) and assigned to the respective pixel (34x, 34y, ...) of the feature image (33), and c) wherein the feature image (33) is compared with a reference feature image (23) created by a reference object (20) according to the same criteria. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) die Exzentrizität (e) als charakteristisches Merkmal (37x, 37y, ...) extrahiert wird.Method according to claim 1, characterized in that from the illumination distribution function (36x, 36y, ...) the eccentricity (e) is extracted as a characteristic feature (37x, 37y, ...). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) der Ausrichtungswinkel (ω) als charakteristisches Merkmal (37) extrahiert wird, der angibt, nach welcher Verkippungsrichtung der DOVID-Bereich (11) seine Reflektivität am stärksten oder am wenigsten ändert oder der die dominante Richtung der Reflexionsverteilung in der Beleuchtungsverteilungsfunktion (36x, 36y, ...) angibt.Method according to claim 1 or 2, characterized in that from the illumination distribution function (36x, 36y, ...) the orientation angle (ω) is extracted as a characteristic feature (37) indicating after which tilting direction the DOVID region (11) its reflectivity changes most or least or indicates the dominant direction of the reflection distribution in the illumination distribution function (36x, 36y, ...). Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, - dass das Merkmalsbild (33) und das Referenz-Merkmalsbild (23) miteinander verglichen werden, indem
ausgehend vom Merkmalsbild (33) ein Histogramm (38) erstellt wird, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt,
- dass für das Referenz-Merkmalsbild (23) nach denselben Kriterien ein Referenz-Histogramm (28) erstellt wird, und - dass das Histogramm (38) des Merkmalsbilds (33) mit dem Referenz-Histogramm (28) des Referenz-Merkmalsbilds (23) auf Übereinstimmung verglichen wird und eine große Übereinstimmung der Histogramme (28, 38) einer großen Übereinstimmung der DOVID-Bereiche der Gegenstände (20, 30) gleichgehalten wird.
Method according to one of the preceding claims, characterized - That the feature image (33) and the reference feature image (23) are compared with each other by
on the basis of the feature image (33) a histogram (38) is created which indicates the frequency of occurrence of a feature value within a certain value range,
- That for the reference feature image (23) according to the same criteria, a reference histogram (28) is created, and in that the histogram (38) of the feature image (33) is compared with the reference histogram (28) of the reference feature image (23) for agreement, and a large match of the histograms (28, 38) of a large match of the DOVID ranges of Objects (20, 30) is kept the same.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, - dass zur Erstellung des Merkmalsbilds (33) aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) der Ausrichtungswinkel (ω) als Merkmal (37) extrahiert wird, und - dass vor dem Vergleich des Histogramms (38) mit dem Referenz-Histogramm (28) beide Histogramme (28, 38) Fourier-transformiert werden und die Fourier-Transformierten der beiden Histogramme (28, 38) miteinander verglichen werden. Method according to claim 4, characterized in that - that for the creation of the feature image (33) from the illumination distribution function (36x, 36y, ...) of the orientation angle (ω) is extracted as a feature (37), and - be that prior to the comparison of the histogram (38) with the reference histogram (28) both histograms (28, 38) are Fourier transformed and the Fourier transforms of the two histograms (28, 38) are compared. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, - dass vom Gegenstand (10) von einer Bildaufnahmeeinheit (30) jeweils unter einer Beleuchtung eines Leuchtmittels (31 a, 31 b, ...) mit jeweils unterschiedlichem Einstrahlungswinkel (ϕ, ϑ) jeweils ein Mehrfarben-Digitalbild (32a, 32b) aufgenommen wird, und diese Mehrfarben-Digitalbilder (32a, 32b, ...) untereinander jeweils gleiche Größe aufweisen, - dass die einzelnen Bildkanäle der Mehrfarben-Digitalbilder (32a, 32b, ...) separat behandelt werden und für jeden Bildkanal ein eigener Bildstapel (39R, 39G, 39B) erstellt wird, - dass nach einem der vorangehenden Ansprüche jeweils für jeden der Bildstapel (39R, 39G, 39B) separat ein Merkmalsbild (33R, 33G, 33B) ermittelt und als Farbkanal-Merkmalsbild (33R, 33G, 33B) dem jeweiligen Farbkanal zugeordnet wird und die Farbkanal-Merkmalsbilder (33R, 33G, 33B) zum Vergleich mit auf dieselbe Weise erstellten Referenz-Farbkanal-Merkmalsbildern (23R, 23G, 23B) herangezogen werden. Method according to one of the preceding claims, characterized - That each of the object (10) of an image pickup unit (30) under a lighting of a luminous means (31 a, 31 b, ...), each having a different angle of incidence (φ, θ) recorded a multi-color digital image (32a, 32b) and these multicolor digital images (32a, 32b, ...) are each of equal size, - that the individual image channels of the multicolor digital images (32a, 32b, ...) are treated separately and a separate image stack (39R, 39G, 39B) is created for each image channel, Is and that after one of the preceding claims, respectively for each of the image stack (39R, 39G, 39B) separately a feature image (33R, 33G, 33B) is determined and assigned as the color channel feature image (33R, 33G, 33B) of each color channel of the color channel - Feature images (33R, 33G, 33B) are used for comparison with reference color channel feature images (23R, 23G, 23B) created in the same way. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass aus den Farbkanal-Merkmalsbildern (33R, 33G, 33B) ein Merkmalsbild (33) erstellt wird, indem der jeweilige Merkmalswert durch pixelweise Verknüpfung der Merkmalswerte der Farbkanal-Merkmalsbilder, insbesondere durch Bildung des Mittelwerts, der Summe oder eines Maximums, gebildet wird.A method according to claim 6, characterized in that from the color channel feature images (33R, 33G, 33B) a feature image (33) is created by the respective feature value by pixel-wise linking the feature values of the color channel feature images, in particular by forming the average, the Sum or a maximum is formed. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass jedem Bildpunkt (34x, 34y) jedes Farbkanal-Merkmalsbildes (33R, 33G, 33B) jeweils sowohl Exzentrizität (e) als auch Ausrichtungswinkel (ω) zugeordnet werden und ein Merkmalsbild (33) durch pixelweises Heranziehen des Ausrichtungswinkels (w) desjenigen Farbkanals im jeweiligen Bildpunkt (34x, 34y) als Merkmal (37x, 37y) gebildet wird, dessen Exzentrizität (e) für diesen Bildpunkt (34x, 34y) am größten ist.A method according to claim 6, characterized in that each pixel (34x, 34y) of each color channel feature image (33R, 33G, 33B) is assigned both eccentricity (e) and orientation angle (ω) and a feature image (33) by pixel-by-pixel of the orientation angle (w) of that color channel in the respective pixel (34x, 34y) is formed as a feature (37x, 37y) whose eccentricity (e) is greatest for that pixel (34x, 34y). Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Referenz-Merkmalsbild (23) aufgrund der Vermessung eines Referenz-Gegenstands (20) mit einem DOVID-Bereich (21) nach einem der vorangehenden Ansprüche analog der Erstellung des Merkmalsbilds vorgenommen wird.Method according to one of the preceding claims, characterized in that the reference feature image (23) on the basis of the measurement of a reference object (20) with a DOVID area (21) according to one of the preceding claims is made analogously to the creation of the feature image. Datenträger, auf dem ein Computerprogramm zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche abgespeichert ist.Data carrier on which a computer program for carrying out a method according to one of the preceding claims is stored.
EP15200133.5A 2014-12-18 2015-12-15 Photometric dovid comparison Active EP3054429B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ATA50923/2014A AT516687B1 (en) 2014-12-18 2014-12-18 Photometric DOVID comparison

Publications (2)

Publication Number Publication Date
EP3054429A1 true EP3054429A1 (en) 2016-08-10
EP3054429B1 EP3054429B1 (en) 2022-08-17

Family

ID=54849898

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15200133.5A Active EP3054429B1 (en) 2014-12-18 2015-12-15 Photometric dovid comparison

Country Status (2)

Country Link
EP (1) EP3054429B1 (en)
AT (1) AT516687B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1835469A2 (en) * 2006-03-15 2007-09-19 Mitsubishi Denki Kabushiki Kaisha Image reading device
US20140055824A1 (en) * 2011-03-25 2014-02-27 Hologram Industries Method and system for authenticating a secure document

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672475B2 (en) * 2003-12-11 2010-03-02 Fraudhalt Limited Method and apparatus for verifying a hologram and a credit card
DE102008051409A1 (en) * 2008-10-11 2010-04-15 Bayer Materialscience Ag security element

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1835469A2 (en) * 2006-03-15 2007-09-19 Mitsubishi Denki Kabushiki Kaisha Image reading device
US20140055824A1 (en) * 2011-03-25 2014-02-27 Hologram Industries Method and system for authenticating a secure document

Also Published As

Publication number Publication date
EP3054429B1 (en) 2022-08-17
AT516687A1 (en) 2016-07-15
AT516687B1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
DE102011106050B4 (en) Shadow removal in an image captured by a vehicle-based camera for detection of a clear path
DE102011106072A1 (en) SHADOW REMOVAL IN A PICTURE BASED ON A VEHICLE-BASED CAMERA USING AN OPTIMIZED LINEAR AXIS
DE102009038364A1 (en) Method and system for automatic object recognition and subsequent object tracking according to the object shape
EP1610270A2 (en) Process for qualitative evaluation of a material with at least one identification characteristic
DE2518077A1 (en) ELECTROOPTICAL SYSTEM FOR DETERMINING THE ORIENTATION OR LOCATION OF OBJECTS, SUCH AS WORK PIECES OR SIMILAR
DE102011106052A1 (en) Shadow removal in an image captured by a vehicle based camera using a nonlinear illumination invariant core
WO2002021427A2 (en) Evaluation of edge direction information
EP3089106A1 (en) Method for reflection adjustment of images and related apparatus
DE102015207903A1 (en) Apparatus and method for detecting a bar-type traffic sign in a traffic sign recognition system
DE102015208087A1 (en) Method for generating a reflection-reduced contrast image and related devices
DE102018127754A1 (en) Method and device for inspecting an object surface, in particular for inspecting the surface of a powder bed with a large number of powder particles
WO2006133974A1 (en) Method and device for recognising a coin by using the embossed pattern thereof
DE102013226725A1 (en) METHOD AND SYSTEM FOR DETECTING A HANDGESTE WHICH USE SELECTIVE LIGHTING
DE19501073A1 (en) Image processing method for determining the structural strength of a test object with a diffusely scattering surface
EP3054429B1 (en) Photometric dovid comparison
DE102014108492A1 (en) Method for detecting a viewing-angle-dependent feature of a document
DE10132589B4 (en) Method for qualitative assessment of material
EP1329856A2 (en) Method of detecting surface relief on coins in coin actuated machines
DE102016109027A1 (en) Method for checking the position of characteristic points in light distributions
DE19549216C2 (en) Process for image evaluation
DE10338323B4 (en) Method and arrangement for image acquisition for position detection of disordered parts
EP1437691A1 (en) Method for recognizing the relief of a coin in a coin operated apparatus
DE102015208084A1 (en) Method for generating a contrast image of an object condition and related devices
DE102015112411A1 (en) System for the stereoscopic display of images of an endoscope
DE102015016539B4 (en) Visual adaptive camouflage

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20161216

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIC1 Information provided on ipc code assigned before grant

Ipc: G07D 7/128 20160101ALI20220217BHEP

Ipc: G07D 7/206 20160101ALI20220217BHEP

Ipc: G07D 7/121 20160101ALI20220217BHEP

Ipc: G07D 7/00 20160101ALI20220217BHEP

Ipc: G07D 7/20 20160101AFI20220217BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20220408

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015016014

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1512676

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220915

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20220817

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221219

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221117

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221217

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20221118

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20230103

Year of fee payment: 8

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015016014

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

26N No opposition filed

Effective date: 20230519

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20221215

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20221231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20221215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20221215

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20221215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20221231

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20221231

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20231214

Year of fee payment: 9

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1512676

Country of ref document: AT

Kind code of ref document: T

Effective date: 20221215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20151215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20221215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220817

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20221215

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20240102

Year of fee payment: 9