EP3054429B1 - Photometrischer dovid-vergleich - Google Patents
Photometrischer dovid-vergleich Download PDFInfo
- Publication number
- EP3054429B1 EP3054429B1 EP15200133.5A EP15200133A EP3054429B1 EP 3054429 B1 EP3054429 B1 EP 3054429B1 EP 15200133 A EP15200133 A EP 15200133A EP 3054429 B1 EP3054429 B1 EP 3054429B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- feature
- image
- feature image
- created
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
- G07D7/206—Matching template patterns
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
- G07D7/12—Visible light, infrared or ultraviolet radiation
- G07D7/128—Viewing devices
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/003—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements
- G07D7/0032—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements using holograms
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
- G07D7/12—Visible light, infrared or ultraviolet radiation
- G07D7/121—Apparatus characterised by sensor details
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
- G07D7/205—Matching spectral properties
Definitions
- the invention relates to a method for comparing the surface of an object with a reference object according to claim 1.
- DOVIDs are also referred to as holograms.
- Various methods are known from the prior art for easily determining the authenticity of DOVID imprints. In this case, the respective banknote whose authenticity is to be checked is compared with a predetermined genuine banknote and examined to determine whether there is a match. Such a procedure is out EP 1 835 469 A2 known.
- a particularly simple type of check with which it can be particularly easily determined whether a DOVID imprint is present at all, is that from
- the eccentricity is extracted as a characteristic feature.
- the invention provides that from
- the orientation angle is extracted as a characteristic feature, which indicates the tilting direction in which the DOVID area changes its reflectivity most or least, or which indicates the dominant direction of the reflection distribution in the illumination distribution function.
- a particularly simple implementation of a comparison of color images of DOVID areas provides that a feature image is created from the color channel feature images by linking the respective feature value pixel by pixel of the feature values of the color channel feature images, in particular by forming the mean value, the sum or a Maximum, is formed.
- a more precise comparison which takes into account in particular the strength of the alignment angle determined, provides that each pixel of each color channel feature image is assigned both eccentricity and alignment angle and a feature image is formed by pixel-by-pixel use of the alignment angle of that color channel in the respective pixel as a feature whose eccentricity is this pixel is largest.
- the reference feature image is made on the basis of the measurement of a reference object with a DOVID area according to one of the preceding claims, analogously to the creation of the feature image.
- a computer program for carrying out a method according to the invention is stored on a data carrier.
- Fig. 1a shows a structure of a detection unit with an image recording unit and a number of lamps.
- Fig. 1b shows schematically the angle of incidence of the light of a light source.
- 2 shows an illumination distribution function for a specific pixel.
- 3 shows a first histogram that was created on the basis of the determined eccentricities.
- 4 shows a second histogram created based on the orientation angles.
- figure 5 shows the determination of a feature image based on an image stack recorded in one color.
- 6 shows the determination of a feature image based on an image stack recorded in multiple colors.
- a reference object 20 and for the object 10 to be examined.
- Both objects 10, 20 each have an area with a DOVID imprint, hereinafter referred to as DOVID area 11, 21.
- DOVID area 11, 21 The aim of the method now described is to determine whether the DOVID area 11 of the object 10 matches the DOVID area 21 of the reference object 20 and—since the reference object 20 is a known real object—is genuine.
- Fig. 1a an object 10 is shown which has a DOVID area 11 .
- the angle ⁇ denotes the angle of the illuminant in the plane, while the angle ⁇ represents the angle at which the light source is above the plane of the object 10.
- a digital image 32a, 32b, . . created digital images 32a, 32b, ... in each case a different illuminant 31, 31b, ... is used to illuminate the object 10 or the DOVID area 11 of the object 10.
- digital images 32a, 32b ( figure 5 ) are each created with the same size. All of the digital images 32a, 32b, .
- a feature image 33 is created, which has the same size as the created digital images 32a, 32b, . . . of the image stack 39.
- the intensity values of the individual digital images 32a, 32b, several characteristic features 37x, 37y accumulated.
- a lighting distribution function 36x, 36y is determined separately from the intensity values of the individual pixels 34x, 34y at the respective predetermined positions in the digital images 32a, 32b, . . range over the angle of incidence ⁇ , ⁇ .
- one or more characteristic features 37x, 37y are extracted from the illumination distribution function 36x, 36y, which are assigned to the respective pixel 34x, 34y of the feature image 33.
- a possible illumination distribution function 36x, 36y is in 2 shown in more detail.
- This illumination distribution function 36x, 36y indicates how strongly the part of the DOVID area 11 imaged in the pixel 34x, 34y reflects light when illuminated at the respective angle of incidence ⁇ , ⁇ .
- the respective intensity value i is used separately for the individual pixels 34x, 34y of the image stack 39 and entered at the relevant point in the illumination distribution function 36x, 36y created for the respective pixel 34x, 34y. Due to the known angles ⁇ , ⁇ of the individual lighting units 31a, 31b, . . . it is possible to obtain support points 35a, 35b, .
- An intensity i is assigned to each of the existing support points 35a, 35b, .
- an illumination distribution function 36 it is possible to determine an illumination distribution function 36 based on the support points 35a, 35b, . . . and the associated intensities i.
- the eccentricity e of the respective Illumination distribution function 36x, 36y used.
- the eccentricity e can be found simplified and without the need to actually determine an illumination distribution function as a continuous function in two variables x, y by discrete methods as follows:
- the sum M 00 is determined as the sum of all intensity values.
- the individual x and y coordinates of the support points 35a, 35b, 35c, 35d are combined to form vectors X, Y.
- the intensity values respectively assigned to these support points 35a, 35b, 35c, 35d are combined to form an intensity vector I.
- a weighted center of gravity of the specified intensity values is then determined.
- the x-coordinate x_ of the weighted center of gravity results from the scalar product of the vector X of the x-coordinates of the support points and the intensity vector I of the intensity values, divided by the sum M 00 .
- the y-coordinate y_ of the weighted center of gravity results as the scalar product of the vector Y of the y-coordinates of the supporting points and the intensity values I divided by the sum M 00 .
- x _ I X / M 00 .
- y _ I Y / M 00 .
- eccentricity e ⁇ 20 ⁇ ⁇ 02 2 ⁇ 4 ⁇ 11 2 / ⁇ 20 + ⁇ 02 2
- This procedure can be carried out separately for each of the pixels 34x, 34y, . . . of the feature image 33 to be created.
- the respectively determined eccentricity e is assigned as a characteristic feature 37x, 37y, . . . of the respective image point 34x, 34y, .
- a reference feature image 23 of the reference image 20 or of the DOVID area 21 of the reference feature image 20 is created with the same procedure.
- the feature image 33 and the reference feature image 23 are then compared with one another.
- a histogram 38 is created which indicates the frequency of occurrence of a feature value within a specific value range.
- a reference histogram 28 is created for the reference feature image 23 according to the same criteria. 3 shows such a histogram.
- the histogram 38 of the feature image 33 and the reference histogram 28 of the reference feature image 23 are checked for agreement.
- a high degree of correspondence between the histograms 28, 38 indicates a high degree of correspondence between the DOVID areas 21, 11 of the objects 20, 10.
- the histograms are first normalized.
- the individual frequencies assigned to the areas can then be multiplied element by element and the resulting products can be added together. If the histograms 28, 38 are represented as frequency vectors, a match value can be found by forming the scalar product of the normalized frequency vectors of the histograms.
- the L 2 norm can be used for the normalization.
- a second embodiment of the invention which otherwise corresponds to the first embodiment of the invention, it is possible not to compare the feature image 33 and the reference feature image 23 by means of a histogram comparison, but instead to directly check the two feature images 23, 33 by comparing images.
- a third advantageous embodiment of the invention which otherwise corresponds to the first embodiment of the invention, uses the orientation angle ⁇ as the characteristic feature 37 instead of the eccentricity e.
- This orientation angle ⁇ indicates the tilting direction in which the DOVID region 11 has the strongest reflectivity .
- the dominant color change of the DOVID area also takes place in the same direction.
- orientation angle ⁇ is used as a feature, it is advantageous that before the comparison of the histogram 38 with the reference histogram 28 both histograms are Fourier transformed and the Fourier transforms of the two histograms are compared with one another.
- a histogram made using the orientation angle ⁇ is in 4 and has a periodic course with respect to its argument, which is only shown between - ⁇ /2 and ⁇ /2.
- the histogram in question is Fourier-transformed in each case.
- the relevant Fourier transforms are invariant to rotations of the object 10 or reference object 20 during the recording, so that a particularly simple comparison is possible here.
- the object 10 is recorded by an image recording unit 30 under illumination of an illuminant 31a, 31b, . is recorded.
- a separate image stack 39R, 39G, 39B is created for each image channel and then a feature image 33R, 33G, 33B is determined separately for each image stack. This is subsequently assigned to the respective color channel as a color feature image 33R, 33G, 33B.
- a feature image 33 is created from the color feature images 33R, 33G, 33B before the comparison with the reference image, with the feature values 37x, 37y are created pixel by pixel by linking the feature values of image points 34x, 34y of the color channel feature images that correspond to one another in terms of their position.
- the mean value, the sum or the maximum of the respective features in the color feature images 33R, 33G, 33B at the relevant position can be used as the feature 37x, 37y.
- both the eccentricity e and the alignment angle ⁇ are assigned as characteristic features to each pixel 34x, 34y of each color feature image 33R, 33G, 33B.
- a pixel-by-pixel examination is carried out for each image point 34x, 34y to determine which image channel has the greatest eccentricity.
- the alignment angle ⁇ of that color channel in the respective pixel 34x, 34y is used as the feature 37x, 37y whose eccentricity is greatest for this pixel 34x, 34y.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Description
- Die Erfindung betrifft ein Verfahren zum Vergleich der Oberfläche eines Gegenstands mit einem Referenzgegenstand gemäß dem Patentanspruch 1.
- Aus dem Stand der Technik ist eine Vielzahl von Gegenständen mit Aufdrucken bzw. Applikationen bekannt, die unter unterschiedlichen Richtungen jeweils unterschiedliche Ansichten zeigen. Solche Aufdrucke befinden sich beispielsweise auf Geldscheinen und werden als DOVIDs unter Bezugnahme auf die englische Bezeichnung "Diffractive Optically Variable Image Device" bezeichnet. Gelegentlich werden DOVIDs auch als Hologramme bezeichnet. Aus dem Stand der Technik sind unterschiedliche Verfahren bekannt, wie die Echtheit von DOVID-Aufdrucken einfach ermittelt werden kann. Hierbei wird die jeweilige Banknote, deren Echtheit zu überprüfen ist, jeweils mit einer vorgegebenen echten Banknote verglichen und untersucht, ob eine Übereinstimmung vorliegt. Ein solches Verfahren ist aus
EP 1 835 469 A2 bekannt. - Aus dem Stand der Technik ist es bekannt, den betreffenden Bereich, an dem ein DOVID-Aufdruck vorhanden sein sollte, mikroskopisch zu untersuchen oder punktweise Brechungsmuster des jeweiligen Oberflächenbereichs zu ermitteln und diese anschließend zu vergleichen. Beide Herangehensweisen sind nur mit großem Aufwand zu erreichen und ermöglichen jedenfalls nicht eine rasche Untersuchung einer Vielzahl von Gegenständen, insbesondere Banknoten in kurzer Zeit.
- Daher ist es Aufgabe der Erfindung, ein rasches und einfach durchzuführendes Verfahren zu schaffen, mit dem Gegenstände einfach auf das Vorhandensein bestimmter DOVID-Aufdrucke sowie auf deren Korrektheit überprüft werden können.
- Die Erfindung löst diese Aufgabe bei einem Verfahren der eingangs genannten Art mit den Merkmalen des Patentanspruchs 1.
- Besonders vorteilhaft ist hierbei, dass bereits mit einer geringen Anzahl von vom betreffenden Gegenstand aufgenommenen Bildern sowie mit einer relativ einfach aufbaubaren Beleuchtungseinheit eine wirksame Überprüfung von Gegenständen auf das Vorhandensein und die Korrektheit von DOVID-Aufdrucken möglich ist.
- Eine besonders einfache Art der Überprüfung, mit der insbesondere leicht festgestellt werden kann, ob ein DOVID-Aufdruck überhaupt vorhanden ist, sieht gemäß Erfindung vor, dass aus der
- Beleuchtungsverteilungsfunktion die Exzentrizität als charakteristisches Merkmal extrahiert wird.
- Um zusätzlich oder alternativ auch feststellen zu können, ob DOVID-Bereiche auf dem Gegenstand vorhanden sind, deren Reflektivität sich bei einer Verkippung nach demselben Verkippungswinkel am stärksten ändern, wird von der Erfindung vorgesehen, dass aus der
- Beleuchtungsverteilungsfunktion der Ausrichtungswinkel als charakteristisches Merkmal extrahiert wird, der angibt, nach welcher Verkippungsrichtung der DOVID-Bereich seine Reflektivität am stärksten oder am wenigsten ändert oder der die dominante Richtung der Reflexionsverteilung in der Beleuchtungsverteilungsfunktion angibt.
- Ein besonders einfacher Vergleich, der auf die Rotation des abgebildeten Gegenstands gegenüber der Bildaufnahmeeinheit invariant ist, sieht vor,
- dass das Merkmalsbild und das Referenz-Merkmalsbild miteinander verglichen werden, indem
ausgehend vom Merkmalsbild ein Histogramm erstellt wird, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt, - dass für das Referenz-Merkmalsbild nach denselben Kriterien ein Referenz-Histogramm erstellt wird, und
- dass das Histogramm des Merkmalsbilds mit dem Referenz-Histogramm des Referenz-Merkmalsbilds auf Übereinstimmung verglichen wird und eine große Übereinstimmung der Histogramme einer großen Übereinstimmung der DOVID-Bereiche der Gegenstände gleichgehalten wird.
- Um hierbei eine Winkelausrichtung eines DOVID-Bereichs vorteilhaft ermitteln zu können, kann vorgesehen sein,
- dass zur Erstellung des Merkmalsbilds aus der Beleuchtungsverteilungsfunktion der Ausrichtungswinkel als Merkmal extrahiert wird, und
- dass vor dem Vergleich des Histogramms mit dem Referenz-Histogramm beide Histogramme Fourier-transformiert werden und die Fourier-Transformierten der beiden Histogramme miteinander verglichen werden.
- Zur Überprüfung von DOVID-Bereichen bei mehreren unterschiedlichen Lichtwellenlängen kann vorgesehen sein,
- dass vom Gegenstand von einer Bildaufnahmeeinheit jeweils unter einer Beleuchtung eines Leuchtmittels mit jeweils unterschiedlichem Einstrahlungswinkel jeweils ein Mehrfarben-Digitalbild aufgenommen wird, und diese Mehrfarben-Digitalbilder untereinander jeweils gleiche Größe aufweisen,
- dass die einzelnen Bildkanäle der Mehrfarben-Digitalbilder separat behandelt werden und für jeden Bildkanal ein eigener Bildstapel erstellt wird,
- dass nach einem der vorangehenden Ansprüche jeweils für jeden der Bildstapel separat ein Merkmalsbild ermittelt und als Farbkanal-Merkmalsbild dem jeweiligen Farbkanal zugeordnet wird und die Farbkanal-Merkmalsbilder zum Vergleich mit auf dieselbe Weise erstellten Referenz-Farbkanal-Merkmalsbildern herangezogen werden.
- Eine besonders einfache Durchführung eines Vergleichs von Farbaufnahmen von DOVID-Bereichen sieht vor, dass aus den Farbkanal-Merkmalsbildern ein Merkmalsbild erstellt wird, indem der jeweilige Merkmalswert durch pixelweise Verknüpfung der Merkmalswerte der Farbkanal-Merkmalsbilder, insbesondere durch Bildung des Mittelwerts, der Summe oder eines Maximums, gebildet wird.
- Ein genauerer Vergleich, der insbesondere die ermittelte Ausrichtungswinkelstärke berücksichtigt, sieht vor, dass jedem Bildpunkt jedes Farbkanal-Merkmalsbildes jeweils sowohl Exzentrizität als auch Ausrichtungswinkel zugeordnet werden und ein Merkmalsbild durch pixelweises Heranziehen des Ausrichtungswinkels desjenigen Farbkanals im jeweiligen Bildpunkt als Merkmal gebildet wird, dessen Exzentrizität für diesen Bildpunkt am größten ist.
- Weiters kann vorgesehen sein, dass das Referenz-Merkmalsbild aufgrund der Vermessung eines Referenz-Gegenstands mit einem DOVID-Bereich nach einem der vorangehenden Ansprüche analog der Erstellung des Merkmalsbilds vorgenommen wird.
- Gemäß der Erfindung ist ein Computerprogramm zur Durchführung eines erfindungsgemäßen Verfahrens auf einem Datenträger abgespeichert.
- Mehrere Ausführungsbeispiele der Erfindung sind anhand der folgenden Zeichnungsfiguren näher dargestellt.
-
Fig. 1a zeigt einen Aufbau einer Erfassungseinheit mit einer Bildaufnahmeeinheit sowie einer Anzahl von Leuchtmitteln.Fig. 1b zeigt schematisch die Einfallswinkel des Lichts eines Leuchtmittels.Fig. 2 zeigt eine Beleuchtungsverteilungsfunktion für einen spezifischen Bildpunkt.Fig. 3 zeigt ein erstes Histogramm, das auf Basis der ermittelten Exzentrizitäten erstellt wurde.Fig. 4 zeigt ein zweites Histogramm, das auf Grundlage der Ausrichtungswinkel erstellt wurde.Fig. 5 zeigt die Ermittlung eines Merkmalsbilds auf Grundlage eines einfarbig aufgenommenen Bildstapels.Fig. 6 zeigt die Ermittlung eines Merkmalsbilds auf Grundlage eines mehrfarbig aufgenommenen Bildstapels. - Bei einem ersten Ausführungsbeispiel der Erfindung werden die folgenden Schritte sowohl für einen Referenzgegenstand 20 als auch für den zu untersuchenden Gegenstand 10 durchgeführt. Beide Gegenstände 10, 20 weisen jeweils einen Bereich mit einem DOVID-Aufdruck, im folgenden als DOVID-Bereich 11, 21 bezeichnet, auf. Ziel des nunmehr beschriebenen Verfahrens ist es, festzustellen, ob der DOVID-Bereich 11 des Gegenstands 10 mit dem DOVID-Bereich 21 des Referenzgegenstands 20 übereinstimmt und - da es sich beim Referenzgegenstand 20 um einen bekanntermaßen echten Gegenstand handelt - echt ist.
- In
Fig. 1a ist ein Gegenstand 10 dargestellt, der einen DOVID-Bereich 11 aufweist. Auf den DOVID-Bereich 11 des Gegenstands 10 sind sowohl eine Bildaufnahmeeinheit 30 als auch eine Anzahl von Leuchtmitteln 31a, 31b, ... gerichtet. Die einzelnen Leuchtmittel 31a, 31b, ... strahlen auf den DOVID-Bereich 11 des Gegenstands 10 jeweils mit unterschiedlichem Einstrahlungswinkel ϕ, θ ein. Wie ausFig. 1b ersichtlich, bezeichnet der Winkel ϕ den Winkel des Leuchtmittels in der Ebene, während der Winkel θ den Winkel darstellt, in dem die Lichtquelle über der Ebene des Gegenstands 10 steht. Im vorliegenden Ausführungsbeispiel der Erfindung wird von dem Gegenstand 10 mit der Bildaufnahmeeinheit 30 jeweils ein Digitalbild 32a, 32b, ... erstellt, wobei bei jedem der erstellten Digitalbilder 32a, 32b, ... jeweils ein anderes Leuchtmittel 31, 31b, ... zur Beleuchtung des Gegenstands 10 bzw. des DOVID-Bereichs 11 des Gegenstands 10 herangezogen wird. Derart werden Digitalbilder 32a, 32b (Fig. 5 ) jeweils mit gleicher Größe erstellt. Die Gesamtheit der derart erstellten Digitalbilder 32a, 32b, ... wird als Bildstapel 39 bezeichnet bzw. zu einem Bildstapel 39 zusammengefasst. - Ausgehend von dem ermittelten Bildstapel 39 wird ein Merkmalsbild 33 erstellt, das dieselbe Größe aufweist wie die erstellten Digitalbilder 32a, 32b, ... des Bildstapels 39. Hierbei werden pixelweise die Intensitätswerte der einzelnen Digitalbilder 32a, 32b, ... jeweils zu einem oder mehreren charakteristischen Merkmalen 37x, 37y akkumuliert. Aus den Intensitätswerten der einzelnen Bildpunkte 34x, 34y an jeweils vorgegebenen einander nach Lage entsprechenden Position in den Digitalbildern 32a, 32b, ... wird jeweils separat eine Beleuchtungsverteilungsfunktion 36x, 36y ermittelt, die die Verteilung der Helligkeit des im jeweiligen Bildpunkt 34x, 34y abgebildeten Bereichs über den Einstrahlungswinkel ϕ, θ angibt. Es werden für jeden Bildpunkt 34x, 34y jeweils aus der Beleuchtungsverteilungsfunktion 36x, 36y ein oder mehrere charakteristische Merkmale 37x, 37y extrahiert, die dem jeweiligen Bildpunkt 34x, 34y des Merkmalsbilds 33 zugeordnet werden.
- Eine mögliche Beleuchtungsverteilungsfunktion 36x, 36y ist in
Fig. 2 näher dargestellt. Diese Beleuchtungsverteilungsfunktion 36x, 36y gibt an, wie stark der in dem Bildpunkt 34x, 34y abgebildete Teil des DOVID-Bereichs 11 bei einer Beleuchtung unter dem jeweiligen Einfallswinkel ϕ, θ Licht reflektiert. Zu diesem Zweck wird für die einzelnen Bildpunkte 34x, 34y des Bildstapels 39 jeweils separat der jeweilige Intensitätswert i herangezogen und in der für den jeweiligen Bildpunkt 34x, 34y erstellten Beleuchtungsverteilungsfunktion 36x, 36y an der betreffenden Stelle eingetragen. Aufgrund der bekannten Winkel ϕ, θ der einzelnen Beleuchtungseinheiten 31a, 31b, ... ist es möglich, durch stereographische Projektion auf eine Ebene mit den betreffenden Koordinaten x, y die Stützpunkte 35a, 35b, ... zu erhalten. - Jedem der vorhandenen Stützpunkte 35a, 35b, ... wird entsprechend der ermittelten Intensität i des betreffenden Bildpunkts 34x, 34y jeweils eine Intensität i zugeordnet. Durch Interpolation ist es möglich, eine Beleuchtungsverteilungsfunktion 36 auf Grundlage der Stützpunkte 35a, 35b, ... sowie der zugeordneten Intensitäten i zu ermitteln.
- Als Merkmal 37x, 37y für die Erstellung des Merkmalsbilds 33 wird in diesem Ausführungsbeispiel der Erfindung die Exzentrizität e der jeweiligen Beleuchtungsverteilungsfunktion 36x, 36y herangezogen. Die Exzentrizität e kann vereinfacht und ohne die Notwendigkeit der tatsächlichen Bestimmung einer Beleuchtungsverteilungsfunktion als kontinuierliche Funktion in zwei Variablen x, y durch diskrete Methoden wie folgt ermittelt werden:
In einem ersten Schritt wird die Summe M00 als Summe sämtlicher Intensitätswerte ermittelt. Die einzelnen x- und y-Koordinaten der Stützpunkte 35a, 35b, 35c, 35d werden zu Vektoren X, Y zusammengefügt. Die jeweils diesen Stützpunkten 35a, 35b, 35c, 35d zugeordneten Intensitätswerte werden zu einem Intensitätsvektor I zusammengefügt. - Anschließend wird ein gewichteter Schwerpunkt der angegebenen Intensitätswerte ermittelt. Die x-Koordinate x_ des gewichteten Schwerpunkts ergibt sich als Skalarprodukt des Vektors X der x-Koordinaten der Stützpunkte und des Intensitätsvektors I der Intensitätswerte dividiert durch die Summe M00. Entsprechend ergibt sich die y-Koordinate y_ des gewichteten Schwerpunkts als Skalarprodukt des Vektors Y der y-Koordinaten der Stützpunkte und der Intensitätswerte I dividiert durch die Summe M00.
- Im Folgenden werden nun die Momente zweiter Ordnung µ20, µ11 und µ02 gemäß den folgenden Vorschriften ermittelt:
wobei "Vektor minus Skalar" (X-x_) bzw. (Y-y_) bedeutet, dass der Skalar von jedem Element des Vektors subtrahiert wird, und die binäre Operation "*" für zwei Vektor-Operanden die elementweise Multiplikation der beiden Operanden bedeutet. Das Resultat ist dann wieder ein Vektor. -
- Dieses Vorgehen kann für jeden einzelnen der Bildpunkte 34x, 34y, ... des zu erstellenden Merkmalsbilds 33 separat vorgenommen werden. Als charakteristisches Merkmal 37x, 37y, ... des jeweiligen Bildpunkts 34x, 34y, ... wird die jeweils ermittelte Exzentrizität e zugeordnet.
- Mit demselben Vorgehen wird ein Referenzmerkmalsbild 23 des Referenzbilds 20 bzw. des DOVID-Bereichs 21 des Referenzmerkmalsbilds 20 erstellt. Das Merkmalsbild 33 und das Referenzmerkmalsbild 23 werden anschließend miteinander verglichen. Hierbei wird ausgehend vom Merkmalsbild 33 ein Histogramm 38 erstellt, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt. Für das Referenzmerkmalsbild 23 wird nach denselben Kriterien ein Referenzhistogramm 28 erstellt.
Fig. 3 zeigt ein derartiges Histogramm. Anschließend werden das Histogramm 38 des Merkmalsbilds 33 und das Referenzhistogramm 28 des Referenzmerkmalsbilds 23 auf Übereinstimmung überprüft. Eine große Übereinstimmung der Histogramme 28, 38 lässt dabei auf eine große Übereinstimmung der DOVID-Bereiche 21, 11 der Gegenstände 20, 10 schließen. - Um die Übereinstimmung zweier Histogramme 28, 38 miteinander zu überprüfen, werden die Histogramme zunächst normiert. Anschließend können die einzelnen den Bereichen zugeordneten Häufigkeiten miteinander elementweise multipliziert werden und die sich daraus ergebenden Produkte miteinander summiert werden. Werden die Histogramme 28, 38 als Häufigkeitsvektoren dargestellt, kann ein Übereinstimmungswert durch Bildung des Skalarprodukts der normierten Häufigkeitsvektoren der Histogramme gefunden werden. Für die Normierung kann insbesondere die L2-Norm herangezogen werden.
- Bei einer zweiten Ausführungsform der Erfindung, die im übrigen der ersten Ausführungsform der Erfindung entspricht, besteht die Möglichkeit, das Merkmalsbild 33 und das Referenzmerkmalsbild 23 nicht mittels Histrogrammvergleich zu vergleichen, sondern eine unmittelbare Prüfung der beiden Merkmalsbilder 23, 33 durch Bildvergleich vorzunehmen.
- Eine dritte vorteilhafte Ausführungsform der Erfindung, die im übrigen der ersten Ausführungsform der Erfindung entspricht, verwendet als charakteristische Merkmale anstelle der Exzentrizität e den Ausrichtungswinkel ω als Merkmal 37. Dieser Ausrichtungswinkel ω gibt an, in welcher Verkippungsrichtung der DOVID-Bereich 11 die stärkste Reflektivität aufweist. In derselben Richtung findet auch der dominante Farbwechsel des DOVID-Bereichs statt.
-
- Wenn als Merkmal der Ausrichtungswinkel ω verwendet wird, ist es von Vorteil, dass vor dem Vergleich des Histogramms 38 mit dem Referenzhistogramm 28 beide Histogramme Fourier-transformiert werden und die Fourier-Transformierten der beiden Histogramme miteinander verglichen werden. Ein unter Verwendung des Ausrichtungswinkels ω erstelltes Histogramm ist in
Fig. 4 dargestellt und weist einen hinsichtlich seines Arguments periodischen Verlauf auf, der lediglich zwischen -π/2 und π/2 dargestellt ist. Um Verschiebungen dieser Histogramme gegeneinander vernachlässigen zu können, die insbesondere dadurch entstehen, dass der betreffende Gegenstand nicht exakt im gleichen Winkel wie der Referenzgegenstand eingezogen wurde, wird das betreffende Histogramm jeweils Fourier-transformiert. Die betreffenden Fourier-Transformierten sind gegen Verdrehungen des Gegenstands 10 bzw. Referenzgegenstands 20 bei der Aufnahme invariant, sodass hierbei ein besonders einfacher Vergleich möglich ist. - Bei einem vierten bevorzugten Ausführungsbeispiel der Erfindung wird der Gegenstand 10 von einer Bildaufnahmeeinheit 30 jeweils unter einer Beleuchtung eines Leuchtmittels 31a, 31b, ... mit jeweils unterschiedlichem Einstrahlungswinkel ϕ, θ aufgenommen, wobei jeweils ein Mehrfarben-Digitalbild 32a, 32b, ... aufgenommen wird. Diese Mehrfarben-Digitalbilder 32a, 32b, ... weisen untereinander jeweils dieselbe Größe auf und zeigen denselben Gegenstandsbereich des Gegenstands 10. Im vorliegenden Ausführungsbeispiel weist jedes dieser Mehrfarbendigitalbilder 32a, 32b drei Bildkanäle auf, einen Bildkanal für den roten, einen Bildkanal für den grünen und einen Bildkanal für den blauen Farbanteil des betreffenden Bilds. In einem ersten Schritt wird für jeden Bildkanal jeweils ein separater Bildstapel 39R, 39G, 39B erstellt und anschließend für jeden Bildstapel separat ein Merkmalsbild 33R, 33G, 33B ermittelt. Dieses wird in weiterer Folge als Farb-Merkmalsbild 33R, 33G, 33B dem jeweiligen Farbkanal zugeordnet.
- Grundsätzlich besteht die Möglichkeit, die so erhaltenen Farb-Merkmalsbilder 33R, 33G, 33B mit auf dieselbe Weise erhaltenen Farb-Merkmalsbildern des Referenzgegenstands zu vergleichen und derart die Übereinstimmung zu überprüfen. Im vorliegenden Ausführungsbeispiel wird jedoch vor dem Vergleich mit dem Referenzbild aus den Farb-Merkmalsbildern 33R, 33G, 33B ein Merkmalsbild 33 erstellt, wobei die Merkmalswerte 37x, 37y pixelweise durch Verknüpfung der Merkmalswerte einander in ihrer Lage entsprechender Bildpunkte 34x, 34y der Farbkanalsmerkmalsbilder erstellt werden. Als Merkmal 37x, 37y kann beispielsweise der Mittelwert, die Summe oder das Maximum der jeweiligen Merkmale in den Farb-Merkmalsbildern 33R, 33G, 33B an der betreffenden Position herangezogen werden.
- Bei einer fünften Ausführungsform der Erfindung werden jedem Bildpunkt 34x, 34y jedes Farb-Merkmalsbilds 33R, 33G, 33B sowohl die Exzentrizität e als auch der Ausrichtungswinkel ω als charakteristische Merkmale zugeordnet. Bei der Erstellung des Merkmalsbilds 33 wird für jeden Bildpunkt 34x, 34y jeweils pixelweise untersucht, für welchen Bildkanal jeweils die größte Exzentrizität vorliegt. Der Ausrichtungswinkel ω desjenigen Farbkanals im jeweiligen Bildpunkt 34x, 34y wird als Merkmal 37x, 37y herangezogen, dessen Exzentrizität für diesen Bildpunkt 34x, 34y am größten ist.
Claims (8)
- Verfahren zum Vergleich der Oberfläche eines Gegenstands (10), insbesondere einer Banknote, einer Chipkarte oder eines Ausweises, umfassend einem DOVID-Bereich (11), mit einem Referenzgegenstand (20), ebenfalls umfassend einen DOVID-Bereich (21),a) wobei der Gegenstand (10) von einer Bildaufnahmeeinheit (30) aufgenommen wird und derart Digitalbilder (32a, 32b, ...) gleicher Größe erstellt werden, wobei jedes Digitalbild (32a, 32b, ...) jeweils unter einer Beleuchtung eines Leuchtmittels (31a, 31b, ...) mit jeweils unterschiedlichem Einstrahlungswinkel (ϕ, θ) erstellt wird, und derart ein Bildstapel (39) umfassend die einzelnen Digitalbilder (32a, 32b, ...) erstellt wird,b) wobei ein Merkmalsbild (33) erstellt wird, das dieselbe Größe aufweist wie die erstellten Digitalbilder (32a, 32b, ...), wobei für jeden Bildpunkt (34x, 34y, ...) des Merkmalsbilds (33)- jeweils eine Beleuchtungsverteilungsfunktion (36x, 36y, ...) aus den dem jeweiligen Bildpunkt (34x-34y) des Merkmalsbildes (33) lageentsprechenden Bildpunkten der einzelnen Digitalbilder ( 32a, 32b) ermittelt wird, die angibt, wie stark der in dem Bildpunkt (34x, 34y, ...) abgebildete Teil des DOVID-Bereichs (11) bei einer Beleuchtung unter dem jeweiligen Einfallswinkel (ϕ, θ) Licht reflektiert, und- aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) ein oder mehrere charakteristische Merkmale (37x, 37y, ... ) extrahiert werden und dem jeweiligen Bildpunkt (34x, 34y, ...) des Merkmalsbilds (33) zugeordnet werden, undc) wobei das Merkmalsbild (33) mit einem nach denselben Kriterien von einem Referenzgegenstand (20) erstellten Referenz-Merkmalsbild (23) verglichen wird, dadurch gekennzeichnet, dass aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) die Exzentrizität (e) als charakteristisches Merkmal (37x, 37y, ...) extrahiert wird, und/oder dass aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) der Ausrichtungswinkel (ω) als charakteristisches Merkmal (37) extrahiert wird, der angibt, nach welcher Verkippungsrichtung der DOVID-Bereich (11) seine Reflektivität am stärksten oder am wenigsten ändert oder der die dominante Richtung der Reflexionsverteilung in der Beleuchtungsverteilungsfunktion (36x, 36y, ...) angibt.
- Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet,- dass das Merkmalsbild (33) und das Referenz-Merkmalsbild (23) miteinander verglichen werden, indem
ausgehend vom Merkmalsbild (33) ein Histogramm (38) erstellt wird, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt,- dass für das Referenz-Merkmalsbild (23) nach denselben Kriterien ein Referenz-Histogramm (28) erstellt wird, und- dass das Histogramm (38) des Merkmalsbilds (33) mit dem Referenz-Histogramm (28) des Referenz-Merkmalsbilds (23) auf Übereinstimmung verglichen wird und eine große Übereinstimmung der Histogramme (28, 38) einer großen Übereinstimmung der DOVID-Bereiche der Gegenstände (20, 30) gleichgehalten wird. - Verfahren nach Anspruch 2, dadurch gekennzeichnet,- dass zur Erstellung des Merkmalsbilds (33) aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) der Ausrichtungswinkel (ω) als Merkmal (37) extrahiert wird, und- dass vor dem Vergleich des Histogramms (38) mit dem Referenz-Histogramm (28) beide Histogramme (28, 38) Fourier-transformiert werden und die Fourier-Transformierten der beiden Histogramme (28, 38) miteinander verglichen werden.
- Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet,- dass vom Gegenstand (10) von einer Bildaufnahmeeinheit (30) jeweils unter einer Beleuchtung eines Leuchtmittels (31a, 31b, ...) mit jeweils unterschiedlichem Einstrahlungswinkel (ϕ, ϑ) jeweils ein Mehrfarben-Digitalbild (32a, 32b) aufgenommen wird, und diese Mehrfarben-Digitalbilder (32a, 32b, ...) untereinander jeweils gleiche Größe aufweisen,- dass die einzelnen Bildkanäle der Mehrfarben-Digitalbilder (32a, 32b, ...) separat behandelt werden und für jeden Bildkanal ein eigener Bildstapel (39R, 39G, 39B) erstellt wird,- dass nach einem der vorangehenden Ansprüche jeweils für jeden der Bildstapel (39R, 39G, 39B) separat ein Merkmalsbild (33R, 33G, 33B) ermittelt und als Farbkanal-Merkmalsbild (33R, 33G, 33B) dem jeweiligen Farbkanal zugeordnet wird und die Farbkanal-Merkmalsbilder (33R, 33G, 33B) zum Vergleich mit auf dieselbe Weise erstellten Referenz-Farbkanal-Merkmalsbildern (23R, 23G, 23B) herangezogen werden.
- Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass aus den Farbkanal-Merkmalsbildern (33R, 33G, 33B) ein Merkmalsbild (33) erstellt wird, indem der jeweilige Merkmalswert durch pixelweise Verknüpfung der Merkmalswerte der Farbkanal-Merkmalsbilder, insbesondere durch Bildung des Mittelwerts, der Summe oder eines Maximums, gebildet wird.
- Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass jedem Bildpunkt (34x, 34y) jedes Farbkanal-Merkmalsbildes (33R, 33G, 33B) jeweils sowohl Exzentrizität (e) als auch Ausrichtungswinkel (ω) zugeordnet werden und ein Merkmalsbild (33) durch pixelweises Heranziehen des Ausrichtungswinkels (ω) desjenigen Farbkanals im jeweiligen Bildpunkt (34x, 34y) als Merkmal (37x, 37y) gebildet wird, dessen Exzentrizität (e) für diesen Bildpunkt (34x, 34y) am größten ist.
- Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Erstellung des Referenz-Merkmalsbilds (23) aufgrund der Vermessung eines Referenz-Gegenstands (20) mit einem DOVID-Bereich (21) nach einem der vorangehenden Ansprüche analog der Erstellung des Merkmalsbilds vorgenommen wird.
- Datenträger, auf dem ein Computerprogramm zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche abgespeichert ist.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ATA50923/2014A AT516687B1 (de) | 2014-12-18 | 2014-12-18 | Photometrischer DOVID-Vergleich |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP3054429A1 EP3054429A1 (de) | 2016-08-10 |
| EP3054429B1 true EP3054429B1 (de) | 2022-08-17 |
Family
ID=54849898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP15200133.5A Active EP3054429B1 (de) | 2014-12-18 | 2015-12-15 | Photometrischer dovid-vergleich |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3054429B1 (de) |
| AT (1) | AT516687B1 (de) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20260104363A1 (en) * | 2024-10-11 | 2026-04-16 | Hewlett-Packard Development Company, L.P. | Pixel deviations |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7672475B2 (en) * | 2003-12-11 | 2010-03-02 | Fraudhalt Limited | Method and apparatus for verifying a hologram and a credit card |
| JP2007249475A (ja) * | 2006-03-15 | 2007-09-27 | Mitsubishi Electric Corp | 画像読取装置及び紙幣読取方法 |
| DE102008051409A1 (de) * | 2008-10-11 | 2010-04-15 | Bayer Materialscience Ag | Sicherheitselement |
| FR2973137B1 (fr) * | 2011-03-25 | 2015-07-24 | Hologram Ind | Procede et systeme d'authentification d'un document securise |
-
2014
- 2014-12-18 AT ATA50923/2014A patent/AT516687B1/de active
-
2015
- 2015-12-15 EP EP15200133.5A patent/EP3054429B1/de active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20260104363A1 (en) * | 2024-10-11 | 2026-04-16 | Hewlett-Packard Development Company, L.P. | Pixel deviations |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3054429A1 (de) | 2016-08-10 |
| AT516687A1 (de) | 2016-07-15 |
| AT516687B1 (de) | 2016-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE69333094T2 (de) | Vorrichtung zum Extrahieren von Merkmalen eines Gesichtsbildes | |
| DE102011106052B4 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns | |
| DE102011106050A1 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads | |
| EP1610270A2 (de) | Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal | |
| DE102011106072A1 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse | |
| DE102014112242A1 (de) | Phasenkontrast-Bildgebung | |
| EP2625673B1 (de) | Verfahren zum prüfen eines optischen sicherheitsmerkmals eines wertdokuments | |
| EP3089106A1 (de) | Verfahren zur reflexionskorrektur von abbildungen und diesbezügliche vorrichtungen | |
| DE102015208087A1 (de) | Verfahren zum Generieren eines reflektionsreduzierten Kontrastbildes und diesbezügliche Vorrichtungen | |
| DE102018127754A1 (de) | Verfahren und Vorrichtung zum Inspizieren einer Objektoberfläche, insbesondere zum Inspizieren der Oberfläche eines Pulverbettes mit einer Vielzahl von Pulverpartikeln | |
| WO2011098304A1 (de) | Verfahren und vorrichtung zum einstellen eines geeigneten auswerteparameters für ein fluoreszenzmikroskop | |
| AT516687B1 (de) | Photometrischer DOVID-Vergleich | |
| DE10132589B4 (de) | Verfahren zur qualitativen Beurteilung von Material | |
| AT522945B1 (de) | Verfahren und Testsystem zur Qualitätsbestimmung einer optischen Projektionseinheit | |
| EP3158543A1 (de) | Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes | |
| EP1897067A1 (de) | Verfahren und vorrichtung zur erkennung einer münze unter verwendung ihres prägebildes | |
| DE10355150B4 (de) | Verfahren und System zur Analyse von Co-Lokalisationen | |
| DE102015208084A1 (de) | Verfahren zum Generieren eines Kontrastbildes einer Objektbeschaffenheit und diesbezügliche Vorrichtungen | |
| EP3839596B1 (de) | Vorrichtung und verfahren zur identifikation von deckglasbereichen eines objektträgers | |
| DE10300608A1 (de) | Verfahren zur Erkennung eines Prägebildes einer Münze in einem Münzautomaten | |
| DE102005049017A1 (de) | Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum | |
| DE102023131282B3 (de) | Verfahren und Vorrichtung zum Prüfen eines Sicherheitselements für ein Sicherheitsdokument | |
| DE10066189B4 (de) | Verfahren zur Erkennung von Objekten | |
| DE102021001256B3 (de) | Verfahren zum Erkennen eines Objekts in einem Suchbild, und Verwendung eines Verfahrens zur Bestimmung einer Position und/oder Orientierung eines Sicherheitselements einer Banknote | |
| WO2010043443A1 (de) | Verfahren und vorrichtung für die überprüfung von linsenstrukturen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20161216 |
|
| RBV | Designated contracting states (corrected) |
Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| RIC1 | Information provided on ipc code assigned before grant |
Ipc: G07D 7/128 20160101ALI20220217BHEP Ipc: G07D 7/206 20160101ALI20220217BHEP Ipc: G07D 7/121 20160101ALI20220217BHEP Ipc: G07D 7/00 20160101ALI20220217BHEP Ipc: G07D 7/20 20160101AFI20220217BHEP |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
| INTG | Intention to grant announced |
Effective date: 20220408 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502015016014 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 1512676 Country of ref document: AT Kind code of ref document: T Effective date: 20220915 |
|
| REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20220817 |
|
| REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG9D |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20221219 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20221117 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20221217 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20221118 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502015016014 Country of ref document: DE |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| 26N | No opposition filed |
Effective date: 20230519 |
|
| GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20221215 |
|
| REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20221231 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221231 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221231 |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 1512676 Country of ref document: AT Kind code of ref document: T Effective date: 20221215 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20151215 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: U11 Free format text: ST27 STATUS EVENT CODE: U-0-0-U10-U11 (AS PROVIDED BY THE NATIONAL OFFICE) Effective date: 20260101 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20251211 Year of fee payment: 11 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20260101 Year of fee payment: 11 |