EP3054429A1 - Photometric dovid comparison - Google Patents
Photometric dovid comparison Download PDFInfo
- Publication number
- EP3054429A1 EP3054429A1 EP15200133.5A EP15200133A EP3054429A1 EP 3054429 A1 EP3054429 A1 EP 3054429A1 EP 15200133 A EP15200133 A EP 15200133A EP 3054429 A1 EP3054429 A1 EP 3054429A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- image
- feature
- created
- feature image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005315 distribution function Methods 0.000 claims abstract description 23
- 238000005286 illumination Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000002310 reflectometry Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 11
- 230000005484 gravity Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011438 discrete method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
- G07D7/12—Visible light, infrared or ultraviolet radiation
- G07D7/128—Viewing devices
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/003—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements
- G07D7/0032—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements using holograms
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
- G07D7/12—Visible light, infrared or ultraviolet radiation
- G07D7/121—Apparatus characterised by sensor details
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
- G07D7/205—Matching spectral properties
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
- G07D7/206—Matching template patterns
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Vergleich der Oberfläche eines Gegenstands (10), insbesondere einer Banknote, einer Chipkarte oder eines Ausweises, umfassend einem DOVID-Bereich (11), mit einem Referenzgegenstand (20), ebenfalls umfassend einen DOVID-Bereich (21), a) wobei der Gegenstand (10) von einer Bildaufnahmeeinheit (30) aufgenommen wird und derart Digitalbilder (32a, 32b, ...) gleicher Größe erstellt werden, wobei jedes Digitalbild (32a, 32b, ...) jeweils unter einer Beleuchtung eines Leuchtmittels (31 a, 31 b, ...) mit jeweils unterschiedlichem Einstrahlungswinkel (Õ, ¸) erstellt wird, und derart ein Bildstapel (39) umfassend die einzelnen Digitalbilder (32a, 32b, ...) erstellt wird, b) wobei ein Merkmalsbild (33) erstellt wird, das dieselbe Größe aufweist wie die erstellten Digitalbilder (32a, 32b, ...), wobei für jeden Bildpunkt (34x, 34y, ...) des zu erstellenden Merkmalsbilds (33) - jeweils eine Beleuchtungsverteilungsfunktion (36x, 36y, ...) ermittelt wird, die angibt, wie stark der in dem Bildpunkt (34x, 34y, ...) abgebildete Teil des DOVID-Bereichs (11) bei einer Beleuchtung unter dem jeweiligen Einfallswinkel (Õ, ¸) Licht reflektiert, und - aus der Beleuchtungsverteilungsfunktion (36x, 36y, ...) ein oder mehrere charakteristische Merkmale (37x, 37y, ... ) extrahiert werden und dem jeweiligen Bildpunkt (34x, 34y, ...) des Merkmalsbilds (33) zugeordnet werden, und c) wobei das Merkmalsbild (33) mit einem nach denselben Kriterien von einem Referenzgegenstand (20) erstellten Referenz-Merkmalsbild (23) verglichen wird.The invention relates to a method for comparing the surface of an object (10), in particular a banknote, a chip card or a badge, comprising a DOVID area (11) with a reference object (20), likewise comprising a DOVID area (21). . a) wherein the object (10) is taken by an image recording unit (30) and digital images (32a, 32b, ...) of the same size are created, each digital image (32a, 32b, ...) each under a lighting of a Illuminant (31 a, 31 b, ...) is created with each different angle of incidence (Õ, ¸), and such a picture stack (39) comprising the individual digital images (32 a, 32 b, ...) is created, b) wherein a feature image (33) is created, which has the same size as the created digital images (32a, 32b, ...), wherein for each pixel (34x, 34y, ...) of the feature image to be created (33) in each case an illumination distribution function (36x, 36y,...) is determined which indicates how strongly the part of the DOVID area (11) imaged in the pixel (34x, 34y,...) illuminates at the respective angle of incidence (Õ, ¸) light reflects, and one or more characteristic features (37x, 37y, ...) are extracted from the illumination distribution function (36x, 36y, ...) and assigned to the respective pixel (34x, 34y, ...) of the feature image (33), and c) wherein the feature image (33) is compared with a reference feature image (23) created by a reference object (20) according to the same criteria.
Description
Die Erfindung betrifft ein Verfahren zum Vergleich der Oberfläche eines Gegenstands mit einem Referenzgegenstand gemäß dem Patentanspruch 1.The invention relates to a method for comparing the surface of an object with a reference object according to claim 1.
Aus dem Stand der Technik ist eine Vielzahl von Gegenständen mit Aufdrucken bzw. Applikationen bekannt, die unter unterschiedlichen Richtungen jeweils unterschiedliche Ansichten zeigen. Solche Aufdrucke befinden sich beispielsweise auf Geldscheinen und werden als DOVIDs unter Bezugnahme auf die englische Bezeichnung "Diffractive Optically Variable Image Device" bezeichnet. Gelegentlich werden DOVIDs auch als Hologramme bezeichnet. Aus dem Stand der Technik sind unterschiedliche Verfahren bekannt, wie die Echtheit von DOVID-Aufdrucken einfach ermittelt werden kann. Hierbei wird die jeweilige Banknote, deren Echtheit zu überprüfen ist, jeweils mit einer vorgegebenen echten Banknote verglichen und untersucht, ob eine Übereinstimmung vorliegt.From the prior art, a variety of articles with imprints or applications are known, each showing different views under different directions. Such imprints are for example on bills and are referred to as DOVIDs with reference to the English term "Diffractive Optically Variable Image Device". Occasionally, DOVIDs are also referred to as holograms. Different methods are known from the prior art, as the authenticity of DOVID imprints can be easily determined. In this case, the respective banknote, the authenticity of which is to be checked, is in each case compared with a predetermined genuine banknote and it is examined whether there is a match.
Aus dem Stand der Technik ist es bekannt, den betreffenden Bereich, an dem ein DOVID-Aufdruck vorhanden sein sollte, mikroskopisch zu untersuchen oder punktweise Brechungsmuster des jeweiligen Oberflächenbereichs zu ermitteln und diese anschließend zu vergleichen. Beide Herangehensweisen sind nur mit großem Aufwand zu erreichen und ermöglichen jedenfalls nicht eine rasche Untersuchung einer Vielzahl von Gegenständen, insbesondere Banknoten in kurzer Zeit.From the prior art, it is known to microscopically examine the relevant area to which a DOVID imprint should be present or to determine pointwise refraction patterns of the respective surface area and then to compare them. Both approaches can be achieved only with great effort and in any case do not allow a rapid investigation of a variety of items, especially banknotes in a short time.
Daher ist es Aufgabe der Erfindung, ein rasches und einfach durchzuführendes Verfahren zu schaffen, mit dem Gegenstände einfach auf das Vorhandensein bestimmter DOVID-Aufdrucke sowie auf deren Korrektheit überprüft werden können.Therefore, it is an object of the invention to provide a quick and easy to perform method, with the objects can be easily checked for the presence of certain DOVID imprints and their correctness.
Die Erfindung löst diese Aufgabe bei einem Verfahren der eingangs genannten Art mit den Merkmalen des Patentanspruchs 1. Die Erfindung sieht vor, dass
- a) der Gegenstand von einer Bildaufnahmeeinheit aufgenommen wird und derart Digitalbilder gleicher Größe erstellt werden, wobei jedes Digitalbild jeweils unter einer Beleuchtung eines Leuchtmittels mit jeweils unterschiedlichem Einstrahlungswinkel erstellt wird, und derart ein Bildstapel umfassend die einzelnen Digitalbilder erstellt wird,
- b) ein Merkmalsbild erstellt wird, das dieselbe Größe aufweist wie die erstellten Digitalbilder, wobei für jeden Bildpunkt des zu erstellenden Merkmalsbilds
- jeweils eine Beleuchtungsverteilungsfunktion ermittelt wird, die angibt, wie stark der in dem Bildpunkt abgebildete Teil des DOVID-Bereichs bei einer Beleuchtung unter dem jeweiligen Einfallswinkel Licht reflektiert, und
- aus der Beleuchtungsverteilungsfunktion ein oder mehrere charakteristische Merkmale extrahiert werden und dem jeweiligen Bildpunkt des Merkmalsbilds zugeordnet werden, und
- c) das Merkmalsbild mit einem nach denselben Kriterien von einem Referenzgegenstand erstellten Referenz-Merkmalsbild verglichen wird.
- a) the object is taken by an image recording unit and digital images of the same size are created, wherein each digital image is created in each case under illumination of a light source having different angles of incidence, and such an image stack comprising the individual digital images is created,
- b) creating a feature image having the same size as the created digital images, wherein for each pixel of the feature image to be created
- in each case an illumination distribution function is determined, which indicates how much the part of the DOVID region imaged in the pixel reflects light when illuminated at the respective angle of incidence, and
- one or more characteristic features are extracted from the illumination distribution function and assigned to the respective pixel of the feature image, and
- c) the feature image is compared with a reference feature image created from a reference object according to the same criteria.
Besonders vorteilhaft ist hierbei, dass bereits mit einer geringen Anzahl von vom betreffenden Gegenstand aufgenommenen Bildern sowie mit einer relativ einfach aufbaubaren Beleuchtungseinheit eine wirksame Überprüfung von Gegenständen auf das Vorhandensein und die Korrektheit von DOVID-Aufdrucken möglich ist.It is particularly advantageous in this case that an effective checking of objects for the presence and correctness of DOVID imprints is possible even with a small number of images taken by the relevant object and with a lighting unit which can be mounted relatively simply.
Eine besonders einfache Art der Überprüfung, mit der insbesondere leicht festgestellt werden kann, ob ein DOVID-Aufdruck überhaupt vorhanden ist, sieht vor, dass aus der Beleuchtungsverteilungsfunktion die Exzentrizität als charakteristisches Merkmal extrahiert wird.A particularly simple type of check, with which it is particularly easy to determine whether a DOVID imprint is even present, provides that the eccentricity is extracted as a characteristic feature from the illumination distribution function.
Um zusätzlich oder alternativ auch feststellen zu können, ob DOVID-Bereiche auf dem Gegenstand vorhanden sind, deren Reflektivität sich bei einer Verkippung nach demselben Verkippungswinkel am stärksten ändern, kann vorgesehen sein, dass aus der Beleuchtungsverteilungsfunktion der Ausrichtungswinkel als charakteristisches Merkmal extrahiert wird, der angibt, nach welcher Verkippungsrichtung der DOVID-Bereich seine Reflektivität am stärksten oder am wenigsten ändert oder der die dominante Richtung der Reflexionsverteilung in der Beleuchtungsverteilungsfunktion angibt.In order additionally or alternatively to be able to determine whether there are DOVID areas on the object whose reflectivity changes most when tilting at the same tilt angle, it can be provided that the orientation angle is extracted from the illumination distribution function as a characteristic feature that indicates according to which direction of tilting the DOVID range changes its reflectivity the strongest or least or indicates the dominant direction of the reflection distribution in the illumination distribution function.
Ein besonders einfacher Vergleich, der auf die Rotation des abgebildeten Gegenstands gegenüber der Bildaufnahmeeinheit invariant ist, sieht vor,
- dass das Merkmalsbild und das Referenz-Merkmalsbild miteinander verglichen werden, indem
ausgehend vom Merkmalsbild ein Histogramm erstellt wird, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt, - dass für das Referenz-Merkmalsbild nach denselben Kriterien ein Referenz-Histogramm erstellt wird, und
- dass das Histogramm des Merkmalsbilds mit dem Referenz-Histogramm des Referenz-Merkmalsbilds auf Übereinstimmung verglichen wird und eine große Übereinstimmung der Histogramme einer großen Übereinstimmung der DOVID-Bereiche der Gegenstände gleichgehalten wird.
- in that the feature image and the reference feature image are compared with each other by
a histogram is created starting from the feature image, which indicates the frequency of occurrence of a feature value within a certain value range, - that a reference histogram is created for the reference feature image according to the same criteria, and
- that the histogram of the feature image is compared with the reference histogram of the reference feature image for agreement and a large match the histograms of a large match of the DOVID areas of the objects is kept equal.
Um hierbei eine Winkelausrichtung eines DOVID-Bereichs vorteilhaft ermitteln zu können, kann vorgesehen sein,
- dass zur Erstellung des Merkmalsbilds aus der Beleuchtungsverteilungsfunktion der Ausrichtungswinkel als Merkmal extrahiert wird, und
- dass vor dem Vergleich des Histogramms mit dem Referenz-Histogramm beide Histogramme Fourier-transformiert werden und die Fourier-Transformierten der beiden Histogramme miteinander verglichen werden.
- in that the orientation angle is extracted as a feature to produce the feature image from the illumination distribution function, and
- in that prior to the comparison of the histogram with the reference histogram, both histograms are Fourier-transformed and the Fourier transforms of the two histograms are compared with one another.
Zur Überprüfung von DOVID-Bereichen bei mehreren unterschiedlichen Lichtwellenlängen kann vorgesehen sein,
- dass vom Gegenstand von einer Bildaufnahmeeinheit jeweils unter einer Beleuchtung eines Leuchtmittels mit jeweils unterschiedlichem Einstrahlungswinkel jeweils ein Mehrfarben-Digitalbild aufgenommen wird, und diese Mehrfarben-Digitalbilder untereinander jeweils gleiche Größe aufweisen,
- dass die einzelnen Bildkanäle der Mehrfarben-Digitalbilder separat behandelt werden und für jeden Bildkanal ein eigener Bildstapel erstellt wird,
- dass nach einem der vorangehenden Ansprüche jeweils für jeden der Bildstapel separat ein Merkmalsbild ermittelt und als Farbkanal-Merkmalsbild dem jeweiligen Farbkanal zugeordnet wird und die Farbkanal-Merkmalsbilder zum Vergleich mit auf dieselbe Weise erstellten Referenz-Farbkanal-Merkmalsbildern herangezogen werden.
- that in each case a multicolor digital image is taken of the object by an image recording unit under illumination of a light source having respectively different irradiation angles, and these multicolor digital images each have the same size,
- that the individual image channels of the multicolor digital images are treated separately and a separate image stack is created for each image channel,
- according to one of the preceding claims, a feature image is determined separately for each of the image stacks and assigned as a color channel feature image to the respective color channel and the color channel feature images are used for comparison with reference color channel feature images created in the same way.
Eine besonders einfache Durchführung eines Vergleichs von Farbaufnahmen von DOVID-Bereichen sieht vor, dass aus den Farbkanal-Merkmalsbildern ein Merkmalsbild erstellt wird, indem der jeweilige Merkmalswert durch pixelweise Verknüpfung der Merkmalswerte der Farbkanal-Merkmalsbilder, insbesondere durch Bildung des Mittelwerts, der Summe oder eines Maximums, gebildet wird.A particularly simple performance of a comparison of color shots of DOVID areas provides that a feature image is created from the color channel feature images by the respective feature value by pixel-wise linking the feature values of the color channel feature images, in particular by forming the average, the sum or a Maximums, is formed.
Ein genauerer Vergleich, der insbesondere die ermittelte Ausrichtungswinkelstärke berücksichtigt, sieht vor, dass jedem Bildpunkt jedes Farbkanal-Merkmalsbildes jeweils sowohl Exzentrizität als auch Ausrichtungswinkel zugeordnet werden und ein Merkmalsbild durch pixelweises Heranziehen des Ausrichtungswinkels desjenigen Farbkanals im jeweiligen Bildpunkt als Merkmal gebildet wird, dessen Exzentrizität für diesen Bildpunkt am größten ist.A more detailed comparison, which takes into account, in particular, the detected orientation angle strength, provides that each pixel of each color channel feature image is assigned both eccentricity and orientation angle and a feature image is formed by pixel-wise taking the orientation angle of that color channel in the respective pixel as a feature whose eccentricity for this pixel is the largest.
Weiters kann vorgesehen sein, dass das Referenz-Merkmalsbild aufgrund der Vermessung eines Referenz-Gegenstands mit einem DOVID-Bereich nach einem der vorangehenden Ansprüche analog der Erstellung des Merkmalsbilds vorgenommen wird.Furthermore, it can be provided that the reference feature image is made on the basis of the measurement of a reference object with a DOVID area according to one of the preceding claims analogously to the creation of the feature image.
Vorteilhafterweise kann ein Computerprogramm zur Durchführung eines erfindungsgemäßen Verfahrens auf einem Datenträger abgespeichert werden.Advantageously, a computer program for carrying out a method according to the invention can be stored on a data carrier.
Mehrere Ausführungsbeispiele der Erfindung sind anhand der folgenden Zeichnungsfiguren näher dargestellt.Several embodiments of the invention are illustrated in more detail with reference to the following drawing figures.
Bei einem ersten Ausführungsbeispiel der Erfindung werden die folgenden Schritte sowohl für einen Referenzgegenstand 20 als auch für den zu untersuchenden Gegenstand 10 durchgeführt. Beide Gegenstände 10, 20 weisen jeweils einen Bereich mit einem DOVID-Aufdruck, im folgenden als DOVID-Bereich 11, 21 bezeichnet, auf. Ziel des nunmehr beschriebenen Verfahrens ist es, festzustellen, ob der DOVID-Bereich 11 des Gegenstands 10 mit dem DOVID-Bereich 21 des Referenzgegenstands 20 übereinstimmt und - da es sich beim Referenzgegenstand 20 um einen bekanntermaßen echten Gegenstand handelt - echt ist.In a first embodiment of the invention, the following steps are performed for both a
In
Ausgehend von dem ermittelten Bildstapel 39 wird ein Merkmalsbild 33 erstellt, das dieselbe Größe aufweist wie die erstellten Digitalbilder 32a, 32b, ... des Bildstapels 39. Hierbei werden pixelweise die Intensitätswerte der einzelnen Digitalbilder 32a, 32b, ... jeweils zu einem oder mehreren charakteristischen Merkmalen 37x, 37y akkumuliert. Aus den Intensitätswerten der einzelnen Bildpunkte 34x, 34y an jeweils vorgegebenen einander nach Lage entsprechenden Position in den Digitalbildern 32a, 32b, ... wird jeweils separat eine Beleuchtungsverteilungsfunktion 36x, 36y ermittelt, die die Verteilung der Helligkeit des im jeweiligen Bildpunkt 34x, 34y abgebildeten Bereichs über den Einstrahlungswinkel ϕ, θ angibt. Es werden für jeden Bildpunkt 34x, 34y jeweils aus der Beleuchtungsverteilungsfunktion 36x, 36y ein oder mehrere charakteristische Merkmale 37x, 37y extrahiert, die dem jeweiligen Bildpunkt 34x, 34y des Merkmalsbilds 33 zugeordnet werden.Starting from the
Eine mögliche Beleuchtungsverteilungsfunktion 36x, 36y ist in
Jedem der vorhandenen Stützpunkte 35a, 35b, ... wird entsprechend der ermittelten Intensität i des betreffenden Bildpunkts 34x, 34y jeweils eine Intensität i zugeordnet. Durch Interpolation ist es möglich, eine Beleuchtungsverteilungsfunktion 36 auf Grundlage der Stützpunkte 35a, 35b, ... sowie der zugeordneten Intensitäten i zu ermitteln.Each of the existing
Als Merkmal 37x, 37y für die Erstellung des Merkmalsbilds 33 wird in diesem Ausführungsbeispiel der Erfindung die Exzentrizität e der jeweiligen Beleuchtungsverteilungsfunktion 36x, 36y herangezogen. Die Exzentrizität e kann vereinfacht und ohne die Notwendigkeit der tatsächlichen Bestimmung einer Beleuchtungsverteilungsfunktion als kontinuierliche Funktion in zwei Variablen x, y durch diskrete Methoden wie folgt ermittelt werden:
- In einem ersten Schritt wird die Summe M00 als Summe sämtlicher Intensitätswerte ermittelt. Die einzelnen x- und y-
35a, 35b, 35c, 35d werden zu Vektoren X, Y zusammengefügt. Die jeweils diesen Stützpunkten 35a, 35b, 35c, 35d zugeordneten Intensitätswerte werden zu einem Intensitätsvektor I zusammengefügt.Koordinaten der Stützpunkte
- In a first step, the sum M 00 is determined as the sum of all the intensity values. The individual x and y coordinates of the
35a, 35b, 35c, 35d are merged into vectors X, Y. The respective intensity values associated with thesevertices 35a, 35b, 35c, 35d are combined to form an intensity vector I.interpolation points
Anschließend wird ein gewichteter Schwerpunkt der angegebenen Intensitätswerte ermittelt. Die x-Koordinate x_ des gewichteten Schwerpunkts ergibt sich als Skalarprodukt des Vektors X der x-Koordinaten der Stützpunkte und des Intensitätsvektors I der Intensitätswerte dividiert durch die Summe M00. Entsprechend ergibt sich die y-Koordinate y_ des gewichteten Schwerpunkts als Skalarprodukt des Vektors Y der y-Koordinaten der Stützpunkte und der Intensitätswerte I dividiert durch die Summe M00.
Im Folgenden werden nun die Momente zweiter Ordnung µ20, µ11 und µ02 gemäß den folgenden Vorschriften ermittelt:
Anschließend wird die Exzentrizität e gemäß der folgenden Formel ermittelt:
Dieses Vorgehen kann für jeden einzelnen der Bildpunkte 34x, 34y, ... des zu erstellenden Merkmalsbilds 33 separat vorgenommen werden. Als charakteristisches Merkmal 37x, 37y, ... des jeweiligen Bildpunkts 34x, 34y, ... wird die jeweils ermittelte Exzentrizität e zugeordnet.This procedure can be carried out separately for each
Mit demselben Vorgehen wird ein Referenzmerkmalsbild 23 des Referenzbilds 20 bzw. des DOVID-Bereichs 21 des Referenzmerkmalsbilds 20 erstellt. Das Merkmalsbild 33 und das Referenzmerkmalsbild 23 werden anschließend miteinander verglichen. Hierbei wird ausgehend vom Merkmalsbild 33 ein Histogramm 38 erstellt, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt. Für das Referenzmerkmalsbild 23 wird nach denselben Kriterien ein Referenzhistogramm 28 erstellt.
Um die Übereinstimmung zweier Histogramme 28, 38 miteinander zu überprüfen, werden die Histogramme zunächst normiert. Anschließend können die einzelnen den Bereichen zugeordneten Häufigkeiten miteinander elementweise multipliziert werden und die sich daraus ergebenden Produkte miteinander summiert werden. Werden die Histogramme 28, 38 als Häufigkeitsvektoren dargestellt, kann ein Übereinstimmungswert durch Bildung des Skalarprodukts der normierten Häufigkeitsvektoren der Histogramme gefunden werden. Für die Normierung kann insbesondere die L2-Norm herangezogen werden.In order to check the coincidence of two
Bei einer zweiten Ausführungsform der Erfindung, die im übrigen der ersten Ausführungsform der Erfindung entspricht, besteht die Möglichkeit, das Merkmalsbild 33 und das Referenzmerkmalsbild 23 nicht mittels Histrogrammvergleich zu vergleichen, sondern eine unmittelbare Prüfung der beiden Merkmalsbilder 23, 33 durch Bildvergleich vorzunehmen.In a second embodiment of the invention, which otherwise corresponds to the first embodiment of the invention, it is possible not to compare the
Eine dritte vorteilhafte Ausführungsform der Erfindung, die im übrigen der ersten Ausführungsform der Erfindung entspricht, verwendet als charakteristische Merkmale anstelle der Exzentrizität e den Ausrichtungswinkel ω als Merkmal 37. Dieser Ausrichtungswinkel ω gibt an, in welcher Verkippungsrichtung der DOVID-Bereich 11 die stärkste Reflektivität aufweist. In derselben Richtung findet auch der dominante Farbwechsel des DOVID-Bereichs statt.A third advantageous embodiment of the invention, which otherwise corresponds to the first embodiment of the invention, uses the orientation angle ω as a characteristic 37 as characteristic features instead of the eccentricity e. This orientation angle ω indicates in which tilting direction the DOVID area 11 has the strongest reflectivity , In the same direction, the dominant color change of the DOVID area takes place.
Basierend auf den bereits im Zusammenhang mit der Exzentrizität e beschriebenen Momenten µ20, µ11 und µ02 kann der Ausrichtungswinkel wie folgt beschrieben werden:
Wenn als Merkmal der Ausrichtungswinkel ω verwendet wird, ist es von Vorteil, dass vor dem Vergleich des Histogramms 38 mit dem Referenzhistogramm 28 beide Histogramme Fourier-transformiert werden und die Fourier-Transformierten der beiden Histogramme miteinander verglichen werden. Ein unter Verwendung des Ausrichtungswinkels ω erstelltes Histogramm ist in
Bei einem vierten bevorzugten Ausführungsbeispiel der Erfindung wird der Gegenstand 10 von einer Bildaufnahmeeinheit 30 jeweils unter einer Beleuchtung eines Leuchtmittels 31 a, 31 b, ... mit jeweils unterschiedlichem Einstrahlungswinkel ϕ, θ aufgenommen, wobei jeweils ein Mehrfarben-Digitalbild 32a, 32b, ... aufgenommen wird. Diese Mehrfarben-Digitalbilder 32a, 32b, ... weisen untereinander jeweils dieselbe Größe auf und zeigen denselben Gegenstandsbereich des Gegenstands 10. Im vorliegenden Ausführungsbeispiel weist jedes dieser Mehrfarbendigitalbilder 32a, 32b drei Bildkanäle auf, einen Bildkanal für den roten, einen Bildkanal für den grünen und einen Bildkanal für den blauen Farbanteil des betreffenden Bilds. In einem ersten Schritt wird für jeden Bildkanal jeweils ein separater Bildstapel 39R, 39G, 39B erstellt und anschließend für jeden Bildstapel separat ein Merkmalsbild 33R, 33G, 33B ermittelt. Dieses wird in weiterer Folge als Farb-Merkmalsbild 33R, 33G, 33B dem jeweiligen Farbkanal zugeordnet.In a fourth preferred embodiment of the invention, the object 10 is received by an
Grundsätzlich besteht die Möglichkeit, die so erhaltenen Farb-Merkmalsbilder 33R, 33G, 33B mit auf dieselbe Weise erhaltenen Farb-Merkmalsbildern des Referenzgegenstands zu vergleichen und derart die Übereinstimmung zu überprüfen. Im vorliegenden Ausführungsbeispiel wird jedoch vor dem Vergleich mit dem Referenzbild aus den Farb-Merkmalsbildern 33R, 33G, 33B ein Merkmalsbild 33 erstellt, wobei die Merkmalswerte 37x, 37y pixelweise durch Verknüpfung der Merkmalswerte einander in ihrer Lage entsprechender Bildpunkte 34x, 34y der Farbkanalsmerkmalsbilder erstellt werden. Als Merkmal 37x, 37y kann beispielsweise der Mittelwert, die Summe oder das Maximum der jeweiligen Merkmale in den Farb-Merkmalsbildern 33R, 33G, 33B an der betreffenden Position herangezogen werden.In principle, it is possible to compare the
Bei einer fünften Ausführungsform der Erfindung werden jedem Bildpunkt 34x, 34y jedes Farb-Merkmalsbilds 33R, 33G, 33B sowohl die Exzentrizität e als auch der Ausrichtungswinkel ω als charakteristische Merkmale zugeordnet. Bei der Erstellung des Merkmalsbilds 33 wird für jeden Bildpunkt 34x, 34y jeweils pixelweise untersucht, für welchen Bildkanal jeweils die größte Exzentrizität vorliegt. Der Ausrichtungswinkel w desjenigen Farbkanals im jeweiligen Bildpunkt 34x, 34y wird als Merkmal 37x, 37y herangezogen, dessen Exzentrizität für diesen Bildpunkt 34x, 34y am größten ist.In a fifth embodiment of the invention, each
Claims (10)
ausgehend vom Merkmalsbild (33) ein Histogramm (38) erstellt wird, das die Häufigkeit des Vorkommens eines Merkmalswerts innerhalb eines bestimmten Wertebereichs angibt,
on the basis of the feature image (33) a histogram (38) is created which indicates the frequency of occurrence of a feature value within a certain value range,
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ATA50923/2014A AT516687B1 (en) | 2014-12-18 | 2014-12-18 | Photometric DOVID comparison |
Publications (2)
Publication Number | Publication Date |
---|---|
EP3054429A1 true EP3054429A1 (en) | 2016-08-10 |
EP3054429B1 EP3054429B1 (en) | 2022-08-17 |
Family
ID=54849898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP15200133.5A Active EP3054429B1 (en) | 2014-12-18 | 2015-12-15 | Photometric dovid comparison |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP3054429B1 (en) |
AT (1) | AT516687B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1835469A2 (en) * | 2006-03-15 | 2007-09-19 | Mitsubishi Denki Kabushiki Kaisha | Image reading device |
US20140055824A1 (en) * | 2011-03-25 | 2014-02-27 | Hologram Industries | Method and system for authenticating a secure document |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7672475B2 (en) * | 2003-12-11 | 2010-03-02 | Fraudhalt Limited | Method and apparatus for verifying a hologram and a credit card |
DE102008051409A1 (en) * | 2008-10-11 | 2010-04-15 | Bayer Materialscience Ag | security element |
-
2014
- 2014-12-18 AT ATA50923/2014A patent/AT516687B1/en active
-
2015
- 2015-12-15 EP EP15200133.5A patent/EP3054429B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1835469A2 (en) * | 2006-03-15 | 2007-09-19 | Mitsubishi Denki Kabushiki Kaisha | Image reading device |
US20140055824A1 (en) * | 2011-03-25 | 2014-02-27 | Hologram Industries | Method and system for authenticating a secure document |
Also Published As
Publication number | Publication date |
---|---|
EP3054429B1 (en) | 2022-08-17 |
AT516687A1 (en) | 2016-07-15 |
AT516687B1 (en) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102011106050B4 (en) | Shadow removal in an image captured by a vehicle-based camera for detection of a clear path | |
DE102011106072A1 (en) | SHADOW REMOVAL IN A PICTURE BASED ON A VEHICLE-BASED CAMERA USING AN OPTIMIZED LINEAR AXIS | |
DE102009038364A1 (en) | Method and system for automatic object recognition and subsequent object tracking according to the object shape | |
EP1610270A2 (en) | Process for qualitative evaluation of a material with at least one identification characteristic | |
DE2518077A1 (en) | ELECTROOPTICAL SYSTEM FOR DETERMINING THE ORIENTATION OR LOCATION OF OBJECTS, SUCH AS WORK PIECES OR SIMILAR | |
DE102011106052A1 (en) | Shadow removal in an image captured by a vehicle based camera using a nonlinear illumination invariant core | |
WO2002021427A2 (en) | Evaluation of edge direction information | |
EP3089106A1 (en) | Method for reflection adjustment of images and related apparatus | |
DE102015207903A1 (en) | Apparatus and method for detecting a bar-type traffic sign in a traffic sign recognition system | |
DE102015208087A1 (en) | Method for generating a reflection-reduced contrast image and related devices | |
DE102018127754A1 (en) | Method and device for inspecting an object surface, in particular for inspecting the surface of a powder bed with a large number of powder particles | |
WO2006133974A1 (en) | Method and device for recognising a coin by using the embossed pattern thereof | |
DE102013226725A1 (en) | METHOD AND SYSTEM FOR DETECTING A HANDGESTE WHICH USE SELECTIVE LIGHTING | |
DE19501073A1 (en) | Image processing method for determining the structural strength of a test object with a diffusely scattering surface | |
EP3054429B1 (en) | Photometric dovid comparison | |
DE102014108492A1 (en) | Method for detecting a viewing-angle-dependent feature of a document | |
DE10132589B4 (en) | Method for qualitative assessment of material | |
EP1329856A2 (en) | Method of detecting surface relief on coins in coin actuated machines | |
DE102016109027A1 (en) | Method for checking the position of characteristic points in light distributions | |
DE19549216C2 (en) | Process for image evaluation | |
DE10338323B4 (en) | Method and arrangement for image acquisition for position detection of disordered parts | |
EP1437691A1 (en) | Method for recognizing the relief of a coin in a coin operated apparatus | |
DE102015208084A1 (en) | Method for generating a contrast image of an object condition and related devices | |
DE102015112411A1 (en) | System for the stereoscopic display of images of an endoscope | |
DE102015016539B4 (en) | Visual adaptive camouflage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20161216 |
|
RBV | Designated contracting states (corrected) |
Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G07D 7/128 20160101ALI20220217BHEP Ipc: G07D 7/206 20160101ALI20220217BHEP Ipc: G07D 7/121 20160101ALI20220217BHEP Ipc: G07D 7/00 20160101ALI20220217BHEP Ipc: G07D 7/20 20160101AFI20220217BHEP |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
INTG | Intention to grant announced |
Effective date: 20220408 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502015016014 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 1512676 Country of ref document: AT Kind code of ref document: T Effective date: 20220915 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20220817 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG9D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20221219 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20221117 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20221217 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20221118 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20230103 Year of fee payment: 8 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502015016014 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 |
|
26N | No opposition filed |
Effective date: 20230519 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20221215 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20221231 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221231 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221231 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20231214 Year of fee payment: 9 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 1512676 Country of ref document: AT Kind code of ref document: T Effective date: 20221215 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20151215 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220817 Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20221215 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20240102 Year of fee payment: 9 |