EP2320384A1 - Method of licence plate recognition and categorisation of vehicles for toll purposes - Google Patents

Method of licence plate recognition and categorisation of vehicles for toll purposes Download PDF

Info

Publication number
EP2320384A1
EP2320384A1 EP09450175A EP09450175A EP2320384A1 EP 2320384 A1 EP2320384 A1 EP 2320384A1 EP 09450175 A EP09450175 A EP 09450175A EP 09450175 A EP09450175 A EP 09450175A EP 2320384 A1 EP2320384 A1 EP 2320384A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
license plate
fingerprint
ref
ocr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP09450175A
Other languages
German (de)
French (fr)
Other versions
EP2320384B1 (en
Inventor
Christian Öhreneder
Herbert Ramoser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kapsch TrafficCom AG
Original Assignee
Kapsch TrafficCom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kapsch TrafficCom AG filed Critical Kapsch TrafficCom AG
Priority to EP09450175A priority Critical patent/EP2320384B1/en
Priority to SI200930504T priority patent/SI2320384T1/en
Priority to PL09450175T priority patent/PL2320384T3/en
Priority to DK09450175.6T priority patent/DK2320384T3/en
Priority to PT94501756T priority patent/PT2320384E/en
Priority to ES09450175T priority patent/ES2401324T3/en
Publication of EP2320384A1 publication Critical patent/EP2320384A1/en
Application granted granted Critical
Publication of EP2320384B1 publication Critical patent/EP2320384B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/06—Arrangements for road pricing or congestion charging of vehicles or vehicle users, e.g. automatic toll systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Definitions

  • the present invention relates to a method for automatic license plate recognition of a vehicle, in particular for tolling purposes in road toll systems.
  • the invention further relates to a method for toll categorization of vehicles in road toll systems.
  • Road toll systems based on automatic license plate recognition by image capturing the vehicle are also referred to as video toll systems.
  • the vehicles are taken when passing a toll collection station with one or more cameras.
  • the cameras record a front and / or rear view of the vehicle in which the license plate is as clear as possible.
  • OCR automatic character recognition
  • a vehicle account with the vehicle registration number is maintained for each vehicle.
  • the vehicle passage is assigned to the vehicle account whose license plate matches the OCR license plate reading result.
  • a problem with the known methods is the high error rate of the OCR number plate recognition.
  • the incorrectly read license plates must be corrected manually and assigned to a vehicle account. In the worst case, it can happen that a wrongly read license plate confused with a license plate of another vehicle and this vehicle account is charged with the passage.
  • fingerprints are calculated from images taken in different light and weather conditions, and also the relative position between the license plate and camera at the passage of a toll station varies, the detected fingerprints of the same vehicle are usually slightly different, making the comparison difficult .
  • fingerprints include many features, i. are similar to high-dimensional vectors, which makes the search for similar fingerprints very compute-intensive and even with database techniques is not fully possible, especially if the databases contain very many entries, as is the case with video-based systems.
  • the invention has for its object to provide methods for automatic license plate recognition and toll categorization, which have a lower error rate and higher reliability than the known methods and thereby are quick and easy to implement.
  • the method of the invention is based on the use of OCR tag read results and fingerprints and is based on the recognition that the errors of OCR readings are not randomly distributed, but that the same misreads occur again and again for one and the same tag.
  • a license plate ABC123 is usually read correctly, but occasionally as ABCI23 or as A8C123.
  • the method of the invention proposes to store in the database a list of possible reading results of the automatic license plate recognition, which contains all known variants of license plate reading results for the license plate of the vehicle.
  • n assignment list of possible license plate reading results and vehicle license plates is successively filled during the operation of the toll system. Newly created vehicle accounts have only entered the correct indicator in the list of possible license plate reading results. For each misreading of the indicator, the reading result is checked manually, assigned to a vehicle account and added to the list of possible license plate reading results. Each read variant of the license plate only needs to be processed once and entered into the vehicle account.
  • a preferred embodiment of the invention is accordingly characterized in that, if in step d) no identical characteristic reading result determined or in step e) no similar or no similar candidate fingerprint can be determined, the vehicle identifier for the current license plate reading result is determined manually.
  • the vehicle license plate in the database is assigned the current license plate reading result as a new or additional license plate reading result and preferably also the current fingerprint as a new or additional reference fingerprint.
  • an association is also removed from the database if it is not used within a predetermined period of time.
  • step d) it is also useful to use the read variants in step d) in the search for associated vehicle accounts or fingerprints and / or when creating the assignment list as possible reading results of a license plate to save.
  • the fingerprint may be generated in any manner known in the art. It is particularly advantageous if the sensory detection takes place by means of a camera with which an image of the license plate and / or the vehicle is made, from which features are extracted and from which the fingerprint is calculated. Alternatively or additionally, the sensory detection can take place by means of sensors such as light barriers, laser scanners, induction loops, weight sensors or radio communication means with which characteristic features of the vehicle are detected, from which the fingerprint is calculated.
  • sensors such as light barriers, laser scanners, induction loops, weight sensors or radio communication means with which characteristic features of the vehicle are detected, from which the fingerprint is calculated.
  • a further preferred embodiment of the invention is accordingly distinguished by storing weightings for individual regions of the assigned reference fingerprints in the database for each license plate reading result, preferably for each individual assignment thereof to a vehicle license plate, which are taken into account in the comparison of similarity. These weights form the so-called "information about the relevant differences”.
  • toll systems there is often the problem that vehicles that are not subject to tolls are classified as toll.
  • An example is the classification of a toll-free large car (eg a van) as a toll vans.
  • This misclassification stems from measurement inaccuracies in the sensors for the classification or is simply due to the fact that some vehicle classes can not be defined on the basis of defined external characteristics.
  • the misclassification must be corrected manually. Often, the correction must be made on the same vehicle at each vehicle passage.
  • the inventive method can still be used profitably in these cases, if in the vehicle list an entry for the vehicle is stored in which is entered that the vehicle is not subject to toll.
  • a preferred embodiment of the invention is that the tag reading results are stored in encrypted form in the database and the current tag reading result for the equality search of step d) is encrypted in the same manner.
  • the method of the invention can preferably be used in addition to the toll categorization of the vehicle by also assigning a toll category to each reference fingerprint in the database and, if this reference fingerprint is determined to be the most similar candidate fingerprint, its assigned toll category.
  • Fig. 1 shows the method for automatic license plate recognition based on an image 1 of a vehicle 2 with a vehicle registration plate LP in the context of a road toll system.
  • vehicle includes any type of land, air and water vehicles, both self-propelled and externally propelled.
  • a first step (b) an OCR reading of the license plate LP of the vehicle 2 takes place from the image 1 in order to obtain a current license plate reading result LP OCR , eg "ABC123".
  • one or more characteristic features of the vehicle 2 are sensed in order to obtain therefrom a so-called "current fingerprint" FP of the vehicle 2.
  • characteristic features are, for example, the appearance of the License plate, the vehicle color, the appearance of the vehicle front, etc., which can serve to verify the vehicle identity, and / or the vehicle dimensions, the vehicle shape, the presence of a trailer, etc., which can be used for example for the toll.
  • the fingerprint FP can be extracted directly from the camera image 1, e.g. by determining significant bright / dark areas, calculating image parameters such as contrast, cross sums, etc., u.zw. both of the entire vehicle 2 and parts of the vehicle 2.
  • image parameters such as contrast, cross sums, etc., u.zw. both of the entire vehicle 2 and parts of the vehicle 2.
  • the fingerprint FP is formed in this way from the image of the vehicle registration plate LP itself.
  • the fingerprint FP can be obtained from other or further images 1 of the vehicle 2, from data from sensors such as laser scanners, light barriers, induction loops, video cameras, weight sensors, radio systems, e.g. RFID transponder queries, etc. are determined. Different types of sensor data can also be combined in one and the same fingerprint FP.
  • the license plate reading result LP OCR is looked up in a database DB of the road toll system.
  • the database DB contains a first list 3 with stored license plate reading results LP OCR, men and a second list 4 with all vehicle license plates LP registered in the road toll system and associated reference fingerprints FP ref .
  • the current mark reading result LP OCR can be looked up directly in the list 3 of the stored mark reading results LP OCR, mem , since there is only one identical record LP OCR, mem in the list 3 for each possible mark reading result LP OCR This makes the implementation significantly easier and faster.
  • step (e) all reference fingerprints FP ref of the relevant vehicle identifier LP that match the current license plate reading result LP OCR are then determined as "candidate fingerprints" FP ref, cand and respectively compared with the current fingerprint FP.
  • This comparison is a similarity comparison in which the "most similar" candidate fingerprint FP ref, cand is determined; the vehicle identifier LP assigned thereto is outputted as a result of the license plate recognition process (step f).
  • a wide variety of similarity criteria can be specified, for example the maximum value of a numerically calculated similarity measure and / or exceeding a minimum similarity measure etc.
  • it can also be checked whether the similarity criteria for no other Candidate fingerprint apply and thus the "most similar" candidate fingerprint is uniquely determined, ie only a clearly most similar candidate fingerprint is used for further processing.
  • LP reference fingerprints FP ref can be calculated from different image recordings showing the license plate of the vehicle 2 under different light conditions or viewing angles for one and the same identifier.
  • the similarity comparisons of the current fingerprint FP can be combined with all candidate fingerprints FP ref, cand one and the same identifier LP to a common similarity value, eg by adding up, by selecting the maximum value, etc.
  • step (d) If no similar label reading result LP OCR, mem in the list 3 or in step (e) no similar or no similar candidate fingerprint FP ref, can be determined in step (d), a branch is made in each case to a step (g) the license plate LP by an operator manually, in particular visually, determined from the image 1 and the current license plate reading result LP OCR and from this a new entry for the database DB is generated.
  • the manually determined vehicle identifier LP is assigned the current license plate reading result LP OCR as a new or additional license plate reading result LP OCR, mem and / or the current fingerprint FP as a new or additional reference fingerprint FP ref . It can also be checked whether the current license plate reading result LP OCR or the current fingerprint FP reaches a minimum frequency and / or a minimum quality that qualifies it or him to be included in the database DB.
  • Criteria are also preferably provided to remove assignments of license plate reading results LP OCR, mem to license plate LP from the list 3 of the database DB, for example if they are no longer being accessed, for example because a license plate has been renewed and thus become more readable is, so that certain license plate reading results no longer occur.
  • weightings WT for reference fingerprints FP ref can also be determined in a step (h) and stored in the database DB for each assignment LP OCR, mem to an identifier LP, which weightings WT are taken into account in the fingerprint comparison of step (e), around this to focus on particularly distinctive or relevant areas of the fingerprints FP and FP ref, cand to be compared.
  • step (d) Some OCR tag recognition methods provide several alternative tag reading results, one most likely to be most likely, while the other are possible but less likely alternatives.
  • the alternative label reading results may be used beneficially in step (d) and step (g).
  • step (d) the alternative read results can also be looked up in the list 3 of the stored label reading results LP OCR, mem and the associated reference fingerprints FP ref can be used for the fingerprint comparison.
  • step (g) all possible read variants of the flag can be entered in the database DB.
  • the label reading results LP OCR, mem stored in the list 3 can be encrypted for privacy reasons.
  • the current label reading result LP OCR is then encrypted in the same manner; it is therefore not necessary to use, transfer or store in the database DB or in the context of the present method license plate reading results in plain text.
  • the encryption can be done by any known method which ensures that label read results LP OCR , LP OCR, mem can not be accessed without authorization. In fact, in the case of the method presented here, it is not necessary at all to know or decrypt the license plate reading result in plain text, ie an irreversible encryption can be used.
  • each encryption result is only generated exactly by a license reading result:
  • the method is based on comparing a current license plate reading result with a list stored license plate reading result and looking for exact matches, not just similar characteristics .
  • Such a search for an exact match can also be carried out if both the current license plate reading result LP OCR and the stored license plate reading result LP OCR, mem are present in a form encrypted in the same way.
  • the encryption is a so-called "one-way function", i. a difficult invertible function, e.g. an asymmetric encryption with public and private key.
  • the private key that would be needed to decrypt can be destroyed so that no one can infer the actual label reading result from the encrypted label reading result.
  • Encrypting the license plate reading results also makes it possible to apply the method to section control, parking and other closed systems, which place particularly stringent data protection requirements. It is to distinguish between closed systems in which a vehicle passage is assigned at the exit from the closed system of a vehicle passage at the entrance to the closed system, and systems with registered users, in which vehicle passages are assigned to a vehicle account. For closed systems (without registration) saving a list of possible license plate reading results does not make sense. However, also in these systems, a preselection of fingerprints based on the license plate reading result, whereby the encryption of the license plate reading results may be required for data protection reasons, especially in these applications.
  • a very advantageous extension of the method described is to use the location and time of a vehicle passage in the recognition of the vehicles to make plausibility of the assignment of the vehicle passages to vehicle accounts. In doing so, e.g. Checked from several vehicle detections, whether a vehicle could be at a specific location at the specified time.
  • Fig. 2 shows a further advantageous embodiment of the invention, in addition to or alternative to automatic license plate recognition and an automatic toll categorization of a vehicle is performed, based on the discussed comparison of fingerprints, the fingerprint may include features with which the vehicle characteristics can also be verified .
  • the reference fingerprint (s) FP ref of an identified vehicle having an identification ID, eg its vehicle identifier LP is also assigned one (or more) toll category (s) MK. If the current fingerprint FP of the vehicle passage with one of the above-identified candidate fingerprints FP ref, cand best similar resembles, the associated toll category MK is taken from the database DB and output in step (f) (see also Fig. 1 ).
  • a van passes through a toll station during a first vehicle passage.
  • the sensors installed at the toll station e.g. a laser scanner, detects the vehicle and classifies it (wrongly) as a pickup truck. As the van only pays for the (lower) toll category "Van", a contradiction is found.
  • the fingerprint of the current passage is compared with the reference fingerprint stored in the vehicle account. If the two fingerprints match (i.e., the similarity measure is above a predetermined threshold value), the toll category determined by the processor during the first passage is adopted and the contradiction is thus automatically corrected.
  • the method is based on the knowledge that one and the same vehicle, which has not changed in its outer shape, can be assigned to the same toll category again.
  • a first step the identification of the vehicle or the assignment to a vehicle account, e.g. with the aid of the method previously described for automatic license plate recognition.
  • a second step it is ensured by means of the fingerprint comparison that changes to the vehicle are detected and the toll category stored in the vehicle account is only accepted if the vehicle has remained externally unchanged. Examples of changes to the vehicle are when the vehicle is being renewed (e.g., same license plate on new vehicle) or e.g. carries a trailer or caravan.
  • a vehicle with a specific identification ID or LP can also have different reference fingerprints FP ref for its appearance be assigned in different configurations K with associated toll categories MK, so that one and the same vehicle in different configurations K, eg with and without trailers, can be automatically categorized and vermautet.
  • only the outer dimensions of the vehicle can be stored as reference fingerprint FP ref ;
  • the presence of a trailer can then be easily recognized eg by a large change in length.
  • Another very advantageous embodiment is to save trailers as their own vehicles in the database DB with its own reference fingerprint.
  • the towing vehicle and trailer are identified separately and optionally the characteristics of towing vehicle and trailer are verified.
  • the determined toll category MK then results from a combination of the categories of the towing vehicle and the trailer.
  • the determination of the toll category MK by means of fingerprints FP can be based on the presented here method for license plate recognition based on OCR license plate reading results LP OCR , in which case can be used as a vehicle identification ID directly its flag LP.
  • any other known method for vehicle identification could be used for this, for example a vehicle identification by means of an electronic tag attached to the vehicle, such as an RFID transponder chip or an onboard unit (OBU) for electronic toll debiting.

Landscapes

  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Collating Specific Patterns (AREA)
  • Traffic Control Systems (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Abstract

The method involves manually determining a vehicle license plate (LP) for an actual license plate reading result when uniform license plate reading result is not determined or candidate fingerprint is not determined. The actual license plate reading result is assigned as an additional actual license plate reading result to the vehicle license plate in a database (DB). Additional assignment of the actual license plate reading result is performed when the actual license plate reading result reaches minimum counts and/or minimum quality.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur automatischen Kennzeichenerkennung eines Fahrzeugs, insbesondere zu Vermautungszwecken in Straßenmautsystemen. Die Erfindung betrifft ferner ein Verfahren zur Mautkategorisierung von Fahrzeugen in Straßenmautsystemen.The present invention relates to a method for automatic license plate recognition of a vehicle, in particular for tolling purposes in road toll systems. The invention further relates to a method for toll categorization of vehicles in road toll systems.

Straßenmautsysteme, die auf einer automatischen Kennzeichenerkennung mittels Bildaufnahmen des Fahrzeugs basieren, werden auch als Videomautsysteme bezeichnet. Dabei werden die Fahrzeuge bei der Passage einer Mautabbuchungsstation mit einer oder mehreren Kameras aufgenommen. Die Kameras nehmen ein Front- und/oder Heckbild des Fahrzeugs auf, in dem das Kennzeichen möglichst gut lesbar ist. Aus dem Bild wird mit Methoden der automatischen Zeichenerkennung (optical character recognition, OCR) das Fahrzeugkennzeichen gelesen. In einer Datenbank der Mautzentrale wird für jedes Fahrzeug ein Fahrzeugkonto mit dem Fahrzeugkennzeichen geführt. Die Fahrzeugpassage wird jenem Fahrzeugkonto zugeordnet, dessen Kennzeichen mit dem OCR-Kennzeichenleseergebnis übereinstimmt.Road toll systems based on automatic license plate recognition by image capturing the vehicle are also referred to as video toll systems. The vehicles are taken when passing a toll collection station with one or more cameras. The cameras record a front and / or rear view of the vehicle in which the license plate is as clear as possible. From the image, the vehicle license plate is read using methods of automatic character recognition (OCR). In a database of the toll center, a vehicle account with the vehicle registration number is maintained for each vehicle. The vehicle passage is assigned to the vehicle account whose license plate matches the OCR license plate reading result.

Wenn Fahrzeuge aus unterschiedlichen Ländern - oder in den USA aus unterschiedlichen Bundesstaaten - eine Mautabbuchungsstation passieren, ist es manchmal erforderlich, zusätzlich zum Kennzeichen auch das Land, das die Kennzeichentafel ausgegeben hat, das Staats- bzw. Landeswappen oder den Typ der Kennzeichentafel zu erkennen, um eine eindeutige Zuordnung des gelesenen Kennzeichens zu einem Fahrzeugkonto zu ermöglichen.When vehicles from different countries - or from different states in the USA - pass through a toll collection station, it is sometimes necessary to identify the state or coat of arms or the type of license plate in addition to the license plate and the country that issued the license plate, to enable a clear assignment of the read license plate to a vehicle account.

Ein Problem bei den bekannten Verfahren ist die hohe Fehlerrate der OCR-Kennzeichenerkennung. Falsch gelesene Kennzeichen müssen manuell richtiggestellt und einem Fahrzeugkonto zugeordnet werden. Im schlimmsten Fall kann es passieren, daß ein falsch gelesenes Kennzeichen mit einem Kennzeichen eines anderen Fahrzeugs verwechselt und dieses Fahrzeugkonto mit der Passage belastet wird.A problem with the known methods is the high error rate of the OCR number plate recognition. The incorrectly read license plates must be corrected manually and assigned to a vehicle account. In the worst case, it can happen that a wrongly read license plate confused with a license plate of another vehicle and this vehicle account is charged with the passage.

Es wurden daher bereits Verbesserungen der Zuordnung des aktuellen Kennzeichenbildes zu einem Fahrzeugkonto vorgeschlagen, bei denen zusätzlich zum Kennzeichen selbst auch das Aussehen der Kennzeichentafel mitberücksichtigt wird. Dazu werden aus einem aktuellen Kennzeichenbild wesentliche Merkmale extrahiert. Die wesentlichen Merkmale sollen das Aussehen der Kennzeichentafel eindeutig repräsentieren und werden (Kennzeichen-) Fingerprint" genannt. Bei jedem Fahrzeugkonto der Datenbank wird zusätzlich zum Kennzeichen auch ein Referenzfingerprint hinterlegt. Durch Vergleichen des aktuellen Fingerprints mit den Referenzfingerprints der Datenbank wird das Fahrzeug einem Fahrzeugkonto zugeordnet.Improvements in the assignment of the current license plate image to a vehicle account have therefore already been proposed in which, in addition to the license plate itself, the appearance of the license plate is also taken into account. For this purpose, essential features are extracted from a current license plate image. The essential features are intended to uniquely represent the appearance of the license plate and are referred to as a "fingerprint." In addition to the license plate, a reference fingerprint is also stored for each vehicle account of the database ,

Da die Fingerprints aus Bildern berechnet werden, die unter unterschiedlichen Licht- und Witterungsbedingungen aufgenommen wurden, und auch die relative Position zwischen Kennzeichen und Kamera bei der Passage einer Mautstation variiert, sind die erfaßten Fingerprints ein und desselben Fahrzeugs meistens geringfügig verschieden, was den Vergleich erschwert. Darüber hinaus umfassen Fingerprints sehr viele Merkmale, d.h. ähneln hoch-dimensionalen Vektoren, was die Suche nach ähnlichen Fingerprints sehr rechenintensiv macht und selbst mittels Datenbanktechniken nicht uneingeschränkt möglich ist, vor allem dann, wenn die Datenbanken sehr viele Einträge enthalten, wie das bei Videomautsystemen der Fall ist.Since the fingerprints are calculated from images taken in different light and weather conditions, and also the relative position between the license plate and camera at the passage of a toll station varies, the detected fingerprints of the same vehicle are usually slightly different, making the comparison difficult , In addition, fingerprints include many features, i. are similar to high-dimensional vectors, which makes the search for similar fingerprints very compute-intensive and even with database techniques is not fully possible, especially if the databases contain very many entries, as is the case with video-based systems.

Die Erfindung setzt sich zum Ziel, Verfahren zur automatischen Kennzeichenerkennung und Mautkategorisierung zu schaffen, welche eine geringere Fehlerrate und höhere Zuverlässigkeit haben als die bekannten Verfahren und dabei rasch und einfach implementierbar sind.The invention has for its object to provide methods for automatic license plate recognition and toll categorization, which have a lower error rate and higher reliability than the known methods and thereby are quick and easy to implement.

Dieses Ziel wird in einem ersten Aspekt der Erfindung mit einem Verfahren zur automatischen Kennzeichenerkennung eines Fahrzeugs erreicht, das die Schritte aufweist:

  1. a) Bereitstellen einer Datenbank zur n:n-relationalen Zuordnung von Kennzeichenleseergebnissen zu Fahrzeugkennzeichen und diesen zugeordneten Referenzfingerprints,
  2. b) OCR-Lesen des Kennzeichens des Fahrzeugs als aktuelles Kennzeichenleseergebnis, mit voraus- oder nachgehendem
  3. c) sensorischem Erfassen von Merkmalen des Fahrzeugs als ein aktueller Fingerprint des Fahrzeugs,
  4. d) Ermitteln eines dem aktuellen Kennzeichenleseergebnis gleichenden Kennzeichenleseergebnisses in der Datenbank und aller diesem zugeordneten Referenzfingerprints als Kandidatenfingerprints,
  5. e) Ähnlichkeitsvergleichen des aktuellen Fingerprints mit den Kandidatenfingerprints, um den ähnlichsten Kandidatenfingerprint zu bestimmen, und
  6. f) Ausgeben des dem ähnlichsten Kandidatenfingerprint zugeordneten Fahrzeugkennzeichens als Ergebnis der automatischen Kennzeichenerkennung.
This object is achieved in a first aspect of the invention with a method for automatic license plate recognition of a vehicle, comprising the steps:
  1. a) providing a database for the n: n-relational assignment of license plate reading results to vehicle license plates and their associated reference fingerprints,
  2. b) OCR reading of the license plate of the vehicle as the current license plate reading result, with preceding or following
  3. c) sensory sensing features of the vehicle as a current fingerprint of the vehicle,
  4. d) determining a license plate reading result which is identical to the current license plate reading result in the database and all reference fingerprints associated therewith as candidate fingerprints,
  5. e) similarity comparisons of the current fingerprint with the candidate fingerprints to determine the most similar candidate fingerprint, and
  6. f) outputting the vehicle identifier associated with the most similar candidate fingerprint as a result of the automatic license plate recognition.

Das Verfahren der Erfindung basiert auf der Verwendung von OCR-Kennzeichenleseergebnissen und Fingerprints und beruht auf der Erkenntnis, daß die Fehler von OCR-Lesungen nicht zufällig verteilt sind, sondern bei ein und demselben Kennzeichen immer wieder dieselben Fehllesungen vorkommen. So kann es beispielsweise sein, daß ein Kennzeichen ABC123 meist korrekt, hin und wieder aber als ABCI23 oder als A8C123 gelesen wird. Wenn also die automatische Kennzeichenerkennung ABC123 liest, ist es sinnvoll, nur jene Fahrzeugkonten, deren Kennzeichentafel hin und wieder als ABC123 gelesen wird, für eine Zuordnung der Mautpassage mit Hilfe des Fingerprintvergleichs in Betracht zu ziehen. Das Verfahren der Erfindung schlägt dazu vor, in der Datenbank eine Liste von möglichen Leseergebnissen der automatischen Kennzeichenerkennung zu speichern, die alle bekannten Varianten von Kennzeichenleseergebnissen für das Kennzeichen des Fahrzeugs enthält.The method of the invention is based on the use of OCR tag read results and fingerprints and is based on the recognition that the errors of OCR readings are not randomly distributed, but that the same misreads occur again and again for one and the same tag. For example, it may be that a license plate ABC123 is usually read correctly, but occasionally as ABCI23 or as A8C123. Thus, when the automatic license plate recognition reads ABC123, it makes sense to consider only those vehicle accounts whose license plate is now and then read as ABC123 for an assignment of the toll passage using the fingerprint comparison. The method of the invention proposes to store in the database a list of possible reading results of the automatic license plate recognition, which contains all known variants of license plate reading results for the license plate of the vehicle.

Das Verfahren der Erfindung berücksichtigt somit die bisherigen Lesefehler der OCR-Kennzeichenerkennung für jedes einzelne Kennzeichen und liefert dadurch bessere Ergebnisse:

  • Es werden weniger Zuordnungskandidaten aus der Fahrzeugdatenbank gefunden.
  • Die Wahrscheinlichkeit, daß das korrekte Fahrzeugkonto in der Liste der Zuordnungskandidaten enthalten ist, ist höher.
The method of the invention thus takes into account the previous read errors of the OCR number plate recognition for each individual number plate and thereby provides better results:
  • Fewer candidate candidates from the vehicle database are found.
  • The probability that the correct vehicle account is included in the list of assignment candidates is higher.

In einer vorteilhaften Realisierung wird die n:n-Zuordnungsliste möglicher Kennzeichenleseergebnisse und Fahrzeugkennzeichen während des Betriebs des Mautsystems sukzessive gefüllt. Neu angelegte Fahrzeugkonten haben in der Liste der möglichen Kennzeichenleseergebnisse nur das korrekte Kennzeichen eingetragen. Bei jeder Fehllesung des Kennzeichens wird das Leseergebnis manuell geprüft, einem Fahrzeugkonto zugeordnet und in die Liste der möglichen Kennzeichenleseergebnisse aufgenommen. Jede Lesevariante des Kennzeichens braucht nur einmal bearbeitet und zum Fahrzeugkonto eingetragen werden.In an advantageous implementation, the n: n assignment list of possible license plate reading results and vehicle license plates is successively filled during the operation of the toll system. Newly created vehicle accounts have only entered the correct indicator in the list of possible license plate reading results. For each misreading of the indicator, the reading result is checked manually, assigned to a vehicle account and added to the list of possible license plate reading results. Each read variant of the license plate only needs to be processed once and entered into the vehicle account.

Eine bevorzugte Ausführungsform der Erfindung zeichnet sich demgemäß dadurch aus, daß, wenn in Schritt d) kein gleiches Kennzeichenleseergebnis ermittelt oder in Schritt e) kein ähnlichster oder überhaupt kein ähnlicher Kandidatenfingerprint bestimmt werden kann, das Fahrzeugkennzeichen zu dem aktuellen Kennzeichenleseergebnis manuell ermittelt wird.A preferred embodiment of the invention is accordingly characterized in that, if in step d) no identical characteristic reading result determined or in step e) no similar or no similar candidate fingerprint can be determined, the vehicle identifier for the current license plate reading result is determined manually.

Insbesondere wird in diesen Fällen dem Fahrzeugkennzeichen in der Datenbank das aktuelle Kennzeichenleseergebnis als neues oder zusätzliches Kennzeichenleseergebnis und bevorzugt auch der aktuelle Fingerprint als neuer oder zusätzlicher Referenzfingerprint zugeordnet.In particular, in these cases the vehicle license plate in the database is assigned the current license plate reading result as a new or additional license plate reading result and preferably also the current fingerprint as a new or additional reference fingerprint.

Bevorzugt kann auch in den Fällen,

  • wenn der Vergleich des aktuellen Fingerprint mit dem/den dem Fahrzeugkennzeichen zugeordneten Referenzfingerprint(s) fehlschlägt und der aktuelle Fingerprint eine bessere Qualität oder mehr Information als der bzw. die gespeicherte(n) Referenzfingerprint(s) aufweist, der aktuelle Fingerprint dem Fahrzeugkennzeichen als neuer oder zusätzlicher Referenzfingerprint zugeordnet werden; oder
  • wenn zum Fahrzeugkennzeichen kein Referenzfingerprint gespeichert ist und der aktuelle Fingerprint Mindestqualitätsanforderungen erfüllt, dieser dem Fahrzeugkennzeichen als neuer Referenzfingerprint zugeordnet werden.
Preference may also be given in cases
  • if the comparison of the current fingerprint with the reference fingerprint (s) associated with the vehicle identifier fails and the current fingerprint has better quality or more information than the stored reference fingerprint (s), the current fingerprint is the newer to the vehicle identifier or additional reference fingerprint; or
  • if no reference fingerprint is stored for the vehicle registration number and the current fingerprint has minimum quality requirements met, this be assigned to the vehicle registration as a new reference fingerprint.

Besonders günstig ist es, wenn die neue oder zusätzliche Zuordnung nur dann vorgenommen wird, wenn das aktuelle Kennzeichenleseergebnis eine Mindesthäufigkeit und/oder Mindestqualität erreicht.It is particularly favorable if the new or additional allocation is only made if the current license plate reading result reaches a minimum frequency and / or minimum quality.

Bevorzugt wird eine Zuordnung auch aus der Datenbank entfernt, wenn sie innerhalb eines vorgegebenen Zeitraums nicht benutzt wird.Preferably, an association is also removed from the database if it is not used within a predetermined period of time.

Im Falle, daß das OCR-Kennzeichenlesen unterschiedliche Lesevarianten des Kennzeichens ermittelt, ist es auch nutzbringend, die Lesevarianten im Schritt d) bei der Suche nach zugeordneten Fahrzeugkonten bzw. Fingerprints zu verwenden und/oder bei der Erstellung der Zuordnungsliste als mögliche Leseergebnisse eines Kennzeichens zu speichern.In the event that the OCR flag reading detects different read variants of the tag, it is also useful to use the read variants in step d) in the search for associated vehicle accounts or fingerprints and / or when creating the assignment list as possible reading results of a license plate to save.

Der Fingerprint kann an sich auf jede in der Technik bekannte Art und Weise erzeugt werden. Besonders vorteilhaft ist es, wenn das sensorische Erfassen mittels einer Kamera erfolgt, mit der ein Bild des Kennzeichens und/oder des Fahrzeugs gemacht wird, aus dem Merkmale extrahiert und daraus der Fingerprint berechnet wird. Alternativ oder zusätzlich kann das sensorische Erfassen mittels Sensoriken wie Lichtschranken, Laserscannern, Induktionsschleifen, Gewichtssensoren oder Funkkommunikationsmitteln erfolgen, mit denen charakteristische Merkmale des Fahrzeugs erfaßt werden, aus welchen der Fingerprint berechnet wird.As such, the fingerprint may be generated in any manner known in the art. It is particularly advantageous if the sensory detection takes place by means of a camera with which an image of the license plate and / or the vehicle is made, from which features are extracted and from which the fingerprint is calculated. Alternatively or additionally, the sensory detection can take place by means of sensors such as light barriers, laser scanners, induction loops, weight sensors or radio communication means with which characteristic features of the vehicle are detected, from which the fingerprint is calculated.

Untersuchungen der Anmelderin haben gezeigt, daß ein Großteil der Einträge in der Liste der Kennzeichenleseergebnisse nur auf sehr wenige Fahrzeugkennzeichen verweist. Dabei kann es sein, daß es einzelne besonders schwer zu unterscheidende Kennzeichen gibt. Beispielsweise könnte es die Kennzeichen ABC123 und ABCI23 in sehr ähnlicher Ausführung geben. Ein weiterer Aspekt der Erfindung besteht daher darin, daß zu jedem Eintrag in der Liste der möglichen Kennzeichenleseergebnisse zusätzlich Information zur Unterscheidung der Fingerprints der zugeordneten Fahrzeugkennzeichen gespeichert wird. Wenn beispielsweise sowohl das Kennzeichen ABC123 und als auch ABCI23 als ABCI23 gelesen werden, dann ist es sinnvoll, beim Vergleich der Fingerprints speziell die Region, in der sich die beiden Kennzeichen unterscheiden ("I" und "1"), höherrangig zu bewerten bzw. zu gewichten. Eine solche "Information über die relevanten Unterschiede" zweier oder mehrerer Kennzeichen, die aufgrund der automatischen Kennzeichenerkennung verwechselt werden könnten, wird in der Liste der möglichen Kennzeichenleseergebnisse als Gewichtung für die zugeordneten Fingerprints gespeichert.Investigations by the applicant have shown that a large part of the entries in the list of license plate reading results only refers to very few vehicle license plates. It may be that there are some very difficult to distinguish characteristics. For example, the flags ABC123 and ABCI23 could be very similar. Another aspect of the invention is therefore that for each entry in the list of possible license plate reading results in addition to differentiate the fingerprints of assigned vehicle license plate is stored. If, for example, both the indicator ABC123 and ABCI23 are read as ABCI23, then it makes sense, when comparing the fingerprints, to give a higher ranking to the region in which the two identifiers ("I" and "1") differ. to weight. Such "information about the relevant differences" of two or more license plates, which could be confused due to the automatic license plate recognition, is stored in the list of possible license plate reading results as a weighting for the associated fingerprints.

Das ist insbesondere deswegen sinnvoll, weil Kennzeichen sich oft nur sehr geringfügig unterscheiden, sich aber andererseits große Variationen des Fingerprints für ein und dasselbe Fahrzeug aufgrund von Verschmutzungen, Lichtreflexionen oder ähnlichem ergeben können. Solche unter Umständen großflächige Einflüsse können dazu führen, daß die geringfügigen lokalen Unterschiede beim Fingerprintvergleich nicht in ausreichendem Maße berücksichtigt werden.This makes sense, in particular, because license plates often differ only very slightly, but on the other hand, large variations of the fingerprint for one and the same vehicle may result due to soiling, light reflections or the like. Such large-scale influences may mean that the slight local differences in the fingerprint comparison are not sufficiently taken into account.

Eine weitere bevorzugte Ausführungsform der Erfindung zeichnet sich demgemäß dadurch aus, in der Datenbank zu jedem Kennzeichenleseergebnis, bevorzugt zu jeder einzelnen Zuordnung desselben zu einem Fahrzeugkennzeichen, Gewichtungen für einzelne Regionen der zugeordneten Referenzfingerprints gespeichert werden, welche beim Ähnlichkeitsvergleichen berücksichtigt werden. Diese Gewichtungen bilden die genannte "Information über die relevanten Unterschiede".A further preferred embodiment of the invention is accordingly distinguished by storing weightings for individual regions of the assigned reference fingerprints in the database for each license plate reading result, preferably for each individual assignment thereof to a vehicle license plate, which are taken into account in the comparison of similarity. These weights form the so-called "information about the relevant differences".

In Mautsystemen besteht oft auch das Problem, daß Fahrzeuge, die nicht mautpflichtig sind, als mautpflichtig eingestuft werden. Ein Beispiel ist die Einstufung eines nichtmautpflichtigen großen PKWs (z.B. eines Vans) als mautpflichtiger Kleintransporter. Diese Fehleinstufung rührt von Meßungenauigkeiten in der Sensorik für die Klassifizierung her oder ist schlicht dadurch bedingt, daß sich manche Fahrzeugklassen gar nicht anhand definierter äußerer Merkmale abgrenzen lassen. In diesen Fällen muß die Fehleinstufung manuell korrigiert werden. Oftmals muß die Korrektur bei ein und demselben Fahrzeug bei jeder Fahrzeugpassage durchgeführt werden. Das erfindungsgemäße Verfahren kann auch in diesen Fällen dennoch nutzbringend angewandt werden, wenn in der Fahrzeugliste ein Eintrag für das Fahrzeug gespeichert wird, in welchem eingetragen ist, daß das Fahrzeug nicht mautpflichtig ist. Problematisch dabei ist, daß damit ein Eintrag für ein Fahrzeug angelegt wird, welches nicht mautpflichtig ist: Eine solche Vorgehensweise kann je nach gesetzlicher Lage gegen Datenschutzbestimmungen verstoßen. Um dieses Problem zu lösen, kann das vorgestellte Verfahren in einer vorteilhaften Ausführung auch so verwendet werden, daß die Kennzeichenleseergebnisse, bevor sie in der Liste gespeichert werden, verschlüsselt werden.In toll systems there is often the problem that vehicles that are not subject to tolls are classified as toll. An example is the classification of a toll-free large car (eg a van) as a toll vans. This misclassification stems from measurement inaccuracies in the sensors for the classification or is simply due to the fact that some vehicle classes can not be defined on the basis of defined external characteristics. In these cases, the misclassification must be corrected manually. Often, the correction must be made on the same vehicle at each vehicle passage. The inventive method can still be used profitably in these cases, if in the vehicle list an entry for the vehicle is stored in which is entered that the vehicle is not subject to toll. The problem with this is that with it an entry for a vehicle is created, which is not subject to toll: Such an approach may violate, depending on the legal situation against data protection provisions. To solve this problem, the proposed method can also be used in an advantageous embodiment so that the label reading results before they are stored in the list are encrypted.

Demgemäß besteht eine bevorzugte Ausführungsform der Erfindung darin, daß die Kennzeichenleseergebnisse in der Datenbank verschlüsselt gespeichert werden und das aktuelle Kennzeichenleseergebnis für die Gleichheitssuche des Schritts d) in derselben Art und Weise verschlüsselt wird.Accordingly, a preferred embodiment of the invention is that the tag reading results are stored in encrypted form in the database and the current tag reading result for the equality search of step d) is encrypted in the same manner.

Das Verfahren der Erfindung kann bevorzugt zusätzlich zur Mautkategorisierung des Fahrzeugs eingesetzt werden, indem in der Datenbank jedem Referenzfingerprint auch eine Mautkategorie zugeordnet wird und, wenn dieser Referenzfingerprint als ähnlichster Kandidatenfingerprint bestimmt wird, dessen zugeordnete Mautkategorie mit ausgegeben wird.The method of the invention can preferably be used in addition to the toll categorization of the vehicle by also assigning a toll category to each reference fingerprint in the database and, if this reference fingerprint is determined to be the most similar candidate fingerprint, its assigned toll category.

Die Identifizierung des Fahrzeugs muß dabei nicht notwendigerweise mit dem oben erörterten Verfahren zur automatischen Kennzeichenerkennung erfolgen, sondern könnte auch auf andere Art und Weise durchgeführt werden. In einem zweiten Aspekt schafft die Erfindung daher ein Verfahren zur Mautkategorisierung von Fahrzeugen in Straßenmautsystemen, mit den Schritten:

  1. a) Bereitstellen einer Datenbank zur Zuordnung von Fahrzeugidentifikationen zu Referenzfingerprints und zur Zuordnung von Mautkategorien zu Referenzfingerprints,
  2. b) Ermitteln einer eindeutigen Fahrzeugidentifikation eines Fahrzeugs, mit voraus- oder nachgehendem
  3. c) sensorischem Erfassen von Merkmalen des Fahrzeugs als ein aktueller Fingerprint des Fahrzeugs,
  4. d) Ermitteln aller in der Datenbank der Fahrzeugidentifikation zugeordneten Referenzfingerprints als Kandidatenfingerprints,
  5. e) Ähnlichkeitsvergleichen des aktuellen Fingerprints mit den Kandidatenfingerprints, um den ähnlichsten Kandidatenfingerprint zu bestimmen, und
  6. f) Ausgeben der dem ähnlichsten Kandidatenfingerprint zugeordneten Mautkategorie als Ergebnis der Mautkategorisierung.
The identification of the vehicle does not necessarily have to be done with the automatic license plate recognition method discussed above, but could also be performed in other ways. In a second aspect, therefore, the invention provides a method for toll categorization of vehicles in road toll systems, comprising the steps of:
  1. a) providing a database for assigning vehicle identifications to reference fingerprints and for assigning toll categories to reference fingerprints,
  2. b) Determining a unique vehicle identification of a vehicle, with either preceding or following
  3. c) sensory sensing features of the vehicle as a current fingerprint of the vehicle,
  4. d) determining all reference fingerprints assigned in the database of the vehicle identification as candidate fingerprints,
  5. e) similarity comparisons of the current fingerprint with the candidate fingerprints to determine the most similar candidate fingerprint, and
  6. f) outputting the toll category associated with the most similar candidate fingerprint as a result of the toll categorization.

Weitere Ziele, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung ihrer bevorzugten Ausführungsformen unter Bezugnahme auf die begleitenden Zeichnungen, in denen zeigen:

  • Fig. 1 ein Flußdiagram des erfindungsgemäßen Verfahrens zur automatischen Kennzeichenerkennung und
  • Fig. 2 ein Flußdiagram des erfindungsgemäßen Verfahrens zur Mautkategorisierung.
Other objects, features and advantages of the invention will become apparent from the following description of the preferred embodiments thereof taken in conjunction with the accompanying drawings, in which:
  • Fig. 1 a Flußdiagram the inventive method for automatic license plate recognition and
  • Fig. 2 a Flußdiagram the method according to the invention for toll categorization.

Fig. 1 zeigt das Verfahren zur automatischen Kennzeichenerkennung anhand eines Bildes 1 eines Fahrzeugs 2 mit einem Fahrzeugkennzeichen LP im Rahmen eines Straßenmautsystems. Der hier verwendete Begriff "Fahrzeug" umfaßt alle beliebigen Land-, Luft- und Wasserfahrzeuge, sowohl selbst- als auch fremdangetrieben. Fig. 1 shows the method for automatic license plate recognition based on an image 1 of a vehicle 2 with a vehicle registration plate LP in the context of a road toll system. As used herein, the term "vehicle" includes any type of land, air and water vehicles, both self-propelled and externally propelled.

In einem ersten Schritt (b) erfolgt ein OCR-Lesen des Kennzeichens LP des Fahrzeugs 2 aus dem Bild 1, um ein aktuelles Kennzeichenleseergebnis LPOCR zu erhalten, z.B. "ABC123".In a first step (b), an OCR reading of the license plate LP of the vehicle 2 takes place from the image 1 in order to obtain a current license plate reading result LP OCR , eg "ABC123".

In einem vorausgehenden, parallelen oder nachfolgenden Schritt (c) werden ein oder mehrere charakteristische Merkmale des Fahrzeugs 2 sensorisch erfaßt, um daraus einen sog. "aktuellen Fingerprint" FP des Fahrzeugs 2 zu erhalten. Solche charakteristischen Merkmale sind beispielsweise das Aussehen des Kennzeichens, die Fahrzeugfarbe, das Aussehen der Fahrzeugfront usw, welche zur Verifikation der Fahrzeugidentität dienen können, und/oder die Fahrzeugabmessungen, die Fahrzeugform, das Vorhandensein eines Anhängers usw., welche z.B. auch für die Bemautung herangezogen werden können.In a preceding, parallel or subsequent step (c), one or more characteristic features of the vehicle 2 are sensed in order to obtain therefrom a so-called "current fingerprint" FP of the vehicle 2. Such characteristic features are, for example, the appearance of the License plate, the vehicle color, the appearance of the vehicle front, etc., which can serve to verify the vehicle identity, and / or the vehicle dimensions, the vehicle shape, the presence of a trailer, etc., which can be used for example for the toll.

Der Fingerprint FP kann beispielsweise direkt aus dem Kamerabild 1 extrahiert werden, z.B. durch Ermitteln von signifikanten Hell/Dunkel-Bereichen, Berechnen von Bildparametern wie Kontrast, Quersummen, usw., u.zw. sowohl des gesamten Fahrzeugs 2 als Teilen des Fahrzeugs 2. Insbesondere ist es möglich, daß der Fingerprint FP auf diese Weise aus dem Bild des Fahrzeugkennzeichens LP selbst gebildet wird.For example, the fingerprint FP can be extracted directly from the camera image 1, e.g. by determining significant bright / dark areas, calculating image parameters such as contrast, cross sums, etc., u.zw. both of the entire vehicle 2 and parts of the vehicle 2. In particular, it is possible that the fingerprint FP is formed in this way from the image of the vehicle registration plate LP itself.

Alternativ oder zusätzlich kann der Fingerprint FP aus anderen oder weiteren Bildern 1 des Fahrzeugs 2, aus Daten von Sensoriken wie Laserscannern, Lichtschranken, Induktionsschleifen, Videokameras, Gewichtssensoren, Funkanlagen, z.B. RFID-Transponder-Abfragen, usw. ermittelt werden. Dabei können auch verschiedene Arten von Sensordaten in ein und demselben Fingerprint FP kombiniert werden.Alternatively or additionally, the fingerprint FP can be obtained from other or further images 1 of the vehicle 2, from data from sensors such as laser scanners, light barriers, induction loops, video cameras, weight sensors, radio systems, e.g. RFID transponder queries, etc. are determined. Different types of sensor data can also be combined in one and the same fingerprint FP.

In einem Schritt (d) wird das Kennzeichenleseergebnis LPOCR in einer Datenbank DB des Straßenmautsystems nachgeschlagen. Die Datenbank DB enthält in der gezeigten Ausführungsform eine erste Liste 3 mit gespeicherten Kennzeichenleseergebnissen LPOCR,men und eine zweite Liste 4 mit allen im Straßenmautsystem registrierten Fahrzeugkennzeichen LP und diesen zugeordneten Referenzfingerprints FPref. Zwischen den Listen 3, 4 besteht eine n:n-relationale (n ∈ N) Zuordnung der Kennzeichenleseergebnisse LPOCR,mem einerseits zu den Fahrzeugkennzeichen LP bzw. ihren Referenzfingerprints FPref anderseits, wie durch die Linien 5 versinnbildlicht: Ein Kennzeichenleseergebnis LPOCR,mem kann auf eines oder mehrere Fahrzeugkennzeichen LP bzw. deren Referenzfingerprints FRref verweisen; und für ein Fahrzeugkennzeichen LP (bzw. einen Referenzfingerprint FPref) können eines oder mehrere mögliche Kennzeichenleseergebnisse LPOCR,mem gespeichert sein.In a step (d), the license plate reading result LP OCR is looked up in a database DB of the road toll system. In the illustrated embodiment, the database DB contains a first list 3 with stored license plate reading results LP OCR, men and a second list 4 with all vehicle license plates LP registered in the road toll system and associated reference fingerprints FP ref . Between the lists 3, 4 there is an n: n-relational (n ∈ N ) assignment of the license plate reading results LP OCR, meme on the one hand to the vehicle license plate LP or their reference fingerprints FP ref , as represented by the lines 5: a license plate reading result LP OCR, mem can refer to one or more vehicle identifiers LP or their reference fingerprints FR ref ; and for a vehicle identifier LP (or a reference fingerprint FP ref ) one or more possible label reading results LP OCR, mem may be stored.

In dem Nachschlageschritt (d) kann somit das aktuelle Kennzeichenleseergebnis LPOCR direkt in der Liste 3 der gespeicherten Kennzeichenleseergebnisse LPOCR,mem nachgeschlagen werden, denn zu jedem möglichen Kennzeichenleseergebnis LPOCR gibt es nur einen einzigen gleichen Eintrag LPOCR,mem in der Liste 3. Dies erleichtert und beschleunigt die Implementierung signifikant.Thus, in the look-up step (d), the current mark reading result LP OCR can be looked up directly in the list 3 of the stored mark reading results LP OCR, mem , since there is only one identical record LP OCR, mem in the list 3 for each possible mark reading result LP OCR This makes the implementation significantly easier and faster.

In einem anschließenden Schritt (e) werden nun alle dem aktuellen Kennzeichenleseergebnis LPOCR über die Listen 3, 4 zugeordneten Referenzfingerprints FPref der in Frage kommenden Fahrzeugkennzeichen LP als "Kandidatenfingerprints" FPref,cand ermittelt und jeweils mit dem aktuellen Fingerprint FP verglichen. Dieser Vergleich ist ein Ähnlichkeitsvergleich, bei dem der "ähnlichste" Kandidatenfingerprint FPref,cand bestimmt wird; das diesem zugeordnete Fahrzeugkennzeichen LP wird als Ergebnis des Kennzeichenerkennungsverfahrens ausgegeben (Schritt f).In a subsequent step (e), all reference fingerprints FP ref of the relevant vehicle identifier LP that match the current license plate reading result LP OCR are then determined as "candidate fingerprints" FP ref, cand and respectively compared with the current fingerprint FP. This comparison is a similarity comparison in which the "most similar" candidate fingerprint FP ref, cand is determined; the vehicle identifier LP assigned thereto is outputted as a result of the license plate recognition process (step f).

Für die Bestimmung des "ähnlichsten" Kandidatenfingerprints können verschiedenste Ähnlichkeitskriterien vorgegeben werden, beispielsweise der maximale Wert eines numerisch berechneten Ähnlichkeitsmaßes und/oder das Überschreitens eines Mindestähnlichkeitsmaßes usw. Bei der Bestimmung des "ähnlichsten" Kandidatenfingerprints kann auch geprüft werden, ob die Ähnlichkeitskriterien für keinen anderen Kandidatenfingerprint zutreffen und somit der "ähnlichste" Kandidatenfingerprint eindeutig bestimmt ist, d.h. nur ein eindeutig ähnlichster Kandidatenfingerprint für die weitere Verarbeitung herangezogen wird.For the determination of the "most similar" candidate fingerprint, a wide variety of similarity criteria can be specified, for example the maximum value of a numerically calculated similarity measure and / or exceeding a minimum similarity measure etc. When determining the "most similar" candidate fingerprint, it can also be checked whether the similarity criteria for no other Candidate fingerprint apply and thus the "most similar" candidate fingerprint is uniquely determined, ie only a clearly most similar candidate fingerprint is used for further processing.

In der Liste 4 der Datenbank DB können zu einem Fahrzeugkennzeichen LP auch mehrere Referenzfingerprints FPref gespeichert sein. Beispielsweise können für ein und dasselbe Kennzeichen LP Referenzfingerprints FPref aus verschiedenen Bildaufnahmen, welche die Kennzeichentafel des Fahrzeugs 2 unter unterschiedlichen Lichtbedingungen oder Blickwinkeln zeigen, berechnet werden. Beim Fingerprint-Ähnlichkeitsvergleich des Schrittes (e) können dann die Ähnlichkeitsvergleiche des aktuellen Fingerprints FP mit allen Kandidatenfingerprints FPref,cand ein- und desselben Kennzeichens LP zu einem gemeinsamen Ähnlichkeitswert kombiniert werden, z.B. durch Aufsummieren, durch Auswahl des Maximalwerts usw.In the list 4 of the database DB, several reference fingerprints FP ref can also be stored for a vehicle identifier LP. For example, LP reference fingerprints FP ref can be calculated from different image recordings showing the license plate of the vehicle 2 under different light conditions or viewing angles for one and the same identifier. In the fingerprint similarity comparison of Step (e) then the similarity comparisons of the current fingerprint FP can be combined with all candidate fingerprints FP ref, cand one and the same identifier LP to a common similarity value, eg by adding up, by selecting the maximum value, etc.

Wenn in Schritt (d) kein gleiches Kennzeichenleseergebnis LPOCR,mem in der Liste 3 oder in Schritt (e) kein ähnlichster oder überhaupt kein ähnlicher Kandidatenfingerprint FPref,cand bestimmt werden kann, wird jeweils zu einem Schritt (g) verzweigt, in dem das Kennzeichen LP durch eine Bedienungsperson manuell, insbesondere visuell, aus dem Bild 1 bzw. dem aktuellen Kennzeichenleseergebnis LPOCR ermittelt und daraus ein neuer Eintrag für die Datenbank DB erzeugt wird. Dabei wird dem manuell ermittelten Fahrzeugkennzeichen LP das aktuelle Kennzeichenleseergebnis LPOCR als neues - oder zusätzliches - Kennzeichenleseergebnis LPOCR,mem und/oder der aktuelle Fingerprint FP als neuer - oder zusätzlicher - Referenzfingerprint FPref zugeordnet. Dabei kann auch überprüft werden, ob das aktuelle Kennzeichenleseergebnis LPOCR bzw. der aktuelle Fingerprint FP eine Mindesthäufigkeit und/oder eine Mindestqualität erreicht, die es bzw. ihn dafür qualifiziert, in die Datenbank DB aufgenommen zu werden.If no similar label reading result LP OCR, mem in the list 3 or in step (e) no similar or no similar candidate fingerprint FP ref, can be determined in step (d), a branch is made in each case to a step (g) the license plate LP by an operator manually, in particular visually, determined from the image 1 and the current license plate reading result LP OCR and from this a new entry for the database DB is generated. In this case, the manually determined vehicle identifier LP is assigned the current license plate reading result LP OCR as a new or additional license plate reading result LP OCR, mem and / or the current fingerprint FP as a new or additional reference fingerprint FP ref . It can also be checked whether the current license plate reading result LP OCR or the current fingerprint FP reaches a minimum frequency and / or a minimum quality that qualifies it or him to be included in the database DB.

Bevorzugt werden auch Kriterien vorgesehen, um Zuordnungen von Kennzeichenleseergebnissen LPOCR,mem zu Kennzeichen LP wieder aus der Liste 3 der Datenbank DB zu entfernen, z.B. wenn längere Zeit nicht mehr auf sie zugegriffen wird, beispielsweise weil eine Kennzeichentafel erneuert wurde und damit besser lesbar geworden ist, so daß bestimmte Kennzeichenleseergebnisse nicht mehr auftreten.Criteria are also preferably provided to remove assignments of license plate reading results LP OCR, mem to license plate LP from the list 3 of the database DB, for example if they are no longer being accessed, for example because a license plate has been renewed and thus become more readable is, so that certain license plate reading results no longer occur.

Optional können in einem Schritt (h) auch Gewichtungen WT für Referenzfingerprints FPref festgelegt und in der Datenbank DB z.B. für jede Zuordnung LPOCR,mem zu einem Kennzeichen LP gespeichert werden, welche Gewichtungen WT bei dem Fingerprintvergleich des Schrittes (e) berücksichtigt werden, um diesen auf besonders unterscheidungskräftige oder relevante Bereiche der zu vergleichenden Fingerprints FP und FPref,cand abzustellen.Optionally, weightings WT for reference fingerprints FP ref can also be determined in a step (h) and stored in the database DB for each assignment LP OCR, mem to an identifier LP, which weightings WT are taken into account in the fingerprint comparison of step (e), around this to focus on particularly distinctive or relevant areas of the fingerprints FP and FP ref, cand to be compared.

Auch ist es möglich, für bestimmte Fahrzeugkennzeichen LP oder Kennzeichenleseergebnisse LPOCR - sollte es bei diesen zu vermehrten Fehlzuordnungen kommen - erhöhte Anforderungen an den Fingerprint-Ähnlichkeitsvergleich des Schrittes (e) zu stellen oder diese zur Gänze von einer automatischen Zuordnung auszuschließen.It is also possible, for certain vehicle identifiers LP or license plate reading results LP OCR - should there be an increased misallocation in these - to make increased demands on the fingerprint similarity comparison of step (e) or to exclude them entirely from an automatic assignment.

Manche Verfahren zur OCR-Kennzeichenerkennung liefern mehrere alternative Kennzeichenleseergebnisse, wobei eines meist als wahrscheinlichstes gekennzeichnet ist, während die anderen mögliche, aber weniger wahrscheinliche Alternativen darstellen. Die alternativen Kennzeichenleseergebnisse können im Schritt (d) und im Schritt (g) nutzbringend verwendet werden. Im Schritt (d) können die alternative Leseergebnisse ebenfalls in der Liste 3 der gespeicherten Kennzeichenleseergebnisse LPOCR,mem nachgeschlagen werden und die zugeordneten Referenzfingerprints FPref für den Fingerprintvergleich herangezogen werden. In Schritt (g) können alle möglichen Lesevarianten des Kennzeichens in der Datenbank DB eingetragen werden.Some OCR tag recognition methods provide several alternative tag reading results, one most likely to be most likely, while the other are possible but less likely alternatives. The alternative label reading results may be used beneficially in step (d) and step (g). In step (d), the alternative read results can also be looked up in the list 3 of the stored label reading results LP OCR, mem and the associated reference fingerprints FP ref can be used for the fingerprint comparison. In step (g) all possible read variants of the flag can be entered in the database DB.

Wie bereits kurz erläutert, können die in der Liste 3 gespeicherten Kennzeichenleseergebnisse LPOCR,mem aus Datenschutzgründen verschlüsselt vorliegen. Für den Gleichheitsvergleich in Schritt (d) wird dann das aktuelle Kennzeichenleseergebnis LPOCR in derselben Art und Weise verschlüsselt; es ist damit nicht notwendig, in der Datenbank DB bzw. im Rahmen des vorliegenden Verfahrens Kennzeichenleseergebnisse im Klartext zu verwenden, zu übertragen bzw. aufzubewahren.As already explained briefly, the label reading results LP OCR, mem stored in the list 3 can be encrypted for privacy reasons. For the equality comparison in step (d), the current label reading result LP OCR is then encrypted in the same manner; it is therefore not necessary to use, transfer or store in the database DB or in the context of the present method license plate reading results in plain text.

Die Verschlüsselung kann mit jedem beliebigen bekannten Verfahren erfolgen, welches sicherstellt, daß auf Kennzeichenleseergebnisse LPOCR, LPOCR,mem nicht unbefugt zugegriffen werden kann. Tatsächlich ist es bei dem hier vorgestellten Verfahren gar nicht notwendig, das Kennzeichenleseergebnis im Klartext zu kennen bzw. wieder zu entschlüsseln, d.h. es kann eine irreversible Verschlüsselung verwendet werden. Es genügt, wenn die Verschlüsselung eine im mathematischen Sinn injektive Funktion ist und daher jedes Verschlüsselungsergebnis nur genau von einem Kennzeichenleseergebnis erzeugt wird: Denn das Verfahren basiert darauf, ein aktuelles Kennzeichenleseergebnis mit einer Liste gespeicherter Kennzeichenleseergebnis zu vergleichen und dabei nach genauen Übereinstimmungen zu suchen, nicht nach lediglich ähnlichen Kennzeichen. Eine solche Suche nach einer genauen Übereinstimmung läßt sich aber auch durchführen, wenn sowohl das aktuelle Kennzeichenleseergebnis LPOCR als auch das gespeicherte Kennzeichenleseergebnis LPOCR,mem in einer auf dieselbe Weise verschlüsselten Form vorliegen.The encryption can be done by any known method which ensures that label read results LP OCR , LP OCR, mem can not be accessed without authorization. In fact, in the case of the method presented here, it is not necessary at all to know or decrypt the license plate reading result in plain text, ie an irreversible encryption can be used. It is enough if the encryption is a mathematically injektive function and therefore each encryption result is only generated exactly by a license reading result: For the method is based on comparing a current license plate reading result with a list stored license plate reading result and looking for exact matches, not just similar characteristics , Such a search for an exact match can also be carried out if both the current license plate reading result LP OCR and the stored license plate reading result LP OCR, mem are present in a form encrypted in the same way.

Vorteilhafterweise ist die Verschlüsselung eine sog. "Einweg-Funktion", d.h. eine schwer invertierbare Funktion, z.B. eine asymmetrische Verschlüsselung mit öffentlichem und privatem Schlüssel. Der private Schlüssel, der zum Entschlüsseln notwendig wäre, kann vernichtet werden, sodaß niemand aus dem verschlüsselten Kennzeichenleseergebnis auf das tatsächliche Kennzeichenleseergebnis zurückschließen kann.Advantageously, the encryption is a so-called "one-way function", i. a difficult invertible function, e.g. an asymmetric encryption with public and private key. The private key that would be needed to decrypt can be destroyed so that no one can infer the actual label reading result from the encrypted label reading result.

Die Verschlüsselung der Kennzeichenleseergebnisse ermöglicht es auch, das Verfahren bei Section-Control-, Parking- und anderen geschlossenen Systemen anzuwenden, welche besonders strenge Anforderungen an den Datenschutz stellen. Dabei ist zu unterscheiden zwischen geschlossenen Systemen, bei denen eine Fahrzeugpassage bei der Ausfahrt aus dem geschlossenen System einer Fahrzeugpassage bei der Einfahrt in das geschlossen System zugeordnet wird, und Systemen mit registrierten Benutzern, bei denen Fahrzeugpassagen einem Fahrzeugkonto zugeordnet werden. Bei geschlossenen Systemen (ohne Registrierung) ist das Speichern einer Liste möglicher Kennzeichenleseergebnisse nicht sinnvoll. Allerdings kann auch in diesen Systemen eine Vorselektion von Fingerprints anhand des Kennzeichenleseergebnisses erfolgen, wobei speziell in diesen Anwendungsfällen die Verschlüsselung der Kennzeichenleseergebnisse aus Datenschutzgründen erforderlich sein kann.Encrypting the license plate reading results also makes it possible to apply the method to section control, parking and other closed systems, which place particularly stringent data protection requirements. It is to distinguish between closed systems in which a vehicle passage is assigned at the exit from the closed system of a vehicle passage at the entrance to the closed system, and systems with registered users, in which vehicle passages are assigned to a vehicle account. For closed systems (without registration) saving a list of possible license plate reading results does not make sense. However, also in these systems, a preselection of fingerprints based on the license plate reading result, whereby the encryption of the license plate reading results may be required for data protection reasons, especially in these applications.

Ein sehr vorteilhafte Erweiterung des beschriebenen Verfahrens besteht darin, bei der Erkennung der Fahrzeuge auch Ort und Zeit einer Fahrzeugpassage verwenden, um die Zuordnung der Fahrzeugpassagen zu Fahrzeugkonten zu plausibilisieren. Dabei wird z.B. aus mehreren Fahrzeugdetektionen geprüft, ob ein Fahrzeug überhaupt zum angegebenen Zeitpunkt an einem bestimmten Ort sein konnte.A very advantageous extension of the method described is to use the location and time of a vehicle passage in the recognition of the vehicles to make plausibility of the assignment of the vehicle passages to vehicle accounts. In doing so, e.g. Checked from several vehicle detections, whether a vehicle could be at a specific location at the specified time.

Fig. 2 zeigt eine weitere vorteilhafte Ausführung der Erfindung, bei der zusätzlich oder alternativ zur automatischen Kennzeichenerkennung auch eine automatische Mautkategorisierung eines Fahrzeugs durchgeführt wird, und zwar auf Grundlage des erörterten Vergleichs von Fingerprints, wobei der Fingerprint Merkmale enthalten kann, mit denen die Fahrzeugeigenschaften auch verifiziert werden können. Dazu werden in der Datenbank DB dem bzw. den Referenzfingerprint(s) FPref eines identifizierten Fahrzeugs mit einer Identifikation ID, z.B. seinem Fahrzeugkennzeichen LP, auch eine (oder mehrere) Mautkategorie(n) MK zugeordnet. Wenn der aktuelle Fingerprint FP der Fahrzeugpassage mit einem der auf obige Art und Weise ermittelten Kandidatenfingerprints FPref,cand bestmöglich ähnelt, wird auch die zugehörige Mautkategorie MK aus der Datenbank DB übernommen und im Schritt (f) ausgegeben (siehe auch Fig. 1). Fig. 2 shows a further advantageous embodiment of the invention, in addition to or alternative to automatic license plate recognition and an automatic toll categorization of a vehicle is performed, based on the discussed comparison of fingerprints, the fingerprint may include features with which the vehicle characteristics can also be verified , For this purpose, in the database DB the reference fingerprint (s) FP ref of an identified vehicle having an identification ID, eg its vehicle identifier LP, is also assigned one (or more) toll category (s) MK. If the current fingerprint FP of the vehicle passage with one of the above-identified candidate fingerprints FP ref, cand best similar resembles, the associated toll category MK is taken from the database DB and output in step (f) (see also Fig. 1 ).

Folgendes Beispiel illustriert eine mögliche Variante dieses Verfahrens.The following example illustrates a possible variant of this method.

Ein Van passiert bei einer ersten Fahrzeugpassage eine Mautstation. Die an der Mautstation installierte Sensorik, z.B. ein Laser-Scanner, erfaßt das Fahrzeug und stuft es (fälschlich) als Kleintransporter ein. Da der Van nur für die (niedrigere) Mautkategorie "Van" bezahlt, wird ein Widerspruch festgestellt.A van passes through a toll station during a first vehicle passage. The sensors installed at the toll station, e.g. a laser scanner, detects the vehicle and classifies it (wrongly) as a pickup truck. As the van only pays for the (lower) toll category "Van", a contradiction is found.

Bei der ersten Fahrzeugpassage, welche zu einem Widerspruch führt, erfolgt eine manuelle Bearbeitung, im Zuge derer der Widerspruch korrigiert und der Van korrekt als Mautkategorie "Van" eingestuft wird. Aufgrund der Korrektur des Widerspruchs wird der Fingerprint zusammen mit der vom Bearbeiter festgestellten Mautkategorie im Fahrzeugkonto gespeichert.In the first vehicle passage, which leads to a contradiction, there is a manual processing, in the course of which the contradiction is corrected and the van is correctly classified as a toll category "Van". Due to the correction of the contradiction the fingerprint is stored in the vehicle account together with the toll category determined by the processor.

Tritt bei einer weiteren Passage desselben Fahrzeugs wiederum ein Widerspruch auf, wird der Fingerprint der aktuellen Passage mit dem im Fahrzeugkonto gespeicherte Referenzfingerprint verglichen. Bei einer Übereinstimmung der beiden Fingerprints (d.h. das Ähnlichkeitsmaß liegt über einem vorgegebenen Schwellwert) wird die bei der ersten Passage vom Bearbeiter festgestellte Mautkategorie übernommen und der Widerspruch damit automatisch korrigiert.If a contradiction occurs again in another passage of the same vehicle, the fingerprint of the current passage is compared with the reference fingerprint stored in the vehicle account. If the two fingerprints match (i.e., the similarity measure is above a predetermined threshold value), the toll category determined by the processor during the first passage is adopted and the contradiction is thus automatically corrected.

Das Verfahren beruht auf der Erkenntnis, daß ein und dasselbe Fahrzeug, welches sich in seiner äußeren Form nicht verändert hat, wieder derselben Mautkategorie zugeordnet werden kann. Dabei erfolgt in einem ersten Schritt die Identifikation des Fahrzeugs bzw. die Zuordnung zu einem Fahrzeugkonto, z.B. mit Hilfe des zuvor beschriebenen Verfahrens zur automatischen Kennzeichenerkennung. In einem zweiten Schritt wird mittels des Fingerprintvergleichs sichergestellt, daß Veränderungen am Fahrzeug erkannt werden und die im Fahrzeugkonto gespeicherte Mautkategorie nur dann übernommen wird, wenn das Fahrzeug äußerlich unverändert geblieben ist. Beispiele für Veränderungen am Fahrzeug sind, wenn das Fahrzeug erneuert wird (z.B. gleiches Kennzeichen auf neuem Fahrzeug) oder z.B. einen Anhänger oder Wohnwagen mitführt.The method is based on the knowledge that one and the same vehicle, which has not changed in its outer shape, can be assigned to the same toll category again. In this case, in a first step, the identification of the vehicle or the assignment to a vehicle account, e.g. with the aid of the method previously described for automatic license plate recognition. In a second step, it is ensured by means of the fingerprint comparison that changes to the vehicle are detected and the toll category stored in the vehicle account is only accepted if the vehicle has remained externally unchanged. Examples of changes to the vehicle are when the vehicle is being renewed (e.g., same license plate on new vehicle) or e.g. carries a trailer or caravan.

Bekannte Verfahren, mit denen überprüft wird, ob die korrekte Mautkategorie bezahlt wurde, verwenden demgegenüber nur die von den Sensoren gemessenen Daten, um nach einem für alle Fahrzeuge identischen Klassifikationsverfahren die Mautkategorie zu bestimmen. Demgegenüber ist das hier vorgestellte Kategorisierungsverfahren in der Lage, Merkmale individueller Fahrzeuge zu speichern und für eine spätere Kategorisierungsentscheidung wiederzuverwenden.On the other hand, known methods for checking whether the correct toll category has been paid use only the data measured by the sensors in order to determine the toll category according to a classification method identical for all vehicles. In contrast, the categorization method presented here is able to store features of individual vehicles and to reuse them for a later categorization decision.

Wie in der Datenbank von Fig. 2 ersichtlich, können einem Fahrzeug mit einer bestimmten Identifikation ID bzw. LP auch verschiedene Referenzfingerprints FPref für sein Erscheinungsbild in unterschiedliche Konfigurationen K mit zugehörigen Mautkategorien MK zugeordnet werden, sodaß ein und dasselbe Fahrzeug in verschiedenen Konfigurationen K, z.B. mit und ohne Anhänger, automatisch kategorisiert und vermautet werden kann.As in the database of Fig. 2 As can be seen, a vehicle with a specific identification ID or LP can also have different reference fingerprints FP ref for its appearance be assigned in different configurations K with associated toll categories MK, so that one and the same vehicle in different configurations K, eg with and without trailers, can be automatically categorized and vermautet.

In einer vereinfachten Ausführungsform des Verfahrens können als Referenzfingerprint FPref beispielsweise nur die äußeren Abmessungen des Fahrzeugs gespeichert werden; das Vorhandensein eines Anhängers kann dann z.B. auch einfach an einer großen Längenänderung erkannt werden.In a simplified embodiment of the method, for example, only the outer dimensions of the vehicle can be stored as reference fingerprint FP ref ; The presence of a trailer can then be easily recognized eg by a large change in length.

Eine weitere sehr vorteilhafte Ausführungsform besteht darin, Anhänger als eigene Fahrzeuge in der Datenbank DB mit eigenem Referenzfingerprint zu speichern. Bei der Passage werden das Zugfahrzeug und der Anhänger gesondert identifiziert und optional die Eigenschaften von Zugfahrzeug und Anhänger verifiziert. Die ermittelte Mautkategorie MK ergibt sich dann aus einer Kombination der Kategorien des Zugfahrzeuges und des Anhängers.Another very advantageous embodiment is to save trailers as their own vehicles in the database DB with its own reference fingerprint. During the passage, the towing vehicle and trailer are identified separately and optionally the characteristics of towing vehicle and trailer are verified. The determined toll category MK then results from a combination of the categories of the towing vehicle and the trailer.

Die Ermittlung der Mautkategorie MK mit Hilfe von Fingerprints FP kann aufbauend auf dem hier vorgestellten Verfahren zur Kennzeichenerkennung anhand von OCR-Kennzeichenleseergebnissen LPOCR erfolgen, in welchem Fall als Fahrzeugidentifikation ID direkt dessen Kennzeichen LP verwendet werden kann. Alternativ könnte dazu auch jedes andere bekannte Verfahren zur Fahrzeugidentifikation verwendet werden, z.B. eine Fahrzeugidentifikation mittels eines am Fahrzeug befestigten elektronisches Tags, wie eines RFID-Transponderchips oder einer Onboard-Unit (OBU) zur elektronischen Mautabbuchung.The determination of the toll category MK by means of fingerprints FP can be based on the presented here method for license plate recognition based on OCR license plate reading results LP OCR , in which case can be used as a vehicle identification ID directly its flag LP. Alternatively, any other known method for vehicle identification could be used for this, for example a vehicle identification by means of an electronic tag attached to the vehicle, such as an RFID transponder chip or an onboard unit (OBU) for electronic toll debiting.

Fig. 2 zeigt schematisch die Komponenten des Verfahrens zur automatischen Mautkategorisierung mit Hilfe von Fingerprints und weitere beteiligte Systemkomponenten wie folgt:

  • eine den Schritt (b) ausführende Komponente "Vehicle Identification" identifiziert das Fahrzeug und ordnet es einem Fahrzeugkonto zu;
  • eine den Schritt (d) ausführende Komponente "Retrieve Reference Sensor Fingerprint" lädt aus dem Fahrzeugkonto des identifizierten Fahrzeugs und den zugeordneten Einträgen der Datenbank DB den bzw. die zugeordneten Referenzfingerprint(s) als Kandidatenfingerprint(s);
  • eine den Schritt (c) ausführende Komponente "Generate Sensor Fingerprint" berechnet den aktuellen Fingerprint der Fahrzeugpassage;
  • eine den Schritt (e) ausführende Komponente "Fingerprint Comparison" vergleicht den aktuellen Fingerprint mit einem oder mehreren Kandidatenfingerprints und liefert als Ergebnis, ob und mit welchem Kandidatenfingerprint eine Übereinstimmung besteht;
  • eine weitere Komponente "Enforcement Decision" verwendet das Ergebnis des Fingerprintvergleichs zusammen mit dem Ergebnis einer gesonderten Klassifizierung ("Automatic Classification") und einer vom Fahrzeugbenutzer angegebenen Mautkategorie ("Claimed Class") und stellt fest, ob ein Widerspruch besteht.
Fig. 2 schematically shows the components of the method for automatic toll categorization using fingerprints and other involved system components as follows:
  • a component "Vehicle Identification" executing step (b) identifies the vehicle and assigns it to a vehicle account;
  • a component "Retrieve Reference Sensor Fingerprint" executing step (d) loads from the vehicle account of identified vehicle and the associated entries of the database DB or the associated reference fingerprint (s) as a candidate fingerprint (s);
  • a component "Generate Sensor Fingerprint" executing step (c) calculates the current fingerprint of the vehicle passage;
  • a component "fingerprint comparison" executing step (e) compares the current fingerprint with one or more candidate fingerprints and as a result delivers whether and with which candidate fingerprint a match exists;
  • another component "Enforcement Decision" uses the result of the fingerprint comparison together with the result of a separate classification ("Automatic Classification") and a claim category specified by the vehicle user and determines whether a contradiction exists.

Die Erfindung ist nicht auf die dargestellten Ausführungsbeispiele beschränkt, sondern umfaßt alle Varianten und Modifikationen, die in den Rahmen der angeschlossenen Ansprüche fallen.The invention is not limited to the illustrated embodiments, but includes all variants and modifications that fall within the scope of the appended claims.

Claims (14)

Verfahren zur automatischen Kennzeichenerkennung eines Fahrzeugs, insbesondere zu Vermautungszwecken in Straßenmautsystemen, mit den Schritten: a) Bereitstellen einer Datenbank (DB) zur n:n-relationalen Zuordnung (5) von Kennzeichenleseergebnissen (LPOCR,mem) zu Fahrzeugkennzeichen (LP) und diesen zugeordneten Referenzfingerprints (FPref), b) OCR-Lesen des Kennzeichens (LP) des Fahrzeugs (2) als aktuelles Kennzeichenleseergebnis (LPOCR), mit voraus- oder nachgehendem c) sensorischem Erfassen von Merkmalen des Fahrzeugs (2) als ein aktueller Fingerprint (FP) des Fahrzeugs, d) Ermitteln eines dem aktuellen Kennzeichenleseergebnis (LPOCR) gleichenden Kennzeichenleseergebnisses (LPOCR,mem) in der Datenbank (DB) und aller diesem zugeordneten Referenzfingerprints (FPref) als Kandidatenfingerprints (FPref,cand), e) Ähnlichkeitsvergleichen des aktuellen Fingerprints (FP) mit den Kandidatenfingerprints (FPref,cand), um den ähnlichsten Kandidatenfingerprint zu bestimmen, und f) Ausgeben des dem ähnlichsten Kandidatenfingerprint (FPref,cand) zugeordneten Fahrzeugkennzeichens (LP) als Ergebnis der automatischen Kennzeichenerkennung. Method for automatic license plate recognition of a vehicle, in particular for tolling purposes in road toll systems, with the following steps: a) providing a database (DB) for the n: n relational assignment (5) of license plate reading results (LP OCR, mem ) to vehicle license plates (LP) and associated reference fingerprints (FP ref ), b) OCR reading of the license plate (LP) of the vehicle (2) as the current license plate reading result (LP OCR ), with preceding or following c) sensory detection of features of the vehicle (2) as a current fingerprint (FP) of the vehicle, d) determining a license plate reading result (LP OCR, mem ) which is identical to the current license plate reading result (LP OCR ) in the database (DB) and all reference fingerprints (FP ref ) associated therewith as candidate fingerprints (FP ref, cand ), e) similarity comparisons of the current fingerprint (FP) with the candidate fingerprints (FP ref, cand ) to determine the most similar candidate fingerprint, and f) outputting the vehicle identifier (LP) associated with the most similar candidate fingerprint (FP ref, cand ) as a result of the automatic license plate recognition. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß, wenn in Schritt d) kein gleiches Kennzeichenleseergebnis (LPOCR,mem) ermittelt oder in Schritt e) kein ähnlichster oder überhaupt kein ähnlicher Kandidatenfingerprint (FPref,cand) bestimmt werden kann, das Fahrzeugkennzeichen (LP) zu dem aktuellen Kennzeichenleseergebnis (LPOCR) manuell ermittelt wird.Method according to claim 1, characterized in that , if in step d) no identical label reading result (LP OCR, mem ) is determined or in step e) no similar or no similar candidate fingerprint (FP ref, cand ) can be determined, the vehicle identifier ( LP) for the current license plate reading result (LP OCR ) is determined manually. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß in diesen Fällen dem Fahrzeugkennzeichen (LP) in der Datenbank (DB) das aktuelle Kennzeichenleseergebnis (LPOCR) als neues oder zusätzliches Kennzeichenleseergebnis (LPOCR,mem) zugeordnet wird.Method according to Claim 2, characterized in that in these cases the vehicle license plate (LP) in the database (DB) is assigned the current license plate reading result (LP OCR ) as a new or additional license plate reading result (LP OCR, mem ). Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die neue oder zusätzliche Zuordnung nur dann vorgenommen wird, wenn das aktuelle Kennzeichenleseergebnis (LPOCR) eine Mindesthäufigkeit und/oder Mindestqualität erreicht.A method according to claim 3, characterized in that the new or additional assignment is made only when the current license plate reading result (LP OCR ) reaches a minimum frequency and / or minimum quality. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß, wenn der Vergleich des aktuellen Fingerprint (FP) mit dem/den dem Fahrzeugkennzeichen (LP) zugeordneten Referenzfingerprint(s) (FPref) fehlschlägt und der aktuelle Fingerprint (FP) eine bessere Qualität oder mehr Information als der bzw. die gespeicherte (n) Referenzfingerprint(s) (FPref) aufweist, der aktuelle Fingerprint (FP) dem Fahrzeugkennzeichen (LP) als neuer oder zusätzlicher Referenzfingerprint (FPref) zugeordnet wird.Method according to one of Claims 1 to 4, characterized in that when the comparison of the current fingerprint (FP) with the reference fingerprint (s) (FP ref ) assigned to the vehicle identifier (LP) fails and the current fingerprint (FP) fails better quality or more information than the stored (s) reference fingerprint (s) (FP ref ), the current fingerprint (FP) is assigned to the vehicle identifier (LP) as a new or additional reference fingerprint (FP ref ). Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß, wenn zum Fahrzeugkennzeichen (LP) kein Referenzfingerprint gespeichert ist und der aktuelle Fingerprint (FP) Mindestqualitätsanforderungen erfüllt, dieser dem Fahrzeugkennzeichen (LP) als neuer Referenzfingerprint (FPref) zugeordnet wird.Method according to one of Claims 1 to 5, characterized in that if no reference fingerprint is stored for the vehicle identifier (LP) and the current fingerprint (FP) meets minimum quality requirements, this is assigned to the vehicle identifier (LP) as a new reference fingerprint (FP ref ). Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß eine Zuordnung (5) aus der Datenbank (DB) entfernt wird, wenn sie innerhalb eines vorgegebenen Zeitraums nicht benutzt wird.Method according to one of Claims 1 to 6, characterized in that an association (5) is removed from the database (DB) if it is not used within a predetermined period of time. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß das sensorische Erfassen mittels einer Kamera erfolgt, mit der ein Bild (1) des Kennzeichens (LP) und/oder des Fahrzeugs (2) gemacht wird, aus dem Merkmale extrahiert und daraus der Fingerprint (FP) berechnet wird.Method according to one of claims 1 to 7, characterized in that the sensory detection takes place by means of a camera with which an image (1) of the license plate (LP) and / or the vehicle (2) is made, extracted from the features and therefrom the fingerprint (FP) is calculated. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß das sensorische Erfassen mittels Sensoriken wie Lichtschranken, Laserscannern, Induktionsschleifen, Gewichtsfühlern oder Funkkommunikationsmitteln erfolgt, mit denen charakteristische Merkmale des Fahrzeugs (2) erfaßt werden, aus welchen der Fingerprint (FP) berechnet wird.Method according to one of claims 1 to 8, characterized in that the sensory detection by means of sensors such as light barriers, laser scanners, induction loops, weight sensors or radio communication means is carried out with which characteristic features of the vehicle (2) are detected, from which calculates the fingerprint (FP) becomes. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß in der Datenbank (DB) zu jedem Kennzeichenleseergebnis (LPOCR,mem), bevorzugt zu jeder einzelnen Zuordnung desselben zu einem Fahrzeugkennzeichen (LP), Gewichtungen (WT) für einzelne Regionen der zugeordneten Referenzfingerprints (FPref) gespeichert werden, welche beim Ähnlichkeitsvergleichen berücksichtigt werden.Method according to one of claims 1 to 9, characterized in that in the database (DB) for each license plate reading result (LP OCR, mem ), preferably for each individual assignment thereof to a vehicle license plate (LP), weightings (WT) for individual regions of associated reference fingerprints (FP ref ) are stored, which are taken into account in the similarity comparison. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß die Kennzeichenleseergebnisse (LPOCR,mem) in der Datenbank (DB) verschlüsselt gespeichert werden und das aktuelle Kennzeichenleseergebnis (LPOCR) für die Gleichheitssuche des Schritts d) in derselben Art und Weise verschlüsselt wird.Method according to one of Claims 1 to 10, characterized in that the license plate reading results (LP OCR, mem ) are stored encrypted in the database (DB) and the current license plate reading result (LP OCR ) of step d) in the same manner is encrypted. Verfahren nach einem der Ansprüche 1 bis 10 zusätzlich zur Mautkategorisierung des Fahrzeugs, dadurch gekennzeichnet, daß in der Datenbank (DB) jedem Referenzfingerprint (FPref) auch eine Mautkategorie (MK) zugeordnet wird und, wenn dieser Referenzfingerprint (FPref) als ähnlichster Kandidatenfingerprint (FPref,cand) bestimmt wird, dessen zugeordnete Mautkategorie (MK) mit ausgegeben wird.Method according to one of claims 1 to 10 in addition to the toll categorization of the vehicle, characterized in that a toll category (MK) is assigned to each reference fingerprint (FP ref ) in the database (DB) and, if this reference fingerprint (FP ref ) is the most similar candidate fingerprint (FP ref, cand ) is determined whose assigned toll category (MK) is also output. Verfahren zur Mautkategorisierung von Fahrzeugen in Straßenmautsystemen, mit den Schritten: a) Bereitstellen einer Datenbank (DB) zur Zuordnung von Fahrzeugidentifikationen (LP) zu Referenzfingerprints (FPref) und zur Zuordnung von Mautkategorien (MK) zu Referenzfingerprints (FPref), b) Ermitteln einer eindeutigen Fahrzeugidentifikation (LP) eines Fahrzeugs (2), mit voraus- oder nachgehendem c) sensorischem Erfassen von Merkmalen des Fahrzeugs als ein aktueller Fingerprint (FP) des Fahrzeugs (2), d) Ermitteln aller in der Datenbank (DB) der Fahrzeugidentifikation (LP) zugeordneten Referenzfingerprints (FPref) als Kandidatenfingerprints (FPref,cand), e) Ähnlichkeitsvergleichen des aktuellen Fingerprints (FP) mit den Kandidatenfingerprints (FPref,cand), um den ähnlichsten Kandidatenfingerprint (FPref,cand) zu bestimmen, und f) Ausgeben der dem ähnlichsten Kandidatenfingerprint (FPref,cand) zugeordneten Mautkategorie (MK) als Ergebnis der Mautkategorisierung. Method for toll categorization of vehicles in road toll systems, comprising the steps of: a) providing a database (DB) for assigning vehicle identifications (LP) to reference fingerprints (FP ref ) and for assigning toll categories (MK) to reference fingerprints (FP ref ), b) determining a unique vehicle identification (LP) of a vehicle (2), with a preceding or following c) sensory detection of features of the vehicle as a current fingerprint (FP) of the vehicle (2), d) determining all reference fingerprints (FP ref ) assigned in the database (DB) of the vehicle identification (LP) as candidate fingerprints (FP ref, cand ), e) Similarity comparing the current fingerprint (FP) with the candidate fingerprints (FP ref, cand) to ref most similar candidate fingerprint (FP, cand) to be determined and f) outputting the toll category (MK) associated with the most similar candidate fingerprint (FP ref, cand ) as a result of the toll categorization. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß als Fahrzeugidentifikation (LP) das Kennzeichen des Fahrzeugs (2) verwendet wird, welches mittels des Verfahrens nach einem der Ansprüche 1 bis 12 automatisch erkannt wird.Method according to Claim 13, characterized in that the vehicle identification (LP) used is the license plate of the vehicle (2) which is automatically recognized by means of the method according to one of Claims 1 to 12.
EP09450175A 2009-09-18 2009-09-18 Method of licence plate recognition and categorisation of vehicles for toll purposes Active EP2320384B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP09450175A EP2320384B1 (en) 2009-09-18 2009-09-18 Method of licence plate recognition and categorisation of vehicles for toll purposes
SI200930504T SI2320384T1 (en) 2009-09-18 2009-09-18 Method of licence plate recognition and categorisation of vehicles for toll purposes
PL09450175T PL2320384T3 (en) 2009-09-18 2009-09-18 Method of licence plate recognition and categorisation of vehicles for toll purposes
DK09450175.6T DK2320384T3 (en) 2009-09-18 2009-09-18 Procedure for license plate identification and tax categorization of vehicles
PT94501756T PT2320384E (en) 2009-09-18 2009-09-18 Method of licence plate recognition and categorisation of vehicles for toll purposes
ES09450175T ES2401324T3 (en) 2009-09-18 2009-09-18 Procedure for the recognition of registration and categorization of vehicle tolls

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP09450175A EP2320384B1 (en) 2009-09-18 2009-09-18 Method of licence plate recognition and categorisation of vehicles for toll purposes

Publications (2)

Publication Number Publication Date
EP2320384A1 true EP2320384A1 (en) 2011-05-11
EP2320384B1 EP2320384B1 (en) 2012-12-12

Family

ID=41727411

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09450175A Active EP2320384B1 (en) 2009-09-18 2009-09-18 Method of licence plate recognition and categorisation of vehicles for toll purposes

Country Status (6)

Country Link
EP (1) EP2320384B1 (en)
DK (1) DK2320384T3 (en)
ES (1) ES2401324T3 (en)
PL (1) PL2320384T3 (en)
PT (1) PT2320384E (en)
SI (1) SI2320384T1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011053052B3 (en) * 2011-08-26 2013-02-28 Jenoptik Robot Gmbh Method and device for identifying motor vehicles for traffic monitoring
CN104123844A (en) * 2014-08-12 2014-10-29 陈昊 Information processing module for distinguishing true and false (fake) licence plates
DE102014225804A1 (en) 2014-12-15 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Assistance in driving a vehicle
US10235332B2 (en) 2015-04-09 2019-03-19 Veritoll, Llc License plate distributed review systems and methods
EP3869396A1 (en) 2020-02-24 2021-08-25 Toll Collect GmbH Method and system for adjusting a label
CN114694385A (en) * 2020-12-25 2022-07-01 富联精密电子(天津)有限公司 Parking management method, device, system, electronic equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070008179A1 (en) * 2005-06-10 2007-01-11 Accenture Global Services Gmbh Electronic toll management

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070008179A1 (en) * 2005-06-10 2007-01-11 Accenture Global Services Gmbh Electronic toll management

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011053052B3 (en) * 2011-08-26 2013-02-28 Jenoptik Robot Gmbh Method and device for identifying motor vehicles for traffic monitoring
EP2573709A2 (en) 2011-08-26 2013-03-27 JENOPTIK Robot GmbH Method and apparatus for identifying motor vehicles for monitoring traffic
US9177211B2 (en) 2011-08-26 2015-11-03 Jenoptik Robot Gmbh Method and apparatus for identifying motor vehicles for monitoring traffic
CN104123844A (en) * 2014-08-12 2014-10-29 陈昊 Information processing module for distinguishing true and false (fake) licence plates
DE102014225804A1 (en) 2014-12-15 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Assistance in driving a vehicle
US10295360B2 (en) 2014-12-15 2019-05-21 Bayerische Motoren Werke Aktiengesellschaft Assistance when driving a vehicle
US10235332B2 (en) 2015-04-09 2019-03-19 Veritoll, Llc License plate distributed review systems and methods
US10901967B2 (en) 2015-04-09 2021-01-26 Veritoll, Llc License plate matching systems and methods
EP3869396A1 (en) 2020-02-24 2021-08-25 Toll Collect GmbH Method and system for adjusting a label
CN114694385A (en) * 2020-12-25 2022-07-01 富联精密电子(天津)有限公司 Parking management method, device, system, electronic equipment and storage medium
CN114694385B (en) * 2020-12-25 2023-04-28 富联精密电子(天津)有限公司 Parking management method, device, system, electronic equipment and storage medium

Also Published As

Publication number Publication date
PL2320384T3 (en) 2013-05-31
ES2401324T3 (en) 2013-04-18
PT2320384E (en) 2013-03-12
EP2320384B1 (en) 2012-12-12
DK2320384T3 (en) 2013-03-18
SI2320384T1 (en) 2013-03-29

Similar Documents

Publication Publication Date Title
EP2179381B1 (en) Method and apparatus for recognizing traffic signs
DE19982422C1 (en) Road sign recognition device reduces image data to simplified representation by erasing regions containing class-specific attribute data
DE102006012914B4 (en) System and method for determining the distance to a preceding vehicle
EP2483836B1 (en) Method for traffic sign recognition
WO2020083446A1 (en) Method for controlling a parking process
EP2320384B1 (en) Method of licence plate recognition and categorisation of vehicles for toll purposes
DE102012219849A1 (en) Intelligent toll network to improve the performance of vehicle identification systems
DE102011109387A1 (en) Method for detecting traffic signs
DE102013008451A1 (en) Vehicle parking control system and vehicle parking control method using this
DE102017200940A1 (en) Method and device for calculating parking space occupancy
EP3770879A1 (en) Method, device and computer program for processing data about a traffic system
DE102008043756A1 (en) Traffic sign information providing method for e.g. driver assistance system in vehicle, involves storing traffic sign data, assigning stored data to actual position of vehicle, and providing traffic sign information based on assigned data
DE10345948B4 (en) Method for evaluation and temporal stabilization of classification results
DE102009026730A1 (en) Method and control unit for locating a parking space for a vehicle
DE102012018471A1 (en) Method for detecting e.g. lane markings of lane edge for motor car, involves performing classification in image region of individual images, which are detected by cameras, and in another image region of disparity images
DE102019204602A1 (en) Method and device for masking objects contained in an image
DE102018114912A1 (en) Method for classifying a color of a road marking by means of a statistical road marking determination model, electronic computing device and driver assistance system
DE102007021579A1 (en) Traffic sign i.e. circular traffic sign, classifying method, involves classifying object in dependence of classification process and/or classification result, by another different classification process for classification of traffic sign
DE102012012945A1 (en) Method for defacing e.g. face area of driver of violated motor car, in photographic image at traffic monitoring area, involves marking regions that are found by analysis process such that not found regions are defaced
DE102016216528A1 (en) Method and device for determining the location of a vehicle, in particular a rail vehicle
DE102009009904A1 (en) Object i.e. road sign, identifying method, involves adding images and classifiers, which contain stored samples and sequences, as another set of samples, if sequences correspond to another set of sequences
DE102019211102A1 (en) Method, device and computer program for evaluating traffic light information about a traffic light system
DE102013002375A1 (en) Method for calibrating camera of motor car in parking aid, involves detecting reference object in image using camera, and processing image, in order to recognize parameter stored in reference pattern of camera
DE102020134212B3 (en) Method and device for assigning identification information and identification data to a vehicle
DE102017216562A1 (en) Concept for determining occupancy states of parking spaces and for identifying a parked on a parking space motor vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110215

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIN1 Information on inventor provided before grant (corrected)

Inventor name: OEHRENEDER, CHRISTIAN

Inventor name: RAMOSER, HERBERT

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 588639

Country of ref document: AT

Kind code of ref document: T

Effective date: 20121215

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009005652

Country of ref document: DE

Effective date: 20130207

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: PT

Ref legal event code: SC4A

Free format text: AVAILABILITY OF NATIONAL TRANSLATION

Effective date: 20130301

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: BUECHEL, VON REVY AND PARTNER, CH

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: SK

Ref legal event code: T3

Ref document number: E 13401

Country of ref document: SK

REG Reference to a national code

Ref country code: NL

Ref legal event code: T3

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2401324

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20130418

REG Reference to a national code

Ref country code: NO

Ref legal event code: T2

Effective date: 20121212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: PATWIL AG, CH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

REG Reference to a national code

Ref country code: PL

Ref legal event code: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130412

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20130913

REG Reference to a national code

Ref country code: HU

Ref legal event code: AG4A

Ref document number: E017248

Country of ref document: HU

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009005652

Country of ref document: DE

Effective date: 20130913

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130918

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: KAMINSKI HARMANN PATENTANWAELTE AG, CH

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230513

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NO

Payment date: 20230922

Year of fee payment: 15

Ref country code: CZ

Payment date: 20230912

Year of fee payment: 15

Ref country code: AT

Payment date: 20230921

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SK

Payment date: 20230912

Year of fee payment: 15

Ref country code: SI

Payment date: 20230907

Year of fee payment: 15

Ref country code: SE

Payment date: 20230920

Year of fee payment: 15

Ref country code: PL

Payment date: 20230915

Year of fee payment: 15

Ref country code: HU

Payment date: 20230922

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231123

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230927

Year of fee payment: 15

Ref country code: CH

Payment date: 20231001

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240918

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20240923

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240919

Year of fee payment: 16

Ref country code: PT

Payment date: 20240905

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20240918

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240925

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240918

Year of fee payment: 16