DE60030377T2

DE60030377T2 - Kennzeichenschilderkennung mit einer intelligenten Kamera

Info

Publication number: DE60030377T2
Application number: DE60030377T
Authority: DE
Inventors: Claus Monmouth Junction Neubauer; Jenn-kwei Princeton Tyan
Original assignee: Siemens Corporate Research Inc
Current assignee: Siemens Corp
Priority date: 1999-09-15
Filing date: 2000-09-01
Publication date: 2007-09-20
Anticipated expiration: 2020-09-02
Also published as: EP1085455A2; ES2270792T3; EP1085455A3; US6553131B1; ATE338311T1; EP1085455B1; DE60030377D1

Description

Hintergrund
1. Gebiet der Erfindung
Diese Offenbarung betrifft optische Erkennungsverfahren und Systeme und insbesondere eine intelligente Kamera für die Zeichenerkennung.
2. Beschreibung des Stands der Technik
Die meisten Bildverarbeitungssysteme für industrielle Anwendungen und Videoüberwachung beruhen nach wie vor auf einem Personal Computer (PC), einer Bildfangschaltung (Framegrabber) und einer eigenen CCD-Kamera. PC-gestützte Sichtsysteme für die Verkehrsüberwachung sind in der Literatur zum Stand der Technik beschrieben. Im Gegensatz zu PC-gestützten Systemen kommen neuerdings intelligente bzw. smarte Kameras in Mode, weil sie gewisse Vorteile bieten. Sie benötigen sehr wenig Platz, da Prozessor und Sensor in einem Gehäuse untergebracht sind. Sie sind für Anwendungen im Freien robuster und zuverlässiger, sie benötigen weniger Wartung und sie eignen sich besonders für Anwendungen, bei denen die Kosten eine große Rolle spielen. Intelligente Kameras bieten jedoch weniger Rechenleistung, da sie in der Regel eine oder zwei Generationen hinter der aktuellen Prozessorgeneration nachhinken, und sie sind hinsichtlich des Hauptspeichers (z. B. 8 MB) und des Festplattenplatzes (z. B. eine Flashdisk mit 5 MB) eingeschränkt.
Im Prinzip kann die Nummernschilderkennung ähnlich wie die optische Zeichenerkennung (OCR) für die Dokumentenverarbeitung erfolgen. Man kann jedoch vorhandene OCR-Maschinen nicht erfolgreich als Nummernschilderkenner verwenden, da sie nicht in der Lage sind, einen extremen Bereich an Beleuchtungsschwankungen zu verkraften, beispielsweise ungleichmäßige Beleuchtung, Schatten und verschwommene Stellen durch Schmutz, Schrauben, Partikel usw. Zudem sind OCR-Produkte durch ihre Anforderungen an den Speicherplatz und die Verarbeitungsgeschwindigkeit eingeschränkt.
US-5,651,075 offenbart eine automatische Nummernschilderkennung, die eine OCR-Maschine enthält, die ein Bild erfasst, eine Grobsuche und gewisse Bildkorrekturen sowie eine Feinsuche vornimmt. Anschließend segmentiert und klassifiziert sie die Zeichen, bis ein Nummernschild mit einem ausreichend hohen Vertrauenswert gefunden wird.
Zudem stellt "Optical Recognition of Motor Vehicle License Plates" (IEEE Transactions on Vehicular Technology, vol. 44, Nr. 4, November 1995) von Comelli et al. ein Erkennungsverfahren für KFZ-Nummernschilder vor, das aus den folgenden Schritten be steht: Suche der Nummernschildfläche; Bildnormierung (Normierung des Grauwert-Histogramms, Schätzung der Zeichengröße und der Neigung des Nummernschilds, Normierung der vertikalen Auflösung durch Um-Abtastung); Zeichenerkennung durch Kreuzkorrelation mit Zeichen- und Zeichenblock-Prototypen.
Es besteht Bedarf an Vielzweck-Algorithmen für Anwendungen, die über einfache Erkennungs- oder Messaufgaben hinausgehen. Zudem besteht Bedarf an einem System, das Nummernschilder verlässlich erkennt, und zwar für Anwendungsbereiche von der Überwachung bis zu automatischen Systemen zum Ermitteln von Parkgebühren.
Die Erfindung ist in den unabhängigen Ansprüchen bestimmt, die nun eingesehen werden sollten. Vorteilhafte Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
Somit enthält ein Verfahren zur Nummernschilderkennung, in dem eine intelligente Kamera mit einem Prozessor und einem Speicher verwendet wird, gemäß der Erfindung das Erfassen eines Bilds, das ein Nummernschild enthält, mit der intelligenten Kamera, und das Feststellen eines Bereichs, in dem sich das Nummernschild befindet, durch eine Grobsuche im Bild. Die Orientierung, die Position und die Beleuchtungsbedingungen des Bilds werden erkannt und beachtet, damit man ein Grundbild des Nummernschilds erhält. Eine Feinsuche im Grundbild erfolgt, damit man eine genauere Wiedergabe der vertikalen Auflösung des Nummernschild-Grundbilds erhält. Die im Grundbild dargestellten Zeichen werden durch eine Projektion entlang der horizontalen Achse des Grundbilds abgetrennt, damit man die Positionen der Zeichen feststellen kann. Die Zeichen werden anhand eines statistischen Klassifizierers eingestuft, um einen Vertrauenswert für die Wahrscheinlichkeit zu erhalten, dass jedes Zeichen richtig erkannt wird. Die obigen Schritte zur Zeichenerkennung erfolgen rekursiv, bis jeder Vertrauenswert einen Grenzwert überschreitet.
Der Schritt des Erfassens der Orientierung, der Position und der Beleuchtungsbedingungen des Bilds, damit man der Orientierung, der Position und den Beleuchtungsbedingungen des Bilds Rechnung tragen kann und ein Grundbild des Nummernschilds erhält, umfasst den Schritt des Vergleichens jedes Zeichens im Bild des Nummernschilds mit Beispielbildern mit unterschiedlichen Beleuchtungen, damit man die Beleuchtungseffekte im Bild berücksichtigen kann.
In bevorzugten Ausführungsformen kann der Schritt des Erkennens eines Be reichs, in dem sich das Nummernschild befindet, durch das Ausführen einer Grobsuche im Bild die Schritte enthalten: Unterabtasten des Bilds, damit die Pixelanzahl verringert wird; Entnehmen von vertikalen Kanten im Bild; Erzeugen einer Zusammenstellung herausragender Stellen abhängig von den vertikalen Kanten, um Bereiche im Bild zu erkennen, bei denen es wahrscheinlich ist, dass sie das Nummernschild enthalten; und Entnehmen eines Suchergebnisses, das das Bild des Nummernschilds enthält.
Der Schritt des Abtrennens der Zeichen, die in dem Grundbild dargestellt sind, durch das Verwenden einer Projektion entlang einer horizontalen Achse des Grundbilds, damit die Positionen der Zeichen erkannt werden, kann die Schritte enthalten: Bereitstellen eines Projektionsprofils von Pixelintensitäten auf vertikalen Pixellinien im Grundbild; Filtern des Projektionsprofils; und Erkennen von Zeichenorten im Grundbild, die durch eine Fläche unter einem Grenzwert im gefilterten Projektionsprofil bezeichnet werden.
Der statistische Klassifizierer kann ein Faltungsnetz verwenden, und der Schritt des Klassifizierens der Zeichen anhand eines statistischen Klassifizierers, damit man einen Vertrauenswert für die Wahrscheinlichkeit erhält, mit der jedes Zeichen korrekt erkannt wird, kann den Schritt des Trainierens des Klassifizierers durch das Verwenden virtueller Abtastungen von Zeichen enthalten. Das Verfahren kann den Schritt des Vergleichens von Zeichenblöcken und Zeichen mit vorbestimmten Nummernschildcodes und Konventionen enthalten, damit die Genauigkeit der Erkennung überprüft wird. Der Schritt des rekursiven Ausführens der Verfahrensschritte bis jeder Vertrauenswert einen Grenzwert überschreitet, kann den Schritt des gemeinsamen Betrachtens benachbarter Zeichen umfassen, um zu versuchen, den Vertrauenswert zu verbessern. Die obigen Verfahrensschritte können durch eine Programmspeichervorrichtung implementiert werden, die maschinenlesbar ist und greifbar ein Programm aus Befehlen verwirklicht, die die Maschine abarbeiten kann, damit sie die Verfahrensschritte ausführt.
Ein intelligentes Kamerasystem zum Erkennen von Nummernschildern umfasst gemäß der Erfindung eine Kamera, die so beschaffen ist, dass sie unabhängig ein Nummernschildbild aufnimmt und das Nummernschildbild erkennt. Die Kamera enthält einen Prozessor, der die Bilddaten verwaltet und eine Programmeinrichtung zur Nummernschilderkennung ausführt. Die Programmeinrichtung zur Nummernschilderkennung enthält Mittel zum Feststellen der Orientierung, der Position, der Beleuchtungsbedingungen und der Unschärfe des Bilds, und zum Einbeziehen der Orientierungen, Position, Beleuchtungsbedingungen und der Unschärfe des Bilds, damit man ein Grundbild des Nummernschilds erhält. Die Kamera enthält Mittel zum Trennen der Zeichen, die in dem Grundbild darge stellt sind, und zwar durch das Verwenden einer Projektion entlang einer horizontalen Achse des Grundbilds, damit die Positionen der Zeichen erkannt werden. Ein statistischer Klassifizierer ist dafür ausgelegt, die Zeichen anhand eines Vertrauenswerts zu erkennen und zu klassifizieren, wobei der Vertrauenswert auf der Wahrscheinlichkeit beruht, dass jedes Zeichen korrekt erkannt wird. Ein Speicher ist enthalten, in dem das Nummernschild-Erkennungsprogramm abgelegt ist sowie das Nummernschildbild, das eine Bilderfassungseinrichtung der Kamera aufgenommen hat. Die Erkennungsvorrichtung enthält Beispielbilder mit unterschiedlichen Beleuchtungen, damit man den Beleuchtungseffekten im Bild für jedes Zeichen im Bild Rechnung tragen kann.
In bevorzugten Ausführungsformen kann eine Auslösevorrichtung dafür ausgelegt sein, dass sie die Aufnahme eines Bilds abhängig von einem Ereignis veranlasst. Das Ereignis kann die Annäherung eines Fahrzeugs enthalten. Die Abtrennvorrichtung kann umfassen: Mittel zum Bereitstellen eines Projektionsprofils von Pixelintensitäten auf vertikalen Pixellinien im Grundbild; ein Filterprofil zum Filtern des Projektionsprofils; und Mittel zum Erkennen der Orte von Zeichen im Grundbild, die durch eine Fläche unter einem Grenzwert im gefilterten Projektionsprofil bezeichnet werden. Der statistische Klassifizierer kann entweder ein Faltungsnetz oder ein vollständig verbundenes Mehrschicht-Perzeptron enthalten. Der Speicher kann eine Datenbank für vorbestimmte Nummernschildcodes und Konventionen enthalten, mit denen die Genauigkeit der Erkennung geprüft wird. Das intelligente Kamerasystem kann ein Parkplatz-Kontrollsystem enthalten, das mit dem intelligenten Kamerasystem verbunden ist, damit Parkgebühren anhand der Zeichenerkennung von Nummernschildern ermittelt werden.
Diese und weitere Aufgaben, Merkmale und Vorteile der Erfindung gehen aus der folgenden ausführlichen Beschreibung erklärender Ausführungsformen der Erfindung hervor, die zusammen mit den beiliegenden Zeichnungen betrachtet werden sollte.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Diese Offenlegung stellt anhand der folgenden Abbildungen eine ausführliche Beschreibung bevorzugter Ausführungsformen vor.
Es zeigt:
1 ein Fluss- bzw. Blockdiagramm, das ein System bzw. ein Verfahren zum Verwenden einer intelligenten Kamera zur Nummernschilderkennung gemäß der Erfindung darstellt;
2A ein Bild eines Nummernschilds;
2B–2D Trennschritte zum Abtrennen der Zeichen des Nummernschildbilds in 2A gemäß der Erfindung;
3 erläuternde Beispiele von virtuellen Abtastungen, die gemäß der Erfindung verwendet werden können;
4 eine Skizze eines Faltungsnetzes, das in der Erfindung verwendet werden kann;
5 ein Blockdiagramm einer intelligenten Kamera der Erfindung; und
6 ein Nummernschild in unterschiedlichen Stadien der Verarbeitung gemäß der Erfindung.
AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Die Erfindung zielt auf ein robustes und intelligentes Zeichenerkennungssystem und -verfahren ab, mit denen man Zeichen unter verschiedenen Bedingungen erkennen kann, beispielsweise unter verschiedenen Beleuchtungsbedingungen, unter verschiedenen Winkeln usw. In einer besonders nützlichen Ausführungsform wird die Erfindung zur Nummernschilderkennung eingesetzt.
Ein robustes Fahrzeug-Erkennungssystem zum Überwachen von Parkplatzzufahrten wird bereitgestellt, das völlig eigenständig auf einer kostengünstigen intelligenten Kamera läuft. Zum Erfüllen der Genauigkeits- und Geschwindigkeitsanforderungen werden hierarchische Klassifizierer und Grob- und Feinsuchverfahren in jeder Erkennungsstufe für das Suchen, Abtrennen und Klassifizieren eingesetzt.
Die Erfindung liefert eine wirksame hierarchische Zerlegung einer Erkennungsaufgabe, wobei Grobsegmentierungs- und Klassifizierungsverfahren eingesetzt werden. Zweifelhafte Muster können an fortgeschrittenere Verfahren weitergereicht werden, damit man eine gewünschte Erkennungszeit erreicht (beispielsweise 2–3 Sekunden auf einem 486/100 MHz-Prozessor von Intel^TM). Liegen mehrere Segmentierungshypothesen vor, so ist die zuverlässige Erkennung oder Zurückweisung von abgetrennten Zeichen ein wichtiger Aspekt für die Leistungsfähigkeit. Die Zeichenerkennungsaufgabe wird bevorzugt durch den Einsatz eines Faltungsnetzes ausgeführt.
Natürlich kann man die in 1, 5 und 6 wiedergegebenen Elemente mit unterschiedlichen Formen von Hardware, Software oder Kombinationen aus beiden implementieren. Bevorzugt werden diese Elemente in Software auf einer oder mehreren geeignet programmierten Allzweck-Digitalverarbeitungseinheiten programmiert, die einen Prozessor, Speicher und Ein/Ausgabe-Schnittstellen aufweisen. Es wird nun im Einzelnen auf die Zeichnungen eingegangen, in denen gleiche Bezugszeichen ähnliche oder identische Elemente innerhalb der Abbildungen bezeichnen. Zunächst sei anhand von 1 ein Flussdiagramm eines Nummernschild-Erkennungsverfahrens betrachtet, das der Erläuterung dient. Im Block 10 beruht die Zeichenerkennung in einem Beispiel auf der vorder- oder rückseitigen Ansicht des Fahrzeugs, damit man ein Bild eines Nummernschilds erhält. Das Fahrzeug kann beispielsweise vor einem Tor angehalten werden. Ein induktiver Sensor kann dazu verwendet werden, die Bilderfassung von außen auszulösen. In einer bevorzugten Ausführungsform steht die Kamera an einer festen Position, so dass die Ausrichtung der Nummernschilder ungefähr konstant ist. Die Größe und die Position der Nummernschilder kann sich jedoch abhängig von der Position und dem Typ des Fahrzeugs geringfügig ändern. Die Kamera kann das sich nähernde Fahrzeug auch selbst erfassen, und man kann den externen Sensorauslöser weglassen.
Im Block 12 erfolgt eine Grobsuche bevorzugt anhand einer Untersuchung mit verschiedenen Auflösungen. Unterschiedliche Auflösungen des Bilds werden geprüft, um die Erkennung von Symbolen oder Zeichen auf dem Nummernschild zu unterstützen. Eine Grobsuche präzisiert das Nummernschildbild im erfassten Bild. Dies erfolgt durch das Unterabtasten des Bilds, siehe Block 14, um die Pixelanzahl im Bild zu verringern (d. h., um die Komplexität der Berechnung zu verringern). Im Block 16 werden vertikale Kanten berechnet (da vertikale Kanten in Nummernschilder vorherrschen; man kann jedoch auch horizontale Kanten berechnen). Die Berechnung vertikaler Kanten ermittelt vertikal angeordnete Pixelgruppen. Im Block 18 wird eine Zusammenstellung herausragender Stellen erzeugt. Eine Zusammenstellung herausragender Stellen verbindet vertikale Kanten, damit man Intensitätsbereiche im Bild erhält. Die höchsten Spitzenwerte in den Intensitätsbereichen weisen die höchste Wahrscheinlichkeit auf, dass es sich um das Nummernschild handelt. Sie werden für die weitere Verarbeitung ausgewählt. Im Block 20 verfeinert die Erfindung das Bild des Nummernschilds und liefert damit die Grobsuche.
Im Block 22 wird die Neigung erfasst und der interessierende Bereich wird verfei nert. Dabei wird auf Beleuchtungseffekte, Positionen (Entfernungen vom Nummernschild, linke und rechte Grenzen) Drehungen, Unschärfen und weitere Effekte eingegangen. Vergleiche mit normierten Korrelationsmodellen oder Schablonen werden vorgenommen, um ähnliche Beleuchtungen, Entfernungen usw. aufzufinden, mit denen man versucht, die Auswirkungen auf das Bild zu mindern. Dies verleiht dem System in vorteilhafter Weise ein robustes Verhalten, das man mit OCR-Algorithmen nicht erzielt.
Im Block 24 erfolgt eine Feinsuche anhand von lokalen Kanten und Bereichsmerkmalen, d. h. eine vertikale Feinsuche nach Nummernschildern. Nach der erfolgreichen Suche werden im Block 26 mit einem Algorithmus mehrere Abtrennhypothesen erstellt, die auf nichtlinearen Projektionen auf das Grundbild beruhen. Die nichtlinearen Projektionen werden im Block 28 in einem Profil verwendet (siehe 2B) und im Block 30 gefiltert (siehe 2C). Dadurch werden im Block 32 die linke und rechte Grenze eines jeden Zeichens ermittelt (siehe 2D). Im Block 34 wird im Erkennungssystem bevorzugt ein Faltungsklassifizierer als neuronales Netz oder ein anderer statistischer Klassifizierer verwendet, der die Zeichen erkennt und einen Vertrauenswert für jedes Zeichen zurückliefert. Abhängig von dem Vertrauensmaß wird die Abtrennhypothese mit dem größten Gesamtvertrauen akzeptiert. Nach der Bildanalyse wird im Block 36 eine Tabelle mit Regeln angewendet, beispielsweise gültige Stadtkennungen und länderspezifische Regeln, um Zeichenketten zu prüfen, zu korrigieren oder zurückzuweisen. Deutsche Nummernschilder enthalten beispielsweise zwei Blöcke mit Buchstaben gefolgt von einem Block, der nur Ziffern enthält. Die Gesamtzahl der Zeichen darf acht Zeichen nicht überschreiten. Diese Regeln können die Such- und Verbesserungsvorgänge stark einschränken.
Die Suche nach den Nummernschildern
Im Block 12 beruht die Suche nach dem Nummernschild bevorzugt auf Analysen mit unterschiedlichen Auflösungen. Die Grobsuche beruht darauf, dass ein Nummernschild (Text) verglichen mit den restlichen Teilen eines Autos und seiner Umgebung in einem Bild eine große Menge vertikaler Kanten enthält. Mit einer verringerten Auflösung werden vertikale Kanten berechnet und es wird eine Zusammenstellung herausragender Stellen erzeugt. Pixel mit hoher Intensität in der Zusammenstellung herausragender Stellen entsprechen Positionen, für die es wahrscheinlich ist, dass sie in dem Nummernschild enthalten sind. Der höchste Spitzenwert in der Zusammenstellung herausragender Stellen entspricht dem Nummernschild. In seltenen Fällen können andere Spitzenwerte auftreten. In diesem Fall wird eine Kandidatenliste mit möglichen Orten nach der Intensität der vertikalen Kante als Merkmal geordnet und so lange berechnet und bewertet, bis man ein ver nünftiges Ergebnis findet. Dieses Verfahren bietet eine robuste Vorgehensweise zum Auffinden des Nummernschilds bei Bildern mit unterschiedlichen Größen und Ausrichtungen, die durch verschiedene Entfernungen, Positionen und Typen des Nummernschilds oder Fahrzeugs entstehen. Man kann für die Grobsuche auch horizontale Kanten oder andere lokale Merkmale verwenden. Positions- und Größenschwankungen und geringfügige Drehungen berücksichtigt das System im Block 22.
Im Block 24 erfolgt nach der Grobsuche eine Feinsuche. Die Ausrichtung des Nummernschilds wird exakt bestimmt und korrigiert. Die linke und rechte Grenze des Nummernschilds werden erfasst. Die Höhe und die Position des Nummernschilds im Bild werden ermittelt, damit man einen interessierenden Bereich genauer finden kann. Diese Verfeinerung beruht wiederum auf dem Merkmal der vertikalen Kanten des Originalbilds (nicht eines unterabgetasteten Bilds), damit man eine höhere Genauigkeit erhält. Nach dem Ermitteln von Position, Ausrichtung und Größe des Nummernschilds wird der interessierende Bereich mit einer vorbestimmten vertikalen Auflösung (z. B. 20 Pixel) neu abgetastet. Diese Auflösung wird für die nachfolgenden Schritte beibehalten, um den Berechnungsaufwand zu verringern. Eine genaue Positionierung und Größennormierung in der vertikalen Richtung verbessern die Genauigkeit der Trennung und Klassifizierung.
Die Segmentierung der Zeichenkette
Ausgehend von der Position und Größe des erkannten Nummernschilds wird der interessierende Bereich entnommen und neu abgetastet, damit die vertikale Auflösung ungefähr 20 Pixel für die Zeichenhöhe beträgt. Dieser Wert kann abhängig von der Anwendung eingestellt werden. Die Auflösung von 20 Pixel für die Zeichenhöhe hat sich als ausreichend für die nachfolgende Trennung und Erkennung erwiesen, siehe die folgende Beschreibung.
Im Gegensatz zu US-Nummernschildern haben die Zeichen auf deutschen Nummernschildern keinen gleichen Abstand, und die Zeichenbreite schwankt stark. Zudem werden zwei unterschiedliche Schriftarten und Anordnungen verwendet. Fortgeschrittenere Segmentierungsalgorithmen, etwa das Hidden Markov Model, die auch erfolgreich für die Handschrifterkennung oder Spracherkennung eingesetzt werden, weisen vielleicht ein günstigeres Verhalten auf. In diesem Fall wird jedoch eine einfache Trennung anhand von Projektionen auf die Grundlinie vorteilhaft eingesetzt, um die Ausführungszeit so gering wie möglich zu halten.
Anhand von 2A–2D werden die Trennschritte für den Block 26 in 1 für ein Nummernschild 100 in 2A erläuternd dargestellt. Gestützt auf einen zentralen Teil des Bereichs, der die Zeichen in 2A enthält, wird in 2B ein Profil oder eine Projektion von rechts nach links entlang des Bilds erzeugt, die auf einem dunkelsten Pixel in jeder Spalte (in der y-Richtung) beruht. 2B zeigt eine Kurve der Pixelintensität (x-Achse) abhängig von der Spaltennummer (y-Achse). Ein tiefpassgefiltertes Profil, beispielsweise das in 2C abgebildete Profil, wird vom Profil in 2B subtrahiert; man erhält das Profil in 2D. In 2D enthalten die Bereiche oder Regionen unterhalb eines Grenzwerts (z. B. 1,00) jeweils ein Zeichen.
Sich berührende Zeichen, die durch Schmutzteilchen erzeugt werden, verschwommene Bilder und Schatten, die das Nummernschild teilweise bedecken, können bei einer projektionsgestützten Segmentierung Probleme bereiten. Die Spitze zwischen Zeichen kann dabei sehr klein ausfallen. Daher wird die Trennung bevorzugt parametrisiert, damit sie für Abstände empfindlich wird. Die Segmentierung erkennt auch zahlreiche fälschlicherweise positive Abstände. Erkennt die Klassifizierung der abgetrennten Zeichen die Zeichen nicht mit einem hohen Vertrauenswert, so kann man einen leistungsfähigeren erkennungsgestützten Segmentieralgorithmus anwenden, der im gemeinsam abgetretenen US-Patent US-6,473,517, mit dem Titel "CHARACTER SEGMENTATION METHOD FOR VEHICLE LICENSE PLATE RECOGNITION" beschrieben ist, das gleichzeitig mit diesem Patent eingereicht wurde.
Die Erkennung der Zeichen
Da dem Segmentiervorgang selbst eine Mehrdeutigkeit innewohnt, muss man ihn eng mit der Zeichenerkennung koppeln. Die Segmentierung liefert Orte, die wahrscheinlich Zeichen enthalten. Damit hängt der Gesamtablauf stark von der Leistung des Zeichenklassifizierers und seiner Fähigkeit ab, gültige Zeichen zu erkennen und ungültige Zeichen zurückzuweisen, die durch eine fehlerhaft positive Trennung entstehen, wie dies im Block 26 in 1 erfolgt. Die Erfinder haben einige Untersuchungen angestellt, um die bestmöglichen Klassifizierer für dieses Problem zu wählen. In einem Versuch wurden ein vollständig verbundenes Mehrschicht-Perzeptron und Faltungsnetze verwendet. Versuche zeigen die Überlegenheit von Faltungsnetzen verglichen mit dem vollständig verbundenen Mehrschicht-Perzeptron. Man kann jedoch jedes der beiden Verfahren und auch gleichwertige Verfahren einsetzen.
Für das Erkennen von deutschen Nummernschildern müssen 40 Klassen erkannt werden (10 Ziffern, 26 reguläre Zeichen, drei deutsche Sonderzeichen, nämlich ae, ue, oe, und die Anmeldeplakette, die zwischen dem ersten und zweiten Textfeld erscheint). Zudem wurden Negativbeispiele zum Trainieren verwendet, die durch unkorrekte Trenn- und Suchvorgänge verursacht wurden. Alle Neuronen in einer Ausgabeschicht des Faltungsnetzes sollten mit der Aktivierung null auf ein negatives Eingabemuster reagieren. Negative Muster sind besonders wichtig für das Stärken der Zurückweisungsfähigkeit bei fehlerhafter Segmentierung. Durch das Erhöhen der Anzahl negativer Proben verglichen mit der Anzahl gültiger Zeichen wird der Klassifizierer hin zu einer hohen Zurückweisegenauigkeit gezogen, und es wird nicht seine gesamte Leistungsfähigkeit für die Klassentrennung verwendet.
Zusätzlich zu negativen Proben verbessern virtuelle Proben (VS, VS = Virtual Sample) oder Schablonen die Allgemeinheit des Klassifizierers während des Trainings, wenn die Trainingsmenge einen begrenzten Umfang hat. Virtuelle Proben werden aus den Originalbildern durch einige affine Transformationen erzeugt. Im Einzelnen kann man die Größe, Ausrichtung und horizontale und vertikale Position der Zeichen zwischen den Trainingszyklen innerhalb eines vernünftigen Bereichs (+/–2 Pixel Verschiebung und +/–2 Prozent Skalierung, Drehung < ungefähr 3 Grad) zufällig verändern sowie während des Trainings Rauschen zufügen. Mit virtuellen Proben wird der Klassifizierer robuster bezüglich der Segmentierungs- und Suchtoleranzen. Beispiele für virtuelle Proben sind in 3. erläutert.
Da die Segmentierung fälschlicherweise positive Abstände enthalten kann, werden alle Kombinationen von Zeichenpositionen betrachtet, die hinsichtlich einer gegebenen Minimal- bzw. Maximalbreite der Zeichen möglich sind. Das neuronale Netz bewertet die Teilbilder, die zu diesen mehrfachen Hypothesen gehören. Das Ergebnis der Klassifizierung durch das neuronale Netz ist eine a posteriori Wahrscheinlichkeit einer Klasse bei gegebener Beobachtung (siehe C. Bishop, Neural Networks for Pattern Recognition, Oxford Univ. Press, 1995). Man kann diese Wahrscheinlichkeit zum Auswählen der wahrscheinlichsten Zeichenkombination verwenden.
Vor der Klassifizierung wird jedes Teilbild bezüglich der Helligkeit und des Kontrasts normiert. Das Teilbild hat bevorzugt eine feste Größe, beispielsweise 16×20 Pixel, wodurch breite Zeichen wie W auch noch in das Fenster passen. Sehr schmale Zeichen wie "I" oder "1" können Probleme verursachen, da sich benachbarte Zeichen teilweise mit ihrem Fenster überlappen. Daher wird die durch die Abtrennung ermittelte Zeichenbreite dazu verwendet, den linken und rechten Bereich neben dem Zeichen zu verwerfen; diese Pixel werden auf einen gleichförmigen Hintergrund-Grauwert gesetzt.
Das vollständig verbundene Mehrschicht-Perzeptron
Ein dreischichtiges Perzeptron (MLP) kann für das Klassifizieren von Zeichen und das Training eingesetzt werden, indem man eine Rückwärts-Fehlerkorrektur (Back Propagation) ausführt. Die Anzahl der verborgenen Neuronen wird von Hand für eine bestmögliche Verallgemeinerung verändert. Es hat sich erwiesen, dass ungefähr 100 verborgene Neuronen zu bevorzugen sind.
Das neuronale Faltungsnetz, das auf lokalen Verbindungen beruht
In 4 ist die Topologie eines Faltungsnetzes dargestellt. Ein Eingabebild 200 wird angeboten. Eine erste Schicht enthält vier Ebenen 201 mit beispielsweise 16×20 Pixel. Vier Faltungskerne 202 mit einer Fenstergröße von beispielsweise 3×3 Pixel werden angewendet, so dass man vier Kantenrichtungen extrahiert (die Diagonalen, vertikale und horizontale Kanten). Eine Unterabtastung erfolgt, um die Ebenen 201 um beispielsweise einen Faktor zwei auf 8×10 Pixel zu verkleinern. Zudem erfolgt eine Pixelmittelung, und man erhält die Ebenen 203. Nach der Faltung und der Unterabtastung folgen zwei vollständig verbundene Schichten 204 und 205 mit beispielsweise 100 bzw. 40 Neuronen.
Bei der Anwendung des Faltungsnetzes auf die Klassifizierung von Zeichen werden Pixel des Eingabebilds, d. h. ein segmentiertes Zeichen, in vier Richtungen extrahiert (die Diagonalen, vertikale und horizontale Richtung) die am wahrscheinlichsten sind. Jede Extraktion wird unterabgetastet, damit ihre Größe abnimmt. Vergleiche zum Entziffern der Zeichen werden vorgenommen, und die besten Zeichen (Zeichen mit dem höchsten Vertrauenswert) werden von den Neuronen ausgegeben (z. B. 40 Neuronen für deutsche Nummernschilder).
Das Trainieren dieses Netzes (Bestimmen der Gewichte der verborgenen Neuronen und der Ausgabeneuronen) erfolgt durch Rückwärts-Fehlerkorrektur und virtuelle Proben, die in ähnlicher Weise verwendet werden wie beim Trainieren des MLP. Virtuelle Proben verbessern die Genauigkeit des Systems vorteilhaft. (Siehe 3).
Ergebnisse
Zum Prüfen der Gesamterkennungsleistung wurden 900 Nummernschilder gemäß der Erfindung bearbeitet. Man erhielt eine Gesamterkennungsrate von 96 Prozent für die Verfahren der Erfindung, siehe Tabelle 1.
Tabelle 1
Die intelligente Kamera der Erfindung erzielte auf dem dafür vorgesehenen System eine mittlere Verarbeitungszeit von 2,5 Sekunden. In diesem Fall kann die tatsächliche Zeit abhängig von der Bildqualität und dem Erscheinungsbild des Nummernschilds zwischen ungefähr 2 und ungefähr 4 Sekunden schwanken. Weitere Verbesserungen der Bearbeitungszeit werden jedoch in Betracht gezogen. Für schlechte Bilder werden mehr fälschlich positive Segmentierungshypothesen erzeugt, die der Klassifizierer bewerten muss. In einer Ausführungsform verbraucht die Suche ungefähr vierzig Prozent der Ausführungszeit, und die Abtrennung und Erkennung verbrauchen ungefähr sechzig Prozent der Ausführungszeit.
5 zeigt ein intelligentes Kamerasystem 301 gemäß der Erfindung. In einer Ausführungsform kann man die Verfahren der Erfindung auf einem PC entwickeln und optimieren. Die Verfahren können in eine intelligente Kamera 300 geladen werden, d. h. in eine Kamera, die ein Programm speichern und abarbeiten kann. Die Kamera 300 enthält einen Speicher 302 und einen oder mehrere Prozessoren 303, die die Programmschritte ausführen. Der Speicher 302 speichert bevorzugt ein aktuelles Bild eines Nummernschilds und die Teilbilder des Nummernschilds. Im Speicher 302 können auch Regeln bzw. Codes für das Nummernschild (z. B. Städtekennungen) gespeichert sein sowie trainierte Gewichte des beschriebenen neuronalen Netzes. Größere Speicher können mehrere Bilder von Nummernschildern und auch andere Daten enthalten. In einer Ausführungsform enthält die intelligente Kamera 300 eine Kamera VS 710 von Siemens. In der Siemens-Kamera VS 710 wird ein INTEL-Prozessor eingesetzt (486/100 MHz, 8 MB RAM, 4 MB Flashdisk seriell und Profi-Bus-Schnittstelle). Eine Schnittstelle 306 kann für die Arbeit mit einem externen System 304 eingerichtet sein. Das externe System 304 kann ein Parkplatz-Überwachungssystem umfassen, das die Gebührentabellen, die Ein- und Ausfahrt zeiten usw. für ein gegebenes Fahrzeug usw. enthält. Die Kamera 300 ist bevorzugt zu einem PC kompatibel, damit man Nummernschild-Erkennungsverfahren herunterladen und die Kamera 300 die Verfahren ausführen kann. Damit kann die PC-Software, die beispielsweise in C/C++ geschrieben ist, auf der Kamera ohne größere Anpassungen eingesetzt werden. Routinen für die Bilderfassung und die Kommunikation mit dem Kontrollsystem müssen möglicherweise dazu geladen werden. Die Kamera 300 kann einen Sensor 308 enthalten, der die Bilderfassung über eine Linse 310 auslöst, wenn eine Bedingung erfasst wird. Nähert sich beispielsweise ein Fahrzeug einem Parkplatztor, so wird ein Bild des Fahrzeugnummernschilds aufgenommen. Das Nummernschildbild wird mit den angegebenen Verfahren der Erfindung (1) erfasst. Der Speicher 302 kann die Nummernschildinformation sowie weitere Information speichern, beispielsweise die Einfahrt- und Ausfahrtzeit usw. Die Kamera 300 kann vorteilhaft entfernt auf einem Parkplatz oder an einem anderen Ort aufgestellt werden, ohne dass ein umfangreiches Verarbeitungssystem (ein PC usw.) erforderlich ist. Gemäß der Erfindung wird ein automatisiertes Nummernschild-Erkennungssystem mit hoher Erkennungsgenauigkeit bereitgestellt, das eine robuste und kostengünstige intelligente Kamera enthält.
Mit einer intelligenten Kamera, die einen leistungsfähigeren Prozessor enthält, kann man eine Bewegungsanalyse dazu verwenden, den Anwendungsbereich auf fahrende Fahrzeuge und verschiedene Überwachungsaufgaben im Freien auszudehnen. Die Kamera 300 enthält eine Nummernschilderkennungs-Programmvorrichtung 312, die bevorzugt in Software implementiert wird. Die Nummernschilderkennungs-Programmvorrichtung 312 erfasst die Ausrichtung, Position, Beleuchtungsbedingungen und Unschärfen des Bilds und berücksichtigt diese Effekte im Bild beim Gewinnen eines Grundbilds des Nummernschilds. Die Nummernschilderkennungs-Programmvorrichtung 312 liefert eine Segmentierung der im Grundbild enthaltenen Zeichen, indem sie eine Projektion entlang einer horizontalen Achse des Grundbilds dazu verwendet, die Positionen der Zeichen zu erkennen. Ein statistischer Klassifizierer 314 ist enthalten und an das Klassifizieren der Zeichen anhand eines Vertrauenswerts angepasst, der die Wahrscheinlichkeit angibt, mit der jedes Zeichen korrekt erkannt wird, um die Zeichen zu erkennen.
Anhand von 6 wird für ein gegebenes Nummernschild ein aussagekräftiges Verfahren vorgestellt. Der Block 400 zeigt ein Nummernschild nach der Grobsuche. Im Block 402 werden die erkannte Neigung und die Beleuchtungseffekte berücksichtigt und das Bild weiter verfeinert. Im Block 404 erfolgt eine vertikale Feinsuche, damit die Anzahl der Pixel verringert wird und eine Einschränkung nur auf das Nummernschild erfolgt. Im Block 406 werden die Zeichen abgetrennt. Im Block 408 werden die Zeichen klassifiziert. Sind die Einzelzeichen einmal entnommen, so wird jedes Teilbild für sich bezüglich der Beleuchtung normiert, bevor es der Klassifizierer bewertet. Damit bezieht man unterschiedliche Beleuchtungen bzw. Schattenwürfe innerhalb des Nummernschilds ein. im Block 410 wird ein Vertrauenswert berechnet. Liegt der Vertrauenswert für ein gegebenes Zeichen unter einem Grenzwert, so erfolgt eine erneute Trennung (Block 406). Benachbarte Zeichen können kombiniert werden, damit man einen besseren Vertrauenswert erhält. Andernfalls kehrt der Ablauf zum Block 400 zurück. Man kann diese Schritte iterativ ausführen, bis man einen besseren Vertrauenswert erhält.
Es wurden bevorzugte Ausführungsformen (die der Erläuterung dienen sollen und nicht der Einschränkung) der Nummernschilderkennung mit einer intelligenten Kamera beschrieben. Man beachte, dass Fachleute mit Hilfe der obigen Lehren Abwandlungen und Veränderungen vornehmen können. Man kann damit an den besonderen offenbarten Ausführungsformen der Erfindung Veränderungen vornehmen, die im Bereich der Erfindung liegen, der in den beiliegenden Ansprüchen beschrieben ist. Damit ist die Erfindung mit den Einzelheiten beschrieben, die insbesondere von den Patentgesetzen gefordert werden. Der beanspruchte Schutzumfang, der durch das Patent geschützt werden soll, ist in den beigefügten Ansprüchen angegeben.

Claims

Verfahren zum Erkennen von Nummernschildern, bei dem eine intelligente Kamera verwendet wird, die einen Prozessor und einen Speicher aufweist, umfassend die Schritte: Erfassen eines Bilds (10), das ein Nummernschild enthält, mit der Kamera; Erkennen eines Bereichs, in dem sich das Nummernschild befindet, durch eine Grobsuche (12) innerhalb des Bilds; Erkennen der Orientierung, der Position und der Beleuchtungsbedingungen des Bilds und das Einbeziehen der Orientierungen, der Position und der Beleuchtungsbedingungen des Bilds (20), damit man ein Grundbild des Nummernschilds erhält; Durchführen einer Feinsuche (24) und eines erneuten Abtastvorgangs, damit man eine genauere Darstellung der vertikalen Auflösung des Grundbilds des Nummernschilds erhält; Abtrennen der Zeichen (26), die in dem Grundbild dargestellt sind, durch das Verwenden einer Projektion (28) entlang einer horizontalen Achse des Grundbilds, damit die Positionen der Zeichen erkannt werden; Klassifizieren der Zeichen (34) anhand eines statistischen Klassifizierers, damit man einen Vertrauenswert für die Wahrscheinlichkeit erhält, dass jedes Zeichen korrekt erkannt wird; und rekursives Ausführen der Verfahrensschritte des Trennens der Zeichen (26) und der folgenden Verfahrensschritte des Verfahrens, bis jeder Vertrauenswert einen Grenzwert überschreitet, damit die Zeichen erkannt werden, wobei nach dem Schritt des Trennens der Zeichen (26) und vor dem Schritt des Klassifizierens der Zeichen (34) der Schritt des Vergleichens eines jeden Zeichens des Nummernschildbilds mit Beispielbildern mit unterschiedlichen Beleuchtungen erfolgt, damit den Beleuchtungseffekten im Bild Rechnung getragen wird.
Verfahren nach Anspruch 1, wobei der Schritt des Erkennens eines Bereichs, in dem sich das Nummernschild befindet, und zwar durch das Ausführen einer Grobsuche (12) im Bild, die Schritte umfasst: Unterabtasten des Bilds, damit die Pixelanzahl verringert wird; Entnehmen von vertikalen Kanten im Bild; Erzeugen einer Zusammenstellung herausragender Stellen abhängig von den vertikalen Kanten, um Bereiche im Bild zu erkennen, bei denen es wahrscheinlich ist, dass sie das Nummernschild enthalten; und Entnehmen eines Suchergebnisses, das das Bild des Nummernschilds enthält.
Verfahren nach Anspruch 1, wobei der Schritt des Abtrennens der Zeichen (26), die in dem Grundbild dargestellt sind, durch das Verwenden einer Projektion entlang einer horizontalen Achse des Grundbilds, damit die Positionen der Zeichen erkannt werden, die Schritte enthält: Bereitstellen eines Projektionsprofils (28) von Pixelintensitäten auf vertikalen Pixellinien im Grundbild; Filtern des Projektionsprofils (30); und Erkennen von Zeichenorten (32) im Grundbild, die durch eine Fläche unter einem Grenzwert im gefilterten Projektionsprofil bezeichnet werden.
Verfahren nach Anspruch 1, wobei der statistische Klassifizierer ein Faltungsnetz verwendet und der Schritt des Klassifizierens der Zeichen anhand eines statistischen Klassifizierers, damit man einen Vertrauenswert für die Wahrscheinlichkeit erhält, mit der jedes Zeichen korrekt erkannt wird, den Schritt des Trainierens des Klassifizierers durch das Verwenden virtueller Abtastungen von Zeichen enthält.
Verfahren nach Anspruch 1, zudem umfassend den Schritt des Vergleichens von Zeichenblöcken und Zeichen mit vorbestimmten Nummernschildcodes und Konventionen (36), damit die Genauigkeit der Erkennung überprüft wird.
Verfahren nach Anspruch 1, wobei der Schritt des rekursiven Ausführens der Verfahrensschritte bis jeder Vertrauenswert einen Grenzwert überschreitet, den Schritt des gemeinsamen Betrachtens benachbarter Zeichen umfasst, um zu versuchen, den Vertrauenswert zu verbessern.
Kamerasystem zum Erkennen von Nummernschildern, umfassend: eine Kamera (300); einen Prozessor (303), der die Bilddaten verwaltet und eine Programmvorrichtung zur Nummernschilderkennung ausführt, wobei die Programmvorrichtung zur Nummernschilderkennung enthält: Mittel zum Feststellen der Orientierung, der Position, der Beleuchtungsbe dingungen und der Unschärfe des Bilds, und zum Einbeziehen der Orientierungen, Position, Beleuchtungsbedingungen und der Unschärfe des Bilds, damit man ein Grundbild des Nummernschilds erhält; Mittel zum Trennen der Zeichen, die in dem Grundbild dargestellt sind, durch das Verwenden einer Projektion entlang einer horizontalen Achse des Grundbilds, damit die Positionen der Zeichen erkannt werden; einen statistischen Klassifizierer (314), der für das Erkennen und Klassifizieren der Zeichen anhand eines Vertrauenswerts ausgelegt ist, wobei der Vertrauenswert auf der Wahrscheinlichkeit beruht, dass jedes Zeichen korrekt erkannt wird; und einen Speicher (302), in dem das Nummernschild-Erkennungsprogramm abgelegt ist sowie das Nummernschildbild, das eine Bilderfassungseinrichtung der Kamera aufgenommen hat, dadurch gekennzeichnet, dass Mittel bereitgestellt sind, damit man Beispielbilder mit unterschiedlichen Beleuchtungen einbeziehen kann, die den Beleuchtungseffekten im Bild für jedes Zeichen im Bild Rechnung tragen; und dadurch, dass das Kamerasystem ein intelligentes Kamerasystem ist, bei dem die Kamera (300) dafür eingerichtet ist, dass sie unabhängig ein Nummernschildbild aufnimmt und das Nummernschildbild erkennt, und dass sie den Prozessor enthält.
Intelligentes Kamerasystem nach Anspruch 7, zudem umfassend eine Auslösevorrichtung, die dafür ausgelegt ist, dass sie die Aufnahme eines Bilds abhängig von einem Ereignis veranlasst.
Intelligentes Kamerasystem nach Anspruch 8, wobei das Ereignis die Annäherung eines Fahrzeugs enthält.
Intelligentes Kamerasystem nach Anspruch 7, wobei die Abtrennvorrichtung umfasst: Mittel zum Bereitstellen eines Projektionsprofils (28) von Pixelintensitäten auf vertikalen Pixellinien im Grundbild; ein Filterprofil zum Filtern (30) des Projektionsprofils; und Mittel zum Erkennen der Orte von Zeichen (32) im Grundbild, die durch eine Fläche unter einem Grenzwert im gefilterten Projektionsprofil bezeichnet werden.
Intelligentes Kamerasystem nach Anspruch 7, wobei der statistische Klassifizierer entweder ein Faltungsnetz oder ein vollständig verbundenes Mehrschicht-Perzeptron enthält.
Intelligentes Kamerasystem nach Anspruch 7, wobei der Speicher (302) eine Datenbank für vorbestimmte Nummernschildcodes und Konventionen enthält, mit denen die Genauigkeit der Erkennung geprüft wird.
Intelligentes Kamerasystem nach Anspruch 7, zudem umfassend ein Parkplatz-Kontrollsystem, das mit dem intelligenten Kamerasystem verbunden ist, damit Parkgebühren anhand der Zeichenerkennung von Nummernschildern ermittelt werden.
Programmspeichervorrichtung die maschinenlesbar ist und greifbar ein Programm aus Befehlen verwirklicht, die die Maschine abarbeiten kann, damit sie die Verfahrensschritte zum Erkennen von Nummernschildern ausführt, wobei eine intelligente Kamera mit einem Prozessor und einem Speicher verwendet wird, und die Verfahrensschritte umfassen: Erfassen eines Bilds (10), das ein Nummernschild enthält, mit der Kamera; Erkennen eines Bereichs, in dem sich das Nummernschild befindet, durch eine Grobsuche (12) innerhalb des Bilds; Erkennen der Orientierung, der Position und der Beleuchtungsbedingungen des Bilds und das Einbeziehen der Orientierungen, der Position und der Beleuchtungsbedingungen des Bilds (22), damit man ein Grundbild des Nummernschilds erhält; Durchführen einer Feinsuche (24) und eines erneuten Abtastvorgangs, damit man eine genauere Darstellung der vertikalen Auflösung des Grundbilds des Nummernschilds erhält; Abtrennen der Zeichen (26), die in dem Grundbild dargestellt sind, durch das Verwenden einer Projektion entlang einer horizontalen Achse des Grundbilds, damit die Positionen der Zeichen erkannt werden; Klassifizieren der Zeichen (34) anhand eines statistischen Klassifizierers, damit man einen Vertrauenswert für die Wahrscheinlichkeit erhält, dass jedes Zeichen korrekt erkannt wird; und rekursives Ausführen der Verfahrensschritte des Trennens der Zeichen (26) und der folgenden Verfahrensschritte des Verfahrens, bis jeder Vertrauenswert einen Grenzwert überschreitet, damit die Zeichen erkannt werden, wobei nach dem Schritt des Trennens der Zeichen (26) und vor dem Schritt des Klassifizierens der Zeichen (34) der Schritt des Vergleichens eines jeden Zeichens des Nummernschildbilds mit Beispielbildern mit unterschiedlichen Beleuchtungen erfolgt, damit den Beleuchtungseffekten im Bild Rechnung getragen wird, und in dem Verfahren eine intelligente Kamera mit einem Prozessor und einem Speicher verwendet wird.
Programmspeichervorrichtung nach Anspruch 14, wobei der Schritt des Erkennens eines Bereichs, in dem sich das Nummernschild befindet, indem eine Grobsuche innerhalb des Bilds vorgenommen wird, die Schritte enthält: Unterabtasten des Bilds, damit die Pixelanzahl verringert wird; Entnehmen von vertikalen Kanten im Bild; Erzeugen einer Zusammenstellung herausragender Stellen abhängig von den vertikalen Kanten, um Bereiche im Bild zu erkennen, bei denen es wahrscheinlich ist, dass sie das Nummernschild enthalten; und Entnehmen eines Suchergebnisses, das das Bild des Nummernschilds enthält.
Programmspeichervorrichtung nach Anspruch 14, wobei der Schritt des Trennens der Zeichen (26), die in dem Grundbild dargestellt sind, durch das Verwenden einer Projektion entlang einer horizontalen Achse des Grundbilds, damit die Positionen der Zeichen erkannt werden, die Schritte enthält: Bereitstellen eines Projektionsprofils (28) von Pixelintensitäten auf vertikalen Pixellinien im Grundbild; Filtern des Projektionsprofils (30); und Erkennen von Zeichenorten (32) im Grundbild, die durch eine Fläche unter einem Grenzwert im gefilterten Projektionsprofil bezeichnet werden.
Programmspeichervorrichtung nach Anspruch 14, wobei der statistische Klassifizierer ein Faltungsnetz verwendet und der Schritt des Klassifizierens der Zeichen anhand eines statistischen Klassifizierers, damit man einen Vertrauenswert für die Wahrscheinlichkeit erhält, mit der jedes Zeichen korrekt erkannt wird, den Schritt des Trainierens des Klassifizierers durch das Verwenden virtueller Abtastungen von Zeichen enthält.
Programmspeichervorrichtung nach Anspruch 14, zudem umfassend den Schritt des Vergleichens von Zeichenblöcken und Zeichen mit vorbestimmten Nummernschildcodes und Konventionen, damit die Genauigkeit der Erkennung (36) überprüft wird.
Programmspeichervorrichtung nach Anspruch 14, wobei der Schritt des rekursiven Ausführens der Verfahrensschritte bis jeder Vertrauenswert einen Grenzwert überschreitet, den Schritt des gemeinsamen Betrachtens benachbarter Zeichen umfasst, um zu versuchen, den Vertrauenswert zu verbessern.