-
HINTERGRUND
-
1. Gebiet der Erfindung
-
Diese
Offenbarung betrifft die Zeichenerkennung und insbesondere ein Verfahren
zum Abtrennen von Zeichen in einem Nummernschild, damit dieses erkannt
wird.
-
2. Beschreibung des Stands
der Technik
-
Es
sind bereits mehrere herkömmliche
auf Computersicht beruhende Systeme zum Lesen von KFZ-Kennzeichen
entwickelt worden. Diese Systeme bestehen normalerweise aus drei
Modulen, nämlich
der Schildlokalisierung, der Zeichenabtrennung und der Zeichenerkennung.
Bei einer seriellen Vorgehensweise benötigt man die Zeichenabtrennung,
damit man die Zeichenerkennung ausführen kann, die vollständig auf getrennten
Zeichen beruht. Es ist wenig wahrscheinlich, dass unkorrekt getrennte
Zeichen korrekt erkannt werden. In der Tat beruhen die meisten Erkennungsfehler
in Systemen ohne Schleifen nicht auf der mangelnden Erkennungsfähigkeit,
sondern auf Abtrennfehlern auf unterschiedlichen Bildebenen. Bei
der Nummernschilderkennung ist es schwierig, eine störfeste Zeichenabtrennung
zu entwickeln. Die Gründe
dafür sind
hauptsächlich,
dass die begrenzte Auflösung
der Zeichen auf dem Nummernschild zusammen mit Schmutz, Kratzern,
Schatten, Neigung usw. die Leistungsfähigkeit der Abtrennung beeinträchtigen.
Zudem können
die starken Beleuchtungsschwankungen im Freien das Entwickeln eines
verlässlichen
Abtrennschemas sehr erschweren.
-
In
herkömmlichen
Systemen zur optischen Zeichenerkennung (OCR, OCR = Optical Character
Recognition) wird die Pixelprojektion häufig zur Zeichenabtrennung
verwendet. Im Allgemeinen arbeiten die herkömmlichen Systeme für die meisten
Erkennungsaufgaben an maschinengedruckten Texten zufriedenstellend.
Der Vorteil derartiger Systeme ist der Gewinn an Verarbeitungsgeschwindigkeit.
Findet man die Zeichen auf dem Nummernschild unter den besten Bedingungen
vor, d. h. sie sind ausreichend getrennt und nicht unterbrochen,
so kann man die Zeichenabtrennung direkt anhand der Projektionsfunktion
vornehmen. In der Realität
trifft man jedoch saubere und gleichförmig beleuchtete Nummernschildbilder
selten an.
-
LU
Y: "Machine printed
character segmentation--an overview" PATTERN RECOGNITION, PERGAMON PRESS
INC. ELMSFORD, N. Y., USA, vol. 28, no. 1, 1995, pages 67–80, offenbart
ein Verfahren zum Abtrennen und Erkennen gedruckter Zeichen, die
in Bereiche mit vermuteten Zeichen unterteilt werden. Die Segmente
werden in kleinere Segmente unterteilt, wenn sie mehrere Zeichen
enthalten.
EP 0862132 offenbart auch
ein Verfahren zum Unterteilen und Erkennen von Nummernschildern,
bei dem die Bilder erfasst und vorverarbeitet werden und bei dem
Bereiche in Bereiche mit vermuteten Zeichen unterteilt werden. Tritt
zwischen zwei aufeinander folgenden Zeichen ein überdurchschnittlich breiter
Spalt auf, so kann erneut abgetrennt werden, um nach zusätzlichen
Zeichen zu suchen. R. M. Bozinovic und S. N. Srihari stellen in "Off-Line Cursive Script
Word Recognition" (IEEE
Transc. Pattern Analysis and Machine Intelligence, January 1989)
ein Zeichenerkennungsverfahren vor, in dem Vorwärtstrennen und Wiederverschmelzen
von Zeichenbereichen verwendet werden. Gemäß diesem Artikel werden alle
Hypothesen bezüglich
der erhaltenen Buchstaben beim Verschmelzen von ein, zwei oder drei
Zeichenbereichen mit den Buchstaben und Symbolen des Alphabets überprüft (a ...
z). Daraufhin werden die Buchstabenhypothesen mit hohen Vertrauenswerten
zusammen mit den Buchstabenhypothesen betrachtet, die im vorhergehenden
Zyklus hohe Vertrauenswerte erbrachten, usw. Alle diese herkömmlichen
Verfahren liefern jedoch nicht unter allen Umständen eine vollständige Zeichenerkennung.
-
Daher
besteht Bedarf an einem störfesten
Abtrennverfahren, das Zeichen unter zahlreichen verschiedenen Beleuchtungs-
und Umgebungsbedingungen segmentiert.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Ein
Verfahren zum Abtrennen und Erkennen von Nummernschildern gemäß der Erfindung,
das man mit Hilfe einer Programmspeichervorrichtung implementieren
kann, die maschinenlesbar ist und greifbar ein Programm aus Befehlen
verwirklicht, die die Maschine abarbeiten kann, damit sie die Verfahrensschritte
ausführt,
umfasst das Erfassen eines Bilds eines Nummernschilds und das Vorverarbeiten
des Bilds, damit das Bild für
das Abtrennen und das Erkennen vorbereitet wird. Das Bild wird in
vermutete Zeichenbereiche des Nummernschildbilds vorwärts getrennt.
Vermutete Zeichenbereiche im Nummernschildbild werden erkannt und
mit einem Vertrauenswert versehen, der auf der Wahrscheinlichkeit
einer korrekten Übereinstimmung
beruht. Weisen die vermuteten Zeichen einen Vertrauenswert unterhalb
eines Grenzwerts auf, so erfolgt das Rückwärtsverschmelzen benachbarter
vermuteter Zeichenbereiche. Die rückwärts verschmolzenen vermuteten
Zeichenbereiche im Nummernschild werden erkannt. Haben die rückwärts verschmolzenen
vermuteten Zeichenbereiche einen Vertrauenswert unter dem Grenzwert,
so werden die Rückwärtsverschmelzungs-
und Erkennungsschritte wiederholt.
-
Der
Schritt des Vorverarbeitens des Bilds zum Vorbereiten des Bilds
für das
Abtrennen und das Erkennen umfasst die Schritte: das Verfeinern
einer Position des Nummernschilds durch das Ermitteln einer Zeichenhöhe auf dem
Nummernschildbild durch das Verwenden einer Projektionsfunktion;
das Berechnen einer räumlichen
Varianz zum Bestimmen einer Mittenposition der Zeichen; das Verwenden
der Mittenposition und der Höhe
der Zeichen zum Verkleinern der Größe einer interessierenden Region
durch das Erfassen der Kanten einer Plattengrenze und das Berechnen
einer Länge
der Kanten zum Erkennen der interessierenden Region.
-
In
anderen Ausführungsformen,
in den die Programmspeichervorrichtung verwendbar ist, kann der Schritt
des Erkennens vermuteter Zeichenbereiche im Nummernschildbild das
Ermitteln von Bereichen mit einem Vertrauenswert unter einem Grenzwert
umfassen, und der Schritt des Vorwärtstrennens von Regionen kann
den Schritt des Abtrennens sich berührender oder sich überlappender
Zeichen in benachbarten vermuteten Zeichenbereichen durch das Anwenden
einer Unterscheidungsfunktion abhängig von Konturprojektionen
der Zeichen enthalten. Der Schritt des Abtrennens sich berührender
oder sich überlappender
Zeichen kann iterativ angewendet werden, um den Grenzwert eines
Vertrauenswerts zu erreichen. Der Schritt des Erkennens von vermuteten
Zeichenbereichen im Nummernschildbild und das Bereitstellen eines
Vertrauenswerts abhängig
von einer Wahrscheinlichkeit einer korrekten Übereinstimmung kann den Schritt
der Zeichenerkennung im Bild des Nummernschilds durch das Verwenden
mindestens entweder eines neuronalen Netzes oder eines Schablonenvergleichs
enthalten.
-
In
weiteren Ausführungsformen
kann der Schritt des Erkennens der rückwärts verschmolzenen vermuteten
Zeichenbereiche im Nummernschild den Schritt der Zeichenerkennung
im Bild des Nummernschilds durch das Verwenden mindestens entweder
eines neuronalen Netzes oder eines Schablonenvergleichs enthalten.
Der Schritt des Vorverarbeitens des Bilds, damit das Bild für das Abtrennen
und Erkennen vorbereitet wird, kann die Schritte enthalten: Erfassen
einer Neigung im Bild des Nummernschilds durch das Erfassen von Kanten
und das Wählen
von Merkmalspunkten, um ein Projektionsfeld auf den Kanten zu bestimmen;
Auswählen
des Projektionsfelds mit der höchsten
Bewertung, damit ein Drehwinkel bestimmt wird; und Korrigieren des
Bilds des Nummernschilds entsprechend dem Drehwinkel. Der Schritt
des Vorverarbeitens des Bilds, damit das Bild für das Abtrennen und Erkennen
vorbereitet wird, kann die Schritte umfassen: Bereitstellen eines Projektionsprofils
von Pixelintensitäten
auf vertikalen Pixellinien im Bild; Filtern des Projektionsprofils;
und Erkennen der Orte von Zeichen im Bild, die durch eine Fläche unter
einem Grenzwert im gefilterten Projektionsprofil beschrieben werden.
Der Schritt des Ausgebens der erkannten Zeichen des Nummernschildbilds
wird bevorzugt vorgenommen. Der Schritt des Vergleichens der erkannten
Zeichen und Zeichenblöcke
mit vorbestimmten Nummernschildcodes und Konventionen kann enthalten
sein, damit die Genauigkeit der Erkennung geprüft wird.
-
Diese
und weitere Aufgaben, Merkmale und Vorteile der Erfindung gehen
aus der folgenden ausführlichen
Beschreibung erläuternder
Ausführungsformen
der Erfindung zusammen mit den beiliegenden Zeichnungen hervor.
-
KURZE BESCHREIBUNG DER
ZEICHNUNGEN
-
Diese
Offenlegung liefert eine ausführliche
Beschreibung bevorzugter Ausführungsformen
anhand der folgenden Zeichnungen.
-
Es
zeigt:
-
1 ein
Flussdiagramm eines Erkennungsverfahrens für Nummernschilder der Erfindung;
-
2 eine
Kurve der Bewertung in Abhängigkeit
vom Neigungswinkel zum Bestimmen eines Neigungswinkels für Nummernschilder
gemäß der Erfindung;
-
3 eine
Kurve von S(j) in Abhängigkeit
von den Pixeln zum Bestimmen der Zeichenhöhe für Nummernschildzeichen gemäß der Erfindung;
-
4 ein
Blockdiagramm mit unterschiedlichen Stadien der Schildpositionsverfeinerung
gemäß der Erfindung;
-
5A Pixel
für überlappende
Zeichen, die gemäß der Erfindung
abzutrennen sind;
-
5B eine
Konturprojektion zum Ermitteln der Positionen der Zeichen in 5A,
die gemäß der Erfindung
zu trennen sind;
-
5C eine
Unterscheidungsbewertungskurve zum Bestimmen eines Orts für das Abtrennen
der Zeichen in 5A gemäß der Erfindung;
-
5D obere
und untere Profile zum Bestimmen der Höhen der Zeichen in 5A,
die gemäß der Erfindung
zu trennen sind;
-
6A Pixel
für sich
berührende
Zeichen, die gemäß der Erfindung
zu trennen sind;
-
6B eine
Konturprojektion zum Ermitteln der Positionen der Zeichen in 6A,
die gemäß der Erfindung
zu trennen sind;
-
6C eine
Unterscheidungsbewertungskurve zum Bestimmen eines Orts für das Abtrennen
der Zeichen in 6A gemäß der Erfindung;
-
6D obere
und untere Profile zum Bestimmen der Höhen der Zeichen in 6A,
die gemäß der Erfindung
zu trennen sind;
-
7 ein
Flussdiagramm eines auf die Erkennung gestützten Abtrennverfahrens der
Erfindung;
-
8 vermutete
Zeichenbereiche, die durch einen Vorwärtstrennvorgang der Erfindung
bestimmt werden;
-
9 einen
Entscheidungsbaum, der beim Ausführen
einer Rückwärtsverschmelzung
der Erfindung verwendet wird; und
-
10A und 10B Beispiele
für verschiedene
Werte von k, einer Konstanten zum Justieren von Zeichengrenzen,
die beim Bilden eines höheren
Vertrauenswerts in der Zeichenerkennung verwendet wird.
-
AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER
AUSFÜHRUNGSFORMEN
-
Die
Erfindung betrifft die Zeichenerkennung und insbesondere ein wenig
störanfälliges Verfahren
zum Abtrennen von Zeichen in einem Nummernschild, das erkannt werden
soll. Die automatische Erkennung der Nummernschilder von Fahrzeugen
ist besonders für
hochgenaue Anwendungen nützlich,
bei denen eine Fahrzeugidentifizierung erfolgt. Die Erkennung der
Nummernschilder von Fahrzeugen ist in der Verkehrsüberwachung
und Steuerung vorteilhaft und für
das Bewahren von Aufzeichnungen des Durchgangsverkehrs, beispielsweise
am Tor eines Parkplatzes. Zum Verbessern der Leistung der Zeichenabtrennung
führt die
Erfindung eine Bildvorverarbeitung aus, die die Schildneigung behandelt
und die Schildposition nach dem Drehen des Bilds verfeinert. Dies
ist als Vorbereitung der Daten für
die spätere
Verarbeitung erforderlich. Die Fahrzeugbilder sind durch unterbrochene
und einander berührende
Zeichen beeinträchtigt.
Fehler beim Erkennen und Abtrennen dieser Zeichen führen zu
einem Abtrennvorgang, der für
die meisten Fehler verantwortlich ist, die die Erkennungssysteme
liefern.
-
Die
Erfindung stellt ein Verfahren bereit, mit dem man sich berührende Zeichen
exakter trennen und unterbrochene Zeichen genauer zusammenfügen kann.
Die Erfindung stellt eine wirksame und leistungsfähige Unterscheidungsfunktion
bereit, die sich berührende
Zeichen abhängig
von einer Differentialanalyse der Zeichenkontourentfernung erkennt.
Die Erfindung trennt auch unterschnittene Zeichen, die sich mit
benachbarten Zeichen überlappen.
-
Anstelle
eines Verarbeitungsschemas ohne Rückführung setzt die Erfindung ein
bedingt rekursives Abtrennverfahren ein, das einzelne Zeichen abtrennen
kann, beispielsweise von einem Nummernschild, und zwar genau und
wirkungsvoll. Die Verfahren der Erfindung sind miteinander verknüpft, und
zwar das Abtrennen und das Erkennen, damit man anhand des Ergebnisses
der Zeichenerkennung prüfen
kann, ob die Zeichen auf dem Schild korrekt getrennt worden sind.
In einer Ausführungsform
wird für
eine Vorwärtstrennprozedur
eine Unterscheidungsfunktion gezielt auf vermutete Zeichenbereiche
angewendet, die den besten Abtrennpunkt bestimmt, falls sich Zeichen
berühren
oder überlappen.
Daraufhin folgt eine Rückwärtsverschmelzprozedur,
um fehlerhafte Abtren nungen aufgrund von unterbrochenen Zeichen
zu beheben. Sowohl in der Abtrenn- als auch in der Verschmelzprozedur
erfolgt eine Rückführung der
Klassifizierung aus dem Zeichenerkennungsschritt.
-
Die
Erfindung verwirklicht einen Klassifizierer, der einen Schablonenvergleich
und neuronale Netze enthält.
Dies erhöht
die Erkennungsleistung in vorteilhafter Weise und liefert bessere
Abtrennergebnisse. Die Erfindung umfasst zudem regelgestützte Merkmale
und Messvorgänge
beim Segmentieren des Schilds. Dazu gehören Kennzeichenregeln und Codes,
die das Aussehen des Schilds (z. B. Stadt/Ortskennzeichen), die
alphanumerischen Felder und die Größe des Zeichensatzes festlegen.
Man beachte, dass die von der Erfindung erkannten Zeichen in den
Nummernschildern verändert
werden können
und dass die Zeichen nicht einmal feststehen müssen.
-
Natürlich können die
in 1 bis 7 dargestellten Elemente in
unterschiedlichen Formen von Hardware, Software oder Kombinationen
aus beiden implementiert werden. Bevorzugt werden diese Elemente in
Software auf einer oder mehreren geeignet programmierten Allzweck-Digitalverarbeitungsvorrichtungen
implementiert, die einen Prozessor und Speicher und Ein/Ausgabe-Schnittstellen
aufweisen.
-
Es
wird nun im Einzelnen auf die Zeichnungen eingegangen, in denen
gleiche Bezugszeichen ähnliche
oder identische Elemente innerhalb der diversen Ansichten darstellen.
Zunächst
sei 1 betrachtet, die ein Flussdiagramm bzw. Blockdiagramm
der Erfindung zeigt. Im Block 10 wird ein Bild aufgenommen
bzw. erfasst, und zwar bevorzugt mit einer Digitalkamera, die einen
Prozessor und einen Speicher aufweist. Im Block 11 wird
das Bild durchsucht, um ein interessierendes Gebiet zu finden (beispielsweise
ein Nummernschild). Dies kann man als Grobsuche bezeichnen.
-
Im
Block 12 erfolgt eine Bild- oder Abtrennvorverarbeitung,
damit die Erkennungsrate verbessert wird. Ohne eine geeignete Vorverarbeitung
können
die nachfolgenden Abtrenn- und Erkennungsschritte schwierig werden.
Diverse Vorverarbeitungsverfahren für das Erkennen mit neuronalen
Netzen können
beispielsweise eine Bild- und/oder
Zeichenentzerrung enthalten. Im Block 14 wird auf Lichteffekte
eingegangen (beispielsweise Beleuchtung, Entfernung und/oder Ausrichtung),
damit man ein gutes Grundbild erhält. Ein Beispiel für diese
Effekte, das für
die nachfolgende Verarbeitung wichtig ist, ist die Normierung der
Helligkeit. Besondere Vorverarbeitungen für das Abtrennen, das Erkennen
der Schildneigung (Block 16) und die Verfeinerung der Nummernschildposition
(Block 18) werden wie folgt vorgenommen.
-
Im
Block 16 wird die Neigung oder Schräglage des Schilds erfasst und
bearbeitet. Eine Neigung oder Schräglage des Schilds beeinflusst
die Zeichenabtrennung nachteilig. Das Erkennen und Korrigieren der
Neigung eines Nummernschildbilds verbessert die Genauigkeit der
Abtrennung und Erkennung. Zum Schätzen der Neigung des Nummernschilds
hängt die
Genauigkeit von der Auswahl von Merkmalen innerhalb des Nummernschildbilds
ab.
-
Herkömmliche
Algorithmen zum Erkennen der Neigung von Nummernschildern beruhen
auf lokalen Minimum-Pixeln und lokalen Maximum-Pixeln, die aus Zeichenbereichen
entnommen werden. Eine Untersuchung des Zwischenraums der Objektpixel
durch einen Satz orthogonaler Projektionen ermittelt einen möglichen
Neigungswinkel. Die Genauigkeit hängt jedoch vom Zeichenhintergrund
ab. Ist das Schild schmutzig, verrauscht oder ungleichmäßig ausgeleuchtet,
so können
unerwünschte
Merkmalspunkte eingeschlossen werden, und die entstehende Genauigkeit
ist unbefriedigend. Statt dessen werden in der Erfindung Merkmalspunkte
von den Ober- und Unterkanten der Zeichen zusammen mit einer Schildgrenze
verwendet, die in waagrechter Richtung parallel dazu ist.
-
Mit
Hilfe eines Kantendetektors werden sämtliche Zeichenkanten und Schildkanten
in waagrechter Richtung erfasst. Die herausragenden Kantenpunkte
werden nun mit Hilfe eines adaptiven Grenzwerts ausgewählt, der
auf dem Mittelwert und der Standardabweichung beruht. Sei beispielsweise
ein Winkel von θ Grad gegeben,
um den bezüglich
der Mittenposition des Bilds gedreht wird, so wird eine vertikale
Projektion der im vorhergehenden Schritt erhaltenen Punkte berechnet,
und man erhält
ein eindimensionales Projektionsfeld P(θ). Verwendet man wegen des
kleinen Drehwinkels eine Fachgröße mit einer
Pixeleinheit je Abtastauflösung,
so wird der Neigungswinkel wie folgt bestimmt. Für jede Projektionsrichtung
wird eine Bewertungsfunktion C(θ)
berechnet, nämlich
die Summe der Quadrate der akkumulierten Werte eines jeden Fachs.
Damit erhält
man C(θ)
wie folgt:
wobei P
i(θ) der Wert
des i-ten Fachs ist, das man für
den Winkel θ findet,
und n die Anzahl der Fächer
ist. Der Winkel, der das größte C(θ) liefert,
ist der korrekte Neigungswinkel. Da die Projektion eine Auflösung von
einem Grad hat, kann man das ma ximale C(θ) durch eine quadratische Anpassfunktion
weiter interpolieren, damit die Genauigkeit verbessert wird. In
einer Ausführungsform
wird die Rechenzeit dadurch begrenzt, dass man einen geschätzten Winkelbereich
eingrenzt. Der geschätzte
Winkelbereich kann auf eine Neigung innerhalb von zehn Grad beschränkt werden,
so dass immer noch eine erschöpfende
Suche möglich
ist, ohne die Geschwindigkeit zu beeinträchtigen. Ist das Schild um
einen großen
Winkel geneigt, so kann eine erschöpfende Suche zeitaufwendig
sein. Eine Grob- und Feinsuche (beispielsweise eine binäre Suche
oder eine Fibonacci-Suche) kann sich als nützlich erweisen, um den Suchaufwand
zu verringern, der zum finden des Maximums nötig ist. Man kann auch nichtlineare
Verfahren der kleinsten Fehlerquadrate verwenden. Der Neigungswinkel dient
der Unterstützung
beim Erkennen der Schildzeichen.
-
In 2 ist
eine Kurve der Bewertungsfunktion C(θ) (Bewertung) über dem
Drehwinkel bzw. Neigungswinkel aufgetragen. In diesem Beispiel ist
ein zu erkennendes Nummernschild um einen Winkel gegen die waagrechte
Achse geneigt. Die Kurve zeigt, dass ein Neigungswinkel von ungefähr vier
Grad im Eingabebild des Nummernschilds vorhanden ist (d. h. die
höchste
Bewertung). Dieser Winkel wird nun durch das Justieren des Nummernschildbilds
korrigiert, damit man ein Bild mit einem Drehwinkel von ungefähr null
Grad erhält.
-
Im
Block 18 erfolgt ein Verfeinern der Position des Schilds.
Das Ausgabebild der Nummernschilderkennung (Block 11) liefert
in der Regel eine größere Fläche, die
nicht nur die Schildzeichen sondern auch den Schildrahmen und möglicherweise
die Karosserie des Fahrzeugs enthält. Man muss nun eine verfeinerte
Suche ausführen,
die nicht benötigte
Bereiche ausscheidet, die Schildzeichen jedoch beibehält. Die
Erfindung nimmt das Verfeinern der Schildposition in vertikaler
und horizontaler Richtung vor und bezieht dabei die Merkmale wie
den Schildrand, den Schildhintergrund und die Schildzeichen ein.
-
In
den meisten Fällen
ist das beste Merkmal zum Vereinfachen der Positionsverfeinerung
das Vorhandensein des Schildrands im Bild, der eine rechteckige
Form bildet und vom Oberflächenbereich
umgeben ist. Durch das Erkennen der vertikalen und horizontalen
Kanten und das Suchen der größten Kantenlänge von jeder
Seite kann das Verfeinern exakt erfolgen. Bei einigen Nummernschildern,
bei denen man durch einen der Fahrzeugkarosserie vergleichbaren
homogenen Hintergrund eine oder mehrere Schildkanten nicht erkennen
kann, mag dies zu einem beträchtlichen
Fehler führen.
In diesen Fällen
werden Merkmale der Schildzeichen gemessen, d. h. die Höhe und die Breite.
-
Die
Erfindung schätzt
die Zeichenhöhe
im Bild, dessen Neigung korrigiert wurde. Die Signatur einer Sprung-Übergangs-Zahl
wird als Maßmerkmal
für das
Vorhandensein eines Zeichens verwendet. Sei angenommen, dass ein
Kandidatenbereich des Schilds die Abmessungen M × N (in Pixel) hat, so ist
die Projektionsfunktion über
die Summation aller Zeichen-Signaturen in der Zeile definiert:
wobei r(i, j) die Anzahl
der Übergänge (Objekt-Hintergrund
oder Hintergrund-Objekt) auf den Pixeln (i, j) ist. Dieses Merkmal
wird am binärisierten
Bild des Schildkandidaten berechnet, d. h., wenn das vermutete Nummernschild
gefunden ist. Die Binärisierung
beruht bevorzugt auf einem lokalen Mittelwert und einer lokalen Standardabweichung über dem
Bild. Der Grenzwert am Pixel (i, j) wird wie folgt berechnet:
T(i, j) = m(i, j) + k·d(i, j) (3)wobei m(i,
j) und d(i, j) die Abtastmittelwerte bzw. Standardabweichungswerte
in einer lokalen Umgebung (i, j) sind. In einer bevorzugten Ausführungsform
dient eine 16 × 16-Umgebung dazu, lokale
Einzelheiten zu bewahren und Rauscheffekte so gering wie möglich zu
halten. Den Wert k verwendet man dazu, einzustellen, wie stark die
Zeichengrenze als Teil des gegebenen Bilds verwendet wird. Man wählt beispielsweise
k = –0,2,
damit man gut getrennte Druckzeichen erhält. Man beachte, dass ein konstantes
k zu einer Breitenveränderung
zwischen Zeichen aufgrund einer ungleichförmigen Beleuchtung führen kann.
Die Auswirkung von k bezüglich
des Erkennungsergebnisses wird im Weiteren erläutert. Statistisch gesehen
ist die mittlere Übergangszahl
je Zeile im Oberflächenbereich
wesentlich größer als
in Nicht-Oberflächenbereichen.
Wird S(j) passend segmentiert, so entspricht das Ergebnis der größtmöglichen
Ausbreitungsentfernung den Zeichenhöhen.
-
3 zeigt
eine Projektionsfunktion S(j), bei der die Zeichenhöhe die Entfernung
von den Werten von S(j) über
einem Grenzwert ist. Den Grenzwert von S(j) erhält man adaptiv abhängig von
einem Mittelwert und einer Standardabweichung von S(j). Hat man
die Zeichenhöhen
bestimmt, so wird der interessierende Bereich in vertikaler Richtung
weiter eingeschränkt.
-
Die
Breite der Zahlen auf dem Schild kann man anhand eines Vorabwissens
bezüglich
des Verhältnisses
der Schildbreite zur Schildhöhe
schätzen.
Man braucht nur die Mittenposition der Zahl auf dem Schild in Richtung
der waagrechten Achse zu ermitteln. Zum Schätzen dieser Position kann man
ein räumliches
Varianzverfahren implementieren. Berechnet man die räumliche
Varianz entlang einer Linie des Nummernschilds (z. B. waagrecht),
so entsprechen Regionen mit hoher räumlicher Varianz den Textbereichen
und Regionen mit geringer räumlicher
Varianz den Nicht-Textbereichen. Man kann also die Position, die
zur größten Varianz gehört, als
Mittenposition der Schildzahl auf der waagrechten Achse wählen.
-
Mit
der Untersuchung der Schildkanten lässt sich die Genauigkeit der
Verfeinerung verbessern, und man kann fehlerhafte Erkennungen beseitigen.
Nach erfolgtem Verfeinern auf der waagrechten Achse wird die interessierende
Region erneut entnommen und für
die nachfolgende Segmentierung und Klassifizierung mit einer festen
Auflösung
erneut abgetastet. 4 zeigt die Ergebnisse der Schildpositionsverfeinerung
in unterschiedlichen Stufen des Verfahrens.
-
In
Block 20 wird die Zeichenabtrennung vorgenommen. Dies schließt das Erkennen
der Zeichen im Nummernschild durch das Abtrennen der Zeichenbilder
für die
Erkennung ein. (Siehe auch Block 110 in 7).
Gemäß der Erfindung
wird im Block 22 eine erkennungsgestützte Abtrennung verwendet.
Im Block 22 erfolgt – wenn
nötig – eine Trennung
sich berührender
bzw. sich überlappender
Zeichen. Das Bewältigen
der Trennung einander berührender
Zeichen ist für
jede optischen Zeichenerkennungsanwendung (OCR) wichtig. Der Stand
der Technik hat mehrere Vorgehensweisen entwickelt, die an der Unfähigkeit
kranken, überlagerte Zeichen
(d. h. Zeichen, die sich mit benachbarten Zeichen überlappen)
von Zeichen zu unterscheiden, die benachbarte Zeichen berühren.
-
Die
Erfindung verwendet eine Unterscheidungsfunktion, die auf einer
Konturprojektion beruht. Für
ein berührendes
Zeichen mit der Breite W wird eine Konturprojektionsfunktion V
c(k) definiert zu:
Vc(k) = bottom(k) – top(k),
k = 1, 2, 3, ..., W (4)wobei
die Funktion top(k) eine obere Position auf der vertikalen Achse
gesehen vom oberen Profil der äußeren Kontur
der sich berührenden
Zeichen liefert, und die Funktion bottom(k) eine untere Position
auf der vertikalen Achse gesehen vom unteren Profil der äußeren Kontur
der sich berührenden
Zeichen.
5D und
6D zeigen
obere und untere Profile für
die sich überlappenden
Zeichen "17" in
5A bzw.
die sich berührenden Zeichen "48" in
6A.
Verwendet man die obige Projektionsfunktion mit einigen benachbarten
Spalten, so wird die Trennunterscheidungsfunktion F
c(k)
wie folgt definiert:
wobei
d ein Versatz von einer momentanen Zeichenposition zu benachbarten
Zeichenpositionen ist. Das Summierungsintervall von n1 bis n2 bezeichnet
alle möglichen
Versätze,
die empirisch anhand der Zeichengröße und dem Überlappungszustand im Text
bestimmt werden. Für
die gewünschte
Unempfindlichkeit der Erfindung hat sich gezeigt, dass n1 = 1 und
n2 = 2 zu einer guten Unterscheidungsfähigkeit führen. Andere Werte für n1 und
n2 werden ebenfalls in Betracht gezogen.
5B und
6B zeigen
Konturprojektionen V
c(k) als Funktion von
k für
5A bzw.
6A.
5C und
6C zeigen
die Werte der Unterscheidungsfunktion F
c(k) in
Abhängigkeit
von k. Jeder Versatz d trägt
zu den Werten der Unterscheidungsfunktion bei, die in der Nähe des Berührpunkts
der Zeichen stark anwächst.
Mit Hilfe eines geeigneten Grenzwerts werden Kandidaten für Abtrennpunkte
gewählt,
an den das Bild zu teilen ist. Man beachte, dass die vorgeschlagene
Konturprojektion nur bei zweifelhaften Zeichen angewendet wird,
bei denen die Klassifizierung versagt hat. Es wäre redundant, diese abgetrennten
Zeichen zu überprüfen, wenn
man sie mit einem guten Vertrauenswert erkennen kann. Zusätzlich kann
die vorgeschlagene Konturprojektion mit der Pixelprojektion verbunden
werden, um sich berührende
Zeichen zu erkennen, die sich in maschinengedruckten Dokumenten
mit Kleinbuchstaben mischen.
-
Die
erkennungsgestützte
Abtrennung im Block 22 erfolgt gemäß der Erfindung. Die erkennungsgestützte Abtrennung
durchsucht das Bild nach Zeichenkomponenten, die sich mit Klassen
in ihrem Alphabet decken. Die Erkennung vergleicht Schablonen oder
verwendet einen statistischen Klassifizierer zum Erkennen von Zeichen
und gibt einen Vertrauenswert zurück, der auf der Wahrscheinlichkeit
beruht, dass das Zeichen korrekt erkannt worden ist.
-
Das
Arbeitsprinzip der Erfindung unterscheidet sich ziemlich stark von
Segmentierungen ohne Rückführung, die
in allen Zeichensätzen
auf der Unterscheidung von Grenzen von inneren Bereichen beruhen,
und ist eng mit der Zeichenerkennung verbunden. Herkömmliche
erkennungsgestützte
Segmentierungen verwenden ein gleitendes Fenster mit veränderlicher
Breite, das Folgen von Abtrennkandidaten liefert, die durch die Zeichenerkennung
bestätigt
werden. Das Eingabefenster kann durch Verändern der Fensterlage und Größe zahlreiche
Folgen erzeugen. Die beste Folge, zu der das höchste Vertrauensmaß gehört, wird
als Abtrennergebnis gewählt.
Die Schwierigkeit bei diesen herkömmlichen Verfahren besteht
jedoch darin, dass es problematisch ist, für den ersten Versuch ein geeignetes
Fenster zu wählen,
und zwar insbesondere für
Zeichen mit proportionalem Abstand. Tsujimoto und Asada, haben in "Resolving ambiguity
in segmenting touching characters", The First International Conference
on Document Analysis and Recognition, pp. 701–709, October 1991, einen rekursiven
Abtrenn- und Erkennalgorithmus zum Abtrennen sich berührender
Zeichen entwickelt. Sie führten
eine Unterbrechungs-Bewertungsfunktion ein, die versuchsweise Unterbrechungspositionen
findet, und bestätigten
dann diese Unterbrechungspositionen durch das Absuchen eines Entscheidungsbaums,
der aus den Erkennungsergebnissen aufgebaut wird. Nachteilig ist
dabei, dass die Bearbeitung sehr rechenintensiv werden kann, wenn
mehr Unterbrechungspositionen in den Aufbau des Entscheidungsbaums
einbezogen werden.
-
7 zeigt
gemäß der Erfindung
ein bedingt rekursives Abtrennverfahren, das eine Vorwärtstrenn- und
Rückwärtsverschmelzprozedur
implementiert und auf der Ausgabe der Erkennung beruht. Im Block 100 erfolgt
wie beschrieben die Abtrenn-Vorverarbeitung an einem Bild, beispielsweise
einem Nummernschildbild. Im Block 110 wird die anfängliche
Abtrennung vorgenommen. Das Eingabebild wird abhängig von vertikalen Projektionen
in Bereiche zerlegt; dadurch lassen sich zahlreiche mögliche Fehler
beim ersten Versuch ausschließen.
Als Ableitung aus der herkömmlichen
Schwarzpixel-Projektion erhält
man die Projektionsfunktion durch die Auswahl des dunkelsten Pixels
in jeder Spalte. Die vertikale Projektion umfasst das Anwenden eines Tiefpassfilters
auf das Projektionsprofil. Daraufhin werden die erkannten Positionen
zwischen Zeichen durch das Subtrahieren der ursprünglichen
Projektionsfunktion und der gefilterten Funktion bestimmt.
-
Die
Erkennungsmaschine wird bevorzugt als Prüfung verwendet. Enthält das getrennte
Bild einen Vertrauenswert unter einem Grenzwert, so wird der Vorgang
wiederholt, nachdem vermutete Zeichen getrennt oder verschmolzen
wurden.
-
Nach
der ersten Segmentierung kann jeder entstandene Bereich (d. h. ein
Bereich mit einem vermuteten oder möglichen Zeichen) entweder als
unterbrochenes Zei chen, Einzelzeichen, sich berührende Zeichen oder unbekanntes
Symbol eingestuft werden. Hat das Nummernschild ein hochwertiges
Bild, so kann nahezu jeder abgetrennte Bereich mit einem hohen Vertrauensmaß klassifiziert
werden, das auf dieser Stufe ein erkanntes Zeichen bedeutet. Die
meisten Bilder von Nummernschildern befinden sich jedoch nicht in
einem solchen Zustand. Führen
die Bereiche zu nicht erkannten Zeichen, so wird jeder Bereich durch
eine Komponentenanalyse geprüft,
um kleine Komponenten herauszufiltern, beispielsweise Schrauben
oder Muttern, die sich im Bild des Nummernschilds befinden.
-
Im
Block 114 wird daraufhin die beschriebene Unterscheidungsfunktion
zum Abtrennen sich berührender
Zeichen auf die zu großen
Bereiche angewendet, um festzustellen, ob sie sich weiter unterteilen
lassen. Man kann dabei voraussetzen, dass die zugehörige Bewertung
der Unterscheidungsfunktion über
dem definierten Grenzwert liegt, so dass unnötige Trennungen vermieden werden.
Der Vorwärtstrennprozedur
im Block 114 folgt unmittelbar eine rekursive Erkennung,
die zum Block 114 zurückkehrt,
bis man keinen Unterbrechungspunkt mehr in verdächtigen Bereichen findet, in
denen man einen geringen Vertrauenswert für die Erkennung des fraglichen
Zeichens erhält.
Ein Beispiel zeigt 8, in der sechs Zeichenbereiche
(1–6),
die zwischen Pfeilen angegeben sind, Positionen bezeichnen, an denen
das Zeichenbild zu trennen ist.
-
Im
Block 116 erfolgt ein Rückwärtsverschmelzvorgang,
mit dem Bereiche im Bild bewertet werden, um festzustellen, ob man
durch das Zusammenfassen von Bereichen einen höheren Vertrauenswert erhält. Dabei handelt
es sich um einen rekursiven Erkennungsvorgang, der durch die Rückführschleife
in 7 bezeichnet ist. Es wird nun 9 betrachtet.
Jeder Knoten 200 für
jeden vermuteten Zeichenbereich 1–6 (siehe 8) könnte abhängig von
der Erkennung des Bereichs ein tatsächliches Zeichen bilden. Kann
man einen Knoten mit einem gewichtigen Vertrauenswert einstufen,
so wird das Ergebnis im jeweiligen Knoten gespeichert. Daraufhin
werden die nachfolgenden Knoten verarbeitet, die die möglichen
Kombinationen der verbleibenden Bereiche darstellen. Knoten, die
eine schlechte Erkennung liefern, werden nicht weiter bewertet (z.
B. Knoten mit * in 8). Jede nachfolgende Bewertung
beschränkt
sich lediglich auf die Nachbarschaft des fraglichen Bereichs und
seine beiden direkt benachbarten Knoten. Dadurch verringert sich
die Rechenzeit. Der Baum wird aufgebaut, bis keine Bereiche mehr übrig sind.
Der Pfad durch den Baum mit der größten Wahrscheinlichkeit wird
als korrekte Segmentierung gewählt,
und die entsprechende Erkennung ist unmittelbar verfügbar. Führt keiner
der Pfade zu einer guten Erkennung, so kann man die weniger wahrscheinlichen
Pfade bewerten. Als Beispiel sei 8 betrachtet.
Im Knoten 200a wird für
den Bereich 1 festgestellt, dass er kein erkanntes Zeichen enthält (der
Knoten wird mit einem * versehen). Die Verarbeitung betrachtet nun
die Bereiche 1 und 2 im Knoten 200b. Mit ausreichender
Sicherheit wird ein "N" erkannt. Im Knoten 200c werden
die Bereiche 1, 2 und 3 geprüft.
Die Bewertung führt
jedoch nicht zu Ergebnissen mit einem ausreichenden Vertrauenswert.
Die Verarbeitung schreitet wie dargestellt fort.
-
Im
Block 115 erfolgt die Zeichenerkennung gemäß der Erfindung.
Die Zeichenerkennung kann in mehreren unterschiedlichen Weisen vorgenommen
werden. In besonders brauchbaren Ausführungsformen können ein
neuronales Netz, Schablonenvergleich oder eine Kombination aus beiden
Verfahren verwendet werden. Der Schablonenvergleich wird nun ausführlicher
beschrieben.
-
Das
Abtrennverfahren der Erfindung hängt
in seiner Genauigkeit vom Zeichenerkennungsverfahren ab, mit dem
die unterteilten Bereiche bearbeitet werden. Es ist insofern von
diesem Algorithmus unabhängig, als
jedes beliebige Erkennungsverfahren zusammen mit der Segmentierung
verwendbar ist. Daher implementiert die Erfindung zusätzlich zum
neuronalen Netz, das als OCR-Maschine dient, den Schablonenvergleich, damit
die Erkennungsaufgabe noch weiter vereinfacht wird. Der Schablonenvergleich
wird auf abgetrennte Bereiche angewendet, die von Rechtecken eingeschlossen
sind, wobei die verbundenen Komponenten in den Bereichen eine mittlere
Größe haben.
Zudem werden die Bereiche (mit einem Zeichen oder einem Teil eines Zeichens)
vom neuronalen Netz mit einem geringeren Vertrauensmaß (unter
einem Grenzwert) erkannt. In einem solchen Fall wird der interessierende
Bereich zuerst binärisiert
und auf die Größe skaliert,
die die Schablonen in einer Datenbank haben, beispielsweise 15 × 25 oder
20 × 30
Pixel. Ein normierter Übereinstimmungsindex
mit dem Bereich von –1
bis 1 ist als Vertrauensmaß definiert,
das man erhält,
indem man das abgespeicherte Symbolbild und das eingegebene Objektbild
Pixel für
Pixel vergleicht. Nähert
sich das Vertrauensmaß der
1, so werden die abgespeicherten Bilder (virtuelle Abtastungen),
die zu den Zeichensymbolen gehören,
klassifiziert. Dies bedeutet eine perfekte Übereinstimmung (Vertrauenswert
1), d. h. die Klasse des Eingabebilds ist gleich der Klasse des
abgespeicherten Bilds und umgekehrt. Man kann einen Grenzwert von
ungefähr
0,5 wählen,
um nicht übereinstimmende
Zeichen auszufiltern. Den Grenzwert kann man entsprechend der Anwendung
einstellen. Der Schablonenvergleich bietet eine umfassende Suche
in einer gespeicherten Datenbank, die zahlreiche Symbolbilder enthält. Hierzu
gehören
auch unterschiedliche Größen und
Arten des gleichen Zeichens, verschiedene Beleuchtungseffekte, Schatten,
unscharfe Bilder usw.
-
Man
beachte, dass beim Vergleichsvorgang übereinstimmende Hintergrundpixel
in der Regel nicht gezählt
werden, da dies den Übereinstimmungsindex
stark verschiebt. Wird jedoch ein Loch als Struktur betrachtet,
so ist die Menge der Hintergrundpixel im Loch als Zeichen zulässig. Hierzu
werden die Löcher
mit einem Pixelwert gekennzeichnet, der sich von den Werten unterscheidet,
die für
Hintergrund- und Objektpixel verwendet werden. Nun wird ein Sonderfall
(d. h. Lochpixel) für
die Übereinstimmung
erstellt. Im Wesentlichen heißt
dies, dass Lochpixel wie Objektpixel behandelt werden, jedoch eine
eigene Klasse bilden und nicht mit einem Objektpixel übereinstimmen.
-
Für das Binärisieren
der Bilder abhängig
vom lokalen Mittelwert und der lokalen Standardabweichung über dem
Bild kann man das Verfahren nach Niblack verwenden. (Siehe z. B.
O. D. Trier et al., "Goal-directed evaluation
of binarization methods",
IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.
17, No. 12, pp. 1191–1201,
December 1995). In Gleichung 3 dient der Wert k dazu, einzustellen,
wie stark die Zeichengrenze als Teil des gegebenen Bilds betrachtet
wird. Bei sich verändernden
Umgebungsbedingungen ist es wahrscheinlich, dass die Zeichenbreiten
auf unterschiedliche Größen variieren.
Ein konstantes k kann für eine
gute Übereinstimmung
ungeeignet sein. Damit werden abhängig von der Änderung
von k mehrfache Grenzwerte abgeleitet. Wird in einer Ausführungsform
k in Schritten von 0,25 von –0,5
auf 0,5 erhöht,
so erhält man
eine gute Auswahl, die eine breite Schwankung der Symbole des Datensatzes
abdeckt. 10A und 10B zeigen,
wie unterschiedliche Grenzwerte den Zeichenrand beeinflussen. Die
Bilder 400 und 410 sind die zu vergleichenden
Bilder. Durch das Verändern
von k kann man für
jedes Bild eine bessere Übereinstimmung
erzielen. Das Bild 400 weist den größten Vertrauenswert auf, wenn
k in 10A den Wert 0,5 annimmt. Das
Bild 410 hat den größten Vertrauenswert,
wenn k in 10B den Wert 0,0 annimmt.
-
Die
Erfinder haben Versuche gemäß der Erfindung
vorgenommen und dabei eine intelligente Kamera verwendet. Die Systemleistung
beruhte dabei auf der Gesamterkennungsrate vollständiger Nummernschilder bei
unterschiedlichen Entfernungen und Beleuchtungseffekten. Veränderungen
der Beleuchtung wurden durch das Verändern der Linsenöffnung mit
den Blenden 2, 2,4 und 4 erzeugt. Man beachte, dass die definierte
Erkennungsrate die Anzahl der Nummernschilder bedeutet und nicht
die Anzahl der Zeichen.
-
Eine
geschlossene Schleife aus der Erkennungsstufe und der Abtrennstufe
senkt die Störanfälligkeit gegenüber Auswirkungen
von Veränderungen
in der Umgebung. Die Erfindung wird anhand deutscher Nummernschilder
vorgestellt. Die Algorithmen sind je doch allgemeingültig und
auf die Nummernschilder unterschiedlicher Länder und auch auf andere Zeichenerkennungsaufgaben
erweiterbar.
-
Beim
automatisierten Nummernschild-Erkennungssystem werden zahlreiche
Lesefehler durch eine ungenügende
Zeichenabtrennung verursacht. Die Zeichenabtrennung wird insbesondere
dann schwierig, wenn die erfassten Fahrzeugbilder ernsthaft beeinträchtigt sind.
In der Erfindung werden Computersichttechniken verwendet, und es
wird ein erkennungsgestütztes
Trennverfahren vorgeschlagen, das mit Schablonenvergleich und einem
neuronalen Netz verbunden ist. Dies verbessert die Genauigkeit des
Erkennungssystems, das darauf abzielt, Nummernschilder automatisch
zu lesen. Es werden verbesserte Algorithmen für eine auf Projektionen gestützte Abtrennung
beschrieben. In der Vorverarbeitungsstufe werden Verfahren zum Erkennen
der Schildneigung und zum Verfeinern der Position entwickelt, damit
die Daten für
die folgende Verarbeitung aufbereitet werden. Zum Abtrennen sich
berührender
Zeichen wird eine Unterscheidungsfunktion vorgestellt, die auf einer
Differentialanalyse der Zeichenkonturentfernung beruht. Eine bedingt
rekursive Abtrennung mit der Zurückführung der
Erkennung wird entwickelt, damit man einander berührende Zeichen
wirksam trennen und unterbrochenen Zeichen verschmelzen kann.
-
Beschrieben
werden bevorzugte Ausführungsformen
für ein
Zeichenabtrennungsverfahren in der Fahrzeug-Nummernschilderkennung
(die als Erläuterung
dienen sollen und nicht als Einschränkung). Fachleute können anhand
der obigen Lehren Abwandlungen und Veränderungen vornehmen. An den
besonderen offenbarten Ausführungsformen
der Erfindung können
natürlich
Veränderungen
vorgenommen werden, die in den Bereich der Erfindung fallen, der
durch die beigefügten
Ansprüche
umrissen wird.
