DE19717814B4

DE19717814B4 - Verfahren zur Segmentierung von Schriftzeichen und Symbolen auf Kfz-Kennzeichenschildern und formatierten Datenträgern sowie zur Segmentierung von Mustern in komplexen Szenen

Info

Publication number: DE19717814B4
Application number: DE19717814A
Authority: DE
Inventors: Klaus Prof. Dr. Wevelsiep; Otto Prof. Dr. Weitzel; Robert Dipl.-Ing. Gogné (FH); Rolf Dipl.-Ing. Hohmann (FH)
Original assignee: Individual
Current assignee: Transmit Gesellschaft fuer Technologietransfer mbH
Priority date: 1997-04-26
Filing date: 1997-04-26
Publication date: 2008-06-05
Anticipated expiration: 2017-04-27
Also published as: DE19717814A1

Abstract

Verfahren zur Segmentierung von verabredeten Symbolen, wie Schriftzeichen, Logos, etc. in Grauwert-, Binär- oder Farbbildern von formatierten Datenträgern, wie Kraftfahrzeug-Kennzeichenschildern, Etiketten, sonstigen Schildern oder von verabredeten Symbolen oder Schriftzeichen auf speziell für Beschriftungszwecke vorgesehenen von sonstiger Information freigehaltenen ebenen Flächen auf Gegenständen, bei welchem
a) die Bilder in einem ersten Verfahrensschritt binarisiert werden und
b) die binarisierten Bilder in einem zweiten Verfahrensschritt einer Blobanalyse unterzogen werden,
c) wobei die Grössenabmessungen der Symbole einer verabredeten, dem Segmentierungsverfahren bekannten Regel genügen,
d) und wobei ein Suchalgorithmus
– die binarisierten Bilder nach diesen Symbolen auf Grund der Kenntnis der verabredeten Eigenschaften absucht,
– nur den verabredeten Grösseneigenschaften genügende Symbole in der zufälligen oder determinierten Reihenfolge ihres Auffindens numeriert und
– anschliessend nur noch ein das grafische Abbild des Symbols enthaltendes Teilbild des ursprünglichen gesamten Szenenbildes in einem Speicher zur weiteren Auswertung bereithält,
dadurch gekennzeichnet,...

Description

1. Übersicht
Die Erfindung betrifft ein Verfahren zur Segmentierung von verabredeten Symbolen, wie Schriftzeichen, Logos, etc. in Grauwert-, Binär- oder Farbbildern von formatierten Datenträgern, wie Kraftfahrzeug-Kennzeichenschildern, Etiketten, sonstigen Schildern oder von verabredeten Symbolen oder Schriftzeichen auf speziell für Beschriftungszwecke vorgesehenen von sonstiger Information freigehaltenen ebenen Flächen auf Gegenständen gemäß dem Oberbegriff von Anspruch 1.
Die Erfindung betrifft insbesondere ein Verfahren zur Auffindung eines oder mehrerer Kraftfahrzeug-Kennzeichenschilder in einem vorzugsweise monochromen Grauwert- oder Binärbild, in Erweiterung des Verfahrens auch in einem Farbbild, das im Online-Betrieb direkt von einer elektronischen Kamera, oder alternativ im Offline-Betrieb als Datenfile aus einem Massenspeicher, wie z.B. der Festplatte eines Rechners, dem Verfahren bereitgestellt wird.
Verfahren zum Auffinden von verabredeten Symbolen, zum Trennen der Symbole voneinander und zum Trennen vom Hintergrund, d.h. zum Segmentieren von verabredeten Symbolen auf beliebig strukturiertem Hintergrund sind bekannt.
WO 87/07057 A1 offenbart beispielsweise eine Vorrichtung und ein Verfahren zum Lesen eines Nummernschildes. Dessen Bild wird dabei unter Verwendung von Gruppen von vorbestimmten Kriterien identifiziert und überprüft. Ferner wird die Nummernschildnummer und ein gegebenenfalls vorhandenes Staatslogo bzw. Nationalitätenkennzeichen analysiert, um die Nummer zu lesen und den Staat identifizieren zu können. Ein Algorythmus ermittelt dabei die Häufigkeit von Hell/Dunkel-Übergängen in ausgesuchten Ortsbereichen eines Pixel-Bildes sowie aus der für Schriftzeilen typischen Häufigkeit einen wahrscheinlichen Ortsbereich für die Existenz einer Textzeile. Das Verfahren basiert mithin auf der Auswertung örtlich variabler Ortsfrequenzen. Da diese Suche allein jedoch nicht als ausreichend sicher für die Auffindung der ein Nummernschild darstellenden Textzeile angesehen wird, müssen in der Umgebung zusätzliche, für ein Nummernschild wichtige Zusatzmuster (hier das Staatslogo) zur Verifikation herangezogen werden.
US 5,408,537 beschreibt ein Verfahren zur Kontrolle der Ausrichtung von Kontaktstiften, die auf Steckkarten (gedruckten Schaltungen) angeordnet sind. Eine CCD-Kamera nimmt aus einer Richtung parallel zu den Kontaktstiften ein digitales Bild auf. Dieses Bild wird anschließend gefiltert, binarisiert und einer Blobanalyse unterzogen, um Reihen von Blobs zu ermitteln, die Reihen von Kontaktstiften repräsentieren. Die Eigenschaften und Abstände der Blobs werden mit vordefinierten Kriterien (verabredeten Eigenschaften) verglichen, um Stiftfehler zu ermitteln. Als defekt identifizierte Kontaktstifte werden auf einem Monitor und in einem Ausdruck markiert. Man kann die Informationen aber auch für spätere Qualitätskontrollen oder Reparaturen elektronisch an eine zentrale Datei senden.
Von Nachteil hierbei ist, daß an Kamera und Optik hohe Anforderungen zu stellen sind, um die große Anzahl der meist sehr eng liegenden Kontaktstifte überhaupt in verwertbaren Bildern erfassen zu können. Im Übrigen erschöpft sich das offenbarte Verfahren in der Feststellung, ob die zu prüfenden Kontaktstifte dort liegen, wo sie aufgrund einer vorgegebenen Stiftanordnung erwartet werden, d.h. ob die Abmessungen und die Schwerpunktlagen der ermittelten Blobs den vorgegebenen Kriterien entsprechen.
US 4,783,829 offenbart eine Vorrichtung zur Objekterkennung, insbesondere eine Vorrichtung zum Erkennen von Grundrissen von Objekten, wobei Bilddaten binarisiert und anschließend mittels einer Blobanalyse ausgewertet werden. Das gesamte Verfahren beruht jedoch maßgeblich auf der Ermittlung der Umrisse eines Objekts mittels einer Polygon-Approximation („polygon pattern matching method").
Aufgabe der Erfindung ist es, ein Verfahren zur Segmentierung von verabredeten Symbolen zu schaffen, das mit einfachen Mitteln und einfacher Ausstattung kostengünstig durchführbar ist. Angestrebt wird insbesondere eine hohe Verarbeitungsgeschwindigkeit. Das Verfahren soll ferner universell einsetzbar sein und selbst unscharfe Abbildungen verarbeiten können.
Ausgehend von einem Verfahren zur Segmentierung von verabredeten Symbolen, wie Schriftzeichen, Logos, etc. in Grauwert-, Binär- oder Farbbildern von formatierten Datenträgern, wie Kraftfahrzeug-Kennzeichenschildern, Etiketten, sonstigen Schildern oder von verabredeten Symbolen oder Schriftzeichen auf speziell für Beschriftungszwecke vorgesehenen von sonstiger Information freigehaltenen ebenen Flächen auf Gegenständen, bei welchem die Bilder in einem ersten Verfahrensschritt binarisiert werden und die binarisierten Bilder in einem zweiten Verfahrensschritt einer Blobanalyse unterzogen werden, wobei die Grössenabmessungen der Symbole einer verabredeten, dem Segmentierungsverfahren bekannten Regel genügen, und wobei ein Suchalgorithmus die binarisierten Bilder nach diesen Symbolen auf Grund der Kenntnis der verabredeten Eigenschaften absucht, nur den verabredeten Grösseneigenschaften genügende Symbole in der zufälligen oder determinierten Reihenfolge ihres Auffindens numeriert und anschließend nur noch ein das grafische Abbild des Symbols enthaltendes Teilbild des ursprünglichen gesamten Szenenbildes in einem Speicher zur weiteren Auswertung bereithält, sieht die Erfindung als Lösung vor,

– dass nach dem Absuchen der binarisierten Bilder nach Symbolen, die den verabredeten Eigenschaften genügen, eine Dilatation und eine nachfolgende Erosion (Closing) durchgeführt wird,
– dass im Anschluß an die Blobanalyse eine Konnektivitätsanalyse durchgeführt wird,
– wobei von jedem der in der beschriebenen Weise gefundenen und gespeicherten Symbole der örtliche Abstand zu jedem anderen gefundenen Symbol bestimmt wird,
– wobei der gegenseitige Abstand der nicht miteinander verbundenen Symbole in einer Zeile und ggf. der Abstand mehrerer Zeilen aus diesen Symbolen einer dem Segmentierungsverfahren bekannten Regel genügen,
– wobei die ermittelten örtlichen Abstände in Kombination mit den laufenden Nummern der jeweils beteiligten Symbole in einer Liste (Konnektivitätsliste) erfasst werden,
– wobei die Einträge der Konnektivitätsliste mit den vorab gespeicherten örtlichen Abstandsmerkmalen, welche die Geometrie sinnvoller Symbolpositionen (Formatvorschrift) auf dem Datenträger oder der für die Beschriftung vorgesehenen Fläche auf einem Gegenstand beschreiben, verglichen werden,
– wobei Symbolen, deren horizontaler Abstand nicht größer ist als ein definierbarer Wert, zusätzlich zur laufenden Nummer ein Clusterlabel zugewiesen wird, wobei Symbole mit gleichen Clusterlabeln zu Zeichengruppen (Clustern) zusammengefaßt werden,
– und wobei im Falle der Übereinstimmung der erstellten Konnektivitätsliste mit der Formatvorschrift die bezüglich ihrer örtlichen Position der Formatvorschrift genügenden Symbole in einer geordneten Reihenfolge einer logischen Schnittstelle (Datenstruktur oder Datenfile) so zugeführt werden, dass eine Dekodierung, d.h. die Umsetzung der Symbol-Teilbilder in zugeordnete ASCII-Zeichen möglich ist.

Mit dem erfindungsgemäßen Verfahren lassen sich Kfz-Kennzeichen oder andere Beschriftungen erkennen, ohne daß weitere oder zusätzliche Information wie z.B. Logos oder Zusatzmuster notwendig wären. Auch müssen die zu analysierenden Bilder keinen bestimmten Qualitätsmerkmalen genügen. Die Bilder lassen sich vielmehr mit einer handelsüblichen CCD-Kamera aufnehmen. Aufwendige Beleuchtungsanlagen oder besondere Lichtquellen sind nicht erforderlich. Die von der Kamera erfaßten Bilder können direkt verarbeitet werden.
Darüber hinaus ist das Verfahren geeignet, auch andere in abgesprochener formatierter Weise dargebotene Schriftzeichen oder verabredete grafische Symbole, z.B. Firmenlogos, so zu segmentieren, d.h. ihre Position auf dem Datenträger zu finden, sie voneinander und vom Hintergrund zu trennen, dass sie anschliessend in einer Konnektivitätsprüfung auf ihre gegenseitige geometrische Zuordnung geprüft werden können. Im Falle einer in diesem Sinne korrekten Detektierung eines Datenträgers werden die Schriftzeichen oder Symbole als grafisches Muster an einer logischen Schnittstelle für die weitere Dekodierung (Zeichenerkennung, Umsetzung in ASCII-Zeichen) in geordneter Reihenfolge übergeben.
Das Verfahren benutzt im Gegensatz zu bekannten Verfahren, die ausgehend von einer Ortsfrequenzanalyse Bereiche mit hohen Ortsfrequenzen (also „vielen" Hell-Dunkelübergängen in einem gegebenen Ortsbereich) auf das Vorhandensein von Schrift oder ähnlichen Symbolen im ansonsten eher wenig strukturierten Bild, wie es z.B. im Falle eines Kraftfahrzeughecks vorliegt, oder mit neuronalen Netzen, welche auf die globale Pixelstruktur eines Kfz-Kennzeichenschildes trainiert sind [Föhr/Raus 94], als neuartigen Ansatz eine Kombination aus Blobanalyse [MATROX1 94, MATROX2 94] und Konnektivitätsanalyse. Diese Verfahren sind Schwerpunkt des Patentbegehrens und werden weiter unten detailliert beschrieben.
Das erfindungsgemässe Verfahren beruht in diesem Sinne auf 3 nacheinander ablaufenden Verfahrensschritten:

(1) – Binarisierung des in der Regel monochromen Grauwertbildes der dargebotenen Bildszene, die im Falle der Anwendung des Verfahrens zur Kfz-Kennzeichenerkennung die Vorder- oder Rückfront eines Kraftfahrzeuges zeigt. Auch die speziell in diesem Fall verwendete Methodik zur Ermittlung der Digitalisierungsschwelle ist Bestandteil des Patentbegehrens.
(2) – Blobanalyse des so erhaltenen Binärbildes, mit dem Ziel, „Blobs", also zusammenhängende Strukturen von Objekten beschreibende Pixel (im vorliegenden Falle „schwarzer” Pixel) vorgegebener geometrischer Eigenschaften (z.B. Abmessungen umschriebener Rechtecke, Bereich zulässiger Pixelanzahl) zu finden, welche die typischen Eigenschaften von Schriftzeichen auf Kennzeichenschildern (bzw. Etiketten oder ähnlichen Datenträgern bei Anwendungen in Produktion und Logistik) erfüllen. Die ermittelten Blobs werden numeriert und unter Angabe ihrer Eigenschaften, insbesondere ihrer Ortskoordinaten, gespeichert. Dabei werden mit hoher Wahrscheinlichkeit auch Blobs von Mustern erfasst, die nicht Bestandteil des gesuchten Kennzeichens oder sonstigen Datenträgers sind. Aus diesem Grunde ist der nächste Verfahrensschritt von entscheidender Bedeutung:
(3) – Konnektivitätsanalyse, welche das auf den jeweiligen nationalen Normen für Kraftfahrzeug-Kennzeichenschilder [Diplom 95], [DIN 96] basierende grafische Layout und die daraus sich ergebenden Regeln für die gegenseitige Position der Schriftzeichen oder sonstigen Symbole berücksichtigt. Hierbei werden, wie in Schritt (2) bereits ausgeführt, nur noch solche Blobs aus der Menge aller in der Bildszene gefundenen Blobs ausgewählt, die diesem Regelwerk entsprechen. Sinngemäss wird bei einer Anwendung des Verfahrens zur Erfassung von Etiketten oder ähnlichen Datenträgern vorgegangen, d.h. ein Regelwerk über das grafische Layout der Da tenträger muss bekannt sein. Als Ergebnis dieses letzten erfindungsgemässen Verfahrensschrittes liegen grafische Abbilder der segmentierten und auf Konnektivität geprüften Zeichen bzw. Symbole an einer verabredeten logischen Schnittstelle (Datenstruktur oder Datenfile) vor.

Der nächste sich logisch anschliessende Verfahrensschritt ist die Zeichenerkennung, d.h. die Umsetzung des grafischen Abbildes der segmentierten Zeichen oder Symbole in eine Folge von ASCII-Zeichen. Diese Technik ist nicht Gegenstand der Anmeldung – hier wurde in den weiter unten beschriebenen Pilotinstallationen das in DE 195 07 059 [Wev 97] beschriebene neuronale Erkennungsverfahren verwendet.
2. Bisher realisierte Anwendungen
Das nachfolgend bezüglich der Verfahrensschritte (1)...(3) detailliert beschriebene erfindungsgemässe Verfahren wurde bisher in folgenden Pilotinstallationen getestet:

– Online-Anwendung in einem Parkhaus zur Erkennung von israelischen Kfz-Kennzeichen [Diplom 95] mit folgenden technischen Eigenschaften: – Grauwertbilderfassung mit handelsüblicher CCD-Kamera 720×558 Pixel, Auflösung ca. 2mm/Pixel, Beleuchtung aus ca. 2m Höhe, Lichtbündel parallel zur Blickrichtung der Kamera – Pentium PC, Takt 90 MHz, PCI-Bus – monochromer Frame-Grabber (Fabrikat MATROX,Comet) – C-Compiler (WATCOM V10.0) – Erfassungszeit ca 0,1 ... 0,2 s
– Offline-Anwendung in der Fachhochschule Giessen-Friedberg zum Test des Verfahrens bei der Erkennung der neuen deutschen Euro-Kfz-Kennzeichen [Diplom 96] mit folgenden Eigenschaften: – Grauwertbilderfassung, Auflösung 720×558 Pixel entsprechend einer abgebildeten Zeichenhöhe von 45 ... 55 Pixel, Bilder von Kfz-Kennzeichen wurden mit handelsüblichem Fotoapparat und DX100-Farbfilm unter Tageslichtbedingungen aufgenommen, die entwickelten Bilder wurden unretouschiert mit einer handelsüblichen CCD-Kamera eingelesen und als Datenfile gespeichert.

3. Weitere Anwendungen und Vorteile des Verfahrens
Beispielhafte Anwendungen des erfindungsgemässen Verfahrens, die über die vorstehend geschilderten Anwendungen hinausgehen sind:

– Automatisierte Suche nach gestohlenen Kfz, indem eine im Rechner abgespeicherte Liste gesuchter Kennzeichen fortlaufend mit vom Verfahren entdeckten Kennzeichen verglichen wird. Das Verfahren ist vorteilhaft anwendbar, da die Suche auch das grafische Layout von Kennzeichen berücksichtigen kann, um im dichten Verkehrsfluss einen höheren Durchsatz zu bekommen, indem eine nicht erfolgversprechende Suche schnell abgebrochen werden kann. Auch aus datenschutzrechtlichen Gründen ist der Einsatz vorteilhaft, da keine Speicherung irrelevanter Kennzeichen erfolgen muss.
– Anwendung in Qualitätssicherungssystemen : Blob-Analyse und Konnektivitätsprüfung unterstützt durch eine intuitiv bedienbare Benutzeroberfläche qualifizieren das Verfahren auch für kleine Losgrössen, bei Aufgaben, in denen gleichzeitig Grafik und Schrift erkannt werden müssen.
– Anwendung in der automatisierten Montage, da vom Verfahren sowohl durch Blobs beschriebene Muster der zu montierenden Teile, als auch deren gegenseitige Position als logische Konnektivität verarbeitet werden können.
– Aufgaben der Zielerfassung, bei denen das erwartete Ziel in Form und Grösse nur annähernd beschrieben werden kann – d.h. wo Korrelationsverfahren versagen – lassen sich mit dem erfindungsgemässen Verfahren durch Definition geigneter Blobs und ihre gegenseitige örtliche Anordnung lösen. Dies gilt insbesondere für Wärmebilder, bei denen das Ziel ohnehin eher unscharf abgebildet wird. In diesem Sinne typische Anwendungen sind die Beobachtung terrestrischer Gefechtsszenen und die Beobachtung, bzw. Verfolgung von Flugkörpern, bei denen das Verfahren vorteilhaft zur Ausblendung von durch Täuschung erzeugten Scheinzielen anwendbar ist. So lassen sich in Strahlungsintensität und örtlicher Ausdehnung erwartete Scheinziele durch angepasste Blobs grob pauschal beschreiben und die Konnektivität in Bezug auf das eigentliche Ziel auf der Basis ausgewerteter oder simulierter früherer Szenen logisch so verwenden, dass ein menschlicher Beobachter vom System Vorschläge zur finalen Zielauswahl bekommt. Sich selbst lenkende Flugkörper können auf diese Weise die Maskierung eines bereits aufgefassten Zieles erkennen und während der Dauer dieser Täuschung einen aus der bereits zurückgelegten Flugstrecke extrapolierten Kurs verfolgen, um nach Passieren des Ortes der Täuschung das Bild des Zieles wieder auffassen zu können.

TECHNISCHE DETAILS DES ERFINDUNGSGEMÄSSEN VERFAHRENS
In Kapiteln 4, 5, 6 sind die für das Patentbegehren wesentlichen technischen Einzelheiten des Verfahrens aus der an der FH Giessen-Friedberg durchgeführten Diplomarbeit [Diplom 96], siehe Offline-Anwendung Kapitel 2, niedergelegt. Blobanalyse und Konnektivitätsprüfung werden hierbei am Beispiel der Erkennung von Kfz-Kennzeichen gezeigt. Als Ergebnis der Szenenverarbeitung erhält man Teilbilder, die nur noch die Grafik der erfassten Schriftzeichen zur Übergabe an einen Zeichendekoder enthalten. Erfindungsgemäss wird bei Anwendungen in Produktion und Logistik ebenso verfahren, wobei neben Schriftzeichen auch andere grafische Symbole, z.B. Firmenlogos, etc. vorkommen können. Ein nachfolgender Zeichendekoder wird diesen Symbolen ebenfalls eine verabredete Bedeutung zuordnen.
Entsprechendes gilt für die weiteren Anwendungen aus Kap. 3, in denen nur grafische Symbole (Teilemuster, Zielblobs) und deren Konnektivität vom Dekoder, bzw. Zielextraktor berücksichtigt werden müssen.
Die im folgenden zitierten Bilder wurden vom Rechenprogramm, welches das Verfahren realisiert, ausgedruckt und werden unretuschiert anschliessend an Kapitel 7 wiedergegeben. Die für das Verfahren typischen Abläufe, insbesondere die Blobanalyse, wurden unter Benutzung der MIL-Library von MATROX [MATROX1 94], [MATROX2 94] simuliert. Es ist erfindungsgemäss vorgesehen, bei höherer Anforderung an die Erkennungsgeschwindigkeit hierfür Hardware auf der Basis benutzerspezifisch programmierbarer Hardware (etwa Field Progammable Gate Arrays) einzusetzen.
Die in Kapiteln 4, 5, 6 genannten Programmnamen und die dort aufgeführten C-Funktionen stammen ebenfalls aus dem erwähnten Programm der zitierten Diplomarbeit [DIPLOM 96].
Zur detaillierten Dokumentation der wichtigsten Verfahrensschritte wird der entsprechende Programmcode in die Beschreibung aufgenommen.
In Bild 1 ist in einer Übersicht der Aufbau eines vollständigen Erkennungssystems dargestellt. Der Ablauf des erfindungsgemässen Verfahrens kann beispielsweise durch eine Induktionsschleife ausgelöst werden, ein vorteilhaftes Verfahren, um sicherzustellen, dass die aufgenommenen Bilder stets aus gleichem Abstand aufgenommen werden und somit die Kennzeichen im Bild stets mit annähernd gleicher Zeichenhöhe vorliegen.
4. Informationsreduktion
4.1 Die Binarisierung
4.1.1 Vorgehensweise
Der erste Bearbeitungsschritt der Segmentation, der zu einer erheblichen Informationsreduktion führt, ist die Binarisierung. Es geht hierbei allgemein um eine Schwellwertbestimmung, bei der das Grauwertbild in ein Bild transformiert wird in dem nur noch zwei diskrete Grauwerte existieren (Grauwert 0 = schwarz und Grauwert 255 = weiß). Man spricht hierbei von einem Binärbild. Nach der Binarisierung ordnet man dem Grauwert 255 eine 1 zu um die Zweiwertigkeit besser zu verdeutlichen. Es ist leicht ein- zusehen, daß bei einer ungünstigen Schwellwertbestimmung Information verloren gehen kann, die für die weitere Bearbeitung von Bedeutung ist. Desweiteren ist es unmöglich bei einem unzureichend erzeugten Grauwertbild eine Binarisierungsschwelle zu finden, bei der ausschließlich uninteressante Information verloren geht.
All diese Aspekte führen dazu, daß bei der Binarisierung des Grauwertbildes eines Kraftfahrzeughecks die Binarisierungsschwelle nach einer bestimmten Methode zu suchen ist. Diese Methode wird im folgenden beschrieben. Bild 4.1 zeigt das Grauwertbild eines Kraftfahrzeuges. Die durch den Laboraufbau erzeugten Bilder unterscheiden sich grundsätzlich in ihrem Kontrast und in ihrer Helligkeit. Bei Aufnahme der Fahrzeuge durch die in Kapitel 2 (Offline) beschriebene Methode ist die Gewissheit nicht gegeben, daß mit der richtigen Beleuchtung gearbeitet wird. Dies zeigt sich bei der Aufnahme der Fotos mit der CCD-Kamera des Laboraufbaus. Die fehlende Beleuchtung bei der Aufnahme der Fotos kann hier nur noch geringfügig verbessert werden. Auch zeigen sich erst hier Schatten innerhalb der Szene, die bei der Binarisierung störend auf die Informationsreduktion wirken.
Bild 4.2 zeigt eine erfolgreich durchgeführte Binarisierung bei der die Binarisierungsschwelle richtig gewählt wurde. In Bild 4.3 ist deutlich zu sehen welche Ausmaße eine schlecht gewählte Schwelle oder eine Schattenbildung durch ungünstige Beleuchtung zur Folge hat.
Es stellt sich nun die Frage inwiefern die richtige Binarisierungsschwelle gefunden werden kann. An dieser Stelle geht der Weg über die Histogrammbildung. Hierbei werden die Häufigkeiten der einzelnen Grauwerte aus einem Bild in einem Diagramm aufgetragen. Aus diesem Diagramm lassen sich Merkmale feststellen, die charakteristisch für dieses Grauwertbild sind. Diese Merkmale sind für die Binarisierung von Vorteil, da man aus ihnen heraus eine optimale Schwelle finden kann. Die Häufigkeit eines Grauwertes berechnet sich nach folgender Formel:
Formel 4.1 Häufigkeit eines Grauwertes g

mit g = Grauwert und L = Länge bzw. R = Breite des Grauwertbildes

Betrachtet man das Histogramm eines Grauwertbildes wie in Bild 4.4 dargestellt, so erkennt man links und rechts vom Grauwert 128 einen maximalen Häufigkeitswert. Der Abstand dieser zwei "Peaks" bietet den besten Kontrast für das betreffende Grauwertbild, bei dem am wenigsten Information durch die Binarisierung verloren geht. Diese zwei maximalen Häufigkeitswerte sind auch bei einer Histogrammbildung im Bild 4.5 zu beobachten, die nur aus dem Bereich des Kennzeichenschildes des Kfz resultiert.
Es ist weiter zu sehen, daß diese maximalen Häufigkeiten in beiden Histogrammen an ungefähr den gleichen Stellen liegen.
Im Experiment mit mehreren Grauwertbildern kommt man immer wieder zu dem gleichen Ergebnis. Auch durch ledigliches Hinsehen der eingescannten Bilder erkennt man, daß der beste Kontrast im Bereich des Kennzeichenschildes liegt. Auf der Basis dieser Experimente ist es legitim zu sagen, daß die bestmögliche Binarisierungsschwelle genau zwischen den beiden maximalen Häufigkeiten liegen muß. Man erreicht hierdurch eine adaptive Schwelle, die sich den schlechten Gegebenheiten der Grauwertbilder bis zu einem gewissen Grad anpasst. Darunter fallen unter- und überbelichtete Bilder, die sich in ihrem Kontrast stark unterscheiden. Auch hier jedoch ist festzustellen, dass die dynamische Schwelle kein Mittel sein kann, aus einem unzureichend aufgenommenden Bild die wesentliche Information noch retten zu können. Sie ist lediglich dafür gedacht, eine gewisse Toleranz bei der Bildaufnahme zu gewährleisten.
4.1.2 Die Binarisierung als C-Funktion
Die vorherigen Überlegungen realisieren sich folgend im Quellcode: (WATCOM – C/C++ Version 10.0)
4.2 Das Closing
4.2.1 Beschreibung
Im Anschluß an die Binarisierung erfolgt das Closing. Es handelt sich dabei um eine aufeinander folgende Anwendung von zwei Algorithmen (der Dilatation und Erosion) zur Binärbild-Ortsfilterung. Der generelle Oberbegriff für diese Operation ist mathematische Morphologie. Es werden einzelne Störpixel eliminiert, die durch die Bildaufnahme entstehen können. Dies ist insofern von Bedeutung, da im darauffolgenden Bearbeitungsschritt Blobanalyse zusammengehörige Pixel gesucht und als sogenannter Blob markiert werden.
Dieser Algorithmus interpretiert auch jedes einzelstehende Pixel als ein Blob. So kann sich die Bearbeitung des Binärbildes durch vorhandene Störpixel um einiges verlängern. Desweiteren werden Kanten von Objekten durch das Closing geglättet. Dies wirkt sich sicherlich positiv bei der Erkennung der einzelnen Zeichen aus. Aus diesem Grund ist es nur von Vorteil, ein Zweiwertbild vor der Blobanalyse mit dieser Operation zu bearbeiten [MATROX2 94]. Im Bild 4.6 ist das Flußdiagramm des Closing dargestellt. Im Punkt 4.2.2 und 4.2.3 sind die im Bild 4.6 erwähnten Verfahren Dilatation und Erosion beschrieben.
4.2.2 Die Dilatation
Bei der Dilatation handelt es sich um eine ODER-Verknüpfung bei der ein Pixel mit den Koordinaten s(x,y) den Wert 1 erhält wenn in seiner achter Nachbarschaft eine oder mehrere "Einsen" auftreten. In Formel 4.2 ist die Boole'sche Verknüpfung als Beschreibung der Dilatation gezeigt.
Formel 4.2
Durch diese Verknüpfung behält ein Bildpunkt mit s(x,y) = 1 in S' seinen Grauwert, während ein Bildpunkt s(x,y) = 0 in S' den Grauwert 1 erhält, wenn in seiner Nachbarschaft eine 1 auftritt. Dies bewirkt die Vergrößerung (Expansion) aller Flächen mit dem Grauwert 1 (hier: Hintergrund) um einen Rand der Breite eines Bildpunktes. Außerdem werden kleine Flächen mit dem Grauwert 0 eliminiert.
4.2.3 Die Erosion
Die Erosion ist die entgegengesetzte Operation zur Dilatation. Bei diesem Algorithmus handelt es sich um eine UND-Verknüpfung, bei der ein Pixel mit den Koordinaten s(x,y) nur dann den Wert 1 erhält, wenn in seiner achter Nachbarschaft alle Pixel eins sind. Auch hier ist in Formel 4.3 die Boole'sche Verknüpfung als Beschreibung gezeigt.
Formel 4.3
Die Operation wirkt sich insofern aus, daß alle Flächen mit dem Grauwert 1 um einen Rand der Breite eines Bildpunktes verkleinert werden (Kontraktion). Ein Bildpunkt mit s(x,y) = 0 behält in S' seinen Grauwert, während s(x,y) = 1 in S' nur dann den Grauwert 1 behält, wenn alle Nachbarn den Grauwert 1 besitzen.
4.2.4 Anmerkungen zum Closing
Das Quellbild S(x,y) kann durch die inverse Operation der Dilatation bzw. Erosion nicht mehr reproduziert werden. Das ist von daher verständlich, da ja z.B. isolierte Bildpunkte mit s(x,y) = 0 bei der Dilatation eliminiert werden und bei der Erosion nicht mehr auftauchen. Durchgehende Linien in einem Binärbild können durch das Closing aufgerissen werden. Das kann bei einem schlecht aufgenommenen, binarisierten Grauwertbild der Fall sein. Hier könnte ein Closing ein Zeichen trennen und so für die nachfolgende Bearbeitung unkenntlich machen. Andererseits kann das Closing zwei Objekte, die sich berühren, trennen. Im Zuge der Blobanalyse, die nachfolgend beschrieben wird, ist es von Vorteil, das Binärbild einem Closing zu unterziehen, um bei der Blobanalyse vernüftige Ergebnisse zu erzielen.
Im Bild 4.7 ist sehr gut zu sehen, daß das Binärbild nach dem Closing etwas „ruhiger" aussieht. Es existieren nur noch größere Pixelgruppen, die von der anstehenden Blobanalyse erkannt werden.
4.2.5 Das Closing als C-Funktion
Hier besteht der Quellcode nur aus einem Funtionsaufruf aus den C-Bibliotheken der Firma Matrox, die diese Bildverarbeitungsalgorithmen zur Verfügung stellen:
4.3 Die Blobanalyse
4.3.1 Beschreibung
Die Blobanalyse ist ein Bereich der Bildverarbeitung, der es ermöglicht verschiedene Objekte, die von Interesse sind, zu vermessen und zu klassifizieren. Diese Objekte bezeichnet man hierbei als Blobs. Es werden darunter Bereiche von sich berührenden Pixeln verstanden, die den gleichen logischen Grauwert haben. Diesem logischen Grauwert ordnet man den Vordergrund des Binärbildes zu wobei der zweite Grauwert demzufolge als Hintergrund definiert wird. In vielen Applikationen besteht das Interesse ausschließlich an Blobs, die gewisse Kriterien und bestimmte Abmessungen erfüllen. Die Firma Matrox stellt eine leistungsfähige Blobanalyse zur Verfügung mit der die verschiedensten Einstellungen in Bezug auf Abmessungen der Blobs, Flächeninhalte der Blobs und vielen weiteren Merkmalen realisiert werden können. Dieser Algorithmus wird im folgenden verwendet, um eine weitere Informationsreduktion zu erreichen. Es sollen nach der Bearbeitung nur noch Pixelgruppen vorhanden sein, die den zuvor definierten Horizontal- und Vertikalabmessungen entsprechen.
4.3.2 Vorgehensweise
Vor der Durchführung der Blobanalyse wird mit dem MIL-Befehl MblobSelectFeature eine Merkmalliste angefertigt. Es werden die Merkmale für die Numerierung der Blobs (M_LABEL_VALUE) und die Ermittlung der minimalen und maximalen Koordinaten sowie den maximalen horizontalen und vertikalen Durchmesser der Blobs (M_BOX) in diese Liste aufgenommen.
MblobSelectFeature(MilBlobFeatList,M_LABEL_VALUE);
MblobSelectFeature(MilBlobFeatList,M_BOX);
Die eigentliche Blobanalyse erfolgt dann durch den Befehlsaufruf MblobCalculate.
MblobCalculate(MilOri,M_NULL,MilBlobFeatList,MilBlobResult);
Anschließend werden alle gefundenen Blobs, die nicht den Abmessungen

K_PARA_BLOBMINX=22 K_PARA_BLOBMAXX=35 (Minimale und maximale horizontale Ausdehnung des Blobs)
K_PARA_BLOBMINY=25 K_PARA_BLOBMAXX=55 (Minimale und maximale vertikale Ausdehnung des Blobs)

Es zeigt sich, daß nach der Blobanalyse überwiegend nur noch Pixelgruppen vorhanden sind, die zu einem Kraftfahrzeugkennzeichen gehören. Es läßt sich daran erkennen, daß bei einem binarisierten Grauwertbild, dessen Szene ein Kfz-Heck beinhaltet, nur eine geringe Anzahl von Blobs mit diesen bestimmten Abmessungen vorhanden sind. Bild 4.8 zeigt das Binärbild nach der Durchführung der Blobanalyse.
Zur besseren Darstellung sind die verbleibenden wichtigen Blobs rot und die irrelevanten Blobs grau eingefärbt.
4.3.3 Die Blobanalyse als C-Funktion
4.3.4 Anmerkungen zur Blobanalyse
Nach der Blobanalyse liegen die einzelnen Zeichen des Kennzeichens in der Regel als separate Blobs vor. Dennoch zeigen realen Szenen oft einige Besonderheiten, die verhindern, daß alle Zeichen als Blobs vorliegen. Als problematisch hat sich insbesondere die Anbringung des Kennzeichens am Fahrzeug herausgestellt. In vielen Fällen werden Befestigungsschrauben direkt durch das Blech des Kennzeichens gesteckt. Die Schraubenköpfe befinden sich in einigen Fällen zwischen zwei Zeichen des Kennzeichens und erscheinen erheblich dunkler als die weiße Reflexionsfolie. Im ungünstigsten Fall berührt der Schraubenkopf zwei Zeichen. Nach der Binarisierung erscheinen diese beiden Zeichen verbunden. Ähnliches gilt für Schraubenköpfe, die direkt in einem Zeichen stecken und hell erscheinen. Nach der Binarisierung erscheint so ein Zeichen möglicherweise unterbrochen (Bild 4.9). Generell ist anzumerken, daß auch starke Verunreinigungen zu schlechten Binarisierungsergebnissen führen. Die aus diesen Bildern resultierenden Blobs werden dann aufgrund zu großer oder zu kleiner Abmessungen verworfen und das Kennzeichen kann nicht gefunden werden.
4.3.5 Indizierung der verbleibenden Blobs
Die Numerierung der Blobs in der MIL-Ergebnisliste ist durch das Eliminieren von einigen Blobs nicht mehr kontinuierlich. Für die Weiterbearbeitung ist es aber erforderlich, daß die Blobs fortlaufend numeriert werden (Indizierung). Der Grund hierfür liegt in der Tatsache, daß in den nächsten Schritten mehrere for-Schleifen zur Anwendung kommen die diese Zählindizes benötigen. Diese Indizierung geschieht mit der Funktion KSegBlobGetBlobinfos. Das Bild 4.10 zeigt die neue Numerierung der Blobs.
Die gesammelte Information der verbleibenden Blobs aus der MIL-Ergebnisliste wird mit der Funktion KSegBlobGetBlobinfos in ein Feld, bestehend aus Strukturen vom Typ blobinfomember, übertragen. Dadurch stehen diese Daten für die weitere Bearbeitung definiert und übersichtlich zu Verfügung.
Die Funktion KSegBlobGetBlobinfos ist nachfolgend aufgeführt:
5. Informationsinterpretation
5.1 Beschreibung
Bei der Interpretation wird aus der Information der verbleibenden Blobs ihre Ortsbeziehungen zueinander untersucht. Mit verschiedenen Algorithmen wird ein Bereich gesucht in dem ein Kfz-Kennzeichen sein könnte. Die Beziehungen der Blobs zueinander bezeichnet man an dieser Stelle als Konnektivität. Desweiteren wird der interessante Bereich als ROI (Region Of Interest) dargestellt. Diese ROI soll gekennzeichnet werden und jedes darin befindliche Blob einzeln abgespeichert werden. Zusätzlich wird Information über die Anzahl der Blobs und über die Zusammensetzung der einzelnen Zeichen als ein mögliches Kfz-Kennzeichen dazugefügt. Die gesammelten Daten werden in ein Feld bestehend aus Strukturen vom Typ ROIinfomember zusammengefügt. Das Kapitel 6 beschreibt diese Struktur, die als eine Schnittstelle für die Fortführung der Softwareapplikation fungiert. Es wird in den folgenden Abschnitten gezeigt, wie die verbleibenden Blobs gekennzeichnet und Regeln aufgestellt werden, um daraus eine mögliche ROI zu finden.
5.2 Vergabe von Reihenlabel
5.2.1 Vorgehensweise
Bei diesem Algorithmus wird eine Einteilung der gefundenen relevanten Blobs in Reihen vorgenommen.
Dies geschieht mit der Funktion KSegLabelRows. In Bild 5.1 ist das Ergebnis dieser Bearbeitung beschrieben. Es wird jedes einzelne Blob, angefangen bei Blob 0, als Bezugsblob betrachtet. Besitzt dieses Blob noch kein Reihenlabel, so bekommt es eine Labelnummer. Ausgehend von diesem Blob bekommt jedes weitere Blob, dessen unterster Extrempunkt in der Vertikalen nicht weiter als ±5 Pixel vom untersten Extrempunkt des Bezugsblob entfernt ist, dasselbe Reihenlabel wie das Bezugsblob. Besitzt das nächste zu betrachtende Bezugsblob schon ein Reihenlabel so wird zum danach folgenden Blob gegangen bis alle Blobs abgearbeitet sind. Diese Information des Reihenlabels für jedes Blob ist dann in der Struktur blobinfomember enthalten.
5.2.2 Die Reihenlabelvergabe als C-Funktion
5.3 Sortieren der Blobindizes innerhalb der Reihen
5.3.1 Vorgehensweise
Für die spätere Vergabe von Clusterlabeln muß die Numerierung der einzelnen Blobs innerhalb einer Reihe fortlaufend sein. Dies ist durch die Kennzeichnung der Blobs durch die MIL-Blobanalyse und die Indizierung durch die Funktion KSegBlobGetBlobinfos nicht gewährleistet. Deshalb werden mit der Funktion KSegLabelBlobsort die Blobnummern innerhalb einer Reihe sortiert. Das Bild 5.2 zeigt die neue Vergabe der Blobindizes.
Steht ein zu vergleichendes Blob in derselben Reihe wie das gerade betrachtete und ist seine horizontale Position kleiner als die des Betrachteten, werden die Indizes der am Vergleich beteiligten Blobinfostrukturen getauscht. Diese Methode nennt man Bubblesort-Verfahren.
5.3.2 Das Sortieren von Blobindizes als C-Funktion
5.4 Vergabe von Clusterlabel
5.4.1 Vorgehensweise
Als nächster Schritt der Klassifizierung bekommt jedes Blob ein Clusterlabel. Über die örtliche Zusammengehörigkeit der einzelnen Blobs zueinander werden diese zu Zeichengruppen zusammengefaßt, z.B. Landkreiskennzeichen. Beliebig viele Blobs bilden zusammen ein Cluster, wenn ihr horizontaler Abstand zueinander nicht größer als der Wert des globalen Makros K_PARA_BLOBSPACING ist. Die Voreinstellung hierfür ist ein maximaler Abstand von 15 Pixeln. Dieses Makro ist in der Header-Datei K_SETUP.H definiert. Dieses Zusammenfügen von Blobs zu einem Cluster wird für die nachfolgende Abfrage von weiteren Ortsbeziehungen benötigt. Das Bild 5.3 zeigt das Ergebnis der Clusterlabelvergabe. In dem hier gezeigten Beispiel existieren vier Cluster.
Alle relevanten Blobs werden reihenweise von links nach rechts betrachtet. Das erste Blob bekommt das Clusterlabel 1. Ist das nächste Blob in derselben Reihe und der horizontale Abstand kleiner als K_PARA_BLOBSPACING=15 (Makro mit voreingestelltem Wert in Headerdatei K_SETUP.H), so bekommt es dasselbe Clusterlabel, sonst das nächsthöhere usw. Am Ende der Funktion haben alle Blobs ein Clusterlabel. Gleiche Clusterlabel bezeichnen Blobs, die zu einer Zeichengruppe zusammengehören.
5.4.2 Die Clusterlabelvergabe als C-Funktion
5.5 Konnektivität für ein- und zweireihige Kfz-Kennzeichen
5.5.1 Vorgehensweise
Nach der Klassifizierung der übriggebliebenen Blobs werden Kombinationen von Clustern innerhalb einer Reihe für ein mögliches einreihiges Kennzeichenschild und Verknüpfungen von Clustern innerhalb von zwei Reihen für ein mögliches zweireihiges Kfz-Kennzeichen gesucht. Dabei werden die einzelnen Cluster zusätzlich überprüft, ob sie nicht eine maximale Blobanzahl überschreiten.
Nach der StVZO Anlage Va sind nicht mehr als acht Zeichen (Buchstaben und Ziffern) auf einem Kennzeichenschild zulässig. Die Anzahl der Zeichen innerhalb der einzelnen Zeichengruppen ist nicht in der StVZO festgelegt. Deshalb werden hier Erfahrungswerte angenommen. Für die Landkreiskennzeichnung werden in der Regel maximal drei Zeichen verwendet. An der Stelle der Unterscheidungsbuchstaben in der Mitte des Kennzeichen sind maximal zwei Zeichen vorgesehen. Für die Unterscheidungszahlen werden maximal vier Ziffern eingesetzt. In Bild 5.4 ist gezeigt, was diese Vorschriften für die Anzahl der Blobs innerhalb eines Clusters bedeutet.
Diese Regeln sind folgend als C-Funktion realisiert:
Die Abfrage der Landkreiskennzeichnung:
Die Abfrage der Unterscheidungsbuchstaben:
Die Abfrage der Unterscheidungszahlen:
Die Abfrage für die maximale Zeichenanzahl:
5.6 Konnektivität für einreihige Kfz-Kennzeichen
5.6.1 Vorgehensweise
Bei der Konnektivität zwischen den einzelnen Clustern werden mögliche einreihige und zweireihige Kfz-Kennzeichen gesucht. In diesem Abschnitt wird der Algorithmus für die Konnektivität für einreihige Kfz-Kennzeichen beschrieben. Nachfolgend im Abschnitt 5.7 ist die Konnektivität für zweireihige Kfz-Kennzeichen dargestellt.
Bei der Konnektivität für einreihige Kfz-Kennzeichen werden drei Cluster gesucht, die dasselbe Reihenlabel haben. Ist diese Bedingung erfüllt, werden
die horizontalen Abstände vom ersten zum zweiten Cluster und vom zweiten zum dritten Cluster gemessen. Ist der erste Abstand nicht größer als das Makro K_PARA_ONE_SPACE1=50
und der zweite Abstand nicht größer als das Makro K_PARA_ONE_SPACE2=49
wird dieser Bereich als mögliches Kfz-Kennzeichen markiert. Die Makros mit voreingestellten Werten für die maximalen Abstände sind in der Headerdatei K_SETUP.H definiert. In Bild 5.5 sind die zu überprüfenden Abstände graphisch dargestellt.
5.6.2 Die Konnektivität für einreihige Kfz-Kennzeichen als C Funktion
5.7 Konnektivität für zweireihige Kfz-Kennzeichen
5.7.1 Erläuterung
Die Konnektivität für zweireihige Kfz-Kennzeichen teilt sich in die Funktionen KSegConnTwoUpCheck und KSegConnTwoDownCheck auf. Dies geschieht aus der Tatsache heraus, daß zwei verschiedenartige zweireihige Kfz-Kennzeichen existieren. Der Unterschied der zwei Kfz-Kennzeichen wird nachstehend veranschaulicht.

Typ I: zweireihiges Kennzeichen mit Landkreiskennzeichen in der ersten Reihe und allen weiteren Zeichen in der zweiten Reihe.
Für dieses Kfz-Kennzeichen ist die Funktion KSegConnTwoUpCheck zuständig.

Typ II: zweireihiges Kennzeichen mit Landkreiskennzeichen und Unterscheidungsbuchstaben in der ersten Reihe und Unterscheidungszahlen in der zweiten Reihe.
Hierfür ist die Funktion KSegConnTwoDownCheck maßgebend.
Bei der Suche nach zweireihigen Kennzeichen wird bei beiden Funktionen generell so vorgegangen, daß zwei Cluster gesucht werden, die das gleiche Reihenlabel haben und benachbart sind. Danach wird der horizontale Abstand dieser benachbarten Cluster (Zweiergruppe) vermessen. Dieser Abstand darf den Wert K_PARA_ONE_SPACE1=50 (Makro mit voreingestelltem Wert in K_SETUP.H) nicht übersteigen. Das weitere Vorgehen ist in beiden Algorithmen unterschiedlich und wird im folgenden beschrieben.
5.7.2 Beschreibung der Funktion KSegConnTwoUpCheck
Es wird ermittelt, ob der vertikale Abstand zwischen der Zweiergruppe und einem dritten Cluster oberhalb der Zweiergruppe kleiner als K_PARA_TWO_SPACE1=27 ist. Das voreingestellte Makro ist in der Headerdatei K_SETUP.H definiert. Dieses Cluster muß sich vollständig und allein innerhalb des horizontalen Bereichs befinden, der durch die Zweiergruppe begrenzt wird. Diese Begrenzungen sind im Bild 5.6 dargestellt.
5.7.3 Die Funktion KSegConnTwoUpCheck als Quellcode
5.7.4 Beschreibung der Funktion KSegConnTwoDownCheck
Es wird ermittelt, ob der vertikale Abstand zwischen der Zweiergruppe und einem dritten Cluster unterhalb der Zweiergruppe kleiner als K_PARA_TWO_SPACE1=27 ist. Das voreingestellte Makro ist in der Headerdatei K_SETUP.H definiert. Dieses Cluster muß sich vollständig und allein innerhalb des horizontalen Bereichs befinden, der durch die Zweiergruppe begrenzt wird. Diese Begrenzungen sind im Bild 5.7 dargestellt.
5.7.5 Die Funktion KSegConnTwoDownCheck als Quellcode
5.8 Anmerkung zur Konnektivität
Anhand dieser Algorithmen werden alle ROI's, die diesen Bedingungen entsprechen, gekennzeichnet und abgespeichert. Man muß aber erkennen, daß hierbei auch eine ROI auftreten kann, die nicht ein Kfz-Kennzeichen darstellt. Es besteht die Möglichkeit, daß zufällig in der Szene auftretende Blobs die Regeln der Ortskonnektivität erfüllen. Das Selektieren der ROI's muß die Aufgabe eines neuronalen Netzwerks sein, das alle vorhanden ROI's nacheinander bearbeitet, die Zeichen erkennt und nicht relevante ROI's zurückweist. Es soll aber an dieser Stelle erwähnt sein, daß die Existenz von mehreren ROI's in einer realen Szene sehr selten auftritt. Bei den im Rahmen dieser Diplomarbeit aufgenommenen Grauwertbildern ist dieser Fall nie aufgetreten.
6 Applikationsschnittstelle
6.1 Softwareschnittstelle für weiterführende Bearbeitungen
Das Programm, mit dem das Erkennungsverfahren simuliert wird, ist mit Schnittstellen ausgerüstet, welche die Ergebnisse der Segmentierung in geeigneter Form für die Weiterbearbeitung, z.B. in einem neuronalen Netz bereitstellen. Es handelt sich um zwei Softwareschnittstellen, die dieselben Informationen sowohl im Arbeitsspeicher als Datenstruktur als auch in Form eines Datenfiles, angelegt auf der Festplatte des Rechner zur Verfügung stellen.
6.2 Normierung der separierten Zeichen
In Kapitel 4 und 5 wird beschrieben, wie mögliche Zeichen eines Kfz-Kennzeichens gefunden werden. Die Kenntnis der Merkmale absolute Position und Ausdehnung der Blobs, die bei der Blobanalyse und den nachfolgenden Funktionen in die Blobinformationsstrukturen eingetragen wurden, erlaubt nun Kopien der Bildausschnitte anzufertigen, die jeweils ein Zeichen enthalten. Für die spätere Weiterbearbeitung der Zeichenbilder, z.B. mit einem Backpropagation-Netzwerk zur Erkennung, ist es notwendig, die Zeichenbilder auf eine einheitliche Größe zu normieren. Das Format für die normierten Zeichenbilder ist 35×55 Pixel. Anmerkung: Pro Kennzeichen werden immer acht dieser normierten Bilder erzeugt. Enthält ein Kennzeichen weniger als acht Zeichen, so werden die restlichen Bilder definiert mit der Farbe weiß gefüllt.
6.2.1 Spezielle Normierung potentieller Umlaute
Die Normierung von Umlauten muß gesondert betrachtet werden. Durch die Blobanalyse werden die Punkte über den Buchstaben Ä, Ö und Ü als seperate Blobs betrachtet und wegen ihrer geringen Ausdehnung als nicht relevante Blobs verworfen. Bei einer einheitlichen Normierung nach 6.2 würden diese Zeichen in normierter Form nicht mehr von A, O und U unterscheidbar sein. Daher wurde eine weitere Schwelle eingeführt, die die Normierung nach 6.2 verhindert. Ist ein Zeichen nicht größer als der Schwellwert K_PARA_BLOB_Y_THRESHOLD=40 (Voreingestelltes Makro in Headerdatei K_SETUP.H), wird es auf die Größe 35 Pixel horizontal und K_PARA_BLOB_Y_THRESHOLD Pixel vertikal normiert. Das Zeichenbild besteht dann aus dem Zeichen, daß an der oberen Kante des Bildes beginnt. Um dennoch das Bild vertikal auf 55 Pixel Höhe zu normieren, werden die verbleibenden Bildzeilen unterhalb des Zeichen mit der Farbe weiß gefüllt.
6.3 Beschreibung der Softwareschnittstelle
6.3.1 Die Softwareschnittstelle im Arbeitsspeicher
Das Ergebnis der Segmentierungsalgorithmen besteht im wesentlichen aus den separierten Zeichen eines potentiellen Kennzeichens, vorliegend als normierte Bilder der Größe 35×55 Pixel und weiteren Zusatzinformationen (siehe nachstehende Deklaration). Zu jedem potentiellen Kennzeichen, genannt 'Region Of Interest' (ROI), werden diese Informationen in eine C-Struktur geschrieben. Im Arbeitsspeicher existiert ein dynamisches Feld, das genausoviel Informationsstrukturen enthält, wie ROIs in einem Grauwertbild gefunden werden. Die Informationsstruktur für eine ROI ist folgendermaßen deklariert:
Hier die Deklaration des Feldes:
struct ROIinfomember *RoIinfo; /*Feld bestehend aus Strukturen mit Infos über ROIs*/
(Alle genannten Deklarationen in der Headerdatei K_SEGM.H).
Die Anzahl der Informationsstrukturen in Feld ROIinfo findet man in der globalen Variablen int ROIs. Beachten sollte man, daß der Feldindex des Feldes ROIinfo bei 0 beginnt und der höchste Feldindex die Indexnummer ROIs-1 besitzt. Für die Informationsstrukturen wird der Speicherbedarf erst zur Laufzeit des Programms reserviert. Auch der Eintrag der Informationen in die Strukturen geschieht zur Laufzeit durch die Funktion KSegConnHandleROI. Erst nach Abschluß der Konnektivitätsalgorithmen sind die Strukturen voll beschrieben. Im folgenden Quelltextauszug der Funktion KSegmentation, die alle Segmentierungsalgorithmen aufruft, ist die Stelle markiert, ab der die Informationsstrukturen voll beschrieben und für weitere mögliche Implementationen innerhalb der Applikation KEKS verfügbar sind.

ROIinfo=malloc(K_MAXIMUM ROIS*(sizeof(struct ROIinfomember))); /*Es werden K_MAXIMUM_ROIS Strukturen zur Aufnahme der ROI-Informationen alloziert*/
KSegConnOneCheckRules(); /*Einreihige ROIs suchen und in ROI-Informationsstrukturen eintragen*/
KSegConnTwoCheckRules(); /*Zweireihige ROIs suchen und in ROI-Informationsstrukturen eintragen*/

/* AB HIER SIND ALLE ZUM GRAUWERTBILD GEHÖRENDEN ROI-INFORMATIONSSTRUKTUREN VERFÜGBAR UND DEREN ANZAHL BEKANNT */

if (ROIs > 0) KSegSaveROIs(); /*Datei mit ROI-Informationen erstellen und speichern, wenn ROIs gefunden wurden*/

/* IMPLEMENTATIONEN, DIE AUF DIE ROI-INFORMATIONSSTRUKTUREN ZUGREIFEN, MÜSSEN BIS HIER AUFGERUFEN WORDEN SEIN, DA DER NÄCHSTE BEFEHL KSegFree DEN ARBEITSSPEICHERBEDARF FÜR DIESE STRUKTUREN WIEDER FREISETZT*/

KSegFree(); /*Befreiung aller während der Segmentation benötigten MIL-Objekte und User-Felder*/

6.3.2 Die Softwareschnittstelle im Massenspeicher
Die gefundenen ROIs eines Grauwertbildes werden als Datei in den Massenspeicher (Laufwerk C) in das Verzeichnis C:\KEKE\IMAGES eingetragen. Sie tragen denselben Namen, wie die Datei, die das Grauwertbild enthält. Mit der Extension .ROI wird sie von der Bilddatei unterschieden. Um das Dateiformat zu verstehen, wird die Kenntnis der in Abschnitt 6.3.1 beschriebenen globalen Variablen und Informationsstrukturen vorausgesetzt. Die Funktion KSegSaveROIs nimmt die Erzeugung dieser Dateien vor. Als erstes wird die Variable ROIs abgespeichert (Integerwert : 4 Byte). Danach werden der Reihe nach alle im Feld ROIInfo vorhandenen ROI-Informationsstrukturen als komplette Blöcke angefügt.
8 Literatur

[Föhr/Raus] 94] Föhr, R., Raus, M., Automatisches Lesen amtlicher Kfz-Kennzeichen Elektronik, 1994, Heft 1
[MATROX1 94] The Matrox Imaging Library – Command Ref. Manual No. 10368-MS-0210 Matrox Electronic Systems Ltd. Dorval, Quebec, Canada
[MATROX2 94] The Matrox Imaging Library – User Guide Manual No. 10328-MN-0210 Matrox Electronic Systems Ltd. Dorval, Quebec, Canada
[Diplom 95] Sommerfeld, H., CPMS-Car Plate Matching System, Diplomarbeit Fachhochschule Giessen Friedberg, Fachbereich E2, Juni/1995
[DIN 96] Retroreflektierende Kennzeichenschilder für Kraftfahrzeuge und deren Anhängefahrzeuge, DIN-Normblatt 74069, Juli/1966
[Wevelsiep 97] Verfahren zur omnidirektionalen Erfassung von OCR-Klarschrift auf Etiketten oder ähnlichen Datenträgern durch zufallsgesteuerte Suche und Dekodierung mit einem neuronalen Netzwerk Offenlegungsschrift Deutsches Patentamt DE 195 07 059 A1 , 9.1.97
[Diplom 96] Hohmann, R., Gogne´, R., Zeichensegmentierungsalgorithmen für neue deutsche Euro-Kfz-Kennzeichen, Diplomarbeit Fachhochschule Giessen-Friedberg, Fachbereich E2, November 1996

Claims

Verfahren zur Segmentierung von verabredeten Symbolen, wie Schriftzeichen, Logos, etc. in Grauwert-, Binär- oder Farbbildern von formatierten Datenträgern, wie Kraftfahrzeug-Kennzeichenschildern, Etiketten, sonstigen Schildern oder von verabredeten Symbolen oder Schriftzeichen auf speziell für Beschriftungszwecke vorgesehenen von sonstiger Information freigehaltenen ebenen Flächen auf Gegenständen, bei welchem a) die Bilder in einem ersten Verfahrensschritt binarisiert werden und b) die binarisierten Bilder in einem zweiten Verfahrensschritt einer Blobanalyse unterzogen werden, c) wobei die Grössenabmessungen der Symbole einer verabredeten, dem Segmentierungsverfahren bekannten Regel genügen, d) und wobei ein Suchalgorithmus – die binarisierten Bilder nach diesen Symbolen auf Grund der Kenntnis der verabredeten Eigenschaften absucht, – nur den verabredeten Grösseneigenschaften genügende Symbole in der zufälligen oder determinierten Reihenfolge ihres Auffindens numeriert und – anschliessend nur noch ein das grafische Abbild des Symbols enthaltendes Teilbild des ursprünglichen gesamten Szenenbildes in einem Speicher zur weiteren Auswertung bereithält, dadurch gekennzeichnet, e) dass nach dem Absuchen der binarisierten Bilder nach Symbolen, die den verabredeten Eigenschaften genügen, eine Dilatation und eine nachfolgende Erosion (Closing) durchgeführt wird, f) dass im Anschluß an die Blobanalyse eine Konnektivitätsanalyse durchgeführt wird, g) wobei von jedem der in der beschriebenen Weise gefundenen und gespeicherten Symbole der örtliche Abstand zu jedem anderen gefundenen Symbol bestimmt wird, h) wobei der gegenseitige Abstand der nicht miteinander verbundenen Symbole in einer Zeile und ggf. der Abstand mehrerer Zeilen aus diesen Symbolen einer dem Segmentierungsverfahren bekannten Regel genügen, i) wobei die ermittelten örtlichen Abstände in Kombination mit den laufenden Nummern der jeweils beteiligten Symbole in einer Liste (Konnektivitätsliste) erfasst werden, j) wobei die Einträge der Konnektivitätsliste mit den vorab gespeicherten örtlichen Abstandsmerkmalen, welche die Geometrie sinnvoller Symbolpositionen (Formatvorschrift) auf dem Datenträger oder der für die Beschriftung vorgesehenen Fläche auf einem Gegenstand beschreiben, verglichen werden, k) wobei Symbolen, deren horizontaler Abstand nicht größer ist als ein definierbarer Wert, zusätzlich zur laufenden Nummer ein Clusterlabel zugewiesen wird, wobei Symbole mit gleichen Clusterlabeln zu Zeichengruppen (Clustern) zusammengefaßt werden, l) und wobei im Falle der Übereinstimmung der erstellten Konnektivitätsliste mit der Formatvorschrift die bezüglich ihrer örtlichen Position der Formatvorschrift genügenden Symbole in einer geordneten Reihenfolge einer logischen Schnittstelle (Datenstruktur oder Datenfile) so zugeführt werden, dass eine Dekodierung, d.h. die Umsetzung der Symbol-Teilbilder in zugeordnete ASCII-Zeichen möglich ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass an Stelle einer gespeicherten Formatvorschrift ein Katalog von Formatvorschriften gespeichert vorliegt, und dass die erarbeitete Konnektivitätsliste in festgelegter oder zufälliger Reihenfolge mit dem Katalog der Formatvorschriften verglichen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Suche nach Symbolen, die den verabredeten Regeln des Segmentierungsverfahrens genügen, in einem solchen örtlichen Bereich der Bildszene beginnt, in dem das Auftreten der die Symbole tragenden Datenträger oder Beschriftungsflächen basierend auf Erfahrung oder Vorgaben wahrscheinlich ist, und erst dann die restliche Bildfläche mit vorgegebener Systematik abgesucht wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Suche nach Symbolen abgebrochen wird, wenn eine den verabredeten Regeln des Segmentierungsverfahrens genügende Anzahl an Symbolen erfasst worden ist, oder wenn nur Symbole gefunden werden, die nicht oder nicht vollständig den verabredeten Regeln der Segmentierung entsprechen, wobei der Abbruch geordnet so erfolgt, dass die Verarbeitung eines neuen Bildes möglich wird.
Verfahren nach Anspruch 1, 3 und 4, dadurch gekennzeichnet, dass nach erfolgreicher Segmentierung und Konnektivitätsprüfung die Ortskoordinaten des Datenträgers oder der Beschriftungsfläche relativ zum Ursprung des Bildkoordinatensystems gespeichert werden und dass in dieser Weise bei jedem zu verarbeitenden neuen Bild verfahren wird, wobei nach einer festgelegten Anzahl von verarbeiteten Bildern eine Häufigkeitsanalyse der gefundenen Datenträger-Ortskoordinaten vorgenommen wird.
Verfahren nach Anspruch 1 bis 5, dadurch gekennzeichnet, – dass aus dem Luminanzsignal des Rohbildes, um dieses in ein Binärbild zu wandeln, zunächst ein Grauwerthistogramm des Rohbildes über den gesamten mit n bit codierten Grauwertbereich des Rohbildes erstellt wird, – dass in diesem Histogramm das Häufigkeitsmaximum der Grauwertverteilung unterhalb des durch 2^(n-1) beschriebenen Grauwertes gesucht wird, – dass anschliessend das entsprechende Häufigkeitsmaximum oberhalb des durch 2^(n-1) beschriebenen Grauwertes gesucht wird, – dass dann die den genannten Maxima zugehörigen Grauwerte ermittelt und gespeichert werden und – dass anschliessend eine Digitalisierungsschwelle genau in die Mitte zwischen diesen beiden, die Maxima kennzeichnenden Grauwerte gelegt wird, um mit Hilfe dieser Schwelle die Umwandlung des Rohbildes in das Binärbild durchzuführen.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass n = 8 gewählt wird.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass im Falle erfolgreicher Erkennung eines Datenträgers, die zunächst gespeicherten, die Digitalisierungsschwelle bestimmenden beiden Grauwerte zusammen mit dem zugehörigen Grauwerthistogramm langfristig gespeichert werden, wobei eine Statistik zur langfristigen Ermittlung der für die Beleuchtungsverhältnisse dieser Installation optimalen Digitalisierungsschwelle ermittelt wird.
Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass, eine adaptive Digitalisierungsschwelle realisiert wird, wobei als Vergleichskriterium der mittlere quadratische Fehler zwischen zwei Histogrammen verwendet wird.
Verfahren nach Anspruch 1 bis 9, dadurch gekennzeichnet, dass die Konnektivitätsprüfung so erweitert wird, dass zunächst örtliche Cluster von Schriftzeichen, Symbolen oder sonstigen verabredeten Strukturen aus zusammenhängenden Pixeln in jeweils individuellen Konnektivitätslisten zusammengefasst werden und dass diese einzeln auf Erfüllung einer oder mehrerer gespeicherter Formatvorschrift(en) untersucht werden.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass bei der Anwendung des Verfahrens in Zielerfassung und Zielerkennung die Extraktion eines oder mehrerer Ziele in einer Bildszene dadurch erfolgt, dass die bekannten Formmerkmale eines erwarteten oder gesuchten Ziels als definierter Blob, oder im Falle eines hinsichtlich seiner geometrischen Form komplexeren Ziels als durch eine zugehörige Konnektivität beschriebene Anzahl einzelner Blobs, beschrieben wird, bzw. bei Erwartung mehrerer Ziele sinngemäss für jedes Ziel eine entsprechende Vorgabe erfolgt.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass zusätzlich die zwischen diesen Zielen auf Grund der erwarteten gegnerischen Taktik abgeschätzte örtliche Konnektivität berücksichtigt wird.
Verwendung des Verfahrens nach Anspruch 11 oder 12, für die Auswertung von Wärmebildern.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Schriftzeichensegmentierung deutscher Kfz-Kennzeichen so erfolgt, – dass ein Binärbild vom Heck oder der Frontseite eines Fahrzeuges von links nach rechts und von oben nach unten nach zusammenhängenden Strukturen schwarzer Pixel (Blobs) abgesucht wird, – dass für den Fall, dass die gefundenen Strukturen innerhalb von durch vorgegebene Toleranzfelder beschriebenen Breiten- und Höhenabmessungen, die entsprechend den Grössenabmessungen der zu segmentierenden Schriftzeichen gewählt sind, liegen, das grafische Abbild dieser Strukturen jeweils so gekennzeichnet wird, dass die Ortskoordinaten dieser Strukturen und als Ordnungskriterium die laufende Nummer in der Reihenfolge des Auffindens gespeichert werden, – dass dann alle so gekennzeichneten Strukturen, ausgehend von der ersten gefundenen, daraufhin untersucht werden, welche hiervon in einer Reihe, d.h. horizontal nebeneinander stehend, vorkommen, wobei für diese Analyse die gespeicherten Ortskoordinaten verwendet werden, – dass sodann den in einer Reihe stehenden Strukturen jeweils ein weiteres Ordnungskriterium in Form eines Reihenlabels zugewiesen wird, gefolgt von einer Neuvergabe der laufenden Nummer der Strukturen in einer Reihe, so dass die laufende Nummer aufsteigend von links nach rechts an die Strukturen vergeben wird, – dass daran anschliessend eine Prüfung auf die horizontalen Abstände der Strukturen durchgeführt wird, – dass nach Abschluss der Überprüfung dieser Reihe untersucht wird, ob noch Strukturen zu finden sind, denen eine zweite Reihe zugewiesen werden kann, in welchem Falle sinngemäss wie im Verfahren für die erste Reihe vorgegangen wird, und – dass danach noch geprüft wird, ob nicht mehr als 8 Strukturen in maximal 2 Reihen (entsprechend der StVZO) vorhanden sind.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass zur Erkennung der Umlaute Ä, Ö, Ü auf deutschen Kfz-Kennzeichenschildern die Beurteilung der gefundenen Strukturen wie in Anspruch 10 beschrieben, durchgeführt wird und dabei die beiden Punkte der Umlaute als separate Blobs erkannt werden, welche jedoch zu klein sind, um der beschriebenen Prüfung auf Breiten- und Höhenabmessung zu genügen und deshalb unberücksichtigt bleiben, wonach nur noch der untere Teil der Umlaute verbleibt, für diesen eine zusätzliche angepasste Höhenprüfung durchgeführt wird und dann, wenn diese bestanden wird, der untere Teil der Umlaute als eigenständiges grafisches Symbol betrachtet wird, welches an die Grafikschnittstelle zur weiteren Verarbeitung, also der Zeichendekodierung, übergeben wird und vom Dekoder als verabredetes ASCII-Zeichen der entsprechende Umlaut zugeordnet wird.
Verfahren nach Ansprüchen 1 bis 11, 12, 14 und 15, dadurch gekennzeichnet, dass neben Grauwertbildern auch Farbbilder verarbeitet werden, wobei alle beschriebenen Operationen auf den Luminanzanteil des Bildsignals angewendet werden und zusätzlich jedem Farbkanal eine eigene Blobanalyse und Konnektivitätsprüfung zugewiesen wird.
Verfahren nach Ansprüchen 1 bis 11, 12 und 14 bis 16, dadurch gekennzeichnet, dass das Kfz-Kennzeichen-Erkennungssystem automatisch so arbeitet, dass Kennzeichen vom System erkannt und die dekodierten Schriftzeichen nach einer logischen Plausibilitätsprüfung als ASCII-String über eine Datenfernübertragung einer Zentrale zugeführt werden und nur in den Fällen, wo ein Kennzeichen nicht vom System erkannt wird, das Grauwert- oder Farbbild der Originalszene unter Ausnutzung bekannter Bildkompressionsverfahren der Zentrale zur visuellen Auswertung durch einen Bearbeiter über dieselbe Datenfernübertragung zugeführt wird und diese Übertragung nach Zwischenspeicherung der komprimierten Bilder im Rechner des Erkennungssystems, oder in einem mit diesem verbundenen Rechner, nach Abruf, bzw. automatisch in verkehrsschwachen Zeiten veranlasst wird.