DE19717814A1 - Verfahren zur Segmentierung von Schriftzeichen und Symbolen auf Kfz-Kennzeichenschildern und formatierten Datenträgern sowie zur Segmentierung von Mustern in komplexen Szenen - Google Patents

Description

1. Übersicht

Die Erfindung betrifft ein Verfahren zur Auffindung eines oder mehrerer Kraftfahrzeug-Kennzeichenschilder in einem vorzugsweise monochromen Grauwert- oder Binärbild, in Erwei­ terung des Verfahrens auch in einem Farbbild, das im Online- Betrieb direkt von einer elektronischen Kamera, oder alter­ nativ im Offline-Betrieb als Datenfile aus einem Massen­ speicher, wie z. B. der Festplatte eines Rechners, dem Ver­ fahren bereitgestellt wird. Darüber hinaus ist das Verfahren geeignet, auch andere in abgesprochener formatierter Weise dargebotene Schriftzeichen oder verabredete grafische Sym­ bole, z. B. Firmenlogos, so zu segmentieren, d. h. ihre Posi­ tion auf dem Datenträger zu finden, sie voneinander und vom Hintergrund zu trennen, daß sie anschließend in einer Konnektivitätsprüfung auf ihre gegenseitige geometrische Zu­ ordnung geprüft werden können. Im Falle einer in diesem Sinne korrekten Detektierung eines Datenträgers werden die Schriftzeichen oder Symbole als grafisches Muster an einer logischen Schnittstelle für die weitere Dekodierung (Zei­ chenerkennung, Umsetzung in ASCII-Zeichen) in geordneter Reihenfolge übergeben.

Das Verfahren benutzt im Gegensatz zu bekannten Verfahren, die ausgehend von einer Ortsfrequenzanalyse Bereiche mit ho­ hen Ortsfrequenzen (also "vielen" Hell-Dunkelübergängen in einem gegebenen Ortsbereich) auf das Vorhandensein von Schrift oder ähnlichen Symbolen im ansonsten eher wenig strukturierten Bild, wie es z. B. im Falle eines Kraftfahr­ zeughecks vorliegt, oder mit neuronalen Netzen, welche auf die globale Pixelstruktur eines Kfz-Kennzeichenschildes trainiert sind [Föhr/Raus 94], als neuartigen Ansatz eine Kombination aus Blobanalyse [MATROX1 94, MATROX2 94] und Kon­ nektivitätsanalyse. Diese Verfahren sind Schwerpunkt des Pa­ tentbegehrens und werden weiter unten detailliert beschrie­ ben. Das erfindungsgemäße Verfahren beruht in diesem Sinne auf 3 nacheinander ablaufenden Verfahrensschritten:

• (1) - Binarisierung des in der Regel monochromen Grauwert­ bildes der dargebotenen Bildszene,die im Falle der Anwendung des Verfahrens zur Kfz - Kennzeichenerken­ nung die Vorder- oder Rückfront eines Kraftfahrzeu­ ges zeigt. Auch die speziell in diesem Fall verwen­ dete Methodik zur Ermittlung der Digitalisierungs­ schwelle ist Bestandteil des Patentbegehrens.
• (2) - Blobanalyse des so erhaltenen Binärbildes, mit dem Ziel, "Blobs", also zusammenhängende Strukturen von Objekten beschreibende Pixel (im vorliegenden Falle "schwarzer" Pixel) vorgegebener geometrischer Eigen­ schaften (z. B. Abmessungen umschriebener Rechtecke, Bereich zulässiger Pixelanzahl) zu finden, welche die typischen Eigenschaften von Schriftzeichen auf Kennzeichenschildern (bzw. Etiketten oder ähnlichen Datenträgern bei Anwendungen in Produktion und Lo­ gistik) erfüllen. Die ermittelten Blobs werden nu­ meriert und unter Angabe ihrer Eigenschaften, ins­ besondere ihrer Ortskoordinaten, gespeichert. Dabei werden mit hoher Wahrscheinlichkeit auch Blobs von Mustern erfaßt, die nicht Bestandteil des gesuchten Kennzeichens oder sonstigen Datenträgers sind. Aus diesem Grunde ist der nächste Verfahrensschritt von entscheidender Bedeutung :
• (3) - Konnektivitätsanalyse, welche das auf den jeweiligen nationalen Normen für Kraftfahrzeug - Kennzeichen­ schilder [Diplom 95], [DIN 96] basierende grafische Layout und die daraus sich ergebenden Re­ geln für die gegenseitige Position der Schriftzei­ chen oder sonstigen Symbole berücksichtigt. Hierbei werden, wie in Schritt (2) bereits ausgeführt, nur noch solche Blobs auf der Menge aller in der Bildszene gefundenen Blobs ausgewählt, die diesem Regelwerk entsprechen. Sinngemäß wird bei einer Anwendung des Verfahrens zur Erfassung von Eti­ ketten oder ähnlichen Datenträgern vorgegangen, d. h. ein Regelwerk über das grafische Layout der Da­ tenträger muß bekannt sein. Als Ergebnis dieses letzten erfindungsgemäßen Verfahrensschrittes lie­ gen grafische Abbilder der segmentierten und auf Konnektivität geprüften Zeichen bzw. Symbole an einer verabredeten logischen Schnittstelle (Daten­ struktur oder Datenfile) vor.

Der nächste sich logisch anschließende Verfahrensschritt ist die Zeichenerkennung, d. h. die Umsetzung des grafischen Abbildes der segmentierten Zeichen oder Symbole in eine Folge von ASCII-Zeichen. Diese Technik ist nicht Gegenstand der Anmeldung - hier wurde in den weiter unten beschriebenen Pilotinstallationen das in DE 195 07 059 [Wev 97] beschrie­ bene neuronale Erkennungsverfahren verwendet.

2. Bisher realisierte Anwendungen

Das nachfolgend bezüglich der Verfahrensschritte (1). . .(3) detailliert beschriebene erfindungsgemäße Verfahren wurde bisher in folgenden Pilotinstallationen getestet:

• - Online-Anwendung in einem Parkhaus zur Erkennung von israelischen Kfz-Kennzeichen [Diplom 95] mit folgenden technischen Eigenschaften:
  • - Grauwertbilderfassung mit handelsüblicher CCD- Kamera 720 × 558 Pixel, Auflösung ca. 2mm/Pixel, Beleuchtung aus ca. 2m Höhe, Lichtbündel parallel zur Blickrichtung der Kamera
  • - Pentium PC, Takt 90 MHz, PCI-Bus
  • - monochromer Frame-Grabber (Fabrikat MATROX, Comet)
  • - C-Compiler (WATCOM V10.0)
  • - Erfassungszeit ca. 0,1. . .0,2 s
• - Offline-Anwendung in der Fachhochschule Gießen- Friedberg zum Test des Verfahrens bei der Erkennung der neuen deutschen Euro-Kfz-Kennzeichen [Diplom 96] mit folgenden Eigenschaften :
  • - Grauwertbilderfassung, Auflösung 720 × 558 Pixel entsprechend einer abgebildeten Zeichenhöhe von 45. . .55 Pixel, Bilder von Kfz-Kennzeichen wurden mit handelsüblichem Fotoapparat und DX100-Farbfilm unter Tageslichtbedingungen aufgenommen, die ent­ wickelten Bilder wurden unretouschiert mit einer handelsüblichen CCD-Kamera eingelesen und als Daten­ file gespeichert.

3. Weitere Anwendungen und Vorteile des Verfahrens

Beispielhafte Anwendungen des erfindungsgemäßen Verfahrens, die über die vorstehend geschilderten Anwendungen hinausge­ hen sind:

• - Automatisierte Suche nach gestohlenen Kfz, indem eine im Rechner abgespeicherte Liste gesuchter Kennzei­ chen fortlaufend mit vom Verfahren entdeckten Kenn­ zeichen verglichen wird. Das Verfahren ist vorteil­ haft anwendbar, da die Suche auch das grafische Layout von Kennzeichen berücksichtigen kann, um im dichten Verkehrsfluß einen höheren Durchsatz zu be­ kommen, indem eine nicht erfolgversprechende Suche schnell abgebrochen werden kann. Auch aus daten­ schutzrechtlichen Gründen ist der Einsatz vorteil­ haft,da keine Speicherung irrelevanter Kennzeichen erfolgen muß.
• - Anwendung in Qualitätssicherungssystemen: Blob- Analyse und Konnektivitätsprüfung unterstützt durch eine intuitiv bedienbare Benutzeroberfläche quali­ fizieren das Verfahren auch für kleine Losgrößen, bei Aufgaben, in denen gleichzeitig Grafik und Schrift erkannt werden müssen.
• - Anwendung in der automatisierten Montage,da vom Verfahren sowohl durch Blobs beschriebene Muster der zu montierenden Teile, als auch deren gegensei­ tige Position als logische Konnektivität verarbei­ tet werden können.
• - Aufgaben der Zielerfassung, bei denen das erwartete Ziel in Form und Größe nur annähernd beschrieben werden kann - d. h. wo Korrelationsverfahren ver­ sagen - lassen sich mit dem erfindungsgemäßen Ver­ fahren durch Definition geeigneter Blobs und ihre gegenseitige örtliche Anordnung lösen. Dies gilt insbesondere für Wärmebilder, bei denen das Ziel ohnehin eher unscharf abgebildet wird. In diesem Sinne typische Anwendungen sind die Beobachtung terrestrischer Gefechtsszenen und die Beobachtung, bzw. Verfolgung von Flugkörpern, bei denen das Verfahren vorteilhaft zur Ausblendung von durch Täuschung erzeugten Scheinzielen anwendbar ist. So lassen sich in Strahlungsintensität und ört­ licher Ausdehnung erwartete Scheinziele durch an­ gepaßte Blobs grob pauschal beschreiben und die Konnektivität in Bezug auf das eigentliche Ziel auf der Basis ausgewerteter oder simulierter früherer Szenen logisch so verwenden, daß ein menschlicher Beobachter vom System Vorschläge zur finalen Ziel­ auswahl bekommt. Sich selbst lenkende Flugkörper können auf diese Weise die Maskierung eines bereits aufgefaßten Zieles erkennen und während der Dauer dieser Täuschung einen aus der bereits zurückge­ legten Flugstrecke extrapolierten Kurs verfolgen, um nach Passieren des Ortes der Täuschung das Bild des Zieles wieder auffassen zu können.

TECHNISCHE DETAILS DES ERFINDUNGSGEMÄSSEN VERFAHRENS

In Kapiteln 4, 5, 6 sind die für das Patentbegehren wesentlichen technischen Einzelheiten des Verfahrens aus der an der FH Gießen-Friedberg durchgeführten Diplomarbeit [Diplom 96], siehe Offline-Anwendung Kapitel 2, niedergelegt. Blobanalyse und Konnektivitätsprüfung werden hierbei am Bei­ spiel der Erkennung von Kfz-Kennzeichen gezeigt. Als Ergeb­ nis der Szenenverarbeitung erhält man Teilbilder, die nur noch die Grafik der erfaßten Schriftzeichen zur Übergabe an einen Zeichendekoder enthalten. Erfindungsgemäß wird bei Anwendungen in Produktion und Logistik ebenso verfahren, wo­ bei neben Schriftzeichen auch andere grafische Symbole, z. B. Firmenlogos, etc. vorkommen können. Ein nachfolgender Zei­ chendekoder wird diesen Symbolen ebenfalls eine verabredete Bedeutung zuordnen.

Entsprechendes gilt für die weiteren Anwendungen aus Kap. 3, in denen nur grafische Symbole (Teilemuster, Zielblobs) und deren Konnektivität vom Dekoder, bzw. Zielextraktor berück­ sichtigt werden müssen.

Die im folgenden zitierten Bilder wurden vom Rechenprogramm, welches das Verfahren realisiert, ausgedruckt und werden unretuschiert anschließend an Kapitel 7 wiedergegeben. Die für das Verfahren typischen Abläufe, insbesondere die Blobanalyse, wurden unter Benutzung der MIL-Library von MATROX [MATROX1 94], [MATROX2 94] simuliert. Es ist erfin­ dungsgemäß vorgesehen, bei höherer Anforderung an die Erkennungsgeschwindigkeit hierfür Hardware auf der Basis benutzerspezifisch programmierbarer Hardware (etwa Field Progammable Gate Arrays) einzusetzen.

Die in Kapiteln 4, 5, 6 genannten Programmnamen und die dort aufgeführten C-Funktionen stammen ebenfalls aus dem erwähnten Programm der zitierten Diplomarbeit [DIPLOM 96].

Zur detaillierten Dokumentation der wichtigsten Verfahrens­ schritte wird der entsprechende Programmcode in die Be­ schreibung aufgenommen.

In Bild 1 ist in einer Übersicht der Aufbau eines voll­ ständigen Erkennungssystems dargestellt. Der Ablauf des erfindungsgemäßen Verfahrens kann beispielsweise durch eine Induktionsschleife ausgelöst werden, ein vorteilhaftes Verfahren, um sicherzustellen, daß die aufgenommenen Bilder stets aus gleichem Abstand aufgenommen werden und somit die Kennzeichen im Bild stets mit annähernd gleicher Zeichen­ höhe vorliegen.

4. Informationsreduktion 4.1 Die Binarisierung 4.1.1 Vorgehensweise

Der erste Bearbeitungsschritt der Segmentation, der zu einer erheblichen Informationsreduktion führt, ist die Binarisierung. Es geht hierbei allgemein um eine Schwellwertbestimmung, bei der das Grauwertbild in ein Bild transformiert wird in dem nur noch zwei diskrete Grauwerte existieren (Grauwert 0=schwarz und Grauwert 255=weiß) . Man spricht hierbei von einem Binärbild. Nach der Binarisierung ordnet man dem Grauwert 255 eine 1 zu um die Zweiwertigkeit besser zu verdeutlichen. Es ist leicht ein- zusehen, daß bei einer ungünstigen Schwellwertbestimmung Information verloren gehen kann, die für die weitere Bearbeitung von Bedeutung ist. Desweiteren ist es unmöglich bei einem unzureichend erzeugten Grauwertbild eine Binarisierungsschwelle zu finden, bei der ausschließlich uninteressante Information verloren geht.

All diese Aspekte führen dazu, daß bei der Binarisierung des Grauwertbildes eines Kraftfahrzeughecks die Binarisierungsschwelle nach einer bestimmten Methode zu suchen ist. Diese Methode wird im folgenden beschrieben. Bild 4.1 zeigt das Grauwertbild eines Kraftfahrzeuges. Die durch den Laboraufbau erzeugten Bilder unterscheiden sich grundsätzlich in ihrem Kontrast und in ihrer Helligkeit. Bei Aufnahme der Fahrzeuge durch die in Kapitel 2 (Offline) beschriebene Methode ist die Gewißheit nicht gegeben, daß mit der richtigen Beleuchtung gearbeitet wird. Dies zeigt sich bei der Aufnahme der Fotos mit der CCD-Kamera des Laboraufbaus. Die fehlende Beleuchtung bei der Aufnahme der Fotos kann hier nur noch geringfügig verbessert werden. Auch zeigen sich erst hier Schatten innerhalb der Szene, die bei der Binarisierung störend auf die Informationsreduktion wirken.

Bild 4.2 zeigt eine erfolgreich durchgeführte Binarisierung bei der die Binarisierungsschwelle richtig gewählt wurde. In Bild 4.3 ist deutlich zu sehen welche Ausmaße eine schlecht gewählte Schwelle oder eine Schattenbildung durch ungünstige Beleuchtung zur Folge hat.

Es stellt sich nun die Frage inwiefern die richtige Binarisierungsschwelle gefunden werden kann. An dieser Stelle geht der Weg über die Histogrammbildung. Hierbei werden die Häufigkeiten der einzelnen Grauwerte aus einem Bild in einem Diagramm aufgetragen. Aus diesem Diagramm lassen sich Merkmale feststellen, die charakteristisch für dieses Grauwertbild sind. Diese Merkmale sind für die Binarisierung von Vorteil, da man aus ihnen heraus eine optimale Schwelle finden kann. Die Häufigkeit eines Grauwertes berechnet sich nach folgender Formel:

Formel 4.1 Häufigkeit eines Grauwertes g

mit g=Grauwert und L=Länge bzw. R=Breite des Grauwertbildes

Betrachtet man das Histogramm eines Grauwertbildes wie in Bild 4.4 dargestellt, so erkennt man links und rechts vom Grauwert 128 einen maximalen Häufigkeitswert. Der Abstand dieser zwei "Peaks" bietet den besten Kontrast für das betreffende Grauwertbild, bei dem am wenigsten Information durch die Binarisierung verloren geht. Diese zwei maximalen Häufigkeitswerte sind auch bei einer Histogrammbildung im Bild 4.5 zu beobachten, die nur aus dem Bereich des Kennzeichenschildes des Kfz resultiert.

Es ist weiter zu sehen, daß diese maximalen Häufigkeiten in beiden Histogrammen an ungefähr den gleichen Stellen liegen.

Im Experiment mit mehreren Grauwertbildern kommt man immer wieder zu dem gleichen Ergebnis. Auch durch ledigliches Hinsehen der eingescannten Bilder erkennt man, daß der beste Kontrast im Bereich des Kennzeichenschildes liegt. Auf der Basis dieser Experimente ist es legitim zu sagen, daß die bestmögliche Binarisierungsschwelle genau zwischen den beiden maximalen Häufigkeiten liegen muß. Man erreicht hierdurch eine adaptive Schwelle, die sich den schlechten Gegebenheiten der Grauwertbilder bis zu einem gewissen Grad anpaßt. Darunter fallen unter- und überbelichtete Bilder, die sich in ihrem Kontrast stark unterscheiden. Auch hier jedoch ist festzustellen, daß die dynamische Schwelle kein Mittel sein kann, aus einem unzureichend aufgenommenen Bild die wesentliche Information noch retten zu können. Sie ist lediglich dafür gedacht, eine gewisse Toleranz bei der Bildaufnahme zu gewährleisten.

4.1.2 Die Binarisierung als C-Funktion

Die vorherigen Überlegungen realisieren sich folgend im Quellcode: (WATCOM - C/C++ Version 10.0).

4.2 Das Closing 4.2.1 Beschreibung

Im Anschluß an die Binarisierung erfolgt das Closing. Es handelt sich dabei um eine aufeinander folgende Anwendung von zwei Algorithmen (der Dilatation und Erosion) zur Binärbild- Ortsfilterung. Der generelle Oberbegriff für diese Operation ist mathematische Morphologie. Es werden einzelne Störpixel eliminiert, die durch die Bildaufnahme entstehen können. Dies ist insofern von Bedeutung, da im darauffolgenden Bearbeitungsschritt Blobanalyse zusammengehörige Pixel gesucht und als sogenannter Biob markiert werden.

Dieser Algorithmus interpretiert auch jedes einzelstehende Pixel als ein Blob. So kann sich die Bearbeitung des Binärbildes durch vorhandene Störpixel um einiges verlängern. Desweiteren werden Kanten von Objekten durch das Closing geglättet. Dies wirkt sich sicherlich positiv bei der Erkennung der einzelnen Zeichen aus. Aus diesem Grund ist es nur von Vorteil, ein Zweiwertbild vor der Blobanalyse mit dieser Operation zu bearbeiten [MATROX2 94]. Im Bild 4.6 ist das Flußdiagramm des Closing dargestellt. Im Punkt 4.2.2 und 4.2.3 sind die im Bild 4.6 erwähnten Verfahren Dilatation und Erosion beschrieben.

4.2.2 Die Dilatation

Bei der Dilatation handelt es sich um eine ODER-Verknüpfung bei der ein Pixel mit den Koordinaten s(x,y) den Wert 1 erhält wenn in seiner achter Nachbarschaft eine oder mehrere "Einsen" auftreten. In Formel 4.2 ist die Boole'sche Verknüpfung als Beschreibung der Dilatation gezeigt.

Formel 4.2

Durch diese Verknüpfung behält ein Bildpunkt mit s(x,y)=1 in S' seinen Grauwert, während ein Bildpunkt s(x,y)=0 in S' den Grauwert 1 erhält, wenn in seiner Nachbarschaft eine 1 auftritt. Dies bewirkt die Vergrößerung (Expansion) aller Flächen mit dem Grauwert 1 (hier: Hintergrund) um einen Rand der Breite eines Bildpunktes. Außerdem werden kleine Flächen mit dem Grauwert 0 eliminiert.

4.2.3 Die Erosion

Die Erosion ist die entgegengesetzte Operation zur Dilatation. Bei diesem Algorithmus handelt es sich um eine UND-Verknüpfung, bei der ein Pixel mit den Koordinaten s(x,y) nur dann den Wert 1 erhält, wenn in seiner achter Nachbarschaft alle Pixel eins sind. Auch hier ist in Formel 4.3 die Boole'sche Verknüpfung als Beschreibung gezeigt.

Formel 4.3

Die Operation wirkt sich insofern aus, daß alle Flächen mit dem Grauwert 1 um einen Rand der Breite eines Bildpunktes verkleinert werden (Kontraktion). Ein Bildpunkt mit s(x,y)=0 behält in S' seinen Grauwert, während s(x,y)=l in S' nur dann den Grauwert 1 behält, wenn alle Nachbarn den Grauwert 1 besitzen.

4.2.4 Anmerkungen zum Closing

Das Quellbild S(x,y) kann durch die inverse Operation der Dilatation bzw. Erosion nicht mehr reproduziert werden. Das ist von daher verständlich, da ja z. B. isolierte Bildpunkte mit s(x,y)=0 bei der Dilatation eliminiert werden und bei der Erosion nicht mehr auftauchen. Durchgehende Linien in einem Binärbild können durch das Closing aufgerissen werden. Das kann bei einem schlecht aufgenommenen, binarisierten Grauwertbild der Fall sein. Hier könnte ein Closing ein Zeichen trennen und so für die nachfolgende Bearbeitung unkenntlich machen. Andererseits kann das Closing zwei Objekte, die sich berühren, trennen. Im Zuge der Blobanalyse, die nachfolgend beschrieben wird, ist es von Vorteil, das Binärbild einem Closing zu unterziehen, um bei der Blobanalyse vernünftige Ergebnisse zu erzielen. Im Bild 4.7 ist sehr gut zu sehen, daß das Binärbild nach dem Closing etwas "ruhiger" aussieht. Es existieren nur noch größere Pixelgruppen, die von der anstehenden Blobanalyse erkannt werden.

4.2.5 Das Closing als C-Funktion

Hier besteht der Quellcode nur aus einem Funktionsaufruf aus den C-Bibliotheken der Firma Matrox, die diese Bildverarbeitungsalgorithmen zur Verfügung stellen:

4.3 Die Blobanalyse 4.3.1 Beschreibung

Die Blobanalyse ist ein Bereich der Bildverarbeitung, der es ermöglicht verschiedene Objekte, die von Interesse sind, zu vermessen und zu klassifizieren. Diese Objekte bezeichnet man hierbei als Blobs. Es werden darunter Bereiche von sich berührenden Pixeln verstanden, die den gleichen logischen Grauwert haben. Diesem logischen Grauwert ordnet man den Vordergrund des Binärbildes zu wobei der zweite Grauwert demzufolge als Hintergrund definiert wird. In vielen Applikationen besteht das Interesse ausschließlich an Blobs, die gewisse Kriterien und bestimmte Abmessungen erfüllen. Die Firma Matrox stellt eine leistungsfähige Blobanalyse zur Verfügung mit der die verschiedensten Einstellungen in Bezug auf Abmessungen der Blobs, Flächeninhalte der Blobs und vielen weiteren Merkmalen realisiert werden können. Dieser Algorithmus wird im folgenden verwendet, um eine weitere Informationsreduktion zu erreichen. Es sollen nach der Bearbeitung nur noch Pixelgruppen vorhanden sein, die den zuvor definierten Horizontal- und Vertikalabmessungen entsprechen.

4.3.2 Vorgehensweise

Vor der Durchführung der Blobanalyse wird mit dem MIL-Befehl MblobSelectFeature eine Merkmalliste angefertigt. Es werden die Merkmale für die Numerierung der Blobs (M_LABEL_VALUE) und die Ermittlung der minimalen und maximalen Koordinaten sowie den maximalen horizontalen und vertikalen Durchmesser der Blobs (M_BOX) in diese Liste aufgenommen. MblobSelectFeature (MilBlobFeatList,M_LABEL_VALUE); MblobSelectFeature (MilBlobFeatList,M_BOX); Die eigentliche Blobanalyse erfolgt dann durch den Befehlsaufruf MblobCalculate. MblobCalculate(MilOri,M_NULL,MilBlobFeatList,MilBlobResult); Anschließend werden alle gefundenen Blobs, die nicht den Abmessungen

entsprechen mit der Funktion MblobSelect als nicht relevant markiert. Die betreffenden Makros sind mit den hier angegebenen voreingestellten Werten in der Headerdatei K_SETUP.H definiert.

Es zeigt sich, daß nach der Blobanalyse überwiegend nur noch Pixelgruppen vorhanden sind, die zu einem Kraftfahrzeugkennzeichen gehören. Es läßt sich daran erkennen, daß bei einem binarisierten Grauwertbild, dessen Szene ein Kfz-Heck beinhaltet, nur eine geringe Anzahl von Blobs mit diesen bestimmten Abmessungen vorhanden sind. Bild 4.8 zeigt das Binärbild nach der Durchführung der Blobanalyse.

Zur besseren Darstellung sind die verbleibenden wichtigen Blobs rot und die irrelevanten Blobs grau eingefärbt.

4.3.3 Die Blobanalyse als C-Funktion

4.3.4 Anmerkungen zur Blobanalyse

Nach der Blobanalyse liegen die einzelnen Zeichen des Kennzeichens in der Regel als separate Blobs vor. Dennoch zeigen realen Szenen oft einige Besonderheiten, die verhindern, daß alle Zeichen als Blobs vorliegen. Als problematisch hat sich insbesondere die Anbringung des Kennzeichens am Fahrzeug herausgestellt. In vielen Fällen werden Befestigungsschrauben direkt durch das Blech des Kennzeichens gesteckt. Die Schraubenköpfe befinden sich in einigen Fällen zwischen zwei Zeichen des Kennzeichens und erscheinen erheblich dunkler als die weiße Reflexionsfolie. Im ungünstigsten Fall berührt der Schraubenkopf zwei Zeichen. Nach der Binarisierung erscheinen diese beiden Zeichen verbunden. Ähnliches gilt für Schraubenköpfe, die direkt in einem Zeichen stecken und hell erscheinen. Nach der Binarisierung erscheint so ein Zeichen möglicherweise unterbrochen (Bild 4.9). Generell ist anzumerken, daß auch starke Verunreinigungen zu schlechten Binarisierungsergebnissen führen. Die aus diesen Bildern resultierenden Blobs werden dann aufgrund zu großer oder zu kleiner Abmessungen verworfen und das Kennzeichen kann nicht gefunden werden.

4.3.5 Indizierung der verbleibenden Blobs

Die Numerierung der Blobs in der MIL-Ergebnisliste ist durch das Eliminieren von einigen Blobs nicht mehr kontinuierlich. Für die Weiterbearbeitung ist es aber erforderlich, daß die Blobs fortlaufend numeriert werden (Indizierung) . Der Grund hierfür liegt in der Tatsache, daß in den nächsten Schritten mehrere for-Schleifen zur Anwendung kommen die diese Zählindizes benötigen. Diese Indizierung geschieht mit der Funktion KSegBlobGetBlobinfos. Das Bild 4.10 zeigt die neue Numerierung der Blobs.

Die gesammelte Information der verbleibenden Blobs aus der MIL-Ergebnisliste wird mit der Funktion KSegBlobGetBlobinfos in ein Feld, bestehend aus Strukturen vom Typ blobinfomember, übertragen. Dadurch stehen diese Daten für die weitere Bearbeitung definiert und übersichtlich zu Verfügung.

Die Funktion KSegBlobGetBlobinfos ist nachfolgend aufgeführt:

5. Informationsinterpretation 5.1 Beschreibung

Bei der Interpretation wird aus der Information der verbleibenden Blobs ihre Ortsbeziehungen zueinander untersucht. Mit verschiedenen Algorithmen wird ein Bereich gesucht in dem ein Kfz-Kennzeichen sein könnte. Die Beziehungen der Blobs zueinander bezeichnet man an dieser Stelle als Konnektivität. Desweiteren wird der interessante Bereich als ROI (Region Of Interest) dargestellt. Diese ROI soll gekennzeichnet- werden und jedes darin befindliche Blob einzeln abgespeichert werden. Zusätzlich wird Information über die Anzahl der Blobs und über die Zusammensetzung der einzelnen Zeichen als ein mögliches Kfz-Kennzeichen dazugefügt. Die gesammelten Daten werden in ein Feld bestehend aus Strukturen vom Typ ROIinfomember zusammengefügt. Das Kapitel 6 beschreibt diese Struktur, die als eine Schnittstelle für die Fortführung der Softwareapplikation fungiert. Es wird in den folgenden Abschnitten gezeigt, wie die verbleibenden Blobs gekennzeichnet und Regeln aufgestellt werden, um daraus eine mögliche ROI zu finden.

5.2 Vergabe von Reihenlabel 5.2.1 Vorgehensweise

Bei diesem Algorithmus wird eine Einteilung der gefundenen relevanten Blobs in Reihen vorgenommen.

Dies geschieht mit der Funktion KSegLabelRows. In Bild 5.1 ist das Ergebnis dieser Bearbeitung beschrieben. Es wird jedes einzelne Blob, angefangen bei Blob 0, als Bezugsblob betrachtet. Besitzt dieses Blob noch kein Reihenlabel, so bekommt es eine Labelnummer. Ausgehend von diesem Blob bekommt jedes weitere Blob, dessen unterster Extrempunkt in der Vertikalen nicht weiter als 15 Pixel vom untersten Extrempunkt des Bezugsblob entfernt ist, dasselbe Reihenlabel wie das Bezugsblob. Besitzt das nächste zu betrachtende Bezugsblob schon ein Reihenlabel so wird zum danach folgenden Blob gegangen bis alle Blobs abgearbeitet sind. Diese Information des Reihenlabels für jedes Blob ist dann in der Struktur blobinfomember enthalten.

5.2.2 Die Reihenlabelvergabe als C-Funktion

5.3 Sortieren der Blobindizes innerhalb der Reihen 5.3.1 Vorgehensweise

Für die spätere Vergabe von Clusterlabeln muß die Numerierung der einzelnen Blobs innerhalb einer Reihe fortlaufend sein. Dies ist durch die Kennzeichnung der Blobs durch die MIL- Blobanalyse und die Indizierung durch die Funktion KSegBlobGetBlobinfos nicht gewährleistet. Deshalb werden mit der Funktion KSegLabelBlobsort die Blobnummern innerhalb einer Reihe sortiert. Das Bild 5.2 zeigt die neue Vergabe der Blobindizes.

Steht ein zu vergleichendes Blob in derselben Reihe wie das gerade betrachtete und ist seine horizontale Position kleiner als die des Betrachteten, werden die Indizes der am Vergleich beteiligten Blobinfostrukturen getauscht. Diese Methode nennt man Bubblesort-Verfahren.

5.3.2 Das Sortieren von Blobindizes als C-Funktion void KSegLabelBlobsort (void)

5.4 Vergabe von Clusterlabel 5.4.1 Vorgehensweise

Als nächster Schritt der Klassifizierung bekommt jedes Blob ein Clusterlabel. Über die örtliche Zusammengehörigkeit der einzelnen Blobs zueinander werden diese zu Zeichengruppen zusammengefaßt, z. B. Landkreiskennzeichen. Beliebig viele Blobs bilden zusammen ein Cluster, wenn ihr horizontaler Abstand zueinander nicht größer als der Wert des globalen Makros K_PARA_BLOBSPACING ist. Die Voreinstellung hierfür ist ein maximaler Abstand von 15 Pixeln. Dieses Makro ist in der Header-Datei K_SETUP.H definiert. Dieses Zusammenfügen von Blobs zu einem Cluster wird für die nachfolgende Abfrage von weiteren Ortsbeziehungen benötigt. Das Bild 5.3 zeigt das Ergebnis der Clusterlabelvergabe. In dem hier gezeigten Beispiel existieren vier Cluster.

Alle relevanten Blobs werden reihenweise von links nach rechts betrachtet. Das erste Blob bekommt das Clusterlabel 1. Ist das nächste Blob in derselben Reihe und der horizontale Abstand kleiner als K_PARA_BLOBSPACING=15 (Makro mit voreingestelltem Wert in Headerdatei K_SETUP.H), so bekommt es dasselbe Clusterlabel, sonst das nächsthöhere usw. Am Ende der Funktion haben alle Blobs ein Clusterlabel. Gleiche Clusterlabel bezeichnen Blobs, die zu einer Zeichengruppe zusammengehören.

5.4.2 Die Clusterlabelvergabe als C-Funktion void KSegLabelClusters (void)

5.5 Konnektivität für ein- und zweireihige Kfz-Kennzeichen 5.5.1 Vorgehensweise

Nach der Klassifizierung der übriggebliebenen Blobs werden Kombinationen von Clustern innerhalb einer Reihe für ein mögliches einreihiges Kennzeichenschild und Verknüpfungen von Clustern innerhalb von zwei Reihen für ein mögliches zweireihiges Kfz-Kennzeichen gesucht. Dabei werden die einzelnen Cluster zusätzlich überprüft, ob sie nicht eine maximale Blobanzahl überschreiten.

Nach der StVZO Anlage Va sind nicht mehr als acht Zeichen (Buchstaben und Ziffern) auf einem Kennzeichenschild zulässig. Die Anzahl der Zeichen innerhalb der einzelnen Zeichengruppen ist nicht in der StVZO festgelegt. Deshalb werden hier Erfahrungswerte angenommen. Für die Landkreiskennzeichnung werden
in der Regel maximal drei Zeichen verwendet. An der Stelle der Unterscheidungsbuchstaben in der Mitte des Kennzeichen sind maximal zwei Zeichen vorgesehen. Für die Unterscheidungszahlen werden maximal vier Ziffern eingesetzt. In Bild 5.4 ist gezeigt, was diese Vorschriften für die Anzahl der Blobs innerhalb eines Clusters bedeutet.

Diese Regeln sind folgend als C-Funktion realisiert:

Die Abfrage der Landkreiskennzeichnung

Die Abfrage der Unterscheidungsbuchstaben

Die Abfrage der Unterscheidungszahlen

Die Abfrage für die maximale Zeichenanzahl

5.6 Konnektivität für einreihige Kfz-Kennzeichen 5.6.1 Vorgehensweise

Bei der Konnektivität zwischen den einzelnen Clustern werden mögliche einreihige und zweireihige Kfz-Kennzeichen gesucht. In diesem Abschnitt wird der Algorithmus für die Konnektivität für einreihige Kfz-Kennzeichen beschrieben. Nachfolgend im Abschnitt 5.7 ist die Konnektivität für zweireihige Kfz- Kennzeichen dargestellt.

Bei der Konnektivität für einreihige Kfz-Kennzeichen werden drei Cluster gesucht, die dasselbe Reihenlabel haben. Ist diese Bedingung erfüllt, werden die horizontalen Abstände vom ersten zum zweiten Cluster und
vom zweiten zum dritten Cluster gemessen. Ist der erste Abstand nicht größer als das Makro K_PARA_ONE_SPACE1=50
und der zweite Abstand nicht größer als das Makro K_PARA_ONE_SPACE2=49
wird dieser Bereich als mögliches Kfz-Kennzeichen markiert. Die Makros mit voreingestellten Werten für die maximalen Abstände sind in der Headerdatei K_SETUP.H definiert. In Bild 5.5 sind die zu überprüfenden Abstände graphisch dargestellt.

5.6.2 Die Konnektivität für einreihige Kfz-Kennzeichen als C_Funktion

5.7 Konnektivität für zweireihige Kfz-Kennzeichen 5.7.1 Erläuterung

Die Konnektivität für zweireihige Kfz-Kennzeichen teilt sich in die Funktionen KSegConnTwoUpCheck und KSegConnTwoDownCheck auf. Dies geschieht aus der Tatsache heraus, daß zwei verschiedenartige zweireihige Kfz-Kennzeichen existieren. Der Unterschied der zwei Kfz-Kennzeichen wird nachstehend veranschaulicht.

Typ I: zweireihiges Kennzeichen mit Landkreiskennzeichen in der ersten Reihe und allen weiteren Zeichen in der zweiten Reihe.

Für dieses Kfz-Kennzeichen ist die Funktion KSegConnTwoUpCheck zuständig.

Typ II: zweireihiges Kennzeichen mit Landkreiskennzeichen und Unterscheidungsbuchstaben in der ersten Reihe und Unterscheidungszahlen in der zweiten Reihe.

Hierfür ist die Funktion KSegConnTwoDownCheck maßgebend.

Bei der Suche nach zweireihigen Kennzeichen wird bei beiden Funktionen generell so vorgegangen, daß zwei Cluster gesucht werden, die das gleiche Reihenlabel haben und benachbart sind. Danach wird der horizontale Abstand dieser benachbarten Cluster (Zweiergruppe) vermessen. Dieser Abstand darf den Wert K_PARA_ONE_SPACE1=50 (Makro mit voreingestelltem Wert in K_SETUP.H) nicht übersteigen. Das weitere Vorgehen ist in beiden Algorithmen unterschiedlich und wird im folgenden beschrieben.

5.7.2 Beschreibung der Funktion KsegConnTwoUpcheck

Es wird ermittelt, ob der vertikale Abstand zwischen der Zweiergruppe und einem dritten Cluster oberhalb der Zweiergruppe kleiner als K_PARA_TWO_SPACE1=27 ist. Das voreingestellte Makro ist in der Headerdatei K_SETUP.H definiert. Dieses Cluster muß sich vollständig und allein innerhalb des horizontalen Bereichs befinden, der durch die Zweiergruppe begrenzt wird. Diese Begrenzungen sind im Bild 5.6 dargestellt.

5.7.3 Die Funktion KsegConnTwoUpCheck als Quellcode

5.7.4 Beschreibung der Funktion KSegConnTwoDownCheck

Es wird ermittelt, ob der vertikale Abstand zwischen der Zweiergruppe und einem dritten Cluster unterhalb der Zweiergruppe kleiner als K_PARA TWO_SPACE1=27 ist. Das voreingestellte Makro ist in der Headerdatei K_SETUP.H definiert. Dieses Cluster muß dich vollständig und allein innerhalb des horizontalen Bereichs befinden, der durch die Zweiergruppe begrenzt wird. Diese Begrenzungen sind im Bild 5.7 dargestellt.

5.7.5 Die Funktion KSegConnTwoDownCheck als Quellcode

5.8 Anmerkung zur Konnektivität

Anhand dieser Algorithmen werden alle ROI's, die diesen Bedingungen entsprechen, gekennzeichnet und abgespeichert. Man muß aber erkennen, daß hierbei auch eine ROI auftreten kann, die nicht ein Kfz-Kennzeichen darstellt. Es besteht die Möglichkeit, daß zufällig in der Szene auftretende Blobs die Regeln der Ortskonnektivität erfüllen. Das Selektieren der ROI's muß die Aufgabe eines neuronalen Netzwerks sein, das alle vorhanden ROI's nacheinander bearbeitet, die Zeichen erkennt und nicht relevante ROI's zurückweist. Es soll aber an dieser Stelle erwähnt sein, daß die Existenz von mehreren ROI's in einer realen Szene sehr selten auftritt. Bei den im Rahmen dieser Diplomarbeit aufgenommenen Grauwertbildern ist dieser Fall nie aufgetreten.

6 Applikationsschnittstelle 6.1 Softwareschnittstelle für weiterführende Bearbeitungen

Das Programm, mit dem das Erkennungsverfahren simuliert wird, ist mit Schnittstellen ausgerüstet, welche die Ergebnisse der Segmentierung in geeigneter Form für die Weiterbearbeitung, z. B. in einem neuronalen Netz bereitstellen. Es handelt sich um zwei Softwareschnittstellen, die dieselben Informationen sowohl im Arbeitsspeicher als Datenstruktur als auch in Form eines Datenfiles, angelegt auf der Festplatte des Rechner zur Verfügung stellen.

6.2 Normierung der separierten Zeichen

In Kapitel 4 und 5 wird beschrieben, wie mögliche Zeichen eines Kfz-Kennzeichens gefunden werden. Die Kenntnis der Merkmale absolute Position und Ausdehnung der Blobs, die bei der Blobanalyse und den nachfolgenden Funktionen in die Blobinformationsstrukturen eingetragen wurden, erlaubt nun Kopien der Bildausschnitte anzufertigen, die jeweils ein Zeichen enthalten. Für die spätere Weiterbearbeitung der Zeichenbilder, z. B. mit einem Backpropagation-Netzwerk zur Erkennung, ist es notwendig, die Zeichenbilder auf eine einheitliche Größe zu normieren. Das Format für die normierten Zeichenbilder ist 35 × 55 Pixel.

Anmerkung: Pro Kennzeichen werden immer acht dieser normierten Bilder erzeugt. Enthält ein Kennzeichen weniger als acht Zeichen, so werden die restlichen Bilder definiert mit der Farbe weiß gefüllt.

6.2.1 Spezielle Normierung potentieller Umlaute

Die Normierung von Umlauten muß gesondert betrachtet werden. Durch die Blobanalyse werden die Punkte über den Buchstaben A, Öund Ü als separate Blobs betrachtet und wegen ihrer geringen Ausdehnung als nicht relevante Blobs verworfen. Bei einer einheitlichen Normierung nach 6.2 würden diese Zeichen in normierter Form nicht mehr von A, O und U unterscheidbar sein. Daher wurde eine weitere Schwelle eingeführt, die die Normierung nach 6.2 verhindert. Ist ein Zeichen nicht größer als der Schwellwert K_PARA_BLOB_Y_THRESHOLD=40 (Voreingestelltes Makro in Headerdatei K_SETUP.H), wird es auf die Größe 35 Pixel horizontal und K_PARA_BLOB_Y_THRESHOLD Pixel vertikal normiert. Das Zeichenbild besteht dann aus dem Zeichen, daß an der oberen Kante des Bildes beginnt. Um dennoch das Bild vertikal auf 55 Pixel Höhe zu normieren, werden die verbleibenden Bildzeilen unterhalb des Zeichen mit der Farbe weiß gefüllt.

6.3 Beschreibung der Softwareschnittstelle 6.3.1 Die Softwareschnittstelle im Arbeitsspeicher

Das Ergebnis der Segmentierungsalgorithmen besteht im wesentlichen aus den separierten Zeichen eines potentiellen Kennzeichens, vorliegend als normierte Bilder der Größe 35 × 55 Pixel und weiteren Zusatzinformationen (siehe nachstehende Deklaration). Zu jedem potentiellen Kennzeichen, genannt "Region Of Interest" (ROI), werden diese Informationen in eine C-Struktur geschrieben. Im Arbeitsspeicher existiert ein dynamisches Feld, das genausoviel Informationsstrukturen enthält, wie ROIs in einem Grauwertbild gefunden werden. Die Informationsstruktur für eine ROI ist folgendermaßen deklariert:

(Alle genannten Deklarationen in der Headerdatei K_SEGM.H). Die Anzahl der Informationsstrukturen in Feld ROIinfo findet man in der globalen Variablen int ROIs. Beachten sollte man, daß der Feldindex des Feldes ROIinfo bei 0 beginnt und der höchste Feldindex die Indexnummer ROIs-1 besitzt. Für die Informationsstrukturen wird der Speicherbedarf erst zur Laufzeit des Programms reserviert. Auch der Eintrag der Informationen in die Strukturen geschieht zur Laufzeit durch die Funktion KSegConnHandleROI. Erst nach Abschluß der Konnektivitätsalgorithmen sind die Strukturen voll beschrieben. Im folgenden Quelltextauszug der Funktion KSegmentation, die alle Segmentierungsalgorithmen aufruft, ist die Stelle markiert, ab der die Informationsstrukturen voll beschrieben und für weitere mögliche Implementationen innerhalb der Applikation KEKE verfügbar sind.

6.3.2 Die Softwareschnittstelle im Massenspeicher

Die gefundenen ROIs eines Grauwertbildes werden als Datei in den Massenspeicher (Laufwerk C in das Verzeichnis C:\KEKE\IMAGES eingetragen. Sie tragen denselben Namen, wie die Datei, die das Grauwertbild enthält. Mit der Extension .ROI wird sie von der Bilddatei unterschieden. Um das Dateiformat zu verstehen, wird die Kenntnis der in Abschnitt 6.3.1 beschriebenen globalen Variablen und Informationsstrukturen vorausgesetzt. Die Funktion KSegSaveROIs nimmt die Erzeugung dieser Dateien vor. Als erstes wird die Variable ROIs abgespeichert (Integerwert: 4 Byte). Danach werden der Reihe nach alle im Feld ROIInfo vorhandenen ROI- Informationsstrukturen als komplette Blöcke angefügt.

8 Literatur

[Föhr/Raus] 94] Föhr,R.,Raus,M., Automatisches Lesen amt­ licher Kfz-Kennzeichen Elektronik, 1994, Heft 1
[MATROX1 94] The Matrox Imaging Library-Command Ref. Manual No. 10368-MS-0210 Matrox Electronic Systems Ltd. Dorval, Quebec, Canada
[MATROX2 94] The Matrox Imaging Library-User Guide Manual No. 10328-MN-0210 Matrox Electronic Systems Ltd. Dorval, Quebec, Canada
[Diplom 95] Sommerfeld,H.,CPMS-Car Plate Matching System, Diplomarbeit Fachhochschule Gies­ sen Friedberg, Fachbereich E2, Juni/1995
[DIN 96] Retroreflektierende Kennzeichenschilder für Kraftfahrzeuge und deren Anhänge­ fahrzeuge, DIN-Normblatt 74069, Juli/1966
[Wevelsiep

97

] Verfahren zur omnidirektionalen Erfassung von OCR-Klarschrift auf Etiketten oder ähnlichen Datenträgern durch zufallsge­ steuerte Suche und Dekodierung mit einem neuronalen Netzwerk Offenlegungsschrift Deutsches Patentamt DE 195 07 059 A1, 9.1.97
[Diplom 96] Hohmann,R.,Gogné,R.,Zeichensegmentie­ rungsalgorithmen für neue deutsche Euro- Kfz-Kennzeichen, Diplomarbeit Fachhoch­ schule Gießen-Friedberg, Fachbereich E2, November 1996

Claims (13)

1. Verfahren zur Segmentierung von verabredeten Symbolen, wie Schriftzeichen, Logos, etc. in Grauwert- oder Binärbildern von formatierten Datenträgern,wie Kraftfahrzeug - Kennzei­ chenschildern, Etiketten, wie sie vorzugsweise in Produk­ tion oder Logistik verwendet werden, sonstigen Schildern oder von verabredeten Symbolen, bzw. Schriftzeichen auf speziell für Beschriftungszwecke vorgesehene von sonsti­ ger Information frei gehaltene ebene Flächen auf Gegen­ ständen, dadurch gekennzeichnet, daß die Symbole, die vorzugsweise drucktechnisch oder prägetechnisch in gegen­ über dem Hintergrund kontrastierender Weise so angebracht wurden, daß ihre Größenabmessungen (vorzugsweise Höhe, Breite, Durchmesser oder eine sonstige geometrisch ein­ fache, das Symbol umschreibende Figur wie ein Rechteck ) einer verabredeten, dem Segmentierungsverfahren bekannten Regel genügen und der gegenseitige Abstand der nicht mit­ einander verbundenen Symbole in einer Zeile und ggf. der Abstand mehrerer Zeilen aus diesen Symbolen einer eben­ falls dem Segmentierungsverfahren bekannten Regel genügen, so daß ein Suchalgorithmus, der das Grauwert- oder Binär­ bild nach diesen Symbolen auf Grund der Kenntnis der ver­ abredeten Eigenschaften absucht, nur den verabredeten Größeneigenschaften genügende Symbole in der zufälligen oder determinierten Reihenfolge ihres Auffindens nume­ riert und anschließend nur noch ein das grafische Abbild des Symbols enthaltendes Teilbild des ursprünglichen ge­ samten Szenenbildes in einem Speicher zur weiteren Aus­ wertung bereithält, welche darin besteht, daß der ört­ liche Abstand von jedem in der beschriebenen Weise gefun­ denen und gespeicherten Symbole zu jedem anderen gefunde­ nen Symbol bestimmt wird und in einer Liste in Kombina­ tion mit den laufenden Nummern der jeweils beiden betei­ ligten Symbole erfaßt wird, so daß nach Abschluß die­ ses Vorgangs eine den gegenseitigen Abstand der Symbole beschreibende Konnektivitätsliste erhalten wird und an­ schließend die Einträge der Konnektivitätsliste mit vor­ ab gespeicherten örtlichen Abstandsmerkmalen, welche die Geometrie sinnvoller Symbolpositionen (Formatvorschrift) auf dem Datenträger oder der für die Beschriftung vorge­ sehenen Fläche auf einem Gegenstand beschreiben, zu ver­ gleichen und im Falle der Übereinstimmung der erstellten Konnektivitätsliste mit der Formatvorschrift die bezüglich ihrer örtlichen Position der Formatvorschrift genügenden Symbole in einer geordneten Reihenfolge einer logischen Schnittstelle (Datenstruktur oder Datenfile) so zugeführt werden, daß eine Dekodierung, d. h. die Umsetzung der Symbol-Teilbilder in zugeordnete ASCII-Zeichen möglich ist.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß an Stelle einer gespeicherten Formatvorschrift ein Katalog von Formatvorschriften gespeichert vorliegt, um in Auf­ gabenstellungen, bei denen mit dem Auftreten mehrerer verabredeter Formate, wie z. B. unterschiedlicher natio­ naler und/oder internationaler Kraftfahrzeug-Kennzei­ chenschilder, zu rechnen ist, die erarbeitete Konnekti­ vitätsliste in festgelegter oder zufälliger Reihenfolge mit dem Katalog der Formatvorschriften zu vergleichen, um der logischen Schnittstelle die Teilbilder der ermittelten Symbole zusammen mit der Katalognummer der zutreffenden Formatvorschrift übergeben zu können und damit eine Deko­ dierung der Symbole in der für die zutreffende Formatvor­ schrift geeigneten Weise veranlassen zu können und zusätz­ lich, z. B. im Falle der Kfz-Kennzeichen, eine Aussage über die nationale Herkunft, oder eine sonstige, Art oder Herkunft des Datenträgers kennzeichnende Eigenschaft zu gewinnen.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Suche nach Symbolen, die den Regeln des Segmentie­ rungsverfahrens genügen, in für die Geschwindigkeit des Auffindens vorteilhafter Weise in einem solchen örtlichen Bereich des Bildszene beginnt, in dem das Auftreten der die Symbole tragenden Datenträger oder Beschriftungsflä­ chen basierend auf Erfahrung oder Vorgaben wahrscheinlich ist und erst dann die restliche Bildfläche mit vorgegebe­ ner Systematik abgesucht wird, bis die den Regeln des Seg­ mentierungsverfahrens und der Konnektivität genügende An­ zahl der Symbole erfaßt worden ist, bzw. im Falle ergeb­ nisloser Suche, wenn also nur Symbole gefunden werden, die nicht, oder nicht vollständig den Regeln der Segmentierung und Konnektivität entsprechen, das Verfahren geordnet so abgebrochen werden kann, daß die Verarbeitung eines neu­ en Bildes möglich wird.

4. Verfahren nach Anspruch 1 und 3, dadurch gekennzeichnet, daß nach erfolgreicher Segmentierung und Konnektivitäts­ prüfung, also dem Auffinden eines gültigen Datenträgers bzw. einer Beschriftung in einer aktuell gegebenen Bild­ szene, die Ortskoordinaten des Datenträgers bzw. der Be­ schriftungsfläche relativ zum Ursprung des Bildkoordina­ tensystems gespeichert werden und in dieser Weise bei je­ dem zu verarbeitenden neuen Bild verfahren wird, um nach einer festgelegten Anzahl von verarbeiteten Bildern eine Häufigkeitsanalyse der gefundenen Datenträger-Ortskoor­ dinaten vorzunehmen, mit dem Ziel, in für die weitere Bildszenenverarbeitung vorteilhafter Weise die Suche nach Symbolen in dem örtlichen Bereich des Gesamtbildes starten zu können, in dem basierend auf der Häufigkeitsanalyse der Vergangenheit der jeweils neue Datenträger erwartet wird, um die Geschwindigkeit des gesamten Verfahrens zu erhöhen und gleichzeitig durch Fortschreiben der Häufig­ keitsstatistik dem System eine Lernfähigkeit zu vermitteln -also eine Adaption an im Laufe der Zeit ggf. tendenziell driftende Ortskoordinaten der Datenträger vornehmen zu können - um den Geschwindigkeitsvorteil im Suchprozeß langfristig aufrecht zu erhalten, eine Aufgabenstellung, die beispielhaft immer dann gegeben ist, wenn Fahrzeuge an einer Erfassungsstelle (z. B. Parkhaus, Mautstation) normalerweise in einem erwarteten Ortsbereich (z. B. Fahr­ bahnmitte) auftreten, aber nach einer verkehrsbedingten Störung o. ä. in einem variierten Ortsbereich auftreten, und damit eine manuelle neue Ausrichtung der Kameraposi­ tion, die ohne diese Verfahrenseigenschaft zweckmäßig wäre, unterbleiben kann.

5. Verfahren nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß aus dem Luminanzsignal des Rohbildes,um dieses in ein Binärbild zu wandeln, zunächst ein Grauwerthistogramm des Rohbildes über den gesamten mit n bit codierten Grauwert­ bereich des Rohbildes - wobei vorzugsweise n = 8 gewählt wird - erstellt wird und in diesem Histogramm das Häufig­ keitsmaximum der Grauwertverteilung unterhalb des durch 2 hoch (n-1) beschriebenen Grauwertes, für n = 8 also 128, gesucht wird und anschließend das entsprechende Häufigkeitsmaximum oberhalb des durch 2 hoch (n-1) be­ schriebenen Grauwertes gesucht wird, dann die den genann­ ten Maxima zugehörigen Grauwerte ermittelt und gespeichert werden und anschließend eine Digitalisierungsschwelle ge­ nau in die Mitte zwischen diesen beiden, die Maxima kenn­ zeichnenden Grauwerte gelegt wird, um mit Hilfe dieser Schwelle die Umwandlung des Rohbildes in das Binärbild durchzuführen - ein Verfahren, das experimentell erprobt in vorteilhafter Weise eine von der jeweiligen Szenenbe­ leuchtung weitgehend unabhängige und zuverlässige Segmen­ tierung des Datenträgers, vorzugsweise ein Kfz-Kennzei­ chen, vom Bildhintergrund ermöglicht.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß im Falle erfolgreicher Erkennung eines Datenträgers, die zunächst gespeicherten, die Digitalisierungsschwelle be­ stimmenden beiden Grauwerte zusammen mit dem zugehörigen Grauwerthistogramm nunmehr langfristig mit dem Ziel gespeichert werden, eine Statistik zur langfristigen Ermittlung der für die Beleuchtungsverhältnisse dieser Installation optimalen Digitalisierungsschwelle zu ermit­ teln und besonders in den Fällen, wo wegen einer für die Erkennung ungünstigen Grauwertverteilung der Szene eben diese Erkennung fehlerhaft würde, was durch Vergleich des in diesem Falle sich ergebenden Grauwerthistogramms mit einem ebenfalls über eine langfristige Statistik aus den Grauwerthistogrammen der erfolgreichen Erkennungen errech­ neten, gemittelten Grauwerthistogramm ermittelt werden kann, wobei sich als Vergleichskriterium der mittlere quadratische Fehler zwischen den beiden Histogrammen in vorteilhafter Weise anbietet, auf diese Weise eine adaptive Digitalisierungsschwelle realisiert wird.

7. Verfahren nach Anspruch 1 bis 6, dadurch gekennzeichnet, daß die Konnektivitätsprüfung so erweitert wird, daß zu nächst örtliche Cluster von Schriftzeichen, Symbolen oder sonstigen verabredeten Strukturen aus zusammenhängenden Pixeln (nachfolgd. Blobs genannt) in jeweils individuellen Konnektivitätslisten zusammengefaßt werden, diese einzeln auf Erfüllung einer oder mehrerer gespeicherter Formatvor­ schrift(en) untersucht werden und auf diese Weise auch mehrere in der Szene vorkommende Datenträger, bzw. Symbole tragende Beschriftungsflächen erfaßt und erkannt wer­ den können, auch wenn sie ein unterschiedliches Layout aufweisen, ein z. B. bei der Erkennung von Kfz-Kennzeichen dann erforderliches Verfahren, wenn mit dem Auftreten von dem Kennzeichen-Layout ähnlichen Datenträgern, wie Auf­ klebern oder sonstigen Dummies gerechnet werden muß, etwa zu dem Zweck, das Erkennungsverfahren zu täuschen, bzw. in einer Produktions- oder Logistik-Anwendung mit mehreren im Layout bekannten Datenträgern oder zu erfassenden Be­ schriftungsflächen gerechnet werden muß.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß bei der Anwendung des Verfahrens in Zielerfassung und Zielerkennung die Extraktion eines oder mehrerer Ziele in einer Bildszene, welche typischerweise ein terrestrisches Gefechtsfeld oder den von einem lenkbaren Flugkörper beob­ achteten Luftraum darstellt, dadurch erfolgt, daß die be­ kannten Formmerkmale eines erwarteten oder gesuchten Ziels als definierter Blob, oder im Falle eines hinsichtlich seiner geometrischen Form komplexeren Ziels als durch eine zugehörige Konnektivität beschriebene Anzahl einzelner Blobs, beschrieben wird, bzw. bei Erwartung mehrerer Ziele sinngemäß für jedes Ziel eine entsprechende Vorgabe er­ folgt, wobei zusätzlich auch die zwischen diesen Zielen auf Grund der erwarteten gegnerischen Taktik abgeschätzte örtliche Konnektivität berücksichtigt werden kann, auf diese Weise also auch erwartete Täuschungsversuche erkannt werden können, um als Ergebnis der vorgenannten Bild­ szenenverarbeitung entweder automatisch eine Zielauswahl durchzuführen, oder die im Sinne der geschilderten Analyse extrahierten Ziele im Originalbild der Gefechtsfeldszene so zu markieren, daß ein menschlicher Beobachter über die finale Zielauswahl entscheiden kann.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß das Verfahren insbesondere für die Auswertung von Wärme­ bildern, welche typischerweise unschärfere Objektkonturen aufweisen als Bilder im visuell sichtbaren Bereich, ange­ wendet wird, um die vorteilhafte Eigenschaft der Blobana­ lyse zu nutzen, geometrische Formmerkmale innerhalb eines Toleranzbereiches angeben zu können, eine Eigenschaft, die zu einer verbesserten Zielextraktion dann führt, wenn ein­ gesetzte Täuschungsmittel - im Falle einer Wärmebildver­ arbeitung beispielsweise heiße Metalldampfwolken, o.a. - mit deutlich höherer Strahlungsintensität als die des an­ gesprochenen Zieles in Zielnähe so dargeboten werden, daß das angesprochene bzw. bereits verfolgte Ziel durch grö­ ßere Strahlungsintensität und/oder größere örtliche Aus­ weitung der dem Beobachter dargebotenen Zielquerschnitts­ fläche maskiert wird, wobei ein mit Blobanalyse und Kon­ nektivitätsprüfung ausgerüsteter, das Ziel verfolgender Flugkörper das größere und/oder wärmere Ziel ignoriert, und nach Passieren des Bereiches,in dem die Täuschung er­ folgte, die Verfolgung des ursprünglichen Zieles wieder aufnimmt, beispielsweise, indem der ursprüngliche Kurs des verfolgenden Flugkörpers unbeeinflußt von der Täu­ schung kurzfristig beibehalten wird.

10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Schriftzeichensegmentierung deutscher Kfz-Kennzeichen in vorteilhafter Weise so erfolgt, daß ein Binärbild vom Fleck oder der Frontseite eines Fahrzeuges von links nach rechts und von oben nach unten nach zusammenhängenden Strukturen schwarzer Pixel (Blobs) gesucht wird und nur dann, wenn die gefundenen Strukturen innerhalb von durch vorgegebene Toleranzfelder beschriebenen Breiten- und Höhenabmessungen, die entsprechend den Größenabmes­ sungen der zu segmentierenden Schriftzeichen gewählt sind, liegen, das grafische Abbild dieser Strukturen, die nun­ mehr mit hoher Wahrscheinlichkeit Schriftzeichen des Kennzeichenschildes darstellen, jeweils so gekenn­ zeichnet wird, daß die Ortskoordinaten dieser Strukturen- z. B. die linke obere Ecke des umschriebenen Rechteckes einer jeden Struktur - und als Ordnungskriterium die laufende Nummer in der Reihenfolge des Auffindens, gespei­ chert werden, dann alle so gekennzeichneten Strukturen, ausgehend von der ersten gefundenen, daraufhin untersucht werden, welche hiervon in einer Reihe, d. h. horizontal nebeneinander stehend, vorkommen, wobei für diese Analyse die gespeicherten Ortskoordinaten verwendet werden und so­ dann den in einer Reihe stehenden Strukturen jeweils ein weiteres Ordnungskriterium in Form eines Reihenlabels zu­ gewiesen wird, gefolgt von einer Neuvergabe der laufenden Nummer der Strukturen in einer Reihe so, daß die laufende Nummer aufsteigend von links nach rechts an die Strukturen vergeben wird und daran anschließend eine Prüfung auf die horizontalen Abstände der Strukturen durchgeführt wird, mit dem Ziel, festzustellen, ob die Abstände zwischen den ein­ zelnen Strukturen einem aus der geltenden Straßenver­ kehrszulassungsordnung (StVZO) ableitbaren Regelwerk für Kennzeichenschilder genügen und nach Abschluß der Über­ prüfung dieser Reihe untersucht wird, ob noch Strukturen zu finden sind, denen eine zweite Reihe zugewiesen werden kann, in welchem Falle sinngemäß wie im Verfahren für die erste Reihe vorgegangen wird, um diese Weise auch zweirei­ hige Kennzeichenschilder zu erfassen und danach noch zu prüfen, ob nicht mehr als 8 Strukturen in maximal 2 Reihen (entsprechend der StVZO) vorhanden sind und - wenn auch diese Prüfung erfolgreich ist - zu entscheiden, daß die vorliegenden Strukturen Schriftzeichen, also Buchstaben bzw. Ziffern eines Kfz-Kennzeichenschildes sein müssen und nunmehr die durch ihre gespeicherten Ortskoordinaten, Größe des umschriebenen Rechteckes und laufende Nummer identifizierten Strukturen als grafisches Teilbild der gesamten Bildszene an einer Grafikschnittstelle zur wei­ teren Verarbeitung, also der Zeichendekodierung, welche in der Zuweisung eines ASCII-Zeichens besteht, zu über­ geben.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß zur Erkennung der Umlaute Ä, Ö, Ü auf deutschen Kfz- Kennzeichenschildern die Beurteilung der gefundenen Struk­ turen wie in Anspruch 10 beschrieben, durchgeführt wird und dabei die beiden Punkte der Umlaute als separate Blobs erkannt werden, welche jedoch zu klein sind, um der be­ schriebenen Prüfung auf Breiten- und Höhenabmessung zu genügen und deshalb unberücksichtigt bleiben, wonach nur noch der untere Teil der Umlaute verbleibt, für diesen eine zusätzliche angepaßte Höhenprüfung durchgeführt wird und dann, wenn diese bestanden wird, der untere Teil der Umlaute als eigenständiges grafisches Symbol betrach­ tet wird, welches an die Grafikschnittstelle zur weiteren Verarbeitung, also der Zeichendekodierung, übergeben wird und vom Dekoder als verabredetes ASCII-Zeichen der ent­ sprechende Umlaut zugeordnet wird.

12. Verfahren nach Ansprüchen 1 bis 8, 10 und 11, dadurch gekennzeichnet, daß neben Grauwertbildern auch Farb­ bilder verarbeitet werden, wobei alle beschriebenen Operationen auf den Luminanzanteil des Bildsignals an­ gewendet werden und zusätzlich jedem Farbkanal eine eigene Blobanalyse und Konnektivitätsprüfung zugewiesen werden kann.

13. Verfahren nach Ansprüchen 1 bis 8 und 10 bis 12, dadurch gekennzeichnet, daß das Kfz-Kennzeichen-Erkennungssystem automatisch so arbeitet, daß Kennzeichen nach Möglichkeit vom System erkannt und die dekodierten Schriftzeichen nach einer logischen Plausibilitätsprüfung als ASCII-String über eine Datenfernübertragung einer Zentrale zugeführt werden und nur in den Fällen, wo ein Kennzeichen nicht vom System erkannt wird, das Grauwert- oder Farbbild der Ori­ ginalszene unter Ausnutzung bekannter Bildkompressionsver­ fahren der Zentrale zur visuellen Auswertung durch einen Bearbeiter über dieselbe Datenfernübertragung zugeführt wird und diese Übertragung nach Zwischenspeicherung der komprimierten Bilder im Rechner des Erkennungssystems,oder in einem mit diesem verbundenen Rechner, nach Abruf, bzw. automatisch in verkehrsschwachen Zeiten veranlaßt wird.