DE19650756A1 - Kennzeichen-Erfassung abgestellter Fahrzeuge (Auto-Gnom) - Google Patents

Description

In großen Parkstellflächen (Parkhäusern, Freiflächen usw.) stellt sich in manchen Fällen das Problem, in regelmäßigen Intervallen die Identität der abgestellten Fahrzeuge erfassen zu müssen. Gründe hierfür können in der Detektierung unzulässiger Dauerparker, dem Detektieren gestohlener oder vom Benutzer nicht aufzufindender Fahrzeuge oder der Überprüfung der Parkberechtigung (Mitarbeiterstellplätze mit bekannten KFZ- Kennzeichen) liegen. Die Daten sollen möglichst zusammen mit Datum und Uhrzeit sowie einer Bezeichnung des genauen Stellplatzes erfaßt werden.

Die geschilderten Probleme könnten natürlich manuell durch Erfassen und Niederschreiben der KFZ-Kennzeichen gelöst werden. Dies ist jedoch sehr zeit- und personalaufwendig. Nicht bekannt sind im Stand der Technik Verfahren, die KFZ-Kennzeichen von abgestellten KFZs auf Parkflächen automatisch und ohne manuelle Beihilfe durch Vorbeifahren mit einem Hilfsfahrzeug einlesen. Dies ist insbesondere bei Parkbereichen wichtig, die von mehreren, ungesicherten Zugängen aus frei benutzt werden können, sowie bei Problemstellungen, bei denen die Position des abgestellten Fahrzeugs mit verwertet werden soll. Die im Stand der Technik bekannten Verfahren zur Erfassung von KFZ- Kennzeichen im Eingangsbereich (z. B. an der Fahrzeugschranke) genügen zur Erfassung der Kennzeichen abgestellter Fahrzeuge noch nicht, da hierzu zusätzlich noch die Position von Fahrzeug und Kennzeichen in einem Videolivebild in Echtzeit bestimmt werden muß. Dazu muß insbesondere auch automatisch detektiert werden, inwieweit ein vollständiges Kennzeichen überhaupt im Bild vorhanden ist.

Vorgeschlagen wird ein Verfahren, bei dem die automatische Erfassung von KFZ-Kennzeichen abgestellter Fahrzeuge in großen Parkbereichen (Parkhäusern, Freistellflächen o. ä.) möglich ist (Anspruch 1, Anspruch 7).

Das System enthält unter anderem folgende Komponenten:
Ein mobiles Datenaufnahmesystem, auf dem Sensoren und ggf. Geber zur physikalischen Erfassung der mit dem Fahrzeugkennzeichen und dem Fahrzeug verbundenen Merkmale montiert sind. Das mobile Erfassungssystem kann z. B. ein Fahrzeug des Werkschutzes sein, auf dem dann Sensor- und Auswertungseinheiten montiert sind.

Eine Sensoreinheit hat eine oder mehrere Kameras zur Bilddatenerfassung sowie einen oder mehrere Sensoren (z. B. Ultraschall oder ebenfalls Kamera oder Kamerapaar), die die Daten für die genaue Bestimmung der Position des KFZ liefern.

Eine Lokalisationseinheit berechnet aus den Sensorsignalen (Ultraschall, Infrarotbeleuchtung, Kamerasignal, Stereokamerasignal) die Position eines der vielen abgestellten KFZ.

Eine Detektionseinheit erfaßt aus den Sensorsignalen (Ultraschall, Kamerasignal, Infrarotbeleuchtung, Stereokamerasignal) die Position eines KFZ-Kennzeichens.

Eine Auswertungseinheit macht aus der Kenntnis der Position des KFZ-Kennzeichens sowie der vorhandenen Kamerabilder den Inhalt des KFZ-Kennzeichens in Form von Buchstaben, Ziffern und Zeichen elektronisch verfügbar.

Eine Verwaltungseinheit hält die aufgenommenen Einheiten dauerhaft verfügbar und stellt ggf. anderen DV-Einheiten diese Einheiten zur Verfügung.

Eine Benutzerschnittstelle ermöglicht manuelle Zusatzeingaben des Benutzers (z. B. Eingabe von Kennzeichen nicht automatisch lesbarer KFZ-Schilder) und ermöglicht und stellt dem Benutzer Abfrage- und Suchfunktionen nach Einheiten zur Verfügung.

Die Erfindung(en) werden nachfolgend anhand mehrerer Ausführungsbeispiele erläutert und ergänzt.

Fig. 1 Eine mobile Datenerfassungsplattform (z. B. ein KFZ des Werkschutzes) bewegt sich zwischen den Reihen abgestellter KFZ.

Fig. 2 ist ein Aufbau einer Sensoreinheit mit mehreren Videokameras und mehreren Ultraschall-Sensoren. Die Aufnahmen werden bei dieser Sensor-Einheit in Stereo ausgeführt, also ein linker und ein rechter Kanal, um eine bessere Bildauflösung und eine bessere Lokalisierung der Fahrzeuge Xx, wobei x = 1. . .n ist, zu ermöglichen.

Fig. 3 ist eine Darstellung nur einer Stereo-Kamera 21, 20 und eines einzelnen Ultraschall-Senders 23. Auch dieses ist eine mögliche Sensoreinheit, die auf der Plattform 1 angeordnet ist und eine Recheneinheit R speist.

Fig. 4 ist eine deutlichere Darstellung der Recheneinheit R mit einer Mehrzahl von darin angeordneten digitalen und analogen Komponenten, die im Zuge der Beschreibung näher erläutert werden.

Fig. 5 ist eine Stirnansicht eines Fahrzeugs X21, mit charakteristischen Radflächen.

Die mobile Datenerfassungsplattform 1 ist mit einer Sensoreinheit 10 ausgerüstet, auf der sich Sensoren zur Erfassung der räumlichen Position des Fahrzeugs (Ultraschall- und Infrarotsensoren sowie ein Stereokamerapaar) befinden. Das für das Lesen des Kennzeichens notwendige Videobild (Kamera) wird so erfaßt. Durch einen symmetrischen Aufbau der Sensoreinheit ist gewährleistet, daß zwei Fahrzeugreihen gleichzeitig aufgenommen werden können, links und rechts von der Bewegung V1 des Fahrzeugs.

Fig. 2 ist eine Sensoreinheit, die mit einer Stereokamera 20 für den rechten Kanal und einer Stereokamera 21 für den linken Kanal ausgestattet ist. Zwei Ultraschall-Sensoren 23, 24 sind auch vorgesehen, die ein Ultraschall-Stereobild erzeugen können. Beide Stereo-Sensoren werden über Datenleitungen 20a, 21, 23a der Recheneinheit R zugeführt, die weiter unten näher erläutert wird.

Weitere Sensoren sind in der Sensoreinheit möglich, so eine oder zwei normale Videokameras 27, ein oder zwei Infrarot-Sensoren 28 oder weitere Stereokameras, wie bildlich dargestellt, nur auf die andere Seite gerichtet. Dargestellt in der Fig. 2 ist mit Bezug auf die Fig. 1 eine Blickrichtung der Sensoren zur linken Seite, und zwar in Richtung des Fahrzeuges X21 (x=21) mit der Kennzeichnung K21 (x=21). Das von der rechten Sensorseite mit den Stereokameras 25, 26 erfaßte Bild ist in diesem Augenblick kein Fahrzeug, allenfalls - wenn die Auflösung hoch genug ist und die Reichweite ausreichend - die Erkennung des Fahrzeuges X3 in Fig. 1, über eine Parkreihe hindurch, die an dieser Stelle kein Fahrzeug hat. Das nächste Fahrzeug bei einer angenommenen Bewegungsrichtung v1 der mobilen Plattform 1 wäre auf der rechten Sensorhälfte das Fahrzeug X1 (x=1) mit der Kennzeichnung K1 (x=1) und auf der linken Hälfte der Sensor- Plattform 10 für die Stereokamera 20, 21 und den Ultraschall Sensor 23 das Fahrzeug X22 (x=22). Wird die normale Videokamera 27 auf der linken Hälfte der Sensor-Plattform noch hinzu genommen, so ergibt sich die Möglichkeit einer mehrdimensionalen Auflösung, hier eines 3D-Sensors zur Lokalisiation der Kennzeichnung Kx jedes geparkten Fahrzeuges Xx. Der dargestellte Infrarot-Sensor 28 kann mit statischem Licht arbeiten, er kann aber auch mit gepulstem Licht, wie Blitzlicht arbeiten.

Wenn günstige Umgebungsbedingungen (keine Witterungseinflüsse zu beachten, Beleuchtungsverhältnisse ausreichend gut) es zulassen, können einzelne Sensoren auch weggelassen werden.

Über Datenleitungen werden die Sensorsignale DS einer Lokalisationseinheit 30 zugeführt, die durch die Auswertung der aktuell anliegenden Signale die Position der KFZs Xx (x=1,. . .n) relativ zur momentanen Position der mobilen Datenerfassungs- Plattform 1 bestimmt. Insbesondere wird in diesem Schritt auch bewertet, ob im Moment überhaupt ein KFZ im Aufnahmebereich zu sehen ist. Dargestellt in Fig. 4 sind zwei Videosignale V1, V2 über Leitungen 20a, 21a und ein Ultraschallsignal U1 über Leitung 23a. Entsprechende Umsetzer oder Verstärker 20b, 21b, 23b sind von den Sensorsignalen beaufschlagt.

Die Lokalisation eines Fahrzeuges in den Sensorsignalen wird dadurch durchgeführt, daß die dreidimensionale Form der im Moment vor den Sensoren befindlichen Objekte berechnet wird. Im Fall der Ultraschallsensoren 23 wird dies durch die Bewertung von Laufzeiten des Ultraschalls geschehen. Im Fall der Infrarotsensoren 28 dadurch, daß sich der Hintergrund im Normalfall bei geeigneter zusätzlicher Beleuchtung dunkel zeigt und das Nummernschild Kx sehr gut reflektiert. Im Fall des Stereokamerapaares 20, 21 kann durch Matching zwischen dem rechten und linken Teilbild die Form des vorliegenden Objekts berechnet werden.

In allen Fällen wird die gemessene dreidimensionale Form mit abgespeicherten typischen Referenzformen eines Fahrzeugs (konvex mit bestimmtem Durchmesser) verglichen; bei hinreichender Übereinstimmung wird von der Annahme ausgegangen, daß ein Fahrzeug vorliegt, insbesondere wenn dessen Räder in Stirnansicht erkannt werden, die eine Art Rechteck oder Quadrat bilden, die direkt auf einer ebenen Oberfläche stehen, die gegen den Horizont und parallel zu ihr eine Linie im Bild ist, wenn die Sensoren tief genug auf dem Meßfahrzeug 1 angebracht sind.

Nur wenn ein Fahrzeug Xx im Aufnahmebereich erkannt wird, wird die aktuelle Bildaufnahme an die Detektionseinheit 70 zur Detektion des Fahrzeugkennzeichens Kx weitergeleitet, was über ein Freigabesignal z geschehen kann. In der Detektionseinheit 70 wird im bestehenden Bild - hier das Bild der Videosignale V1, V2, das auch der Detektoreinheit 70 zugeführt wird - nach einem Nummernschild Kx gesucht. Als Merkmale finden hier insbesondere die Farbe des Schildes, der lokale Kontrast, die geometrische Form (Rechteck, horizontale Ausrichtung, bekannte Längen zu Breiten-Verhältnisse, ungefähre Position am KFZ), oder Templates von Schildern Verwendung. Als Ort eines Nummernschildes Kx gibt die Detektionseinheit 70 den Ort im Bild (Videosignale V1, V2) aus, an dem die oben erwähnten Merkmale zu finden sind.

Auch hier sind die Räder in Stirnansicht hilfreich, denn sie erlauben die weitgehend systematische Ermittlung eines Bildbereichs in dem das Kennzeichen Kx meist liegen wird. Meist wird das in der Mitte zwischen den Rädern sein, etwas oberhalb deren sichtbarer Oberkante.

Die Detektionseinheit gibt die Daten über den Ort des Nummernschildes an die Auswertungseinheit 71 weiter. Die Auswertungseinheit 71 sucht an der Stelle im Bild, die als zum Nummernschild Kx gehörig markiert wurde, nach Ziffern, Buchstaben und Zeichen (aus dem Ausschnitt des Videosignals V1, V2). Hierzu werden gängige OCR-Verfahren zur Klarschriftanalyse oder andere Klassifikationsverfahren eingesetzt. Das Ergebnis des Leseprozesses wird elektronisch an das Datenerfassungsmodul 80 übergeben.

Im Datenerfassungsmodul 80 wird das elektronische Ergebnis des Auswertungsprozesses zusammen mit Parametern, wie der aktuellen Zeit abgelegt. Kann das Kennzeichen nicht eindeutig gelesen werden, wird statt dessen ein Bild zur späteren manuellen Auswertung abgelegt.

Zur Auswertung der Daten in den Einheiten für Lokalisation 30, Detektion 70 und Auswertung 71 sowie zur Steuerung des Gesamtablaufs wird ein Computer R verwendet.

Wenn günstige Umgebungsbedingungen (keine Witterungseinflüsse zu beachten, Beleuchtungsverhältnisse ausreichend gut) es zulassen, kann die Fahrzeuglokalisation weggelassen werden und die Detektion des Nummernschildes direkt in einem Videolivebild erfolgen. Hierzu kann dann eine zusätzliche aktive Infrarotbeleuchtung herangezogen werden, wie sie auch bei der Dokumentation der Verkehrsüberwachung ("Blitzen" in Radarfallen) herangezogen wird. In dieser Beleuchtung sind KFZ-Kennzeichen sehr kontrastreich zu sehen.

Wenn zusätzlich noch eine Information Yx oder Sx über den Standort des Fahrzeugs abgespeichert werden soll, wird diese im selben Moment in das Datenerfassungsmodul 80 eingespeist, wenn das Bild des lokalisierten KfZ festgehalten wird. Entweder Markierungen im Boden oder elektromagnetische Signale von lokal angebrachten Sendern oder Informationen aus der Bewegung des Meßfahrzeugs 1 (Meßfühler und eine intelligente Verarbeitungseinheit im Fahrzeug speichern Informationen über die bisherige Bewegung der Meßplattform 1 und berechnen daraus die aktuelle Position) können herangezogen werden. Ebenso können Informationen aus globalen Positionierverfahren (GPS) verwendet werden.

In der Fig. 4 ist eine Einheit 90 eingezeichnet zur Erfassung von Wegsignalen s, die die Meßplattform 1 gemäß Fig. 3 bei ihrer Bewegung v1 aufnimmt und in eine Positionsangabe Sx umsetzt. Diese Positionsangabe Sx, repräsentativ für den Ort des Fahrzeuges Xx (beispielsweise S21 für das Fahrzeug X21) wird in der Datenerfassung 80 zusammen mit dem Kennzeichen Kx (für den speziellen Fall K21) gespeichert. Alternativ zu den Wegsignalen können auch noch Koordinaten Yx, bestehend aus einer horizontalen und einer Abstandkoordinate herangezogen werden, entweder um die Positionsangabe Sx gänzlich zu ersetzen, oder aber um diese Positionsangabe zu verfeinern, hinsichtlich der genauen Position des Fahrzeuges Xx (im Beispiel X21), das von der Lokalisierung 30 anhand von Videoaufzeichnungen V1, V2 der Kameras 20, 21 erkannt wurde oder mit Hilfe der anderen beschriebenen Sensoren in seiner Umrißgestalt als Fahrzeug identifiziert wurde und deshalb auch hinsichtlich seiner Koordinaten auf der großen Parkfläche spezifiziert werden kann.

Eine Benutzerschnittstelle kann vorgesehen sein und ermöglicht dem menschlichen Bediener, die im System vorhandenen KFZ-Daten zu bearbeiten, ggf. manuell zu ergänzen, nach bestimmten Kriterien zu durchsuchen oder mit anderen Datenbeständen abzugleichen. Ebenso können beim Auffinden bestimmter KFZ- Kennzeichen (Diebstahl) vor Ort direkt Warnmeldungen ausgegeben werden.

Fig. 5 zeigt eine Stirnansicht des KfZ X21, dessen Kennzeichen K21 anhand der Erkennung der Räder R21, R21′ lokalisiert und gelesen werden kann.

Claims (10)

1. System zur automatischen Erfassung von Kennzeichen (Kx; x=1. . .n) abgestellter Fahrzeuge (Xx; x=1. . .n) in großen Parkbereichen (Parkhäusern, Freistellflächen o. ä.), welches System Standortinformation (Sx; Yx; x=1. . .n) des Fahrzeugs (Xx) sowie Aufnahmezeitpunkt abspeichert und gleichzeitig aus den Daten zumindest eines Ton- oder Bildsensors (20, 21, 25, 26; 27) die Gestalt der Front- oder Heckansicht des Fahrzeugs (Xx) bestimmt, um aus einer weiteren oder derselben Aufzeichnung (V1, V2) darin den Ort des Kennzeichens (Kx, x=1. . .n) zu bestimmen und das Kennzeichen so zu lesen, daß es in Klarschrift elektronisch speicherbar ist (80).

2. Verfahren oder System nach Anspruch 1, wobei das Kennzeichen (Kx) so gelesen werden kann, daß es Aufschriften beliebiger Länder in Klarschrift lesen und elektronisch abspeichern (80) kann.

3. Verfahren oder System nach einem der vorigen Ansprüche, bei dem angezeigt wird, wenn ein zu lesendes Kennzeichen (Kx) nicht eindeutig lesbar und elektronisch speicherbar ist, um das Bild von der Front- und Heckansicht des Fahrzeugs (Xx) abzuspeichern, insbesondere zur nachträglichen manuellen Auswertung oder zur Ergänzung manueller Anmerkungen in dem Speicher (80) über eine Benutzerschnittstelle.

4. Verfahren oder System nach einem der vorigen Ansprüche,

• - bei dem der zumindest eine Bildsensor eine Einfach-Kamera, eine Stereo-Kamera oder eine oder mehrere Kameras zur dreidimensionalen Darstellung sind, insbesondere ergänzt um einen weiteren Geber oder Sensor, wie Ultraschallgeber (23, 24) oder Infrarotgeber oder Sensor (28); oder
• - bei dem der Tonsensor mindestens ein Ultraschallsensor (23) ist, zur bildlichen Darstellung der Front- oder Heckansicht, insbesondere ergänzt um eine Kamera (27) für die Ablichtung des Kennzeichenbereichs im Ultraschallbild.

5. Verfahren oder System nach einem der vorigen Ansprüche, bei dem mehr als eine, im wesentlichen in entgegengesetzte Richtung ausgerichtete Sensor-Zusammenstellungen (20, 21, 23; 25, 26, 24) auf einer mobilen Erfassungsplattform (1) montiert sind, um gleichzeitig mehrere abgestellte Fahrzeugreihen auf ihre Kennzeichen (Kx) hin zu überprüfen und letztere zu erfassen.

6. Verfahren oder System nach einem der vorigen Ansprüche, bei dem in einem Schritt im Video-Livebild direkt bestimmt wird, ob ein Kennzeichen (Kx) vollständig im Bild zu sehen ist, um die Recheneinheit (R) zu eichen oder zu überprüfen.

7. Verfahren zum automatisierten Erfassen einer ein einzelnes Fahrzeug (Xx) kennzeichnenden (Kx) Referenzform, wenn mehrere Fahrzeuge in einem großen Parkbereich (Parkhaus, Freistellfläche) nicht unbedingt gleichmäßig nebeneinander und oft mit Lücken zwischeneinander abgestellt sind, anhand

• (a) der Lokalisierung (30) eines individualisierten Fahrzeugs (X21) von einem sich im wesentlichen stetig an den Fahrzeugen vorbeibewegenden (v1) Erfassungsmobil (1, 10);
• (b) einer mehrdimensionalen Video- oder Ultraschall Abbildung (Fig. 5) des lokalisierten Fahrzeugs (X21), in der insbesondere die detektierte Stirnansicht der Räder (R21, R21′) des Fahrzeugs zu einer Detektion eines kleineren Abbildungsbereichs führt, in dem das Kennzeichen sehr wahrscheinlich zu finden ist;
• (c) einer Auswertung des gemäß (b) detektierten Kennzeichenbereichs der Abbildung auf dessen alphanumerischen Gehalt, um diesen in einem Speicher (80) abzuspeichern.

8. Verfahren nach Anspruch 7, bei dem die Speicherung (80) zusammen mit Ortsinformation (Sx, Yx) erfolgt, um das per Kennzeichen individualisierte Fahrzeug im Parkbereich auch positionsmäßig festzulegen.

9. Verfahren nach Anspruch 7 oder 8, bei dem die mehrdimensionale Abbildung eine zwei- oder dreidimensionale Abbildung ist.

10. Verfahren nach einem der vorigen Verfahrensansprüche, bei dem der kleinere Abbildungsbereich, in dem das Kennzeichen wahrscheinlich zu finden ist, mittig zwischen den Rädern (R21, R21′) liegt, etwas oberhalb der Verbindungslinie der oberen Ränder der Räder, soweit auf der Abbildung ersichtlich.