DE102008009263B3

DE102008009263B3 - Verfahren zum automatischen Erkennen, insbesondere bei der Verkehrsüberwachung, von Fahrzeugen oder von Fahrzeugkennzeichen

Info

Publication number: DE102008009263B3
Application number: DE102008009263A
Authority: DE
Inventors: Igor Dedic; Tobias Layer
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2008-02-15
Filing date: 2008-02-15
Publication date: 2009-06-10
Anticipated expiration: 2028-02-16

Abstract

Bei dem Verkehrserkennungsverfahren werden die erfassten Bilder der mit Infrarot beleuchteten, zu erkennenden Fahrzeuge oder Fahrzeugkennzeichen (1) mittels eines digitalen Bilderkennungsverfahrens ausgewertet, wobei das Erfassen der Bilder mittels eines optoelektronischen Bildsensors (6) mit matrixartig angeordneten Pixeln erfolgt. Es wird vorgeschlagen, dass die Belichtungssteuerung in einem globalen Verschluss-Modus (global shutter) erfolgt, bei dem alle Pixel des Bildsensors (6) gleichzeitig belichtet werden. Durch die kürzeren Verschlusszeiten resultiert eine verbesserte Bildgüte, da insbesondere der Fremdlichteinfluss reduziert wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum automatischen Erkennen von Fahrzeugen des Kraftfahrzeugverkehrs oder von Kennzeichen, die an derartigen Fahrzeugen angebracht sind. Das gattungsgemäße Verfahren umfasst die Schritte:

– Beleuchten der zu erkennenden Fahrzeuge oder Kennzeichen mit Infrarotlicht,
– Erfassen von Bildern des Fahrzeugs oder Kennzeichens mittels eines optoelektronischen Bildsensors mit matrixartig angeordneten Pixeln, wobei die Belichtungssteuerung des Bildsensors mittels eines elektronischen Verschlusses erfolgt,
– Auswerten der erfassten Bilder mittels eines digitalen Bilderkennungsverfahrens.

Die Erfindung betrifft außerdem ein Verkehrsüberwachungssystem zur Durchführung eines derartigen Verfahrens.
Ein derartiges Verfahren ist beispielsweise aus der WO 01/35372 A1 bekannt. Im Prinzip kann die maschinelle Auswertung der erfassten digitalen Bilder bei der Nummernschilderkennung ähnlich wie die bekannte optische Zeichenerkennung (OCR) für die Dokumentenverarbeitung erfolgen. Es sind jedoch auch verschiedene fortgeschrittene Verfahren zur Bilderkennung, insbesondere Kennzeichenschilderkennung, bekannt, vergleiche beispielsweise die Patentschrift DE 600 30 377 T2 .
Bei verkehrstechnischen Videodetektionsverfahren und der dabei eingesetzten Bilderkennung werden Videodetektoren (z. B. Kameras für Einzelbilder und Videofolgen) auf die Straße gerichtet mit dem Ziel, Fahrzeuge maschinell zu erkennen, oder Nummernschilder automatisch zu lesen. Die dabei verwendeten Verfahren sind zum Beispiel unter den Begriffen „Car Video Detection" (Videodetektion von Fahrzeugen), "Automated Number Plate Recognition" (kurz ANPR) oder „Automated License Plate Recognition" (automatische Nummernschilderkennung) bekannt. Bei allen diesen Verfahren wird eine von der Kamera gesteuerte Infrarotbeleuchtung eingesetzt, damit die Abbildung von Fahrzeugen und Nummernschilder bei unterschiedlichen Witterungs- und Beleuchtungsbedingungen (z. B. Tag, Nacht, Nebel, Schneefall, Schatten, Regen usw.) funktioniert.
Bei diesen bekannten Verfahren tritt das Problem auf, dass die Erkennungs- oder Leserate von den äußeren Beleuchtungsbedingungen stark abhängig ist. Die Videodetektoren werden z. B. geblendet durch Hauptscheinwerfer der Fahrzeuge, Reflektionen der Scheinwerfer auf nasser Straße, oder durch direkte Einstrahlung von Sonnenlicht. Zusätzlich wird die Erkennungsrate der Bilderkennungsverfahren vermindert durch Schatten und Reflektionen des Sonnenlichtes und künstlicher Lichtquellen. Bisher werden diese Einflüsse dadurch vermindert, dass die Infrarotbeleuchtung mit monochromen Leuchtmitteln (zum Beispiel LEDs oder LASER) erzeugt wird und den Fotosensoren ein der Wellenlänge der von diesen Leuchtmitteln ausgesendeten Strahlen entsprechender optischer Filter (z. B. Passfilter auf Basis des Interferenzeffektes) vorgeschaltet wird. Zusätzlich werden in aufwendigen softwaretechnischen Verfahren verschiedene Beleuchtungsszenarien bei der Detektion und den Lesevorgängen berücksichtigt. Trotzdem funktionieren diese Verfahren nur eingeschränkt, so dass beispielsweise bei Nacht die Erkennungs- und Leseraten deutlich höher sind als unter wechselnden Tageslichtbedingungen. Eine weitere Einschränkung dieser bekannten Verfahren liegt in der Reichweite der Infrarot-Strahler, deren Leuchtstärke in Rücksichtnahme auf das Augenlicht jeweils in ihrer Intensität eingeschränkt werden muss. Die heute bei Verkehrserkennungsverfahren verwendeten Fotosensoren arbeiten zudem nach dem Belichtungssteuerungsprinzip des so genannten „rolling shutters" (rollender Verschluss), das eine Belichtungszeit im Bereich einiger Millisekunden erfordert. Daraus entsteht die Notwendigkeit, dass sich die Zeitdauer der Infrarot-Blitze ebenfalls im Bereich einiger Millisekunden bewegen muss. Diese relativ lange Beleuchtungs- beziehungsweise Belichtungszeit verursacht zudem Bewegungsunschärfeeffekte, insbesondere bei hohen Fahrzeuggeschwindigkeiten.
Unter dem Verschluss-Modus "rolling shutter" versteht man dabei die Funktionalität, dass jeweils beispielsweise eine einzelne Zeile der matrixartig im Bildsensor angeordneten lichtempfindlichen Elemente gleichzeitig zum Empfang von Licht aktivierbar sind, wodurch eine 'Blende' gebildet wird, die zeilen- oder spaltenweise über die gesamte Fläche des Sensors läuft. Nachteilig an der Verwendung von Bildsensoren mit "rolling shutter" ist, dass die Zeit zur sukzessiven Belichtung des gesamten 'Frame' (Aufnahme) des Bildsensors notwendig länger als die effektive Belichtungszeit der einzelnen Zeilen beziehungsweise Spalten ist.
In einigen modernen Digitalkameras beziehungsweise Bildsensoren, vergleiche zum Beispiel EP 1 152 472 B1 und WO 2004/040 904 A1 , wird ein so genannter globaler elektronischer Verschluss eingesetzt. Bei der Belichtungssteuerung mit "global shutter" werden – im Gegensatz zum "rolling shutter" Verschluss-Modus – alle Pixel des Bildsensors gleichzeitig belichtet. Derartige elektronische Verschlüsse werden jedoch bisher nicht im Zusammenhang mit Verkehrserkennungsverfahren eingesetzt. Im Übrigen ist aus der Offenlegungsschrift DE 102 45 912 A1 ein Verfahren zum Betreiben eines optoelektronischen Bildsensors bekannt, mit dem schnelle dynamische Vorgänge unter Verwendung handelsüblicher "rolling shutter"-Sensorvorrichtungen erfasst werden sollen.
Aus der CA 2 439 761 A1 ist ein System zur Nummernschilderkennung bekannt, bei dem eine Standard-Videokamera mit einem schnellen elektronischen Verschluss mit einer Verschlusszeit von weniger als 2 Millisekunden vorgesehen ist. Weiter vorgesehen ist eine Beleuchtung mit Infrarotlicht sowie eine nachgeschaltete Bilderkennung. Aus dem Artikel Volker Graefe, Echtzeit-Bildverarbeitung für ein Fahrer-Unterstützungssystem zum Einsatz auf Autobahnen, it + ti-Informationstechnik und Technische Informatik 36 (1994)1, Heft 1/94, Sonderheft Robotik, R. Oldenbourg Verlag, S. 16–24, ist ein verkehrstechnisches Erkennungsverfahren bekannt, bei dem eine Standard-Videokamera eingesetzt wird, die mit einer Antwortzeit des Halbleiter-Bildsensors im Bereich von 40 bis 500 Millisekunden arbeitet.
Aus der Patentschrift US 7,204,418 B2 ist ein im globalen Verschlussmodus arbeitender Bildsensor bekannt, der im Zusammenhang mit Scannern für Barcode-Symbole eingesetzt wird. Offenbart werden Infrarot-Lichtblitze mit einer Pulsdauer von weniger als 500 Mikrosekunden und Bildwiederholfrequenzen von 50 bis 100 Blitzen pro Sekunde, also im Bereich zwischen 10 und 20 Millisekunden.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein bezüglich dieser Problemstellungen verbessertes Verfahren der eingangs genannten Art zu schaffen und ein Verkehrsüberwachungssystem zu dessen Durchführung anzugeben.
Diese Aufgabe wird durch ein Verkehrserkennungsverfahren nach Patentanspruch 1 sowie durch ein Verkehrsüberwachungssystem nach Patentanspruch 6 zur Durchführung des genannten Verfahrens gelöst. Vorteilhafte Ausgestaltungen und Weiterentwicklungen der vorliegenden Erfindung gehen aus der Zeichnung, der folgenden Beschreibung und den abhängigen Ansprüchen hervor.
Hinsichtlich des Verkehrserkennungsverfahrens baut die Erfindung auf dem gattungsgemäßen Stand der Technik dadurch auf, dass die Belichtungssteuerung in einem globalen Verschluss-Modus (engl.: global shutter) erfolgt, bei dem alle Pixel des Bildsensors gleichzeitig belichtet werden.
Die Erfindung beruht demnach zunächst darauf, dass ein Fotosensor verwendet wird, der über einen elektronischen globalen Verschluss-Modus verfügt und damit sehr kurze Verschlusszei ten ermöglicht, die im Bereich einiger Mikrosekunden liegen, so dass die Bewegungsunschärfeeffekte vermieden werden.
Der Hauptvorteil der erfindungsgemäßen global shutter Belichtungssteuerung bei der Verkehrserkennung liegt jedoch darin, die entsprechend möglich gewordenen kurzen Verschlusszeiten zur Verbesserung der Bildgüte, insbesondere im Hinblick auf Fremdlichteinflüsse, einzusetzen. Die auf diese Weise gelieferten Aufnahmen lassen sich von den nachgeordneten Verfahren der Bilderkennung wesentlich besser verarbeiten. Die Leseraten werden höher, oder es können einfachere, weniger rechenintensive und damit kostengünstigere Bilderkennungsverfahren eingesetzt werden.
Gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens wird das zu erkennende Fahrzeug oder Kennzeichen mit einem Infrarot-Lichtblitz beleuchtet, dessen Dauer im Bereich von einigen Mikrosekunden liegt. Die anschließende Ruhepause bis zum nächsten Blitz liegt dabei im Bereich von einigen Millisekunden, wobei die im aus der Blitzdauer und der Ruhepause gebildeten Zeitraum insgesamt ausgesendete Lichtenergie so ausgewählt wird, dass sie im Rahmen der zulässigen Grenzen der Augenverträglichkeit bleibt. Dadurch eröffnet sich gemäß einer Variante dieser Ausführungsform die Möglichkeit, die Helligkeit des Blitzes so hoch zu wählen, dass der Fremdlichteinfluss weitgehend unterdrückt wird. Die aufgrund der Kürze des Infrarot-Blitzes mögliche große Helligkeit ermöglicht andererseits auch eine größere Reichweite der Infrarotbeleuchtung.
Gemäß einer besonders bevorzugten weiteren Ausführungsform des erfindungsgemäßen Verkehrserkennungsverfahrens werden unmittelbar nacheinander zwei Bilder desselben Fahrzeugs oder Kennzeichens aufgenommen, wobei eines der Bilder mit einem Infrarot-Lichtblitz und das andere ohne Infrarotbeleuchtung aufgenommen wird. Anschließend erfolgt gemäß diese Ausführungsform eine pixelweise Subtraktion des ungeblitzten vom geblitzten Bild, so dass das aus der Subtraktion hervorgehende, vom Fremdlichteinfluss weitgehend befreite Bild mit einem nachgeordneten digitalen Bilderkennungsverfahren besser, beziehungsweise leichter ausgewertet werden kann. Ähnliche Subtraktionsverfahren sind zwar an sich aus dem Stand der Technik bekannt. Sie betreffen jedoch Bilder von statischen Situationen und können im Zusammenhang mit den für den Kraftfahrzeugverkehr typischen schnellen Bildänderungen nur eingesetzt werden, wenn entsprechende schnelle Verschlusszeiten verfügbar sind, so dass sich die beiden Bilder auf ein fast identisches Motiv beziehen.
Erfindungsgemäß können Fahrzeugtypen oder Kennzeichen, wie das Nummernschild, eine Container-Nummer, eine Plakette oder ein Gefahrgutzeichen, die jeweils an einem Fahrzeug angebracht sind, maschinell ausgelesen werden.
Die Erfindung betrifft auch ein Verkehrsüberwachungssystem zur Durchführung der genannten erfindungsgemäßen Verfahren Dabei umfasst das erfindungsgemäße Verkehrsüberwachungssystem einen optoelektronischen Bildsensor mit globalem, elektronischen Verschluss.
Die bevorzugten Ausführungsformen der vorliegenden Erfindung werden im Folgenden noch näher erläutert. Dabei wird im Zusammenhang mit dem Bildsensor von der Verwendung monochromatischen Infrarot-Lichtes und der Verwendung von entsprechenden analogen optischen Passfiltern ausgegangen.
Die einzige Figur der Zeichnung zeigt eine schematische Darstellung der relevanten Teile eines Verkehrsüberwachungssystems gemäß der Erfindung.
Die Figur zeigt zunächst ein Nummernschild 1 eines Kraftfahrzeugs, das mittels eines an sich bekannten Bilderkennungsverfahrens automatisch gelesen werden soll. Um nicht vom Tageslicht abhängig zu sein, beziehungsweise um bei Nacht die Verkehrsteilnehmer nicht durch einen Scheinwerfer blenden zu müssen, ist eine Infrarotbeleuchtung 2 vorgesehen, um das abzubildende Nummernschild 1 ausreichend zu belichten. Entsprechend ist dem optischen System 3, beispielsweise einer in eine Verkehrskamera eingebauten Linse, ein optischer Filter 4 vorgeschaltet. Mittels des optischen Systems 3 wird ein optoelektronischer Bildsensor 6, z. B. ein CMOS-Bildsensor mit matrixartig angeordneten Pixeln (Sensorelementen), belichtet, wobei die Belichtungssteuerung mithilfe eines von einer elektronischen Steuereinheit 7 kontrollierten globalen elektronischen Verschlusses 5 erfolgt. Die Steuereinheit 7 umfasst einen Prozessor, der mittels des optischen Systems 3 und des globalen elektronischen Verschlusses 5 die Belichtung kontrolliert. Die Steuereinheit 7 kontrolliert nicht nur den Bildsensor 6 und die Infrarotbeleuchtung 2, sondern umfasst auch Mittel, um die zur digitalen Bilderkennung erforderlichen Berechnungen auszuführen. Dabei kommuniziert die Steuereinheit 7 mit einem Speicher 8, in den Bilder eingespeichert, beziehungsweise zum Vergleich ausgelesen werden können. Die Steuereinheit 7 und der Speicher 8 können gegebenenfalls auch in einer Verkehrskamera integriert sein.
Durch die erfindungsgemäße, über den heutigen Stand der ANPR-Technologie hinausgehende Verwendung eines Fotosensors 6 mit elektronischem "global shutter" 5 werden, wie erwähnt, sehr kurze (einige Mikrosekunden) Verschlusszeiten ermöglicht. Dadurch vermindern sich nicht nur die Bewegungsunschärfeeffekte, es werden damit auch größere Reichweiten und Abdeckungszonen des Infrarot-Strahlers 2 ermöglicht. Einem sehr kurzen Infrarot-Lichtblitz (einige Mikrosekunden) steht eine lange Ruhepause (einige Millisekunden) bis zum nächster Infrarot-Lichtblitz gegenüber. Die über diesen Zeitraum ausgesendete Lichtenergie bewegt sich im Rahmen der in der Laserschutzklasse 1 festgelegten Richtlinien der Augenverträglichkeit. Der Lichtblitz kann dadurch so hell sein, dass die heute üblichen Reichweiten von 25 m sowie einer Abdeckungszonenbreite von 3 m auf ein Vielfaches ausgedehnt werden können. Andererseits kann bei bisher üblichen Reichweiten der Fremdlichteinfluss durch die größere Helligkeit der Beleuchtung im Wesentlichen unterdrückt werden, so dass eine Verbesserung der Bildgüte resultiert.
Die Verwendung des schnellen „global shutters" 5 und die damit verbundenen kurzen Verschlusszeiten ermöglichen zudem noch eine weitere Methode der Bildverbesserung gegenüber dem langsameren "rolling shutter"-Modus. Dazu wird kurz nach (wenige Mikrosekunden später) der Erfassung eines Bildes mit Infrarot-Blitz ein weiteres Bild ohne Infrarot-Blitz aufgenommen. Dabei repräsentiert der erste für jedes einzelne Pixel ausgelesene Digitalwert die Äquivalenz zur Helligkeit, die sich aus der Summe aus Fremdlicht (z. B. Sonnenlicht, Scheinwerfer, Blinker, Positionslichter, Straßenbeleuchtung, Reflektionen) und dem Infrarot-Licht des Blitzes ergibt. Der zweite Digitalwert (ohne Blitz) repräsentiert dagegen nur die Helligkeit des Fremdlichtes. Bildet man nun die Differenz aus beiden Digitalwerten, so erhält man die Äquivalenz des Infrarot-Blitzes. Auf diese Weise lassen sich unabhängig von der aktuellen Fremdlichtsituation immer die Bilder berechnen, die idealen Bedingungen (Nacht, ohne sonstiges Kunstlicht) entsprechen. Durch die Auswertung von zwei kurz aufeinander folgenden Digitalbildern, eines geblitzt und eines ungeblitzt, mit anschließender Differenzbildung der detektierten Hellig keit per Pixel, kann somit der Fremdlichteinfluss weitgehend 'herausgerechnet' werden.
Das erfindungsgemäße Verkehrserkennungsverfahren kann zum Zwecke der Fahrzeugdetektion, insbesondere der Erkennung des Fahrzeugtyps, und zum maschinellen Auslesen von Fahrzeugkennzeichen aller Art, beispielsweise Nummernschilder 1, Container-Nummern, Plaketten, Gefahrgutzeichen usw., eingesetzt werden.
In allen Fällen trägt die erfindungsgemäß modifizierte Belichtungssteuerung dazu bei, dass die gelieferten Aufnahmen sich von den nachgeordneten Verfahren der Bilderkennung wesentlich besser verarbeiten lassen. Die Leseraten werden höher, oder es können einfachere, weniger rechenintensive und damit kostengünstigere Bilderkennungsverfahren eingesetzt werden.

Claims

Verfahren zum automatischen Erkennen von Fahrzeugen im Kraftfahrzeugverkehr oder von Kennzeichen (1), die an derartigen Fahrzeugen angebracht sind, umfassend die Schritte: – Beleuchten der zu erkennenden Fahrzeuge oder Kennzeichen mit Infrarotlicht, – Erfassen von Bildern des Fahrzeugs oder Kennzeichens (1) mittels eines optoelektronischen Bildsensors (6) mit matrixartig angeordneten Pixeln, wobei die Belichtungssteuerung des Bildsensors (6) mittels eines elektronischen Verschlusses erfolgt, – Auswerten der erfassten Bilder mittels eines digitalen Bilderkennungsverfahrens, dadurch gekennzeichnet, – dass die Belichtungssteuerung in einem globalen Verschluss-Modus ("global shutter") erfolgt, bei dem alle Pixel des Bildsensors (6) gleichzeitig belichtet werden, – dass das zu erkennende Fahrzeug oder Kennzeichen (1) mit einem Infrarot-Lichtblitz beleuchtet wird, dessen Dauer im Bereich von einigen Mikrosekunden liegt, – und dass die Ruhepause bis zum nächsten Blitz im Bereich von einigen Millisekunden liegt, – wobei die im aus der Blitzdauer und der Ruhepause gebildeten Zeitraum insgesamt ausgesendete Lichtenergie so ausgewählt wird, dass sie im Rahmen der zulässigen Grenzen der Augenverträglichkeit bleibt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Helligkeit des Blitzes so hoch gewählt wird, dass der Fremdlichteinfluss weitgehend unterdrückt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass unmittelbar nacheinander zwei Bilder desselben Fahrzeugs oder Kennzeichens (1) aufgenommen werden, wobei eines der Bilder mit einem Infrarot-Lichtblitz und das andere ohne Infrarotbeleuchtung aufgenommen wird, dass anschließend eine pixelweise Subtraktion des ungeblitzten vom geblitzten Bild er folgt, und dass das aus der Subtraktion hervorgehende Bild mit einem digitalen Bilderkennungsverfahren ausgewertet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Infrarotbeleuchtung mit monochromen Leuchtmitteln (2) erzeugt wird, und dass dem Bildsensor (6) ein der Wellenlänge dieser Leuchtmittel (2) entsprechender optischer Filter (4) vorgeschaltet wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein an einem Fahrzeug angebrachtes Nummernschild (1), eine Container-Nummer, eine Plakette oder ein Gefahrgutzeichen maschinell ausgelesen wird.
Verkehrsüberwachungssystem zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 5, bei dem ein optoelektronischer Bildsensor (6) mit globalem, elektronischem Verschluss (5) vorgesehen ist.