-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung
der Geschwindigkeit von Verkehrsteilnehmern bei bildgebenden Verfahren.
-
Bildgebende
Verfahren werden beispielsweise zur Entdeckung und/oder Charakterisierung
von Fahrzeugen, Fußgängern und/oder
anderen Verkehrsteilnehmern in einer Verkehrsbeobachtung eingesetzt.
-
Für die Steuerung
des Straßenverkehrs
sind Vorrichtungen mit einfachen Sensoren ohne Intelligenz bekannt,
beispielsweise Induktionsschleifen oder Laseraltimeter. Vermehrt
kommen jedoch bildgebenden Verfahren und Vorrichtungen mit Feld
programmierbaren Gate-Arrays (FPGA), Digitalen Signalprozessoren
(DSP) und/oder Bildkameras mit eingebauten Rechnern (Imputern) sowie
mit intelligenter Hardware (intelligenten Sensoren) zum Einsatz.
Dabei werden Differenzbilder aus aufgenommenem Bild und Hintergrundbild
in Hardware erzeugt. Anhand dieser Differenzbilder sind Verkehrsteilnehmer
wie Fußgänger und/oder
Fahrzeuge leicht erkennbar. Die Differenzbilder erlauben eine schnelle
Verarbeitung der erfassten Daten. Durch die schnelle Datenverarbeitung
ist eine Fahrzeugerkennung in Echtzeit realisierbar, so dass die
Daten in einer automatischen Verkehrskontrolle verwendbar sind.
-
Für eine Verkehrsanalyse
und -regelung sind eine Reihe von Parametern notwendig. Dazu gehören neben
der Position der Verkehrsteilnehmer beispielsweise deren Geschwindigkeit,
Beschleunigung sowie ein Bewegungsrichtungswinkel (bei Fahrzeugen
auch als Fahrtwinkel bezeichnet). Die Größe der aufgenommenen Verkehrsteilnehmer
im Bild ist stark abhängig
von ihrer Entfernung zur Kamera. Näher befindliche Verkehrsteilnehmer
werden größer, weiter
entfernte werden kleiner abgebildet. Dieses Größenverhältnis hat einen starken Einfluss
auf die interessierenden Parameter.
-
Um
den Einfluss aus unbekannten Größenverhältnissen
zu eliminieren ist es bekannt, Verkehrsteilnehmer immer an bestimmten
Stellen zu erfassen. Dadurch ergibt sich jedoch eine starke Einschränkung der
Analysemöglichkeiten,
so dass beispielsweise ein Stau nur schwer erkennbar ist.
-
Aus
der
EP 0 633 546 B1 ist
ein Verfahren zur Bestimmung der Geschwindigkeit von Verkehrsteilnehmern
bei bildgebenden Verfahren bekannt, wobei mindestens zwei Differenzbilder
aus mindestens drei hintereinander aufgenommenen Bildern erzeugt
werden. Dabei erfolgt eine Ermittlung der Geschwindigkeit über eine
Bewegungsschätzung
aus einem perspektivisch kompensierten Bild des Objekts.
-
Der
Erfindung liegt daher das technische Problem zugrunde, eine Verfahren
und eine Vorrichtung zu schaffen, durch welche die Geschwindigkeit eines
Verkehrsteilnehmers bei einem bildgebenden Verfahren unabhängig von
seiner Entfernung zur Kamera erfassbar ist.
-
Die
Lösung
des Problems ergibt sich durch die Gegenstände mit den Merkmalen der Patentansprüche 1 und
9. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich
aus den Unteransprüchen.
-
Hierfür werden
mindestens zwei Differenzbilder aus mindestens drei hintereinander
aufgenommenen Bildern erzeugt. Aus den Differenzbildern werden die
Größe mindestens
eines abgebildeten, bewegten Verkehrsteilnehmers und eine zugehörige bewegte
Fläche über logische
Verknüpfungen
ermittelt. Aus der Veränderung
der bewegten Fläche
in zwei Differenzbildern ist die Bewegung des Verkehrsteilnehmers
ermittelbar. Die Veränderung
der bewegten Fläche
des Verkehrsteilnehmers wird relativ zur Größe des zugehörigen Verkehrsteilnehmers
normiert. Dadurch ist mindestens die Geschwindigkeit des Verkehrsteilnehmers
unabhängig
von seiner Entfernung und/oder seinem Winkel zur Kamera erfassbar.
Ist die Bewegungsrichtung und/oder eine andere charakteristische
Fahrzeugeigenschaft bekannt, so ist eine Bestimmung der Bewegung
aus einem Differenzbild denkbar. Die Verwendung von mindestens zwei
Differenzbildern hat demgegenüber
jedoch den Vorteil, dass keine zusätzlichen Informationen notwendig
sind.
-
Dabei
wird für
eine Ermittlung der Veränderung
der Bildposition der bewegten Fläche
der Flächenschwerpunkt
der Fläche
ermittelt. Vorzugsweise erfolgt eine einfache Ermittlung des Flächenschwerpunkts
mittels Maximumsermittlungen.
-
Dabei
werden die Bilder für
eine Auswertung mindestens teilweise binarisiert, wobei für die Binarisierung
eine Verstärkung
der Effekte durch eine Quadrierung der Grau- oder Farbwerte der
Bilder durchgeführt
wird und die quadrierten Werte mit einem ausreichend großen Faktor
dividiert werden, so dass nach Bildung einer Entier-Funktion (Wert
vor dem Komma) der Grau- oder Farbwerte des Bildes die Werte 0 oder
1 erhalten werden. Binarisierte Bilder sind beispielsweise für eine Auswertung
durch logische Verknüpfungen
notwendig.
-
In
einer bevorzugten Ausführungsform
wird nur die Länge
der Fläche
betrachtet. Durch diese Vereinfachung ist eine notwendige Rechenleistung für eine Echtzeitbearbeitung
weiter reduzierbar. Die Vereinfachung ist unter der Annahme möglich, dass Fahrzeuge
in ihrer Breite aufgrund der Breite der Fahrbahnspuren nahezu gleich
sind. Fahrzeuge mit Überbreite
auf einem beobachtetem Straßenabschnitt
sind im Regelfall extra gekennzeichnet. Diese Kennzeichnung ist
durch eine geeignete Analyse erfassbar und eine entsprechende Sonderbearbeitung dieser
Fahrzeuge möglich.
Bei Fahrradfahrern wird die Breite durch die Person geprägt, da das
Fahrrad im Regelfall schmaler ist. Die Breite ist durch festlegbare
Werte begrenzt. Durch Erstellung einer Fahrspuranalyse ist ein Fahrradfahrer
nach seiner „Breite", der Zugehörigkeit
zur Fahrspur und eventuell aufgrund seiner Geschwindigkeit erfassbar.
Analoges gilt für
Fußgänger.
-
In
einer weiteren bevorzugten Ausführungsform
erfolgt die Binarisierung unter Berücksichtigung von Fahrzeugclustern.
Dichter Verkehr kann zur Folge haben, dass benachbarte Fahrzeuge
als Cluster zusammengefasst werden. Bei einer Binarisierung mit
einer üblichen
Schwelle sind die Cluster nicht getrennt untersuchbar. Durch eine
AND-Verknüpfung werden
Flächen
ermittelt, die im vorhergehenden und im nachfolgenden Bild überdeckt
werden, und zur Trennung der Cluster herangezogen.
-
In
einer weiteren bevorzugten Ausführungsform
werden auseinander gerissene Flächen
von Fahrzeugen durch eine OR-Funktion verbunden. Aufgrund von Windschutzscheiben,
Beladungen von Fahrzeugen, Masten, anderen Fahrzeugen etc. können zusammengehörige Flächen für ein Fahrzeug auseinander
gerissen werden. Um festzustellen, welche Flächen zu einem Fahrzeug gehören, wird
mittels einer OR- Funktion
eine Fläche
eingesetzt, welche die Lücken überdeckt.
Die Trennung der so erhaltenen Cluster erfolgt wieder über eine
AND-Funktion.
-
In
einer weiteren bevorzugten Ausführungsform
wird eine normierte Beschleunigung mindestens eines Verkehrsteilnehmers
ermittelt. Die Beschleunigung ist analog zur Geschwindigkeit des
Verkehrsteilnehmers über
die zugehörige
Fläche
normierbar.
-
In
einer weiteren bevorzugten Ausführungsform
wird ein Fahrtrichtungswinkel ermittelt, wobei die Flächenschwerpunkte
der bewegten Flächen
in mindestens zwei aufeinander folgenden Differenzbildern ermittelt
werden und aus den Koordinaten der Flächenschwerpunkte eine Fahrtrichtung
und ein Winkel der Fahrtrichtung ermittelt werden. Durch Zusatzinformationen
ist es auch denkbar, den Fahrtrichtungswinkel aus einem Differenzbild
zu ermitteln. Vorzugsweise erfolgt die Ermittlung jedoch ohne die Notwendigkeit
zusätzlicher
Informationen.
-
In
einer weiteren bevorzugten Ausführungsform
wird mittels der Geschwindigkeit und/oder des Fahrtrichtungswinkels
eine Vorhersage der Position mindestens eines Verkehrsteilnehmers
gemacht. Die Vorhersage der Position ist beispielsweise in einer Verkehrsbeobachtung
nutzbar.
-
In
einer weiteren bevorzugten Ausführungsform
umfasst die Vorrichtung mindestens einen Feld programmierbaren Gate-Array
(FPGA). Daneben ist es auch denkbar, die Bestimmung der Parameter
an Bildern einzusetzen, welche im Infrarotbereich aufgenommen wurden.
-
Die
Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels
näher erläutert. Dabei
werden für
gleiche Objekte gleiche Bezugszeichen verwendet. Die Figuren zeigen:
-
1 schematische
Darstellung einer Ermittlung zweier binärer Differenzbilder und
-
2 schematische
Darstellung einer Ermittlung einer veränderten Differenzfläche eines
Verkehrsteilnehmers.
-
1 zeigt
schematisch die Ermittlung von zwei binären Differenzbildern B1* und
B2* aus vier aufeinander folgend aufgenommenen Bilder t1–t4 mit drei
bewegten Verkehrsteilnehmern 1, 2, 3.
Dabei ist die Farbe des Verkehrsteilnehmers 1 dunkler und
die Farbe der Verkehrsteilnehmer 2, 3 heller als
der Mittelwert des Bildes. Sind die Verkehrsteilnehmer sehr klein
und schnell, wie beispielsweise der Verkehrsteilnehmer 3,
so kann dies zur Folge haben, dass sich die Bildflächen des
Verkehrsteilnehmers in zwei hintereinander aufgenommenen Bildern
nicht überdecken.
Dies tritt beispielsweise bei Radfahrern auf. Derartige Verkehrsteilnehmer
werden gesondert betrachtet. Es wird daher zunächst ermittelt, ob sich die Flächen der
Verkehrsteilnehmer 1–3 überdecken. Flächen, welche
sich nicht überdecken,
werden zunächst
für die
Untersuchung ausgeblendet.
-
Zur
Bearbeitung wird aus den ersten beiden Bildern t1, t2 ein Differenzbild
B1 und aus dem beiden nachfolgenden Bildern t3, t4 ein Differenzbild
B2 erzeugt, wobei die Fläche
des Verkehrsteilenehmers 3 ausgeblendet wurde. Negative
Werte in den Differenzbildern sind dabei schraffiert dargestellt.
Für die Bildverarbeitung
unter Verwendung logischer Verknüpfungen
sind binäre
Bilder notwendig. Die binären
Bilder B1* und B2* werden aus den Bildern B1, B2 erzeugt. Für eine Verstärkung der
Effekte werden die Bildwerte zunächst
quadriert und die quadrierten Werte mit einem ausreichend großen Faktor
dividiert, so dass nach Bildung einer Entier-Funktion (Wert vor dem
Komma) der Grau- oder Farbwerte des Bildes die Werte 0 oder 1 erhalten
werden. Dabei werden im Beispiel die Flächen der Verkehrsteilnehmer
weiß dargestellt,
während
alle anderen Flächen
schwarz sind. Im Beispiel sind die Verkehrsteilnehmer stark vereinfacht
als Rechteckflächen
dargestellt. In der Realität
weichen die Abbildungen der Verkehrsteilnehmer stark von dieser
vereinfachten Darstellung ab. Die Flächen hängen dabei von Fenstern der
Verkehrsteilnehmern, ihren Aufbauten, Fahrzeuglacken, Beschriftungen
und ähnlichem
sowie von dem Winkel unter welchem sie aufgenommen wurden ab. Die Darstellung
eines Fahrzeugs in zwei zu verschiedenen Zeitpunkten aufgenommenen
Bildern kann daher stark variieren. Werden die Bilder t1–t4 jedoch kurz
hintereinander aufgenommen, beispielsweise mit einer Zeitdifferenz
von einer fünftel
Sekunde, so besteht eine Ähnlichkeit
in der Darstellung der jeweiligen Verkehrsteilnehmer. Anstelle der
Verwendung von vier Bildern t1–t4
ist es auch denkbar, Differenzbilder aus drei Bildern t1–t3 zu ermitteln.
-
Dies
ist insbesondere dann sinnvoll, wenn der zeitliche Abstand zwischen
zwei Bildern t1, t2 bzw. t2, t3 und t3, t4 groß ist.
-
Wie
aus 1 ersichtlich ist entsteht bei dichtem Verkehr
das Problem, dass mit einer üblichen
Schwelle zur Binarisierung des Bildes benachbarte Fahrzeuge zu einem
Cluster 12*, 12** zusammengefasst werden. Um sicherzustellen,
dass es sich um ein Fahrzeug handelt, dessen Geschwindigkeit ermittelt
wird, müssen
die Flächen
getrennt werden. Die Separation erfolgt, indem die beiden Verkehrsteilnehmern 1, 2 zugehörigen Flächen 12*, 12** durch
eine AND-Verknüpfung
der Bilder t1–t4
ermittelt werden und für
die Binarisierung „abgezogen" werden. Dadurch
verringert sich zwar die Größe der in
den Differenzbildern B1*, B2* erfassten Flächen, dafür wird jedoch sichergestellt,
dass die jeweiligen Flächen
nur einem Verkehrsteilnehmer zuzuordnen sind.
-
2 zeigt
schematisch eine Ermittlung der veränderten Fläche eines Verkehrsteilnehmers.
Zur Bearbeitung werden die gemäß 1 ermittelten
binären
Bilder B1* und B2* mittels einer OR-Funktion verknüpft. Von
dieser Verknüpfung
wird eine AND-Verknüpfung
der Bilder B1* und B2* abgezogen. Dadurch wird sichergestellt, dass
nur eine veränderte
Fläche
berücksichtigt
wird. Die binären
Bilder B1* und B2* weisen Differenzflächen 2' und 2'' auf.
Die Differenzflächen 2' und 2'' haben, wie oben erläutert, auch
bei komplexen Fahrzeugabbildungen eine ähnliche Gestalt und können daher
durch einfache Bildoperationen in den Bildern lokalisiert und dem
Verkehrsteilnehmer 2 zugeordnet werden. Durch bekannte
Bildverarbeitungsfunktionen wie labeling lassen sich die Flächen 2' und 2'' isolieren und die Koordinaten
der Flächenschwerpunkte
der Flächen 2', 2'' bestimmen. Die Bewegung des Verkehrsteilnehmers 2 entspricht
dabei der Bewegung der Flächenschwerpunkte.
-
Zur
Bestimmung der Koordinaten der Flächenschwerpunkte in Echtzeit
wird eine lokale Maximumsermittlung eingesetzt. Da es sich um ein
binäres
Bild handelt, ist der Wert des Maximums Eins. Die Koordinaten lassen
sich ermitteln, indem das Bild zeilen- oder spaltenweise auf Maxima
durchsucht wird. Die Koordinaten lassen sich dabei mit einer ausreichenden
Genauigkeit für
die Bestimmung der Parameter ermitteln, wenn zunächst durch eine zeilenweise
Untersuchung das erste Maximum ermittelt wird, d.h., der oberste
Punkt der Fläche 2' oder 2'', anschließend das Bild um 180° rotiert
wird und erneut durch eine zeilenweise Untersuchung ein Maximum ermittelt
wird, welches dem untersten Punkt der Fläche 2' oder 2'' entspricht.
Die Mitte der Linie, welche die beiden Punkte verbindet, wird als
Flächenschwerpunkt
ermittelt. Da die Flächen 2' und 2'' ähnlich sind, sind auch etwaige
Abweichungen des ermittelten Flächenschwerpunkts
von einem tatsächlichen Flächenschwerpunkt
nicht relevant, da der „Fehler" in beiden Flächen 2', 2'' auftritt.
-
Die
Bestimmung der Geschwindigkeit des Verkehrsteilnehmers 2 erfolgt
mittels der Verschiebung des zugehörigen Flächenschwerpunkts der Differenzflächen 2' und 2''. Für die Normierung ist zudem
die Größe des Verkehrsteilnehmers
zu berücksichtigen.
Die Größe des Verkehrsteilnehmers 2 ist dabei
aus jedem der in 1 dargestellten Bilder t1–t4 ermittelbar.
Unter der Annahme, dass es einheitliche Größen für bestimmte Fahrzeugtypen wie PKW,
Busse oder LKW gibt, kann die Größe des Fahrzeugs
durch eine einfache Näherung
bestimmt werden. Der Fahrzeugtyp wird hierfür aus dem Verhältnis von
Umfang zu Fläche
des Verkehrsteilnehmers bestimmt. Ist das Verhältnis von Umfang zur Fläche etwa
proportional dem mittleren Durchmesser der Fläche, so wird angenommen, dass
es sich bei dem Verkehrsteilnehmer 2 um einen PKW handelt. Ist
das Verhältnis
wesentlich größer, so
handelt es sich um einen LKW. Eine Normierungsfläche wird bestimmt, indem eine
OR-Verknüpfung
der Flächen
des Verkehrsteilnehmers 2 aus zwei hintereinander aufgenommenen
Bildern t1–t4
gebildet wird und von dieser OR-Verknüpfung die halbe Fläche abgezogen wird,
welche sich aus einer AND-Verknüpfung
der beiden Flächen
ergibt. Aus der Normierungsfläche
ist eine Normierungslänge
bestimmbar. Die Normierungslänge
wird bestimmt, indem die Fläche über eine
bekannte erode-Funktion auf eine schmale Fläche reduziert wird und deren
Länge abmessbar
ist. Daneben ist es auch denkbar, dass der Winkel des Verkehrsteilnehmers
in der Abbildung und die erwartete Breite von ca. 1,50 m berücksichtigt
werden, um die Länge
zu ermitteln.
-
Die
Bestimmung der Beschleunigung ist durch Differenzierung der Geschwindigkeit
denkbar. Die Beschleunigung ist ebenfalls proportional der veränderten
Flächen
der Verkehrsteilnehmer in den Differenzbildern und durch Normierung
analog zur Geschwindigkeit ermittelbar.
-
Um
die Geschwindigkeit des bisher in der Untersuchung ausgeblendeten
Verkehrsteilnehmers 3 zu ermitteln, werden aufeinander
folgende Bilder t1–t4
gemäß
-
1 verknüpft und
Flächen
mit Überdeckung
ausgeblendet. Die Flächen
der Verkehrsteilnehmer 1, 2 weisen Überdeckungen
auf, bleiben somit für
die nachfolgende Untersuchung unberücksichtigt. Die so erhaltenen
Bilder werden auf ähnliche Flächen, welche
in einer räumlichen
Nähe liegen,
untersucht. Von diesen Flächen
werden jeweils die Flächenschwerpunkte
bestimmt. Die Bestimmung erfolgt vorzugsweise mit der oben beschrieben
Methode der Maximumsermittlung. Die Flächenschwerpunkte werden miteinander
verbunden. Die Geschwindigkeit des Verkehrsteilnehmers 3 ist
dabei proportional zur Länge
der Verbindungslinie. Für
eine Normierung der Geschwindigkeit ist es denkbar, ebenfalls die
Fläche
des Verkehrsteilnehmers zu nutzen. Diese ist jedoch im Regelfall
sehr klein. Für
die Normierungslänge,
die sich aus dem Durchmesser der Fläche ergibt, wird daher ein
Faktor zwei verwendet, so das gilt v = 2·v_mess.
-
1 zeigt
stark vereinfacht Aufnahmen t1–t4
einer Verkehrssituation. Die Verkehrsteilnehmer befinden sich dabei
alle auf einem geraden Straßenverlauf,
parallel zur Bildmittellinie. In Wirklichkeit würde dies eine starke Einschränkung der Überwachungsmöglichkeiten
bedeuten. Die erfindungsgemäße Bestimmung
der Parameter ist daher unabhängig
von einem Fahrtwinkel der Verkehrsteilnehmer. Der Fahrtrichtungswinkel
wird daher durch eine Operation ermittelt. Die Ermittlung des Fahrtrichtungswinkels
erfolgt unter der Annahme, dass die Verkehrsteilnehmer länger als
breit sind. Daraus lässt
sich die Fahrtrichtung angeben. Um den Winkel im Bildraum zu bestimmen,
werden die Flächen
der Verkehrsteilnehmer durch eine Glättungsfunktion verkleinert.
Aus der Verkleinerung entsteht dann annähernd eine Linie, von welcher
die Koordinaten des obersten und des untersten Punkts im Bildraum
ermittelt werden. Mittels der Arcustangensfunktion kann der Winkel
aus diesen Koordinaten berechnet werden. Eine derartige Berechnung
ist jedoch oftmals nicht ausreichend, da der so ermittelte Fahrtrichtungswinkel
lediglich den Winkel der Bewegungsrichtung, nicht jedoch die Fahrtrichtung
angibt. Die Richtung lässt
sich jedoch aus zwei hintereinander aufgenommenen Bildern oder Differenzbildern
bestimmen.
-
Daneben
ist es auch denkbar, zusätzliche
Informationen über
bestimmte Fahrspuren zu berücksichtigen.
Die Informationen über
Fahrspuren liegen beispielsweise aus Straßenkarten oder ähnlichen
Informationsquellen vor. Daneben ist es auch denkbar, Straßenzüge durch
Summenbilder über
einen ausreichend langen Zeitraum zu ermitteln. Die Verwendung von
zusätzlicher
Information über
Straßenverläufe ist insbesondere
von Vorteil, wenn bestimmte Straßenzüge über längere Zeiträume beobachtet werden. Daneben
ist es auch denkbar, die zusätzlichen
Informationen mit den beobachteten Fahrtrichtungen zu verknüpfen, um
so beispielsweise auch Falschfahrer zu erfassen.
-
Unter
Verwendung der normierten Geschwindigkeit des Fahrzeugs und des
Fahrtrichtungswinkels kann unter Berücksichtigung des zeitlichen
Abstands zwischen zwei aufeinander folgend aufgenommenen Bildern
eine Position des Verkehrsteilnehmers vorausgesagt werden. Eine
derartige Voraussage ist von Nutzen für eine Verfolgung von Verkehrsteilnehmern über verschiedenen
Straßenabschnitte
und/oder Kamerapositionen. Für
die Verfolgung muss lediglich eine bestimmte Erwartungsfläche im interessierenden
Bild untersucht werden. Die Erwartungsfläche ist vorzugsweise als Viereck
angenähert.
Die Verfolgung von Fahrzeugen ist beispielsweise relevant für eine dynamische
Beurteilung des Verkehrs. Sie ist Grundlage für eine Verkehrsoptimierung
durch Analyse des Verkehrsverhaltens.