-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung
eines Hintergrundbildes bei bildgebenden Verfahren. Bildgebende
Verfahren werden beispielsweise zur Entdeckung und/oder Charakterisierung
von Fahrzeugen, Fußgängern und/oder
anderen Verkehrsteilnehmern in einer Verkehrsbeobachtung eingesetzt.
-
Für die Steuerung
des Straßenverkehrs
sind Vorrichtungen mit einfachen Sensoren ohne Intelligenz bekannt,
beispielsweise Induktionsschleifen oder Laseraltimeter. Vermehrt
kommen jedoch bildgebenden Verfahren und Vorrichtungen mit Feld
programmierbaren Gate-Arrays (FPGA), Digitalen Signalprozessoren
(DSP) und/oder Bildkameras mit eingebauten Rechnern (Imputern) sowie
mit intelligenter Hardware (intelligenten Sensoren) zum Einsatz.
Dabei werden Differenzbilder aus aufgenommenem Bild und Hintergrundbild
in Hardware erzeugt. Anhand dieser Differenzbilder sind Verkehrsteilnehmer,
wie Fußgänger und/oder
Fahrzeuge leicht erkennbar. Die Differenzbilder erlauben eine schnelle
Verarbeitung der erfassten Daten. Durch die schnelle Datenverarbeitung
ist eine Fahrzeugerkennung in Echtzeit realisierbar, so dass die
Daten in einer automatischen Verkehrskontrolle verwendbar sind.
-
Das
benötigte
Hintergrundbild ist beispielsweise aus statischen Daten, wie Karten
und/oder manuell bearbeiteten Bildern, erzeugbar. Für eine verbesserte
Erkennung der Verkehrsteilnehmer ist das statisch erzeugte Hintergrundbild
an Änderungen aufgrund
von Lichtverhältnissen
etc. anzupassen. Schattenbildungen aufgrund von Wolken und ähnliche
Effekte sind durch derartige Hintergrundbilder jedoch nur bedingt
berücksichtigbar.
Außerdem
ist der Einsatz einer entsprechenden Vorrichtung zur Verkehrsbeobachtung
auf einen oder mehrere bekannte Straßenzüge beschränkt.
-
Daneben
ist es bekannt, dass Hintergrundbild aus erfassten Bildern zur extrahieren.
Verkehrsbeobachtungen und/oder -regelungen werden zumeist bei dicht
befahrenen Verkehrswegen eingesetzt. Die Straße wird daher im Regelfall
nur kurz zwischen zwei Fahrzeugen sichtbar. Aufgrund dieser kurzen
Sichtbarkeit sind zur Bestimmung des Hintergrundbildes Differenzakkumulationen,
Aufadditionen von Bildern oder andere mittelnde Verfahren, Verteilungsfunktionen
und/oder Histogramme nur bedingt einsetzbar.
-
So
ist es beispielsweise aus Fathy, M.; Siyal, M. Y. „An image
detection technique based on morphological edge detection and background
differencing for real time traffic analysis" In: Pattern Recognition Letters, 16
(1995) pp. 1321–1330
bekannt, für die
Bestimmung des Hintergrundes global agierende oder summierende Verfahren
zu benutzen. Kurzzeitige Änderungen
werden bei diesen Verfahren nur unzureichend wiedergegeben. Sie
sind daher für
eine Anpassung an schnelle Änderungen,
wie sie beispielsweise bei dicht befahrenen Straßen oder Schattenbildungen
durch Wolken auftreten, ungeeignet. Dieser Mangel tritt auch bei
Analysen per statistischer Methoden, Kantenanalysen, verschiedenen Filtermethoden,
morphologischen Operationen, Histogramm- Analysen, Wavelettverfahren
und/oder Verfahren auf Basis von Verteilungsfunktionen auf. Allen
Verfahren ist gemeinsam, dass schnelle Änderungen entweder nicht berücksichtigt
werden oder bei nachfolgenden Schritten gute Ergebnisse wieder verschlechtert
werden.
-
Der
Erfindung liegt daher das technische Problem zugrunde, eine Verfahren
und eine Vorrichtung zu schaffen, durch welche ein Hintergrundbild ermittelbar
ist, wobei der Hintergrund nur kurzzeitig und in kleinsten Bereichen
sichtbar sein kann.
-
Die
Lösung
des Problems ergibt sich durch die Gegenstände mit den Merkmalen der Patentansprüche 1 und
9. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich
aus den Unteransprüchen.
-
Hierfür werden
aus einem zum Zeitpunkt t1 aufgenommenen Bild verdeckte und freie
Gebiete ermittelt. Aus dem aufgenommenen Bild wird ein Hintergrundbild
bestimmt, das durch nachfolgend aufgenommene Bilder sukzessive verbessert
wird. Als Eingangswert für
das Hintergrundbild ist es denkbar, das zum Zeitpunkt t1 aufgenommene
Bild unverändert
zu übernehmen.
Daneben ist es denkbar, in dem aufgenommenen Bild Gebiete zu ersetzen,
welche als verdeckte Gebiete identifiziert werden, und das so modifizierte
Bild als Eingangswert für
das Hintergrundbild zu verwenden. Die Ersetzung der verdeckten Gebiete
erfolgt beispielsweise durch Farbdatenwerte, welche aus der unmittelbaren
Umgebung ermittelbar sind. Dabei sind a priori-Kenntnisse berücksichtigbar, beispielsweise
zur strukturellen Gleichförmigkeit
eines Straßenbelages.
Vorzugsweise werden jedoch im Hintergrundbild die unbestimmten Gebiete
maskiert und dadurch bei einer Verwendung des Hintergrundbildes
ausgelassen. Es wird weiter eine ersten Maske erstellt, in welcher
die verdeckten Gebiete maskiert werden. Aus einem zu einem nachfolgenden
Zeitpunkt ti aufgenommenen Bild werden ebenfalls die verdeckten
Gebiete ermittelt. Hierfür
ist es denkbar, das bereits grob ermittelte Hintergrundbild zu verwenden
und verdeckte Gebiete durch Differenz zu ermitteln. In einer zweiten
Maske werden die Gebiete maskiert, welche zum Zeitpunkt ti verdeckt
sind. Durch eine Vergleich der Masken werden freigewordene Gebiete
bestimmt. Aus dem zum Zeitpunkt ti aufgenommenen Bild wird der Hintergrund
der freigewordenen Gebiete ermittelt und das Hintergrundbild um
Farbdatenwerte für
den Hintergrund der freigewordenen Gebiete erweitert. Das Hintergrundbild wird
sukzessive verbessert, so dass eine sehr genaue Bestimmung möglich ist.
Farbdatenwerte sind beispielsweise Grauwerte oder rgb-Werte. So
sind beispielsweise bei einer Verkehrsbeobachtung mit einer Grauwertkamera
auch Fahrzeuge oder Personen erkennbar oder auffindbar, die sich
durch ihren Grauwert nur unwesentlich von der Straße unterscheiden und
deren Bestimmung über
Differenzbilder nicht möglich
ist, da sie vorübergehend
stehen. Die Bilder werden von einer Kamera erfasst. Die Kamera ist
mit einer Recheneinheit zur Auswertung der erfassten Bilder und
einer Speichereinheit zum Ablegen erfasster und/oder bearbeiteter
Bilder ausgebildet und/oder verbunden. Die Kamera ist vorzugsweise
als Grauwertkamera ausgebildet. Es sind jedoch andere Ausbildungen
der Kamera denkbar.
-
Vorzugsweise
wird die Ermittlung der verdeckten Gebiete auf einen Erwartungsbereich
beschränkt.
Durch eine derartige Beschränkung
auf einen Erwartungsbereich bewegter Objekte ist eine notwendige
Rechenzeit für
die Bildverarbeitung reduzierbar. Der Erwartungsbereich von Objekten
ist beispielsweise bei einer Verkehrsbeobachtung aus bekannten Straßenverläufen ermittelbar.
Bei einer Überwachung
von Plätzen
ist beispielsweise eine Beobachtung auf die Umgebung relevanter
Gebäude beschränkbar. Der
Erwartungsbereich kann beispielsweise aufgrund von Tageszeiten etc.
angepasst werden.
-
In
einer weiteren bevorzugten Ausführungsform
wird der Erwartungsbereich bewegter Objekte aus Zeitdifterenzbildern
ermittelt, wobei eine Summe der Zeitdifterenzbilder gebildet und
die Summe auf eine binarisierte Form gebracht wird. Als Zeitdifferenzbild
wird ein Differenzbild zwischen zwei zeitlich versetzt aufgenommenen
Bildern bezeichnet. Die Anzahl an Zeitdifterenzbildern ist dabei
ausreichend groß zu
wählen,
so dass Rauschen, Schwankungen etc. unterdrückt werden. Dem durch die Summe
erhaltenen Bild sind aktuell benutzte Bewegungsbahnen der Objekte
zu entnehmen.
-
Der
Erwartungsbereich wird daher auch als aktiver Bereich des Bildes
bezeichnet. Der Bereich ist kontinuierlich verbesser- und/oder anpassbar.
Das durch Summierung erhaltene Bild wird in eine binarisierte Form
auf Grenzen zwischen m und m + 1, gebracht. Vorzugsweise wird m
= 0 gewählt,
so dass der erwartete aktive Bereich im Bild mit Eins gekennzeichnet
wird und die übrige
Fläche
mit Null. Durch Multiplikation des Bildes mit dem aufgenommen Bild wird
dieses auf die aktive Bereiche reduziert. Ist der zeitliche Abstand
zwischen den zeitlich versetzt aufgenommenen Bildern zu hoch gewählt und/oder
die Bewegung der Objekte sehr schnell, so können Lücken in der ermittelten Bewegungsbahn
auftreten. Diese werden durch Mittelungen und/oder smoothing-Verfahren überbrückt. Die
Farbdatenwerte für den
nicht aktiven Bereich des Hintergrundbildes sind bei Kenntnis des
Erwartungsbereichs direkt der ersten Aufnahme und/oder jeder anderen
Aufnahme entnehmbar.
-
In
einer weiteren Ausführungsform
werden verdeckte Gebiete in einem Ausgangsbild aus Differenzbildern
zwischen dem Ausgangsbild und einem Mittelwertbild ermittelt, wobei
das Mittelwertbild durch eine Mittelung über einen Bereich erzeugt wird, welcher
in etwa der Größe zu erwartender
Verdeckungen entspricht. Durch Verwendung eines Hintergrundbildes
sind verdeckte Bereiche leicht durch Erzeugen von Differenzbildern
ermittelbar. Liegt jedoch kein Hintergrundbild vor oder weist das
vorliegende Hintergrundbild eine mangelnde Qualität auf, so
sind die verdeckten Gebiete durch andere Verfahren zu ermitteln.
Ausgangsbild ist dabei das aufgenommene Bild und/oder ein vorverarbeitetes
Bild, beispielsweise das auf den Erwartungsbereich beschränkte Bild. Die
ermittelten Flächen
werden vorzugsweise vergrößert, um
sicher zustellen, dass verdeckte Bereich ganz erfasst sind. Bei
der Bestimmung verdeckter Bereiche sind vorzugsweise weitere vorliegende
Informationen einsetzbar. Für
eine Verkehrsbeobachtung zählen
dazu beispielsweise die immer vorhandenen Strukturen von Fenstern
und Rädern
der Fahrzeuge, eine äußere "Zerfranstheit" der Struktur von Personen
aufgrund der Kleidung und Informationen aus Wiederholungsintervallen
von Signaländerungen (Ampeln,
drehende oder blinkende Reklame).
-
In
einer weiteren bevorzugten Ausführungsform
erfolgt die Maskierung der verdeckten Bereiche, indem der Betrag
des Differenzbildes gebildet wird und Werte unterhalb eines Schwellwertes
zu Null gesetzt werden, während
die übrigen
Werte zu Eins gesetzt werden.
-
In
einer weiteren bevorzugten Ausführungsform
erfolgt der Vergleich der Masken durch eine OR-Verknüpfung. In
jeder Maske ist der verdeckte Bereich maskiert. Durch eine OR-Verknüpfung ist
der Bereich bestimmbar, welcher in einer Aufnahme verdeckt und in
einer zweiten Aufnahme frei ist. Durch Vergleich mit einer der beiden
Aufnahmen ist weiter festzustellen, zu welcher der Aufnahmen der
freigegebene Bereich gehört.
-
In
einer weiteren bevorzugten Ausführungsform
wird die Maskierung der erste Maske sukzessive um ersetzte Gebiete
verkleinert. Dadurch wird sukzessive der zu bearbeitende Bereich
verringert. Die Ersetzung erfolgt solange, bis die erste Maske keinen
maskierten Bereich mehr aufweist und/oder der maskierte Bereich
nicht weiter verringerbar ist. Dies ist beispielsweise der Fall,
wenn Flächen
fälschlicherweise
als bewegte Objekte angenommen wurden und/oder aufgrund von zeitlichen
Abständen
zwischen zwei Bildern Konturen nicht erfasst werden. Sind die verbleibenden
Maskierungen gering, so werden die entsprechenden Stellen im Hintergrundbild durch
Mittelwerte ersetzt. Es ist weiter denkbar, dass in bestimmten Bildbereichen
schon frühzeitig
erkannt wird, dass die Maskierung nicht weiter verringerbar ist,
so dass diese Bereiche nicht weiter betrachtet werden. Vorzugsweise
wird bei jedem neuen Bildeingang neben dem aktuell ermittelten Hintergrundbild als
Referenz ein aktuelles binäres
Bild, vorzugsweise die bereits vorhandene erste Maske, abgespeichert. Anhand
der Referenz ist feststellbar, ob noch Änderungen möglich sind.
-
In
einer weiteren bevorzugten Ausführungsform
werden kleine, in aufeinander folgenden Aufnahmen häufig wechselnde
Gebiete erfasst und im Hintergrundbild maskiert. Bei derartigen
Gebieten handelt es sich aller Wahrscheinlichkeit nach um Leuchtreklamen,
Ampeln o.ä.
Die Gebiete verfälschen
im Regelfall ein durch Differenz zwischen Hintergrundbild und Aufnahme
erhaltenes Bild. Durch die Maskierung werden sie bei der weiteren
Verarbeitung daher vorzugsweise ausgeblendet.
-
Das
Hintergrundbild wird so- sukzessive aus einem zunächst noch
ungenauen Eingangswert bestimmt. Die Bestimmung des Hintergrundbildes
ist mit neuen Startwerten wiederholbar und dadurch weiter verfeinerbar.
Damit sind außerdem
auch Anpassungen an Beleuchtungsänderungen
(Schatten von Wolken, Wetteränderungen,
Tagesänderungen) möglich.
-
Für eine gute
Realisierung in Hardware und/oder über die FPGA werden einfache
logische Operationen genutzt. Divisionen sind vermeidbar und/oder
durch shift-Operationen ersetzbar.
-
Die
Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels
näher erläutert. Dabei
werden für
gleiche Objekte gleiche Bezugszeichen verwendet. Die Figuren zeigen:
-
1a schematische Darstellung
einer Aufnahme zum Zeitpunkt t1,
-
1b schematische Darstellung
eines ermittelten Verkehrsstroms,
-
1c schematische Darstellung
eines aktiven Bereichs der Aufnahme gemäß 1a,
-
1d eine erste Maske,
-
1e ein erstes Hintergrundbild,
-
1f ein schematische Darstellung
eines Schaltungsprinzips zur Ermittlung eines fahrzeugfreien Bildes,
-
1g ein schematische Darstellung
eines Schaltungsprinzips zur Ermittlung der ersten Maske gemäß 1d,
-
1h ein schematische Darstellung
eines Schaltungsprinzips zur Ermittlung des Hintergrundbildes gemäß 1e,
-
2a schematische Darstellung
einer Aufnahme zum Zeitpunkt t2,
-
2b eine zweite Maske,
-
2c eine gemeinsame Darstellung
der ersten und der zweiten Maske,
-
2d eine verbessertes Hintergrundbild,
-
2e die erste Maske mit reduzierten
Maskierungen,
-
2f ein schematische Darstellung
eines Schaltungsprinzips zur Ermittlung eines zu ersetzenden Bereichs
im Hintergrundbild,
-
3a schematische Darstellung
einer Aufnahme zum Zeitpunkt t3,
-
3b eine dritte Maske,
-
3c eine gemeinsame Darstellung
der ersten und der dritten Maske,
-
3d eine verbessertes Hintergrundbild,
-
3e die erste Maske mit weiter
reduzierten Maskierungen und
-
3f ein schematische Darstellung
eines Schaltungsprinzips zur Ermittlung eines zu ersetzenden und/oder
zu maskierenden statischen Bereichs im Hintergrundbild.
-
1a zeigt schematisch ein
mit einer nicht dargestellten Kamera aufgenommenes Bild B1 einer Straße 1 für eine Verkehrsbeobachtung.
Die Straße 1 wird
von Fahrzeugen 2 befahren und teilweise für die Kamera
durch Bäume 3 verdeckt.
Bei einer Verkehrsbeobachtung sind in erster Linie Straßen, Fußgängerwege
und/oder andere Wege für
Verkehrsteilnehmer von Interesse. Die Beobachtung ist daher auf diesen
aktiven Bereich beschränkbar.
In einem passiven Bereich des Bildes befinden sich beispielsweise
die Straßen
umgebende Häuser,
Bäume usw.
Im passiven Bereich sind Änderungen
nur gelegentlich zu erwarten, beispielsweise das Öffnen eines
Fensters, und/oder die Bewegungen sind klein, wie bei bewegten Ästen der
Bäume.
Großflächigere
Gegenstände,
die sich mit einer erfassbaren Regelmäßigkeit ändern, können maskiert und damit aus
der Betrachtung ausgeschlossen werden.
-
Farbdatenwerte
des passiven Bereichs sind einer beliebigen Aufnahme entnehmbar
und/oder durch eine Maskierung bei der Bildbearbeitung ausblendbar.
-
Der
eigentliche Straßenverlauf
und der aktuelle Fußgängerstrom
werden aus einer Summation von Zeitdifferenzbildern bestimmt. Damit
nur die wirklichen Fahrzeugbewegungen und/oder Fußgängerbewegungen
aufsummiert werden, zufällige
kleine Beleuchtungsänderungen
und/oder Bewegungen der Blätter
der Bäume
dagegen keine verkehrsrelevanten Bereiche vortäuschen, wird eine Schwelle
S1 festgelegt, oberhalb der die Bilder betrachtet werden. Ein geeigneter
Schwellwert ist bei Grauwertbildern in etwa ein fünfzigstel
des maximalen Grauwertes. Die Kennzeichnung des aktiven Bereiches
des Verkehrs wird über
eine Digitalisierung erreicht, wobei nur Werte zwischen zwei Schwellen
S2, S3 berücksichtigt
werden. Die Schwelle S3 ist dabei als S2 + 1 wählbar. Um eine kontinuierliche
Kennzeichnung zu erhalten, werden die Werte in der Umgebung gemittelt.
Hierfür
ist ein smooth-Verfahren
einsetzbar. Dadurch sind kleinere Lücken überbrückbar, die beispielsweise durch
ein zu grobes Zeitraster bei sich schnell bewegenden Fahrzeugen
entstehen können. Derartige
Lücken
entstehen insbesondere dann, wenn die Straßen seltener befahren und/oder
begangen werden. Die Werte R zur Bestimmung des aktiven Bereichs
ergeben sich aus R = (Σ Absolutbetrag (smooth(Bild(t2))>S1 – smooth(Bild(t1))>S1) )>(S2)<(S3)
-
1b zeigt schematisch eine
binäre
Darstellung des ermittelten aktiven Bereichs 1' bei einer Beobachtung
auf dem in 1a dargestellten
Abschnitt der Straße 1.
Durch Multiplikation des Bildes gemäß 1b mit dem aufgenommen Bild B1 gemäß 1a wird dieses auf die aktiven
Bereiche reduziert. 1c zeigt
schematisch ein entsprechend reduziertes Bild B1'.
-
1d zeigt eine erste Maske
M1, wobei Flächen 21 maskiert
sind, welche als verdeckte Flächen
aus dem Bild B1' gemäß 1c ermittelt wurden. Dabei
sind neben den dargestellten von Fahrzeugen verdeckten Straßenteile
im aktiven Bereich beispielsweise auch Teile des passive Bereichs
bei der Maskierung berücksichtigbar,
wie Häuser,
Büsche,
Bäume usw.,
die von LKWs verdeckt werden.
-
1f zeigt schematisch ein
Schaltungsprinzip zur Bestimmung eines ersten fahrzeugfreien Bildes
BF.
-
Zunächst wird
durch einen nicht dargestellten Block ein Mittelwertbild MB erzeugt.
Für eine
Bestimmung der Maske M1 wird aus dem Bild B1' gemäß 1c ein zunächst ein
gemitteltes Bild MB erzeugt. Dabei wird angenommen, dass die Straße 1 verhältnismäßig homogen
ist. Der aktive Bereich 1' wurde
in der Vorverarbeitung bereits bestimmt. Die Mittelung des Bildes
erfolgt durch eine smooth Operation mit einer Größe, die der mittleren zu erwartenden
Größe der Fahrzeuge 2 entspricht.
Für die
Berechnung eines Mittelwertes der Farbdaten, d.h. des mittleren
Grauwertes oder bei Farbkameras des entsprechenden mittleren rgb-Wertes,
wird die Summe von allen Pixelwerten des interessierenden Bereichs gebildet.
Gleichzeitig werden die Werte des Bereichs, als „1" gesetzt, summiert. Eine shift-Operation über den
Speicher mit den summierten Farbdatenwerten mit dem Stellenwert
des MSB (most significant bit) in dem Speicher für die Summe der Markierungspixel ergibt
den mittleren Farbdatenwert der Straße 1. Daneben ist
auch eine Division zur Berechnung denkbar, diese ist aber schaltungstechnisch
schwerer zu realisieren und zeitaufwendiger.
-
Das
gemittelte Bild MB wird von dem aufgenommenen Bild B1' gemäß 1c in einem Block SUB abgezogen.
Dadurch werden Flächen
kenntlich, an welche Fahrzeuge und/oder andere Verkehrsteilnehmer
erwartet werden. Die ermittelten Flächen werden durch eine Einarisierung
BIN maskiert. Der maskierte Bereich wird anschließend vergrößert, um sicher
zu gehen, dass die Fahrzeuge und/oder anderen ermittelten Objekte
vollständig
durch die Maske abgedeckt werden. Hierfür wird die Maske in horizontaler
Richtung durch eine Shift-Operation SH gezerrt und das Ergebnis
durch eine OR-Operation OR mit der bereits erzeugten Maske verknüpft. Anschließend wird
die erweitere Maske in einem Block ROT gedreht, erneut durch eine
Shift-Operation SH gezerrt und das Ergebnis mit der bereist erweiterten Maske
verknüpft.
Durch den Block -ROT wird die Maske wieder zurück gedreht. Vorzugsweise erfolgt eine
Drehung um 90°,
es sind jedoch Drehungen mit andern Winkeln denkbar und/oder eine
Vielzahl an Drehungen. Durch eine Dilate und/oder eine Erosions-Funktion
werden in einem Block DIL Löcher
und Zacken an den Rändern
der Maske ausgefüllt.
Die so ermittelte Maske M' wird
mit einem bereits bekannten und/oder geschätzten Farbdatenmittelwert MF
für die Fahrstrasse
verknüpft.
Außerdem
wird in einem Block 1-M' ein
Negativ der Maske M' erzeugt
und mit dem Bild B1' verknüpft. Die
beiden so erhaltenen Bilder werden zu dem fahrzeugfreien Bild BF
verknüpft, wobei
grob ermittelten Flächen
erwarteter Verkehrsteilnehmer durch einen Mittelwert ersetzt sind.
-
1g zeigt schematisch ein
Schaltungsprinzip zur Bestimmung der Maske M1 aus dem fahrzeugfreien
Bildes BF und dem reduzierten Bild B1' gemäß 1c. Mit einer Subtraktion
des auf den aktiven Bereich reduzierten Originalbildes B1' von dem Bemittelten
fahrzeugfreien Bild in einem Block SUB werden strukturierte Objekte,
wie die Fahrzeuge 2 und/oder nicht dargestellte Fußgänger, hervorgehoben.
Da Abweichungen von den Werten sowohl in negativer als auch in positiver
Richtung denkbar sind, wird das Ergebnis durch einen Block QUAD
quadriert. Der Maximalwert der quadrierten Abweichungen wird mit
einem Faktor kleiner 1 multipliziert, um so in einem Block FK einen
geeigneten Faktor für
die anschließende
smooth-Operation im Block SM zu ermitteln. Durch eine Einarisierung
mit einer geeignet gewählten
Schwelle wird die Maske M1 erhalten.
-
In
der ersten Maske M1 gemäß 1d sind alle Flächen 21 mit
noch nicht bestimmten Farbdatenwerte des Hintergrundbildes mit der
Notation „1" gekennzeichnet.
-
Neben
dieser Bestimmung der Fahrzeuge, insbesondere der ruhenden Fahrzeuge,
ist eine Bestimmung bewegter Fahrzeuge durch Zeitdifferenzbilder
durchführbar.
Zeitdifferenzbilder ergeben sich aus einer Differenz zeitlich aufeinander
folgender Bilder. Die Bestimmung bewegter Fahrzeuge ist sensibler,
da die Zeitdifferenzbilder eine höhere Treffsicherheit gewährleisten.
-
1e zeigt schematisch ein
erstes Hintergrundbild H1. Das erste Hintergrundbild gemäß 1e wird ermittelt, indem
die Gebiete 2', 3' von erwarteten
Fahrzeugen in dem Bild gemäß 1c maskiert werden, d.h.
mit dem Wert „Null" gekennzeichnet werden.
Damit werden Flächen
für die
Erstellung des Hintergrundbildes nicht berücksichtigt, die wahrscheinlich
keine Straßensicht
und/oder Fußgängerwege
wiedergeben. Für
die sukzessive Ersetzung dieser maskierten Flächen im Hintergrundbild durch
Farbdatenwerte des Hintergrundes, beispielsweise eine Grauwertverteilung,
wird in den folgenden Schritten die Bewegung der Fahrzeuge und/oder
der anderen Verkehrsteilnehmer betrachtet.
-
1h zeigt ein schematisch
ein Schaltungsprinzip zur Bestimmung des Hintergrundbildes H1. Zunächst wird
das Negativ der Maske M1 in einem Block 1-M1 erzeugt und dieses
Negativ anschließend
mit dem Bild B1' verknüpft.
-
Bei
einer Bewegung eines Verkehrsteilnehmers wird Straßenuntergrund
freigegeben. Die Bewegung, die den Straßenuntergrund freigibt, ist
aus Zeitdifferenzbildern ermittelbar. Für eine kürzere Rechenzeit werden jedoch
nur die Bildausschnitte betrachtet, an denen Verkehrsteilnehmer
erwartet werden. 2a zeigt
schematisch eine auf den aktiven Bereich reduzierte Aufnahme zu
einem Zeitpunkt t2. Aus dem Bild B2' gemäß 2a sind ebenfalls verdeckte
Bereiche ermittelbar. Die Ermittlung erfolgt dabei analog zur oben
beschriebene Ermittlung der Bereiche 21 gemäß den in
den 1f – 1h dargestellten Schaltungsprinzipien.
Daneben ist es auch denkbar, das Hintergrundbild gemäß 1e zur Bestimmung heranzuziehen
und Objekte aus Differenzbildern zwischen dem Hintergrundbild und
der aktuellen Aufnahme zu ermitteln. 2b zeigt
schematisch eine zweite Maske M2, wobei Gebiete 22 gekennzeichnet
sind, welche zum Zeitpunkt t2 durch Fahrzeuge 2 verdeckt
werden.
-
In 2c sind die erste Maske
gemäß 1e und die zweite Maske
gemäß 2b gemeinsam dargestellt.
Die Markierungsflächen 21, 22 für die Fahrzeuge „bewegen" sich und überdecken neue
Bereiche. Andere Bereiche werden freigegeben und können im
Hintergrundbild H1 ersetzt werden. Dabei werden im Hintergrundbild
H1 gemäß 1d nur die Bereiche ersetzt,
die ursprünglich
maskiert waren.
-
Die
Ermittlung dieser Bereich erfolgt durch das in 2f schematisch dargestellte Schaltprinzip. Dabei
wird eine Maske M(n), die zu einem Zeitpunkt n ermittelt wird, in
einem Block AND durch eine AND-Verknüpfung mit einer Maske M(n – 1), die
zum vorangegangenen Zeitpunkt n – 1 ermittelt und gespeichert
wurde, verknüpft.
Masken M(n – 1)
werden dabei geeignet gespeichert, wobei zu jedem Zeitschritt eine
Maske aktualisiert wird. Vorzugsweise sind dafür zwei Speicher für gerade
und ungerade Bildnummern vorgesehen, so dass eine schnelle Abarbeitung
möglich
ist. Der erhaltene Schnittbereich der Masken M(n) und M(n – 1) wird
mit einer Maske De(n) durch eine XOR Verknüpfung kombiniert. Die Maske
De(n) spiegelt dabei den noch zu ermittelnden Bereich des Hintergrundbildes
wieder. Im ersten Schritt mit M(n) = M2 und M(n – 1) = M1 entspricht somit
De(n) der Maske M1. Durch Mehrfach-Verknüpfungen wird erreicht, dass
bereits ermittelte Bereiche nicht wieder ersetzt werden, sondern
nur ein ermittelter Hintergrundbereich He, der bislang Teil der
Maske De(n) war und nun aufgrund der Fahrzeugbewegung freigeworden
ist.
-
Andere
Verknüpfungen
sind denkbar. Bereiche, die nur von einer Markierungsfläche 21, 22 überdeckt
werden, sind beispielsweise über
eine XOR-Verknüpfung
ermittelbar. In einem zweiten Schritt muss unterschieden werden,
ob es sich um einen freigegebenen oder einen neu bedeckten Straßenuntergrund
handelt. Die Ermittlung erfolgt unter Verwendung der ursprünglich maskierten
Flächen 21.
-
Die
Farbdatenwerte der „freigewordenen" Hintergrundbereiche
He sind der Aufnahme gemäß 2a entnehmbar. Das Hintergrundbild
H1 gemäß 1e wird um diese Werte ergänzt und/oder
verbessert und es ergibt sich ein Hintergrundbild H2 gemäß 2d.
-
Die
Maskierung der Bereiche 21 in der Maske De(n), d.h. im
ersten Schritt der Maske M1, wird um die ersetzten Gebiete verringert.
Die überarbeitete
Maske De(n + 1) ist in 2e dargestellt.
-
Das
stückweise
Ersetzen der Bereiche 21 wird wiederholt. 3a zeigt schematisch ein Bild B3', eine auf den aktiven
Bereich reduzierte Aufnahme zu einem Zeitpunkt t3. Vorzugsweise
werden Bilder mit einer festgelegten Frequenz aufgenommen. Die Zeitintervalle
zwischen t1 und t2 sowie t2 und t3 sind jedoch nicht zwingendermaßen gleich.
Aus dem Bild gemäß 3a sind ebenfalls verdeckte
Bereiche ermittelbar. 3b zeigt
schematisch eine dritte Maske M3, wobei Gebiete 23 gekennzeichnet
sind, welche zum Zeitpunkt t3 durch Fahrzeuge 2 verdeckt werden.
-
In 3c sind die erste Maske
De(n + 1) mit den reduzierten Bereichen 21 gemäß 2e und die dritte Maske
M3 gemäß 3b gemeinsam dargestellt.
Die Ermittlung des neu freigewordenen Hintergrundes erfolgt mit
dem in 2f dargestellten Schaltungsprinzip,
wobei M(n) gleich der Maske M3 und M(n – 1) gleich der Maske M2 ist.
Im Hintergrundbild werden erneut die freigewordenen Bereiche ersetzt,
so dass sich ein Hintergrundbild gemäß 3d ergibt.
-
Das
fortwährenden
Ersetzen von Flächen
im Hintergrundbild wird bei einer Verkehrsbeobachtung so lange fortgesetzt,
bis zumindest einmal alle im relevanten Verkehrsbereich gelegenen
Ampeln geschaltet haben. Im Idealfall sind nach einem bestimmten
Zeitintervall alle Bereiche 2', 3' im Hintergrundbild ersetzt. Im
Regelfall bleibt aber ein Restteil zur Ersetzung übrig. Wenn
dieser Bereich in einer inaktiven Zone liegt, dann ist dort der
momentane Hintergrund einsetzbar. Liegt dieses Gebiet in einem aktiven
Bereich, dann wird die Maskierung aufrechterhalten. Der Bereich 3' wird weiter
mit „Null" markiert und bleibt
für die
Verkehrsbeobachtung unberücksichtigt.
Sind die Bereiche auf dem ermittelten verkehrsaktiven Bereich schmal,
so ist dort der für
die Straße 1 erfasste
Mittelwert des Farbdatenwertes, beispielsweise des Grauwertes, einsetzbar.
-
3f zeigt schematisch ein
Schaltungsprinzip für
die iterative Ermittlung eines statischen Bereichs Mg(n). In einem
Block SUB werden aufeinanderfolgende Bilder B(n) und B(n – 1) verglichen und
dadurch Bereiche ermittelt, welche sich zwischen den Bildern verändert haben.
Diese Bereiche werden in einem Block MULT mit Bereichen 2', 3' verknüpft, welche
im aktuellen Hintergrundbild noch maskiert sind. Dadurch werden
sich verändernde
Bereiche 2', 3' ermittelt.
Das Ergebnis wird mit Werten des aktuell verdeckten Bereichs in
einem Block AND verknüpft.
Die Werte des aktuell verdeckten Bereichs werden durch einen Verknüpfung in
einem Block MULT von Werten BA(n), die gemäß 1g ermittelt werden und den aktuell verdeckten
Bereich wiedergeben, und dem aktuellen Bild B(n) erhalten. Durch Schwellen
SW werden die Ergebnisse jeweils vor der Verknüpfung im Block AND binarisiert.
Das Ergebnis BG der Verknüpfung
im Block AND gibt Bereiche wieder, die zu noch ersetzt werden sollen,
aktuell verdeckt sind, sich aber noch ändern. Die durch die Verknüpfung im
Block AND erhaltenen Werte BC werden geglättet und in einem Block 1-BC/const
wird ein korrespondierendes Negativ ermittelt, das um einen konstanten
Faktor vermindert wird. Das Negativ wird mit dem aktuell verdeckten
Bereich BA(n) in einem Block MULT verknüpft und so Bereiche ermittelt,
welche noch nicht bestimmt, im aktuellen Bild verdeckt und unverändert zum
Vorgängerbild
sind. Das Ergebnis wird in einem Block AND mit einem Wert verknüpft, der
im vorangegangenen Iterationsschritt als statischer Bereich HS(n – 1) im
Hintergrund ermittelt wurde. Der Bereich Mg(n), der im Hintergrundbild
ersetzt werden darf, wird so iterativ ermittelt. Startwert für die Iteration
ist beispielsweise die erste Maske M1. Einen Austausch des Bereichs
Mg(n) im Hintergrundbild erfolgt erst, wenn das Verfahren auf einen konstanten
Wert Mg(n) iteriert ist. Dadurch ist beispielsweise der in 3d dargestellte Bereich 3' iterativ bestimmbar.
-
Das
sukzessive durch die beschriebenen Verfahren erhaltene Hintergrundbild
kann herangezogen werden, um in einer zweiten Iteration mit besser
angepassten Flächengrößen der
Fahrzeuge die Fahrzeuge exakter zu isolieren. Dadurch lässt sich die
Qualität
des Hintergrundbildes weiter steigern. Bei nachfolgenden Bestimmungen
sind die maskierte Bereiche 21 in der ersten Maske kleiner.
Damit werden auch eventuell übrig
bleibende Flächen,
die durch den Mittelwert ersetzt werden, kleiner. Selbst im Falle
eines sehr dichten Verkehrsaufkommens ist ein Hintergrundbild dadurch
sukzessive ermittel- und verbesserbar.
-
Die
Ermittlung eines Hintergrundbilds kann in bestimmten Zeitabständen wiederholt
werden und/oder bei Veränderungen
der Licht- und Wetterbedingungen. Es ist auch denkbar, mit bestimmten Bildinhalten
eine Bestimmung des Hintergrundbildes zu triggern.