DE102005057335B4

DE102005057335B4 - Verfahren zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten

Info

Publication number: DE102005057335B4
Application number: DE102005057335A
Authority: DE
Inventors: Dr. Hetzheim Hartwig
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2005-11-28
Filing date: 2005-11-28
Publication date: 2012-01-12
Anticipated expiration: 2025-11-29
Also published as: DE102005057335B9; DE102005057335A1

Abstract

Verfahren zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild aus einer zeitlichen Folge von Digitalbildern mit zumindest temporär bewegteffinden von Flächen, welche mit großer Wahrscheinlichkeit sich zumindest temporär bewegende Objekte enthalten, durch a1) Identifizieren von Objekt-Bildbereichen, welche Objekte enthalten, die sich zumindest temporär bewegen, durch Ermittlung von Texturunterschieden innerhalb mindestens eines Bildes und Maskieren der identifizierten Objekt-Bildbereiche durch Bildung von Maskierungsflächen BV, die zumindest die Objekt-Bildbereiche umfassen, und a2) Identifizieren von Objekt-Bildbereichen (Bq), welche Objekte enthalten, die sich aktuell bewegen, durch Ermittlung von Pixelwertdifferenzen zwischen zeitlich aufeinander folgenden Bildern und Maskieren der identifizierten Objekt-Bildbereiche durch Bildung von Maskierungsflächen B1, die zumindest die Objekt-Bildbereiche umfassen, wobei a3) die Pixelwerte der von den jeweiligen Maskierungsflächen enthaltenen Bildpunkte auf ein Maximum oder auf Null gesetzt werden, b) Aktualisieren des Hintergrundes des Digitalbilds durch Überlagern zumindest derjenigen Bildbereiche zeitlich aufeinander folgender Bilder,...

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten.
Die Bestimmung des Hintergrundes eines Digitalbilds ist insbesondere für die Bestimmung von sich bewegenden Objekten, wie z. B. Fahrzeugen, Fußgängern oder anderen Verkehrsteilnehmern in Verkehrsbildern, von großer Bedeutung. Insbesondere ist es mit einem aktuellen Hintergrund möglich, die sich bewegenden Objekte in Echtzeit zu ermitteln Schwierigkeiten bei der Erzeugung eines vollständigen aktuellen Hintergrundbildes entstehen jedoch regelmaßig auf Grund der sich aktuell oder zumindest zeitweise bewegenden Objekte, beispielsweise Fahrzeuge und Fußgänger, die Teile des Hintergrundes, z. B. der Straße, verdecken. Des Weiteren können jedoch auch zahlreiche andere sich schnell verändernde Störungen des Hintergrunds für dessen exakte Bestimmung problematisch sein, im Falle von Verkehrsbildern beispielsweise Schnee und Schneematsch auf der Straße, sehr rasche Änderung der Helligkeit durch vorbei ziehende Wolken, Reflexionen auf nassen Straßen, Übergänge während der Dämmerung von Tag zu Nacht sowie während der Zeiten, in denen einzelne Fahrzeuge mit Licht fahren, und Schatten von schnell ziehenden Wolken. Es sind bereits diverse Verfahren und Vorrichtungen zur Bestimmung des Hintergrundbildes eines Digitalbilds bekannt, bei denen zur Umgehung der o. g. Schwierigkeiten Mittelungen und Filterungen durchgeführt werden. Diese basieren auf der Anwendung der verschiedensten gängigen Verfahren, wie z. B. Kalman-Filter, Lee-Filter oder Schätzalgorithmen. Sie liefern jedoch ein eher unscharfes oder ungenaues Hintergrundbild, welches eine Isolation der sich bewegenden Objekte schwierig macht. Andere Methoden nutzen das Verfolgen der sich bewegenden Objekte, um adaptiv die Hintergrundschätzung zu verbessern. Diese Verfahren sind jedoch nicht schnell genug und stark abhängig von der korrekten Entdeckung der sich bewegenden Objekte und ihrer genauen Umrisse zum Zeitpunkt der Entscheidung, das heißt es werden regelmäßig für eine zufrieden stellende Erzeugung eines aktuellen Hintergrundbildes Informationen benötigt, die zum Entscheidungszeitpunkt noch nicht vorhanden ist. Eine exakte Nachführung des sich zeitlich verändernden Hintergrundbildes wird von den bekannten Verfahren nicht durchgeführt.
Aus der DE 103 34 136 A1 ist ein Verfahren zur Bestimmung eines Hintergrundbildes bei bildgebenden Verfahren bekannt, wobei aus einem zum Zeitpunkt t1 aufgenommenen Bild verdeckte und freie Gebiete ermittelt werden, wobei mindestens für die freien Gebiete das Hintergrundbild erstellt wird, eine erste Maske erstellt wird, wobei zum Zeitpunkt t1 verdeckte Gebiete maskiert werden, aus mindestens einem zu einem Zeitpunkt t1 aufgenommenen Bild verdeckte Gebiete ermittelt werden, mindestens eine zweite Maske erstellt wird, wobei zum Zeitpunkt ti verdeckte Gebiete maskiert werden, wobei durch ein Vergleich der Masken freigewordene Gebiete bestimmt werden, aus dem zum Zeitpunkt ti aufgenommenen Bild der Hintergrund der freigewordenen Gebiete ermittelt wird und das Hintergrundbild um den Hintergrund der freigewordenen Gebiete erweitert wird. Dabei wird weiter vorgeschlagen, dass die Ermittlung des Hintergrundbilds in bestimmten Zeitabständen und/oder bei Veränderungen der Licht- und Wetterbedingungen wiederholt werden kann. Eine Nachführung während der Bestimmung des Hintergrundbildes erfolgt jedoch nicht.
Aus der WO 94/12261 A1 ist ein Verfahren zur Bestimmung eines Hintergrundbildes mittels einer zeitlichen Folge von rechteckigen Objektmasken bekannt.
Aus der US 5,963,272 A ist ein Verfahren bekannt, bei dem ein Hintergrundbild durch Auswertung bewegter Objekte aktualisiert wird.
Aus der EP 0 633 546 A2 ist ein Verfahren zur Bestimmung eines Hintergrundbildes bekannt, bei dem bewegte Objekte erfasst und mittels Polygonen bzw. Rechtecken maskiert werden, wobei der maskierte Bildinhalt durch ein anderes Bild ersetzt wird.
Aus dem Fachartikel ”Agarwala, A. et al.: Interacitve Digital Photomontage. ACM Transactions on Graphics, Vol. 23, Issue 3, Proc. SIGGRAPH 2004, Seite 294–302 ist ein Verfahren bekannt, um mehrere Bilder zu einem Gesamtbild zusammenzufügen, wobei die Nahtstellen bearbeitet werden, um die Übergänge so unauffallig wie möglich zu machen.
Aus der WO 2005/104014 A1 ist ein Verfahren zur Erkennung von einfachen Objekten vor einem homogenen Hintergrund bekannt.
Aus der JP 08/044844 A ist ein Verfahren zur Erfassung von bewegten Objekten bekannt, wobei unbewegte Objekte durch einen Vergleich eines Bildes mit einem Hintergrundbild ermittelt werden.
Der Erfindung liegt daher das technische Problem zugrunde, ein verbessertes Verfahren zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten zu schaffen.
Die Lösung des technischen Problems ergibt sich erfindungsgemäß durch ein Verfahren mit dem Merkmalen des Anspruchs 1. Weitere vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen.
Der Erfindung liegt dabei die Erkenntnis zugrunde, dass mit Hilfe eines möglichst aktuellen Hintergrundbildes die Auffindung von sich bewegenden Objekten, beispielsweise Verkehrsteilnehmern, in einem Digitalbild sehr einfach und damit auch sehr schnell moglich ist. Hierzu muss in Abhängigkeit der sichtbaren zeitlichen Veränderungen eine Nachführung des Hintergrundbildes durchgeführt werden, die jedoch nicht notwendigerweise in Echtzeit erfolgen muss, sondern durch mehrere, teilweise iterative Schritte erfolgen kann, die parallel oder sukzessive durchgeführt werden. Dazu wird erfindungsgemäß ein Verfahren zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten vorgeschlagen, umfassend zumindest die Schritte

a) Auffinden von Flächen, welche mit großer Wahrscheinlichkeit sich zumindest temporär bewegende Objekte enthalten, durch
a1) Identifizieren von Objekt-Bildbereichen, welche Objekte enthalten, die sich zumindest temporär bewegen, durch Ermittlung von Texturunterschieden innerhalb mindestens eines Bildes und Maskieren der identifizierten Objekt-Bildbereiche durch Bildung von Maskierungsflächen B_V, die zumindest die Objekt-Bildbereiche umfassen, und
a2) Identifizieren von Objekt-Bildbereichen (B_q), welche Objekte enthalten, die sich aktuell bewegen, durch Ermittlung von Pixelwertdifferenzen zwischen zeitlich aufeinander folgenden Bildern und Maskieren der identifizierten Objekt-Bildbereiche durch Bildung von Maskierungsflächen B₁, die zumindest die Objekt-Bildbereiche umfassen, wobei
a3) die Pixelwerte der von den jeweiligen Maskierungsflächen enthaltenen Bildpunkte auf ein Maximum oder auf Null gesetzt werden,
b) Aktualisieren des Hintergrundes des Digitalbilds durch Überlagern zumindest derjenigen Bildbereiche zeitlich aufeinander folgender Bilder, die keine Maskierungsflächen beinhalten und somit der Hintergrundfläche zugeordnet sind, indem
b1) ein Binärbild B₅ der Hintergrundfläche des Digitalbilds durch Bildung des Komplementärbilds der maskierten Flächen bewegungsaktiver Objekt-Bildbereiche, welche die zumindest temporar beweglichen Objekte umfassen, ermittelt wird, wobei die bewegungsaktiven Objekt-Bildbereiche durch eine OR-Verknüpfung eines Binärbilds B₁ der bewegten Objekte und eines Binärbilds B_V der lediglich zeitweise stehenden Objekte ermittelt werden,
b2) ein Hintergrundbild B₆, welches eine Grauwertdarstellung der Hintergrund-Bildbereiche, die von zumindest potenziell beweglichen Objekten frei sind, sowie die Maskierungsflächen der Objekt-Bildbereiche enthält, durch Multiplikation des Binärbilds B₅ der Hintergrundfläche des Digitalbilds mit einem Originalbild B₀ erzeugt wird,
b3) das zeitlich aufsummierte Hintergrundbild B₇(t_m) durch Summation von zeitlich aufeinander folgenden Hintergrundbildern B₆(t_m) ermittelt wird,
b4) das Normierungsbezugsbild B₈(t_m) durch Summation von zeitlich aufeinander folgenden Binärbildern B₅(t_m) ermittelt wird, und
b5) aus einem zeitlich aufsummierten Hintergrundbild B₇(t_m) durch Normierung auf ein Normierungsbezugsbild B₈(t_m) mittels Bildung des Quotienten [B₇(t_m)]/B₈(t_m) ein zum Zeitpunkt t_m aktualisiertes Hintergrundbild bild_h(t_m) erzeugt wird, das den aktuellen Hintergrund darstellt.

Das erfindungsgemäße Verfahren lässt sich dabei im Wesentlichen in zwei grobe Verfahrensabschnitte aufteilen, nämlich zum einen das Auffinden von Flächen, welche mit großer Wahrscheinlichkeit sich zumindest temporär bewegende Objekte, beispielsweise Verkehrsteilnehmer, enthalten und zum anderen eine Summation, d. h. Überlagerung derjenigen Flächen, die frei von sich bewegenden Objekten, z. B. Fahrzeugen etc., sind und welche somit bei etwaigen Änderungen des Hintergrunds des Digitalbilds zu dessen Aktualisierung verwendet werden. In dem ersten Verfahrensabschnitt werden zunächst die zu berücksichtigenden Flächen bzw. Teilflächen des Hintergrundbildes bestimmt, für die die Information zum Hintergrundbild aus dem Originalbild zunächst übernommen und dann entsprechend der bis zu einem späteren Zeitpunkt t_m erfolgten Änderungen korrigiert, d. h. aktualisiert, werden soll. Dazu wird jedes noch so kleine Teilgebiet des Digitalbildes, das gerade frei von einem sich bewegenden Objekt ist, ermittelt und trägt dann zur Bestimmung eines aktuellen Hintergrundbildes bei. Dabei ist es für die Wirkungsweise des Verfahrens unerheblich, ob die sich bewegenden Objekte, die identifiziert werden sollen, dunkel oder hell sind. Die identifizierten Objekte werden dann ”maskiert”, indem zu diesem Zweck z. B. Flächen um die aktuell identifizierten Objekte gebildet werden, welche den Wert „0” haben (d. h. in der Regel schwarz sind) und somit von der Bildung des Hintergrundbildes ausgeschlossen werden. In dem weiteren Verfahrensabschnitt wird dann anhand der ermittelten Fläche des Hintergrundbildes dieses entsprechend den über einen bestimmten Zeitraum ermittelten Änderungen „nachgeführt”, d. h. der Realität zum Zeitpunkt t_m angepasst und aktualisiert. Das erfindungsgemäße Verfahren ist dabei besonders für die in Echtzeit durchgeführte digitale Bildverarbeitung und -analyse von Verkehrsbildern geeignet. Die äußeren Bedingungen des in dem Digitalbild dargestellten Hintergrunds können sich dabei in der Realität über eine bestimmte Zeitperiode hinweg verändern. So kann sich beispielsweise die Beleuchtung durch Wolkenabdunklung oder Schattenbildung von Gebäuden o. ä. geändert haben. Durch die Überlagerung zeitlich aufeinander folgender, d. h. zum Zeitpunkt t_n-1 und t_n berechneter Teile des Hintergrundbildes können die aufgrund der Veränderungen entstehenden Fehler reduziert werden. Zudem treten im aktualisierten Digitalbild auch weniger Fehler auf, die aufgrund einer fehlerhaften Isolation der sich bewegenden Objekte, z. B. Fahrzeuge, entstehen.
Dabei erfolgt das Identifizieren der Objekt-Bildbereiche durch Ermittlung von Pixelwertdifferenzen zwischen zeitlich aufeinander folgenden Bildern und von Texturunterschieden innerhalb mindestens eines Bildes. D. h. die im Digitalbild enthaltenen Objekte, z. B. Verkehrsteilnehmer wie Fahrzeuge oder Fußgänger, werden anhand der von ihnen vollführten Bewegungen und/oder anhand von Unterschieden in ihrer Textur gegenüber der Textur des Hintergrunds in zuverlassiger Weise identifiziert und isoliert. Dazu werden die zu betrachtenden Objekte vorzugsweise in bewegte und unbewegte unterteilt, die dann auf unterschiedliche Weise identifiziert werden. Objekte, die sich aktuell bewegen, werden vorzugsweise anhand der Pixelwertdifferenzen identifiziert. Diese Vorgehensweise ist einerseits einfach, andererseits besonders zuverlässig und genau. Demgegenüber werden zumindest zeitweise stehende oder zumindest temporar bewegte Objekte vorzugsweise mittels ihrer Texturunterschiede gegenüber dem Hintergrund ermittelt. Hinsichtlich der Texturunterschiede wird davon ausgegangen, dass im Falle von Verkehrsbildern beispielsweise Straßen gegenüber den zu identifizierenden Objekten, d. h. Verkehrsteilnehmern, eine vergleichsweise gleichförmige Textur besitzen.
Zur Aktualisierung des Hinteregrundbildes wird ein Binärbild B₅ der Hintergrundfläche des Digitalbilds durch Bildung des Komplementärbilds der maskierten Flächen bewegungsaktiver Objekt-Bildbereiche, welche die zumindest temporär beweglichen Objekte umfassen, ermittelt, wobei die bewegungsaktiven Objekt-Bildbereiche durch eine OR-Verknüpfung des Binärbilds B₁ der bewegten Objekte und eines Binärbilds B_V der lediglich zeitweise stehenden Objekte ermittelt werden. Dabei wird das Binärbild B₅ für die Nachführung der Veränderungen des Hintergrunds des Digitalbildes benutzt. Dies erfolgt mittels der Gleichung B₅ = 1 – [B₄ OR B_V].
In B₅ sind dann vorzugsweise alle diejenigen Gebiete des Bildes mit dem Wert 1 belegt, für die eine Nachführung der Helligkeit sowie andere Veränderungen des Bildes, die nicht in der Bewegung der Objekte, z. B. dem Verkehr, ihre Ursache haben, möglich ist. D. h. mit B₅ werden diejenigen Gebiete extrahiert, die momentan verändert werden, deren Veränderungen jedoch nicht in der Objektbewegung begründet sind und die auf jeden Fall Teil des Hintergrunds sind.
Weiter wird ein Hintergrundbild B₆, welches eine Grauwertdarstellung der Hintergrund-Bildbereiche, die von zumindest potenziell beweglichen Objekten frei sind, sowie die Maskierungsflächen der Objekt-Bildbereiche enthält, durch Multiplikation des Binärbilds B₅ der Hintergrundfläche des Digitalbilds mit einem Originalbild B₀ erzeugt. Die Ermittlung des Hintergrundbildes B₆ erfolgt also mittels der Gleichung B₆ = B₅·B₀.
Dieses Vorgehen führt zur Auslöschung derjenigen Gebiete aus dem Originalbild B₀, die mit großer Wahrscheinlichkeit zumindest zeitweise oder aktuell bewegte Objekte sind, da diese im Binärbild B₅ schwarz dargestellt sind, d. h. den Pixelwert „0” haben. B₅ entspricht also einem Binärbild, das frei von sich aktuell oder zeitweise bewegenden Objekten ist. Somit wird durch die Multiplikation mit dem Originalbild B₀ das Bild B₆ erhalten, welches größtenteils dem Originalbild entspricht, jedoch maskierte aktuell oder zeitweise bewegte Objekte aufweist. Die im Bild B₆ nicht maskierten sondern als Grauwerte dargestellten Bereiche stellen dann die mittels Nachführung zu aktualisierenden Bildausschnitte dar, die das Hintergrundbild repräsentieren. B₆ ist dann also ebenfalls frei von sich aktuell oder zeitweise bewegenden Objekten.
Die vorangehend verwendeten Binär- oder Grauwertbilder sind dabei jeweils als Folge zeitlich aufeinander folgender Bilder zu verstehen. So entspricht beispielsweise B₆ einer Folge von B₆(t_k) mit k = 0 bis k = n, wenn die Bilder bis zum Zeitpunkt t = t_n = t₀ + n Δ betrachtet werden. Dabei ist t_n der Anfangszeitpunkt der Beobachtung und Δ die Zeitdifferenz von Aufnahme zur Aufnahme. Analog sind die zeitlichen Folgen für B₁ bis B₅ zu verstehen.
Weiter wird aus einem zeitlich aufsummierten Hintergrundbild B₇(t_m) durch Normierung auf ein Normierungsbezugsbild B₈(t_m) mittels Bildung des Quotienten [B₇(t_m)]/B₈(t_m) ein zum Zeitpunkt t_m aktualisiertes Hintergrundbild bild_h(t_m) erzeugt. Durch eine Summation derjenigen Flächen, die von sich bewegenden Objekten frei sind, und eine Summation der zu diesen Flächen gehörenden Bildteile wird eine Zuordnung von Fläche und Bildinhalt geschaffen, so dass durch Division der beiden Summen stets eine flächen- bzw. pixelgenaue Normierung garantiert ist und somit Hintergrundteile, die von sich bewegenden Objekten frei sind, von Zeitschritt zu Zeitschritt nachgeführt, d. h. aktualisiert werden können. Das Hintergrundbild zum aktuellen Zeitpunkt t_m ergibt sich dann aus dem momentanen Quotienten zum Zeitpunkt t_m mittels der Gleichung bild_h(t_m) = [B₇(t_m)]/B₈(t_m), wobei die Werte von t₀ bis t_m aufaddiert sind. Nachdem mittels B₅ bzw. B₆ die einzelnen Bereiche ermittelt wurden, die zu jedem Zeitpunkt frei von sich aktuell oder zeitweise bewegenden Objekten sind, werden diese Informationen benutzt, um die Veränderungen des Hintergrundes nachzuführen, d. h. das Hintergrundbild zu aktualisieren. Diese Veränderungen können beispielsweise Helligkeitsschwankungen (z. B. Wolkenabschattung, Sonnenaufgang, Sonnenuntergang), Veränderungen auf einer Straße (Schneematsch, Ölflecken, von Fahrzeugen verlorene Teile), Reflexionen (Öffnen von Fenstern, Sunglitter) oder größere Änderungen in einem Fahrbahnbereich (Unfälle, Leiter zur Reparatur) sein. Zur Nachführung, d. h. zur Erzeugung des aktualisierten Hintergrundbildes werden die Grauwerte der einzelnen ausgewählten Pixel in den für den Hintergrund als relevant identifizierten Bereichen aufsummiert. Gleichzeitig wird die Anzahl der summierten Werte eines jeden Pixels über Summation bestimmt. Da die Teilgebiete, welche den Hintergrund bilden, von beliebiger Form oder Größe sein können und ggf. auch lediglich einzelne Pixel betreffen konnen, ist eine richtige Normierung Voraussetzung für die Verwendung dieses Nachführungspnnzips. Vorzugsweise werden dazu stets die entsprechenden Normierungen für jeden Bildpunkt anhand des Normierungsbezugsbilds B₈(t_m) berechnet.
Dabei wird das zeitlich aufsummierte Hintergrundbild B₇(t_m) durch Summation von zeitlich aufeinander folgenden Hintergrundbildern B₈(t_m) ermittelt. Für die für den Hintergrund relevanten Bildbestandteile ergibt sich dann die Folge der zum Hintergrundbild B₇(t_m) zusammengefassten Bilder über die Gleichung B₇(t_m) = B₆(t_m) + B₇(t_m-1).
Weiter wird das Normierungsbezugsbild B₈(t_m) durch Summation von zeitlich aufeinander folgenden Binärbildern B₅(t_m) ermittelt. Das Normierungsbezugsbild B₈(t_m) kann somit in einfacher Weise parallel zur Bestimmung von B₇(t_m) durch Aufsummieren des vorzugsweise bereits auf den Wert „1” normierten Binärbilds B₅ erfolgen. Dabei ergeben sich die zusammengefassten zeitlich aufeinander folgenden Bilder B₈ über die Gleichung B₈(t_m) = B₅(t_m) + B₈(t_m-1).
In einer vorteilhaften Ausführungsform erfolgt das Identifizieren von sich aktuell bewegenden Objekten durch Bildung von Pixelwertdifferenzen zwischen zeitlich aufeinander folgenden Bildern und nachfolgende Quadrierung der Differenzwerte. Bewegte Objekte losen dabei in gleichen Bildpunkten von zeitlich aufeinander folgenden Bildern Grauwertdifferenzen aus, während Bildpunkte mit unbewegten Objekten oder reinem Hintergrund in zeitlich aufeinander folgenden Bildern keine unterschiedlichen Grauwerte besitzen und demnach deren Differenz Null ist. Dadurch heben sich alle bewegten Objekte dann mit einem vergleichsweise hohen Grauwert, welcher aufgrund der durchgeführten Quadrierung in die Nähe des maximalen Grauwerts, d. h. dem weißen Pegel, gerückt wurde, gegenüber dem schwarzen Hintergrund hervor. Die Erzeugung des quadrierten Differenzbildes B_q erfolgt dabei vorzugsweise in Echtzeit mittels der Gleichung B_q = [B_orig(t_n) – B_orig(t_n-1)]²
Dabei werden die bewegten Objekte zum Zeitpunkt t_n und t_n-1, hervorgehoben.
Dabei erfolgt das Maskieren der identifizierten Objekte durch Erzeugen eines Binärbildes B₁ mit Hilfe eines Schwellwertes S1, wobei denjenigen Bildpunkten, die einen größeren Pixelwert als S1 aufweisen, ein höchstmöglicher Pixelwert und den anderen Bildpunkten der Pixelwert „0” neu zugeordnet wird und der Schwellwert S1 kleiner ist als der niedrigste Pixelwert in den Bildbereichen, die die identifizierten Objekte enthalten. Da in Binärbildern gemäß üblicher Konvention nur die Werte „0” und „1” vorkommen, beträgt demnach dann der höchstmögliche Pixelwert stets „1”. Die Höhe des Schwellwertes S1 wird vorzugsweise anhand eines Histogramms des quadrierten Differenzbildes B_q festgelegt. S1 kann dabei beispielsweise 60% des ersten oder zweiten Grauwertmaximums betragen oder aber z. B. anhand des Mittelwerts der vorhandenen Grauwerte festgelegt werden. Mit Hilfe des somit erzeugten Binärbilds der bewegten Objekte lassen sich die weiteren Rechenoperationen zur Bestimmung und Nachführung des Hintergrundbildes in besonders einfacher und zuverlässiger Weise durchführen. Die Binarisierung mittels des Schwellwerts S1 erfolgt gemäß der Gleichung B₁ = [B_q > S1 < (S1 + 1)] – S1
Auf diese Weise werden im Binärbild B₁ jeweils Flächen maskiert, d. h. vorzugsweise schwarz dargestellt, die größer als die betreffenden bewegten Objekte sind, da bewegte Objekte nicht nur zum ersten Zeitpunkt t_n sondern auch zum zweiten Zeitpunkt t_n-1 in dem Differenzbild hervorgehoben werden.
In einer weiteren vorteilhaften Ausführungsform erfolgt das Identifizieren von zumindest temporär bewegten und/oder zumindest zeitweise stehenden Objekten durch Bildung mindestens zweier Glättungen G1 und G2 des Originalbilds B₀ mittels verschieden großer Glättungsparameter p1 und p2 sowie nachfolgender Differenzbildung der Glättungen G1 und G2 und Quadrierung der Differenzwerte. Die somit durchgeführte Ermittlung von Texturunterschieden im aufgenommenen Originalbild B₀ wird demnach anhand der folgenden Gleichung durchgeführt: B_Textur = [G1(p1, B₀) – G2(p2, B₀)]².
Auf diese Weise können insbesondere im Falle von Verkehrsbildern Objekte, d. h. Verkehrsteilnehmer, die zumindest zeitweise stehen, und daher nicht aufgrund von Pixelwertdifferenzen identifiziert werden können, mit Hilfe einer Texturanalyse vergleichsweise einfach und zuverlässig vom Straßenhintergrund isoliert werden. Es ist dabei auch vorstellbar, dass das in der Gleichung zur Ermittlung der Texturunterschiede verwendete Bild G1 eigentlich das ungeglättete Bild B₀ ist. In diesem Falle ist dann der Glattungsfaktor p1 = 1.
In einer weiteren vorteilhaften Ausführungsform erfolgt das Maskieren der identifizierten Objekte durch Erzeugen eines Binärbildes B₂ mit Hilfe eines Schwellwertes S2, wobei denjenigen Bildpunkten, die einen größeren Pixelwert als S2 aufweisen, ein höchstmöglicher Pixelwert und den anderen Bildpunkten der Pixelwert „0” neu zugeordnet wird und der Schwellwert S2 kleiner ist als der niedrigste Pixelwert in den Bildbereichen, die die identifizierten Objekte enthalten. Auch für B₂ beträgt der höchstmögliche Pixelwert in der Regel „1”, da in Binärbildern gemäß üblicher Konvention nur die Werte „0” und „1” vorkommen. Mit Hilfe des somit erzeugten Binärbilds B₂ der zumindest zeitweise stehenden Objekte lassen sich die weiteren Rechenoperationen zur Bestimmung und Nachführung des Hintergrundbildes in besonders einfacher und zuverlässiger Weise durchführen. Die Binarisierung mittels des Schwellwerts S2 erfolgt gemäß der Gleichung B₂ = [B_Textur > S2 < (S2 + 1)] – S2 bzw B₂ = [(G1(p1, B₀) – G2(p2, B₀))² > S2 < (S2 + 1)] – S2.
In einer weiteren vorteilhaften Ausführungsform erfolgt eine Vergrößerung der in B₂ identifizierten Objekte durch Glättung und nachfolgende Binarisierung mittels eines Schwellwerts S_G und/oder durch morphologische Operatoren. Durch eine solche Vergrößerung kann sichergestellt werden, dass die vorangehend maskierten Bereiche B₂ keine Ränder bzw. Schatten von Objekten enthalten. Die Vergrößerung der im Binärbild B₂ maskierten Bereiche erfolgt zunächst über ein „Verschmieren” der Ränder der identifizierten Objekte mittels Glättung („smooth operation”). Dadurch entstehen an den äußeren Rändern der Konturen derjenigen Bereiche, die identifizierte Objekte enthalten, Pixelwerte größer Null, die vorher im Binärbild Null waren. Wird nach Anwendung dieser Glättungsoperation auf das Binärbild B₂ das geglättete Binärbild dann mittels eines Schwellwerts S_G, der kleiner als 1 zu wählen ist, erneut binarisiert, so werden damit die Bereiche, die die identifizierten Objekte enthalten, vergrößert. Es ist des Weiteren auch vorstellbar, dass andere Verfahren zur Randglättung sowie morphologische Operatoren, beispielsweise Erosion und/oder Dilatation, zur Vergrößerung der in B₂ identifizierten binären Flachen benutzt werden.
In einer weiteren vorteilhaften Ausführungsform wird das Binärbild B_V der lediglich zeitweise stehenden Objekte aus der Differenz des Binärbilds B₂, welches die zumindest temporär bewegten und/oder zumindest zeitweise stehenden Objekte darstellt, und eines Binärbilds B₃, welches die dauerhaft stehenden Objekte darstellt, ermittelt. Hierfür gilt also die Gleichung B_V = B₂ – B₃.
Auf diese Weise können von den im Binärbild B₂ dargestellten mittels Texturanalyse ermittelten Objekten, die unabhängig davon erfasst werden, ob sie sich bewegen oder nicht, in Form von B₃ diejenigen Objekte ausgenommen werden, die sich zu keiner Zeit bewegen und demnach mit großer Wahrscheinlichkeit fest installierte Objekte, beispielsweise Büsche, Schilder, etc., und somit dem Hintergrund zuzurechnen sind. B_V liefert somit eine möglichst exakte binäre Darstellung derjenigen Objekte, die sich zumindest zeitweise bewegen und somit nicht Bestandteil des Hintergrundbildes sind.
In einer weiteren vorteilhaften Ausführungsform wird das Binärbild B₃ durch Mittelwertbildung von zeitlich aufeinander folgenden Grauwertbildern G(t_k) der lediglich zeitweise und/oder dauerhaft stehenden Objekte über der Zeit T sowie nachfolgendem Vergleich des Mittelwerts mit dem ursprünglichen Grauwertbild G(t₀) der lediglich zeitweise und/oder dauerhaft stehenden Objekte durch Differenzbildung sowie nachfolgendem Ersetzen der unterhalb einer Schwelle S3 gelegenen Differenzwerte durch den Mittelwert der zeitlich aufeinander folgenden Grauwertbilder G(t_k) über der Zeit T ermittelt. Dies erfolgt anhand der folgenden Gleichung
Dabei wird berücksichtigt, dass bei der Texturanalyse zur Erzeugung von B₂ neben den tatsächlich interessierenden bewegten Objekten auch dauerhaft stehende Objekte unterschiedlicher Textur, z. B. Büsche, Reklametafeln, etc., als Objekte erkannt werden. Damit letztere nicht den bewegten Objekten, sondern dem Hintergrund zugeordnet werden können, werden die Grauwerte der anhand von B₂ zu verschiedenen aufeinander folgenden Zeitpunkten t_k ermittelten Objekt-Bildbereiche der mittels Texturanalyse ermittelten Objekte über einem Zeitraum T aufsummiert und nachfolgend mit den Grauwerten der aus B₂ zum Zeitpunkt t₀ ermittelten Objekt-Bildbereiche verglichen. Hierbei ist der Zeitraum T so zu wählen, dass er jenseits desjenigen Zeitraums liegt, den ein sich zumindest zeitweise bewegendes Objekt maximal bewegungslos verharrt. Handelt es sich bei den Bildern um Verkehrsbilder und bei den bewegten Objekten beispielsweise um Fahrzeuge, so kann sich die Zeit T beispielsweise an der Periode der Ampelumschaltung orientieren, so dass T jenseits derjenigen Zeit liegt, die ein Fahrzeug maximal an der Ampel steht. Diejenigen Bereiche, die sich während des Zeitraums T nicht oder nur sehr unwesentlich ändern, werden nach der Zeit T durch den Mittelwert M_T über der Zeit T ersetzt. Der Mittelwert M_T über der Zeit T berechnet sich anhand der Formel
Damit die sich kaum oder gar nicht ändernden Bereiche durch den Mittelwert M_T über der Zeit T ersetzt werden, muss die Bedingung erfüllt sein, dass B₃ kleiner als die vorgegebene Schwelle S3 ist Die Schwelle S3 ist dabei vorzugsweise bei etwa einem Zwanzigstel des mittleren Grauwertpegels des ausgewählten Gebietes festzulegen. Das Unterschreiten der Schwelle S3 durch B₃ wird über den gesamten Bildbereich von B₂ untersucht, indem B₃ über das Gesamtbild bestimmt wird.
In einer weiteren vorteilhaften Ausführungsform wird ein verfeinert aktualisiertes Hintergrundbild Bild_Hintergr(t_m) durch Addition einer aktuellen Objekt-Bildbereichsänderung B_objekt zum aktualisierten Hintergrundbild bild_h(t_m) erzeugt, wobei die Objekt-Bildbereichsänderung B_objekt durch Multiplikation des Komplementärbilds des Binärbilds B₅ mit dem zum Zeitpunkt t_m-1 vorangegangenen verfeinert aktualisierten Hintergrundbild Bild_Hintergr(t_m-1) ermittelt wird. Da die Bildbereichsänderung B_objekt ermittelt wird über die Gleichung B_objekt = (1 – B₅)·Bild_Hintergr(t_m-1) ergibt sich das verfeinert aktualisierte Hintergrundbild Bild_Hintergr(t_m) demnach über die Gleichung Bild_Hintergr(t_m) = bild_h(t_m) + (1 – B₅)·Bild_Hintergr(t_m-1),
Um sicher zu stellen, dass stets ein ausreichend verwertbares Hintergrundbild vorhanden ist, wird über eine hinreichende lange Zeit, im Falle von Verkehrsbildern beispielsweise zwei Lichtwechsel der Ampelanlage, ein Hintergrundbild Bildorig_Hintergr von ausreichender Qualität aufgebaut, bevor dann erst mit dem Algorithmus zum Nachführen der Veränderungen des Hintergrunds begonnen wird. Dabei bleiben jedoch alle Flächen, die nicht mittels Nachführung über B₈ aktualisiert werden, unverändert so wie sie vorher erhalten wurden, so dass zwar bild_h(t_m) die pixelweise aufaddierten Veränderungen widerspiegelt, während jedoch erst BildHintergr(t_m) das Gesamtbild aus veränderten und nicht veranderten Bildteilen des Hintergrundbilds, das momentan verwendet wird, wiedergibt.
In einer weiteren vorteilhaften Ausführungsform erfolgt mittels unterschiedlicher Wichtungsfaktoren eine unterschiedliche Wichtung von Pixelwerten zeitlich vorangeganger und zeitlich nachfolgender digitaler Bildinformationen. So kann beispielsweise über einen Wichtungsfaktor const < 1 das Verhältnis der Wichtung der Vergangenheit zur Gegenwart bestimmt werden, d. h. eine Art „Gedächtnis” bezüglich vorangegangener Bildsituationen festgelegt werden, wobei dann vorzugsweise gilt Neuer Wert = const·alter Wert + (1 – const)·gerade gemessener Wert.
In einer weiteren vorteilhaften Ausführungsform wird aus der Summation quadrierter Differenzen von zeitlich aufeinander folgenden Bildern anhand eines Schwellwerts S4 ein Binärbild B_bewegl derjenigen Fläche erzeugt, die über den Zeitraum t_l bewegte Objekte enthält, und das Komplementärbild des Binärbilds B_bewegt wird nachfolgend mit dem aktualisierten Hintergrundbild Bild_Hintergr(t_m) multipliziert. Durch Aufsummieren der über lange Zeitperioden gebildeten quadrierten Differenzen der Originalbilder sowie Anwendung einer Schwelle S4 wird ein zu der bewegungsaktiven Fläche komplementärer Bereich ermittelt, innerhalb dessen schnelle Änderungen im Hintergrundbild berücksichtigt, d. h. unterdrückt werden können. Durch Bestimmung des Komplementärbilds der bewegungsaktiven Fläche kann somit eine Erhöhung der Zuverlässigkeit der Information über den Hintergrund erzielt werden, insbesondere bei schnellen Veränderungen, die keine relevanten bewegten Objekte betreffen (beispielsweise Vogelflug o. ä.), sondern lediglich Artefakte darstellen. Dabei ermittelt man das Binärbild B_bewegt der bewegungsaktiven Fläche aus der über einen vergleichsweise langen Zeitraum erfolgenden Summation der Differenzen aufeinander folgender Bilder mit Hilfe der Gleichung
Von diesem Binärbild B_bewegt wird dann ein komplementäres Bild (1 – B_bewegt) erzeugt, bei welchem die nicht bewegungsaktiven Flächen den Pixelwert „1” und alle anderen Flächen den Pixelwert „0” annehmen. Durch Multiplikation des Bildes zum Auffinden des Hintergrundes Bild_Hintergr(t_m) mit dem Komplementärbild (1 – B_bewegt) können Fehlentscheidungen im Bereich des somit vereinfachend angenommenen Hintergrundbildes (d. h. im Bereich des mit dem Komplementärbild (1 – B_bewegt) multiplizierten Originalbilds B₀), die auf sehr schnellen Änderungen beruhen und lediglich unerwünschte Artefakte erzeugen, unterdrückt werden.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erlautert. In den zugehörigen Zeichnungen zeigen
1 eine schematische Darstellung des Verfahrensabschnitts zur Erzeugung der Teilflächen zur Ermittlung der Hintergrundfläche und
2 eine schematische Darstellung des Verfahrensabschnitts zur Ermittlung des aktuellen Hintergrundbildes durch Nachführung.
1 zeigt eine schematische Darstellung eines Teilabschnitts des erfindungsgemäßen Verfahrens, der zur Erzeugung von Teilflächen zur Ermittlung der Hintergrundfläche eines Digitalbilds, vorzugsweise eines Verkehrsbilds, mit zumindest zeitweise beweglichen Objekten, z. B. Verkehrsteilnehmem, dient. Um den Hintergrund des Digitalbilds, welches anfangs als Originalbild B₀ zum Zeitpunkt t₀ vorliegt, entsprechend ggf. eingetretener Änderungen der äußeren Bedingungen auf den aktuellen Zustand nachzuführen und zu aktualisieren, werden zunächst zu jedem Zeitpunkt alle diejenigen Flächen des Digitalbilds ermittelt, die lediglich Hintergrund enthalten und frei von zumindest zeitweise bewegten Objekten sind. Dazu wird jedes Teilgebiet des Originalbildes B₀ ermittelt, das gerade frei von einem sich bewegenden Objekt ist, welches dann zur Bestimmung des aktualisierten Hintergrundbildes beitragen kann. Das Identifizieren von sich aktuell bewegenden Objekten erfolgt durch Quadrierung von Pixelwertdifferenzen zwischen zeitlich aufeinander folgenden Originalbildern B₀(t_n) und B₀(t_n-1). Für die Erzeugung des quadrierten Differenzbildes B_q gilt dabei B_q = [B₀(t_n) – B₀(t_n-1)]². Die identifizierten Objekte werden dann ”maskiert”, indem zu diesem Zweck Flächen um die aktuell identifizierten Objekte gebildet werden, welche den Wert „0” haben und somit von der Bildung des Hintergrundbildes ausgeschlossen werden. Das Maskieren der identifizierten Objekte erfolgt mit Hilfe eines Schwellwertes S1 durch Erzeugen eines Binärbildes B₁. Dabei wird denjenigen Bildpunkten, die einen größeren Pixelwert als S1 aufweisen, der Pixelwert „1” und den anderen Bildpunkten der Pixelwert „0” neu zugeordnet. Die Höhe des Schwellwertes S1 wird beispielsweise anhand des Histogramms des quadrierten Differenzbildes B_q festgelegt, wobei S1 z. B. 60% des ersten oder zweiten Grauwertmaximums betragen kann. Der Schwellwert S1 ist dabei vorzugsweise kleiner als der niedrigste Pixelwert in den Bildbereichen, die die identifizierten Objekte enthalten. Für die Binarisierung des quadrierten Differenzbildes B_q mittels des Schwellwerts S1 gilt B₁ = [B_q > S1 < (S1 + 1)] – S1. Des Weiteren erfolgt eine Ermittlung von Texturunterschieden im aufgenommenen Originalbild B₀, da davon ausgegangen wird, dass die bewegten Objekte, d. h. z. B. Verkehrsteilnehmer, keine solche gleichförmige Struktur besitzen, sondern beispielsweise Räder, Scheiben, etc. aufweisen, welche die Gleichförmigkeit der Textur verletzen. Auf diese Weise können dann zumindest temporär bewegte und/oder zumindest zeitweise stehende Objekte identifiziert werden. Dies erfolgt durch Bildung einer Glättung G2(p2, B₀) des Originalbilds B₀(t₀) mittels eines Glättungsparameters p2. Des Weiteren wird ein von G2 verschiedenes Glättungsbild G1 verwendet, welches einen von p2 verschiedenen Glättungsparameter p1 aufweist (nicht dargestellt). Im vorliegenden Fall ist jedoch der Glättungsfaktor p1 = 1, weswegen das zur Ermittlung der Texturunterschiede verwendete Bild G1 das ungeglättete Bild B₀ ist. Nachfolgend werden zur Bildung des Texturanalysebildes B_Textur die Differenzen der Glättungen G1 (bzw. B₀) und G2 gebildet und die Differenzwerte quadriert. Dabei gilt für B_textur = [G1(p1, B₀) – G2(p2, B₀)]² bzw. B_Textur = [B₀ – G2(p2, B₀)]². Dann erfolgt das Maskieren der mittels Texturanalyse identifizierten Objekte durch Erzeugen eines Binärbildes B₂ mit Hilfe eines Schwellwertes S2, wobei gilt B₂ = [B_Textur > S2 < (S2 + 1)] – S2. Dabei wird denjenigen Bildpunkten, die einen größeren Pixelwert als S2 aufweisen, der Pixelwert „1” und den anderen Bildpunkten der Pixelwert „0” neu zugeordnet. Der Schwellwert S2 ist dabei vorzugsweise kleiner als der niedrigste Pixelwert in den Bildbereichen, die die identifizierten Objekte enthalten.
Über die Ermittlung der Bewegung von Objekten mittels Differenzbildung können somit zunächst sämtliche Flächen ausgeblendet werden, in denen sich Objekte bewegen oder gerade bewegt haben. Zudem werden diejenigen Flächen, die sich von der gleichförmigen Textur beispielsweise einer Straße unterscheiden, mittels Texturanalyse ausgeblendet Alle anderen Flächen werden dann für die Bestimmung bzw. die sukzessive Anpassung des Hintergrundes herangezogen. Das „Ausblenden” erfolgt durch Bildung eines Komplementärbilds (1 – B₁) des Binärbilds B₁ der bewegten Objekte und eines Komplementärbilds (1 – B_v) eines Binärbilds B_V der lediglich zeitweise stehenden Objekte sowie eine nachfolgende OR-Verknüpfung dieser Komplementärbilder (1 – B₁) bzw. (1 – B_V) von B₁ und B_V. Diese komplementären binären Flächen werden mittels einer OR-Verknüpfung summiert Dabei wird ein Binärbild B₄ der Hintergrundfläche des Digitalbilds erzeugt. Mit B₄ erhält man die komplementären Flächen aller derjenigen Flächen, die momentan für neue Anpassungen des Hintergrundes benutzt werden. Dabei gilt B₄ = [1 – B_V] OR [1 – B₁]. Die Berechnung von B₄ erfolgt dabei vorzugsweise iterativ, was in 1 durch den rechten Pfeil neben der Größe B₄ angedeutet ist. Entspricht das die lediglich zeitweise stehenden Objekte darstellende Binärbild B_V im Wesentlichen dem Binärbild B₂, insbesondere wenn nahezu oder gar keine permanent stehenden Objekte unterschiedlicher Textur im Bild vorhanden sind, so kann auf einen zusätzlichen Verfahrensschritt zur Ermittlung von B_V verzichtet und stattdessen B₂ verwendet werden. Entspricht B_V jedoch nicht B₂, so wird das Binärbild B_V der lediglich zeitweise stehenden Objekte aus der Differenz des Binärbilds B₂, welches die zumindest temporär bewegten und/oder zumindest zeitweise stehenden Objekte darstellt, und eines Binärbilds B₃, welches die dauerhaft stehenden Objekte darstellt, ermittelt. Hierfür gilt B_V = B₂ – B₃. Zur Ermittlung von B₃ werden die Grauwerte der zu verschiedenen aufeinander folgenden Zeitpunkten t_k anhand von B₂ ermittelten Objekt-Bildbereiche der mittels Texturanalyse ermittelten Objekte über einem Zeitraum T aufsummiert und nachfolgend mit den Grauwerten der aus B₂ zum Zeitpunkt t₀ ermittelten Objekt-Bildbereiche verglichen. Das Binärbild B₃ wird dabei durch Mittelwertbildung von zeitlich aufeinander folgenden Grauwertbildem G(t_k) = B₀(t_k)·B₂(t_k) der lediglich zeitweise und/oder dauerhaft stehenden Objekte über der Zeit T sowie nachfolgender Differenzbildung aus dem Mittelwert und dem ursprünglichen Grauwertbild G(t₀) = B₀(t₀)·B₂(t₀) der lediglich zeitweise und/oder dauerhaft stehenden Objekte sowie nachfolgendem Ersetzen der unterhalb einer Schwelle S3 gelegenen Differenzwerte durch den Mittelwert der zeitlich aufeinander folgenden Grauwertbilder G(t_k) über der Zeit T ermittelt. Dabei gilt
Diejenigen Bereiche, die sich während des Zeitraums T nicht oder nur sehr unwesentlich ändern, werden nach der Zeit T durch den Mittelwert M_T über der Zeit T ersetzt, wobei für den Mittelwert M_T über der Zeit T gilt:
Als Bedingung zum Ersetzen der sich nicht oder nur geringfügig ändernden Bereiche durch den Mittelwert M_T über der Zeit T muss erfüllt sein, dass B₃ kleiner als die vorgegebene Schwelle S3 ist. Die Schwelle S3 ist dabei beispielsweise bei etwa einem Zwanzigstel des mittleren Grauwertpegels des ausgewählten Gebietes festzulegen. Das Unterschreiten der Schwelle S3 durch B3 wird über den gesamten Bildbereich von B₂ untersucht, indem B₃ über das Gesamtbild bestimmt wird.
2 zeigt eine schematische Darstellung eines weiteren Teilabschnitts des erfindungsgemäßen Verfahrens, der zur Ermittlung des aktuellen Hintergrundbildes durch Nachführung dient. Anhand der nach dem in 1 dargestellten Verfahrensabschnitt ermittelten Hintergrundfläche wird dann in dem in 2 dargestellten weiteren Verfahrensschritt das Hintergrundbild aus dem Originalbild zum Zeitpunkt t_m übemommen und zum Zwecke der Aktualisierung entsprechend der erfolgten Änderungen gegenüber dem vorangegangenen Bild korrigiert. Für die Aktualisierung erfolgt zunächst eine Summation (nicht dargestellt) der binären Bildanteile B₁ und B₂ unter Einbeziehung von B₃, wodurch ein Binärbild B₅(t_k) entsteht. Das Binärbild B₅(t_k) der Hintergrundfläche des Digitalbilds wird dabei durch Bildung des Komplementärbilds der maskierten Flächen bewegungsaktiver Objekt-Bildbereiche, welche die zumindest temporär beweglichen Objekte umfassen, ermittelt, wobei die bewegungsaktiven Objekt-Bildbereiche durch eine OR-Verknüpfung des Binärbilds B₁ der bewegten Objekte und eines Binärbilds B_V der lediglich zeitweise stehenden Objekte ermittelt werden (nicht dargestellt). Dabei gilt B₅ = 1 – [B₁ OR B_V]. In B₅(t_k) sind dann alle diejenigen Gebiete des Digitalbildes mit dem Wert 1 belegt, für die eine Nachführung der Helligkeit sowie andere Veränderungen des Bildes, die nicht in der Bewegung der Objekte, z. B. dem Verkehr, ihre Ursache haben, möglich ist. Aus den erhaltenen binären Bildern B₁ und B_V, die über eine OR-Verknüpfung zu B₅(t_k) zusammengefasst wurden, wird durch Multiplikation mit dem Originalbild B₀ ein beliebig „zerpflücktes” Hintergrundbild B₆ erzeugt, welches eine Grauwertdarstellung der Hintergrund-Bildbereiche wiedergibt, die von zumindest potenziell beweglichen Objekten frei sind, sowie die Maskierungsflächen der Objekt-Bildbereiche enthält. Es gilt also für die Ermittlung des Hintergrundbildes B₆ = B₅·B₀. Dadurch werden diejenigen Gebiete aus dem Originalbild B₀ ausgelöscht, die mit großer Wahrscheinlichkeit zumindest zeitweise oder aktuell bewegte Objekte sind.
Des Weiteren wird ein zeitlich aufsummiertes Hintergrundbild B₇ durch Summation von zeitlich aufeinander folgenden Hintergrundbildern B₆, jeweils zum Zeitpunkt t_k, ermittelt. Für die Folge der zum Hintergrundbild B₇ zusammengefassten Bilder gilt B₇(t_k) = B₆(t_k) + B₆(t_k-1). Parallel dazu wird ein Normierungsbezugsbild B₈ durch Summation von zeitlich aufeinander folgenden und naturgemäß bereits auf den Wert „1” normierten Binärbildern B₅(t_k) ermittelt. Dabei gilt für die zusammengefassten zeitlich aufeinander folgenden Bilder B₈(t_k) = B₅(t_k) + B₈(t_k-1). Aus dem zeitlich aufsummierten Hintergrundbild B₇ wird durch Normierung auf das Normierungsbezugsbild B₈ mittels Division, d. h. Bildung des Quotienten [B₇(t_k)]/B₈(t_k), ein zum Zeitpunkt t_k aktualisiertes Hintergrundbild bild_h(t_k) erzeugt. Für das Hintergrundbild zum aktuellen Zeitpunkt t_k gilt dann also bild_h(t_k) = [B₇(t_k)]/B₈(t_k), wobei die Werte von t₀ bis t_k aufaddiert sind. Nachdem mittels B₅ bzw. B₆ die einzelnen Bereiche ermittelt wurden, die zu jedem Zeitpunkt frei von sich aktuell oder zeitweise bewegenden Objekten sind, werden diese Informationen dann benutzt, um die Veränderungen des Hintergrundes nachzuführen, d. h. das Hintergrundbild zu aktualisieren.
Ein verfeinert aktualisiertes Hintergrundbild Bild_Hintergr(t_k) kann zudem durch Addition einer aktuellen Objekt-Bildbereichsänderung B_objekt (nicht dargestellt) zum aktualisierten Hintergrundbild bild_h(t_k) erzeugt werden, wobei dann die Objekt-Bildbereichsänderung B_objekt durch Multiplikation des Komplementärbilds des Binärbilds B₅ mit dem zum Zeitpunkt t_k-1 vorangegangenen verfeinert aktualisierten Hintergrundbild Bild_Hintergr(t_m-1) ermittelt wird. Es gilt für die Bildbereichsänderung B_objekt = (1 – B₅)·Bild_Hintergr(t_k-1). Dementsprechend berechnet sich dann das (nicht dargestellte) verfeinert aktualisierte Hintergrundbild Bild_Hinlergr als Bild_Hintergr(t_k) = bild_h(t_k) + (1 – B₅)·Bild_Hintergr(t_k-1).

Claims

Verfahren zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild aus einer zeitlichen Folge von Digitalbildern mit zumindest temporär bewegten Objekten, umfassend zumindest die Schritte a) Auffinden von Flächen, welche mit großer Wahrscheinlichkeit sich zumindest temporär bewegende Objekte enthalten, durch a1) Identifizieren von Objekt-Bildbereichen, welche Objekte enthalten, die sich zumindest temporär bewegen, durch Ermittlung von Texturunterschieden innerhalb mindestens eines Bildes und Maskieren der identifizierten Objekt-Bildbereiche durch Bildung von Maskierungsflächen B_V, die zumindest die Objekt-Bildbereiche umfassen, und a2) Identifizieren von Objekt-Bildbereichen (B_q), welche Objekte enthalten, die sich aktuell bewegen, durch Ermittlung von Pixelwertdifferenzen zwischen zeitlich aufeinander folgenden Bildern und Maskieren der identifizierten Objekt-Bildbereiche durch Bildung von Maskierungsflächen B₁, die zumindest die Objekt-Bildbereiche umfassen, wobei a3) die Pixelwerte der von den jeweiligen Maskierungsflächen enthaltenen Bildpunkte auf ein Maximum oder auf Null gesetzt werden, b) Aktualisieren des Hintergrundes des Digitalbilds durch Überlagern zumindest derjenigen Bildbereiche zeitlich aufeinander folgender Bilder, die keine Maskierungsflächen beinhalten und somit der Hintergrundfläche zugeordnet sind, indem b1) ein Binärbild B₅ der Hintergrundfläche des Digitalbilds durch Bildung des Komplementärbilds der maskierten Flächen bewegungsaktiver Objekt-Bildbereiche, welche die zumindest temporär beweglichen Objekte umfassen, ermittelt wird, wobei die bewegungsaktiven Objekt-Bildbereiche durch eine OR-Verknüpfung eines Binärbilds B₁ der bewegten Objekte und eines Binärbilds B_V der lediglich zeitweise stehenden Objekte ermittelt werden, b2) ein Hintergrundbild B₆, welches eine Grauwertdarstellung der Hintergrund-Bildbereiche, die von zumindest potenziell beweglichen Objekten frei sind, sowie die Maskierungsflächen der Objekt-Bildbereiche enthält, durch Multiplikation des Binärbilds B₅ der Hintergrundfläche des Digitalbilds mit einem Originalbild B₀ erzeugt wird, b3) das zeitlich aufsummierte Hintergrundbild B₇(t_m) durch Summation von zeitlich aufeinander folgenden Hintergrundbildern B₆(t_m) ermittelt wird, b4) das Normierungsbezugsbild B₈(t_m) durch Summation von zeitlich aufeinander folgenden Binärbildern B₅(t_m) ermittelt wird, und b5) aus einem zeitlich aufsummierten Hintergrundbild B₇(t_m) durch Normierung auf ein Normierungsbezugsbild B₈(tm) mittels Bildung des Quotienten [B₇(t_m)]/B₈(t_m) ein zum Zeitpunkt t_m aktualisiertes Hintergrundbild bild_h(t_m) erzeugt wird, das den aktuellen Hintergrund darstellt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Identifizieren von sich aktuell bewegenden Objekten durch Bildung von Pixelwertdifferenzen zwischen zeitlich aufeinander folgenden Bildern und nachfolgende Quadrierung der Differenzwerte erfolgt, wobei das Maskieren der identifizierten Objekte durch Erzeugen des Binärbildes B₁ mit Hilfe eines Schwellwertes S1 erfolgt, wobei denjenigen Bildpunkten, die einen größeren Pixelwert als S1 aufweisen, ein höchstmöglicher Pixelwert und den anderen Bildpunkten der Pixelwert „0” neu zugeordnet wird und der Schwellwert S1 kleiner ist als der niedrigste Pixelwert in den Bildbereichen, die die identifizierten Objekte enthalten.
Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass das Identifizieren von zumindest temporär bewegten und/oder zumindest zeitweise stehenden Objekten durch Bildung mindestens zweier Glättungen G1 und G2 des Originalbilds mittels verschieden großer Glättungsparameter p1 und p2 sowie nachfolgender Differenzbildung der Glättungen G1 und G2 und Quadrierung der Differenzwerte erfolgt.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Maskieren der identifizierten Objekte durch Erzeugen eines Binärbildes B2 mit Hilfe eines Schwellwertes S2 erfolgt, wobei denjenigen Bildpunkten, die einen größeren Pixelwert als S2 aufweisen, ein höchstmöglicher Pixelwert und den anderen Bildpunkten der Pixelwert „0” neu zugeordnet wird und der Schwellwert S2 kleiner ist als der niedrigste Pixelwert in den Bildbereichen, die die identifizierten Objekte enthalten.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass eine Vergrößerung der in B2 identifizierten Objekte durch Glättung und nachfolgende Binarisierung mittels eines Schwellwerts S_G und/oder durch morphologische Operatoren erfolgt.
Verfahren nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass das Binärbild B_V der lediglich zeitweise stehenden Objekte aus der Differenz des Binärbilds B₂, welches die zumindest temporär bewegten und/oder zumindest zeitweise stehenden Objekte darstellt, und eines Binärbilds B₃, welches die dauerhaft stehenden Objekte darstellt, ermittelt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Binärbild B₃ durch Mittelwertbildung M_T von zeitlich aufeinander folgenden Grauwertbildern G(t_k) der lediglich zeitweise und/oder dauerhaft stehenden Objekte über der Zeit T sowie nachfolgendem Vergleich des Mittelwerts M_T mit dem ursprünglichen Grauwertbild G(t₀) der lediglich zeitweise und/oder dauerhaft stehenden Objekte durch Differenzbildung sowie nachfolgendem Ersetzen der unterhalb einer Schwelle S3 gelegenen Differenzwerte durch den Mittelwert M_T der zeitlich aufeinander folgenden Grauwertbilder G(t_k) über der Zeit T ermittelt wird.
Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass ein verfeinert aktualisiertes Hintergrundbild Bild_Hintergr(t_m) durch Addition einer aktuellen Objekt-Bildbereichsänderung B_objekt zum aktualisierten Hintergrundbild bild_h(t_m) erzeugt wird, wobei die Objekt-Bildbereichsanderung B_objekt durch Multiplikation des Komplementärbilds des Binärbilds B₅ mit dem zum Zeitpunkt t_m-1 vorangegangenen verfeinert aktualisierten Hintergrundbild Bild_Hintergr(t_m-1) ermittelt wird.
Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass mittels unterschiedlicher Wichtungsfaktoren eine unterschiedliche Wichtung von Pixelwerten zeitlich vorangegangener und zeitlich nachfolgender digitaler Bildinformationen erfolgt.
Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass aus der Summation quadrierter Differenzen von zeitlich aufeinander folgenden Bildern anhand eines Schwellwerts S4 ein Binärbild B_bewegt derjenigen Fläche erzeugt wird, die über den Zeitraum t_l bewegte Objekte enthält, und das Komplementärbild des Binärbilds B_bewegt nachfolgend mit dem aktualisierten Hintergrundbild Bild_Hintergr(t_m) multipliziert wird.