DE19941644A1

DE19941644A1 - Verfahren zur echtzeitfähigen Segmentierung von Videoobjekten bei bekanntem stationären Bildhintergrund

Info

Publication number: DE19941644A1
Application number: DE19941644A
Authority: DE
Inventors: Andreas Graffunder; Silko Kruse; Ralf Tanger
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 1999-08-27
Filing date: 1999-08-27
Publication date: 2001-03-01
Also published as: WO2001016885A1

Abstract

Verfahren zur Segmentierung von Vordergrundobjekten bei Videobildern sind seit den in der Tradition stehenden color keying Methoden, die einen in bestimmter Weise getönten Bildhintergrund benötigen, weiterentwickelt worden. Doch auch derzeitige Verfahren haben Einschränkungen. Beim Programm "Pfinder" werden beispielsweise Informationen über Form und Textur des Vordergrundobjekts vorausgesetzt. Beim Ansatz von M. Bichsel ist eine Markierung einzelner Hintergrundregionen erforderlich. DOLLAR A Das vorliegende Verfahren kann beliebig geformte und texturierte Objekte mit beliebig vielen Löchern segmentieren, soweit die Farbwerte von Vordergrund und Hintergrund in einem bestimmten Bildelement nicht identisch sind. DOLLAR A Für die Segmentierung von Vordergrundobjekten werden von den einzelnen Bildpixeln die Differenz zwischen zu analysierenden Bild und dem durch Mittelwert mehrerer Aufnahmen berechneten Hintergrundbild mit einem auf das maximale Rauschen festgesetzten Schwellwert verglichen. Helligkeitsänderungen im Bildhintergrund werden durch Adaption kompensiert und die Adaption so mit der Segmentierung verknüpft, dass das Verfahren präzise und stabil arbeitet. Bei einer Auswertung für mehrere Farbkanäle werden nur übereinstimmende Ergebnisse weiter verwendet.

Description

Die Erfindung betrifft das Gebiet der Segmentierung (Separierung) von Vordergrund objekten (Personen) bei aufgenommenen Videobildern für eine Weiterverarbeitung im Echtzeitbetrieb.

Nach dem Stand der Technik sind für das Separieren "Herausschneiden" von Gesprächs personen aus aufgenommenen Videobildern verschiedene Verfahren bekannt. In der Tradition stehen color keying Methoden, wie z. B. blue screen. Bei color keying Verfahren werden die zu segmentierenden Objekte vor einem bekannten, homogen gefärbten Bildhin tergrund aufgenommen, wobei jeder Bildpunkt als zum Hintergrund gehörend interpretiert wird, dessen Farbwert innerhalb einer bestimmten, im Farbraum um den color key liegenden Umgebung liegt. Eine derartige Klassifikation läßt sich problemlos in Echtzeit durchführen. Folglich stellen derartige Verfahren eine Basistechnologie heutiger Fernseh- und Video technik dar. Der Nachteil dieses Ansatzes besteht in dem Erfordernis eines in bestimmter Weise getönten Bildhintergrundes.

Auf etwas anderer Basis arbeitet das Programm "Pfinder", welches im Rahmen des Projekts Azarbayejani, Trevor Darrel, Alex Pentland: "Pfinder: Real-Time Tracking of the Human Body", IEEE Transactions on Pattern Analysis and Machine Intelligence, "Intelli gentes Zimmer" am MIT entwickelt wurde (siehe Christopher Wren, Ali July 1997, vol 19, no 7. Pp. 780-785 und Christopher Wren, Ali Azarbayejani, Trevor Darrel, Alex Pentland: "Real-Time Tracking of the Human Body", http:/ /www-hite.mediamit.edu/vismod/demos/pfinder).

Bei diesem Verfahren werden die Bildpixel mittels eines Bayes-Klassifikators und einer maximum a posteriori (MAP) Schätzung als zum Szenenhintergrund oder zu einem "Blob" gehörend klassifiziert. "Blobs" sind dabei einfache geometrische Primitive zur Beschreibung der Vordergrundobjekte. Da dieses Verfahren nicht mit einfachen Schwellwerten, sondern mit einer vergleichsweise aufwendigen MAP-Schätzung arbeitet, ist es als wesentlich langsamer einzustufen. Pfinder segmentiert auf einer SGI Indy mit 175 MHz R 4400 CPU und Vino Video 10 Bilder pro Sekunde, wobei die Eingabebilder auf 1/16 ihrer Ursprungsgröße (160 × 120) reduziert werden.

Das von M. Bichsel vorgestellte Verfahren hat eine Echtzeit-Segmentierung zum Ziel (siehe Martin Bichsel. "Segmenting simply connected moving objects in a static scene", Pattern Analysis and Machine Intelligence, 16(11); 1138-1142, Nov. 1994).

Bei diesem Verfahren wird allerdings nicht die Differenz zu einem Hintergrundbild berech net, sondern das Segment eines Vordergrundobjektes auf der Grundlage der im Differenzbild zwischen je zwei Eingabebildern vorhandenen Gradienteninformation bestimmt. Auch dieses Verfahren beruht auf einem Bayes-Klassiflkator, ist vergleichsweise langsam und steht daher nicht in direkter Konkurrenz zu dem hier beschriebenen. Auf einer SUN SPARCstation 1+ wurden 3.0 Sekunden für ein 256 × 240 Bildpunkte großes Bild benötigt.

Die vorliegende Erfindung beinhaltet ein Verfahren, das auf die im Bereich neuer Multi media-Anwendungen (virtueller Shop, virtuelle Telefonkonferenz) erforderlichen Echtzeit- Segmentierungen von Gesprächsteilnehmern ausgerichtet ist. Bei dieser Spezialanwendung kann in der Regel von einer ruhenden Kamera ausgegangen werden. Ebenfalls ist eine Initialisierung ohne Vordergrundobjekt möglich, wodurch ein Hintergrundbild eingezogen werden kann. Diese Voraussetzungen ermöglichen den Einsatz schneller Algorithmen, wobei ein Kompromiß zwischen der Güte der Segmentierung und der Schnelligkeit des Verfahrens gefunden werden muß.

Im Gegensatz zu dem Ansatz "Pfinder" werden keine Informationen über Form oder Textur des Vordergrundobjekts vorausgesetzt. Die vorliegende Erfindung kann beliebig geformte und texturierte Objekte mit beliebig vielen Löchern segmentieren, vorausgesetzt, die Farbwerte von Vordergrund und Hintergrund in einem bestimmten Bildelement sind nicht identisch.

Im Gegensatz zu dem Ansatz von M. Bichsel wird keine Markierung der einzelnen Hintergrundregionen benötigt.

Ein Algorithmus wertet im Prinzip pro Pixel die Differenz zwischen dem zu analysierenden Bild und dem bekannten Hintergrund aus. Ist die Differenz für einen Pixel größer als eine Schwelle, wird der Pixel als Vordergrund markiert, sonst als Hintergrund. Zur Gewinnung des Hintergrunds wird dieser zuerst ohne ein Vordergrundobjekt mehrfach aufgenommen. Das Mittel der Aufnahmen wird dann als Hintergrundbild gespeichert. Durch die Mittelung werden Rauschstörungen gemindert. Danach wird für jeden Pixel das maximale Rauschen geschätzt. Die Schwelle für die Entscheidung Vordergrund oder Hintergrund wird dann auf das maximale Rauschen festgesetzt. Die Idee ist, dass Grauwerte (Farbwerte) mit einer größeren Abweichung vom gespeicherten Hintergrund als das maximale Rauschen zum Vordergrund gehören müssen.

Der Vorteil dieses Verfahrens ist, dass aufgrund der sehr kleinen Schwellwerte das Vordergrundobjekt sehr genau segmentiert werden kann. Von Nachteil ist jedoch, dass schon kleinste Beleuchtungsänderungen, wie z. B. Wolken, den Hintergrund so stark verändern, dass er als Vordergrund erkannt würde. Aus diesem Grund wurde eine leistungs starke Adaption entwickelt, die sowohl sehr lokale, als auch globale Beleuchtungsände rungen detektiert und kompensiert. Durch das Zusammenspiel der sehr genauen Segmen tierung und der Adaption ist ein sehr präzises und stabiles Verfahren entstanden, dessen Leistungsfähigkeit deutlich über bisher bekannten Ansätzen steht.

Das Verfahren beinhaltet die Extraktion eines Objekts aus einem Farbbildsignal, welches in Form von digitalen Komponenten für 3 Farbkanäle vorliegt. Das Verfahren arbeitet auf beliebigen Farbräumen wie z. B. RGB und YUV, vorausgesetzt, alle Farbkanäle liegen in der gleichen Auflösung vor. Die Bearbeitung der Farbkanäle erfolgt in identisch aufgebauten, unabhängig arbeitenden Subsystemen (Segmentierungsabschnitten). Diese Segmentierungs abschnitte können in 2 Betriebsarten angewendet werden: Initialisierungsbetrieb und Segmentierungsbetrieb. In einem nachgeschalteten System (Multiplexer) werden die Ergeb nisse der Subsysteme so kombiniert, dass ein digitales Signal entsteht, welches für jedes Element des Eingangssignals eine Markierung enthält, ob das Eingangselement zum gesuchten Objekt gehört oder nicht (Ergebnismaske).

Das technische Problem, das der Erfindung zugrunde liegt, besteht darin, das Objekt mit minimalem Aufwand exakt aus jedem Farbkanal zu extrahieren, auch wenn sich die Beleuchtung der das Objekt umgebenden Bereiche ändert, sowie die Informationen der Farbkanäle so zu kombinieren, dass sowohl im gesuchten Objekt, als auch im Hintergrund, möglichst wenig Fehlstellen auftreten.

Die erfindungsgemäße Lösung sieht vor, dass im Segmentierungsabschnitt durchgeführt werden:

1. Initialisierungsbetrieb

- die Aufnahme einer Reihe von Bildern, wobei sichergestellt sein muss, dass sich das zu suchende Objekt nicht auf den Bildern befindet;
- eine Mittelung der Bildreihe im Initialisierungsabschnitt in dem Sinne, dass von den jeweils korrespondierenden Pixeln der Bilder das arithmetische Mittel berechnet wird und dieser in einem Mittelwertbild gespeichert wird;
- eine Transferierung des Mittelwertbildes vom Initialisierungsabschnitt in den Hin tergrundpuffer;
- die Aufnahme einer weiteren Reihe von Bildern, wobei sichergestellt sein muß, dass sich das zu suchende Objekt nicht auf den Bildern befindet;
- die Berechnung des maximalen Rauschens pro Pixel im Initialisierungsabschnitt in der Art, dass die Pixel aller zur Rauschschätzung aufgenommenen Bilder mit den je weils korrespondierenden Pixeln des Mittelwertbildes aus dem Hintergrundpuffer verglichen werden, und die für jeden Pixel maximale Differenz zwischen den aufge nommenen Bildern und dem Hintergrundpuffer gespeichert wird;
- die Transferierung des aus den maximalen Abständen berechneten Rauschbildes vom Initialisierungsabschnitt in den Schwellwertpuffer;
- Schaltung des Adaptionsabschnits in den Initialisierungsbetrieb.

2. Segmentierungsbetrieb

- Transferierung des Inhalts des Schwellwertpuffers in die Schwellwertabschnitte;
- Transferierung der adaptierten Hintergrundpuffer aus dem Adaptionsabschnitt in die Schwellwertabschnitte;
- in den Schwellwertabschnitten, Vergleich jedes Pixels des aktuellen Bildes mit dem adaptierten Hintergrund. Ist der Abstand kleiner als der Wert des korrespondieren den Eintrags im Schwellwertpuffer, wird das entsprechende Element des Ausgangs bildes als Hintergrund markiert, sonst als Vordergrund, d. h., dem gesuchten Objekt zugehörig;
- pixelweise Verknüpfung der Ergebnisse der beiden Schwellwertabschnitte mit einem UND-Glied;
- Transferierung der verknüpften Ergebnisse an den Adaptionsabschnitt zur Neube rechnung des Inhalts der Adaptionspuffer;

und im Adaptionsabschnitt durchgeführt werden:

1. Initialisierungsbetrieb

- Initialisierung eines Pixeladaptionspuffers mit 0, wobei die Größe des Puffers so zu wählen ist, dass für jeden Pixel ein Eintrag vorhanden ist;
- Initialisierung eines Helligkeits-Adaptionspuffers mit 0, wobei die Größe des Puffers so zu wählen ist, dass für jede mögliche Helligkeitsstufe ein Eintrag vorhanden ist;

2. Adaptionsbetrieb

- Initialisierung einer Reihe von Akkumulatoren mit 0, wobei so viele Akkumulatoren vorzusehen sind, wie mögliche Helligkeitsstufen vorhanden sind,
- Abarbeitung aller aktuell als Hintergrund detektierten Pixel und Ausführung folgen der Funktionen:
- Vergleich jedes Pixels mit dem korrespondierenden Pixel aus dem Hintergrund puffer, der Gestalt, dass die Differenz der Helligkeitsstufen berechnet wird;
- Speicherung der Differenz im korrespondierenden Feld des Pixeladaptions puffers;
- Akkumulierung der Differenz in dem Akkumulator, der für die Helligkeitsstufe des korrespondierenden Pixels des Hintergrundpuffers vorgesehen ist;
- Nachbearbeitung der Akkumulatoren derart, dass der Eintrag durch die Anzahl der akkumulierten Differenzen dividiert wird;
- Berechnung eines pixeladaptierten Hintergrundpuffers durch Addition der Einträge des Pixeladaptionspuffers mit den korrespondierenden Einträgen des Hintergrund puffers;
- Berechnung eines helligkeitsadaptierten Hintergrundpuffers durch Addition der Einträge des Hinterpuffers mit dem Inhalt desjenigen Akkumulators, welcher für die Helligkeit des jeweiligen Elements (Pixels) des Hintergrundpuffers vorgesehen ist;

und im Multiplexerabschnitt durchgeführt werden:

- Zusammenfassung der Ergebnisse der Schwellwertabschnitte der Gestalt, dass:
- Ergebnisse, die in allen 3 Segmentierungsabschnitten übereinstimmen, direkt in die Ergebnismaske übernommen werden;
- bei Pixeln, bei denen die Ergebnisse der 3 Segmentierungsabschnitte nicht überein stimmen, sich der Eintrag in der Ergebnismaske aus dem negierten örtlichen Vorgän ger des jeweiligen Eintrags in der Ergebnismaske bestimmt.

Zu denjenigen Operationen, die für die erfindungsgemäße technische Lehre von maßgeb lichem Einfluß sind, gehören besonders die Art des Schwellwertpuffers, der für jeden Pixel einen Eintrag vorsieht, die Art wie die einzelnen Einträge des Schwellwertpuffers berechnet werden, sowie Art und Ausgestaltung des Adaptionsabschnitts, sowie die Art, wie Segmen tierungsabschnitt und Adaptionsabschnitt miteinander verknüpft sind.

Die Ausführung der Erfindung ist den Erläuterungen zu den Abbildungen Fig. 1 bis 4 zu entnehmen. Dabei zeigen schematisch:

Fig. 1 das Gesamtsystem zur Extraktion eines Objektes aus einem Farbbildsignal als Blockschaltbild

Fig. 2 als Blockschaltbild den Segmentierungsabschnitt

Fig. 3 als Blockschaltbild den Schwellwertabschnitt

Fig. 4 als Blockschaltbild den Adaptionsabschnitt

Fig. 1 zeigt eine schematische Systemübersicht mit einer Untergliederung in vier, zum Teil aus parallelen Subsystemen bestehenden Signalverarbeitungsabschnitten. Die ankommenden Farbbildsignale können in beliebigen Farbräumen wie z. B. RGB und YUV definiert sein und werden deshalb allgemein als A, B und C angegeben. Die drei Farbsignale gelangen in drei identisch aufgebaute, parallel arbeitende Segmentierungsabschnitte 100 (Seg. Sect. = Seg mentation Section). Jeder Segmentierungsabschnitt liefert für seinen Farbkanal ein Ergebnis Ea, Eb oder Ec, welches aus einem Binärbild gleicher Größe wie das Eingangsbild besteht und welches für jedes Element (Pixel) des Bildes eine 0 enthält, wenn dieses Element nicht zum Objekt gehört und eine 1, wenn dieses Element zum Objekt gehört. Die drei Ergebnisse gelangen dann in einen Multiplexerabschnitt 200 (MUX Sect. = Multiplexer Section), welcher die Einzelergebnisse Ea, Eb und Ec zu einem Endergebnis E verknüpft.

Die Funktionsweise der Segmentierungsabschnitte 100 wird anhand von Fig. 2 näher erläutert. Der Segmentierungsabschnitt kann im Initialisierungsbetrieb und im Segmentie rungsbetrieb benutzt werden.

Im Initialisierungsbetrieb werden der Initialisierungsabschnitt 110 (Init. Sect. = Initialization Section), der Schwellwertpuffer 120 (Thresh. Buf. = Threshold Buffer), der Hintergrund puffer 130 (Back. Buf. = Background Buffer) sowie der Adaptionsabschnitt 140 (Adapt. Sec. = Adaption Section) benötigt. Dem Initialisierungsabschnitt 110 wird eine Reihe von Bildern zugeführt, die das zu suchende Vordergrundobjekt nicht enthalten dürfen. Von die sen Bildern wird elementeweise der arithmetische Mittelwert berechnet. Es ergibt sich ein gemitteltes und relativ rauschfreies Hintergrundbild, welches in den Hintergrundpuffer 130 transferiert wird. Danach wird dem Initialisierungsabschnitt 110 eine weitere Reihe von Bildern zugeführt, die ebenfalls das zu suchende Objekt noch nicht enthalten dürfen. Durch Subtraktion der einzelnen Elemente der Bilder von den entsprechenden Elementen des Bildes aus dem Hintergrundpuffer 130 wird für jedes Element der Abstand zum Hintergrund berechnet. Der über die Reihe von Bildern gefundene maximale Abstand für jedes Element wird in den Schwellwertpuffer 120 transferiert. Der Schwellwertpuffer beinhaltet nach der Initialisierung dann für jedes Element der Bilder eine Schwelle, die dem maximalen absoluten Rauschen während der Initialisierungsphase entspricht. Zum Abschluß der Initialisierung wird der Adaptionsabschnitt 140 veranlasst, ebenfalls einen Initialisierungsbetrieb durchzu führen.

Im Segmentierungsbetrieb werden außer dem Initialisierungsabschnitt 110 alle Elemente des Segmentierungsabschnitts benötigt. Für den Segmentierungsbetrieb wesentlich sind zwei identische parallel aufgebaute Schwellwertabschnitte 150 (Thresh. Sect. = Threshold Sec tion), deren Aufbau Fig. 3 zu entnehmen ist. Beide Schwellwertabschnitte werden mit dem aktuellen Bild sowie dem Inhalt des Schwellwertpuffers gespeist, jedoch mit verschiedenen adaptierten Hintergrundbildern. Die Adaption des Hintergrundbildes wird bei der Beschrei bung des Adaptionsabschnitts erklärt. Im Schwellwertabschnitt wird im Subtraktionsab schnitt 151 (Sub. Sect. = Subtraction Section) der Abstand jedes Elements des aktuellen Bildes vom korrespondierenden Element des adaptierten Hintergrundbildes berechnet. Die Abstände werden dann im Vergleichsabschnitt 152 (Comp. Sect. = Comparison Section) mit den jeweils korrespondierenden Einträgen des Schwellwertpuffers verglichen. Für Elemente, bei denen der Abstand kleiner als der Schwellwert ist, wird dann im Ergebniselement eine 0 für Hintergrund, für die übrigen Elemente eine 1 für Vordergrund eingetragen. Die Ergeb nisse der beiden Schwellwertabschnitte werden dann mit einem gewöhnlichen UND-Glied 160 verknüpft. Es werden also nur die Elemente als dem Objekt zugehörig markiert, die von beiden Schwellwertabschnitten als solche erkannt wurden. Das verknüpfte Ergebnis wird dann in den Adaptionsabschnitt 140 geleitet und dieser in den Adaptionsbetrieb geschaltet.

Die Funktionsweise des Adaptionsabschnitts 140 wird anhand von Fig. 4 erläutert. Der Adaptionsabschnitt kann im Initialisierungsbetrieb und im Adaptionsbetrieb benutzt werden.

Der Adaptionsabschnitt 140 ermöglicht sowohl eine ortslokale Adaption OA (Pixeladaption, Elementadaption), als auch eine helligkeitslokale Adaption LA (Luminanzadaption). Die OA liefert gute Ergebnisse in Bildbereichen mit deutlichem Abstand zum Objekt. Die LA er möglicht, die in deutlichem Abstand zum Objekt gewonnenen Informationen auch am un mittelbaren Objektrand sowie in durch das Objekt verdeckten Hintergrundsbereichen zu verwenden.

Im Initialisierungsbetrieb werden der Pixeladaptionspuffer (Pix. Adap. Buf. = Pixel Adap tion Buffer) 142 sowie der Luminanzadaptionspuffer (Lum. Adap. Buf. = Luminance Adap tion Buffer) 145 mit 0 initialisiert. Der Pixeladaptionspuffer ist dabei so groß zu wählen, dass für jedes Bildelement (Pixel) ein Eintrag vorhanden ist; der Luminanzadaptionspuffer ist so groß zu wählen, dass für jede Helligkeitsstufe ein Eintrag vorhanden ist.

Im Adaptionsbetrieb wird zunächst der Subtraktionsabschnitt 141 mit dem im Hintergrund puffer 130 gespeicherten Hintergrundbild Back., dem aktuellen Bild X sowie dem Ergebnis der Schwellwertabschnitte gespeist. Es ist zu beachten, dass die Subtraktionsabschnitte 141 und 151 nicht identisch sind! Für alle Pixel, die als Hintergrund detektiert wurden, wird dann der Abstand zwischen aktuellem Bild und gespeichertem Hintergrundbild berechnet. Die neu berechneten Abstände werden dann in den Pixeladaptionspuffer 142 transferiert. Die übrigen Einträge des Pixeladaptionspuffers bleiben erhalten. Dann wird das Akkumulatorarray 146 (Akku. Arr. = Akkumulator Array) mit 0 initialisiert. Das Akkumulatorarray besteht aus einer Reihe von Akkumulatoren, wobei für jede Helligkeitsstufe ein Akkumulator vorzuse hen ist. Die im Subtraktionsabschnitt 141 neu berechneten Abstände werden dann im Akku mulatorarray 146 dergestalt akkumuliert (addiert), dass jeweils die Zelle des Akkumulator arrays mit der aktuell zu bearbeitenden Differenz addiert wird, die der Luminanz des ent sprechenden Elements im Hintergrundpuffer 130 entspricht. Anders formuliert kann man also sagen, dass im Akkumulatorarray 146 die im Subtraktionsabschnitt 141 berechneten Differenzen geordnet nach der Helligkeit des entsprechenden Hintergrundpixels aufsummiert werden. Im Akkumulatoranalyseabschnitt (Akku. Ana. Sect. = Akkumulator Analysis Sec tion) 147 wird dann jeder Wert des Akkumulatorarrays durch die Anzahl der Elemente ge teilt, deren Differenz in den jeweiligen Akkumulatorwert eingegangen sind. Die Ergebnisse werden in den Luminanzadaptionspuffer (Lum. Adap. Buf. = Luminance Adaption Buffer) 145 übertragen. Im Pixeladaptionsabschnitt (Pix. Adap. Sect. = Pixel Adaption Section) 143 wird dann durch Addition des Hintergrundbildes Back mit dem Inhalt des Pixeladapti onspuffers 142 der pixeladaptierte Hintergrund PA. Back gewonnen. Im Luminanzadaapti onsabschnitt (Lum. Adap. Sect. = Luminance Adaption Section) 144 wird durch Addition des Hintergrundbildes Back mit dem jeweils korrespondierenden Eintrag des Lumi nanzadaptionspuffers 145 der luminanzadaptierte Hintergrund LA. Back gewonnen.

Die Ergebnisse Ea, Eb und Ec der drei Segmentierungsabschnitte 100 gelangen zum Schluß in den Multiplexerabschnitt (MUX Sect. = Multiplexer Section) 200. Die Verknüpfung der Ergebnisse erfolgt elementeweise. Ergebnisse, die in allen drei Einzelergebnissen überein stimmen, werden direkt übernommen. Stimmen die Einzelergebnisse nicht überein, wird das negierte Ergebnis des örtlichen Vorgängers des jeweils bearbeiteten Elements übernommen. Das gewonnene Ergebnis E kann dann ggf. noch mit üblichen morphologischen Filtern, wie z. B. Medianfilter, bearbeitet werden.

Claims

1. Verfahren zur echtzeitfähigen Segmentierung von Videoobjekten bei bekanntem stationären Bildhintergrund, dadurch gekennzeichnet,

- dass pro Bildpixel die Differenz zwischen dem zu analysierenden Bild und dem durch Mittelung mehrerer Aufnahmen berechneten Hintergrundbild mit einem auf das maximale Rauschen festgesetzten Schwellwert verglichen wird und bei Überschreitung des Schwellwertes der Pixel als Vordergrund, ansonsten als Hintergrund markiert wird,
- dass Helligkeitsänderungen im Hintergrundbild durch Adaption kompensiert werden, um Bildpixel nicht falsch zu detektieren,
- dass Adaption und Segmentierung so miteinander verknüpft sind, dass eine präzise Separierung der Vordergrundobjekte vom Szenenhintergrund erreicht wird, und
- dass für die Auswertung mehrerer Farbkanäle die Ergebnisse bei Übereinstimmung direkt übernommen werden, ansonsten der negierte örtliche Vorgänger verwendet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Mittelwert für den Bildhintergrund aus dem arithmetischen Mittel jeweils korrespondierender Pixel einer aufgenommenen Bildreihe ohne Vordergrundobjekt berechnet wird.

3. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, dass der Schwellwert aus der maximalen Differenz zwischen den jeweils korrespondierenden Pixeln einer zur Rauschschätzung aufgenommenen Bildreihe ohne Vordergrundobjekt und dem Mittelwert des Hintergrundbildes berechnet wird.

4. Verfahren nach Anspruch 1 bis 3, dadurch gekennzeichnet, dass für die Segmentierung die Differenzen der korrespondierenden Pixel eines aufgenommenen Bildes mit Vordergrund objekt und den adaptierten Hintergrundbildern verglichen werden mit dem Schwellwert und bei jeweiliger Überschreitung der Pixel als Vordergrund markiert wird.

5. Verfahren nach Anspruch 1 bis 4, dadurch gekennzeichnet, dass die Kompensation von Helligkeitsänderungen im Hintergrundbild dadurch erreicht wird,

- dass zunächst für jedes Pixel des aktuellen Hintergrunds die Differenz zum korrespon dierenden Pixel des gespeicherten Hintergrundbildes gebildet wird und die Differenz sowohl im korrespondierenden Feld für die Pixeladaption gespeichert, als auch in dem für die Helligkeitsstufe des korrespondierenden Pixels des gespeicherten Hintergrund bildes vorgesehenen Akkumulators aufaddiert wird,
- dass in einer Nachbearbeitung die Einträge im Akkumulator durch die Anzahl der akku mulierten Differenzen dividiert wird, und sowohl ein pixeladaptiertes Hintergrundbild, durch Addition der Einträge für die Pixeladaption mit den korrespondierenden Einträgen des gespeicherten Hintergrundbildes, als auch ein helligkeitsadaptiertes Hintergrundbild, durch Addition der Einträge vom gespeicherten Hintergrundbilde mit dem Inhalt desjenigen Akkumulators, der für die Helligkeit des jeweils korrespondie renden Pixels des gespeicherten Hintergrundbildes vorgesehen ist, berechnet werden.