DE102010056536A1 - Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung verwendet zur Videoüberwachung - Google Patents

Abstract

Überwachungssysteme müssen sich oft großen Herausforderungen durch Beleuchtungsschwankungen bzw. Lichtveränderungen stellen, insbesondere diese, die Freiluftumgebungen beobachten. Um ein Überwachungssystem robust gegenüber Hintergrundszenenveränderungen inklusive Beleuchtungsveränderungen zu konstruieren, ist die Strategie des Hintergrundmodelllernens weit verbreitet. Auf Basis dieser Strategie wurden viele Lösungsansätze in Jahrzehnten vorgeschlagen, um Hintergrundszenen durch statistische Modelle zu repräsentieren und Hintergrundveränderungen über die Zeit in die Modelle anzupassen. Allerdings richtet sich der Fokus der meisten Hintergrundmodelllernforschung auf die Anpassung von Szenenvibrationen im Hintergrund sowie auf graduelle Beleuchtungsvariationen. Für die Hintergrundmodellanpassung an drastische Beleuchtungsveränderungen sind Hintergrundmodelllernansätze oft ineffizient. Folglich werden Fehlalarme in der Vordergrunderkennung unter derartigen schnellen Beleuchtungsveränderungen ausgelöst. Um diese Art von Fehlalarmen zu unterdrücken, wird ein neues System von Hintergrundmodelllernen vorgeschlagen.

Description

• Literatur auf die Bezug genommen wird
  C. Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking" in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, 1999, Seiten 246–252.
• Hintergrund der Erfindung
• Die vorliegende Erfindung bezieht sich allgemein auf ein Videoüberwachungssystem, das Hintergrundsubtraktion verwendet, um Vordergrund-Abnormitäten bzw. Vordergrund-Anomalien zu identifizieren. Insbesondere bezieht sich die vorliegende Erfindung auf das Erlernen bzw. Lernen eines Hintergrundmodells für eine Szene von Interesse, welches unempfindlich gegenüber drastischen Lichtschwankungen bzw. Beleuchtungsveränderungen ist.
• Für Videoüberwachungssysteme, die Hintergrundsubtraktion verwenden, um Vordergrund-Abnormitäten zu identifizieren, spielt die Berechnung eines geeigneten Hintergrundmodells über die Zeit eine wichtige Rolle, welche die Systemleistung dominiert. Für Anwendungen einer Langzeitvideoüberwachung ist die Berechnung eines aktuellen Hintergrundmodells erforderlich, um fehlerhafte Erkennungen bzw. Detektionen von Hintergrundszenenveränderungen als Vordergrund-Alarme zu vermeiden, z. B. Beleuchtungsveränderungen von der Dämmerung zur Nacht. An diesem Ende wird das Aktualisieren von Hintergrundmodellschätzungen häufig durch viele Überwachungssysteme eingesetzt, um Hintergrundszenenveränderungen zu erlernen. Wir bezeichnen den Ansatz des periodischen Aktualisieren des Hintergrundmodells als Hintergrundmodelllernen.
• In den letzten Jahrzehnten wurden viele Ansätze vorgeschlagen, die sich dem Problem des Hintergrundmodellernens annehmen, wie z. B.: C. Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking" in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, Seiten 246–252, 1999. für die meisten Hintergrundmodellernsysteme haben die Frequenzen der Hintergrundmodelaktualisierung (für alle Pixelstellen) auch bekannt als Modelllernraten, große Auswirkungen auf die Systemstabilität. (Die Definition der Modellernrate wurde aus Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking" in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, Seiten 246–252, 1999 übernommen). Durch das periodische Hintergrundmodellaktualisieren werden verschiedene Hintergrundszenenveränderungen, inklusive Beleuchtungsveränderungen, ruhenden Objekten usw. in ein Hintergrundmodel angepasst. Je öfter ein Hintergrundmodell aktualisiert wird, desto mehr Szenenveränderungen sind in das erlernte Modell angepasst, was zu einem Überwachungssystem (basieren auf Hintergrundsubtraktion) führt, das robuster gegenüber Hintergrundinterferenzen und weniger empfindlich gegenüber Vordergrundabnormitäten ist. Im Ergebnis wird das Anwenden von hohen Lernraten auf ein Hintergrundmodelllernsystem zu einer intensiven Vordergrunddetektion bzw. Vordergrunderkennung von Eindringlingen über häufige Modellaktualisierung in sein Hintergrundmodell führen.
• Da die meisten Hintergrundmodelllernsysteme bei mittleren, aber nicht bei hohen Lernraten betrieben werden müssen, um die allgemeinen Überwachungsbedingungen zu erfüllen, können graduelle (und vielleicht schnelle) Beleuchtungsveränderungen daher durch die Hintergrundmodelle erfasst bzw. aufgenommen werden, die von diesen Systemen berechnet werden.
• Aber für einige überschnelle, auch drastisch genannten Beleuchtungsveränderungen, die durch z. B. plötzliche Sonnenscheinveränderungen hervorgerufen werden, können solche Systeme ineffizient werden. Viele Falscherkennungen von Vordergrundbereichen werden somit erzeugt, die von drastischen Beleuchtungsveränderungen herrühren. Das Fehlen von effizienten und effektiven Möglichkeiten, drastische Beleuchtungsveränderungen für allgemeine Hintergrundmodelllernansätze zu bewältigen, gibt Anlass zur dieser Erfindung.
• Um die Hintergrundmodellanpassung an Beleuchtungsveränderungen für allgemeine Hintergrundmodelllernsysteme zu verbessern, wird ein neuer Systemaufbau bzw. ein neues Systemdesign vorgeschlagen, durch Anschaffen bzw. Akquirieren einer Beleuchtungsveränderungsverarbeitungseinheit als ein Nachverarbeitungsmodul für diese Systeme, um ihre Ergebnisse der Vordergrundbereichserkennung unter drastischen Beleuchtungsveränderungen zu überarbeiten und die dynamischen Anpassungen ihrer Modelllernraten zu führen. Mit dem vorgeschlagenen Nachverarbeitungsmodul kann das Potential der Modellanpassung an drastische Beleuchtungsveränderungen für allgemeine Hintergrundmodelllernsysteme stark verbessert werden, ohne ein manuelles Einstellen der Modellernraten zu benötigen.
• 1 gibt zwei Beispiele von schnellen und überschnellen (drastischen) Beleuchtungsveränderungen. Die Bildsequenz, die in den 1(a)–(c) gezeigt ist, zeichnet bzw. nimmt ein Labor mit einem CRT-Monitor auf, der wechselnde Bildschirmdarstellungen bzw. rollende Schnittstellen [rolling interfaces] und mit schnellen Beleuchtungsveränderungen anzeigt, wobei die 1(a)–(c) zwei Bilder einer Bildsequenz I^A zeigen, die mit 20 fps aufgezeichnet wurde und die schnelle Beleuchtungsveränderungen durchmacht. In dieser Bildsequenz benötigt man drei Sekunden um die mittlere Intensität um ~20% zu steigern. Dieser Art von Schnell-Veränderung in der Bildhelligkeit ist es möglich, durch allgemeine Hintergrundmodelllernansätze angepasst zu werden, z. B. C. Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking" in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, Seiten 246–252, 1999, durch Anwenden einer höheren Lernrate (als die des voreingestellten Werts in dem Schreiben bzw. Papier). Man beachte 2(a) für die simulierten Ergebnisse der Vordergrundbereichserkennung für den Bildframe I_t ^A durch Anwenden des Stauffer- und Grimson-Verfahrens. Zum einen werden für den Fall von überschnellen Beleuchtungsveränderungen, die in den 1(d)–(e) gezeigt sind, die zwei Bilder einer Bildsequenz I^B zeigen, die bei 15 fps aufgezeichnet wurden und überschnelle (drastische) Beleuchtungsveränderungen durchmachen, ähnliche Erhöhungen der Bildintensität in weniger als einer Sekunde für eine Außenumgebung bzw. Freilandumgebung beobachtet. Wie in 2(b) gezeigt ist, welche Ergebnisse von Vordergrundbereichserkennung für den Bildframe I_t ^B in überschneller Beleuchtung zeigt, werden viele falsche Erkennungsergebnisse im Vordergrund unter einer derartigen Bedingung durch Verwenden des gleichen Ansatzes mit identischer Lernrateneinstellung empfangen. Stattdessen werden durch Anwenden des vorgeschlagenen Hintergrundmodelllernsystems gemäß einer Ausführungsform dieser Erfindung, die meisten falschen Positiva bzw. Treffer der Vordergrundbereichserkennung eliminiert, wie in 2(c) gezeigt ist.
• Zusammenfassung der Erfindung
• Die vorgeschlagene Erfindung betrifft eine neue Bauart bzw. ein neues Design eines Hintergrundmodelllernsystems für Beleuchtungsveränderungsanpassung, das in Videoüberwachungsanwendungen verwendet werden kann. Das vorgeschlagene System wendet insbesondere irgendeinen allgemeinen Hintergrundmodelllernansatz als seine Basisverarbeitungseinheiten für Hintergrundmodellschätzung und Vordergrundbereichserkennung an, und akquiriert dann eine Beleuchtungsveränderungsverarbeitungseinheit als ein Nachverarbeitungsmodul, um die Vordergrundbereichserkennung zu überarbeiten. Die Beleuchtungsveränderungsverarbeitungseinheit ist für eine Reduzierung falscher Vordergrunderkennungen ausgelegt, die von graduellen, schnellen und drastischen Beleuchtungsveränderungen herrühren. Die Ergebnisse der überarbeiteten Vordergrunderkennung durch die Beleuchtungsveränderungsverarbeitungseinheit kann dann auf die nächste Verarbeitung angewandt werden, z. B. Vordergrundobjektanalyse, und zur Basiseinheit bzw. Grundeinheit der Hintergrundmodellschätzung für dynamische Anpassungen von Modelllernraten zurück gesandt werden.
• Kurze Beschreibung der Zeichnungen
• Die 1(a), (b) und (c) zeigen zwei Momentaufnahmen einer Bildsequenz in schnellen Beleuchtungsveränderungen und ihre Bildintensitätsvariationen via Frame-Differenzierung;
• Die 1(d), (e) und (f) zeigen zwei Momentaufnahmen einer Bildsequenz in überschnellen Beleuchtungsveränderungen und ihre Bildintensitätsvariationen via Frame-Differenzierung;
• Die 2(a) und (b) zeigen die Ergebnisse der Vordergrunderkennung für die zwei Bildsequenzen in schnellen bzw. überschnellen Beleuchtungsveränderungen, durch Verwenden des Stauffer und Grimson-Verfahrens zum Hintergrundmodelllernen mit identischer Modelllernrate;
• 2(c) zeigt die Ergebnisse der verbesserten Vordergrunderkennung für die Bildsequenz in über-schnellen Beleuchtungsveränderungen durch Verwenden des vorgeschlagenen Systems auf Basis des gleichen Hintergrundmodelllernverfahrens und Lernrateneinstellungen wie in den 2(a) und (b).
• 3 zeigt ein Blockdiagramm des vorgeschlagenen Hintergrundmodelllernsystems zu Beleuchtungsveränderungsanpassung gemäß einer Ausführungsform dieser Erfindung.
• Detaillierte Beschreibung der bevorzugten Ausführungsformen
• Nun wird auf die vorliegenden Ausführungsformen der Erfindung Bezug genommen, von denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. Wo immer es möglich ist, werden in den Zeichnungen und der Beschreibung die gleichen Bezugszeichen verwendet, um auf gleiche oder ähnliche Teile Bezug zu nehmen. Es ist ebenfalls klar, dass die detaillierte Beschreibung der vorliegenden Ausführungsformen beispielhaft ist und dazu gedacht ist, eine weitergehende Erklärung der Erfindung wie beansprucht bereitzustellen.
• 3 zeigt ein Blockdiagramm des vorgeschlagenen Hintergrundmodelllernsystems zu Beleuchtungsveränderungsanpassung gemäß einer Ausführungsform dieser Erfindung. Das vorgeschlagene Hintergrundmodelllernsystem 100 umfasst eine Hintergrundmodellschätzeinheit 110, eine Vordergrundabbildungskonstruktionseinheit 120, eine Beleuchtungsveränderungsverarbeitungseinheit 130 und eine Vordergrundobjektanalyseeinheit 140. Die Hintergrundmodellschätzeinheit 110 leitet die Berechnung eines Hintergrundmodells einer Bildsequenz, die durch z. B. einer stationären Kamera für eine Szene von Interesse aufgezeichnet wurde, und kann durch verschiedene Ansätze in der Literatur verwirklicht werden, z. B.: C. Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking" in Proc. IEEE Conf. CVPR, vol. 2, Seiten 246-252, 1999, oder D.-S. Lee, „Adaptive mixture learning in a dynamic system”, Patentnummer US 7103,584 B2 , 2006.
• Das geschätzte Hintergrundmodell der Hintergrundmodellschätzeinheit 110 wird dann zur Vordergrundabbildungskonstruktionseinheit 120 gesendet, um eine Referenzvordergrundabbildung zu erhalten, die die Vordergrundbereiche von den Hintergrundbereichen durch z. B. Hintergrundsubtraktion unterscheidet. Als nächstes bereitet die Beleuchtungsveränderungsverarbeitungseinheit 130 die Referenzvordergrundabbildung auf, die durch die Vordergrundabbildungskonstruktionseinheit 120 gewonnen wurde, um falsche Vordergrundbereiche zu eliminieren, die durch (drastische) Beleuchtungsveränderungen hervorgerufen wurden, und erzeugt eine überarbeitete Vordergrundabbildung als ihre Ausgabe. Die überarbeitete Vordergrundabbildung wird dann auf die nächste Einheit der Vordergrundobjektanalyse 140 angewandt und zur Beleuchtungsveränderungsverarbeitungseinheit 130 und zur Hintergrundmodellschätzeinheit 110 als Antworten über die Antwortverknüpfungen 150 bzw. 160 zurück gesendet. Für die Vordergrundobjektanalyseeinheit können für verschiedene Anwendungen im Systemdesign verschiedene Algorithmen z. B. eine Verbindungskomponentenanalyse angewandt werden.
• Insbesondere ist die Eingabe der Hintergrundmodellschätzeinheit 110 eine Bildsequenz I₀, ..., I_t die Frame nach Frame von der Eingabeverknüpfung 170 bis zum gegenwärtigen Zeitpunkt t eingegeben wird. Der Bildframe I_t = {I_t,x|∀x} zum gegenwärtigen Zeitpunkt t enthält eine mehrfache Anzahl von Pixelintensitäten I_t,xs, deren Format für unsere Diskussion einer bevorzugten Ausführungsform z. B. Graustufen ist. Allerdings waren Erweiterungen der Systemausführungsformen von Graustufen auf Farbbilder in RGB, in YUV444/422/420, Bayer-Matrix-ähnlichem Format oder andere Farbformate unkompliziert. Auf Basis der Eingabebilder wird ein Hintergrundmodell, gegeben durch

  

  bis zum gegenwärtigen Zeitpunkt t durch die Hintergrundmodellschätzeinheit 110 berechnet, wobei jedes festgelegte Element bzw. jedes Satzelement

  

  eine Hintergrundmodellschätzung für die Pixel ist, die an der Stelle x platziert sind. Die Kernberechnung der Hintergrundmodellschätzeinheit 110 kann durch irgendeinen der allgemeinen Hintergrundmodelllernansätze umfasst sein. Ohne Verlust der Allgemeingültigkeit, lässt sich mit α_t,x eine Modelllernrate bezeichnen, die die Frequenz der Hintergrundmodellaktualisierung für eine Modellschätzung B_t,x für einen ausgewählten Hintergrundmodelllernansatz steuert. Wie später ausführlich behandelt wird, können dynamische Anpassungen der Modelllernraten α_t = {α_t,x|∀x} durch Referenzierung der Ausgabe der Beleuchtungsveränderungsverarbeitungseinheit 130 über die Antwortverknüpfung 160 realisiert werden.
• In der Vordergrundabbildungskonstruktionseinheit 120 wird eine Referenzvordergrundabbildung gewonnen, die die Vordergrundbereiche von den Hintergrundbereichen unterscheidet, auf der Basis von Hintergrundsubtraktion des Hintergrundmodells

  

  das durch die Hintergrundmodellschätzeinheit 110 erzeugt wird. Genauer gesagt wird die Referenzvordergrundabbildung zum Zeitpunkt t bezeichnet als ein Satz

  

  wobei jedes Satzelement F_t,x ein binärer Wert (F_t,x ∊ {0, 1}) sein kann, der die Hintergrund- (als 0) und die Vordergrund-(als 1)-Benennung für einen Pixel bei x anzeigt, oder ein Realwert

  

  sein kann, der für einen Pixel bei x die Möglichkeit repräsentiert, Vordergrund zu sein. Eine derartige Ausgabe der Referenzvordergrundabbildung

  

  kann durch die meisten Überwachungssysteme auf der Basis von Hintergrundsubtraktion erzeugt werden.
• Die Beleuchtungsveränderungsverarbeitungseinheit 130 empfängt die Referenzvordergrundabbildung

  

  als eine ihrer Eingaben und erzeugt eine überarbeitete Vordergrundabbildung

  

  die weniger Falscherkennungen von Vordergrundbereichen von Beleuchtungsveränderungen enthält. Die Idee hinter der Beleuchtungsveränderungsverarbeitungseinheit 130 ist einfach aber effektiv. Während die Variation der Bildintensität von überschnellen Beleuchtungsveränderungen unter zeitlich voneinander entfernten Bildframes groß sein kann, ist sie zwischen zwei aufeinanderfolgenden Bildframes klein, wenn die Framerate der Aufzeichnung bzw. Aufnahme groß genug ist. Die kleine und feine Veränderung der Bildhelligkeit zwischen aufeinanderfolgenden Bildframes stellt einen Hinweis zum Eliminieren von falschen Alarmen in der Vordergrunderkennung für drastische, aber nicht abrupte bzw. plötzliche Beleuchtungsveränderungen bereit. (man beachte, dass die plötzlichen Veränderungen im Hintergrund als hervorstechende Abweichungen [salient deviations] zwischen zwei aufeinanderfolgenden Bildframes bezeichnet werden, aufgrund von z. B. Licht an/aus). Zum Beispiel kann durch Bereitstellen eines Schwellenwerts der Differenz zwischen einem entsprechenden Pixelpaar jeder der beiden aufeinanderfolgenden Frames bei einem geeigneten Niveau, derartige falsche Alarme bzw. Fehlalarme oft reduziert werden.
• Demzufolge führt die Beleuchtungsveränderungsverarbeitungseinheit 130 die folgende Berechnung durch, für den Fall der binär eingegebenen Referenzvordergrundabbildung

  

  Zuerst wird die Schwellenwertbereitstellung einer Intensitätsdifferenz für jedes Pixelpaarausgeführt durch:

  

  wobei I_t,x und I_t-N,x zwei Pixelintensitäten der Zeitpunkte t bzw. t – N (mit z. B.: N = 1) an der gleichen Pixelstelle x sind, T_d (= 10) ein vorgegebener Schwellenwert ist, und D_t,x ein binärer Indikator ist. Daher kann man eine Framedifferenzabbildung

  

  erhalten durch die Framedifferenzierungsuntereinheit 131. Dann kann eine überarbeitete Vordergrundabbildung

  

  die weniger durch Beleuchtungsveränderungen beeinflusst ist, durch folgende Abbildungskombination:

  

  in der Vordergrundabbildungsüberarbeitungseinheit 132 erzeugt werden, wobei

  

  die überarbeitete Vordergrundabbildung ist die man vom vorhergehenden Zeitpunkt t – 1 von der Antwortverknüpfung 150 erhält. Für die Initialisierung der Abbildungskombination in rekursiver Formulierung, wird der Abbildung

  

  ein Satz von Nullen zugewiesen. Es ist zu beachten, dass die ODER Funktion in der Abbildungskombination für eine vorübergehende bzw. temporäre Akkumulation von Vordergrundbereichen ausgelegt ist, was nützlich ist für die Erkennung von sich langsam bewegenden Objekten. Die überarbeitete Vordergrundabbildung

  

  die man durch die Vordergrundabbildungsüberarbeitungsuntereinheit 132 erhält, dient als die letzte Ausgabe der Beleuchtungsveränderungsverarbeitungseinheit 130 zum gegenwärtigen Zeitpunkt t, und wird an die Vordergrundobjektanalyseeinheit 140 zur weiteren Analyse übertragen. Zwischenzeitlich wird die Abbildung

  

  ebenfalls an die Hintergrundmodellschätzeinheit 110 über die Antwortverknüpfung 160 als eine ihrer Eingaben zurückgesendet.
• Die Hintergrundmodellschätzeinheit 110 kann jetzt (für den gegenwärtigen Zeitpunkt t) die überarbeitete Vordergrundabbildung

  

  des vorhergehenden Zeitpunkts t – 1 auf die dynamischen Anpassungen der Modelllernraten α_t,xs für (drastische) Beleuchtungsveränderungsanpassung in dem Hintergrundmodell

  

  anwenden. Insbesondere wird – bezeichnet durch

  

  – eine Abbildung von der Antwortverknüpfung 160 in die Hintergrundmodellschätzeinheit 110 eingegeben. Die Pixel

  

  repräsentieren die Bildbereiche der Beleuchtungsveränderungen, die durch die Beleuchtungsveränderungsverarbeitungseinheit 130 erkannt wurden. Die entsprechenden Lernraten der Pixel, d. h.

  

  müssen in der Hintergrundmodellschätzeinheit 110 erhöht werden, um die Hintergrundmodellanpassung an die Beleuchtungsveränderungen zu beschleunigen. Eine einfache Möglichkeit, dies zu tun ist

  

  wobei α_H und α_L zwei vordefinierte Raten für schnelles bzw. normales Hintergrundmodelllernen sind. Mit obigen dynamischen Anpassungen der Modelllernraten können Beleuchtungsveränderungen in dem geschätzten Hintergrundmodell

  

  in ein schelleres Tempo angepasst werden. Fehlalarme, die durch Beleuchtungsveränderungen hervorgerufen werden, werden daher durch die Erzeugung der nächsten Referenzvordergrundabbildung

  

  reduziert.
• Schließlich extrahiert die Vordergrundobjektanalyseeinheit 140 Vordergrundobjekte (falls vorhanden), auf der Basis der gegenwärtigen überarbeiteten Vordergrundabbildung

  

  Zum Beispiel können Vordergrundobjekte (falls vorhanden) über Verbindungskomponentenanalyse oder andere Objektgruppierungsverfahren extrahiert werden.
• Da eine Ausführungsform dieser Erfindung außerdem noch die Akquirierung einer Beleuchtungsveränderungsverarbeitungseinheit als ein Nachverarbeitungsmodul für allgemein-dienliche Hintergrundmodellschätzansätze ist, kann es leicht in bereits existierende bzw. vorhandene Hintergrundmodellsysteme integriert werden um deren Systemrobustheit gegenüber Beleuchtungsveränderungen zu verbessern, ohne die Systemarchitekturen umfangreich bzw. großflächig zu verändern.
• In einer anderen Ausführungsform kann die Beleuchtungsveränderungsverarbeitungseinheit 130 eine Referenzvordergrundabbildung

  

  im Realwert empfangen, der die Möglichkeiten bezeichnet, Vordergrund für Abbildungspixel zu sein. In diesem Fall kann die Framedifferenzierungsuntereinheit 131 eine Framedifferenzabbildung

  

  im Realwert berechnen, durch Anwenden von D_t,x = f(|I_t,x – I_t-N,x|) wobei

  

  einen realwertigen Pixel der Framedifferenzabbildung

  

  an der Pixelstelle x des gegenwärtigen Zeitpunkts t bezeichnet, und

  

  eine Transferfunktion ist, die die absolute Pixeldifferenz auf die Möglichkeit abbildet, sich für einen Pixel in Veränderung bzw. in einem Veränderungszustand zu sein. Die Funktion f(·) kann tatsächlich implementiert sein durch bzw. umfasst sein durch eine Sigmoidalfunktion oder andere Arten von Transferfunktionen. Dann kann die Vordergrundabbildungsüberarbeitungsuntereinheit 132 Min/Max-Funktionen verwenden, um die Referenzvordergrundabbildung

  

  zu überarbeiten und eine überarbeitete Vordergrundabbildung

  

  im Realwert zu erzeugen, durch

  

  wobei die Min/Max-Funktionen auf die Integration der drei eingegebenen Abbildungen

  

  im Realwert angewandt werden. Auf ähnliche Weise kann der Satz von Pixeln bei der Beleuchtungsveränderung für die dynamischen Anpassungen von Modelllernraten bei der Hintergrundmodellabschätzungseinheit 110 auch gegeben sein durch

  

  wobei T_L (= 0) ein voreingestellter Schwellenwert ist.
• Obwohl die vorliegende Erfindung besonders detailliert mit Bezugnahme auf spezielle Ausführungsformen davon beschrieben wurde, sind andere Ausführungsformen möglich. Daher sollen das Wesen und der Schutzbereich der angehängten Ansprüche nicht auf die Beschreibung der Ausführungsformen beschränkt sein, die hierin enthalten sind. Es wird für Fachleute klar sein, dass verschiedene Modifikationen und Variationen an der Struktur der vorliegenden Erfindung vorgenommen werden können, ohne vom Schutzbereich oder dem Wesen der Erfindung abzuweichen. Hinsichtlich der vorhergehenden Ausführungen ist es beabsichtigt, dass die vorliegende Erfindung Modifikationen und Variationen dieser Erfindung abdeckt, falls die in den Schutzbereich der folgenden Ansprüche fallen.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 7103584 B2 [0016]
• Zitierte Nicht-Patentliteratur
• C. Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking” in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, 1999, Seiten 246–252 [0001]
• C. Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking” in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, Seiten 246–252, 1999 [0004]
• Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking” in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, Seiten 246–252, 1999 [0004]
• C. Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking” in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, Seiten 246–252, 1999 [0008]
• C. Stauffer und W. Grimson, „Adaptive background mixture models for real-time tracking” in Proc. IEEE Conf. CVPR, vol. 2, Seiten 246-252, 1999 [0016]

Claims (10)

1. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung zur Videoüberwachung, umfassend: Hintergrundmodell-Schätzeinheit, die ein Hintergrundmodel B_t für eine Szene von Interesse abschätzt, als ihre Ausgabe der gegenwärtigen Zeitpunkt t, von mindestens einer Eingabe eines Bildframes I_t der gegenwärtigen Zeitpunkt t; eine Vordergrundabbildungskonstruktionseinheit, die eine Referenz-Vordergrundabbildung F_t der Zeitpunkt t konstruiert, die ein Satz von binären Pixeln ist, die Vordergrund- und Hintergrundpixelbezeichnungen kennzeichnen oder ein Satz von Realwertpixeln ist, die deren Möglichkeiten kennzeichen, im Vordergrund zu sein, durch Hintergrundmodelsubtraktion zwischen dem Bildframe I_t und dem geschätzten Hintergrundmodel B_t; und eine Beleuchtungsveränderungsverarbeitungseinheit, welche die Referenzvordergrundabbildung F_t durch Reduzieren von falschen Vordergrundbereichen überarbeitet, die aus Beleuchtungsveränderungen resultieren, umfassend: eine Framedifferenzierungsuntereinheit, die eine Framedifferenzabbildung D_t der Zeitpunkt t mittels Subtraktion eines vorhergehenden Bildframes I_t-N der Zeitpunkt t – N vom Gegenwärtigen I_t erzeugt; und eine Vordergrundabbildungsüberarbeitungsuntereinheit, die eine überarbeitete Vordergrundabbildung F_t' berechnet, die weniger durch Beleuchtungsveränderungen induzierte Bereiche mit falschem Vordergrund aufweist, als die Referenzvordergrundabbildung F_t, durch Integrieren der Framedifferenzabbildung D_t, der Referenzvordergrundabbildung F_t und einer Antwort- (überarbeitete Vordergrund-) Abbildung F'_t-1, abgeleitet zum vorhergehenden Zeitpunkt t – 1; wobei die überarbeitete Vordergrundabbildung F_t' als Ausgabe der Beleuchtungsveränderungverarbeitungseinheit zum gegenwärtigen Zeitpunkt t dient, und dann sowohl zur Hintergrundmodel-Schätzeinheit als auch zur Beleuchtungsveränderungsverarbeitungseinheit als Antworten zurückgesendet wird, zur Modelllernrateneinstellung in der Hintergrundmodellschätzung bzw. der Abbildungsintegration in der Beleuchtungsveränderungsverarbeitung für den nächsten Zeitpunkt t + 1.
2. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung gemäß Anspruch 1, wobei die Framedifferenzierungsuntereinheit zum Ableiten der Framedifferenzabbildung D_t im Binärwert des gegenwärtigen Zeitpunkts t implementiert werden kann durch:

   

   wobei D_t,x ∊ D_t einen Binärwertpixel der Framedifferenzabbildung D_t an der Pixelstelle x des Zeitpunkts t bezeichnet, I_t,x einen Pixelwert des Bildframes I_t an der Pixelstelle x des Zeitpunkt t bezeichnet, I_t-N,x einen Pixelwert des Bildframes I_t-N an der Pixelstelle x des Zeitpunkt t – N bezeichnet, und T_d ein vorgegebener Schwellwert ist, um den Differenzwert binär zu machen; und die Ausgabe der Framedifferenzierungsuntereinheit zum gegenwärtigen Zeitpunkt t durch die Framedifferenzabbildung D_t = {D_t,x|∀x} gegeben wird, die einen Satz von Binärwertpixeln D_t,xs bezeichnet.
3. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung gemäß Anspruch 1, wobei die Vordergrundabbildungsüberarbeitungsuntereinheit zum Ableiten der überarbeiteten Vordergrundabbildung F_t' im Binärwert implementiert werden kann durch F ' / t = F_tUND(F ' / t-1ODER D_t) wobei die logischen Operationen auf die Integration der drei binären Abbildungen angewandt werden, d. h. die Framedifferenzabbildung D_t, die Referenzvordergrundabbildung F_t und die überarbeitete Vordergrundabbildung F'_t-1, eingegeben zum vorhergehenden Zeitpunkt t – 1, in die überarbeitete Vordergrundabbildung F'_t; und die Ausgabe der Vordergrundabbildungsüberarbeitungsuntereinheit zum gegenwärtigen Zeitpunkt t durch die überarbeitete Vordergrundabbildung

   

   gegeben wird, die einen Satz von Binärwertpixeln F'_t,x ∊ {0 (Hintergrund), 1(Vordergrund)} bezeichnet.
4. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung gemäß Anspruch 1, wobei die Framedifferenzierungsuntereinheit zum Ableiten einer Framedifferenzabbildung D_t im Realwert implementiert werden kann durch D_t,x = f(|I_t,x – I_t-N,x|), wobei D_t,x ∀ D_t einen Realwertpixel der Framedifferenzabbildung D_t an der Pixelstelle x des gegenwärtigen Zeitpunkts t bezeichnet, I_t,x einen Pixelwert des Bildframes I_t an der Pixelstelle x des Zeitpunkts t bezeichnet, I_t-N,x einen Pixelwert des Bildframes I_t-N an der Pixelstelle x des Zeitpunkts t – N bezeichnet, und f(·) ∊ R eine Transferfunktion ist, die die absolute Pixeldifferenz auf die Möglichkeit abbildet, dass sich ein Abbildungspixel in Veränderung befindet; und die Ausgabe der Framedifferenzierungsuntereinheit zum Zeitpunkt t durch die Framedifferenzabbildung

   

   gegeben ist, die einen Satz von Realwertpixeln D_t,xs bezeichnet.
5. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung gemäß Anspruch 4, wobei die Transferfunktion f(·) ausgeführt sein kann durch die Absolutpixeldifferenzierung |I_t,x – I_t-N,x| oder einer sigmoidalen Transferfunktion von |I_t,x – I_t-N,x|.
6. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung gemäß Anspruch 1, wobei die Vordergrundabbildungsüberarbeitungsuntereinheit zum Ableiten einer überarbeiteten Vordergrundabbildung F'_t im Realwert implementiert werden kann durch F ' / t = Min(F_t, Max(F ' / t-1, D_t)) wobei die Min/Max-Operationen auf die Integration der drei Realwertabbildungen angewandt werden, d. h. die Framedifferenzabbildung D_t, die Referenzvordergrundabbildung F_t und die überarbeitete Vordergrundabbildung F'_t-1, eingegeben zum vorhergehenden Zeitpunkt t – 1, in die überarbeitete Vordergrundabbildung F'_t; und die Ausgabe der Framedifferenzierungsuntereinheit zum gegenwärtigen Zeitpunkt t durch die überarbeitete Vordergrundabbildung

   

   gegeben ist, die einen Satz von Realwertpixeln F ' / t,x ∊ R bezeichnet.
7. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung gemäß Anspruch 1, wobei die Hintergrundmodell-Schätzeinheit und die Vordergrundabbildungskonstruktionseinheit zum Berechnen eines Hintergrundmodells einer Szene von Interesse ausgeführt werden können durch allgemeine Hintergrundmodelllernansätze, die periodische Hintergrundmodellaktualisierung als Kernberechnung anwenden.
8. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung gemäß Anspruch 1, wobei die Eingaben der Hintergrundmodell-Schätzeinheit weiter umfassen: eine Bildframeeingabe von I_t des Zeitpunkts t; und eine Antworteingabe der (mathematischen) Kombination von sowohl der Referenzvordergrundabbildung F_t-1 als auch der überarbeiteten Vordergrundabbildung F'_t-1, abgeleitet zum vorhergehenden Zeitpunkt t – 1, zum Einstellen der Modelllernraten in der Hintergrundmodell-Schätzeinheit so dass die Hintergrundmodell-Schätzeinheit die Modelllernraten für die Pixel, die sich (nicht) innerhalb einer Beleuchtungsveränderung befinden, steigern (oder zurücksetzen) kann.
9. Bildframeeingabe der Hintergrundmodell-Schätzeinheit gemäß Anspruch 8, die erzeugt werden kann durch eine Kamera, die Bildframes einer Szene von Interesse aufnimmt und die aufgenommenen Bildframes an die Hintergrundmodell-Schätzeinheit überträgt.
10. Hintergrundmodelllernsystem zur Beleuchtungsveränderungsanpassung gemäß Anspruch 1, wobei jeder Eingabebildframe in Graustufen, in RGB-Farbe, in YUV444/422/420 oder im Bayer-Matrix-ähnlichem Format vorliegen kann.

Images