-
Die vorliegende Erfindung betrifft ein Verfahren zum Ausblenden eines oder mehrerer Objekte von jeweiligen Bildern einer durch ein Videosystem erzeugten Bildsequenz. Ferner betrifft die vorliegende Erfindung eine entsprechende Vorrichtung und eine Verwendung des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung zur Verwendung in einem Videoüberwachungssystem.
-
Stand der Technik
-
Videoüberwachungen im öffentlichen Raum oder in Firmen ist heute weit verbreitet. Dabei sind Bildverarbeitungsalgorithmen integraler Bestandteil vieler Systeme. Diese Bildverarbeitungsalgorithmen dienen beispielsweise zur Segmentierung, Erkennung, Verfolgung (Tracking), Klassifizierung sowie Zählen von bewegten Objekten. Darüber hinaus ist eine Bildverarbeitung auch ein wesentlicher Bestandteil für eine automatische Überwachung größerer Bereiche durch sog. Multi-Kamera-Setups, insbesondere um Objekte aus unterschiedlichen Aufnahmen einander zuordnen zu können.
-
Sogenannte Videoüberwachungssysteme umfassen in der Regel mehrere Überwachungskameras, welche auf Überwachungsbereiche gerichtet sind. Derartige Vidoüberwachungssysteme sind, wie bereits voranstehend erwähnt, beispielsweise in Betrieben oder Firmen, aber auch an öffentlichen Plätzen, Kreuzungen, Bahnhöfen oder anderen Gebäuden zu finden. Die Bilddatenströme bzw. die Bildsequenzen der Überwachungskameras werden in der Regel in einer Überwachungszentrale zusammengeführt, dort gespeichert oder manuell bzw. automatisch ausgewählt.
-
Mit Hilfe derartiger Überwachungssysteme sollen die betreffenden Überwachungsbereiche gesichert werden und ggf. eine Nachverfolgung von verdächtigen Objekten ermöglicht werden. Demgegenüber steht die zu schützende Privatsphäre von Personen, welche sich beispielsweise auch in derartigen videoüberwachten Bereichen befinden. Die Notwendigkeit der Sicherung der Privatsphäre kann eine Vielzahl von Gründen haben. In der Regel ist es beispielsweise nicht Sinn und Zweck einer Videoüberwachung, Mitarbeiter einer Firma zu beobachten und zu kontrollieren. Bei einem Videoüberwachungssystem, das alle Personen in einem Bereich aufnimmt, ist dies allerdings nur schwer kontrollierbar. Dabei stellt sich auch die Frage des Datenschutzes hinsichtlich der Speicherung von personenbezogenen Daten, wenn beliebige Mitarbeiter aufgenommen und deren Abbilder dauerhaft gespeichert werden.
-
Derzeit ist es üblich, um die Privatsphäre ausreichend respektieren zu können, Überwachungskameras so zu positionieren, dass nur relevante Überwachungsbereiche beobachtet und aufgenommen werden.
-
In der Druckschrift
DE 10 2008 007 199 A1 wird ein Maskierungsmodul für ein Überwachungssystem beschrieben, wobei das Überwachungssystem mindestens eine Überwachungskamera aufweist und zur Beobachtung von Überwachungsbereichen mit bewegten Objekten geeignet und angeordnet ist. Ferner umfasst das Maskierungsmodul eine Auswahleinrichtung zur Auswahl von Objekten, wobei das Maskierungsmodul ausgebildet ist, die Auswahlobjekte maskiert auszugeben, was auf mindestens einen selektierten räumlichen Teilbereich des Überwachungsbereichs begrenzt ist.
-
Aus der Druckschrift
DE 10 2007 029 476 A1 ist eine Bildverarbeitungsvorrichtung zur Schattendetektion bzw. -unterdrückung in einem Kamerabild von einer Beobachtungsszene bekannt.
-
Eine Aufgabe der vorliegenden Erfindung war es, vor dem Hintergrund des Standes der Technik eine Möglichkeit bereitzustellen, spezifische Objekte wie beispielsweise Personen oder Autos beispielsweise zur Einhaltung von Datenschutzrechtsaspekten gezielt von einem Bild bzw. mehreren Bildern einer Bildsequenz auszublenden.
-
Offenbarung der Erfindung
-
Zur Lösung dieser Aufgabe wird erfindungsgemäß ein Verfahren mit den Merkmalen von Patentanspruch 1 sowie ein Bildverarbeitungssystem mit den Merkmalen von Patentanspruch 6 bereitgestellt. Ferner wird eine Verwendung des erfindungsgemäßen Verfahrens bzw. des erfindungsgemäßen Bildverarbeitungssystems in einem Videoüberwachungssystem mit den Merkmalen von Patentanspruch 10 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung und den beigefügten Figuren.
-
Gemäß dem erfindungsgemäßen Verfahren ist vorgesehen, zum Ausblenden eines Objekts von jeweiligen Bildern einer durch ein Videosystem erzeugten Bildsequenz eine Segmentierungsmaske für das auszublendende Objekt durch eine jeweilige Objektsegmentierung der Bilder der Bildsequenz zu erzeugen und auf Basis von Szenenhintergrundinformation der Bilder der Bildsequenz zu überschreiben.
-
Dabei ist gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen, dass der Szenenhintergrund der Bilder der Bildsequenz modelliert und das Szenenhintergrundmodell gelernt und als Bild oder Bilder einer Referenzbildsequenz hinterlegt wird. Dadurch ist es möglich, dass die Objektsegmentierung über eine Erkennung von Unterschieden zwischen den Bildern der aktuellen Bildsequenz und den Bildern der Referenzbildsequenz erfolgt.
-
Ist eine Objektsegmentierung für die aktuelle Bildsequenz dadurch vorhanden, kann die Segmentierungsmaske mit der Sequenzhintergrundinformation bzw. den Informationen aus den Bildern der Referenzbildsequenz überschrieben werden, so dass das auszublendende Objekt nicht mehr zu sehen und somit ausgeblendet ist.
-
Eine Segmentierungsmaske ist im Rahmen der vorliegenden Beschreibung eine das auszublendende Objekt zumindest in seiner Kontur nachbildende Einheit, was beispielsweise auch eine Art Abdeckung des Objekts darstellen kann.
-
Im Gegensatz zum Stand der Technik wird nunmehr eine derartige Abdeckung nicht für einen Betrachter sichtbar auf den jeweiligen Bildern der Bildsequenz vorgenommen, sondern vielmehr soll für den Betrachter das auszublendende Objekt "keine Spuren auf den jeweiligen Bildern der Bildsequenz hinterlassen".
-
Gemäß einer anderen Ausführungsform des erfindungsgemäßen Verfahrens wird die Segmentierungsmaske für das auszublendende Objekt durch Anwendung eines sog. Inpainting-Verfahrens überschrieben, indem die Segmentierungsmaske auf Basis der Szenenhintergrundinformation der Bildsequenz ausgefüllt wird.
-
Inpainting ist ein Verfahren der Bildbearbeitung, bei dem versucht wird, zerstörte oder verlorene Teile eines Bild zu rekonstruieren. Ein Ziel dabei ist es, ein überarbeitetes Bild zu erzeugen, an dem der Betrachter nicht erkennen kann, dass Veränderungen vorgenommen wurden. Mit Hilfe eines Inpainting-Verfahrens können somit fehlende Bildteile rekonstruiert werden. In dem hier vorliegenden Fall soll dabei das auszublendende Objekt anhand der Information des Szenenhintergrundes der Bildsequenz ersetzt werden, wobei das auszublendende Objekt quasi als fehlender Bildbestandteil betrachtet wird, welcher durch die diesen Bildbestandteil umgebende Szenerie ergänzt wird. Dabei wird der Szenenhintergrund möglichst stetig bezüglich Farbe und Textur in die auszufüllende Fläche der Segmentierungsmaske bzw. des auszublendenden Objekts hineingezogen.
-
Gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass das auszublendende Objekt bereits vor einer Bildanzeige und/oder einer Bilddatenspeicherung der Bildsequenz ausgeblendet wird.
-
Das erfindungsgemäße Verfahren nutzt gemäß einer möglichen Ausführungsform Informationen, die durch eine Objektbeschreibung des auszublendenden Objekts sowie durch eine Modellierung eines Szenenhintergrunds entstehen.
-
Ein Vorteil des erfindungsgemäßen Verfahrens liegt dabei vor allem auf dem Ausblenden von Objekten, die nicht von Interesse für den Betrachter der in Frage stehenden Bildsequenz sind. So kann sich beispielsweise ein Wachmann bei einer Videoüberwachung auf bestimmte Personen konzentrieren und andere Personen dazu aus dem jeweiligen Bild der durch das Videosystem aufgenommenen Bildsequenz ausblenden. Dies vereinfacht es etwa zu erkennen, wo eine bestimmte Person entlang gelaufen ist.
-
Ein weiterer Vorteil des erfindungsgemäßen Verfahrens ist eine vereinfachte Einhaltung von datenschutzrechtlichen Aspekten. Anders als bei Systemen, die etwa einen schwarzen Balken über ein Gesicht einer Person oder ein Autonummernschild legen, ist es in dem erfindungsgemäßen Verfahren möglich, ein Objekt wie beispielsweise eine Person oder ein Auto direkt auszublenden, wobei eine derartige Ausblendung für den Betrachter des bzw. der Bilder der Bildsequenz nicht erkennbar ist, so dass er nicht weiß, dass hier zuvor ein Objekt, welches ausgeblendet wurde, vorhanden war.
-
Folgende Beispielszenarien beschreiben mehr Vorteile des erfindungsgemäßen
-
Verfahrens:
-
1. Personenverfolgung:
-
Nach einem sicherheitsrelevanten Vorfall wie beispielsweise einem Terroranschlag werden häufig viele Stunden Videomaterial durchsucht, um Bewegungen von verdächtigen Personen retrospektiv verfolgen zu können. Das erfindungsgemäße Verfahren ermöglicht es nunmehr, unwichtige Details, wie beispielsweise nicht im Interesse einer Beobachtung stehende Personen als auszublendende Objekte auszublenden und einem Beobachter wie beispielsweise einem Wachmann somit die Suche bzw. die Verfolgung von verdächtigen Personen zu erleichtern.
-
2. Kaufhaus:
-
In der Regel ist es nicht Sinn und Zweck einer Videoüberwachung, Mitarbeiter zu beobachten und zu kontrollieren. Bei einem bekannten Videoüberwachungssystem, dass alle Personen in einem Bereich aufnimmt, ist dies allerdings nur schwer zu kontrollieren. Mit Hilfe des erfindungsgemäßen Verfahrens kann nunmehr ein automatisches Ausblenden von Mitarbeitern bereits vor einer Bildanzeige bzw. Datenspeicherung ermöglicht werden, so dass lediglich Kunden angezeigt werden.
-
Ferner betrifft die vorliegende Erfindung ein Bildverarbeitungssystem zum Ausblenden eines oder mehrerer Objekte von jeweiligen Bildern einer durch ein Videosystem erzeugten Bildsequenz. Das erfindungsgemäße Bildverarbeitungssystem umfasst dabei ein Segmentierungsmodul, welches ausgebildet ist, eine Objektsegmentierung der Bilder der Bildsequenz zu erzeugen, ein Objektdetektionsmodul, welches ausgebildet ist, anhand der Objektsegmentierung eine Segmentierungsmaske für ein auszublendendes Objekt zu erstellen und ein Maskierungsmodul, welches ausgebildet ist, die Segmentierungsmaske auf Basis von Szenenhintergrundinformation der Bilder der Bildsequenz zu überschreiben.
-
Gemäß einer möglichen Ausführungsform des erfindungsgemäßen Bildverarbeitungssystems umfasst das Bildverarbeitungssystem ferner ein Modelliermodul, das ausgebildet ist, den Szenenhintergrund der Bilder der Bildsequenz zu modellieren, das Szenenhintergrundmodell zu lernen und als Bilder einer Referenzbildsequenz zu hinterlegen.
-
Gemäß einer weiteren Ausführungsform des Bildverarbeitungssystems kann ferner das Bildverarbeitungssystem ein Inpainting-Modul umfassen, das ausgebildet ist, die Segmentierungsmaske für das auszublendende Objekt durch Anwendung eines Inpainting-Verfahrens zu überschreiben, indem die Segmentierungsmaske auf Basis der Szenenhintergrundinformation der Bildsequenz ausgefüllt wird.
-
Ferner betrifft die vorliegende Erfindung die Verwendung eines erfindungsgemäßen Verfahrens und/oder eines erfindungsgemäßen Bildverarbeitungssystems für bzw. in einem Videoüberwachungssystem.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Kurze Beschreibung der Zeichnungen
-
1 zeigt eine schematische Darstellung einer durch ein Videosystem aufgenommenen Bildsequenz ohne Bearbeitung durch eine Ausführungsform des erfindungsgemäßen Verfahrens;
-
2 zeigt eine schematische Darstellung der in 1 dargestellten Bildsequenz unter Anwendung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
-
Ausführungsformen der Erfindung
-
1 zeigt eine Abfolge von Bildern, welche durch ein Videosystem aufgenommen wurde. Bei dem Videosystem kann es sich beispielsweise um ein Videoüberwachungssystem handeln, welches darauf ausgerichtet ist, einen bestimmten Bereich beispielsweise innerhalb einer Firma oder auf einem Bahnhof oder in anderen öffentlichen Gebäuden zu überwachen, wobei hier der Überwachungsbereich jeweils nur einen Teilbereich darstellt, welcher beispielsweise einer besonderen Sicherheit unterliegt. Bei der hier dargestellten Abfolge von Bildern kann sich es sich beispielsweise um eine zeitliche Abfolge handeln, d.h. die vier Bilder wurden in Pfeilrichtung zeitlich nacheinander aufgenommen. Dabei wurde Bild 100_1 zuerst aufgenommen, gefolgt von Bild 100_2, gefolgt von Bild 100_3, gefolgt von Bild 100_4. Auf den jeweiligen Bildern 100_1, 100_2, 100_3 und 100_4 sind jeweils Personen zu erkennen, welche sich, wie bei Vergleich der Bilder untereinander erkennbar, bewegen und somit ihre Position in dem erfassten Bildbereich verändern. Während in Bild 100_1 und 100_2 vier Personen zu erkennen sind, die sich relativ zueinander bewegt haben, vergleicht man Bild 100_1 und Bild 100_2, so kommt in Bild 100_3 eine weitere Person hinzu.
-
Soll nun, wie oft bei Videoüberwachungen vorgesehen, eine spezifische Person, wie sie hier beispielsweise durch einen rechteckigen Rahmen 101 kenntlich gemacht ist, hinsichtlich ihrer Bewegungen verfolgt werden, so sind die weiteren Personen, hier mit 102, 103, 104 und 105 (wie in Bild 100_3 zu erkennen) störend, da sie letztlich auch ggf. durch Ähnlichkeiten mit der zu verfolgenden Person das Verfolgen der Person 101 erschweren. Ferner ist es aus Datenschutzgründen wünschenswert oder ggf. sogar notwendig, die anderen Personen, die nicht weiter von Interesse sind, auszublenden. Darüber hinaus geht mit einem Ausblenden der weiteren Personen eine Reduktion der Informationsvielfalt einher und eine Konzentration auf das Wesentliche ist möglich. Demnach wäre es sinnvoll, unwichtige Details wie beispielsweise in dem hier dargestellten Fall die anderen, nicht zu verfolgenden Personen auszublenden und somit einem Beobachter wie beispielsweise einem Wachmann die Nachverfolgung der verdächtigen Person 101 zu erleichtern.
-
2 zeigt demgegenüber die Abfolge der Bilder aus 1, wobei hier Objekte mit Hilfe einer Ausführungsform des erfindungsgemäßen Verfahrens gezielt aus den jeweiligen Bildern der Bildsequenz ausgeblendet wurden.
-
Ein wesentlicher Punkt des erfindungsgemäßen Verfahrens liegt in einer Erkennung der auszublendenden Objekte. Dazu können Verfahren der Bildverarbeitung und Klassifikation herangezogen werden, um eine derartige Erkennung eines bzw. mehrerer auszublendender Objekte zu erreichen.
-
Ein möglicher Ansatz ist dabei eine Trennung von Objekten vom Szenenhintergrund. Man spricht hier von Segmentierung. Gemäß einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird dazu zunächst ein Hintergrundmodell generiert und gelernt. Eine Segmentierung der Objekte erfolgt dann über eine Erkennung von Unterschieden zwischen den aktuellen, d.h. tatsächlich aufgenommenen Bildern der Bildsequenz und den Bildern der gelernten Referenzbildsequenz, als welche das erstellte Hintergrundmodell hinterlegt ist. Ist eine Objektsegmentierung für die aktuelle Bildsequenz vorhanden, kann eine entsprechende Segmentierungsmaske mit Informationen aus dem Hintergrundbild überschrieben werden, so dass die Segmentierungsmaske als solche als erkennbare Abdeckung der auszublendenden Objekte nicht mehr zu sehen ist. In der hier dargestellten Abfolge von Bildern 200_1, 200_2, 200_3 und 200_4 erfolgte gegenüber den entsprechenden Bildern 100_1, 100_2, 100_3 und 100_4 aus 1 eine Ausblendung der Personen 102, 103 und 104 und ab Bild 100_3 zusätzlich der Person 105. Das bedeutet, dass in der gezeigten Abfolge von den Bildern 200_1, 200_2, 200_3 und 200_4 nur die zu beobachtende Person 101 erkennbar und somit leicht deren Bewegung innerhalb des Überwachungsbereichs nachvollziehbar ist.
-
Neben der Erstellung eines Hintergrundmodells ist es ebenfalls möglich, Objekte über ein sogenanntes Inpainting-Verfahren auszublenden. Bei einem Inpainting-Verfahren wird die für das auszublendende Objekt erstellte Segmentierungsmaske so ausgefüllt, dass sich ein möglichst ähnliches Bildes zum verbleibenden Hintergrund ergibt. Dadurch können Bilder rekonstruiert werden und geben den Anschein, als wäre das auszublendende Objekt überhaupt nie in dem Bild vorhanden gewesen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008007199 A1 [0006]
- DE 102007029476 A1 [0007]
