DE102022202943A1

DE102022202943A1 - Überwachungsanordnung mit Zugriffsberechtigung, Verfahren, Computerprogramm und Speichermedium

Info

Publication number: DE102022202943A1
Application number: DE102022202943.7A
Authority: DE
Inventors: Christoph Burger-Scheidlin
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-03-25
Filing date: 2022-03-25
Publication date: 2023-09-28
Also published as: WO2023180362A1

Abstract

Es wird eine Überwachungsanordnung 1 zur bildbasierten Überwachung eines Überwachungsbereichs 2 vorgeschlagen, mit einer Kamera 3, wobei die Kamera 3 ausgebildet ist, mindestens ein Eingangsbild 4 bereitzustellen, wobei das Eingangsbild 4 eine Szene 5 umfassend mindestens ein Objekt 6, 7, 8, 9 zeigen kann, wobei das mindestens eine Objekt 6, 7, 8, 9 einer Objektklasse und/oder einem Szenenereignis zuordenbar ist, mit einem Detektionsmodul 10, wobei das Detektionsmodul 10 ausgebildet ist, basierend auf dem Eingangsbild 4 das mindestens eine Objekt 6, 7, 8, 9 als detektiertes Objekt zu detektieren, mit einem Entfernungsmodul 11, wobei das Entfernungsmodul 11 ausgebildet ist, das mindestens eine detektierte Objekt 6, 7, 8, 9 als ein berechtigtes Objekt 7, 8 oder als ein unberechtigtes Objekt 6, 9 zu bestimmen und das unberechtigte Objekt 6, 9 in dem Eingangsbild 4 zu entfernen, um ein bereinigtes Auswertebild 12 zu erzeugen, mit einem Auswertemodul 13, wobei das Auswertemodul 13 ausgebildet ist, eine Auswerteapplikation auf das Auswertebild 12 anzuwenden, wobei die Auswerteapplikation eine Zugriffsberechtigung 14 aufweist, wobei die Zugriffsberechtigung 14 eine Berechtigung für Objekte 6, 7, 8, 9 einer Objektklasse und/oder eines Szenenereignisses als die berechtigten Objekte 7,8 beschreibt und/oder betrifft.

Description

Stand der Technik
Die Erfindung betrifft eine Überwachungsanordnung zur bildbasierten Überwachung eines Überwachungsbereichs. Die Erfindung betrifft im Weiteren ein Verfahren, ein Computerprogramm sowie ein Speichermedium.
Die bildbasierte und/oder kameragestützte Überwachung von Bereichen wird sowohl im privaten als auch im gewerblichen Bereich zur Überwachung von Gebäuden oder Außenbereichen eingesetzt, insbesondere zur Überwachung von Flughäfen, Bahnhöfen oder Behörden. Hierzu werden durch verteilt angeordnete Kameras Bilddaten, Bilder und/oder Videos, des zu überwachenden Bereichs aufgenommen und zum jeweiligen Überwachungszweck weiterverarbeitet und/oder analysiert. Durch die Aufnahme von Bildern und/oder Videos werden zwangsweise sensible und/oder personenbezogene Daten erfasst, die besonders zu schützen sind und/oder bei der Übertragung und/oder Speicherung, bzw. der Bereitstellung an weitere Geräte, besonders zu schützen sind.
Beispielsweise beschreibt die Druckschrift US 2019 018830A1 ein Verfahren zur Anwendung eines GAN (Generative Adversarial Network) auf Bilddaten, um sensible Bildbereiche zu verfremden.
Offenbarung der Erfindung
Die Erfindung betrifft eine Überwachungsanordnung mit den Merkmalen des Anspruchs 1. Ferner werden ein Verfahren, ein Computerprogramm und ein Datenträger vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.
Es wird eine Überwachungsanordnung zur bildbasierten Überwachung eines Überwachungsbereichs vorgeschlagen. Insbesondere wird als bildbasierte Überwachung eine Überwachung basierend auf Bildern oder Videos des Überwachungsbereichs verstanden. Im Folgenden kann der Begriff Bild, insbesondere Eingangsbild, Auswertebild oder Bilddaten, auch als Video verstanden werden, wobei das Video einen Strom an Bildern umfasst. Insbesondere ist die Überwachungsanordnung ausgebildet und/oder eingerichtet eine anwendungsspezifische, benutzerspezifische und/oder anpassbare Überwachung des Überwachungsbereichs zu erlauben, beispielsweise durch Verwendung unterschiedlicher und/oder austauschbarer Auswerteapplikationen. Der Überwachungsbereich kann einen Innenbereich und/oder Außenbereich umfassen.
Die Überwachungsanordnung umfasst mindestens eine Kamera, im Speziellen umfasst die Überwachungsanordnung mindestens zehn Kameras. Die Kamera kann als eine stationäre oder mobile Kamera ausgebildet sein, im Speziellen als eine schwenkbare und/oder zoombare Kamera. Die Kamera ist ausgebildet und/oder eingerichtet, Bilddaten aufzunehmen und/oder bereitzustellen. Die Bilddaten umfassen mindestens ein Eingangsbild und/oder ein Video umfassend das Eingangsbild. Das Eingangsbild zeigt und/oder umfasst einen Abschnitt des Überwachungsbereichs aufgenommen durch die jeweilige Kamera. Das Eingangsbild zeigt eine Szene, wobei die Szene mindestens ein Objekt umfasst. Im Speziellen umfasst die Szene einen Hintergrund und/oder eine stationäre Umgebung im Sinne eines Hintergrundes. Als Objekte der Szene werden insbesondere bewegliche und/oder temporär vorhandene Objekte in der Szene verstanden, beispielsweise Personen, Fahrzeuge oder persönliche Gegenstände wie Koffer. Die Objekte gehören vorzugsweise unterschiedlichen Objektklassen an und/oder sind unterschiedlichen Objektklassen zuordenbar, beispielsweise Person, Tier oder dingliches Objekt. Alternativ oder ergänzend können die Objekte einem Szenenereignis zuordenbar sein. Das Szenenereignis wird durch einen inhaltlichen Zusammenhang der zugeordneten Objekte und optional ergänzend dem Hintergrund und/oder der stationären Umgebung gebildet. Das Szeneereignis kann beispielsweise ein Unfallereignis, ein Brandereignis, oder ein anwendungsspezifisches Ereignis im Überwachungsbereich bzw. der Szene darstellen. Das Szeneereignis umfasst die beteiligten Objekte. Beispielsweise ist das Szenenereignis ein Unfallereignis mit zwei PKWs als Beteiligtenobjekten.
Die Überwachungsanordnung umfasst ein Detektionsmodul. Das Detektionsmodul kann als ein Hardwaremodul oder als ein Softwaremodul ausgebildet sein. Besonders bevorzugt ist das Detektionsmodul Teil der Kamera und/oder unmittelbar mit der Kamera verbunden. Dem Detektionsmodul sind die Bilddaten, insbesondere das Eingangsbild und/oder Video bereitgestellt. Das Detektionsmodul ist bevorzugt zur Objekterkennung, Objektdetektion, Objektklassifikation und/oder Objektverfolgung ausgebildet. Das Detektionsmodul arbeitet insbesondere auf Basis einer digitalen Bildverarbeitung. Das Detektionsmodul detektiert, verfolgt, klassifiziert und/oder lokalisiert basierend auf dem Eingangsbild das mindestens eine Objekt als detektiertes Objekt. Insbesondere werden basierend auf dem Eingangsbild durch das Detektionsmodul alle Objekte der Szene als detektierte Objekte detektiert, klassifiziert, lokalisiert und/oder verfolgt. Beispielsweise ist das Detektionsmodul ausgebildet im Rahmen der Detektion des Objektes das Eingangsbild im Hintergrund (kein Objekt) und hintergrundfremdes Objekt (Objekt) zu unterscheiden.
Die Überwachungsanordnung umfasst ein Entfernungsmodul. Besonders bevorzugt ist das Entfernungsmodul Teil der Kamera und/oder bildet mit dem Detektionsmodul eine gemeinsame Einheit. Das Entfernungsmodul kann als ein Hardware- oder ein Softwaremodul ausgebildet sein. Dem Entfernungsmodul sind die Bilddaten, im Speziellen das Eingangsbild, sowie die vom Detektionsmodul detektierten Objekte und/oder das mindestens eine detektierte Objekt bereitgestellt. Das Entfernungsmodul ist ausgebildet, das mindestens eine detektierte Objekt als ein berechtigtes Objekt oder als ein unberechtigtes Objekt zu bestimmen. In einem Default-Modus kann vorgesehen sein, dass ohne weitere Eingabe alle detektierten Objekte als unberechtigte Objekte bestimmt werden. Alternativ kann ein Regelwerk zur Bestimmung von unberechtigten Objekten vorgesehen sein. Vorzugsweise kommuniziert das Detektionsmodul an die Überwachungsanordnung und/oder an das Entfernungsmodul, welche Objektklassen und/oder Objekte eines Szenenereignisses es detektieren kann.
Insbesondere ordnet das Detektionsmodul die detektierten Objekte einer Objektklasse und/oder einem Szenenereignis zu.
Das Entfernungsmodul hat die Funktion, die unberechtigten Objekte in dem Eingangsbild zu entfernen, um ein bereinigtes Auswertebild zu erzeugen. Somit wird zum Beispiel nach der Entfernung alle der detektierten Objekte nur noch der stationäre Hintergrund als bereinigtes Auswertebild ausgegeben. Unter einem Entfernen wird insbesondere ein Entfernen des Informationsinhalts des jeweiligen Objekts oder Teilbereichen davon verstanden. Das Entfernen kann durch Schwärzen, Überdecken, Unscharf machen etc. umgesetzt werden. Es ist auch möglich, das jeweilige Objekt bzw. Teilbereich vollständig auszuschneiden, so dass ungefüllte, insbesondere weiße oder schwarze Bereiche in dem Auswertebild vorhanden sind.
Das Detektionsmodul und/oder das Entfernungsmodul ist insbesondere ausgebildet, Objekte einer Objektklasse und/oder einem Szenenereignis zuzuordnen, so dass die Zuordnung dem Entfernungsmodul vorliegt.
Die Überwachungsanordnung umfasst ein Auswertemodul. Das Auswertemodul kann als ein Software- oder Hardwaremodul ausgebildet sein. Das Auswertemodul kann Teil der Kamera sein, alternativ ist das Auswertemodul einem Cloudmodul, einer Auswertezentrale oder einem Peripheriegerät zugeordnet. Das Auswertemodul ist ausgebildet und/oder eingerichtet, mindestens eine Auswerteapplikation auszuführen und/oder anzuwenden. Die Auswerteapplikation wird auf das Auswertebild angewendet. Insbesondere sind auf dem Applikationsmodul unterschiedliche und/oder austauschbare Auswerteapplikationen ausführbar und/oder anwendbar, wobei die Auswerteapplikationen beispielsweise von einem App Store beziehbar sind. Im Speziellen ist es vorgesehen, dass das Applikationsmodul und/oder die Auswerteapplikation keinen direkten Zugriff und/oder keine direkte Datenverbindung auf das ursprüngliche Eingangsbild besitzt. Insbesondere wird dem Auswertemodul nicht nur ein einziges Auswertebild, sondern ein Videostrom von Auswertebildern zugeführt.
Im Rahmen der Erfindung wird vorgeschlagen, dass die Auswerteapplikation eine Zugriffsberechtigung umfasst und/oder der Auswerteapplikation eine Zugriffsberechtigung zugewiesen und/oder zuweisbar ist. Die Zugriffsberechtigung basiert beispielsweise auf der Herkunft der Auswerteapplikation und/oder der Auswerteapplikationsart, beispielsweise Gesichtserkennungsapplikation oder Applikation zur Erkennung von Kfz-Kennzeichen. Die Zugriffsberechtigung beschreibt und/oder betrifft beispielsweise eine Berechtigung der Auswerteapplikation für detektierte Objekte einer Objektklasse und/oder eines Szenenereignisses und/oder kann eine Definition von berechtigten Objektklassen und/oder berechtigten Szenenereignisse umfassen. Beispielsweise weist eine Auswerteapplikation zur Gesichtserkennung die Zugriffsberechtigung für die Berechtigung zum Beziehen von detektierten Objekten mit Gesichtern auf. auf Basis der Zugriffsberechtigung werden die detektierten Objekte der berechtigten Objektklasse und/oder des berechtigten Szenenereignisses insbesondere für diese Auswerteapplikation zu berechtigten Objekten von dem Entfernungsmodul bestimmt, so dass das Entfernungsmodul diese berechtigten Objekte nicht aus dem Eingangsbild zur Erzeugung des bereinigten Auswertebilds entfernt. Beispielsweise wird die Zugriffsberechtigung oder relevante Informationen daraus an das Entfernungsmodul übertragen. Dem Auswertemodul mit der Auswerteapplikation wird dann das Auswertebild mit den berechtigten Objekten zur Auswertung bereitgestellt. Insbesondere wird die Zugriffsberechtigung oder Zugriffsberechtigungsdaten dem Entfernungsmodul und/oder dem Detektionsmodul mitgeteilt.
Es ist dabei eine Überlegung der Erfindung, dass die aufgenommenen Eingangsbilder eine Vielzahl von Informationen und auch sensible Informationen enthalten. Insbesondere bei der Auswertung der Eingangsbilder durch eine Auswerteapplikation von einem Drittanbieter ist es aus datenschutzrechtlichen Gründen schwierig, die Eingangsbilder der Auswerteapplikation ohne Schutz der sensiblen Daten bereitzustellen. Auf der anderen Seite ist es schwierig für die Auswerteapplikation, insbesondere von einem Drittanbieter, eine hochwertige Auswertung durchzuführen, wenn alle Objekte in den Eingangsbildern entfernt sind. Somit ist beispielsweise eine Gesichtserkennung oder Nummernschilderkennung schlichtweg nicht möglich. Dadurch, dass der Auswerteapplikation eine Zugriffsberechtigung erteilt wird, kann über das Entfernungsmodul unter Berücksichtigung der Zugriffsberechtigung sichergestellt werden, dass die Auswerteapplikation das Auswertebild nur mit den detektierten Objekten erhält, für die die Auswerteapplikation auch berechtigt ist. Damit ist es möglich, den datenschutzrechtlichen Anforderungen zu genügen und zugleich qualitativ hochwertige Auswertungen durchzuführen.
Optional werden dem Auswertemodul Metadaten bereitgestellt, welche beschreiben, welche Bereiche in dem Auswertebild durch die Entfernung der unberechtigten Objekte entfernt und/oder modifiziert wurden. Diese Metadaten können die Auswertung der Auswerteapplikation vereinfachen, indem diese Bereiche beispielsweise bei der Auswertung ignoriert werden.
Bei einer bevorzugten Weiterbildung der Erfindung ist die Zugriffsberechtigung als ein Berechtigungszertifikat, insbesondere ein Ticket, ausgebildet. Insbesondere umfasst das Berechtigungszertifikat ein Applikationszertifikat, insbesondere spezifisch für die Auswerteapplikation. Das Berechtigungszertifikat, insbesondere Applikationszertifikat, beschreibt beispielsweise, welche Berechtigung die Auswerteapplikation aufweist und insbesondere welche detektierten Objekte von Objektklassen und/oder Szenenereignissen dem Auswertemodul mit der Auswerteapplikation bereitzustellen sind. Das Berechtigungszertifikat kann beispielsweise von dem Hersteller der Überwachungsanordnung erstellt und überwacht werden, wobei der Hersteller dem Drittanbieter entsprechende Berechtigungszertifikate ausstellt.
Bei einer möglichen Weiterbildung der Erfindung sind das Detektionsmodul und/oder das Entfernungsmodul in der Kamera angeordnet. Das Auswertemodul ist dagegen in einem separaten Peripheriegerät angeordnet. Somit wird nicht nur die Verantwortung für die Software in der Überwachungsanordnung zwischen dem Hersteller und einem Drittanbieter aufgeteilt, sondern auch die Verantwortung für die Hardware kann kameraseitig von dem Hersteller und von Seiten der Auswerteapplikation von einem Drittanbieter übernommen werden.
Bei einer bevorzugten Weiterbildung der Erfindung weist die Überwachungsanordnung ein Sendemodul auf, wobei das Sendemodul in der Kamera angeordnet ist. Ferner weist Überwachungsanordnung ein Empfangsmodul auf, wobei das Empfangsmodul in dem Peripheriegerät angeordnet ist. Zwischen dem Empfangsmodul und dem Sendemodul kann eine Datenverbindung aufgebaut werden. Beispielsweise sind das Empfangsmodul und das Sendemodul über ein Netzwerk (drahtlos oder drahtgebunden), miteinander verbunden.
Das Sendemodul ist ausgebildet, das Auswertebild basierend auf einem oder dem Berechtigungszertifikat bereitzustellen, dabei wird das Auswertebild basierend auf dem Berechtigungszertifikat dem Empfangsmodul kryptographisch und/oder verschlüsselt bereitgestellt. Das kryptographische und/oder verschlüsselte Darstellen erfolgt basierend und/oder mittels des Berechtigungszertifikats. Insbesondere basiert das verschlüsselnde und/oder kartographische Bereitstellen basierend auf dem Berechtigungszertifikat und dem Austausch von Schlüsseln zwischen dem Empfangsmodul und dem Sendemodul.
Optional weist das Detektionsmodul ein Detektionssubmodul zur Detektion der Objekte in dem Eingangsbild als detektierte Objekte auf und ein Ereignisdetektionssubmodul auf. Das Ereignisdetektionssubmodul kann als ein Hardwaremodul oder als ein Softwaremodul ausgebildet sein. Besonders bevorzugt ist das Ereignisdetektionssubmodul Teil der Kamera und/oder unmittelbar mit der Kamera verbunden. Das Ereignisdetektionsmodul ist ausgebildet, beteiligte Objekte von einem Szenenereignis als detektierte Objekt zu detektieren. Damit zerfällt in dem Detektionsmodul die Funktion der Detektion der Objekte in dem Eingangsbild als detektierte Objekte, insbesondere durch Objektsegmentierung und Objektdetektion vor einem statischen Hintergrund, und die Funktion der Detektion von beteiligten Objekten von einem Szenenereignis als detektierte Objekt in zwei unterschiedliche Submodule.
Das Detektionsmodul oder insbesondere das Detektionssubmodul ist insbesondere ausgebildet, die detektierten Objekte in Objektklassen zu klassifizieren. Die Objektklassen können beliebig definiert werden. So ist es beispielsweise denkbar, dass eine Objektklasse durch Personen, Nicht-Personen, Gegenstände, Fahrzeuge, Haustiere etc. gebildet ist. Prinzipiell ist jede Klassifikation möglich, welche durch digitale Bildverarbeitung unterschieden werden kann. Optional wird die Zuordnung dem Entfernungsmodul mitgeteilt. Optional ist vorgesehen, dass die Objektklasse dem Detektionsmodul oder dem Detektionssubmodul über die Zugriffsberechtigung mitgeteilt wird. Das Ereignisdetektionssubmodul ist insbesondere ausgebildet, die detektierten Objekte einem Szenenereignis zuzuordnen. Optional wird die Zuordnung dem Entfernungsmodul mitgeteilt
Dabei ist es möglich, dass Objekte, welche als Objekte einer Objektklasse zwar gemäß der Definition der Zugriffsberechtigung der Objektklassen als unberechtigte Objekte bestimmt werden, jedoch als Objekte eines Szenenereignisses gemäß der Definition der Zugriffsberechtigung als berechtigte Objekte von dem Entfernungsmodul weitergegeben werden. Beispielsweise kann gemäß der Definition der Zugriffsberechtigung z.B. eine Person als unberechtigtes Objekt zunächst bestimmt werden. Ist diese Person jedoch ein Objekt eines Szenenereignisses z.B. Diebstahl, welches gemäß der Zugriffsberechtigung ein berechtigtes Szenenereignis ist, wird dieses Objekt/Person als möglicher Dieb des Szenenereignisses als ein berechtigtes Objekt bestimmt.
Es ist möglich, dass das Ereignisdetektionssubmodul die Detektion auf Basis des Eingangsbilds durchführt. Das Eingangsbild hat den höchsten Informationsgehalt, so dass hierdurch besonders gute Detektionsergebnisse zu erwarten sind. Die detektierten Objekte optional mit der Zuordnung zu dem Szenenereignis können dann an das Entfernungsmodul weitergeleitet werden. Allerdings kann das Ereignisdetektionssubmodul auch als ein Drittanbietermodul ausgebildet sein. Hierbei stellt sich wieder die datenschutzrechtliche Frage der korrekten Verwendung von sensiblen Daten in dem Eingangsbild. Vor diesem Hintergrund ist es bevorzugt, dass das Ereignisdetektionssubmodul die Detektion auf Basis eines Zwischenausgangsbilds durchführt, wobei das Zwischenausgangsbild beispielsweise durch das Entfernungsmodul erzeugt ist. In dem Zwischenausgangsbild sind zumindest einige Objekte oder Objektbereiche durch das Entfernungsmodul entfernt. Beispielsweise kann das Ereignisdetektionssubmodul eine weitere Zugriffsberechtigung aufweisen, in der die Berechtigung für detektierte Objekte zum Zwecke der Ereignisdetektion festgelegt sind. Auf diese Weise ist es möglich, auch ein kameranahes Auswertemodul mit einer derartigen Zugriffsberechtigung auszustatten.
Es ist bevorzugt, dass das Entfernungsmodul ein generatives adversarial neuronales Netz umfasst und/oder bildet, wobei das generative neuronale Netz ausgebildet und/oder eingerichtet ist, das oder die unberechtigten Objekte mittels des generativen neuronalen Netzes zu ersetzen und dadurch zu entfernen. Das generative neuronale Netz ist insbesondere ausgebildet, das Ersetzen der unberechtigten Objekte so durchzuführen, dass für einen Benutzer, insbesondere zur weiteren Bildauswertung und/oder Analyse, diese zwar verfremdet bereitgestellt sind, aber dennoch im Wesentlichen eine optische und/oder intuitive Ähnlichkeit zu den ursprünglichen Objekten aufweisen.
Besonders bevorzugt ist es, dass das Entfernungsmodul ausgebildet ist, das Entfernen der unberechtigten Objekte durch Ersetzen mit einem Objektrepräsentanten umzusetzen. Beispielsweise wird ein unberechtigtes Objekt, zeigend ein Gesicht einer Person, durch ein „Mustergesicht“ als Objektrepräsentanten ersetzt und/oder ein Kfz-Kennzeichen im Eingangsbild durch ein „Muster Kfz-Kennzeichen“ ersetzt. So sind in dem Auswertebild keine unberechtigten Objekte dargestellt, aber für einen menschlichen Benutzer und/oder weitere Auswertungen intuitiv verstehbarer und/oder erfassbarer Inhalt.
Ein weiterer Gegenstand betrifft ein Verfahren zum Betreiben der Überwachungsanordnung wie diese zuvor beschrieben wurde, wobei die Auswerteapplikation eine Zugriffsberechtigung für Objekte einer Objektklasse und/oder eines Szenenereignisses besitzt, wobei das Entfernungsmodul detektierte Objekte der berechtigten Objektklasse und/oder des berechtigten Szenenereignisses als berechtigte Objekte bestimmt und unberechtigte Objekte in dem Eingangsbild entfernt.
Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm, welches ausgebildet ist, das zuvor beschriebene Verfahren durchzuführen, wenn dieses auf einem Computer, einem Gerät, in der Cloud und/oder auf der Überwachungsanordnung wie diese zuvor beschrieben wurde abläuft. Ein weiterer Gegenstand der Erfindung betrifft ein Speichermedium mit dem Computerprogramm.
Weitere Merkmale, Vorteile und Wirkung der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung sowie der beigefügten Figuren. Diese zeigen:

1 eine schematische Blockdarstellung einer Überwachungsanordnung als ein Ausführungsbeispiel der Erfindung;
2 eine schematische Blockdarstellung einer Überwachungsanordnung als ein weiteres Ausführungsbeispiel der Erfindung;
3 eine schematische Blockdarstellung einer Überwachungsanordnung als ein weiteres Ausführungsbeispiel der Erfindung;
4 eine schematische Blockdarstellung einer Überwachungsanordnung als ein weiteres Ausführungsbeispiel der Erfindung.

Die 1 zeigt in einer schematischen Blockdarstellung eine Überwachungsanordnung 1 als ein Ausführungsbeispiel der Erfindung. Die Überwachungsanordnung 1 dient zur Überwachung eines Überwachungsbereichs 2, insbesondere unter Verwendung von digitaler Bildverarbeitung. Der Überwachungsbereich 2 kann als ein offener und/oder geschlossener Bereich, zum Beispiel in einem Gebäude und/oder auch auf einer Freifläche, ausgebildet sein.
Die Überwachungsanordnung 1 weist mindestens oder genau eine Kamera 3 auf, wobei die Kamera 3 ausgebildet ist, den Überwachungsbereich 2 oder einen Teilbereich davon zu überwachen. Die Kamera 3 stellt ein Eingangsbild 4 bereit, wobei das Eingangsbild eine Szene 5 mit mindestens einem Objekt 6, 7, 8, 9 zeigen kann.
Die Objekte 6, 7, 8, 9 können einer Objektklasse zugeordnet werden. So kann die Objektklasse beispielsweise Gegenstände, wie zum Beispiel das Objekt 6, Fahrzeuge, wie zum Beispiel das Objekt 7, oder Personen, wie zum Beispiel das Objekt 8, betreffen.
Ferner können die Objekte 6, 7, 8, 9 einem Szenenereignis zugeordnet werden. So zeigt beispielsweise das Objekt 8 ein Szenenereignis in Form einer Kombination von einer Person und einem Hund. Auch andere Szenenereignissen können vorgesehen sein, wie zum Beispiel das Betreten eines gesperrten Bereichs, das Verhalten von Personen in den Überwachungsbildern, wie zum Beispiel Rennen oder Kämpfen, oder das Brennen eines Fahrzeugs, wenn das Objekt 7 zusätzlich Flammen zeigt etc.
Die Überwachungsanordnung 1 weist ein Detektionsmodul 10 auf, wobei das Detektionsmodul 10 ausgebildet ist, basierend auf dem Eingangsbild 4 das mindestens eine Objekt 6, 7, 8, 9 als detektiertes Objekt zu detektieren. Bei dem gezeigten Ausführungsbeispiel ist das Detektionsmodul 10 in der Kamera 3 angeordnet.
Die Überwachungsanordnung 1 weist ein Entfernungsmodul 11 auf, wobei das Entfernungsmodul 11 ausgebildet ist, mindestens eines der detektierten Objekten 6, 9 in dem Eingangsbild 4 zu entfernen, um ein bereinigtes Auswertebild 12 zu erzeugen. Das Entfernen des Objektes 6, 7, 8, 9 kann beispielsweise wie in der 1 gezeigt durch Ersatz von einer schwarzen Fläche erfolgen, alternativ hierzu können die Objekte 6, 9 auch anonymisiert werden, nur verschwommen dargestellt werden oder durch andere Objektrepräsentanten ersetzt werden. Beispielsweise könnte das Objekt 6 durch einen stilisierten Eimer, das Objekt 7 durch das Bild von einem beliebigen Fahrzeug, das Objekt 8 durch eine gezeichnete Gruppe von Mensch und Hund oder das Objekt 9 durch eine allgemeine Abbildung einer Blume ersetzt und dadurch entfernt werden. Insbesondere ist das Entfernungsmodul 11 ausgebildet, die detektierten Objekte 6, 7, 8, 9 Objektklassen und/oder Szenenereignissen zuzuordnen.
In einer weiterführenden Ausgestaltung kann das Entfernungsmodul 11 ein generatives, neuronales Netz umfassen, wobei die jeweiligen Objekte 6, 7, 8, 9 ggf. durch einen Objektrepräsentanten ersetzt werden, welcher durch das generative neuronale Netz erzeugt ist. Diese letztgenannte Ausführungsform führt dazu, dass insbesondere ein menschlicher Betrachter den Inhalt der Szene 5 besser wahrnehmen kann, wobei jedoch die Objekte 6, 7, 8, 9 nicht mehr in der IST-Form, sondern entfernt und durch eine anonymisierte Kunstform dargestellt sind.
Der Gedanke des Entfernens der Objekte 6, 7, 8, 9 aus dem Eingangsbild 4 ist es, dass es aus datenschutzrechtlichen oder anderen Gründen erforderlich sein könnte, die entsprechenden Objekte 6, 7, 8, 9 als sensible Daten zu schützen.
Es ist vorgesehen, dass das Entfernungsmodul 11 nicht alle detektierten Objekte 6, 7, 8, 9 entfernt, sondern diese in berechtigte Objekte 7, 8 und unberechtigte Objekte 6, 9 unterteilt. Es werden dann nur die unberechtigten Objekte 6, 9 entfernt, um das bereinigte Auswertebild 12 zu erzeugen. Das Entfernungsmodul 11 ist in dem Ausführungsbeispiel in der 1 der Kamera 3 angeordnet.
Die Überwachungsanordnung 1 weist ein Auswertemodul 13 auf, wobei das Auswertemodul 13 ausgebildet ist, eine Auswerteapplikation auf das Auswertebild 12 anzuwenden. Insbesondere erhält das Auswertemodul 13 von den detektierten Objekte 6, 7, 8, 9 nur die Objekte, welche als berechtigte Objekte 7, 8 von dem Entfernungsmodul 11 nicht entfernt wurden. Dagegen sind die unberechtigten Objekte 6, 9 entfernt.
Zur Bestimmung, welche der detektierten Objekte 6, 7, 8, 9 als berechtigte Objekte 7, 8 und als nicht berechtigt unberechtigte Objekte 6, 9 von dem Entfernungsmodul 11 bestimmt werden, weist die Auswerteapplikation 13 eine Zugriffsberechtigung 14 auf. Die Zugriffsberechtigung 14 kann beispielsweise als ein Berechtigungszertifikat gebildet sein, wobei durch die Zugriffsberechtigung 14 die berechtigten Objektklassen und/oder Szenenereignisse definiert sind. Die Zugriffsberechtigung 14 wird dem Entfernungsmodul 11 zugänglich gemacht, so dass das Entfernungsmodul 11 die detektierten Objekte 6, 7, 8, 9 entsprechend einteilen kann. Dabei werden die detektierten Objekte 6, 7, 8, 9, die zu der berechtigten Objektklasse und/oder zu dem berechtigten Szenenereignis nach der Einteilung des Entfernungsmoduls 11 gehören, zu den berechtigten Objekten 7, 8 und die anderen zu den nicht-berechtigten Objekten 6, 9 eingeteilt.
Im Ergebnis werden an die Auswerteapplikation und/oder das Auswertemodul 13 mit der Auswerteapplikation mit dem Auswertebild 12 nur die detektierten Objekte 6, 7, 8, 9 übertragen, welche zu den berechtigten Objektklassen und/oder Szenenereignissen zählen.
Durch diesen Aufbau ist es möglich, dass in die Überwachungsanordnung 1 Auswerteapplikationen von Drittanbietern integriert werden, wobei die Zugriffsberechtigung 14 sichergestellt wird, dass die Auswerteapplikation nur die Daten aus dem Eingangsbild 4 erhält, für welche die Auswerteapplikation die Zugriffsberechtigung 14 aufweist. Somit kann in einem offenen Ökosystem, in dem Video-Auswerteapplikationen verteilt werden können, insbesondere auf in dem After-Market-Geschäft der Informationsfluss vorsorglich begrenzt werden, da die Auswerteapplikation nicht zwingend von einer vertrauenswürdigen Quelle stammen. Durch den Aufbau wird es ermöglicht, dass ein Integrator einen einfachen Weg erhält, um Zugang zu richtigen Informationen auf einer selektiven Basis zu erhalten. Auf Basis des Typs der Information, also der Objektklasse und/oder des Objektereignisses, können Bildbereiche mit den detektierten Objekten entfernt, geschwärzt oder anderweitig verdeckt werden, um diese zu entfernen.
Insbesondere werden die Pixelinformationen der detektierten, unberechtigten Objekte 6, 9 von dem Eingangsbild entfernt, für die die Auswerteapplikation in dem Auswertemodul 13 über die Zugriffsberechtigung 14 nicht autorisiert ist.
Die 2 zeigt ein abgewandeltes Ausführungsbeispiel der Überwachungsanordnung 1, wobei hinsichtlich der Funktionen der Einzelkomponenten auf die vorhergehende Beschreibung verwiesen wird. In Abgrenzung zu dem vorhergehenden Ausführungsbeispiel weist die Überwachungsanordnung ein Peripheriegerät 15 auf, wobei das Auswertemodul 13 in dem Peripheriegerät 15 angeordnet ist.
Die Kamera 3 weist ein Sendemodul 16, das Peripheriegerät 15 weist ein Empfangsmodul 17 auf. Zwischen dem Sendemodul 16 und dem Empfangsmodul 17 ist eine Datenverbindung 18, zum Beispiel über ein Netzwerk vorgesehen. Über die Datenverbindung 18 wird das Auswertebild 12 zu dem Peripheriegerät 15 und damit zu dem Auswertemodul 13 geleitet. Die Zugriffsberechtigung 14 wird ebenfalls über eine oder die Datenverbindung 18 zu dem Entfernungsmodul 11 geleitet, so dass die entsprechenden Berechtigungen in dem Entfernungsmodul 11 vorliegen.
Für den Fall, dass die Zugriffsberechtigung 14 als Berechtigungszertifikat ausgebildet ist, kann die Datenverbindung 18 zur Übermittlung des Auswertebilds 12 und/oder zur Übermittlung der Zugriffsberechtigung 14 kryptographisch verschlüsselt sein. Statt ein Peripheriegerät 15 kann das Auswertemodul 13 und das Empfangsmodul 16 auch in einer Cloud (nicht gezeigt) oder auf einem Server angeordnet sein
Die 3 zeigt ein weiteres Ausführungsbeispiel der Erfindung, wobei dies den gleichen apparativen Aufbau hat, wie das Ausführungsbeispiel der 2, so dass auf die vorherige Beschreibung verwiesen wird. In der 3 ist das Detektionsmodul 10 durch ein Ereignisdetektionsmodul 19 und ein Detektionssubmodul 20 gebildet. Das Ereignisdetektionssubmodul 19 ist ausgebildet, die Objekte 6, 7, 8, 9 als Objekte eines Szenenereignisses zu detektieren und die detektierten Objekte dem Entfernungsmodul 11 zuzuführen. Das Detektionssubmodul 20 ist ausgebildet, allgemein Objekte in dem Eingangsbild 4 zu detektieren.
Bei dem Ausführungsbeispiel in der 3 arbeitet das Ereignisdetektionssubmodul 19 auf dem Eingangsbild 4, also ohne dass Objekte 6, 7, 8, 9 bereits entfernt wurden.
Demgegenüber zeigt die 4 ein Ausführungsbeispiel der Erfindung, wobei das Detektionssubmodul 19 zunächst die Objekte 6, 7, 8, 9 als detektierte Objekte detektiert. In dem Entfernungsmodul 11 werden einige der detektierten Objekten 6, 7, 8, 9 bereits entfernt und ein Zwischenausgangsbild gebildet. Dieses Zwischenausgangsbild mit mindestens einem entfernten Objekt 6, 7, 8, 9 wird dem Ereignisdetektionssubmodul 19 zur Detektion von Objekten, welche einem Szenenereignis zugeordnet sind, zugeführt. Das Ereignisdetektionssubmodul 19 detektiert dann die Objekte auf Basis des Zwischenausgangsbilds.
Dieses Ausführungsbeispiel hat den Vorteil, dass auch das Ereignisdetektionssubmodul 19 zum Beispiel von einem Drittanbieter bereitgestellt werden kann und sensible Daten durch Entfernen von einigen oder allen Objekten 6, 7, 8, 9 geschützt werden können. Beispielsweise ist es auch möglich, dass das Ereignisdetektionssubmodul 19 eine entsprechende weitere Zugriffsberechtigung aufweist, welche definiert, welche Objekte als berechtigte Objekte oder zur einer berechtigten Objektklasse zugehörigen Objekte an das Ereignisdetektionssubmodul 19 weitergeleitet werden dürfen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2019018830 A1 [0003]

Claims

Überwachungsanordnung (1) zur bildbasierten Überwachung eines Überwachungsbereichs (2), mit einer Kamera (3), wobei die Kamera (3) ausgebildet ist, mindestens ein Eingangsbild (4) bereitzustellen, wobei das Eingangsbild (4) eine Szene (5) umfassend mindestens ein Objekt (6, 7, 8, 9) zeigen kann, wobei das mindestens eine Objekt (6, 7, 8, 9) einer Objektklasse und/oder einem Szenenereignis zuordenbar ist, mit einem Detektionsmodul (10), wobei das Detektionsmodul (10) ausgebildet ist, basierend auf dem Eingangsbild (4) das mindestens eine Objekt (6, 7, 8, 9) als ein detektiertes Objekt zu detektieren, mit einem Entfernungsmodul (11), wobei das Entfernungsmodul (11) ausgebildet ist, das mindestens eine detektierte Objekt (6, 7, 8, 9) als ein berechtigtes Objekt (7, 8) oder als ein unberechtigtes Objekt (6, 9) zu bestimmen und das unberechtigte Objekt (6, 9) in dem Eingangsbild (4) zu entfernen, um ein bereinigtes Auswertebild (12) zu erzeugen, mit einem Auswertemodul (13), wobei das Auswertemodul (13) ausgebildet ist, eine Auswerteapplikation auf das Auswertebild (12) anzuwenden, dadurch gekennzeichnet, dass die Auswerteapplikation eine Zugriffsberechtigung (14) aufweist, wobei die Zugriffsberechtigung (14) eine Berechtigung für Objekte (6, 7, 8, 9) einer Objektklasse und/oder eines Szenenereignisses als die berechtigten Objekte (7,8) beschreibt und/oder betrifft und wobei das Entfernungsmodul (11) die berechtigten Objekte (7,8) auf Basis der Zugriffsberechtigung (14) bestimmt.
Überwachungsanordnung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Zugriffsberechtigung (14) als ein Berechtigungszertifikat ausgebildet ist.
Überwachungsanordnung (1) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Detektionsmodul (10) und/oder das Entfernungsmodul (11) in der Kamera (3) angeordnet sind und das Auswertemodul (13) in einem separaten Peripheriegerät (15) angeordnet ist.
Überwachungsanordnung (1) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Sendemodul (16), wobei das Sendemodul (16) in der Kamera (3) angeordnet ist, und ein Empfangsmodul (17), wobei das Empfangsmodul (17) in dem Peripheriegerät (15) angeordnet ist, wobei das Sendemodul (16) ausgebildet ist, das Auswertebild (12) an das Empfangsmodul (17) bereitzustellen, wobei das Sendemodul (16) ausgebildet ist, das Auswertebild (12) basierend auf einem oder dem Berechtigungszertifikat kryptographisch und/oder verschlüsselt an das Empfangsmodul (17) bereitzustellen.
Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Detektionsmodul (10) ausgebildet ist, die detektierten Objekte (6, 7, 8, 9) in Objektklassen zu klassifizieren.
Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Detektionsmodul (10) ein Detektionssubmodul und ein Ereignisdetektionssubmodul (19) aufweist, wobei das Detektionssubmodul ausgebildet ist, Objekte in dem Überwachungsbild als detektierte Objekte (6,7,9) als detektierte Objekte zu detektieren und wobei das Ereignisdetektionsmodul (19) ausgebildet ist, beteiligte Objekte von einem Szenenereignis als detektierte Objekte zu detektieren.
Überwachungsanordnung (1) nach Anspruch 6, dadurch gekennzeichnet, dass das Ereignisdetektionssubmodul (19) die Detektion auf Basis des Eingangsbilds (4) durchführt.
Überwachungsanordnung (1) nach Anspruch 6, dadurch gekennzeichnet, dass das Ereignisdetektionssubmodul (19) die Detektion auf Basis eines Zwischenausgangsbilds durchführt, wobei bei dem Zwischenausgangsbild zumindest einige Objekte (6, 7, 8, 9) oder Objektbereiche entfernt sind.
Überwachungsanordnung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Entfernungsmodul (11) ein generatives neuronales Netz umfasst und ausgebildet ist, die unberechtigten (6, 9) Objekte mittels des generativen neuronalen Netzes zu ersetzen und damit zu entfernen.
Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Entfernungsmodul (11) ausgebildet ist, die unberechtigten Objekte (6, 9) zu entfernen und durch einen Objektrepräsentanten zu ersetzen.
Verfahren zum Betreiben der Überwachungsanordnung (1) nach einem der vorhergehenden Ansprüche, wobei die Auswerteapplikation eine Zugriffsberechtigung (14) für Objekte (6, 7, 8, 9) einer Objektklasse und/oder eines Szenenereignisses besitzt, wobei das Entfernungsmodul (11) detektierte Objekte (6, 7, 8, 9) der berechtigten Objektklasse und/oder des berechtigten Szenenereignisses als berechtigte Objekte (7, 8) bestimmt und unberechtigte Objekte (6, 9) in dem Eingangsbild (4) entfernt.
Computerprogramm, wobei das Computerprogramm ausgebildet ist, das Verfahren nach Anspruch 11 durchzuführen, wenn das Computerprogramm auf einem Computer oder auf der Überwachungsanordnung (1) nach einem der Ansprüche 1 bis 10 ausgeführt wird.
Maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm nach Anspruch 12 gespeichert ist.