-
Die Erfindung betrifft eine Überwachungsanlage mit den Merkmalen des Oberbegriffs des Anspruchs 1. Ferner betrifft die Erfindung ein Verfahren, ein Computerprogramm und ein Speichermedium.
-
Videobasierte Überwachung und Service-Angebote sind ein wichtiger Aspekt in vielen Anwendungen im Einzelhandel, wie z.B. die Analyse von Besucherströmen, Schutz vor Diebstählen, Vandalismus etc. Häufig wird dabei auch die Verfolgung einzelner Personen im gesamten Kameranetzwerk genutzt, wobei eine Person in verschiedenen Kameras wiedererkannt werden muss. Die Personenerkennung kann sich dabei meist schwierig gestalten, da übliche Verfahren zur Personenwiedererkennung oft fehlerbehaftet sein können oder eine Person in unterschiedlichen Kameras anders aussehen kann.
-
Die Druckschrift
DE 102008001126 A1 offenbart ein Inventarisierungsmodul für ein Videoüberwachungssystem, wobei das Videoüberwachungssystem mindestens eine Überwachungskamera umfasst, welche auf einen Überwachungsbereich, insbesondere einen Lager- und/oder Verkaufsbereich, mit Produkten gerichtet und/oder richtbar ist, mit einer Detektionseinrichtung, welche zur Detektion der Produkte ausgebildet ist, wobei bei der Detektion eine Positionsinformation und eine Identifikationsinformation des detektierten Produkts ermittelt wird, eine Zuordnungseinrichtung, die ausgebildet ist, über die Positionsinformation und die Identifikationsinformation aus einer Mehrzahl von detektierten Produkten eine räumliche Verteilung der Produkte in dem Überwachungsbereich zu modellieren. Ferner weist das Inventarisierungsmodul eine Objekterkennungseinrichtung zur Erkennung von bewegten Objekten, insbesondere Käufern, sowie eine Korrelationseinrichtung auf, welche ausgebildet ist, das Bewegungsverhalten der bewegten Objekte mit der Anordnung der Produkte zu korrelieren.
-
Offenbarung der Erfindung
-
Es wird eine Überwachungsanlage mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner wird ein Verfahren mit den Merkmalen des Anspruchs 11, ein Computerprogramm mit den Merkmalen des Anspruchs 14 und ein maschinenlesbares Speichermedium mit den Merkmalen des Anspruchs 15 vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus der Beschreibung, den Figuren und den Unteransprüchen.
-
Gegenstand der Erfindung ist eine Überwachungsanlage. Die Überwachungsanlage weist ein Kameranetzwerk auf, welches zur videotechnischen Überwachung des Überwachungsbereichs ausgebildet und/oder geeignet ist. Die Überwachungsanlage kann auf mehrere Abschnitte des Überwachungsbereiches und/oder weitere Bereiche beispielsweise einer zentralen Sicherheitsüberwachung, verteilt sein. Der Überwachungsbereich kann einen Innen- und/oder Außenbereich umfassen. Beispielsweise ist der Überwachungsbereich ein öffentlicher Bereich, beispielsweise ein Kaufhaus, ein Bahnhof, ein Flughafen oder dergleichen.
-
Das Kameranetzwerk weist mehrere Kameras auf, welche zur Aufnahme jeweils eines Teilüberwachungsbereichs des Überwachungsbereichs ausgebildet und/oder geeignet sind. Die Kameras können als Farb-, Schwarz-Weiß- und/oder Infrarotkameras ausgebildet sein. Vorzugsweise sind die Kameras in dem Überwachungsbereich angeordnet. Dabei können die überwachten Teilüberwachungsbereiche unterschiedlicher Kameras miteinander überlappen. Alternativ sind die Teilüberwachungsbereiche unterschiedlicher Kameras überlappungsfrei ausgebildet. Die Kameras sind ausgebildet, Überwachungsbilder der Teilüberwachungsbereiche, insbesondere als Videodaten, bereitzustellen.
-
Die Überwachungsanlage weist eine Sensoreinrichtung auf, welche zur Detektion mindestens oder genau einer personenbezogenen Objektinformation ausgebildet und/oder geeignet ist. Insbesondere ist die Sensoreinrichtung ausgebildet, die personenbezogene Objektinformation optisch und/oder elektrisch und/oder magnetisch zu erfassen. Die Sensoreinrichtung kann beispielsweise Bestandteil eines Kassensystems, z.B. ein Scanner und/oder Kartenlesegerät, oder eines Funknetzes, z.B. ein WLAN oder Bluetooth, sein. Insbesondere basiert die personenbezogene Objektinformation auf einem, vorzugsweise einer wiederzuerkennenden Person zuordenbaren Objekt oder Objektzustand. Beispielsweise kann es sich bei den Objekten um ein oder mehrere Objekte handeln, die sich in einem Umkreis, beispielsweise einem Umkreis mit festem Abstand zur wiederzuerkennenden Person, befinden und/oder die händisch der wiederzuerkennenden Person zugeordnet werden. Beispielsweise kann es sich bei den Objektzuständen um ein oder mehrere Zustände und/oder Zustandsänderungen von Objekten handeln, die die Person bei sich trägt und/oder durch die Sensoreinrichtung erfassbar sind. Insbesondere ist die Sensoreinrichtung ausgebildet, die mindestens eine Objektinformation für festlegbare, vorgegebene und/oder für alle Objekte und/oder Objektzustände zu erfassen.
-
Die Überwachungsanlage weist eine Überwachungseinrichtung auf, welche zur Wiedererkennung von Personen in den Überwachungsbildern ausgebildet und/oder geeignet ist. Mittels der Personenwiedererkennung kann eine zu suchende, festlegbare und/oder mehrere Personen in unterschiedlichen Überwachungsbildern wiedererkannt werden. Bei den wiederzuerkennenden Personen kann es sich um Einzelpersonen, Personengruppen, alternativ auch um Tiere und/oder Gegenstände, handeln. Insbesondere sind der Überwachungseinrichtung eine Mehrzahl an Überwachungsbildern unterschiedlicher Kameras bereitgestellt. Beispielsweise weisen die Kameras und die Überwachungseinrichtung jeweils eine Schnittstelle auf, wobei die Schnittstellen zur Datenübertragung koppelbar sind.
-
Die Überwachungseinrichtung weist ein Personenerkennungsmodul auf, welches zur Erkennung von Personen in den Überwachungsbildern ausgebildet und/oder geeignet ist. Beispielsweise ist die Überwachungsvorrichtung als eine Computervorrichtung ausgebildet, wobei das Personenerkennungsmodul als ein Hardware- oder als ein Softwaremodul der Überwachungseinrichtung ausgebildet sein kann. Insbesondere ist das Personenerkennungsmodul ausgebildet, die Überwachungsbilder zu analysieren und/oder zu verarbeiten. In den Überwachungsbildern kann sich mindestens oder genau eine Person, insbesondere zeitweilig oder dauerhaft, befinden bzw. aufhalten. Das Personenerkennungsmodul ist ausgebildet, auf Basis der Überwachungsbilder eine Person, einige und/oder alle Personen in den Überwachungsbildern zu detektieren. Das Personenerkennungsmodul ist insbesondere ausgebildet, die Überwachungsbilder basierend auf Regeln, beispielsweise auf vorgegebene Parameter und/oder Charakteristika zu untersuchen, wobei die Parameter zum Auffinden von Personen und/oder zum Unterscheiden von Personen und Hintergrund ausgebildet sind.
-
Die Überwachungseinrichtung weist ein Zuordnungsmodul auf, welches zur Zuordnung von mindestens oder genau einer personenbezogenen Objektinformation aus einem Teilüberwachungsbereich zu einer Person in dem gleichen Teilüberwachungsbereich ausgebildet und/oder geeignet ist. Beispielsweise kann das Zuordnungsmodul als ein Hardware- oder als ein Softwaremodul der Überwachungseinrichtung ausgebildet sein. Insbesondere ist das Zuordnungsmodul ausgebildet, die personenbezogene Objektinformation genau einer Person in den Überwachungsbildern zuzuordnen. Vorzugsweise ist die personenbezogene Objektinformation eindeutig und/oder fest der genau einen Person zugeordnet und/oder zuordenbar. Das Zuordnungsmodul ist ausgebildet, die Überwachungsbilder mit den erkannten Person, welchen mindestens eine personenbezogene Objektinformation zugeordnet ist, als Personendaten bereitzustellen.
-
Im Rahmen der Erfindung wird vorgeschlagen, dass die Überwachungseinrichtung ein Vergleichsmodul aufweist. Das Vergleichsmodul ist ausgebildet, Personendaten aus mehreren, insbesondere mindestens zwei unterschiedlichen Teilüberwachungsbereichen abzugleichen. Beispielsweise kann das Vergleichsmodul als ein Hardware- oder als ein Softwaremodul der Überwachungseinrichtung ausgebildet sein. Im Speziellen können das Personenerkennungsmodul und/oder das Zuordnungsmodul und/oder das Vergleichsmodul ein gemeinsames Modul bilden. Das Vergleichsmodul ist ausgebildet, eine Person bei einer Übereinstimmung der Personendaten aus mindestens zwei Teilüberwachungsbereichen in den Überwachungsbildern wiederzuerkennen. Dazu greift das Vergleichsmodul insbesondere auf die von dem Zuordnungsmodul bereitgestellten Personendaten zu, um die in den mehreren Teilüberwachungsbereichen erkannten Personen unter Berücksichtigung der Personendaten miteinander zu vergleichen. Liegt eine Übereinstimmung oder ein Mindestmaß an Übereinstimmung vor, so kann die Person als wiedererkannt aufgefasst werden.
-
Die Objektinformation dient somit zum Wiedererkennen der Person, sodass beim Wiedererkennen und/oder zum Wiedererkennen der Person nicht nur auf die Merkmale der realen Person zurückgegriffen werden, sondern auch durch die Sensoreinrichtung eindeutig identifizierte Objekte oder Objektzustände hinzugezogen werden. Anstatt nur die gesuchte Person in den Bildern zu suchen, kann beispielsweise eine Übereinstimmung der Personendaten als Hinweis und/oder Indiz für die wiederzuerkennende Person dienen. Der Erfindung liegt somit die Überlegung zugrunde, eine verbesserte Wiedererkennung von Personen in einem Überwachungsbereich zu ermöglichen. Dadurch kann die Wiedererkennung von Personen aus Überwachungsbildern von unterschiedlichen Kameras verbessert werden.
-
In einer konkreten Ausgestaltung ist vorgesehen, dass das Zuordnungsmodul ausgebildet ist, die Objektinformation basierend auf einem Regelwerk und/oder mittels einer künstlichen Intelligenz für die Person zu bestimmen und/oder auszuwählen. Beispielsweise kann das Zuordnungsmodul ausgebildet sein, Videodaten der Vergangenheit und/oder Videodaten, die gerade und/oder noch aufgenommen werden, auszuwerten und basierend auf dem Regelwerk und/oder der künstlichen Intelligenz zu bestimmen, welche Objektinformationen zu der wiederzuerkennenden Person gehören. Beispiele für eine solche Auswahl und/oder Regeln können sein, dass die wiederzuerkennende Person sich seit längerer Zeit in der Nähe des Objekts befindet und/oder eine Handlung an dem Objekt durchführt und/oder sich mit dem Objekt bewegt. Im Speziellen kann eine Zuordnung erfolgen, wenn die Objektinformation durch die Sensoreinrichtung erfasst und die Person durch das Personenerkennungsmodul zu gleicher Zeit und/oder im gleichen Bildbereich in dem gleichen Teilüberwachungsbereich erkannt wird.
-
In einer weiteren Ausgestaltung ist vorgesehen, dass die Sensoreinrichtung ausgebildet ist, die Objektinformationen automatisch und/oder berührungslos zu erfassen. Insbesondere dient die Sensoreinrichtung zur automatischen Identifizierung der Objektinformationen, auch als „Auto-ID“ bekannt. Vorzugsweise umfasst die Objektinformation einen Identifikator, welcher zur eindeutigen Identifizierung des Objekts bzw. Objektzustands dient. Beispielsweise kann der Identifikator ein dem Objekt oder Objektzustand zugeordneter Code sein.
-
In einer ersten Konkretisierung ist vorgesehen, dass die Objektinformation auf einem Produkt basiert. Das Produkt kann als ein Verbrauchsgut oder als ein Gebrauchsgut ausgebildet sein. Vorzugsweise ist das Produkt regulär in dem Überwachungsbereich angeordnet. Das Produkt kann hierzu in Lageranordnungen, wie zum Beispiel Regalen oder dergleichen, regulär positioniert sein. Beispielsweise kann das Produkt ein Verkaufsprodukt, wie z.B. Lebensmittel, Genussmittel, Drogerieartikel etc., sein. Alternativ kann das Produkt jedoch auch ein Lagerprodukt, wie z.B. Werkzeug, Verbrauchsmaterialien, Arzneimittel etc., sein. Alternativ kann das Produkt jedoch auch ein Pfandgut, wie z.B. Flaschen, Verpackungen etc., sein. Die Sensoreinrichtung ist von einem Registriersystem umfasst, welches zur Registrierung des Produkts ausgebildet und/oder geeignet ist. Der Überwachungsbereich ist vorzugsweise als ein Lager- und/oder Verkaufsbereich, insbesondere eine Verkaufsfläche, beispielsweise eines Supermarktes, ausgebildet. Insbesondere weist das Registriersystem einen oder mehrere Kassenterminals auf, welche in dem Überwachungsbereich angeordnet sind. Insbesondere kann die Objektinformation in einem 2D-Code, z.B. Barcode oder QR-Code, an dem Objekt abgebildet sein. Die Sensoreinrichtung kann beispielsweise als ein mobiles oder in den Kassenterminal integriertes Datenerfassungsgerät zur Erfassung des 2D-Codes ausgebildet sein.
-
In einer alternativen Konkretisierung ist vorgesehen, dass die Objektinformation auf einem persönlichen Gegenstand der Person basiert. Der Gegenstand kann als ein mobiles Endgerät, Bankkarte, Funkschlüssel oder dergleichen ausgebildet sein. Insbesondere ist der Gegenstand ausgebildet, die Objektinformation datentechnisch, im Speziellen drahtlos, an die Sensoreinrichtung zu übermitteln. Der Gegenstand ist hierzu als ein Sender und die Sensoreinrichtung als ein Empfänger ausgebildet ist. Vorzugsweise kann der Gegenstand über eine Funkstrecke mit der Sensoreinrichtung datentechnisch verbunden sein. Beispielsweise kann der Gegenstand einen Transponder, z.B. einen RFID-Chip, aufweisen, wobei die Sensoreinrichtung als ein Lesegerät zum Auslesen des Transponders ausgebildet ist. Alternativ können der Gegenstand und die Sensoreinrichtung in das Funknetz eingebunden sein und/oder über das Funknetz miteinander kommunizieren.
-
In einer weiteren Ausführung der Erfindung ist vorgesehen, dass das Personenerkennungsmodul ausgebildet ist, mindestens oder genau eine Personeninformation der erkannten Personen zu erfassen. Insbesondere ist die Überwachungsvorrichtung ausgebildet, die Person auf Basis der Personeninformation zu erkennen und/oder wiederzuerkennen. Insbesondere umfasst die Personeninformation ein personenbezogenes Merkmal oder ein mit der Person in Verbindung stehendes Merkmale, im Speziellen mindestens oder genau ein abstraktes Personenmerkmal der erkannten Person. Vorzugsweise ist das Bearbeitungsmodul ausgebildet, die Personeninnformationen der erkannten Person aus den Überwachungsbildern zu extrahieren. Das Zuordnungsmodul ist ausgebildet, die Personeninformation als weitere Personendaten dem Vergleichsmodul bereitzustellen. Insbesondere ist die Personeninformation ergänzend zu der Objektinformation durch das Vergleichsmodul analysierbar und/oder verwertbar. Bevorzugt hat die Objektinformation eine höhere Priorität als die Personeninformation, wobei bei einer Übereinstimmung der Personeninformation und bei einer Abweichung der Objektinformation, die Person nicht oder nur teilweise wiedererkannt ist.
-
In einer weiteren konkreten Umsetzung ist vorgesehen, dass die Personeninformation ein Erscheinungsmerkmal und/oder ein Bekleidungsmerkmal und/oder ein Bewegungsmerkmal der Person umfasst. Insbesondere beschreibt das mindestens eine Erscheinungsmerkmal ein Geschlecht, Haarfarbe, Hautfarbe, Gesichtspunkte, Körpergröße, Körperbau etc. der Person. Insbesondere beschreibt das mindestens eine Bekleidungsmerkmal eine Kleidungsfarbe, Art des Bekleidungsstücks etc. der Person Insbesondere beschreibt das Bewegungsmerkmal eine Gangart, Bewegungsgeschwindigkeit, Bewegungsrichtung etc. der Person.
-
Eine weitere Ausgestaltung sieht vor, dass die Überwachungsanlage mindestens oder genau eine weitere Sensoreinrichtung aufweist. Insbesondere hat die weitere Sensoreinrichtung die Funktion, die personenbezogene Objektinformation in einem weiteren Teilüberwachungsbereich zu erfassen, sodass die Objektinformation in mindestens zwei unterschiedlichen und/oder voneinander getrennten Teilüberwachungsbereichen erfasst werden kann. Hierzu ist die eine Sensoreinrichtung vorzugsweise in einem ersten Teilüberwachungsbereich und die andere Sensoreinrichtung in einem zweiten Teilüberwachungsbereich angeordnet. Insbesondere ist das Zuordnungsmodul ausgebildet, die durch die Sensoreinrichtungen erfassten personenbezogenen Objektinformationen eindeutig einer Person zuzuordnen. Bevorzugt ist vorgesehen, dass mittels der Personenwiedererkennung eine Person in dem Überwachungsbereich und/oder in einem oder mehreren Teilüberwachungsbereichen getrackt und/oder verfolgt wird. Dabei kann die getrackte und/oder verfolgte Person als genau eine Person wiedererkannt werden, wenn die in dem ersten und in dem zweiten Teilüberwachungsbereich erfassten zugehörigen Objektinformationen übereinstimmen und/oder identisch sind.
-
Es ist bevorzugt, dass die Überwachungsanlage eine Trainingseinrichtung aufweist, welche zum Trainieren der Überwachungseinrichtung mit zuverlässigen Trainingsdaten ausgebildet und/oder geeignet ist. Insbesondere ist die Trainingseinrichtung ausgebildet, die Überwachungseinrichtung mittels eines Deep-Learning-Verfahrens zu trainieren. Die Trainingseinrichtung kann als ein Softwaremodul und/oder Hardwaremodul ausgebildet sein. Vorzugsweise ist die Trainingseinrichtung datentechnisch mit der Überwachungseinrichtung verbunden und/oder verbindbar. Insbesondere ist es dadurch möglich, dass Bilder als die Trainingsdaten von der Überwachungseinrichtung an die Trainingseinrichtung übergeben werden. Damit ist es möglich, die Trainingseinrichtung mit realen Bildern zu trainieren.
-
Es ist bevorzugt, dass die Bilder als Überwachungsbilder unterschiedlicher Teilüberwachungsbereiche ausgebildet sind. Insbesondere sind die Trainingsdaten durch solche Überwachungsbilder gebildet, in welchen eine in den Überwachungsbildern umfasste Person basierend auf den übereinstimmenden Personendaten wiedererkannt ist. Insbesondere werden alle Überwachungsbilder als die Trainingsdaten verwendet, in denen eine Person basierend auf den übereinstimmenden Personendaten eindeutig wiedererkannt wird. Dies hat den Vorteil, dass die Überwachungseinrichtung auf eine sehr hohe Detektionsrate und Präzision bei der Wiedererkennung von Personen trainiert werden kann.
-
Einen weiteren Gegenstand der Erfindung bildet ein Verfahren zur Wiedererkennung von Personen in Überwachungsbildern. Dabei ist es vorgesehen, dass Personen in den Überwachungsbildern erkannt werden. Beispielsweise werden die Überwachungsbilder durch ein Kameranetzwerk mit mehreren, vorzugsweise mindestens oder genau zwei Kameras aufgenommen. In einem weiteren Schritt werden personenbezogene Objektinformationen in einem Überwachungsbereich erfasst. Insbesondere werden die personenbezogenen Objektinformationen in mindestens oder genau zwei verschiedenen Teilüberwachungsbereichen des Überwachungsbereichs erfasst. In einem weiteren Schritt wird mindestens oder genau eine personenbezogene Objektinformation aus einem Teilüberwachungsbereich, einer Person in dem gleichen Teilüberwachungsbereich zugeordnet und als Personendaten bereitgestellt. Insbesondere wird die personenbezogene Objektinformation basierend auf einem Regelwerk und/oder mittels einer künstlichen Intelligenz für die Person bestimmt oder ausgewählt. Anschließend werden die Personendaten aus mehreren unterschiedlichen Teilüberwachungsbereichen abgeglichen, wobei bei einer Übereinstimmung der Personendaten aus mindestens zwei verschiedenen Teilüberwachungsbereichen, eine Person in einigen oder allen Überwachungsbildern wiedererkannt wird. Insbesondere wird eine in den Überwachungsbildern erkannte Person wiedererkannt, wenn die zugehörigen Personendaten zumindest aus einem ersten Teilüberwachungsbereich mit den zugehörigen Personendaten aus einem zweiten Teilüberwachungsbereich übereinstimmen.
-
Bevorzugt ist das Verfahren ausgebildet, die Personen basierend auf den Überwachungsbildern in dem Überwachungsbereich, insbesondere in den Teilüberwachungsbereichen, zu verfolgen. Insbesondere werden die Personen in den Überwachungsbildern automatisch detektiert und über die Zeit verfolgt und/oder getrackt. Vorzugsweise wird die verfolgte Person in den Überwachungsbildern wiedererkannt, wenn die Personendaten aus den mindestens zwei verschiedenen Teilüberwachungsbereichen übereinstimmen. Optional kann eine oder mehrere Personeninformationen, z.B. spezifische Personenmerkmalen der detektierten Person, aus den Überwachungsbildern extrahiert werden, wobei die Personeninformationen bei der Personenwiedererkennung zugezogen werden, um die Person in den Überwachungsbildern zu identifizieren und/oder wiederzuerkennen. Somit kann eine Person eindeutig und nahtlos über die Gesamtheit des Kameranetzwerkes verfolgt und identifiziert werden.
-
In einer weiteren Umsetzung ist vorgesehen, dass das Verfahren ausgebildet ist, die Überwachungsbilder mit den übereinstimmenden Personendaten als Trainingsdaten zum Trainieren eines Bildverarbeitungsalgorithmus zu generieren und/oder zu speichern. Beispielsweise dient das Verfahren dazu, eine Vielzahl an Überwachungsbildern in eine Vielzahl an Trainingsdaten umzuwandeln. Hierzu werden insbesondere die Überwachungsbilder mit den übereinstimmenden Personendaten als Trainingsdaten zum Trainieren des Bildverarbeitungsalgorithmus generiert und/oder gespeichert. Beispielsweise können die generierten Trainingsdaten einem Machine-Learning-Algorithmus für eine Bildauswertungssoftware und/oder einem Bildalgorithmus bereitgestellt werden.
-
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, wobei das Computerprogramm ausgebildet ist, das Verfahren zur Wiedererkennung von Personen durchzuführen, wenn das Computerprogramm auf einem Rechner, einer Prozessoreinheit oder der Überwachungseinrichtung ausgeführt wird.
-
Einen weiteren Gegenstand der Erfindung bildet ein Speichermedium, wobei das Speichermedium das Computerprogramm wie vorher beschrieben umfasst.
-
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
- 1 eine schematische Darstellung einer Überwachungsanlage mit einer Überwachungseinrichtung als ein Ausführungsbeispiel der Erfindung;
- 2 die Überwachungsanlage aus 1 in einer schematischen Blockdarstellung.
-
1 zeigt in einer stark schematisierten Darstellung eine Überwachungsanlage 1, welche zu Überwachung eines Überwachungsbereichs 2 dient. Die Überwachungsanlage 1 weist ein Kameranetzwerk 3 auf, das ausgebildet ist, den Überwachungsbereich 2 videotechnisch zu überwachen. Hierzu weist das Kameranetzwerk 3 mehrere Kameras 3a, b auf, welche beispielsweise als Videokameras, vorzugsweise als Farbkameras, ausgebildet sind. Beispielsweise ist der Überwachungsbereich 2 durch eine Verkaufsfläche gebildet, wobei die Kameras 3a, b an unterschiedlichen Positionen installiert sein können, um unterschiedliche Teilüberwachungsbereiche 2a, b des Überwachungsbereichs 2 zu überwachen.
-
In dem Überwachungsbereich 2 befinden sich Personen 4, die sich dort frei bewegen können. Die Personen 4 werden mittels der Kameras 3a, b ebenfalls videotechnisch überwacht. Die Kameras 3a, b bilden dabei den jeweiligen Teilüberwachungsbereich 2a, b in Form von Überwachungsbildern 6a, b ab, wobei die Kameras 3a, b die Überwachsungsbilder 6a, b als Videosequenzen zur Verfügung stellt.
-
Die Überwachungsanlage 1 weist eine Überwachungseinrichtung 5 auf, welche ausgebildet ist, die Überwachungsbilder 6a, b der Kameras 3a, b zu analysieren und/oder zu verarbeiten. Hierzu können die Kameras 3a, b kabellos oder kabelgebunden mit der Überwachungseinrichtung 5 verbunden sein. Die von den Kameras 3a, b aufgenommenen Überwachungsbilder 6a, b werden somit an die Überwachungseinrichtung 5 gleitet und dort verarbeitet.
-
Ferner weist die Überwachungsanlage 1 eine erste und eine zweite Sensoreinrichtung 7a, b auf, welche zur Erfassung von personenbezogenen Objektinformationen dienen. Insbesondere sind personenbezogene Objektinformationen als Informationen zu verstehen, welche eindeutig einem mit der Person 4 in Verbindung stehenden Objekt 8 zugeordnet werden können. Bevorzugt ist das Objekt 8 dauerhaft und/oder größtenteils in einem festgelegten Umfeld zu der Person 4 angeordnet. Die Objektinformationen können an die Überwachungseinrichtung 5 gleitet werden und dort verarbeitet werden. Hierzu können die Sensoreinrichtungen 6a, b kabellos oder kabelgebunden mit der Überwachungseinrichtung 5 verbunden sein. Die erste Sensoreinrichtung 7a ist dabei zur Erfassung einer Objektinformation in dem ersten Teilüberwachungsbereich 2a und die zweite Sensoreinrichtung 7b zur Erfassung einer Objektinformation in dem zweiten Teilüberwachungsbereich 2b ausgebildet.
-
Die Überwachungseinrichtung 5 ist ausgebildet, Personen 4 in den Überwachungsbildern 6a, b der mehreren Kameras 3a, b wiederzuerkennen. Insbesondere ist die Überwachungseinrichtung 5 ausgebildet, Personen 4 basierend auf einem Algorithmus aus dem Bereich des Machine-Learning, auch als Deep-Learning bekannt, in den Überwachungsbildern 6a, b wiederzuerkennen. Die Überwachungsanlage 1 weist hierzu eine Trainingseinrichtung 9 auf, welche ausgebildet ist, die Überwachungseinrichtung 5, insbesondere den Algorithmus, zu trainieren, wobei für das Training sowohl die Überwachungsbilder 6a, b als auch eine Zuordnung derselben Personen 4 in den Aufnahmen der unterschiedlichen Kameras 3a, b benötigt werden.
-
Die weitere Verarbeitung der Überwachungsbilder 6a, b und der Objektinformationen wird anhand der 2 erläutert, welche eine schematische Blockdarstellung der Überwachungsanlage 1 als ein Ausführungsbeispiel der Erfindung zeigt. Ausgehend von den Kameras 3a, b werden die Überwachungsbilder 6a, b in die Überwachungseinrichtung 5 gleitet, wo sie an eine Personenerkennungsmodul 10 übergeben werden. Das Personenerkennungsmodul 10 ist unter anderem dazu ausgebildet, die Überwachungsbilder 6a, b auf Personen 4 zu prüfen und gefundene Personen 4 als solche zu erkennen. Beispielsweise kann das Erkennungsmodul 11 die Überwachungsbilder 6a, b auf bestimmte Charakteristika analysieren und basierend auf einem Regelwerk bewerten ob etwas eine Person 4 oder eine Sache ist.
-
Die Überwachungseinrichtung 5 weist ein Zuordnungsmodul 11 auf, welches datentechnisch mit den Sensoreinrichtungen 7a, b und dem Personenerkennungsmodul 10 verbunden ist. Ausgehend von den Sensoreinrichtungen 7a, b werden die personenbezogenen Objektinformationen in die Überwachungseinrichtung 5 gleitet, wo sie an das Zuordnungsmodul 11 übergeben werden. Zusätzlich werden die Überwachungsbilder 6a, b mit den erkannten Personen 4 von dem Personenerkennungsmodul 10 an das Zuordnungsmodul 11 übergeben. Das Zuordnungsmodul 11 ist dabei ausgebildet, die personenbezogenen Objektinformationen einer erkannten Person 4 in den Überwachungsbildern 6a, b zuzuordnen. Beispielsweise kann das Zuordnungsmodul 11 die Objektinformation basierend auf einem Regelwerk und/oder mittels einer künstlichen Intelligenz der Person 4 zuordnen.
-
Die zugeordneten Objektinformationen werden anschließend zusammen mit den Überwachungsbildern einem Vergleichsmodul 12 als Personendaten zur Verfügung gestellt. Ferner kann das Personenerkennungsmodul 10 ausgebildet sein, eine oder mehrere Personeninformationen der Personen 4 zu extrahieren und diese als weitere Personendaten dem Vergleichsmodul 12 bereitzustellen. Das Vergleichsmodul 12 ist ausgebildet, die Personendaten aus den Überwachungsbildern 6a, b des ersten und des zweiten Teilüberwachungsbereichs 2a, b miteinander zu vergleichen, wobei bei einer Übereinstimmung der Personendaten eine Person 4 in unterschiedlichen Überwachungsbildern 6a, b als dieselbe Person wiedererkannt wird.
-
Es wird somit eine Methode zur Verbesserung der richtigen Zuordnung von Personen 4 aus den Überwachungsbildern 6a, b unterschiedlicher Kameras 3a, b vorgeschlagen. Hierzu können beispielsweise die speziellen Gegebenheiten in Läden aus dem Bereich des Einzelhandels, wie z.B. Supermärkte, berücksichtigt werden. Hierzu sind beispielsweise die Sensoreinrichtungen 7a, b als Sensoren ausgebildet, welche bereits in dem Überwachungsbereich 2 vorhanden sind. Diese Sensoren sind z.B. Lesegeräte für EC-Karten im Kassenbereich, WLAN- und Bluetooth-Accesspoints oder Nahfeldübertragungen, wie z.B. „Keyless Go“ für das Öffnen von Fahrzeugen, wobei die Objekte 8 als solche ausgebildet sind, welche entsprechend durch die Sensoren automatisch und/oder berührungslos erfassbar sind. Somit fallen keine zusätzlichen Installationskosten an.
-
In einem möglichen Ausführungsbeispiel kann die erste Sensoreinrichtung 7a beispielsweise durch einen Leergutautomaten gebildet oder von diesem umfasst sein, wobei das Objekt 8 beispielsweise als ein Pfandbon ausgebildet ist. Gibt eine Person 4 ein Pfandgut ab, erhält die Person 4 den Pfandbon, wobei die erste Sensoreinrichtung 7a die mit dem Pfandbon verbundene Objektinformation, z.B. ein Barcode, detektiert. Zugleich wird die Person 4 durch eine erste Kamera 3a in dem ersten Teilüberwachungsbereich 2a erfasst und durch das Personenerkennungsmodul 10 in den Überwachungsbildern 6a der ersten Kamera 3a erkannt. Das Zuordnungsmodul 11 ordnet die detektierte Objektinformation der erkannten Person 4 zu und stellt diese als Personendaten dem Vergleichsmodul 12 zur Verfügung.
-
Anschließend versucht die Überwachungseinrichtung 5 die erkannte Person 4 kameraübergreifend bis zu der zweiten Sensoreinrichtung 7b zu verfolgen. Beispielsweise kann die Überwachungseinrichtung 5, insbesondere das Personenerkennungsmodul 10, ausgebildet sein, die Person 4 über einige, alle oder zumindest die beiden Kameras 3a, b zu verfolgen. Beispielsweise kann die zweite Sensoreinrichtung 7b als ein Kassensystem ausgebildet sein oder von diesem umfasst sein. Die Abgabe des Pfandbons an der Kasse, wird durch die zweite Sensoreinrichtung 7b als personenbezogene Objektinformation detektiert. Zugleich wird die Person 4 durch die zweite Kamera 3a in dem ersten Teilüberwachungsbereich 2a erfasst und durch das Personenerkennungsmodul 10 in den Überwachungsbildern 6b der zweiten Kamera 3b erkannt. Das Zuordnungsmodul 11 ordnet die durch die zweite Sensoreinrichtung 7b detektierte Objektinformation der erkannten Person 4 zu und stellt diese als Personendaten dem Vergleichsmodul 12 bereit.
-
Das Vergleichsmodul 12 gleicht nun die Personendaten aus den beiden Teilüberwachungsbereichen 2a, b miteinander ab. Stimmen die Personendaten miteinander überein, wird die Person 4 in dem Überwachungsbild 6a als dieselbe Person 4 wie in dem Überwachungsbild 6b erkannt. Somit können alle Überwachungsbilder 6a, b in der die Person 4 erkannt und verfolgt wurde, weiterverwendet werden. Stimmen die Personendaten nicht miteinander überein, kam es wahrscheinlich zu einer Verwechslung der Personen 4 in den einzelnen Überwachungsbilder 6a, b, sodass diese Überwachungsbilder 6a, b verworfen werden.
-
Optional ist es auch denkbar, in dem Überwachungsbereich 2 angeordnete Produkte, wie z.B. Lebensmittel, Pflegeprodukte, etc., als weitere Objekte zu verwenden. Dabei kann eine weitere Objektinformation durch die zweite Sensoreinrichtung 7b, z.B. beim Einscannen der Produkte durch das Kassensystem, erfasst werden und dem Zuordnungsmodul 11 als weitere Personendaten zur Verfügung gestellt werden. Das Personenerkennungsmodul 10 kann neben einer Personeninformation, wie z.B. Körpergröße, Kleidung, Haarfarbe, Hautfarbe etc., auch eine Positionsinformation der Person 4 in dem Überwachungsbereich 2 aus den Überwachungsbildern 6a, b extrahieren. Wird die weitere Objektinformation eines bestimmten Produktes, wie z.B. Käse, durch die zweite Sensoreinrichtung 7b an der Kasse detektiert, dann kommen für die Wiedererkennung nur die Personen 4 in Betracht, die auch die gleiche Positionsinformation wie das Produkt, also z.B. Käsetheke, aufweisen. Insbesondere ist das Vergleichsmodul 12 ausgebildet, neben den Objektinformationen auch die Personeninformationen und/oder Positionsinformationen abzugleichen. Dadurch kann eine falsche Zuordnung der Personen 4 deutlich reduziert werden. Zudem kann eine Kostenersparnis durch eine vereinfachte Zuordnung von Personen 4 in den Überwachungsbildern 6a, b aus verschiedenen Kameras 3a, b realisiert werden.
-
Um eine Personenwiedererkennung der Überwachungseinrichtung 5 zu verbessern, muss die Überwachungseinrichtung 5, insbesondere das Personenerkennungsmodul 10, im Speziellen der Algorithmus, durch die Trainingseinrichtung 9 mit zuverlässigen Trainingsdaten trainiert werden. Hierzu werden üblicherweise riesige Datenmengen benötigt, um z.B. einen Personendetektor und die richtigen Merkmale für die Wiedererkennung zu trainieren.
-
Es wird daher vorgeschlagen, die zum Trainieren der Überwachungseinrichtung 5 verwendeten Überwachungsbilder 6a, b vorher durch einen Filter zu prozessieren, wobei als Trainingsdaten nur die Überwachungsbilder 6a, b verwendet werden sollen, in denen eine Person 4 zuverlässig wiedererkannt wurde. Dafür müssen die Personen 4 in den Überwachungsbildern 6a, b der Kameras 3a, b zuverlässig wiedererkannt werden, damit sich die Überwachungseinrichtung 5 iterativ verbessern kann. Hierzu werden als Trainingsdaten nur die Überwachungsbilder 6a, b verwendet, bei denen eine Übereinstimmung der Personendaten durch das Vergleichsmodul 12 festgestellt wurde. Dies macht das Ergebnis robuster und falsche Beispiele werden nicht für ein Training durch die Trainingseinrichtung 9 verwendet.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008001126 A1 [0003]
