-
Stand der Technik
-
Die Erfindung betrifft eine Überwachungsanlage mit den Merkmalen des Oberbegriffs des Anspruchs 1. Ferner betrifft die Erfindung ein Verfahren, ein Computerprogramm, ein Speichermedium und eine Überwachungseinrichtung.
-
Videobasierte Überwachung und Service-Angebote sind ein wichtiger Aspekt in vielen Anwendungen im Einzelhandel, wie z.B. die Analyse von Besucherströmen, Schutz vor Diebstählen, Vandalismus etc. Moderne Kamerasysteme ermöglichen darüber hinaus eine Analyse des Besucherverkehrs, um damit z.B. den Personaleinsatz zu optimieren oder um die Wirkung von Marketingaktivitäten zu bewerten. Häufig wird dabei auch die Verfolgung einzelner Personen im gesamten Kameranetzwerk genutzt, wobei eine Person in verschiedenen Kameras wiedererkannt werden muss. Die Personenerkennung kann sich dabei meist schwierig gestalten, da übliche Verfahren zur Personenwiedererkennung oft fehlerbehaftet sein können oder eine Person in unterschiedlichen Kameras anders aussehen kann.
-
Die Druckschrift
DE 102008001126 A1 , die wohl den nächstkommenden Stand der Technik bildet, offenbart ein Inventarisierungsmodul für ein Videoüberwachungssystem, wobei das Videoüberwachungssystem mindestens eine Überwachungskamera umfasst, welche auf einen Überwachungsbereich, insbesondere einen Lager- und/oder Verkaufsbereich, mit Produkten gerichtet und/oder richtbar ist, mit einer Detektionseinrichtung, welche zur Detektion der Produkte ausgebildet ist, wobei bei der Detektion eine Positionsinformation und eine Identifikationsinformation des detektierten Produkts ermittelt wird, eine Zuordnungseinrichtung, die ausgebildet ist, über die Positionsinformation und die Identifikationsinformation aus einer Mehrzahl von detektierten Produkten eine räumliche Verteilung der Produkte in dem Überwachungsbereich zu modellieren. Ferner weist das Inventarisierungsmodul eine Objekterkennungseinrichtung zur Erkennung von bewegten Objekten, insbesondere Käufern, sowie eine Korrelationseinrichtung auf, welche ausgebildet ist, das Bewegungsverhalten der bewegten Objekte mit der Anordnung der Produkte zu korrelieren.
-
Offenbarung der Erfindung
-
Es wird eine Überwachungsanlage mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner wird ein Verfahren mit den Merkmalen des Anspruchs 9, ein Computerprogramm mit den Merkmalen des Anspruchs 13 und ein maschinenlesbares Speichermedium mit den Merkmalen des Anspruchs 14 vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus der Beschreibung, den Figuren und den Unteransprüchen.
-
Gegenstand der Erfindung ist eine Überwachungsanlage. Die Überwachungsanlage weist eine Schnittstelle zu einem Kameranetzwerk oder alternativ das Kameranetzwerk auf, welches zur videotechnischen Überwachung des Überwachungsbereichs ausgebildet und/oder geeignet ist. Die Überwachungsanlage kann auf mehrere Abschnitte des Überwachungsbereiches und/oder weitere Bereiche beispielsweise einer zentralen Sicherheitsüberwachung, verteilt sein. Der Überwachungsbereich kann einen Innen- und/oder Außenbereich umfassen. Beispielsweise ist der Überwachungsbereich ein öffentlicher Bereich, beispielsweise ein Kaufhaus, ein Bahnhof, ein Flughafen oder dergleichen.
-
Das Kameranetzwerk weist mehrere Kameras auf, welche jeweils zur Aufnahme eines Teilüberwachungsbereichs des Überwachungsbereichs ausgebildet und/oder geeignet sind. Die Kameras können als Farb-, Schwarz-Weiß- und/oder Infrarotkameras ausgebildet sein. Vorzugsweise sind die Kameras in dem Überwachungsbereich angeordnet. Dabei können die überwachten Teilüberwachungsbereiche unterschiedlicher Kameras miteinander überlappen. Alternativ sind die Teilüberwachungsbereiche unterschiedlicher Kameras überlappungsfrei ausgebildet. Die Kameras sind ausgebildet, Überwachungsbilder der Teilüberwachungsbereiche, insbesondere als Videodaten, bereitzustellen.
-
Die Überwachungsanlage weist eine Überwachungseinrichtung auf, welche zur Wiedererkennung von Personen in den Überwachungsbildern ausgebildet und/oder geeignet ist. Mittels der Personenwiedererkennung kann eine zu suchende, festlegbare und/oder mehrere Personen in unterschiedlichen Überwachungsbildern wiedererkannt werden. Bei den wiederzuerkennenden Personen kann es sich um Einzelpersonen, Personengruppen, alternativ auch um Tiere und/oder Gegenstände, handeln. Insbesondere sind der Überwachungseinrichtung eine Mehrzahl an Überwachungsbildern unterschiedlicher Kameras bereitgestellt. Beispielsweise weisen die Kameras und die Überwachungseinrichtung jeweils eine Schnittstelle auf, wobei die Schnittstellen zur Datenübertragung koppelbar sind.
-
Die Überwachungseinrichtung weist ein Personenerkennungsmodul auf, welches zur Erkennung von Personen in den Überwachungsbildern ausgebildet und/oder geeignet ist. Beispielsweise ist die Überwachungsvorrichtung als eine Computervorrichtung ausgebildet, wobei das Personenerkennungsmodul als ein Hardware- oder als ein Softwaremodul der Überwachungseinrichtung ausgebildet sein kann. Insbesondere ist das Personenerkennungsmodul ausgebildet, die Überwachungsbilder zu analysieren und/oder zu verarbeiten. In den Überwachungsbildern kann sich mindestens oder genau eine Person, insbesondere zeitweilig oder dauerhaft, befinden bzw. aufhalten. Das Personenerkennungsmodul ist ausgebildet, auf Basis der Überwachungsbilder eine Person, einige und/oder alle Personen in den Überwachungsbildern automatisch zu detektieren. Das Personenerkennungsmodul ist insbesondere ausgebildet, die Überwachungsbilder basierend auf Regeln, beispielsweise auf vorgegebene Parameter und/oder Charakteristika zu untersuchen, wobei die Parameter zum Auffinden von Personen und/oder zum Unterscheiden von Personen und Hintergrund ausgebildet sind. Alternativ kann können jedoch auch einzelne Personen und/oder alle Personen in den Überwachungsbildern manuell durch einen Benutzer ausgewählt werden.
-
Die Überwachungseinrichtung weist ein Objektekennungsmodul auf, welches zur Erkennung von Objekten in den Überwachungsbildern ausgebildet und/oder geeignet ist. Beispielsweise kann das Objektekennungsmodul als ein weiteres Hardware- oder Softwaremodul der Überwachungseinrichtung ausgebildet sein. Bei der Erkennung des Objekts wird eine Objektinformation des erkannten Objekts durch das Objekterkennungsmodul ermittelt. Insbesondere ist das Objektekennungsmodul ausgebildet, die Objekte in den Überwachungsbildern bildtechnisch, vorzugsweise auf Basis von digitalen oder analogen Bildverarbeitungsalgorithmen, zu analysieren und/oder zu verarbeiten, um die Objektinformation zu ermitteln. Insbesondere erfolgt eine Detektion der Objekte beispielsweise über Berechnung von Merkmalsbeschreibungen der Objekte und Vergleich mit Referenzmerkmalsbeschreibungen. Die Objekte können prinzipiell beliebig ausgebildet sein, insbesondere handelt es sich hierbei um Verkaufsprodukte in dem Überwachungsbereich. Alternativ können die Objekte jedoch auch andere Produkte, wie zum Beispiel Werkzeuge, Verbrauchsmaterialien, Arzneimittel oder andere Lagerartikel in einem Lagerbereich sein. Alternativ kann das Objekt jedoch auch ein Pfandgut, wie z.B. Flaschen, Verpackungen etc., sein. Die Objekte sind vorzugsweise in Lageranordnungen, wie zum Beispiel Regalen oder dergleichen, regulär positioniert. Der Überwachungsbereich ist vorzugsweise als ein Lager- und/oder Verkaufsbereich, insbesondere eine Verkaufsfläche, beispielsweise eines Supermarktes, ausgebildet.
-
Die Überwachungseinrichtung weist ein Zuordnungsmodul auf, welches zur Zuordnung von mindestens einer Objektinformation einer Person ausgebildet und/oder geeignet ist. Beispielsweise kann das Zuordnungsmodul als weiteres Hardware- oder Softwaremodul der Überwachungseinrichtung ausgebildet sein. Insbesondere ist das Zuordnungsmodul ausgebildet, eine spezifische Objektinformation genau einer Person in den Überwachungsbildern zuzuordnen. Vorzugsweise ist diese personenbezogene Objektinformation dauerhaft und/oder eindeutig und/oder fest der genau einen Person zugeordnet und/oder zuordenbar. Das Zuordnungsmodul ist ausgebildet, die Überwachungsbilder mit den erkannten Person, welchen mindestens oder genau die eine Objektinformation zugeordnet ist, bereitzustellen.
-
Im Rahmen der Erfindung wird vorgeschlagen, dass die Überwachungseinrichtung ein Aktionserkennungsmodul aufweist, welches zur Erkennung einer Aktion der Person an einem der Objekte ausgebildet und/oder geeignet ist. Beispielsweise kann das Aktionserkennungsmodul als ein weiteres Hardware- oder Softwaremodul der Überwachungseinrichtung ausgebildet sein. Insbesondere ist das Aktionserkennungsmodul ausgebildet, Bewegungen und/oder Tätigkeiten der Person in den Überwachungsbildern zu analysieren und/oder auszuwerten, um eine Aktion die die Person an dem Objekt durchführt zu detektieren. Im Speziellen ist das Aktionserkennungsmodul ausgebildet, die Aktionen mit Methoden aus dem Bereich „Action Recognition“ zu erkennen. Das Zuordnungsmodul ist ausgebildet, der Person die mindestens eine Objektinformation eines Objekts zuzuordnen, wenn mindestens eine Aktionsbedingung bei einer Aktion an dem Objekt erfüllt ist. Insbesondere erfolgt eine Zuordnung der Objektinformation, wenn das Objekt durch das Objekterkennungsmodul erfasst und eine Aktion der erkannten Person zu gleicher Zeit und/oder im gleichen Bildbereich durch das Aktionserkennungsmodul an dem Objekt erkannt wird, welche eine Erfüllung der Aktionsbedingung zur Folge hat. Beispielsweise kann die Aktionsbedingung eine festgelegte Aktion der Person an dem Objekt und/oder eine aus der Aktion resultierende Änderung der Objektinformation sein. Vorzugsweise dient die zugeordnete Objektinformation zur Wiedererkennung der Person in unterschiedlichen Teilüberwachungsbereichen. Alternativ oder optional ergänzend kann die der Person zugeordnete Objektinformation jedoch auch zur Überwachung einer Objektverteilung in dem Überwachungsbereich dienen. Beispielsweise können die Objektinformationen hierzu einem Inventarisierungsmodul bereitgestellt sein.
-
Der Vorteil der Erfindung besteht somit darin, dass durch das Aktionserkennungsmodul eine Überwachung und/oder Wiedererkennung von Personen in dem Überwachungsbereich deutlich verbessert werden kann. Durch die Zuordnung von Objektinformationen, können die Personen mit zusätzlichen Identifikationsmerkmalen versehen werden, sodass beim Wiedererkennen und/oder zum Wiedererkennen der Personen nicht nur auf die Merkmale der realen Person zurückgegriffen werden kann, sondern auch die der einzelnen Person zugeordneten Objektinformationen hinzugezogen werden können. Der Erfindung liegt somit die Überlegung zugrunde, eine verbesserte Wiedererkennung von Personen in einem Überwachungsbereich zu ermöglichen.
-
In einer weiteren Ausgestaltung ist vorgesehen, dass die Überwachungseinrichtung ein Vergleichsmodul aufweist, welches zum Abgleich von einer der Person zugeordneten Objektinformationen aus mehreren unterschiedlichen, insbesondere mindestens zwei unterschiedlichen Teilüberwachungsbereichen ausgebildet und/oder geeignet ist. Beispielsweise kann das Vergleichsmodul als ein weiteres Hardware- oder Softwaremodul der Überwachungseinrichtung ausgebildet sein. Das Vergleichsmodul ist ausgebildet, eine Person bei einer Übereinstimmung der Objektinformationen aus mindestens zwei Teilüberwachungsbereichen in den Überwachungsbildern wiederzuerkennen. Dazu greift das Vergleichsmodul insbesondere auf die von dem Zuordnungsmodul bereitgestellten personenbezogenen Objektinformationen zu, um die in den mehreren Teilüberwachungsbereichen erkannten Personen unter Berücksichtigung der zugehörigen Objektinformationen miteinander zu vergleichen. Liegt eine Übereinstimmung oder ein Mindestmaß an Übereinstimmung vor, so kann die Person als wiedererkannt aufgefasst werden. Anstatt nur die gesuchte Person in den Bildern zu suchen, kann somit beispielsweise eine Übereinstimmung der zugehörigen Objektinformation als Hinweis und/oder Indiz für die wiederzuerkennende Person dienen.
-
In einer Konkretisierung ist vorgesehen, dass das Zuordnungsmodul ausgebildet ist, mehreren Personen unterschiedliche Objektinformationen aus einem oder mehreren Teilüberwachungsbereichen zuzuordnen. Insbesondere wird jeder Person mindestens oder genau eine personenbezogene Objektinformation zugeordnet, anhand derer die Person wiedererkannt werden kann. Das Vergleichsmodul ist ausgebildet, die Personen auf Basis der zugeordneten Objektinformationen miteinander zu vergleichen, wobei eine Person bei einer Übereinstimmung der zugeordneten Objektinformation wiedererkannt ist. Insbesondere gilt eine Person bei einer Übereinstimmung von mindestens einer, einigen oder allen der Person zugeordneten Objektinformationen in den Überwachungsbildern als wiedererkannt. Bevorzugt ist vorgesehen, dass mittels der Personenwiedererkennung eine Person in dem Überwachungsbereich und/oder in einem oder mehreren Teilüberwachungsbereichen getrackt und/oder verfolgt wird. Dabei kann die getrackte und/oder verfolgte Person als genau eine Person wiedererkannt werden, wenn die in den unterschiedlichen Teilüberwachungsbereichen erfassten zugehörigen Objektinformationen übereinstimmen und/oder identisch sind. Der Erfindung liegt somit die Aufgabe zugrunde, die der Person zugeordneten Objektinformationen zum Wiedererkennen der Person zu verwenden.
-
In einer weiteren Ausgestaltung ist vorgesehen, dass die Aktionsbedingung eine Aktion an dem Objekt umfasst, welche ein Mitführen des Objekts durch die Person über mindestens zwei unterschiedliche Teilüberwachungsbereich zur Folge hat. Insbesondere ist die Aktionsbedingung erfüllt, wenn die wiederzuerkennende Person sich seit längerer Zeit in der Nähe des Objekts befindet und/oder eine Handlung an dem Objekt durchführt und/oder sich mit dem Objekt bewegt. Beispielsweise ist die Aktionsbedingung erfüllt, wenn die Person eine Ware aus einem Regal entnimmt und/oder die Ware in einem mitgeführten Einkaufswagen oder Handkorb oder dergleichen ablegt. Insbesondere basiert die der Person zugeordnete Objektinformation somit auf einem eindeutig der Person zugeordneten und wiederkennbaren Objekt, welches durch die Person über mehrere Teilüberwachungsbereiche hinweg mitgeführt wird.
-
In einer weiteren Konkretisierung ist vorgesehen, dass die Objektinformation mindestens oder genau ein Positionsmerkmal des Objekts umfasst. Insbesondere ist das Objekterkennungsmodul ausgebildet, das Objekt basierend auf dem Positionsmerkmal in den Überwachungsbildern zu lokalisieren. Beispielsweise kann das Objekterkennungsmodul auf Basis des Positionsmerkmals eine Position und/oder eine Positionsänderung des Objekts in dem Überwachungsbereich detektieren. Alternativ oder optional ergänzend umfasst die Objektinformation mindestens oder genau ein Identifikationsmerkmal des Objekts. Insbesondere ist das Objekterkennungsmodul ausgebildet, das Objekt basierend auf dem Identifikationsmerkmal in den Überwachungsbildern zu identifizieren. Beispielsweise beschreibt das Identifikationsmerkmal eine Größe und/oder Form und/oder Farbe und/oder eine Art, z.B. Lebensmittel, Bekleidung etc., des Objekts. Somit wird eine Überwachungseinrichtung vorgeschlagen, welche sich durch eine besonders zuverlässige Erkennung von gleichen bzw. verschiedenen Objekten in unterschiedlichen Teilüberwachungsbereichen auszeichnet.
-
In einer weiteren Ausführung ist vorgesehen, dass das Zuordnungsmodul ausgebildet ist, mehrere Objektinformationen aus unterschiedlichen Teilüberwachungsbereichen einer Person in Abhängigkeit der Aktion mit den entsprechenden Objekten zuzuordnen. Insbesondere ist das Aktionserkennungsmodul ausgebildet, jedes Mal, wenn die Person eine die Aktionsbedingung erfüllende Aktion an einem Objekt durchführt, eine weitere zugehörige Objektinformation des entsprechenden Objektes der Person zuzuordnen. Bevorzugt können einer Person beliebig viele Objektinformationen in Abhängigkeit der Aktionen zugeordnet werden, anhand derer die Person eindeutig identifizierbar und/oder von anderen Personen unterscheidbar ist. Beispielsweise kann einer Person somit über die Dauer des Aufenthalts in dem Überwachungsbereich eine Vielzahl an Objektinformationen zugeordnet werden, sodass eine Wiedererkennung der Person in den unterschiedlichen Teilüberwachungsbereichen deutlich vereinfacht werden kann.
-
In einer Weiterbildung ist vorgesehen, dass das Personenerkennungsmodul ausgebildet ist, mindestens oder genau eine Personeninformation der erkannten Personen zu erfassen. Insbesondere ist die Überwachungsvorrichtung ausgebildet, die Person auf Basis der zugeordneten Objektinformation und der Personeninformation zu erkennen und/oder wiederzuerkennen. Insbesondere umfasst die Personeninformation ein personenbezogenes Merkmal oder ein mit der Person in Verbindung stehendes Merkmale, im Speziellen mindestens oder genau ein abstraktes Personenmerkmal der erkannten Person. Vorzugsweise ist das Personenerkennungsmodul ausgebildet, die Personeninnformationen der erkannten Person aus den Überwachungsbildern zu extrahieren. Das Personenerkennungsmodul ist ausgebildet, die Personeninformation zur Wiedererkennung der Person, insbesondere dem Vergleichsmodul, bereitzustellen. Insbesondere ist die Personeninformation ergänzend zu der Objektinformation durch das Vergleichsmodul analysierbar und/oder verwertbar.
-
Bevorzugt hat die Objektinformation eine höhere Priorität als die Personeninformation, wobei bei einer Übereinstimmung der Personeninformation und bei einer Abweichung der Objektinformation, die Person nicht oder nur teilweise wiedererkannt ist. Es wird somit eine Überwachungseinrichtung vorgeschlagen, welche sich durch eine besonders zuverlässige Wiedererkennung von Personen in unterschiedlichen Teilüberwachungsbereichen auszeichnet.
-
In einer weiteren konkreten Umsetzung ist vorgesehen, dass die Personeninformation ein Erscheinungsmerkmal und/oder ein Bekleidungsmerkmal und/oder ein Bewegungsmerkmal der Person umfasst. Insbesondere beschreibt das mindestens eine Erscheinungsmerkmal ein Geschlecht, Haarfarbe, Hautfarbe, Gesichtspunkte, Körpergröße, Körperbau etc. der Person. Insbesondere beschreibt das mindestens eine Bekleidungsmerkmal eine Kleidungsfarbe, Art des Bekleidungsstücks etc. der Person Insbesondere beschreibt das Bewegungsmerkmal eine Gangart, Bewegungsgeschwindigkeit, Bewegungsrichtung etc. der Person.
-
Einen weiteren Gegenstand der Erfindung bildet ein Verfahren zur Wiedererkennung von Personen in Überwachungsbildern. Dabei ist es vorgesehen, dass Personen in den Überwachungsbildern erkannt werden. Beispielsweise werden die Überwachungsbilder durch ein Kameranetzwerk mit mehreren, vorzugsweise mindestens oder genau zwei Kameras aufgenommen. In einem weiteren Schritt werden Objekte in den Überwachungsbildern erkannt, wobei bei der Erkennung der Objekte eine Objektinformation des erkannten Objekts ermittelt wird. Insbesondere werden die Objektinformationen von regulär in dem Überwachungsbereich angeordneten Objekten erfasst. In einem weiteren Schritt wird eine Aktion der Person an einem Objekt erkannt, wobei bei Erfüllung einer Aktionsbedingung eine Objektinformation des Objekts der Person zur Wiedererkennung zugeordnet wird. Insbesondere wird die Objektinformation der Person dauerhaft oder zumindest für die Dauer des Aufenthalts der Person in dem Überwachungsbereich zugeordnet. Besonders bevorzugt können der Person mehrere Objektinformationen von gleichen, unterschiedlichen oder ähnlichen Objekten zugeordnet werden, wenn die Aktionsbedingung bei einer Aktion mit den jeweiligen Objekten erfüllt wird.
-
Bevorzugt werden die zugeordneten Objektinformationen aus mehreren unterschiedlichen Teilüberwachungsbereichen abgeglichen, wobei bei einer Übereinstimmung der zugeordneten Objektinformationen aus mindestens zwei verschiedenen Teilüberwachungsbereichen eine Person in einigen oder allen Überwachungsbildern wiedererkannt wird. Insbesondere werden die zugeordneten Objektinformationen hierzu in mindestens oder genau zwei, vorzugsweise in allen Teilüberwachungsbereichen des Überwachungsbereichs erfasst. Insbesondere wird eine in den Überwachungsbildern erkannte Person wiedererkannt, wenn die zugehörigen Objektinformationen zumindest aus einem ersten Teilüberwachungsbereich mit den zugehörigen Objektinformationen aus einem zweiten Teilüberwachungsbereich übereinstimmen.
-
In einem weiteren Verfahrensschritt, können eine oder mehrere Personeninformationen, z.B. spezifische Personenmerkmale der detektierten Person, von einer Person aus den Überwachungsbildern extrahiert und zur Wiedererkennung der Person bereitgestellt werden. Insbesondere können die Personeninformationen bei der Personenwiedererkennung zusätzlich zu der Objektinformation hinzugezogen werden, um die Person in den Überwachungsbildern zu identifizieren und/oder wiederzuerkennen.
-
Bevorzugt ist das Verfahren ausgebildet, die Person basierend auf einer Übereinstimmung der Objektinformationen und/oder der Personeninformationen aus mindestens zwei verschiedenen Teilüberwachungsbereichen in den Überwachungsbildern zu verfolgen. Vorzugsweise wird die Person in den Überwachungsbildern wiedererkannt, wenn zumindest eine zugehörige Objektinformation aus mindestens zwei verschiedenen Teilüberwachungsbereichen übereinstimmt. Insbesondere werden die Personen in den Überwachungsbildern automatisch detektiert und über die Zeit verfolgt und/oder getrackt. Somit kann eine Person eindeutig und nahtlos über die Gesamtheit des Kameranetzwerkes verfolgt und identifiziert werden.
-
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, wobei das Computerprogramm ausgebildet ist, das Verfahren zur Wiedererkennung von Personen durchzuführen, wenn das Computerprogramm auf einem Rechner, einer Prozessoreinheit oder der Überwachungseinrichtung ausgeführt wird.
-
Einen weiteren Gegenstand der Erfindung bildet ein Speichermedium, wobei das Speichermedium das Computerprogramm wie vorher beschrieben umfasst.
-
Einen weiteren Gegenstand der Erfindung bildet eine vorstehend bereits beschriebene Überwachungseinrichtung zur Wiedererkennung von Personen in Überwachungsbildern, wobei die Überwachungseinrichtung vorzugsweise ausgebildet ist, das beschriebene Verfahren auszuführen.
-
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
- 1 eine schematische Darstellung einer Überwachungsanlage mit einer Überwachungseinrichtung als ein Ausführungsbeispiel der Erfindung;
- 2 die Überwachungsanlage aus 1 in einer schematischen Blockdarstellung;
- 3 Verfahrensschritte eines Verfahrens in einer schematischen Darstellung.
-
1 zeigt in einer stark schematisierten Darstellung eine Überwachungsanlage 1, welche zu Überwachung eines Überwachungsbereichs 2 dient. Die Überwachungsanlage 1 weist ein Kameranetzwerk 3 auf, das ausgebildet ist, den Überwachungsbereich 2 videotechnisch zu überwachen. Hierzu weist das Kameranetzwerk 3 mehrere Kameras 3a, b auf, welche beispielsweise als Videokameras, vorzugsweise als Farbkameras, ausgebildet sind. Beispielsweise ist der Überwachungsbereich 2 durch eine Verkaufsfläche gebildet, wobei die Kameras 3a, b an unterschiedlichen Positionen installiert sein können, um unterschiedliche Teilüberwachungsbereiche 2a, b des Überwachungsbereichs 2 zu überwachen.
-
In dem Überwachungsbereich 2 befinden sich Personen 4, die sich dort frei bewegen können. Die Personen 4 werden mittels der Kameras 3a, b ebenfalls videotechnisch überwacht. Die Kameras 3a, b bilden dabei den jeweiligen Teilüberwachungsbereich 2a, b in Form von Überwachungsbildern 6a, b ab, wobei die Kameras 3a, b die Überwachsungsbilder 6a, b als Videosequenzen zur Verfügung stellen.
-
Die Überwachungsanlage 1 weist eine Überwachungseinrichtung 5 auf, welche ausgebildet ist, die Überwachungsbilder 6a, b der Kameras 3a, b zu analysieren und/oder zu verarbeiten. Hierzu können die Kameras 3a, b kabellos oder kabelgebunden mit der Überwachungseinrichtung 5 verbunden sein. Die von den Kameras 3a, b aufgenommenen Überwachungsbilder 6a, b werden somit an die Überwachungseinrichtung 5 gleitet und dort verarbeitet.
-
In dem Überwachungsbereich 2 ist eine Lageranordnung 7, z.B. mehrere Regale, angeordnet, in welcher Objekte 8, z.B. verschiedenartige Produkte, eingeordnet sind. Bei den Objekten 8 handelt es sich insbesondere um verkäufliche Artikel, welche ordnungsgemäß in der Lageranordnung 7 einsortiert sind.
-
Bei der videotechnischen Überwachung von Verkaufsflächen oder dergleichen spielt die Wiedererkennung von Personen 4 eine wichtige Rolle. Da die dabei eingesetzten Kameras 6a, b in der Regel eine große Fläche abdecken müssen, ist die Auflösung einer einzelnen Person 4 gering und die Nutzung von Verfahren mit Gesichtserkennung ist nicht möglich. Zudem erschwert die hohe Varianz einer Person 4 in unterschiedlichen Kameras 6a, b, z.B. durch Beleuchtungsunterschiede, unterschiedliche Ansichten und Kamerawinkel, etc., die Wiedererkennung der Person 4 in den Überwachungsbildern 6a, b. Es sind Algorithmen aus der Domäne der künstlichen Intelligenz bekannt, deren Wiedererkennungsleistung über die Anzahl an Trainings-Beispielen verbessert werden. Aufgrund von Datenschutzrichtlinien ist es allerdings schwer bis nahezu unmöglich an eine ausreichende Menge an Daten zu gelangen.
-
Es wird daher eine Ausweitung der aktuellen Verfahren zur erscheinungsbasierten Personenwiedererkennung durch den Einsatz von Domänenwissen vorgeschlagen. Hierzu werden die Besonderheiten der Gegebenheiten in Fachmärkten, wie z.B. Supermarkt, Baumarkt, Bekleidungsmarkt, Schuhladen, Textilmarkt, Fahrzeugteilemarkt, etc., direkt in die Analysemethoden integriert, anstatt sich auf die Untersuchung der Erscheinung jeder einzelnen Person 4 zu beschränken.
-
Die Überwachungseinrichtung 5 ist dabei ausgebildet, Personen 4 in den Überwachungsbildern 6a, b der mehreren Kameras 3a, b basierend auf einer der Person 4 zugeordneten Objektinformation wiederzuerkennen. Während heutige Algorithmen jede Person 4 für sich betrachten, erfolgt bei diesem Ansatz eine Erweiterung auf die mit einer Person 4 in Verbindung stehende Objekte 8 und Aktionen in dem Überwachungsbereich 2. Dabei ist die Überwachungseinrichtung 5 ausgebildet, die Objekte 8 in den Überwachungsbildern 6a, b zu erkennen und für jedes der Objekte 8 eine zugehörige Objektinformation zu ermitteln.
-
Die weitere Verarbeitung der Überwachungsbilder 6a, b und der Objektinformationen wird anhand der 2 erläutert, welche eine schematische Blockdarstellung der Überwachungsanlage 1 als ein Ausführungsbeispiel der Erfindung zeigt.
-
Ausgehend von den Kameras 3a, b werden die Überwachungsbilder 6a, b in die Überwachungseinrichtung 5 gleitet, wo sie an eine Personenerkennungsmodul 9 übergeben werden. Das Personenerkennungsmodul 9 ist unter anderem dazu ausgebildet, die Überwachungsbilder 6a, b auf Personen 4 zu prüfen und gefundene Personen 4 als solche zu erkennen. Beispielsweise kann das Personenerkennungsmodul 9 die Überwachungsbilder 6a, b auf bestimmte Charakteristika analysieren und basierend auf einem Regelwerk bewerten ob etwas eine Person 4 oder eine Sache ist. Alternativ oder ergänzend können die Personen 4 jedoch auch manuell durch einen Benutzer in den Überwachungsbildern 6a, b ausgewählt.
-
Die Überwachungseinrichtung 5 weist ein Objekterkennungsmodul 10 auf, wobei dem Objekterkennungsmodul 10 ebenfalls die Überwachungsbilder 6a, b bereitgestellt sind. Beispielweise kann das Objekterkennungsmodul 10 mittels digitaler Bildverarbeitungsalgorithmen, insbesondere einer Videoinhaltsanalyse die Objekte 8 in den Überwachungsbildern 6a, b erkennen. Bei der Erkennung der Objekte 8 wird zugleich eine Objektinformation ermittelt, wobei die Objektinformation ein Positionsmerkmal und/oder ein Identifikationsmerkmal des Objekts 8 umfassen kann. Das Objekterkennungsmodul 10 ist ausgebildet, auf Basis des Positionsmerkmals eine Position des entsprechenden Objekts 8 in dem Überwachungsbereich 2 zu bestimmen und/oder auf Basis des Identifikationsmerkmals das Objekt 8 zu identifizieren.
-
Ferner weist die Überwachungseinrichtung 5 ein Aktionserkennungsmodul 11 auf, wobei das Aktionserkennungsmodul 11 ausgebildet ist, eine Aktion der erkannten Person 4 in dem Überwachungsbereich 2 zu erkennen. Insbesondere dient das Aktionserkennungsmodul 11 dazu, eine Aktion der Person 4 an den Objekten 8 zu erkennen. Beispielsweise können die durch die Person 4 durchgeführten Aktionen durch das Aktionserkennungsmodul 11 mit bekannten Methoden aus dem Bereich „Action Recognition“ erkannt werden.
-
Die Überwachungseinrichtung 5 weist ein Zuordnungsmodul 12 auf, welches datentechnisch mit dem Objekterkennungsmodul 10 und mit dem Aktionserkennungsmodul 11 verbunden ist. In dem Zuordnungsmodul 12 ist mindestens eine Aktionsbedingung für die durch die Personen 4 durchgeführten Aktionen hinterlegt, wobei das Zuordnungsmodul 12 ausgebildet ist, der Person eine Identifikationsinformation zuzuordnen, wenn die Aktionsbedingung erfüllt ist. Insbesondere ist die Identifikationsinformation durch die Objektinformation des Objekts 8 definiert. Beispielsweise ist die Aktionsbedingung durch eine Aktion der Person 4 definiert, welche ein Mitführen des Objekts 8 dauerhaft und/oder größtenteils in einem festgelegten Umfeld zu der Person 4 zur Folge hat. Somit sind die Objektinformationen als Informationen zu verstehen, welche eindeutig einem mit der Person 4 in Verbindung stehenden Objekt 8 zugeordnet werden können.
-
Die Aktionsbedingung kann erfüllt sein, wenn die Person 4 ein Objekt 8, z.B. eine Ware, aus der Lageranordnung 7 entnimmt und von dem ersten in den zweiten Teilüberwachungsbereich 2a, b mitführt. Da die Position des Objekts 8 in dem Überwachungsbereich 2 bekannt ist, kann auch das gewählte und mitgeführte Objekt 8 erkannt und als Identifikationsinformation der Person 4 zugeordnet werden. Beispielsweise kann hierzu ein auf Deep-Learning-Methoden basierender Klassifikationsalgorithmus verwendet werden. Insbesondere können der Person 4 über die Dauer des gesamten Aufenthalts in dem Überwachungsbereich 2 beliebig viele Identifikationsinformationen zugeordnet werden. Beispielsweise werden der Person 4 beim Einkaufen nach und nach immer mehr Identifikationsinformationen hinzugefügt.
-
Die zugeordneten Identifikationsinformationen, insbesondere Objektinformationen, werden anschließend zusammen mit den Überwachungsbildern einem Vergleichsmodul 13 zur Verfügung gestellt. Ferner kann das Personenerkennungsmodul 9 ausgebildet sein, eine oder mehrere Personeninformationen der Personen 4 zu extrahieren und diese als weitere Identifikationsinformation dem Vergleichsmodul 13 bereitzustellen. Das Vergleichsmodul 13 ist ausgebildet, die Identifikationsinformationen aus den Überwachungsbildern 6a, b des ersten und des zweiten Teilüberwachungsbereichs 2a, b miteinander zu vergleichen, wobei bei einer Übereinstimmung der Identifikationsinformationen, eine Person 4 in unterschiedlichen Überwachungsbildern 6a, b als dieselbe Person wiedererkannt wird.
-
Es wird somit eine verbesserte Wiedererkennung von Personen 4 vorgeschlagen, welcher über die erscheinungsbasierte Wiedererkennung hinaus Zusatzinformationen berücksichtigt. Dabei bietet dieser Ansatz einen entscheidenden Vorteil gegenüber dem bloßen Sammeln von Daten, da durch die Ergänzung von zusätzlichen Identifikationsinformationen die Wiedererkennung von Personen 4 signifikant verbessert werden kann.
-
Nachfolgend wird anhand von beispielhaften Szenarien die Erfassung und Anwendung unterschiedlicher Identifikationsinformationen beschrieben. In einem möglichen Ausführungsbeispiel wählt eine Person 4, z.B. Kunde, ein oder mehrere Objekte 8 aus der Lageranordnung 7 aus, wobei das Aktionserkennungsmodul 11 eine Aktion an dem Objekt erkennt und die zugehörige Objektinformation bei Erfüllung der Aktionsbedingung der Person 4 durch das Zuordnungsmodul 12 zugeordnet wird.
-
Beispielsweise kann der Person 4 eine Identifikationsinformation zugeordnet werden, wenn die Person 4 einen Einkaufswagen mit Lebensmittel, z.B. Obst, Milchtüten, etc., füllt. Dabei kann an der Kasse eine Wiedererkennung der Person 4 basierend auf den mitgeführten Lebensmitteln erfolgen, wobei die auf das Band gelegten Objekte 8 auf Basis der zugehörigen Objektinformationen als die verschiedenen Lebensmittel erkannt werden, die zuvor in den Einkaufswagen gelegt wurden.
-
Alternativ kann die Identifikationsinformation oder optional eine weitere Identifikationsinformation der Person 4 zugeordnet werden, wenn die Person 4 an einer Selbstbedienungstheke, wie z.B. in Backshops oder Selbstbedienungs-Bäckereien, ihre Waren selbst aussucht und entnimmt. Da ein Zurücklegen der Objekte 8 selten vorkommt bzw. nicht erlaubt ist, kann die Objektinformation der entnommenen Ware ebenfalls an der Kasse zur Wiedererkennung verwendet werden.
-
Alternativ kann die Identifikationsinformation oder optional eine weitere Identifikationsinformation der Person 4 zugeordnet werden, wenn die Person 4 ein Pfandgut abgibt und dafür einen Bon erhält. An der Kasse gibt die Person 4 diesen Bon ab, wobei diese Information als zusätzlicher Input für die Wiedererkennung genutzt werden kann.
-
Alternativ kann die Identifikationsinformation oder optional eine weitere Identifikationsinformation der Person 4 zugeordnet werden, wenn sich die Person 4 in oder außerhalb einer zugangsbeschränkten Zone, z.B. Kassenbereich oder ein Bereich hinter einem Tresen, des Überwachungsbereichs 2 befindet und/oder über einen längeren Zeitraum aufhält. Beispielweise haben nur Mitarbeiter Zutritt zu dieser Zone, sodass eindeutig zwischen Kunden und Mitarbeitern unterschieden werden kann. Beispielsweise kann diese Identifikationsinformationen als zusätzliches Merkmale für die Wiedererkennung hinzugezogen werden. Zudem könnten in den zugangsbeschränkten Zonen befindliche Mitarbeiter beispielsweise automatisch aus den Überwachungsbildern 6a, b entfernet werden, um den Datenschutz der Mitarbeiter zu erhöhen.
-
Alternativ kann die Identifikationsinformation oder optional eine weitere Identifikationsinformation der Person 4 zugeordnet werden, wenn die Person 4 ein Objekt 8 mit einer eindeutig unterscheidbaren und/oder einzigartigen Objektinformation, z.B. ein Artikel mit markanten Abmessungen, Farben und/oder geringerer Nachfrage, auswählt. Nimmt die Person 4 z.B. einen Zementsack aus der Lageranordnung 7 ist nach Scannen des Artikels an der Kasse sofort bekannt, dass es sich mit sehr hoher Wahrscheinlichkeit um die Person 4 handelt, die in der Bauabteilung war und nicht um die Person 4, die nur durch die Sanitärabteilung gelaufen ist. Somit können Mehrdeutigkeiten bei unterschiedlichen Personen 4 stark reduziert werden.
-
3 zeigt in einer schematischen Darstellung einen Verfahrensablauf für ein Verfahren zur Wiedererkennung von Personen 4 in den Überwachungsbildern 6a, b. Dabei wird in einem ersten Verfahrensschritt V1 eine Person 4 in den Überwachungsbildern 6a, b ausgewählt, die wiedererkannt werden soll. Die Auswahl kann dabei automatisch z.B. mit einem trainierten Detektor oder manuell durch den Benutzer bei gleichzeitiger Aufzeichnung des Videomaterials erfolgen. Um eine effiziente Suche zu ermöglichen, können zusätzlich auch die bei der Videoanalyse berechneten Ergebnisse als Metadaten abgespeichert werden.
-
In einem zweiten Verfahrensschritt V2 werden die Aktionen, die die Person 4 im Laden durchführt erkannt und mit einer hinterlegten Aktionsbedingung abgeglichen. Beispielsweise können die Aktionen mittels Methoden aus dem Bereich „Action-Recognition“ erkannt werden. Beispielsweise ist die Aktionsbedingung erfüllt, wenn die Person 4 eine Objekt 8 nimmt und über einen längeren Zeitraum mit sich führt.
-
Bei einer Erfüllung der Aktionsbedingung, wird der Person 4 in einem dritten Verfahrensschritt V3 eine entsprechende Objektinformation des mitgeführten Objekts 8 zugeordnet, anhand derer die Person 4 wiedererkannt werden kann. Je nach Anzahl der mitgeführten Objekte 8 können der Person 4 somit nach und nach immer mehr Identifikationsinformationen hinzugefügt werden, die die Wiedererkennung immer weiter vereinfachen.
-
In einem vierten Verfahrensschritt V4 werden die Überwachungsbilder 6a, b miteinander verglichen, wobei eine Person 4 in den Überwachungsbildern 6a, b wiedererkannt wird, wenn die der Person 4 zugeordneten Identifikationsinformationen miteinander übereinstimmen. Anstatt nur auf die Personeninformationen, z.B. unten grüner Stoff (Hose) und oben blauer Stoff (Shirt), der Person 4 zu achten, werden zusätzlich auf Basis der Objektinformationen die mitgeführten Objekte 8 erkannt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008001126 A1 [0003]
