DE102021202294A1 - Verfahren, Computerprogramm, Speichermedium, Personendetektor und Überwachungsanordnung zur Personenerkennung - Google Patents

Verfahren, Computerprogramm, Speichermedium, Personendetektor und Überwachungsanordnung zur Personenerkennung Download PDF

Info

Publication number
DE102021202294A1
DE102021202294A1 DE102021202294.4A DE102021202294A DE102021202294A1 DE 102021202294 A1 DE102021202294 A1 DE 102021202294A1 DE 102021202294 A DE102021202294 A DE 102021202294A DE 102021202294 A1 DE102021202294 A1 DE 102021202294A1
Authority
DE
Germany
Prior art keywords
surveillance area
person
restricted
image data
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021202294.4A
Other languages
English (en)
Inventor
Gregor Blott
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021202294.4A priority Critical patent/DE102021202294A1/de
Priority to PCT/EP2022/055299 priority patent/WO2022189231A1/de
Priority to EP22713340.2A priority patent/EP4305610A1/de
Publication of DE102021202294A1 publication Critical patent/DE102021202294A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18Prevention or correction of operating errors
    • G08B29/185Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186Fuzzy logic; neural networks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Abstract

Verfahren zur domänenspezifischen Personenerkennung, wobei ein Überwachungsbereich 1 mittels einer oder einer Mehrzahl an Kameras 2a, b, c, d überwacht wird, wobei die Kameras 2a, b, c, d jeweils für einen Überwachungsbereichsabschnitt 3a, b, c, d Bilddaten bereitstellen, wobei ein Personendetektor in einem Detektionsmodus und in einem Adaptionsmodus betreibbar ist, wobei der Personendetektor zum Analysieren der Bilddaten und zum Erkennen von Personen in dem Überwachungsbereich 1 einen auf einem Ursprungsmodell basierenden Machine-Learning-Algorithmus aufweist, wobei für den Adaptionsmodus der Überwachungsbereich 1 temporär zu einem beschränkten Überwachungsbereich 4 eingeschränkt wird, wobei von dem beschränkten Überwachungsbereich 4 die Bilddaten aufgenommen werden, wobei basierend auf den Bilddaten des beschränkten Überwachungsbereichs 4 eine Domänenanpassung des Ursprungsmodell zu einem Anwendungsmodell erfolgt, wobei in dem Detektionsmodus der auf das Anwendungsmodell adaptierte Machine-Learning-Algorithmus zur Analyse der Bilddaten, zur Personendetektion und/oder Personenverfolgung angewendet wird

Description

  • Stand der Technik
  • Die Erfindung betrifft ein Verfahren zur domänenspezifischen Personenerkennung und/oder Personenwidererkennung, wobei ein Überwachungsbereich mit einer Mehrzahl an Kameras überwacht wird und die Kameras für einen Überwachungsbereichsabschnitt jeweils Bilddaten bereitstellen.
  • Methoden der bildbasierten bzw. videobasierten Personenerkennung und/oder Verfolgung finden in vielen Bereichen des täglichen Lebens Einsatz. Insbesondere findet eine solche Personenerkennung auch im Einzelhandelsbereich Anwendung, beispielsweise zur Analyse von Besucherströmen, zum Diebstahlschutz und/oder zur Vandalismusvermeidung. Häufig basieren derartige Methoden auf Algorithmen des Machine Learning (dt. Machinelles Lernen), wobei zur sicheren Anwendung riesige Datenmengen benötigt werden, um den jeweiligen Algorithmus auf richtige Merkmale zur Wiedererkennung zu trainieren.
  • Die Druckschrift DE 10 2019 205 221 A1 , die wohl den nächstkommenden Stand der Technik bildet, beschreibt eine Anonymisierungseinrichtung zur Generierung anonymisierter Bilder. Hierzu wird ein Überwachungsbereich mit einer Kamera videotechnisch überwacht und es werden Überwachungsbilder bereitgestellt. Ein Bearbeitungsmodul ist ausgebildet, die bereitgestellten Bilder basierend auf einem erzeugenden generischen Netzwerk zu anonymisieren.
  • Offenbarung der Erfindung
  • Die Erfindung betrifft ein Verfahren zur domänenspezifischen Personenerkennung mit den Merkmalen des Anspruchs 1. Ferner betrifft die Erfindung ein Computerprogramm, ein maschinenlesbares Speichermedium mit dem Computerprogramm einen Personendetektor und eine Überwachungsanordnung. Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.
  • Die Erfindung betrifft ein Verfahren zur Personenerkennung und/oder Personenwidererkennung, insbesondere zur domänenspezifischen Personenerkennung. Als domänenspezifisch wird insbesondere verstanden, Personen zu erkennen und/oder zu verfolgen, die sich in einer Szene, Umgebung und/oder vor einem Hintergrund aufhalten, wobei die Szene, der Hintergrund und/oder die Umgebung sowie Kamerabilder einer anderen Kamerapose als Domäne verstanden werden. Das Verfahren dient der Erkennung und/oder Verfolgung von Personen vor Szenerien, Hintergründen und/oder Umgebungen, die veränderlich, unübersichtlich und/oder uneinheitlich sind. Die Personenerkennung bildet insbesondere eine bildbasierte und/oder videobasierte Personenerkennung. Die Personenerkennung ist zur Überwachung eines Überwachungsbereiches ausgebildet. Insbesondere ist das Verfahren zur Personenerkennung im Überwachungsbereichteilsbereich, im Einzelhandel und/oder in Geschäften ausgebildet. Insbesondere kann die Personenerkennung das Analysieren und/oder Detektieren von Besucherströmen, Diebstählen und/oder Vandalismus umfassen.
  • Ein Überwachungsbereich wird mit einer oder einer Mehrzahl an Kameras überwacht. Insbesondere sind mindestens zehn, vorzugsweise mindestens fünfzig Überwachungskameras zu Überwachung des Überwachungsbereichs angeordnet. Die Kameras bilden und/oder sind Teil eines Kameranetzwerkes. Die Kameras sind ausgebildet, jeweils Bilddaten bereitzustellen. Die Bilddaten umfassen jeweils Aufnahmen, Bilder und/oder Videos des von der jeweiligen Kamera überwachten und/oder aufgenommenen Abschnitts. Die Kameras sind ausgebildet jeweils einen Überwachungsbereichsabschnitt aufzunehmen und/oder zu überwachen, insbesondere dafür Bilddaten bereitzustellen. Die Überwachungsbereichsabschnitte sind vorzugsweise mindestens paarweise überlappend. Alternativ können die Überwachungsbereichsabschnitte überlappungsfrei und eine Kombination von überlappungsfrei und überlappend darstellen.
  • Die Bilddaten sind einem Personendetektor bereitgestellt. Der Personendetektor kann ein Softwaremodul oder ein Hardwaremodul bilden. Der Personendetektor weist einen Detektionsmodus und einen Adaptionsmodus auf. Insbesondere kann zwischen dem Detektionsmodus und Adaptionsmodus gewechselt werden. Insbesondere bildet der Detektionsmodus den Modus zur dauerhaften und/oder routinemäßigen Überwachung des Überwachungsbereiches und/oder zur Personenerkennung im Einsatz. Der Adaptionsmodus ist insbesondere ausgebildet, den Personendetektor auf die jeweilige Anwendung zu adaptieren, zu trainieren und/oder feinzujustieren. Der Adaptionsmodus kann beispielsweise nach einer Installierung und/oder Montage der Kameras und/oder Inbetriebnahme des Personendetektors ausgeführt werden. Alternativ und/oder ergänzend wird der Adaptionsmodus wiederholt eingesetzt sein, beispielsweise zur zyklischen Verbesserung und/oder Anpassung des Personendetektors.
  • Der Personendetektor ist zum Analysieren der Bilddaten ausgebildet. Durch das Analysieren der Bilddaten durch den Personendetektor werden Personen im Überwachungsbereich erkannt, verfolgt und/oder bestimmt. Das Analysieren der Bilddaten durch den Personendetektor erfolgt basierend auf einem ML-Algorithmus (Machine Learning). Insbesondere wird als ML-Algorithmus ein Deep-Learning-Algorithmus, beispielsweise basierend auf einem neuronalen Netz, verstanden. Der ML-Algorithmus ist ausgebildet, basierend auf den Bilddaten und/oder in den Bilddaten Merkmale, insbesondere Personenmerkmale, zu detektieren und zu klassifizieren. Das Ursprungsmodell ist beispielsweise als eine ursprüngliche bzw. initiale Konzeption und/oder trainiertes neuronales Netz zu verstehen. Beispielsweise ist das Ursprungsmodell einem Labor und/oder beim Hersteller trainiertes und/oder implementiertes Modell zur Personenerkennung, insbesondere Verfolgung, basierend auf Bilddaten. Das Ursprungsmodell bildet im Speziellen die Basis des neuronalen Netzes. Insbesondere ist der Personendetektor zum Analysieren der Bilddaten und/oder Erkennen von Personen kameraübergreifend und/oder zum Verfolgen von Personen über die Überwachung Bereichsabschnitte hinweg ausgebildet.
  • Für und/oder während des Adaptionsmodus wird der Überwachungsbereich temporär zu einem beschränkten Überwachungsbereich eingeschränkt. Beispielsweise wird der Überwachungsbereich für die Dauer des Adaptionsmodus zu dem beschränkten Überwachungsbereich eingeschränkt. Der beschränkte Überwachungsbereich bildet insbesondere eine Teilmenge des Überwachungsbereichs. Der beschränkte Überwachungsbereich ist insbesondere zur gezielten und/oder einschränkenden Bewegungssteuerung der Personen im Überwachungsbereich ausgebildet. Beispielsweise ist der beschränkte Überwachungsbereich ausgebildet, dass Personen sich lediglich im beschränkten Überwachungsbereich bewegen können und/oder wollen. Insbesondere ist der beschränkte Überwachungsbereich eine Teilmenge der Überwachungsbereichsabschnitte. Der beschränkte Überwachungsbereich dient der Nachverfolgbarkeit, Ordnung und/oder Führung der Personen, insbesondere um diese kameraübergreifend und/oder Überwachungsbereichsabschnittsübergreifend eindeutig verfolgen zu können und/oder analysieren zu können. Insbesondere beträgt die Fläche des beschränkte Überwachungsbereich maximal 70 %, im Speziellen maximal 50%, insbesondere maximal 40 % der Fläche des Überwachungsbereichs. Im Adaptionsmodus werden von dem beschränkten Überwachungsbereich durch die Kameras Bilddaten aufgenommen und/oder bereitgestellt. Die Bilddaten zeigen den oder einen Abschnitt des beschränkten Überwachungsbereichs. Basierend auf den Bilddaten des beschränkten Überwachungsbereichs wird das Ursprungsmodell nachtrainiert, adaptiert, feinjustiert, angepasst und/oder domänenangepasst. Das Ursprungsmodell wird so zu einem Anwendungsmodell. Insbesondere das Ursprungsmodell, im Speziellen Labormodell, zu dem Anwendungsmodell nachtrainiert, feinjustiert, an den Überwachungsbereich und/oder Einsatz angepasst, wobei das Ursprungsmodell und/oder Labormodell an die Anwendung, die Domäne, die Gegebenheiten vor Ort angepasst wird. Beispielsweise wird das Ursprungsmodell an Montageparameter der Kameras, beispielsweise Montagehöhe, Kameraparameter, Netzdichte, Hintergrund, Szenerie und/oder Objektvielfalt angepasst. Das Domänenanpassen kann insbesondere online erfolgen, beispielsweise zum Nachtrainieren auf Ressourcen (Rechnernetz) des Herstellers.
  • Im Detektionsmodus wird der ML-Algorithmus basierend auf dem Anwendungsmodell ausgeführt und/oder der ML-Algorithmus an das Anwendungsmodell adaptiert und/oder angepasst. Im Detektionsmodus wird der ML-Algorithmus, insbesondere zusammen mit dem Anwendungsmodell, zur Analyse der Bilddaten, insbesondere der Bilddaten des uneingeschränkten Überwachungsbereichs und/oder der Überwachungsbereichsabschnitte angewendet. Durch die Analyse und/oder durch die Anwendung des ML-Algorithmus zusammen mit dem Anwendungsmodell erfolgt eine Personendetektion, beispielsweise Wiedererkennung, und/oder eine kameraübergreifende Personenverfolgung. Der ML-Algorithmus adaptiert an das Anwendungsmodell erweitert den labortrainierten und/oder implementierten Ursprungsmodell zu dem Anwendungsmodell, welches spezifisch und/oder angepasst an die Anwendungen, Szenerie und/oder den Umgebungsbereich ist.
  • Die Erfindung basiert auf der Überlegung, dass ein Ursprungsmodell zur Personenerkennung in einem Überwachungsbereich bei einem Kunden und/oder Anwender an die Umgebung adaptiert und/oder domänenspezifisch feinjustiert werden muss, wobei durch ein einschränken des Überwachungsbereich auf einen beschränkten Überwachungsbereich ein einfaches, gezieltes, gesteuertes und ressourcenschonendes Nachtrainieren und/oder Feinjustieren möglich ist. Durch gezielte Steuerung von Objektbewegungen und/oder Personenbewegungen auf einen beschränkten Überwachungsbereich können Grundannahmen zur Personenbewegung bei dem Nachtrainieren bzw. Adaptieren angewendet werden. Insbesondere ist es möglich, alle benötigten Ansichten und/oder Parameter durch Festlegung des beschränkten Überwachungsbereichs zum nachtrainieren bereitzustellen. Ferner wird so eine verbesserte Zuordnung durch eine Ground Truth ermöglicht.
  • Insbesondere ist es vorgesehen, dass der Überwachungsbereich zur Vorgabe einer Solltrajektorie für Personen zum beschränkten Überwachungsbereich eingeschränkt ist. Mit anderen Worten ist der beschränkte Überwachungsbereich ausgebildet und/oder eingerichtet, Personen entlang der Solltrajektorie zu führen, wobei die Solltrajektorie einen zweidimensionalen Weg oder Pfad beschreibt. Der Überwachungsbereich ist beispielsweise so zum beschränkten Überwachungsbereich eingeschränkt, dass Personen im Überwachungsbereich einem vorgegebenen Weg bzw. der Solltrajektorie folgen müssen, sodass die Personen gezielt die Überwachungsbereichsabschnitte bewegt und/oder kameraübergreifend verfolgbar ist. Die Nachverfolgbarkeit, ein Verschwinden und/oder Erscheinen von Personen in den Überwachungsbereichsabschnitten kann so gesteuert, geregelt und/oder vorgegeben werden. Insbesondere ist der beschränkte Überwachungsbereich ausgebildet, frei von Verzweigungen zu seien, beispielsweise, dass sich die Solltrajektorie und/oder Personenströme nicht teilen, zusammenfließen oder vermischen. Diese Ausgestaltung basiert auf der Überlegung, dass durch die Vorgabe einer Solltrajektorie gezielt und effizient das Ursprungsmodell zu dem Anwendungsmodell feinjustiert, adaptiert und/oder nachtrainiert werden kann.
  • Besonders bevorzugt ist es, dass der beschränkte Überwachungsbereich und/oder die Solltrajektorie Veränderungspunkte umfasst, definiert und/oder festlegt. Veränderungspunkte sind insbesondere Teil des Überwachungsbereichs und/oder des beschränkten Überwachungsbereichs. An Veränderungspunkten werden Personen angeregt, geführt und/oder ihnen wird vorgegeben eine Richtungsänderung und/oder eine Ansichtsschwenkung durchzuführen. Beispielsweise sind Veränderungspunkte Knickpunkte, Kurvenbereiche und/oder Wegpunkte an denen Personen sich drehen, schwenken, abbiegen, wenden oder Bewegungsrichtung ändern müssen. Richtungsänderung meint beispielsweise die Änderung der Personenbewegung, beispielsweise links abbiegen oder rechts abbiegen. Eine Ansichtsschwenkung ist vorzugsweise als eine Drehung und/oder Schwenkung einer Person um eine Längsachse und/oder Höhe zu verstehen, insbesondere als ein Schwenken des Kopfes und/oder der Blickrichtung. Durch die Ansichtsschwenkung und/oder Richtungsänderung erlaubt der beschränkte Überwachungsbereich und/oder der Veränderungspunkt das Personen in den Bilddaten und/oder Kameras aus unterschiedlichen und/oder spezifisch gewählten Ansichten zu sehen sind, beispielsweise von vorne, von hinten und/oder seitlich.
  • Im Speziellen ist es vorgesehen, dass der beschränkte Überwachungsbereich und/oder die Solltrajektorie ausgebildet ist, einen einspurigen Personenverkehr vorzugeben und/oder den Personenverkehr auf eine Spur zu beschränken. Alternativ und/oder ergänzend ist der beschränkte Überwachungsbereich und/oder die Solltrajektorie ausgebildet, einen Mindestabstand zwischen zwei aufeinanderfolgenden Personen vorzugeben und/oder ein gegenseitiges Verdecken von Personen in den Bilddaten und/oder Kameras vermeiden. Beispielsweise ist der beschränkte Überwachungsbereich so gewählt, dass sich in diesem eine Person nicht neben einer anderen Person in eine gleiche Richtung, insbesondere Vorzugsrichtung, bewegen kann. Ein Mindestabstand kann beispielsweise durch Markierungen oder eine Schleuse vorgegeben und/oder geregelt werden. Insbesondere ist ein gegenseitiges Verdecken durch die Solltrajektorie und/oder beschränkten Überwachungsbereich ausgeschlossen, sodass für Personen in Bilddaten alle relevanten Aufnahmen und/oder Ansichten vorhanden sind, ohne dass relevante Daten und/oder Ansichten durch gegenseitiges Verdecken verloren gehen.
  • Das Einschränken des Überwachungsbereich auf den beschränkten Überwachungsbereich erfolgt insbesondere durch Führungselemente. Die Führungselemente werden hierzu insbesondere im Überwachungsbereich angeordnet. Die Führungselemente sind beispielsweise Hindernisse, Absperrungen, Möbel, Regale, Markierungen, Aufsteller, Werbemittel oder platziertes Warenangebot.
  • Besonders bevorzugt ist es, dass die Führungselemente getarnt, domänenangepasst, anwendungsangepasst und/oder szenenangepasst sind. Insbesondere sind dergleichen Führungselemente gestaltet, dass für Personen diese nicht als explizite Führungselemente ersichtlich sind und/oder deren Funktion als Führungselement nicht ersichtlich. Beispielsweise können Führungselemente so als Objekte der Domäne, des Überwachungsbereiches und/oder der Szene ausgebildet sein, beispielsweise als Regale, Warenanordnung zu Werbezwecken und/oder Werbeaufsteller. Diese Ausgestaltung basiert auf der Überlegung, Personen zum optimalen trainieren und/oder feinjustieren des Ursprungsmodells in situationstypischen und/oder nicht künstlichen Situationen und/oder Verhaltensmustern zu überwachen, beispielsweise um Vandalismus und Diebstahl im Routinebetrieb überwachen zu können.
  • Eine Ausgestaltung der Erfindung sieht vor, dass ein Einschränkungsmodell ermittelt wird. Das Einschränkungsmodell gibt vor, beschreibt und/oder zeigt an, wie der Verlauf der Solltrajektorie, der beschränkte Überwachungsbereich und/oder die Führungselemente angeordnet werden sollen. Beispielsweise ist das Einschränkungsmodell als ein Plan zur Anordnung der und/oder zum Verlauf des beschränkten Überwachungsbereichs ausgebildet. Das Einschränkungsmodell wird beispielsweise basierend auf maschinellen Lernen und/oder einem neuronalen Netz ermittelt. Das Einschränkungsmodell wird basierend auf Überwachungsbereichsparameter, einem Überwachungsbereichsmodell, einen Kameraparameter, einer Kameraverteilung, dem Ursprungsmodell und/oder der Anwendung des Verfahrens ermittelt und/oder bestimmt. Beispielsweise ist ein Plan des Überwachungsbereichs und/oder eine Anordnung von Waren im Überwachungsbereich als Überwachungsbereichsparameter vorgesehen. Kameraparameter können beispielsweise Montageparameter oder interne Parameter, wie Brennweite und/oder Focus, sein. Die Kameraverteilung gibt beispielsweise an, welche Kamera welche Überwachungsbereichsabschnitte abbildet und/oder ob Überlappungen zwischen den Überwachungsbereichsabschnitten vorliegen. Das Einschränkungsmodell wird mit anderen Worten vorzugsweise so gewählt, dass basierend auf den Rahmenbedingungen und/oder Parametern eine effektive Einschränkung zum beschränkten Überwachungsbereich und/oder Anordnung der Führungselemente vorgeschlagen wird, so das Anwender nicht ziellos Einschränkungen vornehmen müssen.
  • Besonders bevorzugt ist es, dass die Domänenanpassung, insbesondere die Anpassung des Ursprungsmodells zum Anwendungsmodell, basierend auf Metadaten erfolgt und/oder Metadaten hinzuziehen. Metadaten sind beispielsweise ein Modell des Überwachungsbereichs, 3-D oder 2-D Modell, ein Modell des beschränkten Überwachungsbereichs, die soll Solltrajektorie und/oder deren Verlauf, die Anordnung der Führungselemente und/oder Kameraparameter. Basierend auf der Verwendung der Metadaten ist eine besonders optimierte und schnelle Anpassung des Ursprungsmodells zum Anwendungsmodell möglich.
  • Insbesondere ist es vorgesehen, dass der beschränkte Überwachungsbereich ausgebildet ist, für eine Person im beschränkten Überwachungsbereich unterschiedliche Ansichten als Bilddaten bereitzustellen. Die unterschiedlichen Ansichten können als Bilddaten einer Kamera aufgenommen und/oder bereitgestellt werden, alternativ ist der beschränkte Überwachungsbereich angeordnet und/oder ausgebildet, die unterschiedlichen Ansichten der Personen für Bilddaten von unterschiedlicher Kameras bereitzustellen.
  • Eine Ausgestaltung der Erfindung sieht vor, dass der Adaptionsmodus regelmäßig ausgeführt und/oder angewendet wird. Der Adaptionsmodus wird beispielsweise täglich, wöchentlich oder jährlich durchgeführt. Alternativ und/oder ergänzend kann der Adaptionsmodus ausgeführt werden und/oder eingeplant, wenn Veränderungen im Überwachungsbereich, beispielsweise im Warenangebot, Raumgestaltung, der Szenerie und/oder der Anwendung erfolgen. Beispielsweise kann so überprüft werden und/oder gewährleistet werden, dass das Anwendungsmodell im Verlauf der Zeit stimmig bleibt und/oder seiner Anwendung gewachsen bzw. sich mit entwickelt.
  • Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm zur Ausführung auf einem Computer, einem Personendetektor und/oder einem Rechner. Das Computerprogramm ist ausgebildet und/oder eingerichtet, bei seiner Ausführung das Verfahren wie vorher beschrieben auszuführen und/oder zu unterstützen.
  • Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares Speichermedium, beispielsweise eine DVD oder ein Festplattenspeicher. Insbesondere ist das maschinenlesbares Speichermedium ein nicht flüchtiges Speichermedium. Auf dem Speichermedium ist das Computerprogramm gespeichert.
  • Einen weiteren Gegenstand der Erfindung bildet ein Personendetektor. Der Personendetektor ist insbesondere ausgebildet oder eingerichtet das Verfahren gemäß der Erfindung auszuführen und/oder anzuwenden. Der Personendetektor ist zur Erkennung und/oder zur Verfolgung einer oder mehrerer Personen in einem Überwachungsbereich ausgebildet. Der Personendetektor ist insbesondere zur Anwendung im Retailbereich, insbesondere zur Überwachung eines Einkaufsbereiches, eines Geschäftsbereiches und/oder des Einzelhandels ausgebildet. Der Personendetektor ist mit einer Mehrzahl an Kameras verbunden und/oder dem Personendetektor sind Bilddaten der Kameras bereitgestellt. Die Bilddaten zeigen jeweils einen Überwachungsbereichsabschnitt aufgenommen durch die jeweilige Kamera. Der Personendetektor kann einen Adaptionsmodus und einen Detektionsmodus einnehmen und/oder ist darin betreibbar. Im Adaptionsmodus ist der Personendetektor ausgebildet, basierend auf Bilddaten eines beschränkten Überwachungsbereichs, beispielsweise durch Führungselemente eingeschränkt, das Ursprungsmodell des Personendetektors domänenspezifisch anzupassen, feinzujustieren und/oder nachzutrainieren. Insbesondere erfolgt die domänenspezifische Anpassung zur kameraübergreifenden Verfolgung und/oder Detektion von Personen im Überwachungsbereich. Der Personendetektor ist ausgebildet, im Detektionsmodus einen ML-Algorithmus unter Anwendung des Anwendungsmodells anzuwenden. Die Anwendung des ML-Algorithmus zusammen mit dem Anwendungsmodell auf die Bilddaten erfolgte zur Analyse der Bilddaten, eine Personendetektion und/oder einer Personenverfolgung im Überwachungsbereich.
  • Besonders bevorzugt ist es, dass der Personendetektor ein Vorschlagsmodul und/oder das Verfahren einen Vorschlagsmodus aufweist. Das Vorschlagsmodul kann insbesondere ein Eingabemodul und/oder ein Ausgabemodul, im Speziellen Anzeigemodul, umfassen. Das Ausgabemodul ist vorzugsweise ein Bildschirm. Der Vorschlagsmodus kann insbesondere einen Eingabemodus und/oder einen Ausgabemodus umfassen. Das Vorschlagsmodul bzw. der Vorschlagsmodus ist ausgebildet, insbesondere basierend auf Überwachungsbereichsparameter, beispielsweise einer Geometrie, einem Verlauf und/oder einem Plan des Überwachungsbereichs, auf Szeneninformationen, beispielsweise Anordnung von Waren, auf Anwendungsinformationen, auf Metadaten einen Verlauf und/oder eine Anordnung des beschränkten Überwachungsbereichs vorzuschlagen, zu ermitteln und/oder anzuzeigen, insbesondere auf einem Bildschirm anzuzeigen. Beispielsweise wird durch das Vorschlagsmodul bzw. den Vorschlagsmodus die Platzierung und/oder Anordnung von Führungselementen und/oder ein Verlauf des beschränkten Überwachungsbereichs angezeigt, sodass diese zur effektiven Modelladaption in die Realität umgesetzt werden kann.
  • Einen weiteren Gegenstand der Erfindung bildet eine Überwachungsanordnung mit mindestens einer Kamera und/oder einem Kameranetzwerk umfassend mehrere Kameras, und dem Personendetektor. Die Kameras und/oder das Kameranetzwerk ist datentechnisch mit dem Personendetektor verbunden, sodass dem Personendetektor die Bilddaten der Kameras und/oder des Kameranetzwerkes bereitgestellt sind.
  • Weitere Ausgestaltungen, Wirkungen und Vorteile ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
    • 1a, b und c einen beispielhaften Überwachungsbereich zur domänenspezifischen Personenerkennung.
  • 1a zeigt beispielhaft eine Karte eines Überwachungsbereichs 1, der mittels mehrerer Kameras 2a, b, c, d videotechnisch überwacht wird. Die Kameras 2a, b, c, d nehmen jeweils für einen Überwachungsbereichsabschnitt 3a, b, c, d Bilddaten auf, wobei die Bilddaten einem Personendetektor bereitgestellt werden. Der Personendetektor ist beispielsweise Teil der Überwachungseinrichtung zur Überwachung des Überwachungsbereichs 1. Die Überwachungsbereichsabschnitte 2a, b, c, d sind angeordnet, mit benachbarten Überwachungsbereichsabschnitten einen Überlapp aufzuweisen.
  • Der Überwachungsbereich wird mittels des Personendetektors domänenspezifisch auf Personen überwacht. Der Personendetektor ist ausgebildet, Personen im Überwachungsbereich, im Speziellen der Szenerie und den Hintergründen in den Bilddaten, zu erkennen und/oder zu verfolgen. Der Personendetektor und/oder die Personenerkennung basiert auf einem Ursprungsmodell und der Anwendung eines ML-Algorithmus. Das Ursprungsmodell ist beispielsweise das Modell zur Personenerkennung basierend auf einem allgemeinen und/oder herstellerimplementierten Training. Zur sicheren Überwachung und/oder Personenerkennung muss das Ursprungsmodell auf die Anwendungen, Domäne, Szenerie und/oder Gegebenheiten beim Anwender adaptiert, feinjustiert, nachtrainiert und/oder angepasst werden. Zur effektiven und vielseitigen Anwendung erfolgt ein Training des Ursprungsmodells zum Anwendungsmodell im Überwachungsbereich 1, wobei hierzu ein beschränkter Überwachungsbereich 4 temporär generiert wird. Der Personendetektor arbeitet und/oder die Personenerkennung erfolgt unter Anwendung des Anwendungsmodells.
  • 1b zeigt beispielhaft einen beschränkten Überwachungsbereich 4 für den Überwachungsbereich aus 1. Der beschränkte Überwachungsbereich 4 umfasst und/oder definiert eine Solltrajektorie 5. Die Solltrajektorie gibt Personen im Überwachungsbereich einen einzuhaltenden Weg vor, insbesondere zur Einschränkung der Bewegungsfreiheit der Personen auf diesen Bereich. Die Solltrajektorie 5 und/oder der beschränkte Überwachungsbereich 4 sind angeordnet und/oder ausgebildet, Personen von Überwachungsbereichsabschnitt 3a, b, c, d zu Überwachungsbereichsabschnitt 3a, b, c, d zu führen und/oder von Kamera 2a, b, c, d zu Kamera 2a, b, c, d zu führen, sodass für die Personen jeweils Bilddaten in den verschiedenen Überwachungsbereichsabschnitten 3a, b, c, d zum Generieren des Anwendungsmodells basierend auf dem Ursprungsmodell erhalten werden. Insbesondere kann ein Verlieren und/oder Verwechseln von Personen bei einem Wechsel der Überwachungsbereichsabschnitte 3a, b, c, d vermieden werden.
  • 1c zeigt beispielhaft einen schematischen Plan des Überwachungsbereichs 1 aus 1a, b. Im Überwachungsbereich sind Warenaufsteller 6, zum Beispiel Regale, angeordnet. Um einen Weg von einem Eingang 7a zu einem Ausgang 7b für die Personen im Form der Solltrajektorie 5 vorzugeben sind Führungselemente 8a, b, c, d, e angeordnet. Die Führungselemente 8a, b, c, d, e werden und/oder sind während des Adaptionsmodus angeordnet.
  • Beispielsweise ist das Führungselement 8a als eine temporäre bauliche Maßnahme in Form einer Absperrung ausgebildet, im Speziellen durch Absperrbänder und/oder eine künstliche Baustelle. Das Führungselement 8b ist beispielsweise eine aufgestellte Palette mit Auslegeware, wobei das Führungselement 8c eine aufgestellte Kiste bildet. Das Führungselement 8d ist ein aufgestellter Werbeaufsteller und Führungselement 8e ein Werbebanner. Die Führungselemente 8a, b, c, d, e sind ausgebildet die Personen auf den Weg der Solltrajektorie zu zwingen, wobei die Führungselemente 8a, b, c, d, e vorzugsweise unauffällig ausgebildet sind und/oder sich in die Umgebung einfügen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102019205221 A1 [0003]

Claims (15)

  1. Verfahren zur domänenspezifischen Personenerkennung, wobei ein Überwachungsbereich (1) mittels einer oder einer Mehrzahl an Kameras (2a, b, c, d) überwacht wird, wobei die Kameras (2a, b, c, d) jeweils für einen Überwachungsbereichsabschnitt (3a, b, c, d) Bilddaten bereitstellen, wobei ein Personendetektor in einem Detektionsmodus und in einem Adaptionsmodus betreibbar ist, wobei der Personendetektor zum Analysieren der Bilddaten und zum Erkennen von Personen in dem Überwachungsbereich (1) einen auf einem Ursprungsmodell basierenden Machine-Learning-Algorithmus aufweist, wobei für dem Adaptionsmodus der Überwachungsbereich (1) temporär zu einem beschränkten Überwachungsbereich (4) eingeschränkt wird, wobei von dem beschränkten Überwachungsbereich (4) die Bilddaten aufgenommen werden, wobei basierend auf den Bilddaten des beschränkten Überwachungsbereichs (4) eine Domänenanpassung des Ursprungsmodells zu einem Anwendungsmodell erfolgt, wobei in dem Detektionsmodus der auf das Anwendungsmodell adaptierte Machine-Learning-Algorithmus zur Analyse der Bilddaten, zur Personendetektion und/oder Personenverfolgung angewendet wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Überwachungsbereich (1) zur Vorgabe einer Solltrajektorie (5) für Personen zum beschränkten Überwachungsbereich (4) eingeschränkt wird.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Solltrajektorie Veränderungspunkte umfasst und/oder festlegt, wobei an den Veränderungspunkten einer Person eine Richtungsänderung und/oder eine Ansichtsschwenkung vorgegeben wird.
  4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der beschränkte Überwachungsbereich (4) und/oder die Solltrajektorie (5) ausgebildet ist, einen einspurigen Personenverkehr vorzugeben, einen Mindestabstand zwischen zwei Personen vorzugeben und/oder ein gegenseitiges Verdecken von Personen in den Bilddaten zu vermeiden.
  5. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zum Einschränken des Überwachungsbereichs (1) auf den beschränkten Überwachungsbereich (4) Führungselemente (8a, b, c, d, e) angeordnet werden.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Führungselemente (8a, b, c, d, e) getarnt, domänenangepasst und/oder szenenangepasst sind.
  7. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein basierend auf einem Überwachungsbereichsparameter, einem Kameraparameter, einer Kameraverteilung, dem Ursprungsmodell und/oder einer Anwendung ein Einschränkungsmodell ermittelt wird, wobei das Einschränkungsmodell den beschränkten Überwachungsbereich (4), dessen Verlauf und/oder eine Anordnung der Führungselemente (8a, b, c, d, e) beschreibt.
  8. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Domänenanpassung unter Verwendung von Metadaten erfolgt, wobei die Metadaten ein Modell des Überwachungsbereichs (1), ein Modell des beschränkten Überwachungsbereichs (4), die Solltrajektorie (5), die Anordnung der Führungselemente (8a, b, c, d, e) und/oder Kameraparameter umfassen.
  9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der beschränkte Überwachungsbereich (5) ausgebildet ist, für eine Person im beschränkten Überwachungsbereich (4) unterschiedliche Ansichten in den Bilddaten bereitzustellen.
  10. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Adaptionsmodus regelmäßig ausgeführt wird und/oder nach einer Überwachungsbereichsveränderung ausgeführt wird.
  11. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen Vorschlagsmodus ausweist, wobei im Vorschlagsmodus ein Verlauf und/oder eine Anordnung des beschränkten Überwachungsbereichs ermittelt und/oder angezeigt wird.
  12. Computerprogramm, wobei das Computerprogramm ausgebildet ist, bei seiner Ausführung das Verfahren nach einem der vorherigen Ansprüche auszuführen.
  13. Maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm nach Anspruch 12 gespeichert ist.
  14. Personendetektor zur Erkennung und/oder Verfolgung einer Person in einem Überwachungsbereich (1), wobei der Personendetektor vorzugsweise zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11 eingerichtet ist, wobei dem Personendetektor von einer oder einer Mehrzahl an Kameras (2a, b, c, d) Bilddaten bereitgestellt sind, wobei der Personendetektor in einem Adaptionsmodus und einem Detektionsmodus betreibbar ist, wobei der Personendetektor ausgebildet ist, im Adaptionsmodus basierend auf Bilddaten eines beschränkten Überwachungsbereichs (4) ein Ursprungsmodell zu einem Anwendungsmodell domänenspezifisch anzupassen, wobei der Personendetektor ausgebildet ist, im Detektionsmodus einen Machine-Learning-Algorithmus auf das Anwendungsmodell zu adaptieren und zur Analyse der Bilddaten, Personendetektion und/oder Personenverfolgung anzuwenden.
  15. Überwachungsanordnung mit mindestens einer Kamera und einem Personendetektor nach Anspruch 14.
DE102021202294.4A 2021-03-10 2021-03-10 Verfahren, Computerprogramm, Speichermedium, Personendetektor und Überwachungsanordnung zur Personenerkennung Pending DE102021202294A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102021202294.4A DE102021202294A1 (de) 2021-03-10 2021-03-10 Verfahren, Computerprogramm, Speichermedium, Personendetektor und Überwachungsanordnung zur Personenerkennung
PCT/EP2022/055299 WO2022189231A1 (de) 2021-03-10 2022-03-02 Verfahren, computerprogramm, speichermedium, personendetektor und überwachungsanordnung zur personenerkennung
EP22713340.2A EP4305610A1 (de) 2021-03-10 2022-03-02 Verfahren, computerprogramm, speichermedium, personendetektor und überwachungsanordnung zur personenerkennung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021202294.4A DE102021202294A1 (de) 2021-03-10 2021-03-10 Verfahren, Computerprogramm, Speichermedium, Personendetektor und Überwachungsanordnung zur Personenerkennung

Publications (1)

Publication Number Publication Date
DE102021202294A1 true DE102021202294A1 (de) 2022-09-15

Family

ID=80953578

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021202294.4A Pending DE102021202294A1 (de) 2021-03-10 2021-03-10 Verfahren, Computerprogramm, Speichermedium, Personendetektor und Überwachungsanordnung zur Personenerkennung

Country Status (3)

Country Link
EP (1) EP4305610A1 (de)
DE (1) DE102021202294A1 (de)
WO (1) WO2022189231A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019205221A1 (de) 2019-04-11 2020-10-15 Robert Bosch Gmbh Anonymisierungseinrichtung, Überwachungsvorrichtung, Verfahren, Computerprogramm und Speichermedium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961096B2 (en) * 2009-01-13 2011-06-14 Sensormatic Electronics Corporation System and method for detection of EAS marker shielding
US20200380252A1 (en) * 2019-05-29 2020-12-03 Walmart Apollo, Llc Systems and methods for detecting egress at an entrance of a retail facility

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019205221A1 (de) 2019-04-11 2020-10-15 Robert Bosch Gmbh Anonymisierungseinrichtung, Überwachungsvorrichtung, Verfahren, Computerprogramm und Speichermedium

Also Published As

Publication number Publication date
EP4305610A1 (de) 2024-01-17
WO2022189231A1 (de) 2022-09-15

Similar Documents

Publication Publication Date Title
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102007031302A1 (de) Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
DE112017007923B4 (de) Anzeigesteuerungsvorrichtung, Anzeigesteuerungsverfahren und Anzeigesystem
DE102015208139A1 (de) Fahrzeuginsassenerfassung mittels des Abstands zwischen Beifahrer- und Fahrermerkmalen
DE102020203473A1 (de) Anonymisierungseinrichtung, Überwachungsvorrichtung, Verfahren, Computerprogramm und Speichermedium
WO2021185507A1 (de) Anonymisierungseinrichtung, überwachungsvorrichtung, verfahren, computerprogramm und speichermedium
DE102010042026A1 (de) Verfahren und Vorrichtung zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
EP3557549A1 (de) Verfahren zur bewertung eines bewegungsereignisses
DE102007041333B4 (de) Berührungslos arbeitendes Zählsystem
WO2020099046A1 (de) Dynamischer informationsschutz für anzeigeeinrichtungen
DE102021202294A1 (de) Verfahren, Computerprogramm, Speichermedium, Personendetektor und Überwachungsanordnung zur Personenerkennung
DE102016222134A1 (de) Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes
DE102015212771A1 (de) Vorrichtung zur Erkennung von teilverdeckten beweglichen Objekten für ein Umfelderfassungssystem eines Kraftfahrzeugs
EP2483834A1 (de) Verfahren und vorrichtung zum erkennen einer fehldetektion eines objekts in einem bild
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE19600958A1 (de) Interaktives Überwachungssystem
WO2017144033A1 (de) Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung
WO2020182503A1 (de) Überwachungsvorrichtung, überwachungsanlage, verfahren, computerprogramm und maschinenlesbares speichermedium
DE102007001273A1 (de) Verfahren zur selbsttätigen Analyse von Objektbewegungen
AT524306B1 (de) Modellierung einer Situation
DE102013011927B4 (de) Verfahren zum Steuern einer Überwachungseinrichtung
DE102022124000A1 (de) Verfahren zum Ermitteln von Begrenzungen von und unbeweglichen Objekten in Einsatzgebieten für autonome und/oder teilweise autonome Geländefahrzeuge für Einsätze der Geländefahrzeuge in den Einsatzgebieten
DE102018114498A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs, bei welchem ein Video klassifiziert wird, sowie Computerprogrammprodukt und Fahrzeugführungssystem