DE102010003669B4 - Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich - Google Patents

Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich Download PDF

Info

Publication number
DE102010003669B4
DE102010003669B4 DE102010003669.2A DE102010003669A DE102010003669B4 DE 102010003669 B4 DE102010003669 B4 DE 102010003669B4 DE 102010003669 A DE102010003669 A DE 102010003669A DE 102010003669 B4 DE102010003669 B4 DE 102010003669B4
Authority
DE
Germany
Prior art keywords
group
people
specified
area
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102010003669.2A
Other languages
English (en)
Other versions
DE102010003669A1 (de
Inventor
Jan Rexilius
Jan Karl Warzelhan
Matthias Koenig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102010003669.2A priority Critical patent/DE102010003669B4/de
Priority to US13/639,892 priority patent/US8983129B2/en
Priority to PCT/EP2011/054629 priority patent/WO2011124483A1/de
Publication of DE102010003669A1 publication Critical patent/DE102010003669A1/de
Application granted granted Critical
Publication of DE102010003669B4 publication Critical patent/DE102010003669B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Lokalisierung von Personen in einem vorgegebenen Bereich, welcher durch mindestens eine Bildaufnahmevorrichtung (3) überwacht wird, wobei die mindestens eine Bildaufnahmevorrichtung (3) fortlaufend Bilder des vorgegebenen überwachten Bereichs (10) erzeugt, welche unter Verwendung von mindestens einem Bildverarbeitungsverfahren und/oder Bildauswerteverfahren analysiert und ausgewertet werden, wobei die erzeugten Bilder des vorgegebenen Bereichs (10) zur Erkennung und Lokalisierung von Personen (12, 14) analysiert und ausgewertet werden, wobei erkannte und lokalisierte Personen (12, 14) klassifiziert und mindestens einer vorgegebenen Gruppe zugeordnet werden, wobei die Zuordnung zu einer Gruppe in Abhängigkeit von vorgegebenen Kleidungsmerkmalen getroffen wird, wobei einer ersten Gruppe erkannte Personen (12) zugeordnet werden, welche zum Servicepersonal gehören, wobei alle anderen erkannten Personen (14) einer Kundengruppe zugeordnet werden, wobei mindestens ein Teilbereich (12.1, 12.2, 12.3, 12.4, 14.1, 14.2) des vorgegebenen Bereichs (10) durch die Position einer Person (12) der Servicepersonalgruppe bestimmt wird, wobei im gesamten vorgegebenen Bereich (10) und/oder in Teilbereichen (12.1, 12.2, 12.3, 12.4, 14.1, 14.2) des vorgegebenen Bereichs (10) das Verhältnis der Anzahl von Personen (12) der Servicepersonalgruppe zur Anzahl von Personen (4) der Kundengruppe bestimmt wird und wobei in Abhängigkeit von dem bestimmten Verhältnis auf einem Ausgabemonitor korrespondierende Bereiche in unterschiedlichen Farben dargestellt werden.

Description

  • Stand der Technik
  • Die Erfindung betrifft ein Verfahren zur Lokalisierung von Personen in einem vorgegebenen Bereich nach der Gattung des unabhängigen Patentanspruchs 1 und eine zugehörige Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich nach der Gattung des unabhängigen Patentanspruchs 6 sowie ein Computerprogrammprodukt und ein Datenverarbeitungsprogramm zur Durchführung des Verfahrens.
  • Bildverarbeitungsverfahren sind heutzutage integraler Bestandteil automatischer Videoüberwachungsverfahren. Sie dienen beispielsweise zur Segmentierung, Erkennung, Verfolgung (Tracking), Klassifizierung sowie Zählen von bewegten Objekten innerhalb eines zu überwachenden Bereichs, welcher durch mindestens eine Bildaufnahmevorrichtung überwacht wird. Die mindestens eine Bildaufnahmevorrichtung erzeugt fortlaufend Bilder des vorgegebenen überwachten Bereichs, welche unter Verwendung von mindestens einem Bildverarbeitungsverfahren und/oder Bildauswerteverfahren analysiert und ausgewertet werden. Die Bildverarbeitung ist ein wesentlicher Bestandteil für eine automatische Überwachung von größeren Bereichen mit einer Mehrzahl von Bildaufnahmevorrichtungen, insbesondere um Objekte, welche mit unterschiedlichen Bildaufnahmevorrichtungen aufgenommen werden, aus unterschiedlichen Aufnahmen einander zuzuordnen zu können.
  • In der Offenlegungsschrift DE 102 10 926 A1 werden beispielsweise eine Vorrichtung und ein Verfahren zur Verfolgung wenigstens eines Objekts in einer Szene beschrieben. Das beschriebene Verfahren erkennt, wenn ein sich bewegendes Objekt aus der Bewegung zum Stillstand kommt und zählt die Verweildauer im Stillstand, um in Abhängigkeit von der Verweildauer eine Signalisierung zu erzeugen. Hierbei wird das Objekt durch eine Liste oder eine Matrix bezüglich der Bewegungsrichtung und der Zeit beschrieben. Das beschriebene Verfahren wird insbesondere in einer Videoüberwachung verwendet, welche wenigstens einen Bildgeber, einen Prozessor, einen Speicher und Ausgabemittel aufweist, mit denen dann eine Signalisierung, beispielsweise in Form eines Alarms erfolgen kann. Die Signalisierung kann auch als Signal für andere Systeme verwendet werden.
  • Aus der US 2009/0231436 A1 ist ein Verfahren und eine Vorrichtung zur Verfolgung von Personen und Objekten mit Identifikation der Personen und Objekte bekannt.
  • Die US 2008/0033752 A1 betrifft ein Verfahren und ein System zur Überwachung von Patientenkontakten und Betreuungsverhältnissen in Krankenhäusern.
  • Aus der US 2008/0212099 A1 ist ein Verfahren zum Zählen von Menschen bekannt, die durch ein Tor gehen.
  • Die Veröffentlichung „SHAW, G.: Multi-modal classification of tracking output for person identification. Dezember 2009“ betrifft die Klassifizierung von Objekten in Angestellte und Kunden.
  • Offenbarung der Erfindung
  • Das erfindungsgemäße Verfahren zur Lokalisierung von Personen in einem vorgegebenen Bereich mit den Merkmalen des unabhängigen Patentanspruchs 1 hat demgegenüber den Vorteil, dass erzeugte Bilder eines vorgegebenen Bereichs zur Erkennung und Lokalisierung von Personen analysiert und ausgewertet werden, wobei erkannte und lokalisierte Personen klassifiziert und mindestens einer vorgegebenen Gruppe zugeordnet werden, und wobei die Zuordnung zu einer Gruppe in Abhängigkeit von vorgegebenen Kleidungsmerkmalen getroffen wird.
  • Eine Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich mit den Merkmalen des unabhängigen Patentanspruchs 6 weist den Vorteil auf, dass eine Auswerte- und Steuereinheit die erzeugten Bilder des vorgegebenen Bereichs zur Erkennung und Lokalisierung von Personen analysiert und auswertet, wobei die Auswerte- und Steuereinheit erkannte und lokalisierte Personen klassifiziert und mindestens einer vorgegebenen Gruppe zuordnet, wobei die Auswerte- und Steuereinheit die Zuordnung zu einer Gruppe in Abhängigkeit von vorgegebenen Kleidungsmerkmalen durchführt. Die Bilder des zu überwachenden Bereichs werden von mindestens einer Bildaufnahmevorrichtung fortlaufend erzeugt und unter Verwendung von mindestens einem Bildverarbeitungsverfahren und/oder Bildauswerteverfahren analysiert und ausgewertet.
  • Die erfindungsgemäße Auswerte- und Steuereinheit ist zur Ausführung von Schritten des oben genannten Verfahrens und eines Computerprogramms zur Steuerung von Schritten des vorstehend genannten Verfahrens ausgebildet, wenn das Computerprogramm von der Auswerte- und Steuereinheit ausgeführt wird. Unter einer Auswerte- und Steuereinheit kann vorliegend ein elektrisches Gerät, wie beispielsweise ein Steuergerät verstanden werden, welches erfasste Bildsignale verarbeitet bzw. auswertet. Das Steuergerät kann mindestens eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert ist und zur Durchführung des Verfahrens nach einem der beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Steuergerät ausgeführt wird.
  • Ausführungsformen der vorliegenden Erfindung ermöglichen in vorteilhafter Weise eine videobasierte Lokalisierung von Servicepersonal anhand einer einheitlichen Berufskleidung. Zudem können Ausführungsformen der vorliegenden Erfindung als weitere Aufgaben das Zählen des Servicepersonals als auch der Kunden in vorab definierten Bereichen durchführen, um zu ermitteln, ob in einem Bereich genug Personal vorhanden ist, d.h. ein günstiges Verhältnis von Personal zu Kunden vorliegt. Mit dieser Information kann eine optimale Verteilung des Personals erzielt werden, um dem Kunden eine bestmögliche Unterstützung zu gewährleisten. Der wesentliche Vorteil der vorliegenden Erfindung liegt in der videobasierten Erkennung von Teilbereichen innerhalb des zu überwachenden Bereichs, in welchen eine ausreichende Anzahl bzw. eine zu geringe Anzahl von Personen des Servicepersonals vorhanden ist. Neben dieser einfachen Funktion sind Erweiterungen hinsichtlich der Analyse der gerade durchgeführten Handlungen des Servicepersonals möglich, um festzustellen, ob das komplette Servicepersonal gerade voll ausgelastet ist, und daher noch weitere Unterstützung erforderlich ist.
  • Gegenüber einer Lokalisierung von einzelnen Personen des Servicepersonals mittels Funksensoren weist die videobasierte Analyse den Vorteil auf, dass der zu überwachende Bereich genau festgelegt ist, d.h. es gibt eine höhere Genauigkeit hinsichtlich der Lokalisation von Personen des Servicepersonals. Bewegt sich eine Person des Servicepersonals aus dem Sichtbereich der mindestens einen Bildaufnahmevorrichtung, dann steht diese Person damit auch nicht mehr in diesem Gebiet zur Verfügung. Zudem ermöglicht die Videoanalyse das Zählen von Personen des Servicepersonals und anderen Personen bzw. Objekten in dem zu überwachenden Bereich. Damit kann auf einfache Weise das Verhältnis zwischen Personen des Servicepersonals und anderen Personen ermittelt werden. Weiterhin kann die Videoanalyse auch mittels Handlungsanalyse feststellen, wie viele Personen des Servicepersonals gerade eingebunden sind.
  • Neben diesen Analysefunktionen ermöglichen Ausführungsformen der vorliegenden Erfindung auch eine schwache Art der Zugangskontrolle. Sollen sich in einem bestimmten Gebiet nur Personen mit Sicherheitskleidung aufhalten, dann kann dies sehr einfach durch die Videoanalyse ermittelt und gemeldet werden.
  • Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen des im unabhängigen Patentanspruch 1 angegebenen Verfahrens zur Lokalisierung von Personen in einem vorgegebenen Bereich möglich.
  • Erfindungsgemäß ist es vorteilhaft, dass einer ersten Gruppe erkannte Personen zugeordnet werden, welche zum Servicepersonal gehören, wobei alle anderen erkannten Personen einer Kundengruppe zugeordnet werden. Die vorgegebenen Kleidungsmerkmale umfassen beispielsweise vorgegebene Farbspektren und/oder Formen. So können Berufskleidungsstücke, wie beispielsweise Kopfbedeckungen, Schals, Jacken, Hosen usw., welche eine vorgegebene Form und/oder Farbe aufweisen, von „normaler Kleidung“ der Kunden unterschieden werden.
  • Auf einem Flughafen trägt Flughafenpersonal normalerweise sichtbare Schutzkleidung, um einfach erkannt zu werden. Damit unterscheidet es sich deutlich von Fluggästen, die sich z. B. nicht außerhalb bestimmter Gebäude aufhalten dürfen. Beim Einstieg bzw. Ausstieg aus Flugzeugen mit kurzem Fußweg über das Flugfeld, beispielsweise vom Bus zum Flugzeug, befinden sich Fluggäste und Personal gemeinsam auf dem Flugfeld. Ausführungsformen der vorliegenden Erfindung sind in der Lage beide Personengruppen zu unterscheiden. Somit kann ein vom Weg abgekommener Fluggast entdeckt und gemeldet werden.
  • Auf einem Bahnhof darf sich auf den Gleisen nur Bahnpersonal bewegen. Dies kann durch Ausführungsformen der Erfindung überwacht und gemeldet werden. Unter bestimmten Umständen, beispielsweise bei Zugverspätungen, Fahrplanänderungen bzw. Zugausfällen wird das Servicepersonal stark von Fahrgästen gesucht und befragt. Ausführungsformen der Erfindung können nun feststellen, ob sich eine große Anzahl von Kunden, d.h. eine Personenschlange oder eine Personenanhäufung, auf wenige Personen des Servicepersonals verteilt. Damit können Ausführungsformen der vorliegenden Erfindung erkennen und melden, in welchen Bereichen mehr Personal benötigt wird.
  • In großen Einkaufszentren ist es denkbar, dass Kunden Servicepersonal suchen. Ausführungsformen der vorliegenden Erfindung wissen, wo sich Personen des Servicepersonals aufhalten und können beispielsweise an einem Servicepunkt die aktuellen Standorten von Personen des Servicepersonals auf einem Monitor anzeigen.
  • Der technische Kern der vorliegenden Erfindung liegt in der Erkennung des Servicepersonals anhand der zugehörigen Berufskleidung. Die Methoden der Bildverarbeitung und Klassifikation bieten dabei eine Anzahl von Möglichkeiten, diese Erkennung zu erreichen.
  • Ein solcher Ansatz ist das Erkennen anhand der Kleidung. Dabei werden dem System entweder über eine Anzahl von Bildern des Servicepersonals in entsprechender Kleidung oder direkt in einem speziellen Lernmodus Daten der Kleidung des Servicepersonals vorgegeben. Diese Daten erlauben es dem erfindungsgemäßen Verfahren Kleidungsmerkmale zu ermitteln. Im einfachsten Fall können die Kleidungsmerkmale aus dem Farbspektrum der Berufskleidung gewonnen werden. Dazu können beispielsweise aus einer vorgegeben Menge von Merkmalen, wie beispielsweise Gradienten-Histogramme, Farb-Histogramme, Skalen-invariante-Merkmale, wie SIFT usw., mittels einer Principal-Components-Analysis die signifikantesten Kleidungsmerkmale ausgewählt werden. Diese dienen dann als Kleidungsmerkmale, um einen Klassifikator anzulernen. Der Klassifikator kann beispielsweise über eine Support-Vector-Machine oder Boosting angelernt werden. Während des Ablaufs des erfindungsgemäßen Verfahrens wird der gelernte Klassifikator auf die herkömmlichen Videoanalyseergebnisse angewendet und liefert damit die Erkennung von Personen des Servicepersonals. Die Lokalisierung erfolgt anhand der bekannten Positionen der Bildaufnahmevorrichtungen bzw. einer zugrunde liegenden Kalibrierung. Analog können Verfahren zur Erkennung von Handlungen umgesetzt werden.
  • Erfindungsgemäß wird mindestens ein Teilbereich des vorgegebenen Bereichs durch die Position einer Person der Servicepersonalgruppe und vorzugsweise zusätzlich durch eine vorgegebene Anzahl von Personen der Kundengruppe bestimmt. Zudem wird im gesamten vorgegebenen Bereich und/oder in Teilbereichen des vorgegebenen Bereichs das Verhältnis der Anzahl von Personen der Servicepersonalgruppe zur Anzahl von Personen der Kundengruppe bestimmt. In Abhängigkeit von der Auslastung, d.h. vom ermittelten Personal-Kunden-Verhältnis, werden korrespondierende Bereiche in unterschiedlichen Farben dargestellt. Stimmt das Personal-Kunden-Verhältnis, dann kann ein solcher Bereich beispielsweise grün auf einem Ausgabemonitor markiert werden. Ist ein zu hohes Kundenaufkommen pro Person des Servicepersonals vorhanden, dann können solche Bereiche durch entsprechende Warnfarben wie gelb, orange oder rot hervorgehoben und gegebenenfalls zusätzliches Personal zu diesen Bereichen geschickt werden. Bereiche in denen kein Personal vorhanden ist werden ebenfalls detektiert und klassifiziert und je nach Situation kann Servicepersonal in diese Bereiche geschickt werden.
  • Vorteilhafte Ausführungsformen der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend beschrieben. In den Zeichnungen bezeichnen gleiche Bezugszeichen Komponenten bzw. Elemente, die gleiche bzw. analoge Funktionen ausführen.
  • Figurenliste
    • 1 zeigt ein schematisches Blockdiagram eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich.
    • 2 zeigt ein Flussdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Lokalisierung von Personen in einem vorgegebenen Bereich.
    • 3 zeigt eine schematische Draufsicht eines vorgegebenen Bereichs, in welchem mit der erfindungsgemäßen Vorrichtung gemäß 1 oder dem erfindungsgemäßen Verfahren gemäß 2 Personen lokalisiert werden.
  • Ausführungsformen der Erfindung
  • Wie aus 1 ersichtlich ist, umfasst eine erfindungsgemäße Vorrichtung 1 zur Lokalisierung von Personen 12, 14 in einem vorgegebenen Bereich 10 im dargestellten Ausführungsbeispiel mehrere Bildaufnahmevorrichtungen 3, welche zur Überwachung des vorgegebenen Bereichs 10 fortlaufend Bilder des vorgegebenen Bereichs 10 erzeugen und an eine Auswerte- und Steuereinheit 20 ausgeben. Die Auswerte- und Steuereinheit 20 analysiert und wertet die fortlaufend erzeugen Bilder unter Verwendung von mindestens einem Bildverarbeitungsverfahren und/oder Bildauswerteverfahren aus. Zum Empfang der erzeugten Bilddaten ist die Auswerte- und Steuereinheit 20 über entsprechende Schnittstellen 22 mit den Bildaufnahmevorrichtungen 3 gekoppelt.
  • Erfindungsgemäß analysiert und wertet die Auswerte- und Steuereinheit 20 die erzeugten Bilder des vorgegebenen Bereichs 10 zur Erkennung und Lokalisierung von Personen 12, 14 aus, wobei die Auswerte- und Steuereinheit 20 erkannte und lokalisierte Personen 12, 14 klassifiziert und mindestens einer vorgegebenen Gruppe zuordnet, und wobei die Auswerte- und Steuereinheit 20 die Zuordnung zu einer Gruppe in Abhängigkeit von vorgegebenen Kleidungsmerkmalen durchführt. Die lokalisierten und klassifizierten Personen 12, 14 werden von der Auswerte- und Steuereinheit 20 mit weiteren Informationen über eine Schnittstelle 22 an eine optische Anzeigeeinheit 30 ausgegeben.
  • Wie aus 2 ersichtlich ist, erfasst das dargestellte Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Lokalisierung von Personen 12, 14 in einem vorgegebenen Bereich in einem Schritt S10 fortlaufend Bilder des vorgegebenen Bereichs 10 mit mindestens einer Bildaufnahmevorrichtung 3. In einem Schritt S20 werden die erfassten Bilder des vorgegebenen Bereichs unter Verwendung von mindestens einem Bildverarbeitungsverfahren und/oder Bildauswerteverfahren analysiert und ausgewertet. In einem Schritt S30 werden Personen 12, 14 im vorgegebenen Bereich erkannt und lokalisiert. In einem Schritt S40 werden die erkannten und lokalisierten Personen 12, 14 klassifiziert und mindestens einer vorgegebenen Gruppe zugeordnet, wobei die Zuordnung zu einer Gruppe in Abhängigkeit von vorgegebenen Kleidungsmerkmalen getroffen wird. So werden einer ersten Gruppe erkannte Personen 12 zugeordnet, welche zum Servicepersonal gehören, wobei alle anderen erkannten Personen 14 einer Kundengruppe zugeordnet werden. Die vorgegebenen Kleidungsmerkmale zur Unterscheidung von verschiedenen erkannten Personen umfassen beispielsweise Farbspektren und/oder Kleidungsformen.
  • Der technische Kern der vorliegenden Erfindung liegt somit in der Erkennung, von Personen 12 des Servicepersonals anhand ihrer Berufskleidung. Die Methoden der Bildverarbeitung und Klassifikation bieten dabei eine Anzahl von Möglichkeiten, diese Erkennung zu erreichen. Dabei werden der Auswerte- und Steuereinheit 20 entweder über eine Anzahl von Bildern von Personen des Servicepersonals in entsprechender Kleidung oder direkt in einem speziellen Lernmodus Daten der Kleidung des Servicepersonals vorgegeben. Diese Daten erlauben es der Auswerte- und Steuereinheit 20 Merkmale, im einfachsten Fall könnten diese aus dem Farbspektrum der Kleidung gewonnen werden, zu ermitteln. Dazu könnten beispielsweise aus einer vorgegeben Menge von Merkmalen (Gradienten-Histogramm, Farb-Histogramme, Skalen-invariante-Merkmale, wie SIFT, etc.) mittels einer Principal-Components-Analysis die signifikantesten ausgewählt werden. Diese dienen dann als Merkmale, um einen Klassifikator 28 der Auswerte- und Steuereinheit 20 anzulernen. Der Klassifikator 28 kann beispielsweise über eine Support-Vector-Machine oder Boosting angelernt werden.
  • Im eigentlichen Betrieb wird der Klassifikator 28 auf die herkömmlichen Videoanalyse-Ergebnisse angewendet und liefert damit die Erkennung von Personen 12 des Servicepersonals innerhalb des vorgegebenen Bereichs 10. Die Lokalisierung erfolgt anhand der bekannten Positionen der Bildaufnahmevorrichtungen 3 bzw. einer zugrunde liegenden Kalibrierung. Des Weiteren können Verfahren zur Erkennung von Handlungen des Servicepersonals umgesetzt werden.
  • Zur Segmentierung, Erkennung, Verfolgung (Tracking), Klassifizierung sowie Zählen von bewegten Objekten im vorgegebenen Bereich 10 können bekannte Bildverarbeitungsverfahren verwendet werden, wie sie beispielsweise im Artikel „A survey on visual surveillance of object motion and behaviors“ von W. Hu, T. Tan, L. Wang und S. Maybank, IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, Vol. 34 (3), pp. 334-352, August 2004 beschrieben sind. Zur Bildverarbeitung des größeren Bereichs 10, welcher durch mehrere Bildaufnahmevorrichtungen 3 überwacht wird, können die in den Artikeln „Tracking people across disjoint camera views by an illumination-tolerant appearance representation“ von C. Madden, E. D. Cheng, und M. Piccardi, Machine Vision and Applications, 18(3):233-247, 2007, und „Full-body person recognition system“ von C. Nakajima, M. Pontil, B. Heisele, und T. Poggio, Pattern Recognition, 36(9): 1997 -2006, 2003 beschriebenen Verfahren verwendet werden, um insbesondere Objekte bzw. Personen einander zuzuordnen, welche von unterschiedlichen Bildaufnahmevorrichtungen 3 erfasst werden.
  • Der Vorteil der vorliegenden Erfindung liegt in der videobasierten Erkennung von Gebieten, in denen genug bzw. zu wenig Servicepersonal vorhanden ist. Neben dieser einfachen Funktion sind Erweiterungen hinsichtlich der Analyse der gerade durchgeführten Handlung des Servicepersonals möglich, um festzustellen, ob gerade das komplette Servicepersonal voll ausgelastet ist, und daher noch Unterstützung benötigt wird. Zudem ermöglicht die Videoanalyse das Zählen von Personen 12 des Servicepersonals und von anderen Personen 14 bzw. Objekten in dem vorgegebenen Bereich 10. Damit kann z.B. ein Verhältnis zwischen Servicepersonal und anderen Personen ermittelt werden. Weiterhin kann die Videoanalyse auch mittels Handlungsanalyse nach den in den Artikeln „Human Action Recognition Using Distribution of Oriented Rectangular Patches“ von N. Ikizler und P. Duygulu, Human Motion - Understanding, Modeling, Capture and Animation, Springer-Verlag Berlin/Heidelberg, ISSN 1611-3349, pp. 271-284, 2007, und „Human action detection via boosted local motion histograms“ von Q. Luo, X. Kong, G. Zeng und J. Fan, Machine Vision and Applications, Springer-Verlag Berlin-Heidelberg, ISSN 1432-1769, 2008 beschriebenen Verfahren die Handlungen der lokalisierten Personen 12, 14 erkennen, so dass beispielsweise festgestellt werden kann, wie viele Personen 12 des Servicepersonals gerade eingebunden sind.
  • Zur Durchführung der Bildverarbeitungsverfahren und/oder Bildauswerteverfahren zur Analyse und Auswertung der erzeugten Bilddaten und zum Ausführen des erfindungsgemäßen Verfahrens zur Lokalisierung von Personen in einem vorgegebenen Bereich umfasst die Auswerte- und Steuereinheit 20 im dargestellten Ausführungsbeispiel eine Recheneinheit 24, eine Speichereinheit 26 und den Klassifikator 28.
  • Wie aus 1 oder 3 ersichtlich ist, umfasst der vorgegebenen Bereich 10 im dargestellten Ausführungsbeispiel einen Teil eines Sackbahnhofs mit mehreren Bahnsteigen, in welchem das Kunden- und Personalaufkommen ermittelt und dargestellt wird. Ausführungsformen der Erfindung erkennen automatisch das Servicepersonal 12 und Kunden 14 mittels Videoanalyse und/oder Bildverarbeitung. Anschließend wird die Anzahl der Kunden 14 pro Person 12 des Servicepersonals gezählt. Stimmt die Auslastung so werden solche Teilbereiche 12.3 beispielsweise grün markiert. Ist ein zu hohes Kundenaufkommen pro Person 12 des Servicepersonals in einem Teilbereich 12.4 vorhanden oder ist keine Person 12 des Servicepersonals in einem Teilbereich 14.1, 14.2 mit beispielsweise mindestens 5 Kunden vorhanden oder sind keine Kunden im Bereich 12.1 einer Person 12 des Servicepersonals vorhanden, dann werden diese Bereiche durch eine entsprechende Markierung in einer Warnfarbe hervorgehoben und gegebenenfalls zusätzliche Personen 12 des Servicepersonals hingeschickt bzw. Personen 12 des Servicepersonals werden aufgefordert ihre Position entsprechend zu verändern. Die Teilbereiche 14.1, 14.2 mit einer vorgegebenen Anzahl von Kunden 14, in welchen keine Personen 12 des Servicepersonals vorhanden sind, werden ebenfalls detektiert und klassifiziert um zu unterscheiden, ob ein normaler Ein-/Aussteigvorgang, oder eine Panik und/oder eine Ansammlung von Kunden vorliegt, so dass je nach erkannter Situation Personen 12 des Servicepersonal in diese Teilbereiche 14.1, 14.2 geschickt werden können.
  • Wie aus 1 oder 3 weiter ersichtlich ist, werden die verschiedenen dargestellten Teilbereiche 12.1, 12.2, 12.3, 12.4, 14.1, 14.2 des vorgegebenen Bereichs 10 durch die Position einer Person 12 der Servicepersonalgruppe und/oder durch eine vorgegebene Anzahl von Personen 14 der Kundengruppe bestimmt. So werden beispielsweise die Teilbereiche 12.1, 12.2, 12.3, 12.4 jeweils durch die Position einer ungefähr mittig im jeweiligen Teilbereich 12.1. 12.2, 12.3, 12.4 angeordneten Person 12 des Servicepersonals bestimmt, welche als ausgefülltes Dreieck dargestellt ist. Die Teilbereiche 14.1, 14.2 werden durch eine vorgegebene Anzahl von Personen 14 bestimmt, welche als ausgefüllte Kreise dargestellt sind und der Kundengruppe angehören. So halten sich in einem solchen Teilbereich 14.1, 14.2 beispielsweise mindestens fünf Personen 14 der Kundengruppe ohne eine Serviceperson 12 auf.
  • Neben diesen Analysefunktionen ermöglichen Ausführungsformen der Erfindung ebenso eine schwache Art der Zugangskontrolle. Sollten sich nur Personen mit Sicherheitskleidung in einem bestimmten Gebiet aufhalten, kann die Videoanalyse das sehr einfach ermitteln und melden.
  • Ausführungsformen der vorliegenden Erfindung können als Schaltung, Vorrichtung, Verfahren, Datenverarbeitungsprogramm mit Programmcodemitteln und/oder als Computerprogrammprodukt realisiert werden. Entsprechend kann die vorliegende Erfindung vollständig als Hardware und/oder als Software und/oder als Kombination aus Hardware- und/oder Softwarekomponenten ausgeführt werden. Zudem kann die vorliegende Erfindung als Computerprogrammprodukt auf einem computernutzbaren Speichermedium mit computerlesbarem Programmcode ausgeführt werden, wobei verschiedene computerlesbare Speichermedien wie Festplatten, CD-ROMs, optische oder magnetische Speicherelemente usw. benutzt werden können.
  • Die computernutzbaren oder computerlesbaren Medien können beispielsweise elektronische, magnetische, optische, elektromagnetische Infrarot- oder Halbleitersysteme, Vorrichtungen, Geräte oder Verbreitungsmedien umfassen. Zudem können die computerlesbaren Medien eine elektrische Verbindung mit einer oder mehreren Leitungen, eine tragbare Computerdiskette, einen Speicher mit direktem Zugriff (RAM), einen Nur-Lese-Speicher (ROM), einen löschbaren und programmierbaren Nur-Lese-Speicher (EPROM oder Flashspeicher, eine optischen Leitung und eine tragbare CD-ROM umfassen. Das computernutzbare oder das computerlesbare Medium kann sogar Papier oder ein anderes geeignetes Medium sein, auf welchem das Programm geschrieben ist, und von welchem es, beispielsweise durch einen optischen Abtastvorgang des Papiers oder des anderen Mediums elektrisch erfassbar ist, dann kompiliert, interpretiert oder falls erforderlich auf andere Weise verarbeitet und dann im Computerspeicher gespeichert werden kann.
  • Ausführungsformen der Erfindung ermöglichen in vorteilhafter Weise die automatische Erkennung und Lokalisierung von Personen des Servicepersonals anhand ihrer einheitlichen Berufskleidung. Dazu werden Bildverarbeitungsverfahren im Videoüberwachungssystem angewendet, um den zu überwachenden Bereich zu analysieren. Zudem werden Personen des Servicepersonals und Kunden in definierten Gebieten gezählt, um zu ermitteln, ob in einem Bereich genug Personal vorhanden ist. Mit dieser Information kann eine optimale Verteilung des Personals erzielt werden, um den Kunden beispielsweise in einem Supermarkt bei Fragen bezüglich eines Produktstandorts, am Bahnhof bezügliche einer Reiseauskunft usw. die bestmögliche Unterstützung zu gewähren.

Claims (8)

  1. Verfahren zur Lokalisierung von Personen in einem vorgegebenen Bereich, welcher durch mindestens eine Bildaufnahmevorrichtung (3) überwacht wird, wobei die mindestens eine Bildaufnahmevorrichtung (3) fortlaufend Bilder des vorgegebenen überwachten Bereichs (10) erzeugt, welche unter Verwendung von mindestens einem Bildverarbeitungsverfahren und/oder Bildauswerteverfahren analysiert und ausgewertet werden, wobei die erzeugten Bilder des vorgegebenen Bereichs (10) zur Erkennung und Lokalisierung von Personen (12, 14) analysiert und ausgewertet werden, wobei erkannte und lokalisierte Personen (12, 14) klassifiziert und mindestens einer vorgegebenen Gruppe zugeordnet werden, wobei die Zuordnung zu einer Gruppe in Abhängigkeit von vorgegebenen Kleidungsmerkmalen getroffen wird, wobei einer ersten Gruppe erkannte Personen (12) zugeordnet werden, welche zum Servicepersonal gehören, wobei alle anderen erkannten Personen (14) einer Kundengruppe zugeordnet werden, wobei mindestens ein Teilbereich (12.1, 12.2, 12.3, 12.4, 14.1, 14.2) des vorgegebenen Bereichs (10) durch die Position einer Person (12) der Servicepersonalgruppe bestimmt wird, wobei im gesamten vorgegebenen Bereich (10) und/oder in Teilbereichen (12.1, 12.2, 12.3, 12.4, 14.1, 14.2) des vorgegebenen Bereichs (10) das Verhältnis der Anzahl von Personen (12) der Servicepersonalgruppe zur Anzahl von Personen (4) der Kundengruppe bestimmt wird und wobei in Abhängigkeit von dem bestimmten Verhältnis auf einem Ausgabemonitor korrespondierende Bereiche in unterschiedlichen Farben dargestellt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vorgegebenen Kleidungsmerkmale Farbspektren und/oder Kleidungsformen umfassen.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass Kleidungsmerkmale durch Gradienten-Histogramme und/oder Farb-Histogramme und/oder Skalen-invariante-Merkmale vorgegeben werden, wobei signifikante Kleidungsmerkmale mittels einer Principal-Components-Analysis ausgewählt werden.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die vorgegebenen Kleidungsmerkmale zum Anlernen eines Klassifikators (28) verwendet werden, welcher über eine Support-Vector-Machine und/oder ein Boosting-Verfahren angelernt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mindestens ein Teilbereich (12.1, 12.2, 12.3, 12.4, 14.1, 14.2) des vorgegebenen Bereichs (10) durch eine vorgegebene Anzahl von Personen (14) der Kundengruppe bestimmt wird.
  6. Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich, welchen mindestens eine Bildaufnahmevorrichtung (3) überwacht, wobei die mindestens eine Bildaufnahmevorrichtung (3) fortlaufend Bilder des vorgegebenen überwachten Bereichs (10) erzeugt und ausgibt, welche eine Auswerte- und Steuereinheit (20) unter Verwendung von mindestens einem Bildverarbeitungsverfahren und/oder Bildauswerteverfahren analysiert und auswertet, wobei die Auswerte- und Steuereinheit (20) die erzeugten Bilder des vorgegebenen Bereichs (10) zur Erkennung und Lokalisierung von Personen (12, 14) analysiert und auswertet, wobei die Auswerte- und Steuereinheit (20) erkannte und lokalisierte Personen (12, 14) klassifiziert und mindestens einer vorgegebenen Gruppe zuordnet, wobei die Auswerte- und Steuereinheit (20) die Zuordnung zu einer Gruppe in Abhängigkeit von vorgegebenen Kleidungsmerkmalen durchführt, wobei einer ersten Gruppe erkannte Personen (12) zugeordnet werden, welche zum Servicepersonal gehören, wobei alle anderen erkannten Personen (14) einer Kundengruppe zugeordnet werden, wobei mindestens ein Teilbereich (12.1, 12.2, 12.3, 12.4, 14.1, 14.2) des vorgegebenen Bereichs (10) durch die Position einer Person (12) der Servicepersonalgruppe bestimmt wird, wobei im gesamten vorgegebenen Bereich (10) und/oder in Teilbereichen (12.1, 12.2, 12.3, 12.4, 14.1, 14.2) des vorgegebenen Bereichs (10) das Verhältnis der Anzahl von Personen (12) der Servicepersonalgruppe zur Anzahl von Personen (4) der Kundengruppe bestimmt wird und wobei in Abhängigkeit von dem bestimmten Verhältnis auf einem Ausgabemonitor der Vorrichtung korrespondierende Bereiche in unterschiedlichen Farben dargestellt werden.
  7. Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger gespeichert ist, zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 5, wenn das Programm durch eine Auswerte- und Steuereinheit (20) ausgeführt wird.
  8. Datenverarbeitungsprogramm mit Programmcodemitteln zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 5 durch eine Auswerte- und Steuereinheit (20), wenn das Datenverarbeitungsprogramm durch die Auswerte- und Steuereinheit (20) abgearbeitet wird.
DE102010003669.2A 2010-04-07 2010-04-07 Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich Active DE102010003669B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102010003669.2A DE102010003669B4 (de) 2010-04-07 2010-04-07 Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich
US13/639,892 US8983129B2 (en) 2010-04-07 2011-03-25 Detecting and classifying persons in a prescribed area
PCT/EP2011/054629 WO2011124483A1 (de) 2010-04-07 2011-03-25 Verfahren und vorrichtung zur lokalisierung von personen in einem vorgegebenen bereich

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010003669.2A DE102010003669B4 (de) 2010-04-07 2010-04-07 Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich

Publications (2)

Publication Number Publication Date
DE102010003669A1 DE102010003669A1 (de) 2011-10-13
DE102010003669B4 true DE102010003669B4 (de) 2022-05-05

Family

ID=43902875

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010003669.2A Active DE102010003669B4 (de) 2010-04-07 2010-04-07 Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich

Country Status (3)

Country Link
US (1) US8983129B2 (de)
DE (1) DE102010003669B4 (de)
WO (1) WO2011124483A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003669B4 (de) * 2010-04-07 2022-05-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich
US20150363720A1 (en) * 2014-06-13 2015-12-17 Vivint, Inc. Automated metric tracking for a business
WO2018151759A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same
EP3688662A1 (de) 2017-09-27 2020-08-05 3M Innovative Properties Company System zur verwaltung von persönlicher schutzausrüstung unter verwendung optischer muster zur ausrüstungs- und sicherheitsüberwachung
US20220012501A1 (en) * 2018-12-14 2022-01-13 Xovis Ag Method and arrangement for determining a group of persons to be considered

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10210926A1 (de) 2002-03-13 2003-10-16 Bosch Gmbh Robert Vorrichtung zur Verfolgung wenigstens eines Objekts in einer Szene
US20080033752A1 (en) 2006-08-04 2008-02-07 Valence Broadband, Inc. Methods and systems for monitoring staff/patient contacts and ratios
US20080212099A1 (en) 2007-03-01 2008-09-04 Chao-Ho Chen Method for counting people passing through a gate
US20090231436A1 (en) 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907387B1 (en) * 2002-08-05 2005-06-14 Bellsouth Intellectual Property Corporation Systems and methods for remote monitoring of a facility location
US7505621B1 (en) * 2003-10-24 2009-03-17 Videomining Corporation Demographic classification using image components
US8369570B2 (en) * 2005-09-28 2013-02-05 Facedouble, Inc. Method and system for tagging an image of an individual in a plurality of photos
US8068676B2 (en) * 2007-11-07 2011-11-29 Palo Alto Research Center Incorporated Intelligent fashion exploration based on clothes recognition
DE102010003669B4 (de) * 2010-04-07 2022-05-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231436A1 (en) 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
DE10210926A1 (de) 2002-03-13 2003-10-16 Bosch Gmbh Robert Vorrichtung zur Verfolgung wenigstens eines Objekts in einer Szene
US20080033752A1 (en) 2006-08-04 2008-02-07 Valence Broadband, Inc. Methods and systems for monitoring staff/patient contacts and ratios
US20080212099A1 (en) 2007-03-01 2008-09-04 Chao-Ho Chen Method for counting people passing through a gate

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHAW, G. M.: A taxonomy of situated language in natural contexts. September 2011. Doktorarbeit. Massachusetts Institute of Technology. URL: https://dspace.mit.edu/handle/1721.1/69808 [abgerufen am 28.10.2021]
SHAW, G.: Multi-modal classification of tracking output for person identification. Dezember 2009. URL: http://www.divinepenguin.com/portfolio/pdf/gshaw_ml_finalpaper.pdf [abgerufen am 28.10.2021]

Also Published As

Publication number Publication date
US20130101165A1 (en) 2013-04-25
US8983129B2 (en) 2015-03-17
DE102010003669A1 (de) 2011-10-13
WO2011124483A1 (de) 2011-10-13

Similar Documents

Publication Publication Date Title
DE102014210820B4 (de) Verfahren zum Nachweis von großen und Passagierfahrzeugen von festen Kameras
EP3279700B1 (de) Zentralisiertes sicherheitsinspektionverwaltungssystem
Zhang et al. Automated detection of grade-crossing-trespassing near misses based on computer vision analysis of surveillance video data
DE102014105351B4 (de) Detektion von menschen aus mehreren ansichten unter verwendung einer teilumfassenden suche
DE102014213553B4 (de) Tracking-Unterstützungsvorrichtung, Tracking-Unterstützungssystem und Tracking-Unterstützungsverfahren
DE102012204901B4 (de) Verbesserung der Zuverlässigkeit beim Erkennen von Schienenkreuzungsereignissen
CN109002744A (zh) 图像识别方法、装置和视频监控设备
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
DE102010003669B4 (de) Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich
CN110610592B (zh) 一种视频分析和深度学习的机坪安全运行监控方法
EP2034461B1 (de) Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
WO2009003793A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE102009028604A1 (de) Vorrichtung zur Erkennung einer Objektschlange, Verfahren sowie Computerprogramm
DE102008001126A1 (de) Inventarisierungsmodul für ein Videoüberwachungssystem, Verfahren zur Inventarisierung eines Überwachungsbereichs sowie Computerprogramm
CN108229407A (zh) 一种视频分析中的行为检测方法与系统
DE102008041933A1 (de) Überwachungssystem, Verfahren zur Detektion und/oder Verfolgung eines Überwachungsobjektes und Computerprogrammen
Ancheta et al. FEDSecurity: implementation of computer vision thru face and eye detection
EP3424000A1 (de) Verfahren zur erstellung einer beschreibung eines gepäckstücks und gepäckbeschreibungssystem
CN105844245A (zh) 一种伪装人脸检测方法及系统
CN106355682A (zh) 一种视频分析方法、装置及系统
DE102018118421A1 (de) Systeme und verfahren zur erkennung alarmierender bewegungsbahnen von objekten
WO2010139495A1 (de) Verfahren und vorrichtung zum klassifizieren von situationen
AT524715A1 (de) Verfahren und Vorrichtung zur Nachverfolgung von Tieren
CN111723725A (zh) 一种基于视频ai多维分析系统
US20220284566A1 (en) Computer-vision based workplace safety

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final