-
Stand der Technik
-
Die Erfindung geht von einem Verfahren und einer Vorrichtung_zum Überwachen eines Beobachtungsbereichs nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Die Erkennung von unbefugten Personen in bestimmten Bereichen einer Anlage, wie zum Beispiel Bürogebäude, Produktionsstätten oder Kernkraftwerken, ist ein zunehmender Anwendungsfall in Videoüberwachungsszenarien. Dieser Anwendungsfall wird auch als „Whitelisting“-Anwendungsfall bezeichnet.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Überwachen eines Beobachtungsbereichs, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Mit dem hier vorgestellten Verfahren können vorteilhafterweise Fehlalarme bei videoüberwachten Bereichen reduziert werden. Darüber hinaus können Echtalarm-Wiederholungen bei einem erneuten Auftauchen eines Unbefugten in derselben Kamera oder über mehrere Kameras hinweg für einen optimierten Arbeitsablauf vermieden werden.
-
Es wird ein Verfahren zum Überwachen eines Beobachtungsbereichs vorgestellt, wobei ein erster Teilbereich des Beobachtungsbereichs von einer ersten Kameraeinheit und ein zweiter Teilbereich des Beobachtungsbereichs von einer zweiten Kameraeinheit erfassbar ist, wobei sich der erste Teilbereich und der zweite Teilbereich zumindest teilweise voneinander unterscheiden. Das Verfahren umfasst einen Schritt des Einlesens eines ersten Kamerasignals von einer ersten Kameraschnittstelle zu der ersten Kameraeinheit, wobei das erste Kamerasignal ein erstes Bild einer im ersten Teilbereich erfassten Person repräsentiert, und einen Schritt des Erkennens der erfassten Person als eine Zielperson und zusätzlich oder alternativ des Extrahierens zumindest eines Parameters unter Verwendung des ersten Kamerasignals und eines Erkennungsverfahrens. Weiterhin umfasst das Verfahren einen Schritt des weiteren Einlesens eines zweiten Kamerasignals von einer zweiten Kameraschnittstelle zu der zweiten Kameraeinheit, wobei das zweite Kamerasignal ein zweites Bild der im zweiten Teilbereich erfassten Zielperson repräsentiert. Dabei wird die im zweiten Teilbereich erfasste Zielperson unter Verwendung des extrahierten Parameters als die im ersten Teilbereich erfasste Person identifiziert.
-
Bei dem Beobachtungsbereich kann es sich beispielsweise um einen bestimmten Bereich einer Anlage, wie zum Beispiel einem Bürogebäude, einer Produktionsstätte oder einem Kernkraftwerk, handeln, dessen Betreten unbefugten Personen verboten ist. Dieser Beobachtungsbereich kann zum Beispiel mittels einer beliebigen Mehrzahl von Kameras überwacht werden. Dabei kann beispielsweise ein sogenanntes Whitelisting von bekannten Personen durchgeführt werden, bei dem die jeweilige Person als eine befugte oder unbefugte Zielperson identifiziert werden kann, die autorisiert oder nicht autorisiert ist, sich innerhalb des Beobachtungsbereichs aufzuhalten. Hierfür kann zum Beispiel ein Erkennungsverfahren, wie eine Gesichtserkennung oder eine Personendetektion durchgeführt werden. Wenn die in einem Teilbereich erfasste Person als eine unbefugte Person erkannt wird, das heißt als eine Person, die keine Autorisierung für einen Aufenthalt innerhalb des Beobachtungsbereichs oder zumindest des jeweiligen Teilbereichs besitzt, kann zum Beispiel ein Alarm ausgelöst werden. Ein solcher Alarm kann zum Beispiel ebenfalls ausgelöst werden, wenn die entsprechende Person beispielsweise für eine oder mehrere Kameras nicht erkennbar ist, zum Beispiel weil das Gesicht verborgen oder von der Kamera abgewandt sein kann. Die Wahrscheinlichkeit eines Auftretens eines ungünstigen Blickwinkels einer Kamera auf die Person kann dabei mit zunehmender Anzahl von Kameras steigen. Das heißt, während eine Erkennung von unbefugten Personen prinzipiell pro Kamera funktionieren kann, kann ein Übergang von Anlagen mit wenigen Kameras zu Anlagen mit vielen Kameras problematisch sein. Beispielsweise kann ein Erfassen einer berechtigten Person zu Fehlalarmen führen, weil bei manchen Kameraperspektiven die Qualität der Gesichtsaufnahme zu schlecht für eine gute Erkennung sein kann oder weil aus diesem Blickwinkel überhaupt kein Gesicht erkannt werden konnte. Darüber hinaus sind Echtalarm-Wiederholungen beim erneuten Auftauchen eines Unbefugten in verschiedenen Teilbereichen des Beobachtungsbereichs möglich, wenn die Aufnahmen der einzelnen Kameras separat voneinander verarbeitet werden. Vorteilhafterweise können mit dem hier vorgestellten Verfahren bei der Erkennung von unbefugten Personen in Videoüberwachungsszenarien mit mehreren Kameras Fehlalarme und Echtalarm-Wiederholungen vermieden werden, indem standardmäßig auf Einzelkameras basierende Ansätze mit der Personenverfolgung mit mehreren Kameras kombiniert werden, was vorteilhafterweise zu einer höheren Effizienz des Alarmmanagement-Workflows führen kann. Hierfür kann mittels des vorgestellten Verfahrens eine Art Informationsübergabe von einer Kameraeinheit zur nächsten stattfinden, indem eine im Schritt des Erkennens als eine Zielperson erkannte Person im Schritt des weiteren Einlesens als die von der vorigen Kameraeinheit erfasste Person erkannt wird. Hierfür können ein oder mehrere personenspezifische Parameter extrahiert werden. Beispielsweise können optische Parameter, wie die Größe, die Haarfarbe oder die Farbe der Kleidung, extrahiert werden, oder eine Position und zusätzlich oder alternativ eine Bewegungsrichtung der Zielperson kann erfasst werden. Entsprechend wird die im zweiten Teilbereich erfasste Zielperson unter Verwendung des extrahierten Parameters als die im ersten Teilbereich erfasste Person identifiziert. Vorteilhafterweise kann die Zielperson dadurch sowohl erkannt als auch über mehrere Kameras hinweg verfolgt werden, wodurch Fehlalarme und Echtalarm-Wiederholungen vorteilhafterweise vermieden werden können. Mit anderen Worten werden Fehlalarme und Echtalarm-Wiederholungen mittels eines Alarmvalidierungsmodul vermieden, das die Historie der detektierten Personen und deren Berechtigungsstufe (berechtigt/nicht berechtigt) kennt und entscheiden kann, ob beispielsweise ein neuer Unbefugtenalarm einen bestehenden früheren Alarm erweitert (echte Alarmwiederholungsvermeidung, indem nur eine Aktualisierung des entsprechenden früheren Alarms zum Beispiel mit neuen Angaben zur Personenlokalisierung veröffentlicht wird) oder ob es sich um einen Fehlalarm handelt, weil die betroffene Person bereits früher als berechtigte Person identifiziert wurde (Fehlalarmvermeidung durch Unterdrückung des neuen Alarms).
-
Gemäß einer Ausführungsform kann im Schritt des Erkennens ein Gesichtserkennungsverfahren und zusätzlich oder alternativ ein Personenerkennungsverfahren durchgeführt werden, um die Zielperson zu erkennen. Beispielsweise kann die Zielperson auf der Grundlage biometrischer Gesichtsmerkmalsvektoren aus tiefen neuronalen Netzwerkausgängen erkannt werden. Grundsätzlich kann die Gesichtserkennung in Videoüberwachungsszenarien in drei Schritte unterteilt werden: (1) Gesichtserkennung und Gesichtsverfolgung in einem Videofeed, (2) Extraktion von Gesichtsmerkmalsvektoren für ein oder mehrere erkannte Gesichter einer Gesichtsspur und (3) Abgleich von Gesichtsmerkmalsvektoren aus einer Gesichtsspur mit Gesichtsmerkmalsvektoren von Personen auf der Überwachungsliste. Eine Gesichtserkennung ist gegeben, wenn der Abgleich eine Ähnlichkeit oberhalb einer konfigurierten Ähnlichkeitsschwelle ergibt. Kann das Gesicht einer Person im Videofeed nicht erkannt werden, kann dies natürlich auch unbeabsichtigt durch das Verhalten der Person oder durch Einschränkungen im Setup, wie zum Beispiel eine ungünstige Blickperspektive, verursacht werden. Aber unabhängig von der tatsächlichen Ursache kann von einem Verschleierungsversuch ausgegangen werden, das heißt es kann angenommen werden, dass die Person absichtlich unkooperativ ist. Ein Gesichtserkennungsverfahren hat den Vorteil, dass die Gesichtserkennungstechnologie eine hohe Erkennungssicherheit bietet, die auch für nicht kooperative Szenarien geeignet ist, das heißt, wenn die beobachteten Personen nicht zu 100 % direkt in die Kamera schauen. Dabei kann beispielsweise zusätzlich ein Personenerkennungsverfahren durchgeführt werden, um vorteilhafterweise die Anzahl der übersehenen unkooperativen Personen (Falsch-Negative) zu reduzieren. Dabei kann der auf reiner Gesichtserkennung basierende Ansatz zum Beispiel mit einem Personendetektor gepaart werden, der das gleiche Videomaterial parallel verarbeitet. Dabei kann vorteilhafterweise eine Personenverfolgung über mehrere Kameras hinweg auf verschiedene Weise mit unterschiedlichem Grad an Anwendbarkeit und Nützlichkeit für bestimmte Szenarien erreicht werden.
-
Gemäß einer weiteren Ausführungsform kann im Schritt des Erkennens als Parameter mindestens ein Personenmerkmalsvektor extrahiert werden, der ein optisches Merkmal der Zielperson repräsentieren kann, um die Zielperson im Schritt des weiteren Einlesens unter Verwendung des Personenmerkmalsvektors zu identifizieren. Dabei kann der Vektor als Parameter eindimensional oder mehrdimensional sein, wobei die Optik eine Komponente des Vektors sein kann. Beispielsweise können analog zur Extraktion von Gesichtsmerkmalsvektoren auch Personenmerkmalsvektoren aus den Videoaufnahmen extrahiert werden. Abhängig von der Extraktionsmethode und der Varianz der Attribute zwischen den verschiedenen Personen in den beobachteten Szenen kann vorteilhafterweise eine Re-Identifizierung einer Person auf der Grundlage von Merkmalsvektoren mit einer ausreichenden Leistung möglich sein. Bei der Verwendung von Personenmerkmalsvektoren aus modernen tiefen neuronalen Netzen in Verbindung mit einer gewissen Varianz im Erscheinungsbild der Personen (das heißt nicht alle Personen tragen dieselbe Uniform und dieselbe Mütze) kann davon ausgegangen werden, dass die Wiedererkennungsqualität für die Verfolgung mehrerer Personen über mehrere Kameras hinweg ausreichend ist.
-
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein Anzahlsignal von einer Zählschnittstelle zu einer Zähleinrichtung eingelesen werden, wobei das Anzahlsignal eine Anzahl von innerhalb des Beobachtungsbereichs angeordneten Personen repräsentieren kann. Dabei kann im Schritt des weiteren Einlesens die Zielperson unter Verwendung des Anzahlsignals identifiziert werden. Beispielsweise können Personenzähler als Einwegtore mit Zählern oder als kamerabasierte Zähler an allen Ein- und Ausgängen eines Interessenbereichs ausgebildet sein. Befindet sich zum Beispiel nur eine Person in diesem Bereich und wurde mindestens einmal als berechtigt erkannt, dann macht es keinen Sinn, einen Alarm für unberechtigte Personen zu veröffentlichen, nur weil eine der Kameras einen ungünstigen Blickwinkel hat (zum Beispiel Person erkannt, aber kein Gesicht aus dieser Perspektive erkannt). In einigen Szenarien kann es zudem eindeutige physische Einschränkungen für die Bewegung von Personen geben, zum Beispiel Türen und Wände. Wenn dann die Anzahl der Personen gering genug ist, kann vorteilhafterweise eine einfache Personenzählung ausreichen, um eine ausreichende Personenverfolgungsqualität zu erreichen.
-
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens eine erste Zeitangabe eingelesen werden und im Schritt des weiteren Einlesens eine zweite Zeitangabe, wobei die erste Zeitangabe einen Zeitpunkt des eingelesenen ersten Kamerasignals repräsentieren kann und die zweite Zeitangabe einen Zeitpunkt des eingelesenen zweiten Kamerasignals. Dabei kann im Schritt des weiteren Einlesens die Zielperson identifiziert werden, wenn der zweite Zeitpunkt innerhalb eines Toleranzbereichs nach dem ersten Zeitpunkt liegt. Beispielsweise kann ein zeitlicher Toleranzbereich hinterlegt sein, der eine minimale und maximale zeitliche Einheit repräsentieren kann, die die Person benötigt, um eine Wegstrecke zwischen dem ersten Teilbereich und dem zweiten Teilbereich zurückzulegen. Vorteilhafterweise kann dadurch eine Person, die innerhalb eines adäquaten Zeitraums eine entsprechende Wegstrecke zurücklegt, entlang der Wegstrecke als die zu Beginn erfasste Person identifiziert werden.
-
Gemäß einer weiteren Ausführungsform kann im Schritt des Erkennens als Parameter eine Position der Zielperson extrahiert werden. Dabei kann im Schritt des weiteren Einlesens die Zielperson identifiziert werden, wenn die Position innerhalb eines Toleranzbereichs in einem Schnittbereich angeordnet ist, an dem sich der erste Teilbereich und der zweite Teilbereich schneiden und zusätzlich oder alternativ überlappen. In manchen Szenarien können sich zum Beispiel die Sichtkegel der Kameras überschneiden. Wenn die extrinsischen und intrinsischen Parameter aller zugehörigen Kameras kalibriert werden, unter der Annahme, dass alle Personen gravitativ an eine gemeinsame Bodenebene gebunden sind, dann können die Fußpunkte der erkannten Personen pro Kamera vom 2D Sensorpixelraum in den 2D Bodenebenenraum übertragen und über alle Kameras, die das gleiche Segment der Szene beobachten, abgeglichen werden (Überlappung der Sichtkegel). Wenn der Fußpunkt von Person X von Kamera A auf der Bodenebene nahe genug am Fußpunkt von Person Y von Kamera B liegt, kann man davon ausgehen, dass Person X tatsächlich dieselbe Person ist wie Person Y, was zu einer Übergabesituation von Kamera A zu Kamera B führt. Solche Übergabesituationen können vorteilhafterweise für die Personenverfolgung über mehrere Kameras hinweg genutzt werden.
-
Gemäß einer weiteren Ausführungsform kann im Schritt des Erkennens der Zielperson ein Autorisierungsparameter zugeordnet werden, wobei der Autorisierungsparameter eine Erlaubnis und zusätzlich oder alternativ ein Verbot, insbesondere zum Autorisieren, eines Aufenthalts der Zielperson in dem Beobachtungsbereich repräsentieren kann. Insbesondere kann der Autorisierungsparameter im Schritt des weiteren Einlesens an die zweite Kameraeinheit oder an eine mit der zweiten Kameraeinheit verbundene Autorisierungseinheit übergeben werden. Beispielsweise kann die erkannte Zielperson mit einer Datenbank abgeglichen werden, in der alle Personen und deren Berechtigungen innerhalb des Beobachtungsbereichs hinterlegt sein können. Beispielsweise kann eine Person autorisiert sein, sich in bestimmten Teilbereichen des Beobachtungsbereichs aufzuhalten und in anderen nicht. Diese Information kann während der Personenverfolgung an die Kameraeinheiten oder die jeweiligen Autorisierungseinheiten der Kameraeinheiten weitergegeben werden, sodass vorteilhafterweise eine effiziente und energiesparende Überwachung durchgeführt werden kann. Sobald die Zielperson zum Beispiel einen Teilbereich betritt, zu dem sie nicht autorisiert ist, kann oder wird, insbesondere ohne zeitliche Verzögerung, ein Alarm ausgelöst werden.
-
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Erfassens der Person mittels der ersten Kameraeinheit und zusätzlich oder alternativ der Zielperson mittels der zweiten Kameraeinheit aufweisen. Vorteilhafterweise kann dadurch das gesamte Verfahren für den Beobachtungsbereich optimiert durchgeführt werden.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 ein Ablaufdiagramm eines Verfahrens zum Überwachen eines Beobachtungsbereichs gemäß einem Ausführungsbeispiel;
- 2 eine schematische Darstellung eines Beobachtungsbereichs gemäß einem Ausführungsbeispiel;
- 3 ein Ablaufdiagramm eines Verfahrens zum Überwachen eines Beobachtungsbereichs gemäß einem Ausführungsbeispiel; und
- 4 eine schematische Darstellung eines Beobachtungsbereichs gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Überwachen eines Beobachtungsbereichs. Dabei ist ein erster Teilbereich des Beobachtungsbereichs von einer ersten Kameraeinheit und ein zweiter Teilbereich des Beobachtungsbereichs von einer zweiten Kameraeinheit erfassbar, wobei sich der erste Teilbereich und der zweite Teilbereich zumindest teilweise voneinander unterscheiden.
-
Das Verfahren 100 umfasst einen Schritt 105 des Einlesens eines ersten Kamerasignals von einer ersten Kameraschnittstelle zu der ersten Kameraeinheit, wobei das erste Kamerasignal ein erstes Bild einer im ersten Teilbereich erfassten Person repräsentiert.
-
Auf den Schritt 105 des Einlesens folgt ein Schritt 110 des Erkennens der erfassten Person als eine Zielperson und des Extrahierens zumindest eines Parameters unter Verwendung des ersten Kamerasignals und eines Erkennungsverfahrens.
-
Weiterhin umfasst das Verfahren 100 einen Schritt 115 des weiteren Einlesens eines zweiten Kamerasignals von einer zweiten Kameraschnittstelle zu der zweiten Kameraeinheit. Dabei repräsentiert das zweite Kamerasignal ein zweites Bild der im zweiten Teilbereich erfassten Zielperson, wobei die im zweiten Teilbereich erfasste Zielperson unter Verwendung des extrahierten Parameters als die im ersten Teilbereich erfasste Person identifiziert wird.
-
In einem Ausführungsbeispiel wird im Schritt 110 des Erkennens als Erkennungsverfahren eine Gesichtserkennung durchgeführt. Hierbei wird lediglich beispielhaft ein Gesicht der Person auf der Grundlage biometrischer Gesichtsmerkmalsvektoren aus tiefen neuronalen Netzwerkausgängen erkannt. Dabei wird die Gesichtserkennung beispielhaft in drei Schritte unterteilt: (1) Gesichtserkennung und Gesichtsverfolgung in einem Videofeed, (2) Extraktion von Gesichtsmerkmalsvektoren für ein oder mehrere erkannte Gesichter einer Gesichtsspur und (3) Abgleich von Gesichtsmerkmalsvektoren aus einer Gesichtsspur mit Gesichtsmerkmalsvektoren von Personen auf einer digital hinterlegten Überwachungsliste. Eine Gesichtserkennung ist gegeben, wenn der Abgleich eine Ähnlichkeit oberhalb einer konfigurierten Ähnlichkeitsschwelle ergibt.
-
Ist das Gesicht der Person im Videofeed nicht erkennbar, kann dies natürlich auch unbeabsichtigt durch das Verhalten der Person oder durch Einschränkungen im Setup wie zum Beispiel eine ungünstige Blickperspektive verursacht werden. Aber unabhängig von der tatsächlichen Ursache wird von einem Verschleierungsversuch ausgegangen, das heißt es wird angenommen, dass die Person absichtlich unkooperativ ist.
-
Für den Anwendungsfall der Erkennung unbefugter Personen werden beispielhaft folgende Schlussfolgerungen gezogen, wenn eine Person von einer Videoüberwachungskamera in Verbindung mit einem reinen Gesichtserkennungsansatz gesehen werden kann:
- Bei einer erfolgreichen Erfassung von einem oder mehreren Gesichtern (Gesichtsspur) für eine beobachtete Person und bei einer erfolgreichen Gesichtserkennung, das heißt, wenn eine Ähnlichkeit von einem oder mehreren der erkannten Gesichter mit einem oder mehreren Gesichtern auf einer hinterlegten Überwachungsliste einen festgelegten Ähnlichkeitsschwellenwert überschreitet, dann wird eine bekannte Person erkannt. Wenn diese Person nicht berechtigt ist, sich in diesem Bereich aufzuhalten, wurde eine unbefugte bekannte kooperative Person erkannt. Wenn mehr als eine Person auf der Überwachungsliste die Ähnlichkeitsschwelle überschreitet, wird die Berechtigung jeder Person unabhängig geprüft.
-
Bei einer erfolgreichen Erfassung von einem oder mehreren Gesichtern aber einer nicht erfolgreichen Gesichtserkennung wird eine unbekannte Person entdeckt. Da nur bekannte Personen autorisiert werden können, wurde eine unbefugte unbekannte kooperative Person entdeckt.
-
Bei einer nicht erfolgreichen Erfassung von einem oder mehreren Gesichtern sind Informationen zur Gesichtserkennung nicht verfügbar, dann ergibt sich ein sogenanntes Falsch-Negativ: eine unkooperative Person wurde übersehen.
-
2 zeigt eine schematische Darstellung eines Beobachtungsbereichs 200 gemäß einem Ausführungsbeispiel. Der Beobachtungsbereich 200 ist in diesem Ausführungsbeispiel mittels einer Vorrichtung 205 und einer Mehrzahl von Kameraeinheiten 210, 215 überwachbar, wobei die Vorrichtung 205 ausgebildet ist, um ein Verfahren, wie es in der vorangegangenen Figur beschrieben wurde, auszuführen. Hierfür ist lediglich beispielhaft ein erster Teilbereich 220 des Beobachtungsbereichs 200 von der ersten Kameraeinheit 210 und ein zweiter Teilbereich 225 des Beobachtungsbereichs 200 von der zweiten Kameraeinheit 215 erfassbar. In diesem Ausführungsbeispiel überlappen sich die erfassbaren Teilbereiche 220, 225 in einem Schnittbereich 230 von beispielhaft jeweils 15% des erfassbaren Raums, während sich der erste Teilbereich 220 und der zweite Teilbereich 225 in den restlichen 85% voneinander unterscheiden, um annähernd den gesamten Beobachtungsbereich 200 sowie eine in dem Beobachtungsbereich angeordnete Person 235 zu erfassen.
-
In diesem Ausführungsbeispiel sind die Kameraeinheiten 210, 215 ausgebildet, um Kamerasignale 240, 245 an die Vorrichtung 205 bereitzustellen. Dabei ist die Vorrichtung 205 ausgebildet, um ein erstes Kamerasignal 240 von einer ersten Kameraschnittstelle 250 zu der ersten Kameraeinheit 210 einzulesen, wobei das erste Kamerasignal 240 ein erstes Bild der im ersten Teilbereich 220 erfassten Person 235 repräsentiert
-
Die Vorrichtung 205 ist weiterhin beispielhaft ausgebildet, um unter Verwendung des ersten Kamerasignals 240 und eines Erkennungsverfahren, bei dem es sich beispielhaft um eine Gesichtserkennung handelt, die erfasste Person 235 als eine Zielperson 252 zu erkennen. Dabei ist in einem Ausführungsbeispiel die Vorrichtung ausgebildet, um der Zielperson einen Autorisierungsparameter zuzuordnen, wobei der Autorisierungsparameter eine beispielhafte Erlaubnis zum Aufenthalt der Zielperson in dem Beobachtungsbereich repräsentiert. In einem anderen Ausführungsbeispiel kann der Zielperson auch ein Verbot des Aufenthalts zugeordnet und beispielsweise ein Alarm ausgelöst werden.
-
In diesem Ausführungsbeispiel ist die Vorrichtung 205 zudem ausgebildet, um unter Verwendung des ersten Kamerasignals 240 zumindest einen Parameter aus dem bereitgestellten Bild der Person 235 zu extrahieren. In einem Ausführungsbeispiel ist als Parameter ein Personenmerkmalsvektor extrahierbar, der ein optisches Merkmal der Zielperson repräsentiert.
-
Die Vorrichtung 205 ist weiterhin ausgebildet, um das zweite Kamerasignal 245 von einer zweiten Kameraschnittstelle 255 zu der zweiten Kameraeinheit 215 einzulesen. Dabei repräsentiert das zweite Kamerasignal 245 ein zweites Bild der im zweiten Teilbereich 225 erfassten Zielperson 252. Unter Verwendung des extrahierten Parameters ist die im zweiten Teilbereich 225 erfasste Zielperson 252 als die im ersten Teilbereich 220 erfasste Person 235 identifizierbar. Dabei ist in einem Ausführungsbeispiel auch der dieser Person 235 zuvor zugeordnete Autorisierungsparameter an eine mit der zweiten Kameraeinheit 215 verbundene Autorisierungseinheit 260 übergebar. Die Vorrichtung 205 ist in einem Ausführungsbeispiel ausgebildet, um diesen Autorisierungsparameter mittels der Autorisierungseinheit 260 zu erfassen.
-
3 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Überwachen eines Beobachtungsbereichs gemäß einem Ausführungsbeispiel. Das hier dargestellte Verfahren 100 entspricht oder ähnelt dem in der vorangegangenen 1 beschriebenen Verfahren, mit dem Unterschied, dass es zusätzliche Schritte aufweist.
-
So geht in diesem Ausführungsbeispiel dem Schritt 105 des Einlesens ein Schritt 300 des Erfassens der Person mittels der ersten Kameraeinheit voran. In diesem Schritt 300 wird die Person im ersten Teilbereich erfasst, um ein Bild derselben anschließend unter Verwendung des ersten Kamerasignals an die erste Kameraschnittstelle bereitzustellen. Dabei wird in einem Ausführungsbeispiel im Schritt 105 des Einlesens eine erste Zeitangabe eingelesen, die einen Zeitpunkt des eingelesenen ersten Kamerasignals repräsentiert.
-
Zudem wird in diesem Ausführungsbeispiel im Schritt 105 des Einlesens ein Anzahlsignal von einer Zählschnittstelle zu einer Zähleinrichtung eingelesen. Dabei repräsentiert beispielhaft das Anzahlsignal eine Anzahl von innerhalb des Beobachtungsbereichs angeordneten Personen. In einem Ausführungsbeispiel handelt es sich bei der Zähleinrichtung beispielhaft um ein Einwegtor mit Zählern. Mittels der Zähleinrichtung, die auch als Personenzähler bezeichnet werden kann, wird in einem Ausführungsbeispiel erfasst, wie viele Personen den Beobachtungsbereich betreten und ihn wieder verlassen, um eine Identifikation der Zielperson in den Teilbereichen des Beobachtungsbereichs zu erleichtern. Dabei gibt es beispielhaft in manchen Szenarien eindeutige physische Einschränkungen für die Bewegung von Personen, zum Beispiel Türen und Wände.
-
Auf den Schritt 105 des Einlesens folgt in diesem Ausführungsbeispiel der Schritt 110 des Erkennens. Dabei wird die erfasste Person als eine Zielperson erkannt und zudem wird zumindest ein Parameter extrahiert. Lediglich beispielhaft wird in diesem Schritt 110 des Erkennens ein Gesichtserkennungsverfahren und ein Personenerkennungsverfahren durchgeführt, um die Zielperson zu erkennen. Dabei werden lediglich beispielhaft analog zur Extraktion von Gesichtsmerkmalsvektoren auch Personenmerkmalsvektoren aus den Videoaufnahmen extrahiert. Abhängig von der Extraktionsmethode und der Varianz der Attribute zwischen den verschiedenen Personen in den beobachteten Szenen wird eine Re-Identifizierung einer Person auf der Grundlage von Merkmalsvektoren mit einer ausreichenden Leistung ermöglicht. Bei der Verwendung von Personenmerkmalsvektoren aus modernen tiefen neuronalen Netzen in Verbindung mit einer gewissen Varianz im Erscheinungsbild der Personen (das heißt nicht alle Personen tragen dieselbe Uniform und dieselbe Mütze) kann davon ausgegangen werden, dass die Wiedererkennungsqualität für die Verfolgung mehrerer Personen über mehrere Kameras hinweg ausreichend ist.
-
Mit anderen Worten wird in einem Ausführungsbeispiel ein Whitelisting auf Basis von Gesichtserkennung und Personendetektion durchgeführt. Um die Anzahl der übersehenen unkooperativen Personen (Falsch-Negative) zu reduzieren, wird beispielhaft der auf reiner Gesichtserkennung basierende Ansatz mit einem Personendetektor gepaart, der das gleiche Videomaterial parallel verarbeitet. Für den Anwendungsfall der Erkennung unbefugter Personen werden beispielhaft folgende Schlussfolgerungen gezogen, wenn eine Person von einer Videoüberwachungskamera in Verbindung mit einem kombinierten Ansatz aus Personenerkennung und Gesichtserkennung gesehen werden kann. Dabei wird unter einer Personenerkennung beispielhaft eine erfolgreiche Erkennung von einem oder mehreren Objekten vom Typ Person (Personenspur) und eine erfolgreiche Korrelation mit der Gesichtsspur verstanden.
-
Bei einer erfolgreichen Erfassung von einem oder mehreren Gesichtern (Gesichtsspur) für eine beobachtete Person und bei einer erfolgreichen Gesichtserkennung, wird eine Personenerkennung nicht benötigt, ist also egal. Entsprechend wird die Schlussfolgerung gezogen, dass eine bekannte Person erkannt wurde. Wenn diese Person nicht berechtigt ist, sich in diesem Bereich aufzuhalten, wurde eine unbefugte bekannte kooperative Person erkannt. Wenn mehr als eine Person auf der Überwachungsliste die Ähnlichkeitsschwelle überschreitet, wird die Berechtigung jeder Person unabhängig geprüft.
-
Bei einer erfolgreichen Erfassung von einem oder mehreren Gesichtern und bei einer nicht erfolgreichen Gesichtserkennung, ist eine Personenerkennung ebenfalls egal. Es wird beispielhaft die Schlussfolgerung gezogen, dass eine unbekannte Person entdeckt wurde. Da nur bekannte Personen autorisiert sein können, wurde eine unautorisierte unbekannte kooperative Person entdeckt.
-
Bei einer nicht erfolgreichen Erfassung von einem oder mehreren Gesichtern und bei einer nicht erfolgreichen Gesichtserkennung und bei einer erfolgreichen Personenerkennung, wird beispielhaft die Schlussfolgerung gezogen, dass eine unkooperative Person erkannt wurde, die nicht erkannt werden kann. Da nur bekannte Personen autorisiert werden können, wurde eine nicht autorisierte unkooperative Person erkannt.
-
Bei einer nicht erfolgreichen Erfassung von einem oder mehreren Gesichtern und bei einer nicht verfügbaren Gesichtserkennung und bei einer nicht erfolgreichen Personenerkennung, wird die Situation beispielhaft als Falsch-Negativ bewertet. Das heißt, es wird die Schlussfolgerung gezogen, dass eine unkooperative Person übersehen wurde.
-
Weiterhin wird ein einem Ausführungsbeispiel des Verfahrens 100 im Schritt 110 des Erkennens als Parameter eine Position der Zielperson extrahiert, wobei die Position lediglich beispielhaft in einem Schnittbereich angeordnet ist, an dem sich der erste Teilbereich und der zweite Teilbereich überlappen.
-
Auf den Schritt 110 des Erkennens und Extrahierens folgt in diesem Ausführungsbeispiel ein zusätzlicher Schritt 305 des weiteren Erfassens. In diesem Schritt 305 wird die Zielperson im zweiten Teilbereich mittels der zweiten Kameraeinheit erfasst, um anschließend ein Bild derselben unter Verwendung des zweiten Kamerasignals an die zweite Kameraschnittstelle bereitzustellen.
-
Erst nach dem Schritt 305 des weiteren Erfassen folgt in diesem Ausführungsbeispiel der Schritt 115 des weiteren Einlesens. Dabei wird lediglich beispielhaft die Zielperson unter Verwendung des beispielhaft im Schritt 105 des Einlesens eingelesenen Anzahlsignals identifiziert. Wenn beispielhaft die Anzahl der Personen gering genug ist, kann eine einfache Personenzählung ausreichen, um eine ausreichende Personenverfolgungsqualität zu erreichen. Befindet sich zum Beispiel nur eine Person im Beobachtungsbereich und wurde mindestens einmal als zum Aufenthalt berechtigt erkannt, dann macht es keinen Sinn, einen Alarm für unberechtigte Personen zu veröffentlichen, nur weil eine der Kameras einen ungünstigen Blickwinkel hat, zum Beispiel, wenn eine Person erfasst, aber kein Gesicht aus dieser Perspektive erkannt wird.
-
Zudem wird in diesem Ausführungsbeispiel im Schritt 115 des weiteren Einlesens eine zweite Zeitangabe eingelesen, einen Zeitpunkt des eingelesenen zweiten Kamerasignals repräsentiert. Dabei wird die Zielperson identifiziert, wenn der zweite Zeitpunkt innerhalb eines Toleranzbereichs nach dem ersten Zeitpunkt liegt.
-
In einem Ausführungsbeispiel wird im Schritt 115 des weiteren Einlesens die Identifikation der Zielperson zusätzlich optimiert, indem die beispielhaft im Schritt 110 des Erkennens erfasste Position der Zielperson in dem Schnittbereich einbezogen wird. Hierbei werden anders ausgedrückt sich überschneidende Sichtkegel von Kameras in den Identifikationsprozess einbezogen. Wenn die extrinsischen und intrinsischen Parameter aller zugehörigen Kameras kalibriert werden, unter der Annahme, dass alle Personen gravitativ an eine gemeinsame Bodenebene gebunden sind, dann sind die Fußpunkte der erkannten Personen pro Kamera vom 2D Sensorpixelraum in den 2D Bodenebenenraum übertragbar und werden in einem Ausführungsbeispiel über alle Kameras, die das gleiche Segment der Szene beobachten, abgeglichen (Überlappung der Sichtkegel). Wenn der Fußpunkt von Person X von Kamera A auf der Bodenebene nahe genug am Fußpunkt von Person Y von Kamera B liegt, kann man davon ausgehen, dass Person X tatsächlich dieselbe Person ist wie Person Y, was zu einer Übergabesituation von Kamera A zu Kamera B führt. Solche Übergabesituationen können für die Personenverfolgung über mehrere Kameras hinweg genutzt werden.
-
4 zeigt eine schematische Darstellung eines Beobachtungsbereichs 200 gemäß einem Ausführungsbeispiel. Der hier dargestellte Beobachtungsbereich 200 entspricht oder ähnelt dem in der vorangegangenen 2 beschriebenen Beobachtungsbereich und ist mittels einer Vorrichtung 205 und mit dieser signalübertragungsfähig verbundenen Kameraeinheit 210, 215 überwachbar.
-
Dabei ist die Vorrichtung 205 in diesem Ausführungsbeispiel ausgebildet, um zusätzlich zu den Kamerasignalen 240, 245 ein Anzahlsignal 400 einzulesen. Das Anzahlsignal 400 ist lediglich beispielhaft von einer Zählschnittstelle 405 zu einer Zähleinrichtung 410 einlesbar und repräsentiert beispielhaft eine Anzahl von innerhalb des Beobachtungsbereichs 200 angeordneten Personen. In einem Ausführungsbeispiel handelt es sich bei der Zähleinrichtung um einen kamerabasierten Zähler an einem Ein- beziehungsweise Ausgang des Beobachtungsbereichs 200. Unter Verwendung der Kamerasignale 240, 245 sowie des Anzahlsignals 400 ist eine im ersten Teilbereich 220 erfasste Person 235 als die im zweiten Teilbereich 225 erfasste Zielperson 252 identifizierbar.
-
Diese Identifikation ist in einem Ausführungsbeispiel dadurch optimiert, dass die Vorrichtung 205 ausgebildet ist, um eine Position der Zielperson 252 als Parameter mittels des ersten Kamerasignals 240 zu extrahieren. In der hier gezeigten Darstellung sind beispielhaft die von der ersten Kameraeinheit 210 erfasste Person 235 als auch die von der zweiten Kameraeinheit 215 erfasste Zielperson 252 in einem Schnittbereich 230 angeordnet, an dem sich der erste Teilbereich 220 und der zweite Teilbereich 225 schneiden beziehungsweise überlappen. Durch eine Erfassung der jeweiligen Positionen im Schnittbereich ist die Wahrscheinlichkeit einer Übereinstimmung der Person 235 mit der Zielperson 252 deutlich erhöht.
-
In einem Ausführungsbeispiel ist die Vorrichtung 205 zudem ausgebildet, um eine erste Zeitangabe einzulesen, die einen Zeitpunkt des eingelesenen ersten Kamerasignals 240 repräsentiert, und eine zweite Zeitangabe einzulesen, die einen Zeitpunkt des eingelesenen zweiten Kamerasignals 245 repräsentiert. Wenn der zweite Zeitpunkt innerhalb eines Toleranzbereichs nach dem ersten Zeitpunkt liegt, ist die Person 235 als die Zielperson 252 identifizierbar.
-
Mit anderen kann das in den vorangegangenen 1 und 3 beschriebene Verfahren beziehungsweise die in den vorangegangenen 2 und 4 beschriebene Vorrichtung, mit der das Verfahren ausgeführt werden kann, wie folgt beschrieben werden:
- In einem Bereich, der mit mehreren Kameras parallel beobachtet wird, mit oder ohne Überlappung der Sichtkegel der Kameras, ist vorteilhafterweise zur Vermeidung von Fehlalarmen und Echtalarm-Wiederholungen eine Person über mehrere Kameras hinweg verfolgbar. Dabei ist eine Vorrichtung beziehungsweise ein Alarmvalidierungsmodul einsetzbar, das die Historie der detektierten Personen und deren Berechtigungsstufe (berechtigt/nicht berechtigt) kennt und entscheiden kann, ob ein neuer Unbefugtenalarm einen bestehenden früheren Alarm erweitert (echte Alarmwiederholungsvermeidung, indem nur eine Aktualisierung des entsprechenden früheren Alarms zum Beispiel mit neuen Angaben zur Personenlokalisierung veröffentlicht wird) oder ob es sich um einen Fehlalarm handelt, weil die betroffene Person bereits früher als berechtigte Person identifiziert wurde (Fehlalarmvermeidung durch Unterdrückung des neuen Alarms). Die Personenverfolgung über mehrere Kameras hinweg kann auf verschiedene Weise mit unterschiedlichem Grad an Anwendbarkeit und Nützlichkeit für bestimmte Szenarien erreicht werden.
-
Beispielsweise gibt es in einigen Szenarien eindeutige physische Einschränkungen für die Bewegung von Personen, zum Beispiel Türen und Wände. Wenn dann die Anzahl der Personen gering genug ist, kann eine einfache Personenzählung ausreichen, um eine ausreichende Personenverfolgungsqualität zu erreichen. Personenzähler können zum Beispiel Einwegtore mit Zählern oder kamerabasierte Zähler an allen Ein- und Ausgängen eines Interessenbereichs sein. Befindet sich zum Beispiel nur eine Person in diesem Bereich und wurde mindestens einmal als berechtigt erkannt, dann macht es keinen Sinn, einen Alarm für unberechtigte Personen zu veröffentlichen, nur weil eine der Kameras einen ungünstigen Blickwinkel hat (zum Beispiel Person erkannt, aber kein Gesicht aus dieser Perspektive erkannt).
-
In manchen Szenarien überschneiden sich die Sichtkegel der Kameras. Wenn die extrinsischen und intrinsischen Parameter aller zugehörigen Kameras kalibriert werden, unter der Annahme, dass alle Personen gravitativ an eine gemeinsame Bodenebene gebunden sind, dann können die Fußpunkte der erkannten Personen pro Kamera vom 2D Sensorpixelraum in den 2D Bodenebenenraum übertragen und über alle Kameras, die das gleiche Segment der Szene beobachten, abgeglichen werden (Überlappung der Sichtkegel). Wenn der Fußpunkt von Person X von Kamera A auf der Bodenebene nahe genug am Fußpunkt von Person Y von Kamera B liegt, kann man davon ausgehen, dass Person X tatsächlich dieselbe Person ist wie Person Y, was zu einer Übergabesituation von Kamera A zu Kamera B führt. Solche Übergabesituationen können für die Personenverfolgung über mehrere Kameras hinweg genutzt werden.
-
Analog zur Extraktion von Gesichtsmerkmalsvektoren können auch Personenmerkmalsvektoren aus den Videoaufnahmen extrahiert werden. Abhängig von der Extraktionsmethode und der Varianz der Attribute zwischen den verschiedenen Personen in den beobachteten Szenen kann die Re-Identifizierung einer Person auf der Grundlage von Merkmalsvektoren mit einer ausreichenden Leistung möglich sein. Bei der Verwendung von Personenmerkmalsvektoren aus modernen tiefen neuronalen Netzen in Verbindung mit einer gewissen Varianz im Erscheinungsbild der Personen (das heißt nicht alle Personen tragen dieselbe Uniform und dieselbe Mütze) kann davon ausgegangen werden, dass die Wiedererkennungsqualität für die Verfolgung mehrerer Personen über mehrere Kameras hinweg ausreichend ist.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
