-
Die Erfindung betrifft ein Verfahren zum Erkennen einer Anwesenheit mindestens einer Person in einem vorgegebenen Raumbereich mittels einer Kamera, bei dem mittels der Kamera eine Folge von Bildern des Raumbereichs aufgenommen wird. Die Erfindung betrifft auch ein bildverarbeitendes Überwachungssystem, aufweisend mindestens eine Kamera, die einen vorgegebenen Raumbereich überwacht, eine Auswerteeinrichtung zum Auswerten der von der mindestens einen Kamera aufgenommenen Bilder, wobei das Überwachungssystem dazu eingerichtet ist, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen. Die Erfindung ist insbesondere anwendbar zur Überwachung von Räumen oder Zimmern innerhalb eines Gebäudes.
-
Bisher wird eine Anwesenheitsdetektion von Personen in bestimmten Raumbereichen, z.B. eines Gebäudes, meist durch Bewegungssensoren detektiert, beispielsweise mittels Infrarot-Bewegungsmeldern. Jedoch kommt es hierbei nachteiligerweise zu Fehlmeldungen, da Infrarot-Bewegungsmelder nur ungenau zwischen Personen und anderen bewegten Objekten unterscheiden oder eine zu hohe als auch eine zu niedrige Auslöseschwelle aufweisen.
-
Auch ist es bekannt, eine Anwesenheit von Personen unter Verwendung von Kameras durch bildverarbeitende Methoden durchzuführen. Auch hierbei kann es nachteiligerweise zu Fehlmeldungen kommen, wenn in den durch die Kamera(s) aufgenommenen Bildern Objekte als Personen erkannt werden, die starke Ähnlichkeit zu lebenden Personen aufweisen.
-
Solche Objekte können z.B. Schaufensterpuppen, Fotografien oder Gemälde mit darauf abgebildeten Personen usw. sein.
-
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine bildverarbeitende Methode zur Personenerkennung bereitzustellen, mittels der eine Fehlerkennung von Personen reduziert wird.
-
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
-
Die Aufgabe wird gelöst durch ein Verfahren zum Erkennen einer Anwesenheit mindestens einer Person in einem vorgegebenen („überwachten“) Raumbereich mittels mindestens einer Kamera, bei dem
- - mittels der mindestens einen Kamera eine Folge von Bildern des Raumbereichs aufgenommen wird,
- - anhand mindestens eines Bilds der Bildfolge eine Personenerkennung durchgeführt wird und
- - ein mittels der Personenerkennung erkanntes Personenobjekt dann als eine reale Person eingestuft wird oder bleibt, wenn dem Personenobjekt eine durch eine Bildauswertung mehrerer Bilder der Bildfolge erkannte Bewegung zuordenbar ist.
-
Dieses Verfahren ergibt den Vorteil, dass eine Plausibilitätsüberprüfung bereitgestellt wird, anhand derer durch Auswertung einer vorherigen Bewegung bzw. Bewegungshistorie von Personen deren Falscherkennungsquote reduziert werden kann.
-
Das Verfahren beruht auf der Idee, dass mittels einer klassischen Personenerkennung erkannte „Personenobjekte“ nur dann als tatsächliche oder reale Personen eingestuft oder bestätigt werden, wenn sie sich (Anm.: das kommt später als abhängiger Anspruch) zuvor (Anm.: das kommt später als abhängiger Anspruch) bewegt hatten. Das Verfahren beruht in anderen Worten auf der Idee, zusätzlich zu einer Personenerkennung eine vorherige Bewegung bzw. eine Bewegungshistorie auszuwerten und mit der Personenerkennung zu verknüpfen.
-
Unter einem „Personenobjekt“ kann insbesondere zunächst jede Person verstanden werden, die nur mittels einer auf Bildverarbeitung eines Bilds beruhenden klassischen Personenerkennung als Person erkannt worden ist. Ein Personenobjekt umfasst damit auch vorgebliche oder vermeintliche Personen (Wandbilder, Puppen, Gemälde, Fotografien usw.), die in Wirklichkeit keine sind. Bei der Personenerkennung wird in der Regel zusätzlich zu der Erkennung eines Personenobjekts auch noch dessen Position bestimmt.
-
Unter einer tatsächlichen oder „realen“ Person kann ein Personenobjekt verstanden werden, das aufgrund seiner Bewegungsvorgeschichte als eine tatsächliche Person plausibilisiert worden ist.
-
Der vorgegebene Raumbereich kann einem Überwachungsbereich oder Sichtfeld der mindestens einen Kamera entsprechen. Der vorgegebene Raumbereich kann z.B. ein bestimmter Raum (z.B. ein bestimmtes Zimmer) eines Gebäudes sein, ggf. einschließlich eines Zugangsbereichs zu dem Zimmer wie einem Gang oder Flur.
-
Die Kamera kann die Folge von Bildern insbesondere mittels einer vorgegebenen Rate („Framerate“) aufnehmen. Ein Bild kann allgemein auch als „Frame“ bezeichnet werden oder einem Frame entsprechen. Die Kamera ist insbesondere eine Digitalkamera.
-
Es ist eine Ausgestaltung, dass
- - anhand mehrerer Bilder der Bildfolge jeweils eine Personenerkennung durchgeführt wird,
- - überprüft wird, ob sich mindestens ein in mehreren Bildern erkanntes gleiches Personenobjekt bereits (d.h., in der Vergangenheit) bewegt hat,
- - falls ja, das erkannte Personenobjekt als reale Person eingestuft wird oder bleibt, und
- - falls nicht, das erkannte Personenobjekt nicht als reale Person eingestuft wird oder bleibt.
-
Bei dieser Ausgestaltung wird die klassische Personenerkennung als solche auch zur Bewegungserkennung verwendet. So wird der Vorteil erreicht, dass kein von der Personenerkennung gesonderter Algorithmus zur Bewegungserkennung benötigt wird.
-
Diese Ausgestaltung kann auch als „Tracking by Detection“ bezeichnet werden. Dabei kann insbesondere die mittels der Personenerkennung auch erkannte Position des erkannten Personenobjekts zeitlich verfolgt werden, insbesondere als Bewegungstrajektorie, bei der die Positionen zusammen mit jeweiligen Zeitmarken gespeichert werden.
-
Kann für ein detektiertes Personenobjekt keine Bewegung erkannt werden, wird das Personenobjekt nicht als reale Person eingestuft, sondern z.B. als ein sich bewegendes, aber nicht menschliches Objekt („Nicht-Person“) oder als ein durch die Personenerkennung falsch als Person identifiziertes Objekt („False Positive“).
-
Es ist eine Weiterbildung, dass in jedem Bild oder Frame der Bildfolge eine klassische Personendetektion durchgeführt, wobei die Positionen der erkannten Personenobjekte aufgezeichnet werden. Es werden also in mehreren aufeinanderfolgenden Bildern Personenobjekte erkannt und deren Positionen in dem Raumbereich bestimmt.
-
Haben sich die Positionen für ein bestimmtes Personenobjekt verändert, kann dies einer Bewegung dieses Personenobjekts gleichgesetzt werden, woraufhin das Personenobjekt (gegebenenfalls mit positivem Bewegungskriterium, wie weiter unten beschrieben) als reale Person eingestuft wird.
-
Diese Ausgestaltung ist insbesondere dann vorteilhaft einsetzbar, wenn die Personenerkennung so schnell durchgeführt werden kann, dass eine Bewegung eines Personenobjekts in dem überwachten Raumbereich zuverlässig bzw. lückenfrei erkennbar ist, insbesondere die Bilder in ausreichend kurzen Zeitabständen durch die Personenerkennung auswertbar sind.
-
Es ist eine alternative oder zusätzliche Ausgestaltung, dass
- - anhand mehrerer Bilder der Bildfolge mittels einer Mustererkennung überprüft wird, ob sich mindestens ein in den Bildern erkanntes Objekt (im Folgenden ohne Beschränkung der Allgemeinheit als „Musterobjekt“ bezeichnet) bewegt hat,
- - anhand mindestens eines Bilds der Bildfolge eine Personenerkennung durchgeführt wird,
- - ein bewegtes Musterobjekt als einer realen Person zugehörig eingestuft wird oder bleibt, wenn dem sich (in der Vergangenheit) bewegt habenden Musterobjekt ein anhand der Personenerkennung erkanntes Personenobjekt zuordenbar ist, und/oder
- - ein anhand der Personenerkennung erkanntes Personenobjekt als eine reale Person eingestuft wird, wenn ihr ein sich bewegt habendes Musterobjekt zuordenbar ist oder zugeordnet werden kann.
-
In dieser Ausgestaltung wird also eine Bewegung eines („abstrakten“) Musterobjekts, das ggf. eine Person darstellen kann, registriert und durch eine Personenerkennung plausibilisiert. Die Musterobjekte werden dabei zunächst nicht als Personenobjekte erkannt. Eine Bewegungsverfolgung von Musterobjekten über mehrere Bilder entspricht insbesondere einer Verfolgung von Positionen erkannter Muster oder Musterobjekte über mehrere Bilder, was auch als „Tracking“ bezeichnet werden kann. Tracking-by-Movement-Algorithmen sind grundsätzlich gut bekannt und werden deshalb hier nicht mehr weiter beschrieben.
-
Mit dieser Ausgestaltung wird der Vorteil erreicht, dass eine Bewegung in den Bildern in zeitlich besonders kurzen Abständen bestimmbar ist und dass das Verfahren dadurch besonders schnell durchführbar ist. Dabei wird ausgenutzt, dass eine Bewegungserkennung mittels Tracking-by-Movement im Sinne häufig viel schneller durchführbar ist als eine Personenerkennung. Mittels der ggf. langsameren und damit in größeren zeitlichen Abständen durchgeführten Personenerkennung kann überprüft werden, ob das Musterobjekt einer Person entspricht.
-
Eine Plausibilisierung kann beispielsweise dann positiv ausfallen, wenn ein Musterobjekt sich zu einem gleichen oder fast gleichen Zeitpunkt innerhalb eines vorgegebenen Mindestabstands zu einer mittels der Personenerkennung erkannten Personenobjekts befindet.
-
Kann ein Personenobjekt nicht einem sich bewegt habenden Musterobjekt zugeordnet werden, kann ein sich bewegt habendes Musterobjekt nicht einem Personenobjekt zugeordnet werden wird das Personenobjekt bzw. das sich bewegende Musterobjekt nicht als reale Person eingestuft, sondern z.B. als ein sich bewegendes, aber nicht menschliches Objekt („Nicht-Person“) oder als eine durch die Personenerkennung falsch als Person identifiziertes Personenobjekt (sog. „False Positive“).
-
In einem Beispiel kann ein sich bewegendes Musterobjekt ein bewegtes Möbelstück wie ein Stuhl, ein Beistellschrank usw.) oder ein Haustier usw. sein, das aber wegen der fehlenden Personenerkennung zurückgewiesen bzw. unterdrückt wird. In einem weiteren Beispiel können Fotografien von Personen, eine Schaufensterpuppe, eine Statue, ein Kleiderständer usw. mittels der Personenerkennung zwar als Personenobjekte erkannt worden sein, allerdings infolge unzureichender Bewegungshistorie zurückgewiesen bzw. unterdrückt werden.
-
Es ist eine Ausgestaltung, dass eine Personenerkennung nur in Teil-Bildbereichen (ROI, „Regions of Interest“) erfolgt, in denen zuvor eine Bewegung von Musterobjekten erkannt worden ist. Die Musterobjekte sind insbesondere durch Mustererkennung über den gesamten Bildbereich der aufgenommenen Bilder erkannt worden. Diese Ausgestaltung ergibt den Vorteil, dass eine Verarbeitungszeit für die Personenerkennung reduziert werden kann. Dabei kann die Personenerkennung auch für Teil-Bildbereiche bzw. für Musterobjekte durchgeführt werden, die sich zuvor bewegt haben, aber sich aktuell (d.h., mit Aufnahme des zur Personenerkennung aufgenommenen Bilds) nicht mehr bewegen. Mittels dieser Ausgestaltung können also insbesondere nur sich bewegende oder sich bewegt habende Musterobjekte die Personenerkennung auslösen, was eine besonders schnelle Personenerkennung ermöglicht, weil nur jene Teil-Bildbereiche untersucht zu werden brauchen, in denen sich die Bewegung abspielt(e). Wenn das Musterobjekt bewegungslos stehen bleibt, wird in einer Weiterbildung an dieser Stelle trotzdem weiter lokal in dem zugehörigen Teil-Bildbereich eine Personenerkennung durchgeführt (zumindest für eine vorgegebene Zeitdauer, wie weiter unten beschrieben). Diese Ausgestaltung kann insbesondere eine vorausgegangene Bewegungshistorie für die in diesen Bildbereichen mittels der Personenerkennung erkannten Personenobjekte implizieren, so dass in einer Weiterbildung dort erkannte Personenobjekte automatisch als reale Personen eingestuft werden können.
-
Es ist eine Weiterbildung, dass eine Personenerkennung nur in ROI-Bildbereichen erfolgt, in denen zuvor ein Endpunkt einer Bewegung von Musterobjekten erkannt worden ist. Dies reduziert einen Datenverarbeitungsaufwand für eine Personenerkennung noch weiter. Ein ROI-Bildbereich kann beispielsweise ein Bereich vorgegebener Form und/oder Größe sein, der um einen oder mehrere erkannte Positionen von sich bewegt habenden Musterobjekten herumgelegt wird.
-
Es ist eine Weiterbildung, dass eine Personenerkennung nur in ROI-Bildbereichen erfolgt, in denen innerhalb einer vorgegebenen zurückliegenden Zeitdauer eine Bewegung von Musterobjekten erkannt worden ist. So wird die Möglichkeit eröffnet, sehr weit zurückliegende Bewegungen von Musterobjekten nicht mehr zu berücksichtigen. Eine solche Zeitdauer kann z.B. eine halbe Stunde, eine Stunde usw. betragen.
-
Es ist eine alternative Ausgestaltung, dass die Personenerkennung auf den gesamten Bildbereich eines Bilds angewandt wird. Wenn mittels der Personenerkennung ein Personenobjekt erkannt oder identifiziert worden ist, wird überprüft, ob ein mittels der Mustererkennung erkanntes, sich bewegt habendes Musterobjekt vorhanden ist, das dem Personenobjekt zugeordnet werden kann.
-
In beiden Fällen kann die Verknüpfung von Personenobjekten und Bewegungen von Musterobjekten weiter plausibilisiert werden, beispielsweise anhand von Bedingungen für die Bewegungen der Musterobjekte, (wie z.B. weiter unten beschrieben).
-
Es ist eine Ausgestaltung, dass zwischen zwei Bildern, die für direkt aufeinanderfolgende Personenerkennungen ausgewertet werden, mindestens ein Bild zusätzlich für die Bewegungserkennung von Objekten ausgewertet wird. Dies entspricht einem Verfahren, bei dem innerhalb einer bestimmten Zeitdauer (die vorzugsweise mindestens einer Zeitdauer entspricht, innerhalb welcher zwei Bilder für eine Personenerkennung verwendet werden) mehr Bilder für die Bewegungserkennung ausgewertet werden als für die Personenerkennung. Beispielsweise kann für eine Auswertung eines Bilds zur Personenerkennung eine erste Zeitdauer von fünf Sekunden benötigt werden, während für eine Auswertung eines Bilds zur musterbasierten Bewegungserkennung nur 0,1 Sekunden benötigt werden.
-
Innerhalb der fünf Sekunden zur Personenerkennung können dann z.B. 50 Bilder zur Mustererkennung ausgewertet werden. Diese Ausgestaltung ergibt den Vorteil, dass eine besonders genaue und zuverlässige Bewegungserkennung durchführbar ist.
-
Allgemein braucht nicht jedes der Bilder einer Bildfolge ausgewertet zu werden, und zwar weder zur Personenerkennung noch zur Bewegungserkennung. Jedoch kann auch jedes der Bilder einer Bildfolge zumindest zur Mustererkennung ausgewertet werden, was vorteilhaft ist, um keinen Kontext zu verlieren.
-
Es ist eine Weiterbildung, dass mittels des Tracking-Verfahrens eine Position mindestens eines Musters über mehrere Bilder der Bildfolge verfolgt wird und aus einer Veränderung der Position auf eine Bewegung geschlossen wird.
-
Es ist insbesondere eine für diese Weiterbildung vorteilhafte Ausgestaltung, dass dann, wenn ein anhand der Personenerkennung in dem Bild erkanntes Personenobjekt einem bewegten Musterobjekt zugeordnet wird, oder umgekehrt, das Musterobjekt bzw. das dem Musterobjekt zugeordnete Muster beruhend auf dem erkannten Personenobjekt neu generiert wird. Dies kann auch als „Neuinitialisierung“ oder „Refreshing“ bezeichnet werden. So ergibt sich der Vorteil, dass eine besonders zuverlässige Bewegungserkennung durchführbar ist. Diese Ausgestaltung macht sich die Erkenntnis zunutze, dass ein Muster sich im Laufe einer Bildfolge ändern kann, z.B. abhängig von einem Bildhintergrund, und deshalb eine Nachverfolgung des Musters mit fortlaufender Dauer des Tracking-by-Movement-Verfahrens immer unzuverlässiger wird. Durch die Neugenerierung des Musters anhand der zugehörigen erkannten Person kann dieser „Degradierung“ des Musters entgegengewirkt werden.
-
Es ist eine Ausgestaltung, dass für ein insbesondere bewegtes Objekt eine Bewegungsspur oder „Bewegungstrajektorie“ gespeichert oder aufgezeichnet wird. Die Aufzeichnung einer Bewegungstrajektorie ergibt den Vorteil, dass das Verfahren besonders effizient ausgebildet werden kann. Die Bewegungstrajektorie kann insbesondere die für jedes ausgewertete Bild bestimmte Position des Objekts aufweisen, insbesondere mit einer zugehörigen Zeitmarke. Die Bewegungstrajektorie kann also insbesondere eine Sammlung von für jedes Bild bestimmten Positionen (x,y) und Zeiten t umfassen, z.B. in Form von Vektoren <x, y, t>.
-
In dieser Ausgestaltung und auch im Folgenden kann unter einem „Objekt“ ein Musterobjekt und/oder ein Personenobjekt verstanden werden, solange dies nicht ausdrücklich ausgeschlossen ist. Die Bewegungstrajektorie eines bewegten Objekts weist eine Länge > Null (z.B. in Meter) und eine Dauer > Null (z.B. in Minuten) auf.
-
Es ist eine Weiterbildung, dass die Bewegungstrajektorie die Positionen aus drei oder mehr zur Bewegungserkennung ausgewerteten Bildern umfasst.
-
Es ist eine insbesondere unter Nutzung einer Bewegungstrajektorie vorteilhafte Ausgestaltung des Tracking-by-Movement-Verfahrens, dass
- - anhand eines Bilds eine musterbasierte Objekterkennung bzw. Mustererkennung auf Musterobjekte durchgeführt wird,
- - für mindestens ein erkanntes Musterobjekt überprüft wird, ob diesem Musterobjekt eine aus vorherigen Bildern bestimmte Bewegungstrajektorie zuordenbar ist und
- - falls ja, eine Position und ein Zeitpunkt des Musterobjekts als Punkt der zugeordneten Bewegungstrajektorie hinzugefügt wird.
-
Diese Ausgestaltung weist den Vorteil auf, dass kein Bild der Musterobjekte zwischengespeichert zu werden braucht. Vielmehr wird für jedes Musterobjekt eine Bewegungstrajektorie bestimmt und zugeordnet. Ein Vergleich einer potenziellen Person mit einem Objekt kann also insbesondere als ein Vergleich einer Position eines Personenobjekts mit einer Bewegungstrajektorie durchgeführt werden. Dies spart vorteilhafterweise Rechenzeit ein.
-
Dass die Position und der Zeitpunkt des Musterobjekts als Punkt der zugeordneten Bewegungstrajektorie hinzugefügt wird umfasst insbesondere, dass die Bewegungstrajektorie bzw. die Bewegungshistorie wird permanent aktualisiert wird.
-
Es ist eine Weiterbildung, dass eine mittels der Personenerkennung erkannte potenzielle Person und ein Objekt bzw. eine Bewegungstrajektorie nur dann miteinander verknüpft werden oder bleiben, wenn mindestens eine weitere Bedingung erfüllt ist. Die Bedingung kann insbesondere die Bewegungstrajektorie betreffen.
-
Es ist eine Ausgestaltung, dass ein bewegtes bzw. sich bewegt habendes Objekt (Musterobjekt und/oder Personenobjekt) als einer realen Person zugehörig eingestuft wird oder bleibt, wenn dieses Objekt zuvor ausschließlich in einem vorgegebenen Teil-Raumbereich erkannt worden ist. So wird eine Plausibilisierung auf eine Anwesenheit einer realen Person noch weiter verfeinert. Diese Ausgestaltung umfasst insbesondere, dass Objekten, die nicht in dem mindestens einem vorgegebenen Teil-Raumbereich erkannt werden oder erkannt worden, keine Person zugeordnet wird, oder umgekehrt. In anderen Worten, muss, damit ein Objekt als reale Person eingestuft wird, sich dieses Objekt insbesondere zeitweise in dem vorgegebenen Teil-Raumbereich befunden haben. Dies kann auch so ausgedrückt werden, dass eine Bewegungstrajektorie einer realen Person durch den vorgegebenen Teil-Raumbereich verläuft. Eine Bewegungstrajektorie für ein bestimmtes Objekt wird oder bleibt also insbesondere dann gespeichert (insbesondere nur dann gespeichert), wenn sie durch den vorgegebenen Teil-Raumbereich verläuft.
-
Es ist eine Weiterbildung, dass der mindestens eine Teil-Raumbereich einem Eingangsbereich eines Raums oder Zimmers o.ä. entspricht. Dadurch wird vorteilhafterweise erreicht, dass Objekte (bzw. deren Bewegungstrajektorien) z.B. dann nicht als reale Personen eingestuft werden, wenn nicht erkannt werden konnte, dass sie sich durch den Eingangsbereich in den Raum bewegen oder bewegt haben.
-
Es ist eine Ausgestaltung, dass ein sich bewegt habendes Objekt (Musterobjekt und/oder Personenobjekt) als einer realen Person zugehörig eingestuft wird und/oder eine potenzielle Person als eine reale Person bzw. als einer realen Person zugehörig eingestuft wird oder bleibt, wenn sich dieses Objekt zuvor für eine erste vorgegebene Zeitdauer bewegt hat. Dies ermöglicht eine noch weiter verfeinerte Plausibilisierung auf ein Vorliegen einer realen Person. Dies umfasst insbesondere, dass das Objekt sich in der Vergangenheit überhaupt bewegt haben muss, und zwar insbesondere allgemein unabhängig davon, wie weit vor der aktuellen Zeit sich die Person für diese Zeitdauer erreicht bewegt hat bzw. unabhängig von einem Zeitabstand zu der aktuellen Zeit. Ist diese Bedingung nicht erfüllt, kann z.B. das Objekt bzw. eine zugehörige Bewegungstrajektorie gelöscht werden.
-
Es ist eine Ausgestaltung, dass ein sich bewegt habendes Objekt (Musterobjekt und/oder Personenobjekt) dann als eine reale Person bzw. als einer realen Person zugehörig eingestuft wird oder bleibt, wenn sich das Objekt für eine erste vorgegebene Zeitdauer in einem vorgegebenen Teil-Raumbereich bewegt hat. Eine Bewegungstrajektorie für ein bestimmtes Objekt wird oder bleibt also insbesondere dann gespeichert (insbesondere nur dann gespeichert), wenn sie in dem vorgegebenen Teil-Raumbereich erkannt worden ist. Dies ermöglicht eine noch weiter verfeinerte Plausibilisierung auf ein Vorliegen einer realen Person. Dabei wird die Annahme zugrundegelegt, dass eine reale Person mindestens für die erste vorgegebene Zeitdauer in dem Teil-Raumbereich befunden haben sollte. So können kurzzeitige Bewegungen von personenähnlichen Gegenständen sicherer ausgeschlossen werden. Die erste vorgegebene Zeitdauer für diese Ausgestaltung kann insbesondere mehrere Sekunden betragen, z.B. 5 Sekunden.
-
Es ist eine Ausgestaltung, dass ein Objekt (Musterobjekt und/oder Personenobjekt) nicht mehr als einer Person zugehörig eingestuft wird oder bleibt, wenn es sich nach einer vorherigen Bewegung für eine zweite vorgegebene Zeitdauer nicht mehr bewegt hat.
-
Dies ermöglicht eine noch weiter verfeinerte Plausibilisierung auf ein Vorliegen einer realen Person. Insbesondere wird dabei ausgenutzt, dass reale Personen in der Regel nicht über längere Zeitdauern im Bereich der zweiten vorgegebene Zeitdauer (z.B. von 30 min) so stillhalten können, dass deren Bewegung mittels der Auflösung einer kamerabasierten Überwachungssystems (inklusive einer Detektionsortsgenauigkeit, z.B. von 20 cm bis 30 cm, nicht zu erkennen ist. Ist diese Bedingung nicht erfüllt, kann z.B. das Objekt bzw. eine zugehörige Bewegungstrajektorie gelöscht werden.
-
Es ist eine Ausgestaltung, dass ein sich bewegt habendes Objekt dann nicht oder nicht mehr als einer realen Person zugehörig eingestuft wird oder bleibt, wenn sich das Objekt nicht zumindest zweitweise mit einer Mindestgeschwindigkeit bewegt hat. Dies ermöglicht eine noch weiter verfeinerte Plausibilisierung auf ein Vorliegen einer realen Person. Insbesondere wird dabei ausgenutzt, dass reale Personen sich typischerweise zumindest zeitweise schnell in einem Raum bewegen und nicht nur sehr langsam.
-
Es ist eine Weiterbildung, dass die Mindestgeschwindigkeit ca. 1,25 m/s beträgt, was etwas niedriger als eine typische Gehgeschwindigkeit eines Menschen ist. Ist diese Bedingung nicht erfüllt, kann z.B. das Objekt bzw. eine zugehörige Bewegungstrajektorie gelöscht werden.
-
Es ist eine Ausgestaltung, dass ein sich bewegt habendes Objekt (Musterobjekt und/oder Personenobjekt) dann nicht oder nicht mehr als einer realen Person zugehörig eingestuft wird, wenn sich das Objekt nicht zumindest zweitweise in einem vorgegebenen Teil-Raumbereich (insbesondere Zugangsbereich) mit einer Mindestgeschwindigkeit bewegt hat. Dies ermöglicht eine noch weiter verfeinerte Plausibilisierung auf ein Vorliegen einer realen Person. Insbesondere wird dabei ausgenutzt, dass reale Personen sich typischerweise schnell in bestimmten Teil-Raumbereichen bewegen, z.B. wenn sie auf einem Raum zugehen oder einen Raum betreten.
-
Es ist eine Ausgestaltung, dass ein sich bewegt habendes Objekt dann nicht oder nicht mehr als eine Person eingestuft wird oder bleibt, wenn sich das Objekt nicht zumindest für eine erste vorgegebene Mindeststrecke bewegt hat. Dies ermöglicht eine noch weiter verfeinerte Plausibilisierung auf ein Vorliegen einer realen Person. Insbesondere wird dabei ausgenutzt, dass sich eine reale Person typischerweise in einem Raum, z.B. einem Zimmer, nicht nur auf einer sehr kleinen Fläche bewegt. So können nur kleine Bewegungen von personenähnlichen Gegenständen sicherer ausgeschlossen werden.
-
Die erste Mindeststrecke kann z.B. einen Meter betragen. Dies kann auch so ausgedrückt werden, dass die Länge einer Bewegungstrajektorie mindestens so lang wie die erste Mindeststrecke sein muss. Ist diese Bedingung nicht erfüllt, kann z.B. das Objekt bzw. eine zugehörige Bewegungstrajektorie gelöscht werden.
-
Es ist eine Weiterbildung, dass eine Bewegung als Bewegung einer realen Person erkannt wird oder bleibt, wenn das sich bewegt habende Objekt sich innerhalb der zweiten vorgegebenen Zeitdauer mindestens eine zweite vorgegebene Mindeststrecke bewegt hat, z.B. 0,1 bis 0,5 Meter innerhalb einer halben Stunde bis einer Stunde. Dadurch können auch sitzende reale Personen vorteilhafterweise als solche erkannt werden, da auch sitzende Personen sich geringfügig bewegen, z.B. ihren Sitz zurückstellen, sich in dem Sitz bewegen usw. Ist diese Bedingung nicht erfüllt, kann z.B. das Objekt bzw. eine zugehörige Bewegungstrajektorie gelöscht werden.
-
Allgemein kann das Verfahren dazu genutzt werden, um zu dem vorgegebenen Raumbereich zugehörige Funktionen in Abhängigkeit von einer Anwesenheit von als real eingestuften Personen zu steuern. Solche Funktionen können eine Steuerung einer Beleuchtung(z.B. ein Ein- und Ausschalten von Leuchten), eine Steuerung von Netzwerk-Zugangspunkten (z.B. ein Ein- und Ausschalten von Drahtlos-Routern), eine Steuerung weiterer elektrischer Geräte (z.B. von Bildschirmen, Kaffeemaschinen, einer Lüftung usw.), eine Zugangskontrolle usw. umfassen.
-
Die Aufgabe wird auch gelöst durch ein bildverarbeitendes Überwachungssystem, aufweisend
- - mindestens eine Kamera, die einen vorgegebenen Raumbereich überwacht und
- - eine Auswerteeinrichtung zum Auswerten der mittels der mindestens einen Kamera aufgenommenen Bilder,
- - wobei das Überwachungssystem dazu eingerichtet ist, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
-
Das Überwachungssystem kann analog zu dem Verfahren ausgebildet werden und ergibt die gleichen Vorteile.
-
Das Überwachungssystem kann dazu eingerichtet sein, zu dem vorgegebenen Raumbereich zugehörige Funktionen (z.B. wie oben beschrieben) in Abhängigkeit von einer Anwesenheit von als real eingestuften Personen zu steuern.
-
Das Überwachungssystem kann einen Teil oder eine Funktionalität eines Lichtsteuerungssystems darstellen. Das Überwachungssystem kann einen Teil oder eine Funktionalität eines Gebäudemanagement-Systems (das insbesondere auch ein Lichtsteuerungssystem umfassen kann) darstellen.
-
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung von Ausführungsbeispielen, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
-
Dabei können zur Übersichtlichkeit gleiche oder gleichwirkende Elemente mit gleichen Bezugszeichen versehen sein.
- 1 zeigt einen möglichen Ablauf des Verfahrens; und
- 2 zeigt einen möglichen Ablauf einer Erkennung eines bewegten Objekts.
-
1 zeigt einen möglichen Ablauf des Verfahrens. Zur Durchführung des Verfahrens nimmt eine Kamera K kontinuierlich eine Folge von Bildern B mit einer bestimmten Bildrate oder Frame-Rate auf. Die Kamera K ist mit einer Auswerteeinrichtung A gekoppelt, die zur Durchführung des Verfahrens verwendet wird.
-
In einem ersten Schritt S1 des Verfahrens werden zu Zeitpunkten t0 bis tn aufgenommene Bilder B(t0) bis B(tn) ausgewertet, indem anhand dieser Bilder B(t0) bis B(tn) jeweils eine musterbasierte Objekterkennung durchgeführt wird. Dabei wird für die in den Bildern B(t0) bis B(tn) erkannten i Musterobjekte Oi(t0) bis Oi(tn) mit i = 1, 2, ... (falls vorhanden) eine jeweilige Bewegungstrajektorie T(Oi ) bzw. T(Oi(t0)- Oi(tn)) erstellt. Ist eine Länge einer Bewegungstrajektorie T(Oi) = 0, wird diese verworfen. Die übriggebliebenen Bewegungstrajektorien T(Oi) > 0 entsprechen Musterobjekten Oi bzw. Bildmustern, die sich in der Folge der Bilder B(t0) bis B(tn) bewegt haben.
-
In einem zweiten Schritt S2 wird für das Bild B(tn) auch eine Personenerkennung durchgeführt. Als Ergebnis der Personenerkennung können keine, eine oder mehrere Personenobjekte P'j mit j = 1, 2, ... erkannt werden.
-
In einem dritten Schritt S3 versucht die Auswerteeinrichtung A, die in Schritt S2 erkannten Personenobjekte P'j (falls vorhanden) mit einer jeweiligen (übriggebliebenen) Bewegungstrajektorie T(Oi) zu verknüpfen. Die Verknüpfung kann beispielsweise so durchgeführt werden, dass überprüft wird, ob zum Zeitpunkt tn eine Bewegungstrajektorie T(Oi) an einer räumlichen Position oder in einem Bereich endet, an der in Schritt S2 zum gleichen Zeitpunkt tn eine potenzielle Person P'j erkannt worden ist.
-
Wird eine Übereinstimmung T(Oi) = P*j erkannt („J“), wird in einem Schritt S4 das zugehörige Musterobjekt Oi als einer realen Person P*j zugehörig eingestuft und/oder das zugehörige Personenobjekt P'j als eine reale Person P*j eingestuft.
-
In einem dem Schritt S4 folgenden optionalen Schritt S5 kann das dem bewegten Musterobjekt Oi zugeordnete Muster beruhend auf der erkannten Person P'j bzw. P*j neu generiert oder angepasst werden.
-
Wird keine Übereinstimmung für ein bestimmtes Musterobjekt Oi oder Personenobjekt P'j gefunden („N“), wird in einem Schritt S6 die betreffende Bewegungstrajektorie T(Oi ) gelöscht, das zugehörige Objekt Oi bzw. P'j zeitweise oder dauerhaft als Nicht-Person eingestuft.
-
Nach den Schritten S4 oder S5 und S6 wird in einem Schritt S7 optional abgefragt, ob das Verfahren weitergeführt werden soll. Falls ja („J“), wird zurück zu Schritt S1 verzweigt, sonst („N“) das Verfahren in einem Schritt S8 beendet.
-
Wird zurück zu Schritt S1 verzweigt, kann die Bewegungstrajektorie T(Oi) weitergeführt werden, insbesondere beginnend von dem ersten Bild B, in dem das zugehörige Musterobjekt Oi erkannt worden ist.
-
Allgemein kann dann, wenn ein Personenobjekt P'j nicht als reale Person P*j eingestuft wird, weil es sich nicht bewegt hat, das zugehörige Musterobjekt Oi und/oder Personenobjekt P'j dauerhaft oder bis zum Eintritt eines anderen Ereignisses nicht als reale Person P*j bzw. als Nicht-Person eingestuft werden. Für ein solches Musterobjekt Oi braucht dann z.B. keine Bewegungstrajektorie T(Oi) gespeichert oder weitergeführt zu werden, und diesem Musterobjekt Oi wird auch im weiteren Verlauf des Verfahrens kein Personenobjekt P'j mehr zugewiesen.
-
Allgemein können Zuordnungen oder Verknüpfungen zwischen Musterobjekten Oi und Personen P'j bzw. P*j gelöscht, Bewegungstrajektorien T(Oi) gelöscht und/oder Musterobjekte Oi und/oder Personen P'j bzw. P*j nicht oder nicht mehr als realen Personen P*j zugehörig eingestuft werden, wenn beispielsweise eine oder mehrere der folgenden Bedingungen erfüllt ist:
- - ein Musterobjekt Oi ist nicht in mindestens einem vorgegebenen Teil-Raumbereich TRB erkannt worden, insbesondere nicht in einem Eingangsbereich zu einem durch die mindestens eine Kamera K überwachten Raum;
- - ein Musterobjekt Oi hat sich noch nicht für eine erste vorgegebene Zeitdauer bewegt, z.B. für fünf Sekunden. In diesem Fall wird nach einem ersten Erkennen des Musterobjekts Oi z.B. für die erste vorgegebene Zeitdauer eine Bewegungstrajektorie T(Oi) aufgenommen und diese dann auf mindestens eine Bedingung hin untersucht, z.B. ob sie eine Mindestlänge aufweist und/oder einer Mindestgeschwindigkeit entspricht. Falls ja, wird die Bewegungstrajektorie T(Oi) beibehalten, sonst gelöscht;
- - ein Objekt Oi hat sich für eine zweite vorgegebene Zeitdauer nicht mehr bewegt, z.B. für 10 Minuten, eine halbe Stunde, eine Stunde o.ä.;
- - ein Objekt Oi hat sich noch nie mit einer Mindestgeschwindigkeit bewegt, z.B. mit mindestens 1,25 m/s. Dies kann insbesondere über einen bestimmten vorgegebenen Zeitraum (.B. innerhalb der ersten zwei Minuten seit einem ersten Erkennen des Objekts Oi ) und/oder für einen vorgegebenen Teil-Raumbereich TRB des Raumbereichs RB (z.B. in einem Zugangsbereich) überprüft werden;
- - ein Objekt Oi hat sich - zumindest für einen bestimmten vorgegebenen Zeitraum - nicht zumindest für eine vorgegebene Strecke bewegt, z.B. innerhalb der ersten zwei Minuten seit einem ersten Erkennen des Objekts Oi .
-
Allgemein können die Bedingungen zusätzlich oder alternativ für Personen P'j und/oder P*j überprüft werden. Eine Bewegungstrajektorie kann dann auch z.B. auch als Bewegungstrajektorie T(P'j) usw. beschrieben oder bezeichnet werden.
-
2 zeigt einen möglichen Ablauf einer Erkennung eines bewegten Objekts Oi . Dieser Ablauf kann in das Verfahren nach 1 integriert sein. Insbesondere kann der Ablauf nach 2 als Detaillierung des Ablaufs nach 1 verstanden werden.
-
In einem Schritt S11 wird zu einem Zeitpunkt tn ein Bild B(tn) aufgenommen oder von der mindestens eine Kamera K übernommen.
-
In einem auf Schritt S11 folgenden Schritt S12 wird in dem Bild B(tn) eine Personenerkennung durchgeführt, z.B. analog zu Schritt S2 der 1.
-
Außerdem wird in einem auf Schritt S11 folgenden Schritt S13 überprüft, ob bereits mindestens eine Bewegungstrajektorie T(Oi) existiert.
-
Ist dies der Fall („J“), wird in einem auf Schritt S13 folgenden Schritt S14 die mindestens eine Bewegungstrajektorie T(Oi) - ohne auf die Personenerkennung aus Schritt S12 zurückzugreifen - für Bild B(tn) weitergeführt. Die Bilder B können also insbesondere unabhängig von einer Personenerkennung mittels der Mustererkennung ausgewertet werden.
-
In einem Schritt S15 wird dann überprüft, ob die in Schritt S12 erkannten Personenobjekte P'j einer bereits bestehenden, sich aus Schritt S14 ergebenden Bewegungstrajektorie T(Oi) entsprechen. Dies kann beispielsweise so umgesetzt werden, dass überprüft wird, ob die Endpunkte der bereits zuvor bestimmten Bewegungstrajektorien T(Oi) sich innerhalb eines vorgegebenen Mindestabstands / Mindestradius zu den in Schritt S12 identifizierten Personenobjekte P'j befinden.
-
Ist dies der Fall („J“), wird in einem Schritt S16 den in Schritt S12 identifizierten Personenobjekten P'j die nächstliegende Bewegungstrajektorie zugeordnet und die entsprechende Bewegungstrajektorie T(Oi) aus der Position des zugehörigen Personenobjekts P'j weitergeführt.
-
Ist die nicht der Fall („N“), wird in einem Schritt S17 für ein erkanntes Personenobjekt P'j , für das noch keine Bewegungstrajektorie T(Oi) existiert, eine neue Bewegungstrajektorie T(Oi) erzeugt.
-
Die Schritte S14 bis S17 können einem Trackingablauf T zugeordnet werden.
-
Schritt S16 und Schritt S17 folgt ein Schritt S18, bei dem nur diejenigen Bewegungstrajektorien T(Oi) herausgesucht oder herausgefiltert werden, die bereits vor einem Zeitpunkt tn-p (mit p ≥ 1) bestanden haben.
-
Der Zeitraum (tn - tn-p) kann auch als eine Latenz- oder Verzögerungszeit bezeichnet werden. Insbesondere kann das zugehörige Bild (tn - tn-p) das letzte Bild sein, anhand dessen eine Personenerkennung durchgeführt worden ist. Die Verzögerungszeit (tn - tn-p) kann z.B. fünf Sekunden oder mehr betragen.
-
Für diese herausgesuchten Bewegungstrajektorien T(Oi) wird in einem Schritt S19 überprüft, ob sie als einer realen Person zugeordnet werden können. Dabei können die Bewegungstrajektorien T(Oi) daraufhin untersucht werden, ob sie Bedingungen erfüllen, welche die Bewegungstrajektorien T(Oi) auf Vorliegen einer realen Person hin plausibilisieren.
-
Falls eine einem Personenobjekt P*j zugeordnete Bewegungstrajektorie T(Oi) die Plausibilisierungsbedingung(en) erfüllt hat und somit als eine reale Person P*j eingestuft worden ist („J“), wird in einem folgenden Schritt S20 das zugehörige mindestens eine Personenobjekt P'j aus dem Bild (tn - tn-p) als reale Person eingestuft. In anderen Worten wird die für das das Bild (tn - tn-p) durchgeführte Personenerkennung durch die Auswertung der Tracking-by-Movement-Information bestätigt.
-
Falls nicht („N“) (falls also eine Bewegungstrajektorie T(Oi) die Plausibilisierungsbedingung(en) nicht erfüllt hat und somit nicht als eine reale Person eingestuft worden ist), wird in einem Schritt S21 die Bewegungstrajektorie T(Oi) verworfen.
-
Die Schritte S18 bis S21 können auch als Filterungsablauf F bezeichnet werden.
-
Auf Schritt S20 und damit folgend auf den Filterungsablauf F können in einem Schritt S22 für das Bild (tn - tn-p) „gefilterte“ oder „bereinigte“ Personenobjekte P' j bereitgestellt werden, welche nicht verworfen worden sind und die oben beschriebenen Bedingungen erfüllen, also reale Personen P*j darstellen.
-
Der Trackingablauf T und der Filterungsablauf F können gemeinsam auch als Filterungs-/Tracking-Ablauf T, F bezeichnet werden.
-
Obwohl die Erfindung im Detail durch die gezeigten Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht darauf eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
-
Allgemein kann unter „ein“, „eine“ usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von „mindestens ein“ oder „ein oder mehrere“ usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck „genau ein“ usw.
-
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
-
Bezugszeichenliste
-
Auswerteeinrichtung |
A |
Bilder |
B |
Kamera |
K |
Musterobjekt |
Oi |
Personenobjekt |
P'j |
Reale Person |
P*j |
Raumbereich |
RB |
Verfahrensschritt |
S1-S21 |
Zeitpunkt |
t0 |
Zeitpunkt |
tn |
Zeitpunkt |
tn-p |
Bewegungstrajektorie |
T(Oi) |
Teil-Raumbereich |
TRB |