DE102013224376A1

DE102013224376A1 - Verfahren zur Videoüberwachung

Info

Publication number: DE102013224376A1
Application number: DE102013224376.6A
Authority: DE
Inventors: Nicolas Cebron; Jan Karl Warzelhan
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2013-11-28
Filing date: 2013-11-28
Publication date: 2015-05-28
Also published as: GB2534497B; GB2534497A; WO2015078612A1; US20170177945A1; GB201604605D0; US9996751B2; CN105793868B; CN105793868A

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung eines von einer Kamera erfassten Überwachungsbereichs (10), wobei eine Inhaltsanalyse für einen Teilbereich (20) des Überwachungsbereichs (10) durchgeführt wird; wobei eine Festlegung des Teilbereichs (20) in Abhängigkeit von ein oder mehreren Parametern durchgeführt wird; und wobei die Festlegung des Teilbereichs (20) bei einer Änderung wenigstens eines der Parameter während der Überwachung erneut durchgeführt wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung eines von einer Kamera, insbesondere einer Smart-Kamera, erfassten Überwachungsbereichs.
Stand der Technik
Unter "Smart-Kameras" werden optische Systeme verstanden, die Bilder nicht nur aufnehmen, sondern diese auch selbst verarbeiten und/oder interpretieren können. Eine Smart-Kamera kann beispielsweise als intelligentes und autonomes optisches System zusätzlich zu einer Bildaufnahmeschaltung anwendungsspezifische Informationen aus aufgenommenen Bildern herausfiltern und verarbeiten sowie aufgrund dessen Entscheidungen treffen.
Für eine Videoinhaltsanalyse kann man Vorwissen über eine Szenengeometrie eines zu überwachenden Bereichs nutzen, um die Performanz in Hinblick auf Objekterkennung, Objektverfolgung und Klassifikation oder für die Plausibilisierung von Objekten zu verbessern.
So kann man bestimmte Teilbereiche des von der Kamera erfassten Überwachungsbereichs als nicht relevant maskieren, d.h. für die automatische Bildverarbeitung ausschließen.
Aus der DE 10 2007 041 893 A1 ist bspw. ein Verfahren zur Videoüberwachung bekannt, bei dem verschiedene Bereiche, in denen Störobjekte auftreten oder auftreten können, nur begrenzt analysiert bzw. überwacht werden.
Überwachungskameras werden in letzter Zeit jedoch auch für komplexere Szenen, wie bspw. Supermärkte, eingesetzt, bei denen die benötigte Leistung für die Bildverarbeitung steigt. Eine einfache Maskierung von nicht zu überwachenden Bereichen ist zudem oft nicht möglich.
Es ist daher wünschenswert, eine Möglichkeit anzugeben, Bereiche eines Überwachungsbereichs derart festzulegen, dass, insbesondere situationsbedingt, die nötige Videoinhaltsanalyse möglichst gering gehalten wird.
Offenbarung der Erfindung
Erfindungsgemäß wird ein Verfahren zur Videoüberwachung mit den Merkmalen des Patentanspruchs 1 vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Vorteile der Erfindung
Bei einem erfindungsgemäßen Verfahren zur Überwachung eines von einer Kamera, insbesondere einer Smart-Kamera, erfassten Überwachungsbereichs, bei dem eine Inhaltsanalyse nur für einen Teilbereich des Überwachungsbereichs durchgeführt wird, ist es vorteilhaft, wenn der Teilbereich anhand von Parametern bestimmt wird und wenn bei einer Änderung von wenigstens einem der Parameter während der Überwachung der Teilbereich für die Inhaltsanalyse, insbesondere automatisch, angepasst wird. Bereich des Überwachungsbereichs außerhalb des Teilbereichs werden damit ausmaskiert, dort wird dann keine Inhaltsanalyse durchgeführt. Dadurch wird eine für die Überwachung nötige Rechenleistung auf das Nötige reduziert und trotzdem können alle nötigen bzw. wichtigen Szenen überwacht werden. Durch die Erfindung kann der zu analysierende Anteil des Überwachungsbereichs (d.h. der Teilbereich) klein gehalten werden, was die Ausführung von komplexeren Algorithmen in Echtzeit ermöglicht. Durch die Ausmaskierung von Störregionen oder nicht relevanter Bereiche werden dort keine Alarme/Meta-Daten generiert, was wiederum zu einer Steigerung der Aufmerksamkeit des Beobachters führen kann.
Vorzugsweise wird der Teilbereich auf Basis einer ebenen Fläche im Überwachungsbereich, wie bspw. einem Boden, auf dem sich Personen bewegen, ausgewählt. Diese ebene Fläche kann im Kamerabild beispielsweise von einem Benutzer ausgewählt werden, woraufhin in einfacher Ausgestaltung die ausgewählte Fläche den Teilbereich bildet. Vorzugsweise wird der Teilbereich jedoch unter Berücksichtigung einer Höhe von Objekten, die sich auf der Fläche befinden, bestimmt. Dadurch kann der Teilbereich möglichst gut auf benötigte Bereiche, nämlich Flächen, auf denen sich Personen bewegen können, eingegrenzt werden. Es ist insbesondere mittels einer Grundriss-Beschreibung sehr einfach, den Teilbereich zu markieren. Regionen, in welchen bewegte Objekte vorkommen können, sind aber z.B. während einer Konfiguration nicht im Bild an jeder Position zu sehen. Somit ist es schwierig, diese Bereiche zu definieren. Die Kamera bzw. das Überwachungssystem ist besonders vorteilhaft dazu eingerichtet, anhand einer Kalibrierung (insbesondere der Höhe) selbstständig den Teilbereich festzulegen. Dies ist vorteilhaft bei der Verwendung von Objektdetektoren. Der Benutzer kann anhand des Kamerabildes den Fußbodenbereich markieren, an dem sich Personen aufhalten können. Für alle Bildpunkte im 2D-Bild, die den markierten Fußboden abbilden, kann mittels einer Kameramatrix und/oder Projektionsmatrix der zugehörige 3D-Punkt in einem Weltkoordinatensystem berechnet werden. Ausgehend von dem 3D-Punkt auf der Grundebene kann eine fiktive Höhe (Höhenbereich) der Person angenommen werden, z. B. zwischen 1,2 m bis 2 m. Dieser 3D-Punkt mit einer bestimmten Höhe (oder Höhen) kann mittels der Projektionsmatrix in die 2D-Bildebene rücktransformiert werden. Somit bekommt man eine Position im 2D-Bild, die eine Kopfposition einer möglichen Person wiedergibt. Somit kann abgeschätzt werden, in welchen Bildbereichen sich z. B. Personen befinden können. Wenn alle Möglichkeiten berechnet werden, kann ein Maskenbild erstellt werden. Dies ist aber nicht zwingend nur eine 2D-Maskierung, sondern beschreibt vielmehr ein 3D-Volumen. Bei der Objektdetektion wird mit einer bestimmten Maskengröße über das Bild gelaufen, um eine Entscheidung an allen möglichen Positionen zu treffen, ob sich dort das zu detektierende Objekt befindet oder nicht. Dies muss theoretisch für jede Pixelposition und mögliche Maskengröße (z. B. für Personen von 1.2m–2 m) gemacht werden, was zu einer Vielzahl von Tests führt. Hierfür ist eine Einschränkung des Suchbereichs auf einen Teilbereich sehr vorteilhaft.
Vorteilhafterweise umfassen die Parameter Ausgabewerte eines oder mehrerer Sensoren, bspw. für eine Tür, eine Schiebetür, eine Schranke oder eine Lichtschranke, oder Bewegungsmelder. Dadurch kann erkannt werden, welche Bereiche überwacht bzw. analysiert werden müssen, d.h. wo sich möglicherweise gerade Personen befinden.
Weiter ist es vorteilhaft, wenn die Parameter auch Bildverarbeitungsparameter bei der Inhaltsanalyse umfassen. Auf diese Weise kann bspw. Hintergrund von der Überwachung ausgeschlossen werden oder Bewegungsrichtungen können erkannt werden.
Der Teilbereich ist dabei nicht auf einen zusammenhängenden Bereich beschränkt, ebenso können zwei oder mehrere voneinander getrennte Bereiche zur Inhaltsanalyse herangezogen werden. Dies ist bspw. sinnvoll, wenn sich in der Mitte des Überwachungsbereichs eine Wand oder dergleichen befindet, so dass dieser Bereich nicht von Personen betreten werden kann.
Eine erfindungsgemäße Recheneinheit, die bspw. in der Kamera, insbesondere einer Smart-Kamera, integriert oder Bestandteil eines übergeordneten Überwachungssystems ist, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
Auch die Implementierung des Verfahrens in Form von Software ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere Disketten, Festplatten, Flash-Speicher, EEPROMs, CD-ROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die vorstehend genannten und die nachfolgend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Kurze Beschreibung der Zeichnung
1 zeigt eine Überwachungsszene und einen darauf ausgewählten Bereich zur Inhaltsanalyse für ein nicht erfindungsgemäßes Verfahren.
2 zeigt eine Überwachungsszene mit verschiedenen darauf ausgewählten Teilbereichen zur Inhaltsanalyse für ein erfindungsgemäßes Verfahren in einer bevorzugten Ausgestaltung.
Ausführungsform(en) der Erfindung
In 1 ist eine Überwachungsszene mit einem Überwachungsbereich 10, beispielhaft ein Eingangsbereich zu einem Supermarkt, dargestellt. In 1a ist der komplette Überwachungsbereich 10 gezeigt.
In 1b ist ein Teilbereich 20 des Überwachungsbereichs 10 ausgewählt, der zur Inhaltsanalyse während der Bildverarbeitung in einer Kamera herangezogen wird. Der schraffiert dargestellte Bereich wird dabei von der Inhaltsanalyse ausgeschlossen, da sich dort keine Personen aufhalten dürften bzw. dieser Bereich nicht relevant ist, wie ein Vergleich mit 1a zeigt.
Insbesondere bspw. bei einer Zählung von Personen, die den Supermarkt betreten und/oder Verlassen, ist lediglich der Eingangsbereich von Interesse. Nachteilig ist hierbei jedoch, dass der gesamte Eingangsbereich dauerhaft zur Inhaltsanalyse herangezogen wird, unabhängig davon, ob sich auch tatsächlich gerade Personen im Eingangsbereich aufhalten.
In 2 ist der gleiche Überwachungsbereich 10 wie in 1 dargestellt. Die ausgewählten Teilbereiche 20, die zur Inhaltsanalyse herangezogen werden, unterscheiden sich jedoch, wie nachfolgend erläutert.
In 2a erstreckt sich der Teilbereich 20 auf den Bereich vor dem Eingang bzw. den vorderen Bereich des Eingangs, d.h. bis vor Schranken, die im Durchgangsbereich des Eingangs angebracht sind. Da bei geschlossenen Schranken sich im Durchgangsbereich keine Personen aufhalten, ist eine Inhaltsanalyse in diesem Bereich auch nicht nötig.
In 2b erstreckt sich der Teilbereich 20 zusätzlich auf den rechten Durchgang. Hierbei sind zwei Sensoren 30 dargestellt, die an den Schranken im Durchgang ausgebildet sind. Bspw. können die Sensoren verschiedene Werte als Parameter ausgeben, je nachdem ob die entsprechende Schranke geöffnet oder geschlossen ist. Eine Schranke wird üblicherweise geöffnet, wenn eine Person darauf zugeht und den Durchgang passieren will. Hierbei wird dann ein entsprechender Wert der Sensoren 30 ausgegeben, welcher von der Kamera erfasst wird und zur Bestimmung bzw. Festlegung des Teilbereichs 20 herangezogen wird.
Im vorliegenden Fall wird der Teilbereich auf den rechten Durchgang erweitert, da sich, aufgrund der geöffneten Schranken, dort Personen befinden oder zumindest befinden können. Der Teilbereich wird somit nur dann auf den größeren Bereich erweitert, wenn dies aufgrund der Überwachung auch nötig ist, nämlich wenn sich dort Personen aufhalten können.
Weiter ist zu sehen, dass der Teilbereich 20 auf einer ebenen Fläche, nämlich dem Boden, des Überwachungsbereichs 10 basiert. Nur dort bewegen sich üblicherweise Personen. Die Fläche wird vorzugsweise manuell im Kamerabild markiert, worauf basierend der zu analysierende Teilbereich von der Kamera oder einem der Kamera übergeordneten Überwachungssystem automatisch festgelegt wird.
In 2c ist der Teilbereich 20 gegenüber der 2a um den linken Durchgangsbereich erweitert. Hier sind ebenso zwei Sensoren 30, die an den Schranken im Durchgang ausgebildet sind, dargestellt. Wiederum wird der Teilbereich nur um einen Bereich erweitert, in dem sich Personen befinden, im vorliegenden Fall Personen, die den linken Durchgang passieren.
Die Anwendung eines erfindungsgemäßen Verfahrens erschöpft sich nicht nur in der Überwachung von Personen. Ebenso können andere bewegte Objekte wie bspw. Fahrzeuge entsprechend überwacht werden.
Geeignete Sensoren zur Ausgabe von Werten als Parameter, die zur Bestimmung des Teilbereichs herangezogen werden, können sich auch an anderen Objekten oder Gegenständen befinden, die dazu geeignet sind, mögliche Überwachungsbereiche zu definieren. Bspw. seien hier Türen, insbesondere Schiebetüren oder Drehtüren, wie sie sich bspw. am Eingang von Kaufhäusern befinden, genannt. Auch Sensoren an Lichtschranken können entsprechende Werte ausgeben.
Eine weitere Möglichkeit für Parameter sind bspw. Bildverarbeitungsparameter während der Inhaltsanalyse. Hier können bspw. unbewegte Bereiche als Hintergrund identifiziert und von der Inhaltsanalyse im Weiteren ausgeschlossen werden. Ebenso ist es bspw. denkbar, dass eine erkannte Bewegungsrichtung eines Objekts den Teilbereich in die entsprechende Richtung hin erweitert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007041893 A1 [0005]

Claims

Verfahren zur Überwachung eines von einer Kamera erfassten Überwachungsbereichs (10), wobei eine Inhaltsanalyse für einen Teilbereich (20) des Überwachungsbereichs (10) durchgeführt wird; wobei eine Festlegung des Teilbereichs (20) in Abhängigkeit von ein oder mehreren Parametern durchgeführt wird; und wobei die Festlegung des Teilbereichs (20) bei einer Änderung wenigstens eines der Parameter während der Überwachung erneut durchgeführt wird.
Verfahren nach Anspruch 1, wobei die Festlegung des Teilbereichs (20) bei einer Änderung wenigstens eines der Parameter während der Überwachung automatisch durchgeführt wird.
Verfahren nach Anspruch 1 oder 2, wobei der Teilbereich auf einer ebenen Fläche in dem Überwachungsbereich basiert.
Verfahren nach Anspruch 3, wobei der Teilbereich basierend auf der ebenen Fläche in dem Überwachungsbereich und einer Höheninformation festgelegt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei die ein oder mehreren Parameter wenigstens einen Ausgabewert eines Sensors (30) umfassen.
Verfahren nach einem der vorstehenden Ansprüche, wobei die ein oder mehreren Parameter wenigstens einen Bildverarbeitungsparameter bei der Inhaltsanalyse umfassen.
Verfahren nach einem der vorstehenden Ansprüche, wobei der Teilbereich (20) einen zusammenhängenden Bereich oder wenigstens zwei voneinander getrennte Bereiche umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Inhaltsanalyse für einen Teilbereich (20) des Überwachungsbereichs (10) und/oder die Festlegung des Teilbereichs (20) in Abhängigkeit von ein oder mehreren Parametern und/oder die Festlegung des Teilbereichs (20) bei einer Änderung wenigstens eines der Parameter während der Überwachung in der Kamera oder in einem übergeordneten Überwachungssystem durchgeführt wird.
Recheneinheit, die dazu eingerichtet ist, ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen.
Computerprogramm, das eine Recheneinheit dazu veranlasst, ein Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen, wenn es auf der Recheneinheit, insbesondere nach Anspruch 9, ausgeführt wird.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 10.