-
Die Erfindung betrifft ein Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich. Bei dem Verfahren werden charakteristische Bewegungsmuster in Video- bzw. Bildmaterial erkannt. Zudem betrifft die Erfindung ein Alarmierungsverfahren. Weiterhin betrifft die Erfindung ein Überwachungssystem. Überdies betrifft die Erfindung ein Alarmsystem. Die Erfindung betrifft auch ein Personentransportfahrzeug.
-
Um die Sicherheit von Personen im öffentlichen Raum und im privaten Umfeld zu verbessern, werden zunehmend Kamerasysteme eingesetzt. Videodaten werden zur Beweissicherung und zu Ermittlungszwecken sowie zur Echtzeitüberwachung eingesetzt. Dabei wird neben der direkten Beobachtung durch Personen auch zunehmend eine automatisierte Überwachung genutzt. Allerdings lassen sich mit den dabei eingesetzten Systemen meistens Notsituationen, wie zum Beispiel bei Gewaltverbrechen, nur im Nachhinein dokumentieren, wohingegen ein Alarmieren und rechtzeitiges Eingreifen, um das potentielle Opfer zu retten, oft nicht möglich ist.
-
Ein Ansatz zur automatisierten Überwachung im öffentlichen Raum mit Hilfe von Videodaten zielt auf die Erkennung spezieller Bewegungsmuster von Personen, welche mit Gefahrensituationen in Verbindung gebracht werden können, ab. Besondere Anforderungen stellt hierbei die Gefahrenerkennung in Zügen und Bussen. Denn hier besteht das Problem, die den Gefahrensituationen zuzuordnenden Bewegungsmuster von Personen von durch die Bewegung der Fahrzeuge selbst entstehenden Bewegungsmustern, welche durch Licht, Schatten und die Umgebung hervorgerufen werden, abzugrenzen.
-
Gegenwärtig findet eine Erkennung von Bewegungsmustern in Fahrzeugen kaum oder nur eingeschränkt statt, da das oben geschilderte Problem bisher nicht gelöst wurde. Üblicherweise werden im Inneren der Fahrzeuge die Videoströme lediglich aufgezeichnet und nach einer achtundvierzigstündigen Frist ungesehen vernichtet. Erst im Falle des Bekanntwerdens von Vorfällen, beispielsweise durch eine Anzeige oder im Rahmen von aus anderen Gründen stattfindenden polizeilichen Ermittlungen, werden die aufgezeichneten Bilddaten nachträglich gesichtet und für die Ermittlungsarbeit oder zur Beweissicherung im Umfeld von Straftaten herangezogen.
-
Eine Erkennung von Gefahrenquellen durch das Verhalten von Personen in Echtzeit, d.h. im Vorfeld oder zur unmittelbaren Tatzeit, mit entsprechenden Interventionsmöglichkeiten, findet nicht statt. Eine Intervention ist erst zu einem späteren Zeitpunkt nach Sichtung des erfassten Videomaterials möglich.
-
Es gibt zwar Ansätze für eine Bewegungserkennung in Fahrzeugen in Echtzeit, dabei wird jedoch nur eine erhöhte Geschwindigkeit von Bewegungen erkannt. Die Unterscheidung spezieller Bewegungsmuster lässt sich mit dieser Vorgehensweise jedoch nicht realisieren.
-
Es besteht also die Aufgabe, ein Verfahren und eine Vorrichtung zu entwickeln, mit denen eine Gefahrensituation in Echtzeit und zuverlässig erkannt werden kann.
-
Diese Aufgabe wird durch ein Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich gemäß Patentanspruch 1, ein Alarmierungsverfahren gemäß Patentanspruch 6, ein Überwachungssystem gemäß Patentanspruch 8, ein Alarmsystem gemäß Patentanspruch 9 und ein Personentransportfahrzeug gemäß Patentanspruch 10 gelöst.
-
Bei dem erfindungsgemäßen Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich werden Videodaten von dem Überwachungsbereich kontinuierlich erfasst. Anschließend werden die Videodaten in Optical-Flow-Daten umgewandelt. Die Optical-Flow-Daten repräsentieren den optischen Fluss einer Bildsequenz aus zeitlich aufeinanderfolgenden Einzelbildern, welche aus den aufgenommenen Videodaten gewonnen werden. Der optische Fluss umfasst ein Vektorfeld der in die Bildebene projizierten Geschwindigkeit von sichtbaren Punkten des Objektraumes im Bezugssystem der Abbildungsoptik der verwendeten Bildaufnahmeeinheit. Zur Ermittlung des optischen Flusses werden über die Positionsdifferenz markanter Punkte aus der Bildabfolge bzw. Bildsequenz Vektoren generiert. Diese Vektoren repräsentieren eine Bewegungsrichtung und eine Schrittweite. Auf die Optical-Flow-Daten wird in Echtzeit ein auf Basis relevanter Bewegungsmuster trainierter Klassifikator angewendet. Der Klassifikator umfasst die Definition der zu erkennenden Bewegungsmuster. Die Form des Klassifikators ist von der Art des Trainingsverfahrens abhängig und kann zum Beispiel Vektormatrizen umfassen. Das Training des Klassifikators kann vorzugsweise mit Hilfe von Referenzbilddaten erfolgen, denen unterschiedliche Situationen, darunter auch spezifische Gefahrensituationen, zugeordnet sind und die die jeweils zugeordneten Situationen kennzeichnende, relevante Bewegungsmuster umfassen. Der Klassifikator ist also das Ergebnis eines angewandten Trainingsprozesses.
-
Die „relevanten“ Bewegungsmuster umfassen Bewegungsmuster, die typischen Bewegungen, welche mit spezifischen Situationen, insbesondere Gefahrensituationen, korreliert sind, zuzuordnen sind. Schließlich wird auf Basis eines Klassifikationsergebnisses ermittelt, ob eine Gefahrensituation vorliegt.
-
Für den Fall, dass eine Gefahrensituation ermittelt wird, kann auf Basis des Klassifikationsergebnisses auch ein Typ der Gefahrensituation ermittelt werden.
-
Vorteilhaft können Gefahrensituationen in Echtzeit und im Vergleich zu herkömmlichen Herangehensweisen deutlich zuverlässiger automatisiert detektiert werden. Aufgrund der Echtzeitdetektion kann gegebenenfalls rechtzeitig durch entsprechend dafür vorgesehenes Hilfspersonal eingegriffen werden, bevor eine Person zu Schaden kommt. Wird auch ein spezifischer Typ einer Gefahrensituation erkannt, so kann gezielt geeignetes Personal adressiert werden, welches besonders effektiv auf die spezifische Gefahrensituation reagieren kann. Aufgrund der höheren Zuverlässigkeit des Verfahrens kann die Zahl der Fehlalarme reduziert werden. Die Verfahrensschritte der Bildaufnahme, der Datenumwandlung, der Klassifizierung und der Gefahrenerkennung erfolgen vorteilhaft automatisiert, so dass kein Personal zur Gefahrenerkennung benötigt wird. Das Verfahren lässt sich besonders vorteilhaft für die Gefahrenerkennung im öffentlichen Raum, wie zum Beispiel in Zügen oder Bussen, anwenden, in denen aufgrund der Unübersichtlichkeit eine Gefahrenerkennung durch Personal erschwert ist oder zumindest sehr aufwändig wäre.
-
Bei dem erfindungsgemäßen Alarmierungsverfahren wird zunächst das erfindungsgemäße Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich durchgeführt. Überdies erfolgt ein automatisiertes Auslösen eines Alarms für den Fall, dass eine Gefahrensituation detektiert wurde. Die Art und Weise des Alarms und die von dem Alarm adressierten Hilfskräfte können zum Beispiel von dem Erkennungsergebnis abhängen. Als Reaktion auf eine Alarmierung kann beispielsweise ein optisches oder akustisches Signal, im einfachsten Fall ein Signallicht, erzeugt werden, das dem Opfer bestätigt, dass die Alarmierung stattgefunden hat, und das einen eventuell vorhandenen Täter zum Abbruch seiner Tat veranlasst, da diesem die Überwachung durch ein Überwachungssystem und das Auslösen des Alarms verdeutlicht wird. Das Alarmierungsverfahren teilt die Vorteile des erfindungsgemäßen Verfahrens zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich.
-
Das erfindungsgemäße Überwachungssystem umfasst eine Videoaufnahmeeinheit zum kontinuierlichen Erfassen von Videodaten von einem Überwachungsbereich. Teil des erfindungsgemäßen Überwachungssystems ist eine Konversionseinheit zum Umwandeln der Videodaten in Optical-Flow-Daten. Das erfindungsgemäße Überwachungssystem umfasst eine Klassifizierungseinheit, welche dazu eingerichtet ist, einen auf Basis relevanter Bewegungsmuster trainierten Klassifikator auf die Optical-Flow-Daten in Echtzeit anzuwenden. Teil des erfindungsgemäßen Überwachungssystems ist auch eine Gefahrenermittlungseinheit zum Ermitteln einer Gefahrensituation auf Basis eines Klassifikationsergebnisses.
-
Das erfindungsgemäße Überwachungssystem teilt die Vorteile des erfindungsgemäßen Verfahrens zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich.
-
Das erfindungsgemäße Alarmsystem umfasst das erfindungsgemäße Überwachungssystem sowie eine Alarmierungseinheit zum automatisierten Auslösen eines Alarms in Abhängigkeit von einer von dem Überwachungssystem detektierten Gefahrensituation. Das erfindungsgemäße Alarmsystem teilt die Vorteile des erfindungsgemäßen Überwachungssystems.
-
Das erfindungsgemäße Personentransportfahrzeug weist das erfindungsgemäße Alarmsystem auf. Insbesondere in Schienenverkehrsmitteln mit einer Vielzahl von Transportmodulen lassen sich Gefahrensituationen, beispielsweise im Zusammenhang mit Gewalttaten, nicht leicht erkennen. Vorteilhaft erfolgt die Gefahrenerkennung in dem erfindungsgemäßen Personentransportfahrzeug automatisiert und in Echtzeit, so dass rechtzeitig Gegenmaßnahmen eingeleitet werden können.
-
Einige Komponenten des erfindungsgemäßen Überwachungssystems können, eventuell nach Ergänzung gewisser Hardwareelemente, wie zum Beispiel einer Videokamera, zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Konversionseinheit, der Klassifizierungseinheit und der Gefahrenermittlungseinheit.
-
Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.
-
Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher zur Überwachung eines Bereichs vorhandene Rechnersysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersystems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in dem Rechnersystem ausgeführt wird.
-
Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen
-
Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein computerlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest eingebauter Datenträger dienen, auf welchem die von einem Rechnersystem einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Das Rechnersystem kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikroprozessoren oder dergleichen aufweisen.
-
Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unterschiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.
-
In einer Variante des erfindungsgemäßen Verfahrens zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich wird der Klassifikator durch folgende Schritte trainiert:
- - Erfassen von Videodaten mit beispielhaften Bewegungsmustern,
- - Umwandeln der Videodaten in Optical-Flow-Daten,
- - Trainieren des Klassifikators mit Hilfe eines automatisierten Lernverfahrens auf Basis der mit beispielhaften Bewegungsmustern versehenen Optical-Flow-Daten.
-
Bei dem Trainingsvorgang wird aus einer Grundmenge von exemplarischen Bildfolgen ein Erkenner, welcher einen Klassifikator verwendet, trainiert, der in der Folge in der Lage ist, entsprechende Muster zu erkennen. Ein solcher Erkenner ist ein Programm oder eine Bibliothek, die den Klassifikator nutzt, um relevante Bewegungsmuster zu erkennen. Vorteilhaft kann der Klassifikator flexibel an individuelle Anwendungsbereiche angepasst werden, ohne auf ein starres, rechenaufwändiges Modell festgelegt zu sein.
-
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich umfasst das automatisierte Lernverfahren ein maschinelles Lernverfahren. Solche maschinellen Lernverfahren lassen sich für das Trainieren von Klassifikationsverfahren zur Bewegungsmustererkennung anwenden. Beispiele für Klassifikationsverfahren zur Bewegungsmustererkennung sind svm oder Haarcascade-Einsatz. Bei dem Verfahren svm (support vector machine) handelt es sich um ein mathematisches Verfahren zur Mustererkennung auf Basis von Vektormatrizen. Haarcascade umfasst ein Bildextraktionsverfahren, auch Haar-Feature-Verfahren genannt, welches Abstraktionsmuster, sogenannte Haar-Wavelets umfasst, mit denen Bilder in Einzelteile zerlegt werden und unterschiedlich aufgelöst werden.
-
Das automatisierte Lernverfahren kann auch ein Deep-Learning-Verfahren umfassen, welches als ein Spezialfall des maschinellen Lernens anzusehen ist. Deep-Learning betrifft eine Klasse von Optimierungsmethoden, welche auf der Anwendung neuronaler Netze beruhen. Die dabei verwendeten neuronalen Netze umfassen zahlreichen Zwischenlagen zwischen der Eingabeschicht und der Ausgabeschicht und weisen somit eine innere Struktur auf. Mittels Deep-Learning kann mit Unterstützung potenter Hardware und entsprechender Verfahrensweise eine größere Menge an Basisdaten verarbeitet werden, als es bei einfacheren Ansätzen der Fall ist.
-
Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:
- 1 ein Flussdiagramm, welches ein Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich und zum Auslösen eines Alarms gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,
- 2 ein Flussdiagramm, welches Verfahrensschritte zum Trainieren eines Klassifikators veranschaulicht,
- 3 ein Blockdiagramm, welches ein Alarmsystem mit einem Überwachungssystem gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.
-
In 1 ist ein Flussdiagramm 100 gezeigt, welches ein Verfahren zum automatisierten Detektieren einer Gefahrensituation beschreibt. Der Überwachungsbereich ÜB kann zum Beispiel das Abteil eines Zugs umfassen, in dem sich Fahrgäste für eine gewisse Zeit aufhalten.
-
Bei dem Schritt 1.1 werden kontinuierlich Videodaten VD von dem Überwachungsbereich ÜB erfasst. Die erfassten Videodaten VD werden bei dem Schritt 1.II in Optical-Flow-Daten OFD gewandelt. Nachfolgend wird bei dem Schritt 1.III ein auf Basis relevanter Bewegungsmuster trainierter Klassifikator K auf die Optical-Flow-Daten OFD in Echtzeit angewendet. Bei dem Schritt 1.IV wird dann ermittelt, ob eine Gefahrensituation GS vorliegt und gegebenenfalls, welcher Art diese Gefahrensituation ist. Diese Ermittlung erfolgt auf Basis eines Klassifikationsergebnisses KE. Für den Fall, dass bei dem Schritt 1.IV ermittelt wurde, dass eine Gefahrensituation GS vorliegt, was in 1 mit „j“ gekennzeichnet ist, so wird zu dem Schritt 1.V übergegangen, bei dem ein Alarm bei zuständigen Instanzen ausgelöst wird. Beispielsweise kann die Alarmmeldung AL an eine Hilfsmannschaft oder Hilfsinstanz, beispielsweise die Polizei oder private Wachdienste, übermittelt werden, welche zeitnah der betroffenen Person Hilfe leisten können. Falls bei dem Schritt 1.IV keine Gefahrensituation GS ermittelt wurde, was mit „n“ gekennzeichnet ist, so wird zu dem Schritt 1.I übergegangen und es wird der Überwachungsprozess weiter in Echtzeit durchgeführt.
-
In 2 wird ein Flussdiagramm 200 gezeigt, welches Verfahrensschritte zum Trainieren eines Klassifikators K veranschaulicht. Die genannten Schritte können zum Beispiel im Vorfeld eines Einsatzes des in 1 veranschaulichten Verfahrens unter Berücksichtigung des speziellen Anwendungsgebiets bzw. eines bekannten Überwachungsbereichs durchgeführt werden. Bei dem Schritt 2.1 werden zunächst Videodaten VDB mit beispielhaften Bewegungsmustern, welche einer bekannten Gefahrensituation GS zugeordnet sind, eingelesen. Die Videodaten VDB werden bei dem Schritt 2.II in Optical-Flow-Daten OFDB umgewandelt. Dann wird bei dem Schritt 2.III der Klassifikator K mit Hilfe eines automatisierten Lernverfahrens auf Basis der mit beispielhaften Bewegungsmustern versehenen Optical-Flow-Daten OFDB trainiert.
-
In 3 ist ein Blockdiagramm gezeigt, welches ein Alarmsystem 1 mit einem Überwachungssystem 10 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Teil des Alarmsystems 1 ist neben dem erwähnten Überwachungssystem 10 auch eine Alarmierungseinheit 15, mit der Hilfskräfte von einer Gefahrensituation GS in einem Überwachungsbereich ÜB in Kenntnis gesetzt werden können.
-
Das Überwachungssystem 10 umfasst zudem eine Videoaufnahmeeinheit 11 mit einer Videokamera, welche dazu dient, kontinuierlich Videodaten VD von dem Überwachungsbereich ÜB aufzunehmen. Die Videodaten VD werden an eine Konversionseinheit 12 weitergeleitet, welche die empfangenen Videodaten VD in Optical-Flow-Daten OFD umwandelt. Die Optical-Flow-Daten OFD werden an eine Klassifizierungseinheit 13 übermittelt, die einen auf Basis relevanter Bewegungsmuster trainierten Klassifikator K auf die Optical-Flow-Daten OFD in Echtzeit anwendet und die Optical-Flow-Daten OFD gegebenenfalls vorbestimmten Bewegungsmustern zuordnet. Das Klassifikationsergebnis KE wird dann an eine Gefahrenermittlungseinheit 14 weiter übermittelt, welche auf Basis des Klassifikationsergebnisses KE gegebenenfalls eine Gefahrensituation GS ermittelt.
-
Für den Fall, dass eine Gefahrensituation GS ermittelt wurde, wird diese Nachricht an die Alarmierungseinheit 15 weitergeleitet, welche, wie bereits erwähnt, geeignete Hilfskräfte alarmiert.
-
Das Überwachungssystem 10 umfasst außerdem Einheiten 16, 17, 18 zum Trainieren der in der Klassifizierungseinheit 13 eingesetzten Klassifikatoren K. Eine Trainingsdatenbank 16 stellt im Rahmen eines Trainingsprozesses beispielhafte Videodaten VDB zur Verfügung, zu denen die Klassifikationsergebnisse KER bekannt sind. Die beispielhaften Videodaten VDB werden im Rahmen des Trainingsprozesses an die Konversionseinheit 12 weitergeleitet. Die Konversionseinheit 12 wandelt die beispielhaften Videodaten VDB in beispielhafte Optical-Flow-Daten OFDB um. Die beispielhaften Optical-Flow-Daten OFDB werden anschließend von der Klassifizierungseinheit 13 klassifiziert und das Klassifizierungsergebnis KE wird an eine Vergleichseinheit 17 übermittelt. Die Vergleichseinheit 17 vergleicht das Klassifizierungsergebnis KE mit einem von der Trainingsdatenbank 16 zur Verfügung gestellten Referenz-Klassifizierungsergebnis KER und ermittelt dabei ein Vergleichsergebnis VE. Auf Basis des Vergleichsergebnisses VE führt eine Korrektureinheit 18 eine Korrektur des Klassifikators K durch und übermittelt den geänderten Klassifikator K an die Klassifizierungseinheit 13. Der Trainingsprozess kann nun mit dem neuen Klassifikator K weitergeführt werden und der Vorgang kann zum Beispiel dann abgebrochen werden, wenn das Klassifizierungsergebnis KE von der entsprechenden Referenzgröße KER nur noch um eine vorgegebene Schwellengröße abweicht.
-
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen lediglich um bevorzugte Ausführungsbeispiele der Erfindung handelt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein“ bzw. „eine“ nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit“ nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.
