-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft allgemein das technische Gebiet der Überwachung von öffentlichen und privaten zugänglichen Bereichen. Die vorliegende Erfindung betrifft insbesondere ein Verfahren zum Überwachen von räumlichen Bereichen zum Zwecke einer Erkennung und ggf. einer Beseitigung einer Risikosituation, die von einem Objekt verursacht ist, welches sich in dem überwachten Bereich befindet. Der zugängliche Bereich kann beispielsweise ein öffentlicher Bahnsteig sein. Das Objekt kann beispielsweise ein Gepäckstück sein. Das Gepäckstück kann einen gefährlichen Gegenstand enthalten, beispielsweise eine von einem Terroristen präparierte Bombe. Das Gepäckstück kann jedoch auch ein „gefahrloses Gepäckstück“ sein, welches von seinem Besitzer verloren wurde und von dem Besitzer gesucht wird. Die vorliegende Erfindung betrifft ferner ein System sowie ein Computerprogramm zum Durchführen eines solchen Verfahrens.
-
Hintergrund der Erfindung
-
Um eine gewisse Sicherheit in öffentlich zugänglichen Bereichen wie Bahnsteigen, Passagierbereichen von Flughäfen, öffentlichen Straßen und Plätzen, etc. zu gewährleisten, ist es bekannt, diese Bereiche mittels Videoaufnahmen zu überwachen. Dabei kann der Sicherheitsgewinn unter anderem darauf basieren, dass Subjekte, insbesondere Personen, welche eine Gefahr für die Sicherheit darstellen, Kenntnis oder zumindest eine Vermutung von der Tatsache haben, dass der betreffende Bereich videoüberwacht ist.
-
Videoaufnahmen können auch insbesondere für die Strafverfolgungsbehörden ein wichtiges Hilfsmittel sein, um im Nachhinein Personen zu identifizieren, welche einen Schaden erzeugt oder sogar ein Verbrechen begangen haben. Auch eine ggf. proaktive Gefahrenabwehr (vor dem Eintreten eines Schadens) durch Videoaufnahmen ist zwar grundsätzlich möglich, ist jedoch mit großen Nachteilen verbunden.
-
So ist beispielsweise eine automatische Personenerkennung, bei der Personen in einer Videosequenz mittels bekannter Methoden der Bildverarbeitung identifiziert werden, beispielsweise mittels eines Vergleichs mit Beschreibungen von bekannten (gefährlichen und/oder zur Fahndung ausgeschriebenen) Referenzpersonen, vergleichsweise unaufwändig, sie führt jedoch in der Praxis häufig zu Fehlalarmen. Dies bedeutet, dass eine Person fälschlicherweise als eine Referenzperson erkannt wird. Außerdem hängt die Wirksamkeit einer solchen automatische Personenerkennung von der Qualität und dem Umfang der Datenbasis ab, in der die Referenzpersonen hinterlegt sind.
-
Auf der anderen Seite ist eine proaktive Gefahrenabwehr durch eine „manuelle“ Überwachung von Live- oder aufgenommene Videosequenzen durch ausgewählte „Bedienpersonen“ in der Regel etwas wirksamer. Eine „manuelle“ Überwachung erfordert nämlich nicht zwingend Vergleichssubjekte, vielmehr kann von einer „Bedienpersonen“ auch ein verbotenes oder verdächtiges Verhalten von Subjekten bzw. Personen erkannt werden. Allerdings ist eine „manuelle“ Überwachung sehr aufwändig, insbesondere langsam und teuer. Da entsprechende Beobachtungstätigkeiten außerdem sehr ermüdend sind, hängt die Zuverlässigkeit einer „manuellen“ Überwachung von der Aufmerksamkeit der jeweiligen Bedienperson ab. Es kann daher nicht immer von einer hohen Aufmerksamkeit ausgegangen werden, so dass in der Praxis auch „manuelle“ Überwachungen nur einen sehr begrenzten Sicherheitsgewinn liefern.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Sicherheit in öffentlich und/oder privat zugänglichen räumlichen Bereichen durch eine intelligente, automatisierte und proaktive Gefahrenerkennung zu verbessern.
-
Zusammenfassung der Erfindung
-
Diese Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen der vorliegenden Erfindung sind in den abhängigen Ansprüchen beschrieben.
-
Gemäß einem ersten Aspekt der Erfindung wird beschrieben ein Verfahren zum Erkennen eines Ereignisses in einer Szene eines räumlichen Bereiches. Der räumliche Bereich kann insbesondere ein öffentlich zugänglicher räumlicher Bereich wie beispielsweise ein Bahnsteig sein. Das beschriebene Verfahren weist ein Auswerten einer Videosequenz auf, welche eine zeitliche Abfolge von Bildern der Szene umfasst. Das Auswerten der Videosequenz weist folgende Schritte auf (a) ein Identifizieren von einem gegenständlichen Objekt, welches sich in Ruhe befindet, in zumindest zwei aufeinanderfolgenden Bildern der zeitlichen Abfolge von Bildern; (b) ein Identifizieren, in einer Anzahl von vorherigen Bildern, die zeitlich vor den zumindest zwei aufeinanderfolgenden Bildern erfasst wurden, von zumindest einem menschlichen Subjekt; (c) ein (logisches) Verknüpfen des identifizierten gegenständlichen Objekts mit zumindest einem ausgewählten menschlichen Subjekt, ausgewählt von dem identifizierten zumindest einen menschlichen Subjekt, wobei (c1) das verknüpfte zumindest einen ausgewählte menschliche Subjekt als Besitzer des identifizierten gegenständlichen Objekts angesehen wird und (c2) das identifizierte gegenständliche Objekt als der Besitzgegenstand angesehen wird; (d) ein Erkennen, in nachfolgenden Bildern, die zeitlich nach den zumindest zwei aufeinanderfolgenden Bildern erfasst wurden, dass sich der Besitzer zu einem Trennungszeitpunkt räumlich von dem Besitzgegenstand entfernt hat; (e) ein Bestimmen, in den nachfolgenden Bildern, zumindest einer räumlichen Position des sich entfernten Besitzers; (f) ein Ermitteln einer Zeit-Abstand Charakteristik, welche indikativ ist für zumindest einen Abstand des Besitzers von dem Besitzgegenstand als Funktion der Zeit, wobei jeweils ein Abstand (d) des zumindest einen Abstands (d) jeweils einer der zumindest einen bestimmten räumlichen Position zugeordnet ist; und, sofern der zumindest eine Abstand für eine vorgebebene Mindestzeitspanne seit dem Trennungszeitpunkt größer ist als ein vorgegebener Mindestabstand, (g) ein Ausgeben eines Alarmsignals, welches indikativ ist für das erkannte Ereignis.
-
Dem beschriebenen Verfahren liegt die Erkenntnis zugrunde, dass durch eine „zeitlich rückwärts vorgenommene Bildauswertung“, welche mit der Identifizierung eines sich in Ruhe befindlichen gegenständlichen Objekts beginnt und welche anhand der zuvor aufgenommenen Bildern vorgenommen wird, ein menschliches Subjekt bzw. eine Person erkennt werden kann, welches bzw. welche dann dem gegenständlichen Objekt als Besitzer zugeordnet wird. Alternativ kann auch eine Gruppe von mehreren (zwei oder mehr) menschlichen Subjekten bzw. Personen erkannt werden, wobei in dem beschriebenen Verfahren dann die ganze Gruppe (abstrakt) als der Besitzer des gegenständlichen Objekts angesehen wird. Sofern sich der Besitzer (später) räumlich von dem gegenständlichen Objekt trennt und dabei für eine (vor)bestimmte Mindestzeitspanne einen (vor)bestimmten Mindestabstand überschreitet, dann wird erfindungsgemäß ein Alarmsignal ausgegeben, welches ein (besonderes) in der Szene vorhandenes bzw. in der Szene auftretendes Ereignis anzeigt.
-
Unter dem Begriff „Ereignis“ kann in diesem Dokument jede beliebige (möglicherweise interessante) Situation oder jeder mögliche Situationsverlauf verstanden werden, welche bzw. welcher sich in der Szene abspielt oder abgespielt hat. Interessante Situationen sind insbesondere Situationen, welche im Vergleich zu einem üblichen Verhalten von Personen in der Szene eine gewisse Besonderheit zeigen und welche mit einem beabsichtigen oder nicht beabsichtigen Entfernen des Besitzers von dem Besitzgegenstand zusammenhängen.
- (A) Beabsichtigtes Entfernen:
- Ein beabsichtigtes Entfernen kann beispielsweise damit zusammenhängen, dass es sich bei dem Besitzer um eine kriminelle Person (oder Personengruppe) handelt, welche in einem Gepäckstück versteckt ein gefährliches Material wie beispielsweise eine Bombe in einem öffentlich zugänglichen räumlichen Bereich platziert und sich vor einer Aktivierung des gefährlichen Material von dem Gepäckstück entfernt. Mit dem beschriebenen Verfahren können möglicherweise für die Allgemeinheit gefährliche Besitzgegenstände auf automatische und trotzdem zuverlässige Weise dadurch identifiziert werden können, dass eine Situation erkannt wird, bei der sich ein (vorheriger) Besitzer des Besitzgegenstandes zumindest für eine vorgegebene Zeitspanne und zumindest für einen vorgegebenen Abstand von dem Besitzgegenstand entfernt. Dabei wird davon ausgegangen, dass, falls sich in dem Besitzgegenstand beispielsweise eine Bombe befindet, welche durch einen Zeitauslöser und/oder durch ein Funksignal aktiviert werden kann, der Besitzer sich rechtzeitig vor einer Explosion der Bombe in Sicherheit bringen wird.
-
Das Alarmsignal kann Sicherheitspersonal und/oder staatliche Einsatzkräfte, beispielsweise Polizisten, veranlassen, Maßnahmen zur Gefahrenabwehr und/oder zur Schadensbegrenzung einzuleiten und durchzuführen. In diesem Zusammenhang ist es offensichtlich, dass diese Maßnahmen von der jeweiligen Gefahrensituation und insbesondere von der Art des (öffentlich zugänglichen) Bereiches abhängen sollten. In den allermeisten Fällen dürfte eine Evakuierung des Bereichs veranlasst werden, in welchem sich der möglicherweise gefährliche Besitzgegenstand befindet.
-
(B) Nicht beabsichtigtes Entfernen:
- Ein nicht beabsichtigtes Entfernen des Besitzers kann beispielsweise damit zusammenhängen, dass der Besitzer seinen Besitzgegenstand verloren oder einfach vergessen hat, nachdem er den Besitzgegenstand an einer Position des (öffentlich) zugänglichen räumlichen Bereiches abgestellt hat. In diesem Fall kann das in diesem Dokument beschrieben Verfahren dazu verwendet werden, dem Besitzer ein Auffinden seinen Besitzgegenstandes zu erleichtern. In diesem Fall kann das Alarmsignal eine Information enthalten, wo sich der Besitzgegenstand genau befindet.
-
Unter dem Begriff „Besitzer“ ist in diesem Dokument diejenige Person oder ggf. eine Gruppe von Personen zu verstehen, welche (vor dem Entfernen von dem Besitzgegenstand) die Verfügungsgewalt über den Besitzgegenstand hatte. Der Ausdruck „Besitz“ ist insbesondere nicht mit dem juristischen Begriff „Eigentum“ gleichzusetzen.
-
Im Fall einer Gruppe von Personen, beispielsweise eine Familie oder eine beliebige Gruppe von zusammengehörigen Reisenden (Geschäftsreisende, Mitglieder einer Reisegruppe) ist zwar typischerweise nur eine Person der unmittelbare Besitzer. Eine andere Person der Gruppe kann jedoch zumindest vorrübergehend ebenfalls ein unmittelbarer Besitzer sein, wenn beispielsweise der eigentliche unmittelbare Besitzer kurzfristig nicht auf den Besitzgegenstand aufpassen will, beispielsweise während eines Toilettengangs, oder wenn der eigentliche unmittelbare Besitzer den vorrübergehenden Besitzer bittet, ihm beim Transport des Besitzgegenstandes zu helfen.
-
Das gegenständliche Objekt, welches im Laufe des beschriebenen Verfahrens als der Besitzgegenstand identifiziert wird, kann jede Art von Objekt sein, die von einem menschlichen Subjekt bzw. einer Person, welche im Laufe des beschriebenen Verfahrens als der Besitzer identifiziert wird, besessen werden kann. Das gegenständliche Objekt kann beispielsweise ein Koffer, eine Tasche, eine Box, ein Karton, ein Container, oder ein Fahrzeug wie beispielsweise ein Auto, ein Motorrad oder ein Fahrrad sein. Theoretisch könnte das gegenständliche Objekt auch ein nicht menschliches Wesen wie beispielsweise ein geeignet dressierter Hund, eine Katze oder ein Vogel sein.
-
Bei dem in diesem Dokument beschriebenen Verfahren ist ein erster wesentlicher Zeitpunkt das Identifizieren des ruhenden Objekts. Sobald ein solches ruhendes Objekt in der Videosequenz erkannt worden ist, wird in einem davorliegenden Zeitfenster, in dem sich das Objekt noch in Bewegung befunden haben kann, nach Personen gesucht, welche der Besitzer des Objekts sein könnten. Dann kann im Rahmen einer entsprechenden Verknüpfung von ggf. einer Mehrzahl von Personen diejenige Person oder eine Personengruppe als Besitzer angesehen werden, welche das Objekt zu der Ruheposition gebracht hat.
-
Ein weiterer wesentlicher Zeitpunkt bei dem beschriebenen Verfahren ist der Trennungszeitpunkt, zu dem der Besitzer, welcher das Objekt bzw. den Besitzgegenstand in die Ruheposition gebracht hat, beginnt, sich von dem Besitzgegenstand zu entfernen. Dieser Trennungszeitpunkt wird in diesem Dokument auch als Scheidungszeitpunkt bezeichnet. Sobald dieser Trennungszeitpunkt bestimmt worden ist, kann in nachfolgenden Bildern mittels herkömmlicher Methoden der Bildverarbeitung der Besitzer erkannt und dessen räumliche Positionen können als Funktion der Zeit bestimmt werden. Die jeweiligen Abstände der räumlichen Positionen bestimmen dann die beschriebene Zeit-Abstand Charakteristik. Dabei ist zu beachten, dass die Abstände nicht zwingend die kürzesten Distanzen bzw. die Luftlinie zwischen den jeweiligen räumlichen Positionen und dem abgestellten Besitzgegenstand sein müssen. Der Besitzer kann sich auch entlang einer nicht geradlinigen ggf. vorgegebenen Wegstrecke von dem Besitzgegenstand entfernen. Dies gilt insbesondere dann, wenn die Wegstrecke weg von dem abgestellten Besitzgegenstand entlang eines vorbestimmten Pfades verläuft.
-
Die beschriebene Identifizierung des gegenständlichen Objekts sowie die Identifizierung des zumindest einen menschlichen Subjekts kann mittels bekannter Methoden der Bildverarbeitung erfolgen, beispielsweise einer sog. Video Content Analyse (Video Content Analysis, VCA). Gleiches gilt für die Nachverfolgung derjenigen Person oder Personengruppe, welche als der Besitzer des gegenständlichen Objekts bzw. des Besitzgegenstandes angesehen wird.
-
Es wird darauf hingewiesen, dass mit dem beschriebenen Verfahren ggf. auch zwei oder mehrere ruhende gegenständliche Objekte in der Videosequenz identifiziert werden können. Dies bedeutet, dass beispielsweise bei einer Bombe gleichzeitig die Gefährdungspotentiale von mehreren ggf. zeitlich leicht versetzt abgestellten Objekten bzw. Besitzgegenständen anhand der Auswertung jeweils einer Zeit-Abstand Charakteristik bestimmt werden können.
-
Durch die beschriebene Verknüpfung zwischen (i) dem zumindest einen ausgewählten menschlichen Subjekt bzw. dem Besitzer einerseits und (ii) dem identifizierten gegenständlichen Objekt bzw. dem Besitzgegenstand andererseits und ferner durch die Auswertung der Zeit-Abstand Charakteristik in Bezug auf die beschriebene Mindestzeitspanne und den beschriebenen Mindestabstand kann im Falle einer versteckten Bombe nicht nur eine Gefahrensituation zuverlässig erkannt werden. Es können auch Fehlalarme mit einer hohen Wahrscheinlichkeit vermieden werden, weil nur Besitzer, die sich vergleichsweise schnell und zudem räumlich weit von dem abgestellten Besitzgegenstand weg entfernen, als gefährliche Personen in Frage kommen. Dies bedeutet, dass eine Vielzahl von Verhaltensweisen, bei denen sich der Besitzer von seinem Besitzgegenstand nur für eine kurze Zeit und/oder nur um einen kurzen Abstand wegbewegt, nicht als möglicherweise gefährliche Verhaltensweisen angesehen werden.
-
Gemäß einem Ausführungsbeispiel der Erfindung werden zumindest zwei menschliche Subjekte in der Anzahl von vorherigen Bildern identifiziert. Ferner weist das Verknüpfen des identifizierten gegenständlichen Objekts mit dem zumindest einen ausgewählten menschlichen Subjekt auf (a) ein Bestimmen einer Mehrzahl von ersten Abständen zwischen einem ersten der zumindest zwei menschlichen Subjekte und dem in Ruhe befindlichen gegenständlichen Objekt, wobei jeweils ein erster Abstand einem Bild der Anzahl von vorherigen Bildern zugeordnet ist; (b) ein Bestimmen einer Mehrzahl von zweiten Abständen zwischen einem zweiten der zumindest zwei menschlichen Subjekte und dem in Ruhe befindlichen gegenständlichen Objekt, wobei jeweils ein zweiter Abstand einem Bild der Anzahl von vorherigen Bildern zugeordnet ist; (c) ein Ermitteln eines mittleren ersten Abstands aus der Mehrzahl von ersten Abständen; und (d) ein Ermitteln eines mittleren zweiten Abstands aus der Mehrzahl von zweiten Abständen. Nachfolgend wird dasjenige der zumindest zwei menschlichen Subjekte als das zumindest eine ausgewählte menschliche Subjekt angesehen, welchem der kleinere von den beiden ermittelten mittleren Abstände zugeordnet ist.
-
Die beschriebene Verknüpfung des identifizierten gegenständlichen Objekts mit dem zumindest einen ausgewählten menschlichen Subjekt, welches in den weiteren Verfahrensschritten als der Besitzer angesehen wird, hat den Vorteil, dass auf automatische Weise eine besonders zuverlässige Zuordnung zwischen dem (verdächtigen) gegenständlichen Objekt bzw. Besitzgegenstand und dem Besitzer realisiert werden kann. Dadurch kann insbesondere die Wahrscheinlichkeit von Fehlalarmen deutlich reduziert werden.
-
Das Bestimmen der beiden mittleren Abstände kann durch eine einfache arithmetische Mittelwertbildung erfolgen. Alternativ können auch geometrische Mittelwertbildungen verwendet werden.
-
Es wird darauf hingewiesen, dass das hier beschriebene Verfahren aufweisend ein Ermitteln von mittleren Abständen selbstverständlich auch mit mehr als zwei menschlichen Subjekten durchgeführt werden kann, welche vor dem beschriebenen Verknüpfen als mögliche Besitzer des Besitzgegenstandes in Frage kommen. Sofern eine ausreichende Rechenleistung einer Datenverarbeitungseinrichtung, auf bzw. mit welcher das beschriebene Verfahren ausgeführt wird, zur Verfügung steht, gibt es für die Anzahl von menschlichen Subjekten, welche als mögliche Besitzer in Frage kommen, keine prinzipielle Obergrenze.
-
Bei zwei oder mehreren ausgewählten Subjekten, welche eine Gruppe von (zumindest) zwei ausgewählten menschlichen Subjekten bilden, kann die Auswahl derart erfolgen, dass aus drei oder mehreren in der Anzahl von vorherigen Bildern identifizierten menschlichen Subjekten diejenigen menschlichen Subjekte die ausgewählten menschlichen Subjekten darstellen, welche einen kleineren mittleren Abstand zu dem in Ruhe befindlichen gegenständlichen Objekt aufweisen als diejenigen der in der Anzahl von vorherigen Bildern identifizierten menschlichen Subjekte, welche nicht ausgewählt werden (und später nicht als Besitzer des gegenständlichen Objekts aufgefasst werden).
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung werden bei dem Ermitteln des mittleren ersten Abstands und/oder bei dem Ermitteln des mittleren zweiten Abstands Abstandsinformation in unterschiedlichen Bildern der Szene unterschiedlich gewichtet werden.
-
Durch eine nicht per se gleichmäßige Gewichtung aller Bilder kann die Zuverlässigkeit der Verknüpfung zwischen (i) dem gegenständlichen sich in Ruhe befindlichen Objekt und (ii) dem einzigen menschlichen Subjekt abhängig von dem konkretem Anwendungsfall verbessert werden.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung werden bei dem Ermitteln des mittleren ersten Abstands und/oder bei dem Ermitteln des mittleren zweiten Abstands Abstandsinformationen aus Bildern oder Bildfolgen der Videosequenz, die in Zeitfenstern aufgenommen wurden, in denen sich die betreffenden menschlichen Subjekte schneller bewegen, stärker gewichtet als Abstandsinformationen aus Bildern bzw. Bildfolgen der Videosequenz, welche in Zeitfenstern aufgenommen wurden, in denen sich die betreffenden menschlichen Subjekte langsamer bewegen.
-
Auch eine solche in Bezug auf die Geschwindigkeit der verschiedenen menschlichen Subjekte adaptiv unterschiedliche Gewichtung verschiedener Abstandsinformationen kann dazu beitragen, die Wahrscheinlichkeit für eine falsche Besitzer-Besitzgegenstand Verknüpfung zu reduzieren.
-
Die beschriebene geschwindigkeitsabhängige Gewichtung basiert auf der Überlegung, dass ein wahrer Besitzer bei einer schnellen Bewegung in der Regel zu seinem Besitzgegenstand einen deutlich kleineren Abstand haben wird als andere menschliche Subjekte, welche sich nur zufällig in der Nähe des Besitzgegenstandes befinden. Im Gegensatz dazu ist bei einem langsam bewegten Objekt (z.B. ein Objekt auf einer Rolltreppe) oder bei einem sich in Ruhe befindlichen Objekt (z.B. ein Objekt in einem Wartebereich einer gerade roten Fußgängerampel) die Wahrscheinlichkeit deutlich größer, dass sich nahe des gegenständlichen Objektes neben dem wahren Besitzer auch noch andere menschliche Subjekte befinden.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist, für den Fall, dass eine Gruppe von zumindest zwei ausgewählten menschlichen Subjekten mit dem identifizierten gegenständlichen Objekt verknüpft wird, die ermittelte Zeit-Abstand Charakteristik indikativ für den Abstand zwischen dem identifizierten gegenständlichen Objekt und demjenigen ausgewählten menschlichen Subjekt der Gruppe, welches (ausgewählte menschliche Subjekt) den geringsten Abstand zu dem identifizierten gegenständlichen Objekt aufweist. Ferner wird dieser geringste Abstand als der zumindest eine Abstand (d) für die Frage verwendet, ob der zumindest eine Abstand (d) für eine vorgebebene Mindestzeitspanne (dTs) seit dem Trennungszeitpunkt (Ts) größer ist als ein vorgegebener Mindestabstand (ds).
-
Anschaulich ausgedrückt wird also bei einer Zuordnung von zwei oder mehr Personen (als Besitzer) zu dem identifizierten gegenständlichen Objekt für die Frage, ob ein Alarmsignal ausgegeben wird, der kürzeste Abstand zwischen (i) dem gegenständlichen Objekt und (ii) den verschiedenen ausgewählten menschlichen Subjekten verwendet.
-
Durch die beschriebene Verwendung des kürzesten Abstandes kann in einer Situation, bei der eine Gruppe von ausgewählten menschlichen Subjekten (als der Besitzer) mit dem gegenständlichen Objekt verknüpft ist, ein Fehlalarm dann vermieden werden, wenn sich nur ein ausgewähltes menschliches Subjekt von dem Objekt entfernt und ein anderes ausgewähltes menschliches Subjekt in der Nähe des Objekts verbleibt. Es ist nämlich ziemlich unwahrscheinlich, dass sich im Falle einer Bombe, welche sich in dem gegenständlichen Objekt befindet, nicht alle Personen von dem gegenständlichen Objekt entfernen, welche als Mitglieder der Gruppe von ausgewählten menschlichen Subjekten Kenntnis von der Gefährlichkeit des gegenständlichen Objektes haben.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das Verfahren ferner auf ein Ausgeben zumindest einer Position des Besitzers basierend auf der ermittelten Zeit-Abstand Charakteristik.
-
Die aktuelle Position oder eine Position, an der sich der (flüchtende) Besitzer vor kurzer Zeit befunden hat, kann auf vorteilhafte Weise für eine proaktive Verbrechensbekämpfung genutzt werden. Konkret kann die Kenntnis der zumindest einen Position dafür verwendet werden, um den (vormaligen) Besitzer des (möglicherweise) gefährlichen Besitzgegenstandes durch eine Festnahme, insbesondere von einer Polizeikraft, festzusetzen.
-
Falls es sich bei dem Besitzer um mehrere ausgewählte menschliche Subjekte bzw. eine Personengruppe handeln sollte, dann können mehrere ermittelte Zeit-Abstand Charakteristiken ausgegeben werden. Dabei ist eine ermittelte Zeit-Abstand Charakteristik einem einzigen der ausgewählten menschlichen Subjekte bzw. einer einzigen Person zugeordnet.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung werden eine Mehrzahl von Positionen des Besitzers in Form einer Zeit-Position Charakteristik ausgegeben.
-
Die beschriebene Zeit-Position Charakteristik, welche beispielsweise auf einem Bildschirm, eingezeichnet in eine (Land)Karte der Umgebung, ausgegeben werden kann, stellt in der Regel den Fluchtweg des Besitzers dar. Eine genaue Kenntnis dieses Fluchtweges kann zu einer erfolgreiche Personenfahndung beitragen. Im Falle eines verlorenen Besitzgegenstandes kann die Zeit-Position Charakteristik dazu beitragen, den Besitzer des Besitzgegenstandes ausfindig zu machen.
-
Falls es sich bei dem Besitzer um mehrere ausgewählte menschliche Subjekte handeln sollte, dann können mehrere ermittelte Zeit-Position Charakteristiken ausgegeben werden. Dabei ist jeweils eine ermittelte Zeit-Position Charakteristik einem einzigen der ausgewählten menschlichen Subjekte bzw. einer einzigen Person zugeordnet.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung umfasst das Identifizieren von dem sich in Ruhe befindlichen Objekt eine Objektklassifizierung, bei der (i) mögliche Objekte mit in einer Datenbank hinterlegten Referenzobjekten verglichen werden und (ii) ein mögliches Objekt nur dann als das identifizierte gegenständliche Objekt angesehen wird, wenn es im Rahmen einer vorgegebenen maximalen Objekt-Abweichung einem Referenzobjekt entspricht.
-
Durch die beschriebenen Objektklassifizierung kann vermieden werden, dass Objekte als gegenständliche Objekte bzw. später als Besitzgegenstände identifiziert bzw. angesehen werden, welche nicht geeignet sind, um gefährlich zu sein oder um ein gefährliches, beispielsweise explosives Material zu beinhalten. Die beschriebene Objektklassifizierung kann also dazu beitragen, die Zuverlässigkeit des beschriebenen Verfahrens insbesondere in Bezug auf mögliche Fehlalarme zu verbessern.
-
Objekte, welche von einer Identifizierung ausgeschlossen sein können, sind beispielsweise Vögel oder Katzen.
-
Sowohl die Auswahl bzw. die Beschreibung der Referenzobjekte als auch der beschriebene Vergleich kann mittels Algorithmen durchgeführt werden, welche (mit Methoden der Künstlichen Intelligenz) ein Lernen bzw. ein Einlernen umfassen.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung umfasst das Identifizieren von dem sich in Ruhe befindlichen Objekt eine Objektklassifizierung, bei der mögliche Objekte mit in einer Datenbank hinterlegten Referenzobjekten verglichen werden und ein mögliches Objekt von einer Identifizierung als das gegenständliche Objekt ausgeschlossen wird, wenn es im Rahmen einer vorgegebenen maximalen Objekt-Abweichung einem Referenzobjekt entspricht.
-
Bei der hier beschriebenen Ausschlussprozedur beschreiben die Referenzobjekte also Objekte, von denen aus einem Vorwissen bekannt ist, dass sie keine Gefährdung darstellen können. Garantiert nicht gefährliche Objekte können beispielsweise bestimmte (Hinweis)Schilder sein, die von einer dafür beauftragten Person vorrübergehend aufgestellt werden.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung umfasst das Identifizieren von zumindest einem menschlichen Subjekt eine Subjektklassifizierung, bei der (i) mögliche Subjekte mit in einer Datenbank hinterlegten Referenzsubjekten verglichen werden und (ii) ein mögliches Subjekt nur dann als ein menschliches Subjekt angesehen wird, wenn es im Rahmen einer vorgegebenen maximalen Subjekt-Abweichung (zumindest annähernd) einem Referenzsubjekt entspricht.
-
Durch die beschriebene Subjektklassifizierung kann vermieden werden, dass Bildstrukturen oder bestimmte Objekte in den nachfolgenden Verfahrensschritten als das genannte einzige menschliche Subjekt bzw. später als der Besitzer angesehen werden, welche Bildstrukturen oder Objekte auf keinen Fall ein (gefährlicher) Besitzer sein können. Dies können beispielsweise Vögel oder herumlaufende bzw. herumstreunende Tiere wie Hunde oder Katzen sein.
-
Auch die Subjektklassifizierung kann mittels Algorithmen durchgeführt werden, welche (ggf. mit Methoden der Künstlichen Intelligenz) ein Lernen bzw. ein Einlernen umfassen.
-
Die Datenbank, welche für die hier beschriebene Subjektklassifizierung eingesetzt wird, kann auf demselben oder auf einem anderen Speichermedium hinterlegt bzw. von einem solchen abrufbar sein, auf dem auch die vorstehend beschriebene Datenbank für die Referenzobjekte für die Objektklassifizierung hinterlegt ist.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung umfasst das Identifizieren von zumindest einem menschlichen Subjekt eine Subjektklassifizierung, bei der (i) mögliche Subjekte mit in einer Datenbank hinterlegten Referenzsubjekten verglichen werden und (ii) ein mögliches Subjekt von einer Identifizierung als ein menschliches Subjekt ausgeschlossen wird, wenn es im Rahmen einer vorgegebenen maximalen Subjekt-Abweichung einem Referenzsubjekt entspricht.
-
Bei der hier beschriebenen Ausschlussprozedur beschreiben die Referenzsubjekte also Subjekte, von denen aus einem bestimmten Vorwissen bekannt ist, dass sie keine gefährlichen Personen darstellen können, welche möglicherweise ein Gepäckstück mit einer Bombe in dem räumlichen Bereich platziert haben. Garantiert nicht gefährliche Subjekte bzw. Personen können beispielsweise Arbeiter sein, welche in dem räumlichen Bereich tätig sind und beispielweise bestimmte (Hinweis)Schilder aufstellen und sich später von den aufgestellten Hinweisschildern entfernen.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung hängt die Anzahl der Bilder der Videosequenz von der Größe eines Datenspeichers ab, auf welchem die Videosequenz bereitgestellt wird. Ferner ist die bereitgestellte Videosequenz ein zeitlicher Ausschnitt eines Videos, welches von einer Video-Erfassungseinheit kontinuierlich aufgenommen wird. Dabei werden die in der bereitgestellten Videosequenz enthaltenen Bilder kontinuierlich ausgetauscht indem zeitlich weit zurückliegende Bilder aus der bereitgestellten Videosequenz gelöscht werden und neu aufgenommene Bilder der bereitgestellten Videosequenz hinzugefügt werden.
-
Der beschriebene Austausch von Bildern hat den Vorteil, dass zumindest die ersten Verfahrensschritte des beschriebenen Verfahrens (quasi)kontinuierlich durchgeführt werden können. Somit kann die Szene in einem im Prinzip unendlich langem Zeitraum überwacht werden. Dabei wird das beschriebene Verfahren erst dann vollständig, d.h. mit allen beschriebenen Verfahrensschritten durchgeführt, wenn sich aus der ermittelten Zeit-Abstand Charakteristik ergibt, dass seit dem Trennungszeitpunkt der Abstand zwischen Besitzer und Besitzgegenstand für eine vorgebebene Mindestzeitspanne größer ist als der vorgegebene Mindestabstand.
-
Der beschriebene Datenspeicher kann beispielsweise ein sog. Cache-Speicher sein. Dies hat den Vorteil, dass der mit dem Austausch der Bilder verbundene Datentransfer hin und weg von dem Datenspeicher besonders schnell erfolgen kann.
-
Gemäß einem weiteren Ausführungsbeispiel der Erfindung enthält das Alarmsignal eine Information, welche indikativ ist für zumindest eines aus der Gruppe bestehend aus (a) einem Zeitpunkt, zu dem der Besitzgegenstand seine Ruheposition angenommen hat; (b) dem Trennungszeitpunkt; (c) dem Ort des (ruhenden) Besitzgegenstandes; (d) zumindest eine Raum-Zeit Koordinate des Besitzers nach dem Trennungszeitpunkt; (e)ein Bild des Besitzgegenstandes; und (f) ein Bild des Besitzers. Sämtliche hier beschriebenen Informationen haben den Vorteil, dass für eine erfolgreiche Gefahrenabwehr spezifische und zielgerichtete Maßnahmen ergriffen werden können
-
In diesem Zusammenhang kann ein Zeitpunkt auch eine kleine Zeitspanne sein, die durch die zeitliche Beabstandung zweier zeitlich aufeinanderfolgender aufgenommener Bilder bestimmt ist. Eine solche Zeitspanne kann auch als Zeitauflösung beschrieben werden.
-
Die Information über den Ort des ruhenden Besitzgegenstandes kann verwendet werden, um einen verloren gegangenen Besitzgegenstand wieder zu finden.
-
Eine Raum-Zeit Koordinate kann insbesondere eine Position des Besitzers zu einem bestimmten Zeitpunkt nach dem Trennungszeitpunkt beschreiben.
-
Ein Bild des Besitzgegenstandes kann es Einsatzkräften erleichtern, einen möglicherweise gefährlichen Besitzgegenstand unter einer Vielzahl von anderen Gegenständen bzw. Objekten zu erkennen. Dies kann eine vergleichsweise zügige Unschädlichmachung des möglicherweise gefährlichen Besitzgegenstandes erleichtern.
-
Ein Bild des Besitzers kann es im Falle einer platzierten Bombe Einsatzkräften erleichtern, diesen Besitzer dingfest zu machen und ihn möglicherweise mittels Gewaltmaßnahmen davon abzuhalten, weitere Gefahrensituationen herbeizuführen. Insbesondere kann ein Bild des Besitzers für zielgerichtete Fahndungsmaßnahmen gewinnbringend verwendet werden.
-
Gemäß einem weiteren Aspekt der Erfindung wird beschrieben ein System zum Erkennen einer Gefahrensituation in einer Szene eines räumlichen Bereiches, insbesondere eines öffentlich zugänglichen räumlichen Bereiches. Das beschriebene System weist auf (a) eine Video-Erfassungseinheit zum Aufnehmen einer Videosequenz, welche eine zeitliche Abfolge von Bildern der Szene umfasst; (b) einen Datenspeicher zum Speichern der aufgenommenen Videosequenz; (c) eine Datenverarbeitungseinrichtung, welche kommunikativ mit dem Datenspeicher gekoppelt ist und welche konfiguriert ist, das vorstehend beschrieben Verfahren auszuführen.
-
Auch dem beschriebenen System liegt die Erkenntnis zugrunde, dass möglicherweise gefährliche oder verloren gegangene Besitzgegenstände auf automatische Weise dadurch identifiziert werden können, dass erkannt wird, wenn sich ein (vorheriger) Besitzer des Besitzgegenstandes zumindest für eine vorgegebene Zeitspanne und zumindest für einen vorgegebenen Abstand von dem Besitzgegenstand entfernt.
-
Die Video-Erfassungseinheit kann jedes beliebige Aufnahmesystem sein, welches in der Lage ist, Bildsequenzen bzw. zeitliche Abfolgen von Bildern einer Szene bereitzustellen. Bevorzugt ist die Video-Erfassungseinheit eine optische Kamera. Die Erfindung kann jedoch auch mit anderen Arten von Aufnahmesystemen wie beispielsweise ein Radarsystem, eine Lasersystem zum räumlichen Abtasten der Szene mittels eines oder mehrerer Laserstrahlen (im sichtbaren und/oder infraroten Spektralbereich), eine Wärmebildkamera, etc. sein. Die Videosequenz kann auch aufgenommen und für eine im Prinzip beliebig lange Zeitspanne auf einem Datenspeicher zwischengespeichert werden. Von diesem Datenspeicher kann sie dann zu einem späteren Zeitpunkt dem vorstehend beschriebenen Verfahren bereitgestellt werden.
-
Gemäß einem Ausführungsbeispiel der Erfindung weist das System ferner eine weitere Video-Erfassungseinheit zum Aufnehmen einer weiteren Videosequenz auf, welche weitere Videosequenz eine zeitliche Abfolge von weiteren Bildern einer weiteren Szene des räumlichen Bereiches umfasst. Der Datenspeicher ist konfiguriert auch zum Speichern der aufgenommenen weiteren Videosequenz. Die Datenverarbeitungseinrichtung ist konfiguriert, das vorstehende Verfahren für weitere Szene auszuführen.
-
Anschaulich ausgedrückt wird der räumliche Bereich also nicht nur mit einer Video-Erfassungseinheit sondern mit mehreren Video-Erfassungseinheiten überwacht, welche jeweils unterschiedliche Szenen erfassen. Die Videosequenz und die weitere Videosequenz werden zu einer übergeordneten Videosequenz zusammengefasst, welche dann anstelle der (vorstehend zuerst genannten) Videosequenz für die Durchführung des Verfahrens zur Erkennung eines Ereignisses herangezogen wird.
-
Gemäß einem weiteren Aspekt der Erfindung wird beschrieben ein Computerprogramm zum Erkennen eines Ereignisses in einer Szene eines räumlichen Bereiches, insbesondere in einer Szene in einem öffentlich zugänglichen Bereich. Das Computerprogramm, wenn es von einer Datenverarbeitungseinrichtung ausgeführt wird, ist konfiguriert, das vorstehend beschriebene Verfahren auszuführen.
-
Im Sinne dieses Dokuments ist die Nennung eines solchen Computerprogramms gleichbedeutend mit dem Begriff eines Programm-Elements, eines Computerprogrammprodukts und/oder eines computerlesbaren Mediums, das Anweisungen zum Steuern eines Computersystems enthält, um die Arbeitsweise eines Systems bzw. eines Verfahrens in geeigneter Weise zu koordinieren, um die mit dem erfindungsgemäßen Verfahren verknüpften Wirkungen zu erreichen.
-
Das Computerprogramm kann als computerlesbarer Anweisungscode in jeder geeigneten Programmiersprache wie beispielsweise in JAVA, C++ etc. implementiert sein. Das Computerprogramm kann auf einem computerlesbaren Speichermedium (CD-Rom, DVD, Blue-ray Disk, Wechsellaufwerk, flüchtiger oder nicht-flüchtiger Speicher, eingebauter Speicher/Prozessor etc.) abgespeichert sein. Der Anweisungscode kann einen Computer oder andere programmierbare Geräte derart programmieren, dass die gewünschten Funktionen ausgeführt werden. Ferner kann das Computerprogramm in einem Netzwerk wie beispielsweise dem Internet bereitgestellt werden, von dem es bei Bedarf von einem Nutzer heruntergeladen werden kann.
-
Die Erfindung kann sowohl mittels eines Computerprogramms, d.h. einer Software, als auch mittels einer oder mehrerer spezieller elektronischer Schaltungen, d.h. in Hardware oder in beliebig hybrider Form, d.h. mittels Software-Komponenten und Hardware-Komponenten, realisiert werden.
-
Die in diesem Dokument beschriebene Erfindung kann auch unter Verwendung eines „CLOUD“ Netzes mit entsprechenden virtuellen Speicherplätzen und entsprechender virtuelle Rechenkapazität durchgeführt werden.
-
Es wird darauf hingewiesen, dass Ausführungsformen der Erfindung mit Bezug auf unterschiedliche Erfindungsgegenstände beschrieben wurden. Insbesondere sind einige Ausführungsformen der Erfindung mit Verfahrensansprüchen und andere Ausführungsformen der Erfindung sind mit einem Vorrichtungsanspruch beschrieben. Dem Fachmann wird jedoch bei der Lektüre dieser Anmeldung sofort klar werden, dass, sofern nicht explizit etwas anders angegeben ist, zusätzlich zu einer Kombination von Merkmalen, die zu einem Typ von Erfindungsgegenstand gehören, auch eine beliebige Kombination von Merkmalen möglich ist, die zu unterschiedlichen Typen von Erfindungsgegenständen gehören.
-
Bevor bezugnehmend auf die Zeichnung exemplarische Ausführungsbeispiele der Erfindung beschrieben werden, werden im Weiteren einige technische Überlegungen im Zusammenhang mit der Erfindung dargestellt.
-
Mit dem in diesem Dokument beschriebenen Verfahren kann auf effektive Weise eine Gefahrenabwehr für folgendes beispielhaftes Szenario erreicht werden:
- Ein Terrorist betritt einen öffentlichen Bereich, beispielsweise einen Bahnsteig, auf dem sich viele andere Menschen befinden und beispielsweise auf einen Zug warten oder ankommende Passagiere abholen wollen. Der Terrorist hat ein Gepäckstück bei sich, beispielsweise einen Koffer, in dem sich ein explosives Material befindet, beispielsweise eine Bombe. Bevor die Bombe gezündet wird, entfernt sich der Terrorist von der Bombe, um bei der kommenden Explosion selbst nicht zu Schaden zu kommen. Die Bombe wird also erst dann gezündet, wenn sich der Terrorist für eine bestimmte (Mindest)Zeitspanne und um einen bestimmten (Mindest)Abstand von dem Gepäckstück bzw. der Bombe entfernt hat.
-
Das vorstehend beschriebene Szenario wird von einem System erfasst, welches zumindest eine Video-Erfassungseinheit und eine der zumindest einen Video-Erfassungseinheit nachgeschaltete Datenverarbeitungsvorrichtung mit einem angegliederten Datenspeicher aufweist. In dem Datenspeicher wird zumindest eine Videosequenz mit einer Mehrzahl von Bildern temporär erfasst. Dabei kann die Videosequenz immer wieder „erneuert“ werden. Dies bedeutet, dass veraltete Bilder, die zu einem früheren Zeitpunkt aufgenommen wurden, der länger zurückliegt als eine vorbestimmte „Aufbewahrungszeit“, gelöscht und jüngere Bilder hinzugefügt werden. Falls das System mehrere Video-Erfassungseinheiten aufweist, beispielsweise um eine größere und/oder „verwinkelte“ Szene zu erfassen, wird bevorzugt jeweils eine Unter-Videosequenz von einer der Video-Erfassungseinheiten erfasst. Dabei kann in einer Unter-Videosequenz die Trennung des Besitzers von dem Besitzgegenstand erfasst und in zumindest einer anderen Unter-Videosequenz das räumliche Entfernen des Besitzers ggf. über eine längere Wegstrecke erkannt und die beschriebene Zeit-Abstand Charakteristik innerhalb eines vergleichsweise großen räumlichen Bereiches bestimmt werden.
-
Weitere Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus der folgenden beispielhaften Beschreibung einer derzeit bevorzugten Ausführungsform.
-
Figurenliste
-
- 1 illustriert einleitend zum besseren Verständnis der Erfindung die Video-Erfassung und Video-Auswertung eines Szenarios, bei dem sich ein Besitzer von seinem möglicherweise gefährlichen Besitzgegenstand zu einem Trennungszeitpunkt entfernt.
- 2 illustriert eine Video-Auswertung, bei der nach dem Erkennen eines ruhenden Objekts anhand vor vorher aufgenommenen Bildern zunächst der (bisherige) Besitzer des Objektes identifiziert wird und nach der Trennung des Besitzers von seinem Objekt eine Zeit-Abstand Charakteristik bestimmt wird, welche als Funktion der Zeit den Abstand zwischen dem Besitzer und dem Objekt beschreibt.
- 3 illustriert ein Ausgeben eines Alarmsignals, wenn der Abstand zwischen dem Besitzer und seinem (vorherigen) Besitzgegenstand für eine vorgebebene Mindestzeitspanne seit dem Trennungszeitpunkt größer ist als ein vorgegebener Mindestabstand.
- 4 zeigt in einem Ablaufdiagram die Verfahrensschritte, welche gemäß einer Ausführungsform der Erfindung durchgeführt werden, um eine Gefahrensituation zu erkennen, die von einer in einem verlassenen Gepäckstück befindlichen Bombe verursacht ist.
-
Detaillierte Beschreibung
-
Es wird darauf hingewiesen, dass sich die nachfolgende detaillierte Beschreibung nur auf Ausführungsbeispiele der Erfindung bezieht, bei denen anhand des Bewegungsverhaltens einer Person auf einen möglicherweise gefährlichen (und eine Bombe enthaltenen) Besitzgegenstand geschlossen wird, welcher von einer (kriminellen bzw. terroristischen) Person absichtlich an einer bestimmten Stelle platziert worden ist. Andere Ausführungsformen, bei denen (ein wahrscheinlich) ungefährlicher Besitzgegenstand versehentlich abgestellt wurde und demzufolge einen verlorenen Besitzgegenstand darstellt, werden in der nachstehenden Beschreibung nicht weiter erläutert. Dem Fachmann wird bei einem Studium der nachstehenden Beschreibung jedoch klar sein, dass diese auch für einen (unabsichtlich) verlorenen Besitzgegenstand gilt bzw. für einen solchen angewendet werden kann, um diesen Besitzgegenstand als solchen zu erkennen und geeignete Maßnahmen zum Auffinden des verlorenen Besitzgegenstandes und/oder des Besitzer des verlorenen Besitzgegenstandes zu ergreifen.
-
Ferner umfasst die nachstehende Beschreibung nur Ausführungsbeispiele, bei denen nur ein einziges menschliches Subjekt bzw. eine einzige Person den Besitzer des Besitzgegenstandes darstellt. Bei einer Berücksichtigung der vorstehenden Beschreibung wird ein Fachmann jedoch einfach erkennen, dass das nachstehend beschriebene Verfahren auf für Besitzer angewendet bzw. durchgeführt werden kann, welche mehr als ein menschliches Subjekt bzw. eine Person umfassen.
-
1 illustriert einleitend zum besseren Verständnis der Erfindung die Video-Erfassung und Video-Auswertung eines typischen Szenarios, welches beispielsweise auf einem Bahnsteig auftreten kann.
-
Ein Teilbereich des Bahnsteigs wird von einer als Videokamera 135 ausgebildeten Video-Erfassungseinheit überwacht. Dieser Teilbereich wird in diesem Dokument auch als Szene 100 bezeichnet. Dabei wird eine Videosequenz 130 erfasst, welche eine Vielzahl von Einzelbildern umfasst. Diese Einzelbilder werden in einem Datenspeicher 137 temporär gespeichert. Die Speicherung erfolgt kontinuierlich, d.h. es kommen ständig mit der Zeit t neu erfasste Bilder hinzu. Aufgrund eines begrenzten Speicherplatzes des Datenspeichers 137 werden mit neu hinzugefügten Bildern alte bzw. veraltete Bilder gelöscht. In 1 sind die inzwischen gelöschten alten Bilder mit dem Bezugszeichen 131a versehen. Jüngere (noch) gespeicherte Bilder sind mit dem Bezugszeichen 131b gekennzeichnet.
-
Der Datenspeicher 127 ist bevorzugt ein schneller Speicher, insbesondere ein sog. Cache Speicher. Die (Bild)Datenverarbeitung erfolgt mit einer Datenverarbeitungseinrichtung, welche in 1 mit dem Bezugszeichen 139 versehen ist.
-
In der Videosequenz 130 ist zu erkennen, dass sich ein (menschliches) Subjekt 110 zusammen mit einem (gegenständlichen) Objekt 120 innerhalb der Szene 100 bewegt. Zu einem Zeitpunkt Ts lässt das Subjekt 110 das Objekt 120 stehen. Das Objekt 120 ist dann in Ruhe und das Subjekt 110 entfernt sich von dem Objekt 120. Sofern das Subjekt 110 (versteckt) einen gefährlichen Gegenstand oder ein gefährliches Material, beispielsweise eine Bombe enthält, ist es offensichtlich, dass dieses Szenario eine erhebliche Gefahrensituation für die Allgemeinheit und ein typisches Szenario eines terroristischen Angriffs darstellt.
-
Um diese Gefahrensituation abzuwenden oder zumindest teilweise zu abzumildern, ist es erforderlich, im Falle einer versteckten Bombe diese zu entschärfen oder diese kontrolliert mit mechanischen Abschirmungsmaßnahmen zur Sprengung zu bringen. Selbstverständlich sollte dafür die Umgebung evakuiert werden.
-
Es ist jedoch auch möglich, dass dieses Szenario kein Gefährdungspotential hat weil (a) das Objekt nicht gefährlich ist und/oder (b) sich das Subjekt 110 sich nur sehr kurz und vorrübergehend von dem Objekt 120 trennt. Dies ist beispielsweise der Fall, wenn das Subjekt 110 kurz mit einer anderen Person reden will, die sich nur ein paar Meter entfernt aufhält und das Subjekt 110 es vergisst oder es nicht für notwendig erachtet, bei einer so kurzen Entfernung und/oder für eine so kurze Zeitspanne das Objekt 120 mit sich zu führen. In der Praxis werden solche ungefährlichen Situationen (zum Glück) der Regelfall sein. Daher ist eine automatische Erkennung einer Gefahrensituation nur dann sinnvoll, wenn ungefährlichen Szenarien als solche erkannt werden. Nur dann können nämlich Fehlalarme, welche einen beträchtlichen Aufwand und hohe Kosten nach sich ziehen, zuverlässig vermieden werden.
-
In Übereinstimmung mit der in diesem Dokument beschriebenen Erfindung wird dann, wenn sich das Subjekt 110 für eine gewisse Wartezeit dTw nicht wieder zu dem Objekt 120 hinbewegt hat, nicht gleich ein (Haupt)Alarm ausgelöst. Vielmehr wird dann zu dem entsprechenden Zeitpunkt Tva lediglich ein interner Voralarm ausgelöst. Der Zeitpunkt Tva wird daher als Voralarm Auslösezeitpunkt bezeichnet. Wie im Folgenden beschrieben, wird bei dem hier beschriebenen Verfahren zum Erkennen einer Gefahrensituation das weitere Bewegungsverhalten des sich entfernenden Subjekts 110 genauer ausgewertet. Zudem wird sichergestellt, dass das sich entfernende Subjekt 110 auch tatsächlich der (vorherige) Besitzer des Objekts bzw. Besitzgegenstandes 120 und nicht ein anderes Subjekt bzw. eine andere Person 110 ist, die sich zwischenzeitlich zufällig in der Nähe des abgestellten Objekts 120 befunden hat.
-
2 illustriert eine Video-Auswertung der Szene 100 gemäß einem Ausführungsbeispiel der Erfindung. Hier wird zu einem Zeitpunkt, zu dem innerhalb einer aufgenommenen Videosequenz ein ruhendes (gegenständliches) Objekt identifiziert wird, ein interner Voralarm gesetzt. Daher ist dieser Zeitpunkt auch in 2 mit dem Bezugszeichen Tva gekennzeichnet. Die Tatsache, dass sich das Objekt 120 in Ruhe befindet, wird gemäß dem hier dargestellten Ausführungsbeispiel dadurch festgestellt, dass sich in zumindest zwei und bevorzugt in mehr als zwei Bildern 131b der Videosequenz 130 die Position des Objekts 120 nicht geändert hat.
-
Nach der internen Voralarmierung wird in einer zeitlich rückwärts durchgeführten Auswertung von zuvor aufgenommenen Bildern 131b untersucht, wann sich ein Subjekt, welches der (vorherige) Besitzer 110 des Objekts 120 war, von dem Objekt 120 bzw. seinem vorherigen Besitzgegenstand 120 entfernt hat. Dieser Zeitpunkt wird als Trennungszeitpunkt bezeichnet, der auch in 2 mit dem Bezugszeichen Ts gekennzeichnet ist. Die in „zeitlicher Rückwärtsrichtung“ vorgenommene Bildauswertung ist in 2 mit dem Doppelpfeil 240 angedeutet.
-
Um eine eindeutige und zuverlässig korrekte Verknüpfung zwischen dem Objekt bzw. dem Besitzgegenstand 120 und dem Subjekt bzw. Besitzer 110 zu gewährleisten, werden gemäß dem hier dargestellten Ausführungsbeispiel in nicht näher dargestellter Weise auch noch Bilder 131b ausgewertet, welche vor dem Trennungszeitpunkt Ts aufgenommen wurden. In diesen Bildern 131b wird untersucht, welches von ggf. mehreren Subjekten sich die längste Zeit unmittelbar in der Nähe des Objekts 120 befunden hat. Dieses einzige Subjekt wird dann als der Besitzer 110 des Objekts bzw. des Besitzgegenstandes 120 angesehen.
-
Nach dem Erkennen der Trennung zwischen dem Besitzer 110 und dem Besitzgegenstand 120 zum Trennungszeitpunk Ts wird dann in einer weiteren Bildauswertung von Bildern 131b, die nach dem Trennungszeitpunkt Ts aufgenommen wurden, eine Zeit-Abstand Charakteristik ermittelt. Diese beschreibt erfindungsgemäß den Abstand des Besitzers 110 von dem Besitzgegenstand 120 als Funktion der Zeit t. Ergänzend kann auch die Position des (vorherigen) Besitzers 110 als Funktion der Zeit beschrieben werden. Die Bildauswertung für die Bestimmung der Zeit-Abstand Charakteristik ist in 2 durch eine Bildfolge angedeutet, die mit dem Bezugszeichen 233 gekennzeichnet ist.
-
3 illustriert ein Ausgeben eines Alarmsignals, wenn zuverlässig eine Gefahrensituation erkannt wird. Dafür wird die zuvor bestimmte Zeit-Abstand Charakteristik, welche in 3 in einem Diagramm 350 dargestellt und mit dem Bezugszeichen 352 gekennzeichnet ist, wie nachfolgend beschrieben ausgewertet. In dem Diagramm 350 ist auf der Abszisse die Zeit t und auf der Ordinate der Abstand d zwischen dem (vorherigen) Besitzer und dem Besitzgegenstand aufgetragen.
-
Gemäß dem hier dargestellten Ausführungsbeispiel ist ein Schwellenwert ds vorgegeben, welcher einen vorbestimmten Mindestabstand darstellt. Wie aus 3 ersichtlich, verläuft die Kurve 352 der Zeit-Abstand Charakteristik ab dem Trennungszeitpunkt Ts mit unregelmäßigen Steigungen nach oben. Dies bedeutet, dass sich der Abstand d erhöht. Zu einem Zeitpunkt Td wird der Schwellenabstand ds erreicht bzw. kurz danach überschritten.
-
Um einen Fehlalarm zu vermeiden, wenn sich der Besitzer danach wieder zurück zu seinem Besitzgegenstand bewegt, wird gemäß dem hier dargestellten Ausführungsbeispiel noch eine gewissen Mindestzeit bzw. Mindestzeitspanne dTs abgewartet, innerhalb welche sich der Besitzer nicht wieder näher so zu dem (gefährlichen) Besitzgegenstand bewegt, dass der Schwellenabstand ds unterschritten wird. Ist dies der Fall, d.h. der Besitzer befindet sich ab dem Zeitpunkt Td für die Mindestzeitspanne dTs weiter als der Schwellenabstand ds von dem Besitzgegenstand beabstandet, dann wird (nach dem Ablauf der Mindestzeitspanne dTs) zu dem Zeitpunkt Ta ein Alarmsignal ausgelöst, welches in 3 schematisch mit dem Bezugszeichen 390 illustriert ist.
-
4 zeigt in einem Ablaufdiagram diejenigen Verfahrensschritte, welche gemäß einer Ausführungsform der Erfindung durchgeführt werden, um eine Gefahrensituation zu erkennen. Die Gefahrensituation kann beispielsweise von einer in einem verlassenen Gepäckstück befindlichen Bombe verursacht sein.
-
Das Verfahren wird mit temporär gespeicherten Bildern einer Videosequenz durchgeführt, welche von einer Kamera aufgenommen wird. Die Kamera überwacht eine bestimmte Szene kontinuierlich.
-
In einem Schritt S1 wird in zumindest zwei aufeinanderfolgenden Bildern mit herkömmlichen Methoden der Bildverarbeitung ein potentiell gefährliches gegenständliches Objekt identifiziert, welches sich in beiden Bildern an der gleichen Position befindet. Es wird davon ausgegangen, dass sich dieses Objekt in Ruhe befindet und möglicherweise von einem menschlichen Subjekt abgestellt wurde.
-
In einem nächsten Schritt S2 wird in einer zeitlich rückwärts durchgeführten Auswertung von zuvor aufgenommenen und zwischengespeicherten Bildern ebenfalls mit herkömmlichen Methoden der Bildverarbeitung zumindest ein menschliches Subjekt identifiziert, welches Subjekt sich zumindest zeitweise in der Nähe des Objekts befunden hat. Dieses zumindest eine menschliche Subjekt könnte der Besitzer des möglicherweise gefährlichen Objekts sein.
-
In einem nächsten Schritt S3 wird das identifizierte gegenständliche Objekt mit einem einzigen menschlichen Subjekt von dem identifizierten zumindest einen menschlichen Subjekt verknüpft. Sofern zuvor nur ein menschliches Subjekt identifiziert wurde, ist diese Verknüpfung einfach. Es gibt ja nur zwei miteinander zu verknüpfende Elemente. Falls zuvor zwei oder mehr menschliche Subjekte identifiziert wurden, dann wird dasjenige menschliche Subjekt mit dem ruhenden Objekt verknüpft, welches in der Vergangenheit im zeitlichen Mittel den geringsten räumlichen Abstand zu dem identifizierten gegenständlichen Objekt gehabt hat. Nachfolgend wird das mit dem Objekt verknüpfte Subjekt als der Besitzer und das Objekt als der Besitzgegenstand angesehen.
-
In einem nächsten Schritt S4 wird in nachfolgenden Bildern, die zeitlich nach den zumindest zwei aufeinanderfolgenden Bildern erfasst wurden, erkannt, dass sich der Besitzer zu einem Trennungszeitpunkt räumlich von dem Besitzgegenstand entfernt hat. Auch dies erfolgt mit herkömmlichen Methoden der Bildverarbeitung.
-
In einem nächsten Schritt S5 wird in den zeitlich nachfolgenden Bildern bestimmt, welches jeweils die räumlichen Positionen des sich entfernten Besitzers sind.
-
In einem nächsten Schritt S6 wird aus den zuvor ermittelten räumlichen Positionen eine Zeit-Abstand Charakteristik ermittelt. Diese Zeit-Abstand Charakteristik ist indikativ für den Abstand des Besitzers von dem Besitzgegenstand als Funktion der Zeit.
-
In einem nächsten Schritt Sf1 wird abgefragt, ob seit dem Trennungszeitpunkt der Abstand zwischen dem Besitzer und dem Besitzgegenstand für zumindest für vorgegebene Mindestzeitspanne größer ist als ein vorgegebener Mindestabstand. Ist dies der Fall, dann wird in einem letzten Schritt S7 ein Alarmsignal ausgebeben. Dieses Alarmsignal ist dann mit einer sehr geringen Fehlerwahrscheinlichkeit indikativ für eine tatsächliche Gefahrensituation.
-
Fall die Abfrage in Schritt Sf1 mit „Nein“ beantwortet wird, dann wird in einem weiteren Schritt Sf2 abgefragt, ob das Objekt in der Zwischenzeit von dem Besitzer bewegt wurde oder ob es aktuell von diesem bewegt wird. Ist dies der Fall, d.h. die Abfrage in Schritt Sf2 wird mit „Ja“ beantwortet, dann beginnt das Verfahren erneut mit dem vorstehend beschriebenen Schritt S1, in dem nach einem ruhenden Objekt „Ausschau gehalten wird“. Dabei kann das gerade untersuchte Objekt erneut als ein ruhendes Objekt identifiziert werden. Falls der Schritt Sf2 mit „Nein“ beantwortet wurde, dann wird als nächstes mit den vorstehend beschriebenen Schritt S4 „untersucht“ ob es in der Zwischenzeit wieder eine Trennung zwischen Besitzer und Besitzgegenstand gegeben hat und das Verfahren wird wie vorstehend beschrieben mit dem Schritt S5 fortgesetzt.
-
Es wird angemerkt, dass der Begriff „aufweisen“ nicht andere Elemente ausschließt und dass das „ein“ nicht eine Mehrzahl ausschließt. Auch können Elemente, die in Zusammenhang mit unterschiedlichen Ausführungsbeispielen beschrieben sind, kombiniert werden. Es sollte auch angemerkt werden, dass Bezugszeichen in den Ansprüchen nicht als den Schutzbereich der Ansprüche beschränkend ausgelegt werden sollen.
-
Bezugszeichenliste
-
- 100
- Szene
- 110
- menschliches Subjekt / Besitzer
- 120
- gegenständliches Objekt / Besitzgegenstand
- 130
- Videosequenz
- 131a
- gelöschte Bilder
- 131b
- temporär gespeichert Bilder
- 135
- Video-Erfassungseinheit / Videokamera
- 137
- Datenspeicher
- 139
- Datenverarbeitungseinrichtung
- t
- Zeit
- Ts
- Trennungszeitpunkt
- dTw
- Wartezeit
- Tva
- Voralarm Auslösezeitpunkt
- 233
- Bildfolge zur Ermittlung der Zeit-Abstand Charakteristik
- 240
- Bildauswertung in zeitlicher Rückwärtsrichtung
- 350
- Diagramm
- 352
- Zeit-Abstand Charakteristik
- 390
- Alarm
- d
- Abstand Besitzer von Besitzgegenstand
- ds
- Schwellenwert für Abstand d
- Td
- Zeitpunkt des Überschreitens des Schwellenabstandes ds
- Ta
- Alarmzeitpunkt
- dTs
- Mindestzeitspanne