DE102010053678A1

DE102010053678A1 - Method for automatic identification of e.g. baggage in video surveillance system used in airport, involves notifying operator to identify stray object via short message service or electronic-mail including video image of object

Info

Publication number: DE102010053678A1
Application number: DE201010053678
Authority: DE
Inventors: wird später genannt werden Erfinder
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-12-07
Filing date: 2010-12-07
Publication date: 2012-06-14

Abstract

The method involves notifying an operator to identify a stray object via a short message service (SMS) or electronic-mail (e-mail) including a video image of the stray object. The recordings from all closed circuit TV (CCTV) cameras of video surveillance system are synchronized and analyzed to determine path of the stray object in monitoring area of the video surveillance system.

Description

Die vorliegende Erfindung betrifft ein spezielles Verfahren zum automatischen Auffinden von herrenlosen Gegenständen durch eine digitale Echtzeit Analyse der ständig produzierten Videobilder von CCTV Systemen mittels existierender Bilderkennungstechnologien. Die Erfindung ermöglicht zudem die automatische Rückverfolgung des als herrenlos identifizierten Gegenstands durch die umgehende Auswertung des gesamten Bildmaterials aller Kameras des jeweiligen Überwachungsareals.The present invention relates to a special method for the automatic retrieval of stray objects by a digital real-time analysis of the continuously produced video images of CCTV systems by means of existing image recognition technologies. In addition, the invention makes it possible to automatically trace back the item identified as a masterless item by the immediate evaluation of the entire picture material of all cameras of the respective surveillance area.

Herrenlose Gepäckstücke an Flughäfen, Bahnhöfen und anderen Orten mit hohem Publikumsverkehr stellen in Zeiten globaler Bedrohung durch Terrorismus ein Sicherheitsrisiko dar, das weltweit mit höchster Priorität Beachtung findet.Baggage deprived of luggage at airports, train stations and other high traffic locations poses a security risk in times of global terrorist threat, which is a top priority worldwide.

Bis heute sind die Sicherheitsverantwortlichen an diesen Orten in erster Linie auf Informationen von Passagieren oder Passanten angewiesen, die oft über entsprechende Lautsprecheransagen um Mithilfe gebeten werden. In akuten Bedrohungssituationen wird versucht, das Auffinden von herrenlosen Gegenständen durch massiven Einsatz von Sicherheitspersonal zu unterstützen.To this day, the security officers in these places rely primarily on information from passengers or passers-by, who are often asked for assistance via appropriate loudspeaker announcements. In acute threats, an attempt is made to assist the discovery of abandoned property through the massive deployment of security personnel.

Die meisten gefährdeten Areale mit hohem Publikumsverkehr werden derzeit 24 Std. mit einer Vielzahl von Videokameras überwacht. Die Videoüberwachung dient dabei in erster Linie der Abschreckung und ggfs. auch der Aufklärung „nach der Tat”, da ein laufendes persönliches Monitoring des umfangreichen Videomaterials aus allen Kameras in der Realität nicht möglich ist.Most high-risk, high-traffic areas are currently monitored 24 hours a day by a variety of video cameras. The video surveillance serves primarily the deterrence and, if necessary, the enlightenment "after the fact", as a continuous personal monitoring of the extensive video material from all cameras in reality is not possible.

Ein technisches Verfahren, das herrenlose Gegenstände zuverlässig durch ein automatisches Monitoring und Analyse von Überwachungsvideos identifizieren kann, könnte Gefährdungen demnach konkret verhindern und dadurch die Sicherheit an den betroffenen Orten erheblich erhöhen.A technical procedure that reliably identifies abandoned objects by means of automatic monitoring and analysis of surveillance videos could thus concretely prevent hazards and thereby considerably increase the security at the sites concerned.

Aus dem Stand der Technik sind derzeit keine Verfahren, Systeme oder Technologien bekannt, die vergleichbare Resultate erzielen können.At present, no methods, systems or technologies are known from the prior art which can achieve comparable results.

Die derzeitige Alleinstellung des erfindungsgemäßen Verfahrens wird verdeutlicht durch die Tatsache, dass die EU Kommission seit Januar 2009 das Forschungs- und Entwicklungsprojekt SUBITO mit einem Konsortium von Unternehmen aus sechs europäischen Ländern finanziert und betreibt, dessen Zielvorgabe „Surveillance of Unattended Baggage and the Identification and Tracking of the Owner via CCTV” (Die Überwachung von herrenlosem Gepäck und die Identifikation und die Rückverfolgung des Eigentümers über CCTV) ist. Diese Zielsetzung ist mit den durch den Einsatz des erfindungsgemäßen Verfahrens erzielbaren Resultaten fast identisch, was offensichtlich dafür spricht, dass zur Zeit noch keine technische Lösung für diese Problemstellung existiert. Das SUBITO Projekt befindet sich noch in der Entwicklungsphase, wobei der Entwicklungsansatz des SUBITO Projektes („Zuordnung von Gepäckstücken zu bestimmten Personen und deren Entfernung von diesen Gepäckstücken”) mit dem erfindungsgemäßen Verfahren (siehe unten) überhaupt nicht vergleichbar ist.The current unique position of the method according to the invention is illustrated by the fact that since January 2009 the EU Commission has been financing and operating the SUBITO research and development project with a consortium of companies from six European countries, whose objective is "Surveillance of Unattended Baggage and the Identification and Tracking of the Owner via CCTV "(The surveillance of abandoned luggage and the identification and traceability of the owner via CCTV). This objective is almost identical to the achievable by the use of the method results, which obviously speaks for the fact that at present there is no technical solution to this problem. The SUBITO project is still in the development phase, whereby the development approach of the SUBITO project ("Assignment of luggage to certain persons and their removal from these items of luggage") is not at all comparable with the method according to the invention (see below).

Die ErfindungThe invention

Die vorliegende Erfindung ist ein Verfahren zur Anwendung verschiedener bereits existierender Software Technologien zur Bilderkennung, wie zum Beispiel die in dem Dokument DE 19652925 dargestellte Technologie zur Merkmalserfassung aus einem Bild.The present invention is a method of using various existing software image recognition technologies, such as those in the document DE 19652925 illustrated technology for feature detection from an image.

Erfindungsgemäß ist vorgesehen, das live Videobildmaterial aus einer Vielzahl von Überwachungskameras fortlaufend zu filtern und zu analysieren, um herrenlose Gegenstände zu identifizieren, die länger als einen vorbestimmbaren Zeitraum unauthorisiert innerhalb des Überwachungsareals abgestellt wurden.According to the invention, the live video image material from a plurality of surveillance cameras is continuously filtered and analyzed in order to identify abandoned objects which have been parked unauthorized within the surveillance area for a predeterminable period of time.

Zu identifizierende „Gegenstände” im Sinne dieser Erfindung beschränken sich dabei nicht auf Gepäckstücke, sondern umfassen grundsätzlich alle beweglichen Gegenstände jeglicher Größe, die vorübergehend abgestellt werden können, wie unter anderem Handtaschen, Pakete, Einkaufswägen, Kanister, Tonnen, aber auch Motorräder, Automobile und LKW, die z. B. unerlaubt in Sicherheitszonen abgestellt wurden.Identifying "objects" in the context of this invention are not limited to luggage, but basically include all moving objects of any size that can be temporarily parked, such as handbags, packages, shopping trolleys, canisters, tons, but also motorcycles, automobiles and Truck, the z. B. were turned off in security zones without permission.

Erfindungsgemäß ist zusätzlich vorgesehen, die Herkunft des als herrenlos identifizierten Gegenstands innerhalb des Überwachungsareals durch eine automatische Auswertung des Videomaterials aller betroffenen CCTV Kameras zum Ausgangspunkt zurückzuverfolgen und dabei auch die Person(en) kenntlich zu machen, die den Gegenstand an den Identifikationsstandort gebracht haben.According to the invention, it is additionally provided to trace back the origin of the item identified as abandoned within the surveillance area by an automatic evaluation of the video material of all CCTV cameras concerned to the starting point and also to identify the person (s) who brought the item to the identification location.

Die erfindungsgemäße Identifizierung eines herrenlosen GegenstandesThe inventive identification of a stray object

Die Identifikation eines herrenlosen Gegenstandes durch das erfindungsgemäße Verfahren erfolgt grundsätzlich in drei Schritten:The identification of an ownerless object by the method according to the invention basically takes place in three steps:

1. Identifizierung „authorisierter stationärer Gegenstände”1. Identification of "authorized stationary objects"

Das erfindungsgemäße System liest in vorbestimmbaren Intervallen (z. B. jeden Margen) aus den Standbildern aller Überwachungskameras eines bestimmten Areals alle „authorisierten stationären Gegenstände” in die Bilderkennungssoftware ein.The system according to the invention reads from the still images of all surveillance cameras at predeterminable intervals (eg every margin) certain areas all "authorized stationary objects" in the image recognition software.

Als „authorisiert” gelten Gegenstände dann, wenn sie entweder permanent in den betroffenen Arealen installiert sind (z. B. Info-Stände), oder wenn sie von dem Operator des Überwachungssystems als authorisiert bestätigt wurden, obwohl sie nicht fest installiert sind, sondern gelegentlich sogar bewegt werden (z. B. Mülltonnen).Objects are considered to be "authorized" if they are either permanently installed in the affected areas (eg information stands) or if they have been confirmed as authorized by the operator of the surveillance system, even though they are not permanently installed but occasionally even be moved (eg garbage cans).

2. Identifizierung von „unauthorisierten stationären Gegenständen”2. Identification of "unauthorized stationary objects"

Das erfindungsgemäße Verfahren identifiziert „unauthorsierte stationäre Gegenstände” via Bilderkennungssoftware fortlaufend durch einen ständigen Abgleich des live Video Materials aus allen CCTV Kameras des Überwachungsareals mit den jeweils vorab eingelesenen „authorisierten Gegenständen”.The inventive method continuously identifies "unauthorized stationary objects" via image recognition software by means of a constant comparison of the live video material from all CCTV cameras of the surveillance area with the "authorized objects" read in advance in each case.

3. Identifizierung als „herrenlose stationäre Gegenstände”3. Identification as "abandoned stationary objects"

Jeder „unauthorisierte stationäre Gegenstand” wird von der erfindungsgemäßen System dann als „herrenlos” identifiziert, wenn er länger als einen vorbestimmbaren Zeitraum nicht bewegt wurde.Each "unauthorized stationary object" is then identified by the system of the invention as "abandoned" if it has not been moved for more than a predeterminable period of time.

Der vorbestimmbare Zeitraum kann für jeden Bereich innerhalb des Überwachungsareals unterschiedlich eingegeben werden.The predeterminable time period may be entered differently for each area within the surveillance area.

Beispiele: 10 Minuten in der Eingangshalle eines Bahnhofs, in der Gepäckstücke von Passagieren normalerweise nicht lange abgestellt werden. 30 Minuten auf einem Bahnsteig, wo Passagiere mit Gepäck häufig länger auf einen Zug warten.Examples: 10 minutes in the entrance hall of a train station, where passengers' luggage is not normally parked long. 30 minutes on a platform where passengers with luggage often wait longer for a train.

Das erfindungsgemäße System kann mit dem identischen Verfahren auch Automobile, LKWs oder Motorräder als „herrenlos” und damit als potentiell bedrohlich identifizieren, wenn z. B. diese Fahrzeuge länger als einen vorbestimmbaren Zeitraum in der Halteverbotszone eines Sicherheitsbereiches abgestellt wurden.The inventive system can identify with the identical method also automobiles, trucks or motorcycles as "abandoned" and thus as potentially threatening if z. B. these vehicles have been parked for longer than a predeterminable period in the no-stop zone of a security area.

Die automatische Alarmierung des SicherheitspersonalsThe automatic alerting of security personnel

Erfindungsgemäß ist zusätzlich vorgesehen, dass das System umgehend den zuständigen Sicherheitsoperator über sms, email oder andere optionale digitale Alarm Systeme alarmiert, sobald ein Gegenstand als „herrenlos”, wie oben dargestellt, identifiziert wurde.According to the invention, it is additionally provided that the system immediately alerts the responsible security operator via sms, email or other optional digital alarm systems as soon as an item has been identified as "ownerless", as shown above.

Das erfindungsgemäß integrierte Alarmsystem liefert detaillierte Informationen bez. des Ortes des betroffenen Gegenstandes, bez. der Zeit seitdem der Gegenstand letztmalig von einer Person bewegt wurde und ein live Videobild des Gegenstands.The inventively integrated alarm system provides detailed information bez. the place of the object concerned, ref. the time since the item was last moved by a person and a live video image of the item.

Mit diesen Informationen kann der System Operator sofort entscheiden, ob der identifizierte Gegenstand eine potentielle Bedrohung darstellt oder nicht (z. B. Passagier schläft neben seinem Gepäckstück).With this information, the system operator can immediately decide whether or not the identified item poses a potential threat (eg, passenger is sleeping next to his baggage).

Hält er die Situation für harmlos, kann er dies durch das Anklicken des OK Buttons auf seinem PC oder mobilen Gerät bestätigen. Hält er die Situation für potentiell gefährlich dann klickt er auf den „ReTrack” Button.If he considers the situation to be harmless, he can confirm this by clicking on the OK button on his PC or mobile device. If he considers the situation potentially dangerous then he clicks on the "ReTrack" button.

Das „ReTrack” SystemThe "ReTrack" system

Sobald der „ReTrack” Button angeklickt wurde, synchronisiert und analysiert das erfindungsgemäß integrierte „ReTrack” System alle Video Aufnahmen aus allen CCTV Kameras des Überwachungsbereiches, die den herrenlosen Gegenstand auf seinem Weg durch das gesamte Areal erfasst haben. Dadurch lässt sich der Weg des Gegenstands durch das Überwachungsgebiet zurück verfolgen.As soon as the "ReTrack" button has been clicked on, the inventively integrated "ReTrack" system synchronises and analyzes all video recordings from all CCTV cameras in the surveillance area, which have recorded the abandoned object on its way through the entire area. This allows the path of the object to be traced back through the surveillance area.

Das voraussichtlich in nur wenigen Sekunden zusammengestellte Videomaterial zeigt demnach auch die Person(-en) die den herrenlosen Gegenstand an den Auffindungsort gebracht haben.The compiled in only a few seconds video material therefore shows the person (s) who have brought the abandoned object to the locator.

Zusammenfassung:Summary:

Als Ergebnis, ermöglicht die erfindungsgemäße Kombination aus automatischer Identifizierung von herrenlosen Gegenständen, Alarmierung und Zurückverfolgung der betroffenen Gegenstände via CCTV eine kosteneffiziente erhebliche Verbesserung der präventiven öffentlichen Sicherheit in Flughäfen, Bahnhöfen, Touristenzielen, bei Großveranstaltungen und anderen Orten mit hohem Publikumsverkehr oder hohem Gefährdungspotential.As a result, the inventive combination of automatic identification of stray items, alerting and traceability of affected items via CCTV allows a cost-effective substantial improvement of preventive public safety in airports, train stations, tourist destinations, major events and other high traffic locations or high risk potential.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 19652925 [0008]

Claims

Method for the automatic identification of abandoned objects via video surveillance systems (Closed Circuit Television / CCTV).

The method of claim 1 supplemented by alerting / alerting the system operator after identification of an item as ownerlessly by the system via sms, email or other digital media, wherein detailed information regarding the location of the subject item concerned with respect to the time since the item was last accessed has been moved by a person and a live video image of the subject is integrated into the message.

Method according to claims 1 and 2 supplemented in that a "ReTrack" system synchronises and analyzes all video recordings from all CCTV cameras of the surveillance area which have detected the abandoned object on its way through the entire area and thereby the way of the object traced back through the surveillance area and at the same time shows the persons associated with the object.