EP1441316B1 - Überwachungsvorrichtung - Google Patents

Überwachungsvorrichtung Download PDF

Info

Publication number
EP1441316B1
EP1441316B1 EP03025893.3A EP03025893A EP1441316B1 EP 1441316 B1 EP1441316 B1 EP 1441316B1 EP 03025893 A EP03025893 A EP 03025893A EP 1441316 B1 EP1441316 B1 EP 1441316B1
Authority
EP
European Patent Office
Prior art keywords
sensor
motion
imaging sensor
objects
process according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP03025893.3A
Other languages
English (en)
French (fr)
Other versions
EP1441316A2 (de
EP1441316A3 (de
Inventor
Holger Dr. Vogel
Klaus Voelker
Gerhard Richter
Peter Dr. Klausmann
Claus Wetzel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hensoldt Optronics GmbH
Original Assignee
Carl Zeiss Optronics GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Optronics GmbH filed Critical Carl Zeiss Optronics GmbH
Publication of EP1441316A2 publication Critical patent/EP1441316A2/de
Publication of EP1441316A3 publication Critical patent/EP1441316A3/de
Application granted granted Critical
Publication of EP1441316B1 publication Critical patent/EP1441316B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]

Definitions

  • the invention relates to a monitoring device with at least one imaging sensor for transmitting image data.
  • the invention likewise relates to a method for monitoring areas / areas with a monitoring device having at least one imaging sensor.
  • the sensors deliver data streams, which are digitized, and the resulting digitized image data are made available for evaluation by digital computers.
  • Application examples can be found in the measurement of objects, in the quality inspection based on model comparisons, in access control using facial, fingerprint or iris recognition, in motion detection for object protection and, of course, in traffic monitoring.
  • the information contained in image sequences is used for object tracking for a wide variety of applications, such as outdoor exposure monitoring or crash test evaluations.
  • video sensor In each case, individual information corresponding to a specific measurement task, for example the dimensional accuracy or color of an object, is extracted from the video image data. This fact is reflected in the fact that the configuration of imaging sensor and computer (including the specific evaluation software) is referred to as "video sensor".
  • a monitoring device with a camera wherein the camera is held on a profiled rail movable.
  • the camera may include a transmitter for wirelessly transmitting image data.
  • the camera is attached to a base body which is movably mounted along the profiled rail.
  • rollers On the main body are rollers, which have a drive, so that the camera can be moved in both directions along the rail.
  • a number of conductor tracks may be provided on a suitable outer surface of the profiled rail. It would also be possible to transmit control image data wirelessly.
  • this monitoring device is very expensive, since the camera must be attached to a base body and this in turn on a profiled rail in order to move the camera in monitoring tasks can. Furthermore, an evaluation of the image data streams is not possible here.
  • a method for operating a remotely controllable camera wherein remote control data from a remote control device and image data from the camera to an image display device are transmitted, and wherein the remote control and image data are transmitted via a computer network.
  • the camera can be swiveled remotely.
  • the transmitted from the camera frames are merged in the image display device as a video sequence.
  • a video server receives image data via a video card, wherein individual frames are formed in the video server from the image data are generated, which are compressed in a compression device using a suitable algorithm.
  • the so compressed images are stored in a working memory of the video server.
  • the compressed images are prepared for transmission, transmitted as a serial data stream to a network interface, which then transmit this data stream via the computer network to the remote control device and finally to the image display device.
  • a contour signal of a moving object is separated from static background video picture signals.
  • the video signal recorded by a TV camera is converted into a binary contour signal.
  • a converted signal obtained at a certain time and another converted signal obtained at a different time are processed to extract a contour signal of the moving object.
  • the extracted contour signal of the moving object is supplied to a circuit which controls panning and / or tilting of the TV camera.
  • Thiel G ED - Sanson LD "Automatic CCTV surveillance - to-wards the VIRTUAL GUARD", SECURITY TECHNOLOGY, 1999. PROCEEDINGS. IEEE 33RD ANNUAL 1999 INTERNATIONAL CONFERENCE ON MADRID, SPAIN 5-7 OCT., 1999, PISCATAWAY, NJ, USA, IEEE, US, October 5, 1999 (1999-10-05), pages 42-48 , XP010355720, DOI: 10.1109 / CCST.1999.797890, ISBN: 978-0-7803-5247-6 describes VIRTUAL GUARD, which is a general-purpose computer-based CCTV surveillance system for detecting potential criminal activity in public areas.
  • the monitoring device is a device which has at least one imaging sensor, wherein the sensor for monitoring objects which move within the image section, is advantageously designed pivotable about at least one axis.
  • a surveillance area can be constantly guarded and, for objects moving within that area, motion detected and the object tracked while the sensor is tilted.
  • This device enables a global situation analysis by a novel combination of image analysis and algorithms based on video sensors, even with a pivotable imaging sensor.
  • the monitoring device can replace a plurality of stationary sensors, wherein costs and monitoring effort can be minimized.
  • even in confused areas or areas virtually every area or angle of the area to be recorded can be accommodated.
  • the objects are classified, wherein upon detection of the movement of the object, an alarm occurs.
  • FIG. 1 describes a monitoring device 1 which is formed from an imaging sensor 2, for example a camera or a thermal imaging device, and a software-parameterized recognition and control unit 1 '.
  • the software-parameterized recognition and control unit 1 ' is in turn formed from a digitizer 3 and an evaluation device 4.
  • the digitization can also already take place in the sensor 2.
  • the imaging sensor 2 can be directed by means of a pan-tilt head on to be detected areas.
  • the two images are referenced to each other because of the sensor's own movement, so that they overlap directly.
  • the two images can be determined by means of a fast discrete Fourier transform transformed into a frequency domain.
  • the convolution operations required in the correlation can be replaced by multiplications.
  • the result of the convolution in the frequency domain is then converted back into the time domain by means of an inverse, fast discrete Fourier transform.
  • the shift between the two images, which brings the two original images into coincidence is detected by means of a maximum operator. Thereafter, moving objects in the images can be detected by means of a differential image approach.
  • a special feature of the method according to the invention is that the extent of the sensor pivot can be determined automatically, so that disturbances caused by rapid sensor pivoting can be suppressed.
  • the essential thing, however, is to identify the objects despite movement, to determine their expansions as well as the geometrical and spatial relations, in particular also during the sensor pivot, and to record their dynamics.
  • the method according to the invention it would be possible to automatically evaluate video data streams which, from pivotable sensors 2 mounted on vehicles, make it possible to judge a Situation in the area of border surveillance.
  • the sensor 2 can sweep continuously by means of a pivoting area to be monitored. As soon as unauthorized border crossings are detected at one point, for example, the pivoting can be interrupted and an alarm triggered. Furthermore, in this case, the sensor 2 can automatically zoom in on the area of interest and automatically follow the detected object further. In this embodiment, therefore, the sensor 2 may be provided with a zoom lens, but this is not a prerequisite for this process.
  • the monitoring device 1 according to the invention and the method can likewise be used for assessing dangerous situations in parking garages or even in public places by analyzing the situation from image sequences.
  • the sensor 2 used here is designed as a pivoting sensor 2 for traversing a defined area to be monitored on objects such as vehicles, aircraft, ships or the like, but may also be designed as a stationary sensor 2 for movement detection.
  • the pivoting of the sensor 2 is possible in the vertical and horizontal directions as well as superimposed, wherein the sensor 2 can be arranged continuously rotatable by 360 °.
  • FIG. 2 a flowchart of the procedure is shown.
  • the pivotable imaging sensor 2 scans the scene with spatially and temporally high density.
  • the detection of objects takes place in several steps.
  • the proper motion of the sensor 2 pan-tilt movement, sensor wobble, self-motion of the sensor platform
  • the information obtained from this can be used to determine local inhomogeneities in the movement pattern and to separate or distinguish the proper motion of the sensor 2 from an actual object movement.
  • displacement vectors can be used be determined by two consecutive images.
  • the displacement vectors indicate the movement of the sensor 2 with respect to the image background.
  • the different movement patterns are interpreted as objects.
  • the method according to the invention is also characterized in a very special way in that the calculation of the displacement vectors can be enabled in real time without the use of special computer components. As a result, the probability that erroneous displacement vectors lead to inaccurate evaluation results can be minimized by calculating only displacement vectors at high-contrast points or points in the image sensing section of the sensor 2.
  • the objects thus detected can then be examined individually in a further evaluation.
  • the associated characteristics such as the form, shape, length and speed of the movement, can be determined and classified.
  • An optional temporal filter component can calculate predictions for the object positions to be expected from the object positions already known from the history.
  • the object management can create a "track", ie the path traveled by the object in the image.
  • the object manager can enter all the object measured variables as well as, if appropriate, the results of the temporal filter component into the track each time. Due to the trace data, the values determined hitherto can now be estimated in the dynamics measurement. These can then optionally be subjected to a further temporal filtering in order to achieve a prediction.
  • FIG. 3 represents the in FIG. 1 shown monitoring device very schematically when used for object tracking.
  • moving objects can be recorded by the sensor 2, monitored and tracked.
  • the first solution would be to stop panning, if necessary, to start object tracking with automatic sensor tracking to keep the detected object in the frame. If required, the distance of the detected and traced object to the receiving point of the sensor 2 can also be determined by means of an integrated laser distance measuring device.
  • a second possibility would be to end the pivoting operation if necessary, to maintain the sensor viewing direction constant and to leave the operator the further actions, possible follow-up or alerting.
  • the monitoring device 1 can be used in various wavelength ranges such as, for example, near-infrared, infrared 3 to 5 ⁇ m, infrared 8 to 12 ⁇ m, UV or also in the visual range.
  • the implementation of the method can be carried out on known PC systems or on DSP systems, under various operating systems (LINUX, MS-Windows, real-time operating systems). be made. For realizations on DSP systems one is better adaptable for special applications. In addition, these systems can be used under special environmental conditions, such as temperature range or vibration.
  • the monitoring device 1 according to the invention as well as the method according to the invention make it possible to automatically detect and track objects moving in the scene even when the imaging sensor 2 is pivoting.
  • the overall system thus represents a monitoring device 1 whose imaging sensor 2 or, if appropriate, also several imaging sensors continuously scan a target area in a search mode or are moved by mounting on a mobile platform itself. In the target area or in the detection range of the sensor 2, moving objects can be automatically detected and used to track the pan and tilt head.
  • the peculiarity of this method is that on scene-specific prior knowledge, such as sensor calibration on a scene level, specification of object types, such as vehicles or the like, which are already known from the prior art and must be used there necessary, is dispensed with what a broad operational capability guaranteed in a variety of situations. In addition, this ensures an easy to implement and fast operational readiness even in changing locations.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

  • Die Erfindung betrifft eine Überwachungsvorrichtung mit wenigstens einem bildgebenden Sensor zur Übertragung von Bilddaten.
  • Ebenfalls betrifft die Erfindung ein Verfahren zur Überwachung von Gebieten/Bereichen mit einer Überwachungseinrichtung mit wenigstens einem bildgebenden Sensor.
  • In den vergangenen Jahren ist die Entwicklung der Sensorik wie auch die automatische Auswertung von Bildern wesentlich verbessert worden. Die Sensoren liefern dabei Datenströme, welche digitalisiert werden, und die somit entstandenen digitalisierten Bilddaten werden einer Auswertung durch digitale Computer zugänglich gemacht. Anwendungsbeispiele finden sich in der Vermessung von Objekten, in der Qualitätsprüfung anhand von Mustervergleichen, in der Zutrittskontrolle mittels Gesichts-, Fingerabdruck- oder Iriserkennung, in der Bewegungsdetektion für den Objektschutz und natürlich in der Verkehrsüberwachung. Die in Bildfolgen enthaltenen Informationen werden zur ObjektVerfolgung für die unterschiedlichsten Anwendungen, wie beispielsweise Freigeländeüberwachung oder Crashversuchsauswertungen, verwendet.
  • Es werden jeweils einzelne, einer bestimmten Messaufgabe entsprechende Informationen, beispielsweise die Maßhaltigkeit oder Farbe eines Objektes, aus den Videobilddaten extrahiert. Diese Tatsache spiegelt sich darin wieder, dass die Konfiguration aus bildgebenden Sensor und Rechner (einschließlich der spezifischen Auswertesoftware) als "Videosensor" bezeichnet wird.
  • Die heute üblichen Videosensoren sind in der Lage, Bilddatenströme auszuwerten, sofern die bildgebenden Sensoren fest montiert werden. Bei Anwendungen, bei denen große Geländebereiche, wie Parkplätze oder Parkhäuser, überwacht werden müssen, ist eine ausreichende Anzahl von Sensoren, um derartige Bereiche vollständig zu erfassen, notwendig.
  • Aus der DE 100 07 021 A1 ist eine Überwachungseinrichtung mit einer Kamera bekannt, wobei die Kamera auf einer profilierten Schiene ortsveränderlich gehalten ist. Die Kamera kann einen Sender zum drahtlosen Übertragen von Bilddaten aufweisen. Die Kamera ist an einem Grundkörper befestigt, der entlang der profilierten Schiene verfahrbar angebracht ist. An dem Grundkörper befinden sich Laufrollen, welche einen Antrieb aufweisen, so dass die Kamera in beide Richtungen entlang der Schiene verfahren werden kann. Zum Übertragen von Betriebsstrom zu dem Antrieb und/oder zum Übertragen des von der Kamera erzeugten Bildsignales können auf einer geeigneten Außenfläche der profilierten Schiene eine Anzahl von Leiterbahnen vorgesehen sein. Hierbei wäre es aber auch möglich Steuerungsbilddaten drahtlos zu übertragen.
  • Die Anordnung dieser Überwachungseinrichtung ist sehr aufwendig, da die Kamera speziell an einem Grundkörper und dieser wiederum an einer profilierten Schiene angebracht werden muss, um die Kamera bei Überwachungsaufgaben verfahren zu können. Weiterhin ist eine Auswertung der Bilddatenströme hier nicht möglich.
  • Des weiteren ist in der DE 100 10 590 A1 ein Verfahren zum Betreiben einer fernsteuerbaren Kamera beschrieben, wobei Fernsteuerdaten von einer Fernsteuereinrichtung und Bilddaten von der Kamera an eine Bilddarstellungseinrichtung übermittelt werden, und wobei die Fernsteuer- und Bilddaten über ein Computernetzwerk übermittelt werden. Die Kamera kann ferngesteuert verschwenkt werden. Die von der Kamera übermittelten Einzelbilder werden in der Bilddarstellungseinrichtung als videosequenz zusammengefügt. So kann an der Bilddarstellungseinrichtung eine genaue Wiedergabe eines Bewegungsablaufes dargestellt werden. Ein Videoserver empfängt über eine Videokarte Bilddaten, wobei in dem Videoserver aus den Bilddaten Einzelbilder generiert werden, die in einer Komprimierungseinrichtung mit Hilfe eines geeigneten Algorithmus' komprimiert werden. Die so komprimierten Bilder werden in einem Arbeitsspeicher des Videoserver abgelegt. In einer Ausgangseinrichtung werden die komprimierten Bilder zur Versendung vorbereitet, als serieller Datenstrom an eine Netzwerkschnittstelle übermittelt, die diesen Datenstrom danach über das Computernetzwerk zu der Fernsteuereinrichtung und schließlich zu der Bilddarstellungseinrichtung übermitteln.
  • In der US 4,805,018 wird in einer Videosignalverarbeitungsvorrichtung ein Kontursignal eines sich bewegenden Objekts von statischen Hintergrundvideobildsignalen getrennt. Das von einer TV-Kamera aufgenommene Videosignal wird in ein binäres Kontursignal umgewandelt. Ein zu einem bestimmten Zeitpunkt erhaltenes konvertiertes Signal und ein anderes, zu einem anderen Zeitpunkt erhaltenes, konvertiertes Signal werden verarbeitet, um ein Kontursignal des sich bewegenden Objekts zu extrahieren. Das extrahierte Kontursignal des sich bewegenden Objekts wird einer Schaltung zugeführt, die ein Schwenken und/oder ein Neigen der TV-Kamera steuert.
  • Thiel G ED - Sanson L D: "Automatic CCTV surveillance - to-wards the VIRTUAL GUARD", SECURITY TECHNOLOGY, 1999. PROCEEDINGS. IEEE 33RD ANNUAL 1999 INTERNATIONAL CONFERENCE ON MADRID, SPAIN 5-7 OCT. 1999, PISCATAWAY, NJ, USA, IEEE, US, 5. Oktober 1999 (1999-10-05), Seiten 42-48, XP010355720, DOI: 10.1109/CCST.1999.797890, ISBN: 978-0-7803-5247-6 beschreibt VIRTUAL GUARD, welches ein computerbasiertes Allzweck-CCTV-Überwachungssystem zur Erfassung einer potentiellen kriminellen Aktivität in öffentlichen Bereichen darstellt.
  • Es ist Aufgabe der Erfindung, eine Überwachungsvorrichtung und ein Verfahren zu schaffen, welche(s) die vorgehend beschriebenen Nachteile minimiert und mit welcher bzw. mit welchem eine Analyse der Situation der beobachtenden Szene aus Bildfolgen vorgenommen und aus der Analyse Regelungs- oder Aktorikbedarf abgeleitet werden kann.
  • Die Aufgabe der Erfindung wird durch die Merkmale des Patentanspruches 1 gelöst.
  • Die erfindungsgemäße Überwachungsvorrichtung ist eine Vorrichtung, welche wenigstens einen bildgebenden Sensor aufweist, wobei der Sensor zur Überwachung von Objekten, welche sich innerhalb des Bildausschnittes bewegen, in vorteilhafter Weise um wenigstens eine Achse schwenkbar ausgebildet ist. Somit kann fortdauernd ein Überwachungsgebiet ständig bewacht werden und bei Objekten, welche sich innerhalb dieses Gebietes bewegen, die Bewegung erfasst und das Objekt unter Schwenkung des Sensors verfolgt werden. Diese Vorrichtung ermöglicht eine globale Situationsanalyse durch eine neuartige Kombination von Bildauswertung und Algorithmen auf der Grundlage von Videosensorik auch bei schwenkbarem bildgebenden Sensor. Weiterhin kann die Überwachungseinrichtung mehrere ortsfeste Sensoren ersetzen, wobei Kosten und Überwachungsaufwand minimiert werden können. Darüber hinaus ist auch bei unübersichtlichen Gebieten bzw. Bereichen praktisch jeder Bereich bzw. Winkel des zu erfassenden Gebietes aufnehmbar.
  • Weiterhin wird die Aufgabe durch die Merkmale des Anspruches 8 gelöst.
  • In vorteilhafter Weise kann vorgesehen sein, dass nach Ermittlung der Bewegung die Objekte klassifiziert werden, wobei nach Erkennung der Bewegung des Objektes eine Alarmierung erfolgt.
  • Es besteht somit die Möglichkeit, erkannte Objekte automatisch zu klassifizieren und erst bei Zuordnung zu interessanten Klassen den Alarm auszulösen. Dadurch können Fehlalarme, welche beispielsweise sich bewegende Tiere in dem Bildausschnitt erzeugen, vermieden werden.
  • Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den weiteren Unteransprüchen und dem nachfolgend anhand der Zeichnung prinzipmäßig beschriebenen Ausführungsbeispiel.
  • Es zeigt:
    • Figur 1
    prinzipmäßige Darstellung einer erfindungsgemäßen Überwachungsvorrichtung;
    Figur 2
    prinzipmäßige Darstellung eines erfindungsgemäßen Verfahrens anhand eines Flussdiagramms; und
    Figur 3
    eine prinzipmäßige Darstellung der in Figur 1 aufgezeigten Überwachungsvorrichtung bei Einsatz zur Objektverfolgung.
  • Figur 1 beschreibt eine Überwachungsvorrichtung 1, welche aus einem bildgebenden Sensor 2, beispielsweise einer Kamera oder einem Wärmebildgerät, und einer softwareparametrisierten Erkennungs- und Steuereinheit 1' gebildet ist. Die softwareparametrisierte Erkennungs- und Steuereinheit 1' ist wiederum aus einer Digitalisiereinrichtung 3 und einer Auswerteeinrichtung 4 gebildet. Die Digitalisierung kann auch bereits im Sensor 2 erfolgen. Bei großen Überwachungsgebieten bis in den Kilometerbereich wären auch mehrere bildgebende Sensoren 2, die Bildfolgen aufnehmen, möglich. Der bildgebende Sensor 2 kann mittels eines Schwenk-Neigekopfes auf zu erfassende Bereiche gerichtet werden. Durch die Kombination von Bildauswertungsalgorithmen auf der Grundlage von Videosensorik kann nun eine direkte Situationsanalyse bei schwenkbarem bildgebenden Sensor 2 durchgeführt werden.
  • Hierbei werden ein Bild zu einem Zeitpunkt t = 0 sowie ein weiteres Bild zum Zeitpunkt t = 0 + δ miteinander verglichen. In einem ersten Schritt werden die beiden Bilder wegen der Sensoreigenbewegung so aufeinander referenziert, dass diese sich direkt überdecken. Um rechenaufwändige Korrelationsverfahren zu vermeiden, können die beiden Bilder mittels einer schnellen diskreten Fouriertransformation in einen Frequenzbereich transformiert werden. Dadurch können die bei der Korrelation benötigten Faltungsoperationen durch Multiplikationen ersetzt werden. Das Ergebnis der Faltung im Frequenzbereich wird danach in den Zeitbereich mittels einer inversen, schnellen diskreten Fouriertransformation zurückgewandelt. Im Endbind wird mittels eines Maximum-Operators diejenige Verschiebung zwischen den beiden Bildern detektiert, welche die beiden Originalbilder zur Deckung bringt. Danach können mittels eines Differenzbildansatzes bewegte Objekte in den Bildern detektiert werden.
  • Eine Besonderheit des erfindungsgemäßen Verfahrens besteht darin, dass das Ausmaß des Sensorschwenks automatisch ermittelt werden kann, so dass durch schnelle Sensorschwenks verursachte Störungen unterdrückt werden können.
  • Das wesentliche besteht aber darin, die Objekte auch trotz Bewegung zu identifizieren, ihre Ausdehnungen sowie die geometrischen und räumlichen Relationen, insbesondere auch während des Sensorschwenks, untereinander festzustellen und deren Dynamik zu erfassen.
  • Durch Fusionierung und Assoziation der Dynamiken können zeitliche Muster von situationscharakteristischen Größen erzeugt werden. Mit zeitlichen Filtern auf der Ebene der Objekte und/oder der abgeleiteten Größen kann die weitere Entwicklung der Situation prädiziert werden. Danach kann eine Bewertung der Ergebnisse durch Klassifikatoren, Expertensysteme oder auch unscharfe Logik, wodurch die Situation analysiert und Regelungs- oder Aktorikbedarf abgeleitet werden kann, erfolgen. Regelungs- oder Aktorikbedarf bedeutet hier, dass der Sensor 2 entweder eine Schwenkung vollzieht, auf das Objekt hinzoomt oder einen Alarm erzeugen kann.
  • Mit dem erfindungsgemäßen Verfahren wäre es möglich, eine automatische Auswertung von Videodatenströmen, die von auf Fahrzeugen montierten schwenkbaren Sensoren 2 die Beurteilung einer Situation im Bereich Grenzüberwachung ermöglichen, vorzunehmen. Der Sensor 2 kann dabei mittels einer Schwenkung fortlaufend ein zu überwachendes Gebiet überstreichen. Sobald an einer Stelle unerlaubte Grenzübertritte erkannt werden, kann beispielsweise die Schwenkung unterbrochen und ein Alarm ausgelöst werden. Weiterhin kann hierbei der Sensor 2 selbstständig auf den interessierenden Bereich hinzoomen und das erkannte Objekt automatisch weiter verfolgen. In diesem Ausführungsbespiel kann also der Sensor 2 mit einem Zoomobjektiv versehen sein, wobei dies für dieses Verfahren aber nicht Voraussetzung ist. Weiterhin kann die erfindungsgemäße Überwachungseinrichtung 1 und das Verfahren ebenfalls zur Beurteilung von Gefahrensituationen in Parkhäusern oder auch an öffentlichen Plätzen durch Situationanalyse aus Bildfolgen eingesetzt werden.
  • Der hier eingesetzte Sensor 2 ist als schwenkender Sensor 2 zum Abfahren eines definierten zu überwachenden Bereichs auf Objekten wie Fahrzeuge, Flugzeuge, Schiffe oder ähnliches ausgeführt, kann aber ebenso auch als feststehender Sensor 2 zur Bewegungsdetektion ausgebildet sein. Das Schwenken des Sensors 2 ist in vertikaler und horizontaler Richtung wie auch überlagert möglich, wobei der Sensor 2 um 360° fortlaufend drehbar angeordnet sein kann.
  • In Figur 2 ist ein Flussdiagramm zum Verfahrensablauf dargestellt. Der schwenkbare bildgebende Sensor 2 tastet die Szene mit räumlich und zeitlich hoher Dichte ab. Die Detektion von Objekten erfolgt in mehreren Schritten. Im ersten Schritt wird die Eigenbewegung des Sensors 2 (Schwenk-Neigebewegung, Sensorwackeln, Eigenbewegung der Sensorplattform) über eine Bildfolge analysiert. Die nun hieraus gewonnenen Informationen können dazu verwendet werden, lokale Inhomogenitäten im Bewegungsmuster zu ermitteln und daraus die Eigenbewegung des Sensors 2 von einer tatsächlichen Objektbewegung zu separieren bzw. zu unterscheiden.
  • Hierzu können schritthaltend sogenannte Verschiebungsvektoren von zwei aufeinanderfolgenden Bildern bestimmt werden. Die Verschiebungsvektoren geben die Bewegung des Sensors 2 bezüglich des Bildhintergrundes an. Die davon abweichenden Bewegungsmuster werden als Objekte interpretiert. Das hier erfindungsgemäße Verfahren zeichnet sich ebenfalls ganz speziell dadurch aus, dass die Berechnung der Verschiebungsvektoren ohne Verwendung von speziellen Rechnerkomponenten in Echtzeit ermöglicht werden kann. Dadurch kann die Wahrscheinlichkeit, dass fehlerhafte Verschiebungsvektoren zu ungenauen Auswerteergebnissen führen, minimiert werden, indem nur Verschiebungsvektoren an kontrastreichen Punkten bzw. Stellen im Bilderfassungsausschnitt des Sensors 2 berechnet werden.
  • Die so detektierten Objekte können danach in einer weiteren Auswertung anschließend einzeln untersucht werden. Für jedes Objekt können die zugehörigen Merkmale, wie Ausprägung, Form, Länge und Geschwindigkeit der Bewegung, bestimmt und klassifiziert werden. Eine optionale zeitliche Filterkomponente kann aus den bereits aus der Historie bekannten Objektpositionen Prädiktionen für die zu erwartenden Objektpositionen berechnen. Für jedes neu detektierte Objekt kann von der Objektverwaltung eine "Spur", also der vom Objekt im Bild zurückgelegte Weg, angelegt werden. Nach Berechnung der zeitlichen Filterkomponente kann die Objektverwaltung jedes Mal alle Objektmessgrößen sowie gegebenenfalls die Ergebnisse der zeitlichen Filterkomponente in die Spur eintragen. Aufgrund der Spurdaten können nun in der Dynamikmessung die bis dahin ermittelten Größen geschätzt werden. Diese können dann auch optional einer weiteren zeitlichen Filterung unterworfen werden, um eine Prädiktion zu erzielen.
  • Mit diesen Ergebnissen ist nun die Szene bezüglich der Objekte und Objektrelationen sowie deren zeitlicher Entwicklung vollständig bis zum aktuellen Zeitpunkt erfasst und wird ferner optional vollständig prädiziert.
  • Hierbei wäre es möglich, dass erkannte Objektbewegungen einem Benutzer, beispielsweise durch Tonsignale, Einblendungen am Bildschirm oder ähnliche Alarmierungen signalisiert werden können.
  • Ebenso besteht die Möglichkeit, erkannte Objekte automatisch zu klassifizieren und erst bei Zuordnung zu interessanten Klassen, beispielsweise Personen oder Fahrzeuge, den Alarm auszulösen. Somit können Fehlalarme durch beispielsweise Tiere vermieden werden. Des weiteren kann nach der Alarmgenerierung die Bildsequenz digital aufgezeichnet werden.
  • Figur 3 stellt die in Figur 1 aufgezeigte Überwachungseinrichtung sehr schematisch bei Einsatz zur Objektverfolgung dar. In einem bestimmten Umkreis können sich bewegende Objekte von dem Sensor 2 aufgezeichnet, überwacht und verfolgt werden. Dabei wären verschiedene Systemlösungen möglich. Die erste Lösung wäre, den Schwenkbetrieb gegebenenfalls zu beenden, die Objektverfolgung mit der automatischen Sensornachführung zu starten, um das erkannte Objekt im Bildausschnitt zu halten. Bei Bedarf kann auch mittels eines integrierten Laserentfernungsmessgerätes der Abstand des erkannten und verfolgten Objektes zum Aufnahmestandpunkt des Sensors 2 ermittelt werden.
    Eine zweite Möglichkeit wäre, den Schwenkbetrieb gegebenenfalls zu beenden, die Sensorblickrichtung konstant beizubehalten und dem Bediener die weiteren Aktionen, eventuelle Weiterverfolgung oder Alarmierung, zu überlassen. Ebenso wäre aber auch möglich, den Schwenkbetrieb gegebenenfalls weiter beizubehalten, um die anderen Bereiche des Überwachungsgebietes nicht unbeobachtet zu lassen. Dabei sollte der Bediener selbstständig einen Alarm weiter verfolgen und gegebenenfalls in das Gesamtsystem eingreifen.
  • Die Überwachungsvorrichtung 1 ist in verschiedenen wellenlängenbereichen wie beispielsweise Nahinfrarot, Infrarot 3 bis 5 µm, Infrarot 8 - 12 µm, UV oder auch im visuellen Bereich einsetzbar. Die Realisierung des Verfahrens kann auf bekannten PC-Systemen oder auf DSP-Systemen, unter verschiedenen Betriebssystemen (LINUX, MS-Windows, Echtzeitbetriebssysteme) vorgenommen werden. Bei Realisierungen auf DSP-Systemen ist man für spezielle Anwendungen besser anpassbar. Außerdem können diese Systeme unter speziellen Umweltbedingungen, wie Temperaturbereich oder Vibrationen, eingesetzt werden.
  • Die erfindungsgemäße Überwachungsvorrichtung 1 wie auch das erfindungsgemäße Verfahren ermöglichen es, sich in der Szene bewegende Objekte auch bei schwenkendem bildgebenden Sensor 2 automatisch zu detektieren und zu verfolgen. Das Gesamtsystem stellt somit eine Überwachungsvorrichtung 1 dar, deren bildgebender Sensor 2 oder gegebenenfalls auch mehrere bildgebende Sensoren, in einem Suchmodus kontinuierlich ein Zielgebiet überstreichen oder durch Montage auf einer mobilen Plattform selbst bewegt werden. Im Zielgebiet bzw. im Erfassungsbereich des Sensors 2 können sich bewegende Objekte automatisch erfasst werden und zur Nachführung des Schwenk-Neigekopfes verwendet werden.
    Die Besonderheit dieses Verfahrens besteht darin, dass auf szenenspezifisches Vorwissen, wie Sensorkalibrierung auf eine Szenenebene, Angabe von Objekttypen, z.B. Fahrzeuge oder ähnliches, welche bereits aus dem Stand der Technik bekannt sind und dort notwendig eingesetzt werden müssen, verzichtet wird, was eine breite Einsatzfähigkeit in vielfältigsten Situationen gewährleistet.
    Außerdem ist dadurch eine einfach zu realisierende und schnelle Einsatzbereitschaft auch an wechselnden Orten sichergestellt.

Claims (19)

  1. Überwachungsvorrichtung (1) mit wenigstens einem bildgebenden Sensor (2) zur Übertragung von Bilddaten, welcher um wenigstens eine Achse schwenkbar ausgebildet ist, wobei eine mit dem bildgebenden Sensor (2) verbundene softwareparametrisierte Erkennungs- und Steuereinheit (1') zur Verfolgung von sich in einem Zielgebiet bewegenden Objekten vorgesehen ist, wobei kontinuierlich ein Zielgebiet überwachbar ist, dadurch gekennzeichnet, dass der bildgebende Sensor (2) Mittel zum fortlaufenden Überstreichen des Zielgebiets mittels einer Schwenkung besitzt, wobei die Erkennungs- und Steuereinheit (1') Mittel zur Detektion der bewegten Objekte in den Bilddaten mittels einer Separierung der Ergenbewegung des bildgebenden Sensors (2) von der tatsächlichen Bewegung der Objekte besitzt, und wobei die Mittel zur Detektion der bewegten Objekte derart ausgestaltet sind, dass
    - die Eigenbewegung des bildgebenden Sensors (2) über eine Bildfolge analysiert wird, wobei schritthaltend Verschiebungsvektoren von zwei aufeinanderfolgenden Bildern bestimmt werden, welche die Bewegung des bildgebenden Sensors (2) bezüglich des Bildhintergrunds angeben, wonach
    - die von der Bewegung des bildgebenden Sensors (2) abweichenden Bewegungsmuster als Objekte interpretiert werden.
  2. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass eine Meldeeinrichtung vorgesehen ist.
  3. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) in einer Schwenk-Neigekopfeinrichtung gelagert ist.
  4. Überwachungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) kontinuierlich um 360° drehbar gelagert ist.
  5. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die softwareparametrisierte Erkennungs- und Steuereinheit (1') aus einer Digitalisiereinrichtung (3) und einer Auswerteeinrichtung (4) gebildet ist.
  6. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass eine Digitalisiereinrichtung (3) im Sensor (2) vorgesehen ist.
  7. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass ein integriertes Laserentfernungsmessgerät vorgesehen ist.
  8. Verfahren zur Überwachung von Gebieten mit einer Überwachungsvorrichtung (1) mit wenigstens einem bildgebenden Sensor, (2), wobei der wenigstens eine bildgebende Sensor (2) schwenkbar um zumindest eine Achse ausgebildet wird, wobei kontinuierlich ein Gebiet aufgenommen und überwacht wird, wobei der bildgebende Sensor (2) mittels einer Schwenkung fortlaufend das Gebiet überstreicht, wobei sich bewegende Objekte in dem Gebiet detektiert, verfolgt oder gemeldet werden, wobei die Detektion der bewegten Objekte in den Bilddaten des bildgebenden Sensors (2) mittels einer Separierung der Eigenbewegung des bildgebenden Sensors (2) von der tatsächlichen Bewegung der Objekte erfolgt, und wobei zur Detektion der bewegten Objekte:
    - die Eigenbewegung des bildgebenden Sensors (2) über eine Bildfolge analysiert wird, wobei schritthaltend Verschiebungsvektoren von zwei aufeinanderfolgenden Bildern bestimmt werden, welche die Bewegung des bildgebenden Sensors (2) bezüglich des Bildhintergrunds angeben, wonach
    - die von der Bewegung des bildgebenden Sensors (2) abweichenden Bewegungsmuster als Objekte interpretiert werden.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass zur Detektion der bewegten Objekte:
    - zwei aufeinanderfolgende Bilder aufeinander referenziert, so dass diese sich direkt überdecken, und miteinander verglichen werden, wobei die beiden Bilder mittels einer schnellen diskreten Fouriertransformation in den Frequenzbereich transformiert werden, wonach,
    - eine Faltung im Frequenzbereich erfolgt, wobei die bei der Korrelation zwischen den beiden Bildern benötigten Faltungsoperationen durch Multiplikationen ersetzt werden, wonach
    - das Ergebnis der Faltung im Frequenzbereich in den Zeitbereich mittels einer inversen, schnellen diskreten Fouriertransformation zurückgewandelt wird, wonach
    - in dem Endbild mittels eines Maximum-Operators diejenige Verschiebung zwischen den beiden Bildern detektiert wird, welche die beiden Originalbilder zur Deckung bringt, und wonach
    - mittels eines Differenzbildansatzes bewegte Objekte in den Bildern detektiert werden.
  10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Ausmaß der Schwenkung des wenigstens einen Sensors (2) automatisch aus der Bildsequenz ermittelt wird.
  11. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass nach Ermittlung der Bewegung die Objekte klassifiziert werden.
  12. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass nach Erkennen des sich bewegenden Objektes die Schwenkung des wenigstens einen Sensors (2) beendet wird, wobei anschließend die Verfolgung des Objektes mit einer automatischen Sensornachführung vorgenommen wird.
  13. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass nach Erkennung des sich bewegenden Objektes die Schwenkung des wenigstens einen Sensors (2) beendet wird, wobei anschließend in der Position die Sensorrichtung konstant beibehalten wird, und wobei manuell durch einen Bediener weiterverfolgt wird.
  14. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass nach Erkennung des sich bewegenden Objektes die Schwenkung beibehalten wird, wobei der Bediener die Objekte manuell weiterverfolgen wird.
  15. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Messen einer Objektentfernung mit einem Laserentfernungsmessgerät erfolgt.
  16. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) selbstständig auf einen Bereich mit dem sich bewegenden Objekt hinzoomt, wobei der Bilderfassungsausschnitt verändert wird.
  17. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) selbstständig auf einen Bereich mit dem sich bewegenden Objekt hinzoomt, wobei der Bilderfassungsausschnitt verändert wird, und wobei die Verfolgung des Objektes mit einer Sensornachführung vorgenommen wird.
  18. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass nach Erkennung der Bewegung des Objektes eine Alarmierung erfolgt.
  19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass nach Alarmierung eine Bildsequenz digital aufgezeichnet wird.
EP03025893.3A 2003-01-22 2003-11-12 Überwachungsvorrichtung Expired - Lifetime EP1441316B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10302306A DE10302306A1 (de) 2003-01-22 2003-01-22 Überwachungsvorrichtung
DE10302306 2003-01-22

Publications (3)

Publication Number Publication Date
EP1441316A2 EP1441316A2 (de) 2004-07-28
EP1441316A3 EP1441316A3 (de) 2004-11-24
EP1441316B1 true EP1441316B1 (de) 2014-09-17

Family

ID=32520057

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03025893.3A Expired - Lifetime EP1441316B1 (de) 2003-01-22 2003-11-12 Überwachungsvorrichtung

Country Status (4)

Country Link
EP (1) EP1441316B1 (de)
DE (1) DE10302306A1 (de)
HU (1) HUP0400144A2 (de)
PL (1) PL364483A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012223121A1 (de) 2012-12-13 2014-06-18 Cassidian Optronics Gmbh Verfahren zur Verfolgung wenigstens eines Objekts und Überwachungsvorrichtung
DE102014117277B4 (de) 2014-11-25 2017-06-14 Airbus Ds Optronics Gmbh Trägersystem

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805018A (en) 1986-03-07 1989-02-14 Matsushita Electric Industrial Co., Ltd. Video signal processing apparatus for separating an image of a moving object from video signals
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
DE10007021A1 (de) 2000-02-16 2001-08-30 Joachim Seidel Überwachungseinrichtung mit einer Kamera
DE10010590A1 (de) 2000-03-03 2001-09-13 Nedret Sahin Fernsteuerbare Kamera und Verfahren zum Betreiben einer fernsteuerbaren Kamera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THIEL G ED - SANSON L D: "Automatic CCTV surveillance-towards the VIRTUAL GUARD", SECURITY TECHNOLOGY, 1999. PROCEEDINGS. IEEE 33RD ANNUAL 1999 INTERNAT IONAL CARNAHAN CONFERENCE ON MADRID, SPAIN 5-7 OCT. 1999, PISCATAWAY, NJ, USA,IEEE, US, 5 October 1999 (1999-10-05), pages 42 - 48, XP010355720, ISBN: 978-0-7803-5247-6, DOI: 10.1109/CCST.1999.797890 *

Also Published As

Publication number Publication date
PL364483A1 (en) 2004-07-26
HU0400144D0 (en) 2004-03-29
DE10302306A1 (de) 2004-07-29
EP1441316A2 (de) 2004-07-28
EP1441316A3 (de) 2004-11-24
HUP0400144A2 (hu) 2005-07-28

Similar Documents

Publication Publication Date Title
US7660439B1 (en) Method and system for flow detection and motion analysis
US6404455B1 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
EP1589484B1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE4410406C2 (de) Optoelektronische Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs
JP4984575B2 (ja) 画像処理による侵入者検知装置
US20100013917A1 (en) Method and system for performing surveillance
WO2009143542A2 (de) Verfahren zur videoanalyse
DE10030421A1 (de) Fahrzeugumgebungsüberwachungssystem
EP1531342B1 (de) Verfahren zur Erkennung von Fussgängern
WO1998040855A1 (de) Einrichtung zur videoüberwachung einer fläche
CN112235537A (zh) 一种变电站现场作业安全预警方法
Ketcham et al. The intruder detection system for rapid transit using CCTV surveillance based on histogram shapes
DE10042935B4 (de) Verfahren zum Überwachen eines vorbestimmten Bereichs und entsprechendes System
DE10312249A1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
CN112673377A (zh) 监测设备以及用于人员落水监测的方法
EP1441316B1 (de) Überwachungsvorrichtung
DE102018008282A1 (de) Vorrichtung und Verfahren zum Erfassen von Flugobjekten
WO1997004428A1 (de) Interaktives überwachungssystem
US10769907B2 (en) Counter-flow detection in compressed video
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE19600958A1 (de) Interaktives Überwachungssystem
DE102007000344A1 (de) System und Verfahren zum Erkennen von Sensorstörungen und/oder von Signalstörungen und/oder von Sabotage
KR101926435B1 (ko) 시간압축방식을 이용한 객체 추적 시스템
DE19701186C2 (de) Interaktives Überwachungssystem
Pflugfelder et al. Influence of camera properties on image analysis in visual tunnel surveillance

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

17P Request for examination filed

Effective date: 20050119

AKX Designation fees paid

Designated state(s): CZ DE FR GB IT SI

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CARL ZEISS OPTRONICS GMBH

17Q First examination report despatched

Effective date: 20081209

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20140602

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): CZ DE FR GB IT SI

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 50315130

Country of ref document: DE

Effective date: 20141030

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: AIRBUS DS OPTRONICS GMBH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50315130

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20150618

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20150731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20141201

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20161121

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50315130

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180602

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20221125

Year of fee payment: 20

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20231111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20231111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20231111