EP1441316A2 - Überwachungsvorrichtung - Google Patents

Überwachungsvorrichtung Download PDF

Info

Publication number
EP1441316A2
EP1441316A2 EP03025893A EP03025893A EP1441316A2 EP 1441316 A2 EP1441316 A2 EP 1441316A2 EP 03025893 A EP03025893 A EP 03025893A EP 03025893 A EP03025893 A EP 03025893A EP 1441316 A2 EP1441316 A2 EP 1441316A2
Authority
EP
European Patent Office
Prior art keywords
sensor
monitoring device
area
objects
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP03025893A
Other languages
English (en)
French (fr)
Other versions
EP1441316B1 (de
EP1441316A3 (de
Inventor
Holger Dr. Vogel
Klaus Voelker
Gerhard Richter
Peter Dr. Klausmann
Claus Wetzel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hensoldt Optronics GmbH
Original Assignee
Zeiss Optronik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zeiss Optronik GmbH filed Critical Zeiss Optronik GmbH
Publication of EP1441316A2 publication Critical patent/EP1441316A2/de
Publication of EP1441316A3 publication Critical patent/EP1441316A3/de
Application granted granted Critical
Publication of EP1441316B1 publication Critical patent/EP1441316B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]

Definitions

  • the invention relates to a monitoring device with at least an imaging sensor for the transmission of image data.
  • the invention also relates to a method for monitoring of areas / areas with a monitoring device at least one imaging sensor.
  • the development of sensors has been like the automatic evaluation of images has also been significantly improved Service.
  • the sensors deliver data streams which be digitized, and the resulting digitized Image data are evaluated by digital computers made accessible.
  • Application examples can be found in the Measurement of objects in the quality inspection based on Pattern comparisons, in access control using facial, Fingerprint or iris recognition, in motion detection for property protection and of course in traffic surveillance.
  • the information contained in image sequences is used for object tracking for a wide variety of applications, such as Open-air site monitoring or crash test evaluations, used.
  • the video sensors common today are capable of image data streams to be evaluated if the imaging sensors are permanently installed become. For applications where large terrain areas, like parking lots or car parks, must be monitored, is a sufficient number of sensors to cover such areas to fully grasp, necessary.
  • a monitoring device is known from DE 100 07 021 A1 known a camera, the camera on a profiled Rail is kept mobile.
  • the camera can do one Have transmitter for wireless transmission of image data.
  • the Camera is attached to a body that runs along the profiled rail is movably attached. On the main body there are rollers that have a drive, so the camera goes in both directions along the rail can be moved.
  • To transfer operating current to the drive and / or to transmit the generated by the camera Image signals can be on a suitable outer surface of the profiled rail provided a number of conductor tracks his. It would also be possible to use control image data to transmit wirelessly.
  • this monitoring device is very complex, because the camera specifically on a body and this again has to be attached to a profiled rail, to be able to move the camera during surveillance tasks. Furthermore, there is no evaluation of the image data streams here possible.
  • DE 100 10 590 A1 describes a method for Operating a remote-controlled camera described, wherein Remote control data from a remote control device and image data transmitted from the camera to an image display device and the remote control and image data over a computer network be transmitted.
  • the camera can be remote controlled be pivoted.
  • the individual images transmitted by the camera are in the image display device as a video sequence together. So at the image display device an exact representation of a movement sequence is shown become.
  • a video server receives via a video card Image data, with individual images in the video server from the image data are generated in a compression facility be compressed using a suitable algorithm.
  • the images compressed in this way are stored in a working memory of the video server.
  • the compressed images are prepared for sending, transmitted as a serial data stream to a network interface, which then stream this data over the computer network to the remote control device and finally to the image display device transmitted.
  • the object of the invention is a monitoring device and to create a process which the minimized disadvantages described above and with which or with which an analysis of the situation of the observing Scene made from image sequences and from the analysis regulatory or actuator requirements can be derived.
  • the monitoring device is a device which has at least one imaging sensor, being the sensor for monitoring objects that are within move the image section, advantageously is designed to be pivotable about at least one axis. Consequently a surveillance area can be continuously guarded and for objects that move within this area, the movement is captured and the object is swiveled Sensors are tracked.
  • This device enables one global situation analysis through a new combination of Image evaluation and algorithms based on video sensors even with swiveling imaging sensor. Farther can the monitoring device several fixed sensors replace, minimizing costs and monitoring effort can. In addition, even in confusing areas or areas practically every area or angle of area to be recorded.
  • Figure 1 describes a monitoring device 1, which consists of an imaging sensor 2, for example a camera or a thermal imaging device, and a software-parameterized detection and control unit 1 'is formed.
  • the software parameterized Detection and control unit 1 ' is again off a digitizing device 3 and an evaluation device 4 formed. Digitization can also be done in sensor 2 respectively.
  • the imaging sensor 2 can by means of a pan-tilt head on areas to be detected be judged.
  • the two pictures are because of the Sensor movement referenced to each other so that this overlap directly.
  • Computationally complex correlation procedures To avoid the two images using a fast discrete Fourier transform in a frequency domain be transformed. This can help with the correlation required folding operations by multiplication be replaced.
  • the result of folding in the frequency domain is then in the time domain by means of an inverse, fast converted back into discrete Fourier transform.
  • the final picture is the shift by means of a maximum operator detected between the two images, which the two Matches original images. Then you can use a Differential image approach detected moving objects in the images become.
  • temporal Patterns of situation-characteristic quantities generated become.
  • temporal filters at the level of the objects and / or the derived sizes may further develop of the situation.
  • an assessment the results through classifiers, expert systems or also fuzzy logic, which analyzes the situation and regulates or actuator requirements can be derived.
  • Control or actuator requirements here means that sensor 2 either pans, zooms in on the object or can generate an alarm.
  • the method according to the invention it would be possible to use an automatic Evaluation of video data streams from vehicles mounted pivotable sensors 2 assessing a Enable situation in the area of border surveillance.
  • the sensor 2 can continuously by swiveling paint over an area to be monitored. As soon as unauthorized border crossings can be recognized For example, the swing is interrupted and an alarm is triggered become.
  • the sensor 2 can operate independently Zoom in on the area of interest and the recognized Continue tracking object automatically. In this embodiment can therefore provide the sensor 2 with a zoom lens be, but this is not a requirement for this procedure is.
  • the monitoring device according to the invention 1 and the procedure for the assessment of Dangerous situations in car parks or in public places Places are used through situation analysis from image sequences.
  • the sensor 2 used here is a pivoting sensor 2 to move over a defined area to be monitored Objects such as vehicles, planes, ships or the like, but can also be used as a fixed sensor 2 Motion detection can be formed. Panning the sensor 2 is superimposed in the vertical and horizontal directions as well possible, whereby the sensor 2 can be rotated continuously through 360 ° can be arranged.
  • FIG. 2 shows a flow diagram for the process sequence.
  • the pivotable imaging sensor 2 scans the scene with high spatial and temporal density.
  • the detection of Objects are done in several steps.
  • the first step is the own movement of sensor 2 (pan-tilt movement, sensor wobble, Own movement of the sensor platform) via an image sequence analyzed.
  • the information now gained from this can be used to identify local inhomogeneities in the movement pattern to determine and from this the own movement of the sensor 2 separate from an actual object movement or differentiate.
  • So-called displacement vectors can keep pace with this be determined by two successive images.
  • the Displacement vectors indicate the movement of the sensor 2 of the image background.
  • the deviating movement patterns are interpreted as objects.
  • the invention here Process is also very special characterized in that the calculation of the displacement vectors without Use of special computer components in real time can be made possible. This can reduce the likelihood that incorrect displacement vectors lead to inaccurate evaluation results lead to be minimized by only displacement vectors at high-contrast points or locations in the image capture section of sensor 2 can be calculated.
  • the objects detected in this way can then be used in another Evaluation can then be examined individually.
  • For each Object can have the associated characteristics, such as characteristics, shape, Length and speed of the movement, determined and classified become.
  • An optional temporal filter component can from the object positions already known from the history Calculate predictions for the expected object positions.
  • the object management can a "track", that is the distance covered by the object in the image Way to be laid out.
  • object management can do all object measurements every time as well as the results of the temporal Enter the filter component in the track. Because of the track data can now determine the previously determined in the dynamic measurement Sizes are estimated. These can then optionally be one be subjected to further temporal filtering in order to make a prediction to achieve.
  • detected object movements Users for example by sound signals, on-screen displays Screen or similar alarms are signaled can.
  • the alarm trigger There is also the possibility of automatically recognizing objects to classify and only when assigned to interesting ones Classes, such as people or vehicles, the alarm trigger. This can cause false alarms from animals, for example be avoided. Furthermore, after the alarm generation the image sequence can be recorded digitally.
  • FIG. 3 shows the monitoring device shown in FIG. 1 very schematically when used for object tracking.
  • Moving objects can be recorded, monitored and tracked by sensor 2 within a certain radius.
  • the first solution would be to end the pan operation if necessary, to start object tracking with the automatic sensor tracking in order to keep the detected object in the image section.
  • the distance of the recognized and tracked object to the recording position of the sensor 2 can also be determined by means of an integrated laser distance measuring device.
  • a second option would be to end the swiveling operation if necessary, to keep the sensor line of sight constant and to leave the operator to take further action, possibly follow up or alarm.
  • the monitoring device 1 is in different wavelength ranges such as near infrared, infrared 3 to 5 ⁇ m, infrared 8 - 12 ⁇ m, UV or can also be used in the visual range.
  • the implementation of the method can be known PC systems or on DSP systems, under different operating systems (LINUX, MS-Windows, real-time operating systems) be made. When realizing on DSP systems one more adaptable for special applications. You can also these systems under special environmental conditions, such as temperature range or vibrations can be used.
  • the monitoring device 1 according to the invention and the method according to the invention make it possible to automatically detect and track objects moving in the scene even when the imaging sensor 2 is pivoting.
  • the overall system thus represents a monitoring device 1, the imaging sensor 2 or, if appropriate, also several imaging sensors, continuously sweep over a target area in a search mode or be moved by mounting on a mobile platform itself. In the target area or in the detection area of sensor 2, moving objects can be automatically detected and used to track the pan-tilt head.
  • scene-specific prior knowledge such as sensor calibration at a scene level, specification of object types, e.g. vehicles or the like, which are already known from the prior art and must be used there, is dispensed with, which makes them widely applicable guaranteed in a wide variety of situations. In addition, this ensures an easy to implement and quick operational readiness even in changing locations.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

Bei einer Überwachungsvorrichtung (1) mit wenigstens einem bildgebenden Sensor (2) zur Übertragung von Bilddaten ist der wenigstens eine bildgebende Sensor (2) schwenkbar ausgebildet. Dabei ist kontinuierlich ein Zielgebiet/Zielbereich überwachbar. Eine softwareparametrisierte Erkennungs- und Steuereinheit (1') und eine Meldeeinrichtung sind zur Verfolgung von sich im Zielgebiet/Zielbereich bewegenden Objekten vorgesehen. <IMAGE>

Description

Die Erfindung betrifft eine Überwachungsvorrichtung mit wenigstens einem bildgebenden Sensor zur Übertragung von Bilddaten.
Ebenfalls betrifft die Erfindung ein Verfahren zur Überwachung von Gebieten/Bereichen mit einer Überwachungseinrichtung mit wenigstens einem bildgebenden Sensor.
In den vergangenen Jahren ist die Entwicklung der Sensorik wie auch die automatische Auswertung von Bildern wesentlich verbessert worden. Die Sensoren liefern dabei Datenströme, welche digitalisiert werden, und die somit entstandenen digitalisierten Bilddaten werden einer Auswertung durch digitale Computer zugänglich gemacht. Anwendungsbeispiele finden sich in der Vermessung von Objekten, in der Qualitätsprüfung anhand von Mustervergleichen, in der Zutrittskontrolle mittels Gesichts-, Fingerabdruck- oder Iriserkennung, in der Bewegungsdetektion für den Objektschutz und natürlich in der Verkehrsüberwachung. Die in Bildfolgen enthaltenen Informationen werden zur Objektverfolgung für die unterschiedlichsten Anwendungen, wie beispielsweise Freigeländeüberwachung oder Crashversuchsauswertungen, verwendet.
Es werden jeweils einzelne, einer bestimmten Messaufgabe entsprechende Informationen, beispielsweise die Maßhaltigkeit oder Farbe eines Objektes, aus den Videobilddaten extrahiert. Diese Tatsache spiegelt sich darin wieder, dass die Konfiguration aus bildgebenden Sensor und Rechner (einschließlich der spezifischen Auswertesoftware) als "Videosensor" bezeichnet wird.
Die heute üblichen Videosensoren sind in der Lage, Bilddatenströme auszuwerten, sofern die bildgebenden Sensoren fest montiert werden. Bei Anwendungen, bei denen große Geländebereiche, wie Parkplätze oder Parkhäuser, überwacht werden müssen, ist eine ausreichende Anzahl von Sensoren, um derartige Bereiche vollständig zu erfassen, notwendig.
Aus der DE 100 07 021 A1 ist eine Überwachungseinrichtung mit einer Kamera bekannt, wobei die Kamera auf einer profilierten Schiene ortsveränderlich gehalten ist. Die Kamera kann einen Sender zum drahtlosen Übertragen von Bilddaten aufweisen. Die Kamera ist an einem Grundkörper befestigt, der entlang der profilierten Schiene verfahrbar angebracht ist. An dem Grundkörper befinden sich Laufrollen, welche einen Antrieb aufweisen, so dass die Kamera in beide Richtungen entlang der Schiene verfahren werden kann. Zum Übertragen von Betriebsstrom zu dem Antrieb und/oder zum Übertragen des von der Kamera erzeugten Bildsignales können auf einer geeigneten Außenfläche der profilierten Schiene eine Anzahl von Leiterbahnen vorgesehen sein. Hierbei wäre es aber auch möglich Steuerungsbilddaten drahtlos zu übertragen.
Die Anordnung dieser Überwachungseinrichtung ist sehr aufwendig, da die Kamera speziell an einem Grundkörper und dieser wiederum an einer profilierten Schiene angebracht werden muss, um die Kamera bei Überwachungsaufgaben verfahren zu können. Weiterhin ist eine Auswertung der Bilddatenströme hier nicht möglich.
Des weiteren ist in der DE 100 10 590 A1 ein Verfahren zum Betreiben einer fernsteuerbaren Kamera beschrieben, wobei Fernsteuerdaten von einer Fernsteuereinrichtung und Bilddaten von der Kamera an eine Bilddarstellungseinrichtung übermittelt werden, und wobei die Fernsteuer- und Bilddaten über ein Computernetzwerk übermittelt werden. Die Kamera kann ferngesteuert verschwenkt werden. Die von der Kamera übermittelten Einzelbilder werden in der Bilddarstellungseinrichtung als Videosequenz zusammengefügt. So kann an der Bilddarstellungseinrichtung eine genaue Wiedergabe eines Bewegungsablaufes dargestellt werden. Ein Videoserver empfängt über eine Videokarte Bilddaten, wobei in dem Videoserver aus den Bilddaten Einzelbilder generiert werden, die in einer Komprimierungseinrichtung mit Hilfe eines geeigneten Algorithmus' komprimiert werden. Die so komprimierten Bilder werden in einem Arbeitsspeicher des Videoserver abgelegt. In einer Ausgangseinrichtung werden die komprimierten Bilder zur Versendung vorbereitet, als serieller Datenstrom an eine Netzwerkschnittstelle übermittelt, die diesen Datenstrom danach über das Computernetzwerk zu der Fernsteuereinrichtung und schließlich zu der Bilddarstellungseinrichtung übermittelt.
Erfindungsgemäß ist es Aufgabe der Erfindung, eine Überwachungsvorrichtung und ein Verfahren zu schaffen, welche(s) die vorgehend beschriebenen Nachteile minimiert und mit welcher bzw. mit welchem eine Analyse der Situation der beobachtenden Szene aus Bildfolgen vorgenommen und aus der Analyse Regelungs- oder Aktorikbedarf abgeleitet werden kann.
Die Aufgabe der Erfindung wird durch die Merkmale des Patentanspruches 1 gelöst.
Die erfindungsgemäße Überwachungsvorrichtung ist eine Vorrichtung, welche wenigstens einen bildgebenden Sensor aufweist, wobei der Sensor zur Überwachung von Objekten, welche sich innerhalb des Bildausschnittes bewegen, in vorteilhafter Weise um wenigstens eine Achse schwenkbar ausgebildet ist. Somit kann fortdauernd ein Überwachungsgebiet ständig bewacht werden und bei Objekten, welche sich innerhalb dieses Gebietes bewegen, die Bewegung erfasst und das Objekt unter Schwenkung des Sensors verfolgt werden. Diese Vorrichtung ermöglicht eine globale Situationsanalyse durch eine neuartige Kombination von Bildauswertung und Algorithmen auf der Grundlage von Videosensorik auch bei schwenkbarem bildgebenden Sensor. Weiterhin kann die Überwachungseinrichtung mehrere ortsfeste Sensoren ersetzen, wobei Kosten und Überwachungsaufwand minimiert werden können. Darüber hinaus ist auch bei unübersichtlichen Gebieten bzw. Bereichen praktisch jeder Bereich bzw. Winkel des zu erfassenden Gebietes aufnehmbar.
Weiterhin wird die Aufgabe durch die kennzeichnenden Merkmale des Anspruches 7 gelöst.
In vorteilhafter Weise kann vorgesehen sein, dass nach Ermittlung der Bewegung die Objekte klassifiziert werden, wobei nach Erkennung der Bewegung des Objektes eine Alarmierung erfolgt.
Es besteht somit die Möglichkeit, erkannte Objekte automatisch zu klassifizieren und erst bei Zuordnung zu interessanten Klassen den Alarm auszulösen. Dadurch können Fehlalarme, welche beispielsweise sich bewegende Tiere in dem Bildausschnitt erzeugen, vermieden werden.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den weiteren Unteransprüchen und dem nachfolgend anhand der Zeichnung prinzipmäßig beschriebenen Ausführungsbeispiel.
Es zeigt:
Figur 1
prinzipmäßige Darstellung einer erfindungsgemäßen Überwachungsvorrichtung;
Figur 2
prinzipmäßige Darstellung eines erfindungsgemäßen Verfahrens anhand eines Flussdiagramms; und
Figur 3
eine prinzipmäßige Darstellung der in Figur 1 aufgezeigten Überwachungsvorrichtung bei Einsatz zur Objektverfolgung.
Figur 1 beschreibt eine Überwachungsvorrichtung 1, welche aus einem bildgebenden Sensor 2, beispielsweise einer Kamera oder einem Wärmebildgerät, und einer softwareparametrisierteh Erkennungs- und Steuereinheit 1' gebildet ist. Die softwareparametrisierte Erkennungs- und Steuereinheit 1' ist wiederum aus einer Digitalisiereinrichtung 3 und einer Auswerteeinrichtung 4 gebildet. Die Digitalisierung kann auch bereits im Sensor 2 erfolgen. Bei großen Überwachungsgebieten bis in den Kilometerbereich wären auch mehrere bildgebende Sensoren 2, die Bildfolgen aufnehmen, möglich. Der bildgebende Sensor 2 kann mittels eines Schwenk-Neigekopfes auf zu erfassende Bereiche gerichtet werden. Durch die Kombination von Bildauswertungsalgorithmen auf der Grundlage von Videosensorik kann nun eine direkte Situationsanalyse bei schwenkbarem bildgebenden Sensor 2 durchgeführt werden.
Hierbei werden ein Bild zu einem Zeitpunkt t = 0 sowie ein weiteres Bild zum Zeitpunkt t = 0 + δ miteinander verglichen. In einem ersten Schritt werden die beiden Bilder wegen der Sensoreigenbewegung so aufeinander referenziert, dass diese sich direkt überdecken. Um rechenaufwändige Korrelationsverfahren zu vermeiden, können die beiden Bilder mittels einer schnellen diskreten Fouriertransformation in einen Frequenzbereich transformiert werden. Dadurch können die bei der Korrelation benötigten Faltungsoperationen durch Multiplikationen ersetzt werden. Das Ergebnis der Faltung im Frequenzbereich wird danach in den Zeitbereich mittels einer inversen, schnellen diskreten Fouriertransformation zurückgewandelt. Im Endbild wird mittels eines Maximum-Operators diejenige Verschiebung zwischen den beiden Bildern detektiert, welche die beiden Originalbilder zur Deckung bringt. Danach können mittels eines Differenzbildansatzes bewegte Objekte in den Bildern detektiert werden.
Eine Besonderheit des erfindungsgemäßen Verfahrens besteht darin, dass das Ausmaß des Sensorschwenks automatisch ermittelt werden kann, so dass durch schnelle Sensorschwenks verursachte Störungen unterdrückt werden können.
Das wesentliche besteht aber darin, die Objekte auch trotz Bewegung zu identifizieren, ihre Ausdehnungen sowie die geometrischen und räumlichen Relationen, insbesondere auch während des Sensorschwenks, untereinander festzustellen und deren Dynamik zu erfassen.
Durch Fusionierung und Assoziation der Dynamiken können zeitliche Muster von situationscharakteristischen Größen erzeugt werden. Mit zeitlichen Filtern auf der Ebene der Objekte und/oder der abgeleiteten Größen kann die weitere Entwicklung der Situation prädiziert werden. Danach kann eine Bewertung der Ergebnisse durch Klassifikatoren, Expertensysteme oder auch unscharfe Logik, wodurch die Situation analysiert und Regelungs- oder Aktorikbedarf abgeleitet werden kann, erfolgen. Regelungs- oder Aktorikbedarf bedeutet hier, dass der Sensor 2 entweder eine Schwenkung vollzieht, auf das Objekt hinzoomt oder einen Alarm erzeugen kann.
Mit dem erfindungsgemäßen Verfahren wäre es möglich, eine automatische Auswertung von Videodatenströmen, die von auf Fahrzeugen montierten schwenkbaren Sensoren 2 die Beurteilung einer Situation im Bereich Grenzüberwachung ermöglichen, vorzunehmen. Der Sensor 2 kann dabei mittels einer Schwenkung fortlaufend ein zu überwachendes Gebiet überstreichen. Sobald an einer Stelle unerlaubte Grenzübertritte erkannt werden, kann beispielsweise die Schwenkung unterbrochen und ein Alarm ausgelöst werden. Weiterhin kann hierbei der Sensor 2 selbstständig auf den interessierenden Bereich hinzoomen und das erkannte Objekt automatisch weiter verfolgen. In diesem Ausführungsbeispiel kann also der Sensor 2 mit einem Zoomobjektiv versehen sein, wobei dies für dieses Verfahren aber nicht Voraussetzung ist. Weiterhin kann die erfindungsgemäße Überwachungseinrichtung 1 und das Verfahren ebenfalls zur Beurteilung von Gefahrensituationen in Parkhäusern oder auch an öffentlichen Plätzen durch Situationanalyse aus Bildfolgen eingesetzt werden.
Der hier eingesetzte Sensor 2 ist als schwenkender Sensor 2 zum Abfahren eines definierten zu überwachenden Bereichs auf Objekten wie Fahrzeuge, Flugzeuge, Schiffe oder ähnliches ausgeführt, kann aber ebenso auch als feststehender Sensor 2 zur Bewegungsdetektion ausgebildet sein. Das Schwenken des Sensors 2 ist in vertikaler und horizontaler Richtung wie auch überlagert möglich, wobei der Sensor 2 um 360° fortlaufend drehbar angeordnet sein kann.
In Figur 2 ist ein Flussdiagramm zum Verfahrensablauf dargestellt. Der schwenkbare bildgebende Sensor 2 tastet die Szene mit räumlich und zeitlich hoher Dichte ab. Die Detektion von Objekten erfolgt in mehreren Schritten. Im ersten Schritt wird die Eigenbewegung des Sensors 2 (Schwenk-Neigebewegung, Sensorwackeln, Eigenbewegung der Sensorplattform) über eine Bildfolge analysiert. Die nun hieraus gewonnenen Informationen können dazu verwendet werden, lokale Inhomogenitäten im Bewegungsmuster zu ermitteln und daraus die Eigenbewegung des Sensors 2 von einer tatsächlichen Objektbewegung zu separieren bzw. zu unterscheiden.
Hierzu können schritthaltend sogenannte Verschiebungsvektoren von zwei aufeinanderfolgenden Bildern bestimmt werden. Die Verschiebungsvektoren geben die Bewegung des Sensors 2 bezüglich des Bildhintergrundes an. Die davon abweichenden Bewegungsmuster werden als Objekte interpretiert. Das hier erfindungsgemäße Verfahren zeichnet sich ebenfalls ganz speziell dadurch aus, dass die Berechnung der Verschiebungsvektoren ohne Verwendung von speziellen Rechnerkomponenten in Echtzeit ermöglicht werden kann. Dadurch kann die Wahrscheinlichkeit, dass fehlerhafte Verschiebungsvektoren zu ungenauen Auswerteergebnissen führen, minimiert werden, indem nur Verschiebungsvektoren an kontrastreichen Punkten bzw. Stellen im Bilderfassungsausschnitt des Sensors 2 berechnet werden.
Die so detektierten Objekte können danach in einer weiteren Auswertung anschließend einzeln untersucht werden. Für jedes Objekt können die zugehörigen Merkmale, wie Ausprägung, Form, Länge und Geschwindigkeit der Bewegung, bestimmt und klassifiziert werden. Eine optionale zeitliche Filterkomponente kann aus den bereits aus der Historie bekannten Objektpositionen Prädiktionen für die zu erwartenden Objektpositionen berechnen. Für jedes neu detektierte Objekt kann von der Objektverwaltung eine "Spur", also der vom Objekt im Bild zurückgelegte Weg, angelegt werden. Nach Berechnung der zeitlichen Filterkomponente kann die Objektverwaltung jedes Mal alle Objektmessgrößen sowie gegebenenfalls die Ergebnisse der zeitlichen Filterkomponente in die Spur eintragen. Aufgrund der Spurdaten können nun in der Dynamikmessung die bis dahin ermittelten Größen geschätzt werden. Diese können dann auch optional einer weiteren zeitlichen Filterung unterworfen werden, um eine Prädiktion zu erzielen.
Mit diesen Ergebnissen ist nun die Szene bezüglich der Objekte und Objektrelationen sowie deren zeitlicher Entwicklung vollständig bis zum aktuellen Zeitpunkt erfasst und wird ferner optional vollständig prädiziert.
Hierbei wäre es möglich, dass erkannte Objektbewegungen einem Benutzer, beispielsweise durch Tonsignale, Einblendungen am Bildschirm oder ähnliche Alarmierungen signalisiert werden können.
Ebenso besteht die Möglichkeit, erkannte Objekte automatisch zu klassifizieren und erst bei Zuordnung zu interessanten Klassen, beispielsweise Personen oder Fahrzeuge, den Alarm auszulösen. Somit können Fehlalarme durch beispielsweise Tiere vermieden werden. Des weiteren kann nach der Alarmgenerierung die Bildsequenz digital aufgezeichnet werden.
Figur 3 stellt die in Figur 1 aufgezeigte Überwachungseinrichtung sehr schematisch bei Einsatz zur Objektverfolgung dar. In einem bestimmten Umkreis können sich bewegende Objekte von dem Sensor 2 aufgezeichnet, überwacht und verfolgt werden. Dabei wären verschiedene Systemlösungen möglich. Die erste Lösung wäre, den Schwenkbetrieb gegebenenfalls zu beenden, die Objektverfolgung mit der automatischen Sensornachführung zu starten, um das erkannte Objekt im Bildausschnitt zu halten. Bei Bedarf kann auch mittels eines integrierten Laserentfernungsmessgerätes der Abstand des erkannten und verfolgten Objektes zum Aufnahmestandpunkt des Sensors 2 ermittelt werden.
Eine zweite Möglichkeit wäre, den Schwenkbetrieb gegebenenfalls zu beenden, die Sensorblickrichtung konstant beizubehalten und dem Bediener die weiteren Aktionen, eventuelle Weiterverfolgung oder Alarmierung, zu überlassen. Ebenso wäre aber auch möglich, den Schwenkbetrieb gegebenenfalls weiter beizubehalten, um die anderen Bereiche des Überwachungsgebietes nicht unbeobachtet zu lassen. Dabei sollte der Bediener selbstständig einen Alarm weiter verfolgen und gegebenenfalls in das Gesamtsystem eingreifen.
Die Überwachungsvorrichtung 1 ist in verschiedenen Wellenlängenbereichen wie beispielsweise Nahinfrarot, Infrarot 3 bis 5 µm, Infrarot 8 - 12 µm, UV oder auch im visuellen Bereich einsetzbar. Die Realisierung des Verfahrens kann auf bekannten PC-Systemen oder auf DSP-Systemen, unter verschiedenen Betriebssystemen (LINUX, MS-Windows, Echtzeitbetriebssysteme) vorgenommen werden. Bei Realisierungen auf DSP-Systemen ist man für spezielle Anwendungen besser anpassbar. Außerdem können diese Systeme unter speziellen Umweltbedingungen, wie Temperaturbereich oder Vibrationen, eingesetzt werden.
Die erfindungsgemäße Überwachungsvorrichtung 1 wie auch das erfindungsgemäße Verfahren ermöglichen es, sich in der Szene bewegende Objekte auch bei schwenkendem bildgebenden Sensor 2 automatisch zu detektieren und zu verfolgen. Das Gesamtsystem stellt somit eine Überwachungsvorrichtung 1 dar, deren bildgebender Sensor 2 oder gegebenenfalls auch mehrere bildgebende Sensoren, in einem Suchmodus kontinuierlich ein Zielgebiet überstreichen oder durch Montage auf einer mobilen Plattform selbst bewegt werden. Im Zielgebiet bzw. im Erfassungsbereich des Sensors 2 können sich bewegende Objekte automatisch erfasst werden und zur Nachführung des Schwenk-Neigekopfes verwendet werden.
Die Besonderheit dieses Verfahrens besteht darin, dass auf szenenspezifisches Vorwissen, wie Sensorkalibrierung auf eine Szenenebene, Angabe von Objekttypen, z.B. Fahrzeuge oder ähnliches, welche bereits aus dem Stand der Technik bekannt sind und dort notwendig eingesetzt werden müssen, verzichtet wird, was eine breite Einsatzfähigkeit in vielfältigsten Situationen gewährleistet.
Außerdem ist dadurch eine einfach zu realisierende und schnelle Einsatzbereitschaft auch an wechselnden Orten sichergestellt.

Claims (20)

  1. Überwachungsvorricht-ung mit wenigstens einem bildgebenden Sensor zur Übertragung von Bilddaten, wobei der wenigstens eine bildgebende Sensor (2) schwenkbar ausgebildet ist, wobei kontinuierlich ein Zielgebiet/Zielbereich überwachbar ist, und wobei eine softwareparametrisierte Erkennungs- und Steuereinheit (1') zur Verfolgung von sich im Zielgebiet/ Zielbereich bewegenden Objekten vorgesehen ist.
  2. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass eine Meldeeinrichtung vorgesehen ist.
  3. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) in einer Schwenk-Neigekopfeinrichtung gelagert ist.
  4. Überwachungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) kontinuierlich um 360° drehbar gelagert ist.
  5. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) um wenigstens eine Achse schwenkbar ist.
  6. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die softwareparametrisierte Erkennungs- und Steuereinheit (1') aus einer Digitalisiereinrichtung (3) und einer Auswerteeinrichtung (4) gebildet ist.
  7. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass eine Digitalisiereinrichtung (3) im Sensor (2) vorgesehen ist.
  8. Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass ein integriertes Laserentfernungsmessgerät vorgesehen ist.
  9. Verfahren zur Überwachung von Gebieten/Bereichen mit einer Überwachungseinrichtung mit wenigstens einem bildgebenden Sensor, dadurch gekennzeichnet, dass der wenigstens eine bildgebende Sensor (2) schwenkbar um zumindest eine Achse ausgebildet wird, wobei kontinuierlich ein Gebiet/Bereich aufgenommen und überwacht wird, und wobei sich bewegende Objekte im Gebiet/Bereich erfasst, verfolgt oder gemeldet werden.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass ohne Vorwissen über Szene, Entfernung, gesuchte Objekte, Art des angeschlossenen Sensors (2) und Wellenlängenbereich eine Überwachung von Gebieten/Bereichen vorgenommen wird.
  11. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Ausmaß der Schwenkung des wenigstens einen Sensors (2) automatisch aus der Bildsequenz ermittelt wird.
  12. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass nach Ermittlung der Bewegung die Objekte klassifiziert werden.
  13. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass nach.Erkennen des sich bewegenden Objektes die Schwenkung des wenigstens einen Sensors (2) beendet wird, wobei anschließend die Verfolgung des Objektes mit einer automatischen Sensornachführung vorgenommen wird.
  14. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass nach Erkennung des sich bewegenden Objektes die Schwenkung des wenigstens einen Sensors (2) beendet wird, wobei anschließend in der Position die Sensorrichtung konstant beibehalten wird, und wobei manuell durch einen Bediener weiterverfolgt wird.
  15. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass nach Erkennung des sich bewegenden Objektes die Schwenkung beibehalten wird, wobei der Bediener die Objekte manuell weiterverfolgen wird.
  16. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Messen einer Objektentfernung mit einem Laserentfernungsmessgerät erfolgt.
  17. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) selbstständig auf einen Bereich mit dem sich bewegenden Objekt hinzoomt, wobei der Bilderfassungsausschnitt verändert wird.
  18. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass der wenigstens eine Sensor (2) selbstständig auf einen Bereich mit dem sich bewegenden Objekt hinzoomt, wobei der Bilderfassungsausschnitt verändert wird, und wobei die Verfolgung des Objektes mit einer Sensornachführung vorgenommen wird.
  19. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass nach Erkennung der Bewegung des Objektes eine Alarmierung erfolgt.
  20. Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass nach Alarmierung eine Bildsequenz digital aufgezeichnet wird.
EP03025893.3A 2003-01-22 2003-11-12 Überwachungsvorrichtung Expired - Lifetime EP1441316B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10302306A DE10302306A1 (de) 2003-01-22 2003-01-22 Überwachungsvorrichtung
DE10302306 2003-01-22

Publications (3)

Publication Number Publication Date
EP1441316A2 true EP1441316A2 (de) 2004-07-28
EP1441316A3 EP1441316A3 (de) 2004-11-24
EP1441316B1 EP1441316B1 (de) 2014-09-17

Family

ID=32520057

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03025893.3A Expired - Lifetime EP1441316B1 (de) 2003-01-22 2003-11-12 Überwachungsvorrichtung

Country Status (4)

Country Link
EP (1) EP1441316B1 (de)
DE (1) DE10302306A1 (de)
HU (1) HUP0400144A2 (de)
PL (1) PL364483A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014117277A1 (de) 2014-11-25 2016-05-25 Airbus Ds Optronics Gmbh Trägersystem

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012223121A1 (de) 2012-12-13 2014-06-18 Cassidian Optronics Gmbh Verfahren zur Verfolgung wenigstens eines Objekts und Überwachungsvorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805018A (en) 1986-03-07 1989-02-14 Matsushita Electric Industrial Co., Ltd. Video signal processing apparatus for separating an image of a moving object from video signals
DE10007021A1 (de) 2000-02-16 2001-08-30 Joachim Seidel Überwachungseinrichtung mit einer Kamera
DE10010590A1 (de) 2000-03-03 2001-09-13 Nedret Sahin Fernsteuerbare Kamera und Verfahren zum Betreiben einer fernsteuerbaren Kamera

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805018A (en) 1986-03-07 1989-02-14 Matsushita Electric Industrial Co., Ltd. Video signal processing apparatus for separating an image of a moving object from video signals
DE10007021A1 (de) 2000-02-16 2001-08-30 Joachim Seidel Überwachungseinrichtung mit einer Kamera
DE10010590A1 (de) 2000-03-03 2001-09-13 Nedret Sahin Fernsteuerbare Kamera und Verfahren zum Betreiben einer fernsteuerbaren Kamera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THIEL G ED; SANSON L D: "Automatic CCTV surveillance - towards the VIRTUAL GUARD", SECURITY TECHNOLOGY, 1999. PROCEEDINGS. IEEE 33RD ANNUAL 1999 INTERNATIONAL CARNAHAN CONFERENCE ON MADRID, 5 October 1999 (1999-10-05), pages 42 - 48, XP010355720, DOI: doi:10.1109/CCST.1999.797890

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014117277A1 (de) 2014-11-25 2016-05-25 Airbus Ds Optronics Gmbh Trägersystem
DE102014117277B4 (de) * 2014-11-25 2017-06-14 Airbus Ds Optronics Gmbh Trägersystem

Also Published As

Publication number Publication date
EP1441316B1 (de) 2014-09-17
PL364483A1 (en) 2004-07-26
HU0400144D0 (en) 2004-03-29
DE10302306A1 (de) 2004-07-29
EP1441316A3 (de) 2004-11-24
HUP0400144A2 (hu) 2005-07-28

Similar Documents

Publication Publication Date Title
DE60020420T2 (de) Situationsdarstellungs-Anzeigesystem
DE4410406C2 (de) Optoelektronische Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs
CN113256924A (zh) 一种轨道列车的监控系统，监控方法及监控装置
JP4984575B2 (ja) 画像処理による侵入者検知装置
WO1998040855A1 (de) Einrichtung zur videoüberwachung einer fläche
KR101496390B1 (ko) 차량번호인식 시스템
DE102008039130A1 (de) Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren
EP1531342B1 (de) Verfahren zur Erkennung von Fussgängern
EP2126840A1 (de) Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
WO2009143542A2 (de) Verfahren zur videoanalyse
DE10042935B4 (de) Verfahren zum Überwachen eines vorbestimmten Bereichs und entsprechendes System
EP3921819B1 (de) Überwachungsvorrichtung und verfahren zur man-overboard-überwachung eines schiffsabschnitts
DE102007063508A1 (de) Verfahren und Anordnung zur Erfassung von Bewegungsgrößen bei einem Schienenfahrzeug
DE19937928B4 (de) Einrichtung zum Erkennen eines beweglichen Körpers und Einrichtung zum Überwachen eines Kraftfahrzeugs
KR100871833B1 (ko) 자동 추적 카메라 장치
DE19640938A1 (de) Anordnung und Verfahren zur Überwachung von Verkehrsflächen
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
KR100782205B1 (ko) 영상검지를 이용한 차량속도 표시 장치 및 시스템
EP1441316B1 (de) Überwachungsvorrichtung
WO1997004428A1 (de) Interaktives überwachungssystem
DE102014219838A1 (de) Rauchdetektionsvorrichtung sowie Verfahren zur Detektion von Rauch eines Brandes und Computerprogramm
WO2020160874A1 (de) Kalibriereinrichtung für eine überwachungsvorrichtung, überwachungsvorrichtung zur man-overboard-überwachung sowie verfahren zur kalibrierung
DE19600958A1 (de) Interaktives Überwachungssystem
DE102006020930B4 (de) Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug
JPH0460880A (ja) 動体識別解析管理システム

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

17P Request for examination filed

Effective date: 20050119

AKX Designation fees paid

Designated state(s): CZ DE FR GB IT SI

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CARL ZEISS OPTRONICS GMBH

17Q First examination report despatched

Effective date: 20081209

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20140602

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): CZ DE FR GB IT SI

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 50315130

Country of ref document: DE

Effective date: 20141030

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: AIRBUS DS OPTRONICS GMBH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50315130

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20150618

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20150731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20141201

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20161121

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50315130

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180602

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20221125

Year of fee payment: 20

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20231111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20231111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20231111