EP1441316A2 - Surveillance device - Google Patents
Surveillance device Download PDFInfo
- Publication number
- EP1441316A2 EP1441316A2 EP03025893A EP03025893A EP1441316A2 EP 1441316 A2 EP1441316 A2 EP 1441316A2 EP 03025893 A EP03025893 A EP 03025893A EP 03025893 A EP03025893 A EP 03025893A EP 1441316 A2 EP1441316 A2 EP 1441316A2
- Authority
- EP
- European Patent Office
- Prior art keywords
- sensor
- monitoring device
- area
- objects
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012806 monitoring device Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000011664 signaling Effects 0.000 abstract 1
- 230000002123 temporal effect Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
Definitions
- the invention relates to a monitoring device with at least an imaging sensor for the transmission of image data.
- the invention also relates to a method for monitoring of areas / areas with a monitoring device at least one imaging sensor.
- the development of sensors has been like the automatic evaluation of images has also been significantly improved Service.
- the sensors deliver data streams which be digitized, and the resulting digitized Image data are evaluated by digital computers made accessible.
- Application examples can be found in the Measurement of objects in the quality inspection based on Pattern comparisons, in access control using facial, Fingerprint or iris recognition, in motion detection for property protection and of course in traffic surveillance.
- the information contained in image sequences is used for object tracking for a wide variety of applications, such as Open-air site monitoring or crash test evaluations, used.
- the video sensors common today are capable of image data streams to be evaluated if the imaging sensors are permanently installed become. For applications where large terrain areas, like parking lots or car parks, must be monitored, is a sufficient number of sensors to cover such areas to fully grasp, necessary.
- a monitoring device is known from DE 100 07 021 A1 known a camera, the camera on a profiled Rail is kept mobile.
- the camera can do one Have transmitter for wireless transmission of image data.
- the Camera is attached to a body that runs along the profiled rail is movably attached. On the main body there are rollers that have a drive, so the camera goes in both directions along the rail can be moved.
- To transfer operating current to the drive and / or to transmit the generated by the camera Image signals can be on a suitable outer surface of the profiled rail provided a number of conductor tracks his. It would also be possible to use control image data to transmit wirelessly.
- this monitoring device is very complex, because the camera specifically on a body and this again has to be attached to a profiled rail, to be able to move the camera during surveillance tasks. Furthermore, there is no evaluation of the image data streams here possible.
- DE 100 10 590 A1 describes a method for Operating a remote-controlled camera described, wherein Remote control data from a remote control device and image data transmitted from the camera to an image display device and the remote control and image data over a computer network be transmitted.
- the camera can be remote controlled be pivoted.
- the individual images transmitted by the camera are in the image display device as a video sequence together. So at the image display device an exact representation of a movement sequence is shown become.
- a video server receives via a video card Image data, with individual images in the video server from the image data are generated in a compression facility be compressed using a suitable algorithm.
- the images compressed in this way are stored in a working memory of the video server.
- the compressed images are prepared for sending, transmitted as a serial data stream to a network interface, which then stream this data over the computer network to the remote control device and finally to the image display device transmitted.
- the object of the invention is a monitoring device and to create a process which the minimized disadvantages described above and with which or with which an analysis of the situation of the observing Scene made from image sequences and from the analysis regulatory or actuator requirements can be derived.
- the monitoring device is a device which has at least one imaging sensor, being the sensor for monitoring objects that are within move the image section, advantageously is designed to be pivotable about at least one axis. Consequently a surveillance area can be continuously guarded and for objects that move within this area, the movement is captured and the object is swiveled Sensors are tracked.
- This device enables one global situation analysis through a new combination of Image evaluation and algorithms based on video sensors even with swiveling imaging sensor. Farther can the monitoring device several fixed sensors replace, minimizing costs and monitoring effort can. In addition, even in confusing areas or areas practically every area or angle of area to be recorded.
- Figure 1 describes a monitoring device 1, which consists of an imaging sensor 2, for example a camera or a thermal imaging device, and a software-parameterized detection and control unit 1 'is formed.
- the software parameterized Detection and control unit 1 ' is again off a digitizing device 3 and an evaluation device 4 formed. Digitization can also be done in sensor 2 respectively.
- the imaging sensor 2 can by means of a pan-tilt head on areas to be detected be judged.
- the two pictures are because of the Sensor movement referenced to each other so that this overlap directly.
- Computationally complex correlation procedures To avoid the two images using a fast discrete Fourier transform in a frequency domain be transformed. This can help with the correlation required folding operations by multiplication be replaced.
- the result of folding in the frequency domain is then in the time domain by means of an inverse, fast converted back into discrete Fourier transform.
- the final picture is the shift by means of a maximum operator detected between the two images, which the two Matches original images. Then you can use a Differential image approach detected moving objects in the images become.
- temporal Patterns of situation-characteristic quantities generated become.
- temporal filters at the level of the objects and / or the derived sizes may further develop of the situation.
- an assessment the results through classifiers, expert systems or also fuzzy logic, which analyzes the situation and regulates or actuator requirements can be derived.
- Control or actuator requirements here means that sensor 2 either pans, zooms in on the object or can generate an alarm.
- the method according to the invention it would be possible to use an automatic Evaluation of video data streams from vehicles mounted pivotable sensors 2 assessing a Enable situation in the area of border surveillance.
- the sensor 2 can continuously by swiveling paint over an area to be monitored. As soon as unauthorized border crossings can be recognized For example, the swing is interrupted and an alarm is triggered become.
- the sensor 2 can operate independently Zoom in on the area of interest and the recognized Continue tracking object automatically. In this embodiment can therefore provide the sensor 2 with a zoom lens be, but this is not a requirement for this procedure is.
- the monitoring device according to the invention 1 and the procedure for the assessment of Dangerous situations in car parks or in public places Places are used through situation analysis from image sequences.
- the sensor 2 used here is a pivoting sensor 2 to move over a defined area to be monitored Objects such as vehicles, planes, ships or the like, but can also be used as a fixed sensor 2 Motion detection can be formed. Panning the sensor 2 is superimposed in the vertical and horizontal directions as well possible, whereby the sensor 2 can be rotated continuously through 360 ° can be arranged.
- FIG. 2 shows a flow diagram for the process sequence.
- the pivotable imaging sensor 2 scans the scene with high spatial and temporal density.
- the detection of Objects are done in several steps.
- the first step is the own movement of sensor 2 (pan-tilt movement, sensor wobble, Own movement of the sensor platform) via an image sequence analyzed.
- the information now gained from this can be used to identify local inhomogeneities in the movement pattern to determine and from this the own movement of the sensor 2 separate from an actual object movement or differentiate.
- So-called displacement vectors can keep pace with this be determined by two successive images.
- the Displacement vectors indicate the movement of the sensor 2 of the image background.
- the deviating movement patterns are interpreted as objects.
- the invention here Process is also very special characterized in that the calculation of the displacement vectors without Use of special computer components in real time can be made possible. This can reduce the likelihood that incorrect displacement vectors lead to inaccurate evaluation results lead to be minimized by only displacement vectors at high-contrast points or locations in the image capture section of sensor 2 can be calculated.
- the objects detected in this way can then be used in another Evaluation can then be examined individually.
- For each Object can have the associated characteristics, such as characteristics, shape, Length and speed of the movement, determined and classified become.
- An optional temporal filter component can from the object positions already known from the history Calculate predictions for the expected object positions.
- the object management can a "track", that is the distance covered by the object in the image Way to be laid out.
- object management can do all object measurements every time as well as the results of the temporal Enter the filter component in the track. Because of the track data can now determine the previously determined in the dynamic measurement Sizes are estimated. These can then optionally be one be subjected to further temporal filtering in order to make a prediction to achieve.
- detected object movements Users for example by sound signals, on-screen displays Screen or similar alarms are signaled can.
- the alarm trigger There is also the possibility of automatically recognizing objects to classify and only when assigned to interesting ones Classes, such as people or vehicles, the alarm trigger. This can cause false alarms from animals, for example be avoided. Furthermore, after the alarm generation the image sequence can be recorded digitally.
- FIG. 3 shows the monitoring device shown in FIG. 1 very schematically when used for object tracking.
- Moving objects can be recorded, monitored and tracked by sensor 2 within a certain radius.
- the first solution would be to end the pan operation if necessary, to start object tracking with the automatic sensor tracking in order to keep the detected object in the image section.
- the distance of the recognized and tracked object to the recording position of the sensor 2 can also be determined by means of an integrated laser distance measuring device.
- a second option would be to end the swiveling operation if necessary, to keep the sensor line of sight constant and to leave the operator to take further action, possibly follow up or alarm.
- the monitoring device 1 is in different wavelength ranges such as near infrared, infrared 3 to 5 ⁇ m, infrared 8 - 12 ⁇ m, UV or can also be used in the visual range.
- the implementation of the method can be known PC systems or on DSP systems, under different operating systems (LINUX, MS-Windows, real-time operating systems) be made. When realizing on DSP systems one more adaptable for special applications. You can also these systems under special environmental conditions, such as temperature range or vibrations can be used.
- the monitoring device 1 according to the invention and the method according to the invention make it possible to automatically detect and track objects moving in the scene even when the imaging sensor 2 is pivoting.
- the overall system thus represents a monitoring device 1, the imaging sensor 2 or, if appropriate, also several imaging sensors, continuously sweep over a target area in a search mode or be moved by mounting on a mobile platform itself. In the target area or in the detection area of sensor 2, moving objects can be automatically detected and used to track the pan-tilt head.
- scene-specific prior knowledge such as sensor calibration at a scene level, specification of object types, e.g. vehicles or the like, which are already known from the prior art and must be used there, is dispensed with, which makes them widely applicable guaranteed in a wide variety of situations. In addition, this ensures an easy to implement and quick operational readiness even in changing locations.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
Die Erfindung betrifft eine Überwachungsvorrichtung mit wenigstens einem bildgebenden Sensor zur Übertragung von Bilddaten.The invention relates to a monitoring device with at least an imaging sensor for the transmission of image data.
Ebenfalls betrifft die Erfindung ein Verfahren zur Überwachung von Gebieten/Bereichen mit einer Überwachungseinrichtung mit wenigstens einem bildgebenden Sensor.The invention also relates to a method for monitoring of areas / areas with a monitoring device at least one imaging sensor.
In den vergangenen Jahren ist die Entwicklung der Sensorik wie auch die automatische Auswertung von Bildern wesentlich verbessert worden. Die Sensoren liefern dabei Datenströme, welche digitalisiert werden, und die somit entstandenen digitalisierten Bilddaten werden einer Auswertung durch digitale Computer zugänglich gemacht. Anwendungsbeispiele finden sich in der Vermessung von Objekten, in der Qualitätsprüfung anhand von Mustervergleichen, in der Zutrittskontrolle mittels Gesichts-, Fingerabdruck- oder Iriserkennung, in der Bewegungsdetektion für den Objektschutz und natürlich in der Verkehrsüberwachung. Die in Bildfolgen enthaltenen Informationen werden zur Objektverfolgung für die unterschiedlichsten Anwendungen, wie beispielsweise Freigeländeüberwachung oder Crashversuchsauswertungen, verwendet.In the past few years, the development of sensors has been like the automatic evaluation of images has also been significantly improved Service. The sensors deliver data streams which be digitized, and the resulting digitized Image data are evaluated by digital computers made accessible. Application examples can be found in the Measurement of objects in the quality inspection based on Pattern comparisons, in access control using facial, Fingerprint or iris recognition, in motion detection for property protection and of course in traffic surveillance. The information contained in image sequences is used for object tracking for a wide variety of applications, such as Open-air site monitoring or crash test evaluations, used.
Es werden jeweils einzelne, einer bestimmten Messaufgabe entsprechende Informationen, beispielsweise die Maßhaltigkeit oder Farbe eines Objektes, aus den Videobilddaten extrahiert. Diese Tatsache spiegelt sich darin wieder, dass die Konfiguration aus bildgebenden Sensor und Rechner (einschließlich der spezifischen Auswertesoftware) als "Videosensor" bezeichnet wird.There are individual, corresponding to a specific measurement task Information, such as dimensional accuracy or color of an object extracted from the video image data. This fact is reflected in the configuration from imaging sensor and computer (including the specific evaluation software) referred to as a "video sensor" becomes.
Die heute üblichen Videosensoren sind in der Lage, Bilddatenströme auszuwerten, sofern die bildgebenden Sensoren fest montiert werden. Bei Anwendungen, bei denen große Geländebereiche, wie Parkplätze oder Parkhäuser, überwacht werden müssen, ist eine ausreichende Anzahl von Sensoren, um derartige Bereiche vollständig zu erfassen, notwendig.The video sensors common today are capable of image data streams to be evaluated if the imaging sensors are permanently installed become. For applications where large terrain areas, like parking lots or car parks, must be monitored, is a sufficient number of sensors to cover such areas to fully grasp, necessary.
Aus der DE 100 07 021 A1 ist eine Überwachungseinrichtung mit einer Kamera bekannt, wobei die Kamera auf einer profilierten Schiene ortsveränderlich gehalten ist. Die Kamera kann einen Sender zum drahtlosen Übertragen von Bilddaten aufweisen. Die Kamera ist an einem Grundkörper befestigt, der entlang der profilierten Schiene verfahrbar angebracht ist. An dem Grundkörper befinden sich Laufrollen, welche einen Antrieb aufweisen, so dass die Kamera in beide Richtungen entlang der Schiene verfahren werden kann. Zum Übertragen von Betriebsstrom zu dem Antrieb und/oder zum Übertragen des von der Kamera erzeugten Bildsignales können auf einer geeigneten Außenfläche der profilierten Schiene eine Anzahl von Leiterbahnen vorgesehen sein. Hierbei wäre es aber auch möglich Steuerungsbilddaten drahtlos zu übertragen.A monitoring device is known from DE 100 07 021 A1 known a camera, the camera on a profiled Rail is kept mobile. The camera can do one Have transmitter for wireless transmission of image data. The Camera is attached to a body that runs along the profiled rail is movably attached. On the main body there are rollers that have a drive, so the camera goes in both directions along the rail can be moved. To transfer operating current to the drive and / or to transmit the generated by the camera Image signals can be on a suitable outer surface of the profiled rail provided a number of conductor tracks his. It would also be possible to use control image data to transmit wirelessly.
Die Anordnung dieser Überwachungseinrichtung ist sehr aufwendig, da die Kamera speziell an einem Grundkörper und dieser wiederum an einer profilierten Schiene angebracht werden muss, um die Kamera bei Überwachungsaufgaben verfahren zu können. Weiterhin ist eine Auswertung der Bilddatenströme hier nicht möglich.The arrangement of this monitoring device is very complex, because the camera specifically on a body and this again has to be attached to a profiled rail, to be able to move the camera during surveillance tasks. Furthermore, there is no evaluation of the image data streams here possible.
Des weiteren ist in der DE 100 10 590 A1 ein Verfahren zum Betreiben einer fernsteuerbaren Kamera beschrieben, wobei Fernsteuerdaten von einer Fernsteuereinrichtung und Bilddaten von der Kamera an eine Bilddarstellungseinrichtung übermittelt werden, und wobei die Fernsteuer- und Bilddaten über ein Computernetzwerk übermittelt werden. Die Kamera kann ferngesteuert verschwenkt werden. Die von der Kamera übermittelten Einzelbilder werden in der Bilddarstellungseinrichtung als Videosequenz zusammengefügt. So kann an der Bilddarstellungseinrichtung eine genaue Wiedergabe eines Bewegungsablaufes dargestellt werden. Ein Videoserver empfängt über eine Videokarte Bilddaten, wobei in dem Videoserver aus den Bilddaten Einzelbilder generiert werden, die in einer Komprimierungseinrichtung mit Hilfe eines geeigneten Algorithmus' komprimiert werden. Die so komprimierten Bilder werden in einem Arbeitsspeicher des Videoserver abgelegt. In einer Ausgangseinrichtung werden die komprimierten Bilder zur Versendung vorbereitet, als serieller Datenstrom an eine Netzwerkschnittstelle übermittelt, die diesen Datenstrom danach über das Computernetzwerk zu der Fernsteuereinrichtung und schließlich zu der Bilddarstellungseinrichtung übermittelt.Furthermore, DE 100 10 590 A1 describes a method for Operating a remote-controlled camera described, wherein Remote control data from a remote control device and image data transmitted from the camera to an image display device and the remote control and image data over a computer network be transmitted. The camera can be remote controlled be pivoted. The individual images transmitted by the camera are in the image display device as a video sequence together. So at the image display device an exact representation of a movement sequence is shown become. A video server receives via a video card Image data, with individual images in the video server from the image data are generated in a compression facility be compressed using a suitable algorithm. The images compressed in this way are stored in a working memory of the video server. In an exit facility the compressed images are prepared for sending, transmitted as a serial data stream to a network interface, which then stream this data over the computer network to the remote control device and finally to the image display device transmitted.
Erfindungsgemäß ist es Aufgabe der Erfindung, eine Überwachungsvorrichtung und ein Verfahren zu schaffen, welche(s) die vorgehend beschriebenen Nachteile minimiert und mit welcher bzw. mit welchem eine Analyse der Situation der beobachtenden Szene aus Bildfolgen vorgenommen und aus der Analyse Regelungs- oder Aktorikbedarf abgeleitet werden kann.According to the invention, the object of the invention is a monitoring device and to create a process which the minimized disadvantages described above and with which or with which an analysis of the situation of the observing Scene made from image sequences and from the analysis regulatory or actuator requirements can be derived.
Die Aufgabe der Erfindung wird durch die Merkmale des Patentanspruches
1 gelöst.The object of the invention is achieved by the features of the
Die erfindungsgemäße Überwachungsvorrichtung ist eine Vorrichtung, welche wenigstens einen bildgebenden Sensor aufweist, wobei der Sensor zur Überwachung von Objekten, welche sich innerhalb des Bildausschnittes bewegen, in vorteilhafter Weise um wenigstens eine Achse schwenkbar ausgebildet ist. Somit kann fortdauernd ein Überwachungsgebiet ständig bewacht werden und bei Objekten, welche sich innerhalb dieses Gebietes bewegen, die Bewegung erfasst und das Objekt unter Schwenkung des Sensors verfolgt werden. Diese Vorrichtung ermöglicht eine globale Situationsanalyse durch eine neuartige Kombination von Bildauswertung und Algorithmen auf der Grundlage von Videosensorik auch bei schwenkbarem bildgebenden Sensor. Weiterhin kann die Überwachungseinrichtung mehrere ortsfeste Sensoren ersetzen, wobei Kosten und Überwachungsaufwand minimiert werden können. Darüber hinaus ist auch bei unübersichtlichen Gebieten bzw. Bereichen praktisch jeder Bereich bzw. Winkel des zu erfassenden Gebietes aufnehmbar. The monitoring device according to the invention is a device which has at least one imaging sensor, being the sensor for monitoring objects that are within move the image section, advantageously is designed to be pivotable about at least one axis. Consequently a surveillance area can be continuously guarded and for objects that move within this area, the movement is captured and the object is swiveled Sensors are tracked. This device enables one global situation analysis through a new combination of Image evaluation and algorithms based on video sensors even with swiveling imaging sensor. Farther can the monitoring device several fixed sensors replace, minimizing costs and monitoring effort can. In addition, even in confusing areas or areas practically every area or angle of area to be recorded.
Weiterhin wird die Aufgabe durch die kennzeichnenden Merkmale des Anspruches 7 gelöst.Furthermore, the task is characterized by the characteristics of claim 7 solved.
In vorteilhafter Weise kann vorgesehen sein, dass nach Ermittlung der Bewegung die Objekte klassifiziert werden, wobei nach Erkennung der Bewegung des Objektes eine Alarmierung erfolgt.It can advantageously be provided that after the determination the objects are classified according to the movement, whereby according to Detection of the movement of the object an alarm occurs.
Es besteht somit die Möglichkeit, erkannte Objekte automatisch zu klassifizieren und erst bei Zuordnung zu interessanten Klassen den Alarm auszulösen. Dadurch können Fehlalarme, welche beispielsweise sich bewegende Tiere in dem Bildausschnitt erzeugen, vermieden werden.There is thus the possibility of automatically recognizing objects to classify and only when assigned to interesting ones Classes trigger the alarm. This can cause false alarms for example, moving animals in the image section generate, be avoided.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den weiteren Unteransprüchen und dem nachfolgend anhand der Zeichnung prinzipmäßig beschriebenen Ausführungsbeispiel.Advantageous refinements and developments of the invention result from the further subclaims and the following based on the drawing embodiment described in principle.
Es zeigt:
Figur 1- prinzipmäßige Darstellung einer erfindungsgemäßen Überwachungsvorrichtung;
Figur 2- prinzipmäßige Darstellung eines erfindungsgemäßen Verfahrens anhand eines Flussdiagramms; und
Figur 3- eine prinzipmäßige Darstellung der in
Figur 1 aufgezeigten Überwachungsvorrichtung bei Einsatz zur Objektverfolgung.
- Figure 1
- schematic representation of a monitoring device according to the invention;
- Figure 2
- basic representation of a method according to the invention using a flow chart; and
- Figure 3
- a schematic representation of the monitoring device shown in Figure 1 when used for object tracking.
Figur 1 beschreibt eine Überwachungsvorrichtung 1, welche aus
einem bildgebenden Sensor 2, beispielsweise einer Kamera oder
einem Wärmebildgerät, und einer softwareparametrisierteh Erkennungs-
und Steuereinheit 1' gebildet ist. Die softwareparametrisierte
Erkennungs- und Steuereinheit 1' ist wiederum aus
einer Digitalisiereinrichtung 3 und einer Auswerteeinrichtung
4 gebildet. Die Digitalisierung kann auch bereits im Sensor 2
erfolgen. Bei großen Überwachungsgebieten bis in den Kilometerbereich
wären auch mehrere bildgebende Sensoren 2, die
Bildfolgen aufnehmen, möglich. Der bildgebende Sensor 2 kann
mittels eines Schwenk-Neigekopfes auf zu erfassende Bereiche
gerichtet werden. Durch die Kombination von Bildauswertungsalgorithmen
auf der Grundlage von Videosensorik kann nun eine
direkte Situationsanalyse bei schwenkbarem bildgebenden Sensor
2 durchgeführt werden.Figure 1 describes a
Hierbei werden ein Bild zu einem Zeitpunkt t = 0 sowie ein weiteres Bild zum Zeitpunkt t = 0 + δ miteinander verglichen. In einem ersten Schritt werden die beiden Bilder wegen der Sensoreigenbewegung so aufeinander referenziert, dass diese sich direkt überdecken. Um rechenaufwändige Korrelationsverfahren zu vermeiden, können die beiden Bilder mittels einer schnellen diskreten Fouriertransformation in einen Frequenzbereich transformiert werden. Dadurch können die bei der Korrelation benötigten Faltungsoperationen durch Multiplikationen ersetzt werden. Das Ergebnis der Faltung im Frequenzbereich wird danach in den Zeitbereich mittels einer inversen, schnellen diskreten Fouriertransformation zurückgewandelt. Im Endbild wird mittels eines Maximum-Operators diejenige Verschiebung zwischen den beiden Bildern detektiert, welche die beiden Originalbilder zur Deckung bringt. Danach können mittels eines Differenzbildansatzes bewegte Objekte in den Bildern detektiert werden.Here, an image at a time t = 0 and an another image compared at time t = 0 + δ. In a first step, the two pictures are because of the Sensor movement referenced to each other so that this overlap directly. Computationally complex correlation procedures To avoid the two images using a fast discrete Fourier transform in a frequency domain be transformed. This can help with the correlation required folding operations by multiplication be replaced. The result of folding in the frequency domain is then in the time domain by means of an inverse, fast converted back into discrete Fourier transform. In the final picture is the shift by means of a maximum operator detected between the two images, which the two Matches original images. Then you can use a Differential image approach detected moving objects in the images become.
Eine Besonderheit des erfindungsgemäßen Verfahrens besteht darin, dass das Ausmaß des Sensorschwenks automatisch ermittelt werden kann, so dass durch schnelle Sensorschwenks verursachte Störungen unterdrückt werden können.There is a special feature of the method according to the invention in that the extent of the sensor swivel is determined automatically can be caused by rapid sensor swings Disruptions can be suppressed.
Das wesentliche besteht aber darin, die Objekte auch trotz Bewegung zu identifizieren, ihre Ausdehnungen sowie die geometrischen und räumlichen Relationen, insbesondere auch während des Sensorschwenks, untereinander festzustellen und deren Dynamik zu erfassen. But the main thing is to keep the objects in spite of movement identify their extents as well as the geometric and spatial relations, especially during the sensor swivel to determine among themselves and their dynamics capture.
Durch Fusionierung und Assoziation der Dynamiken können zeitliche
Muster von situationscharakteristischen Größen erzeugt
werden. Mit zeitlichen Filtern auf der Ebene der Objekte
und/oder der abgeleiteten Größen kann die weitere Entwicklung
der Situation prädiziert werden. Danach kann eine Bewertung
der Ergebnisse durch Klassifikatoren, Expertensysteme oder
auch unscharfe Logik, wodurch die Situation analysiert und Regelungs-
oder Aktorikbedarf abgeleitet werden kann, erfolgen.
Regelungs- oder Aktorikbedarf bedeutet hier, dass der Sensor 2
entweder eine Schwenkung vollzieht, auf das Objekt hinzoomt
oder einen Alarm erzeugen kann.By merging and associating the dynamics, temporal
Patterns of situation-characteristic quantities generated
become. With temporal filters at the level of the objects
and / or the derived sizes may further develop
of the situation. After that, an assessment
the results through classifiers, expert systems or
also fuzzy logic, which analyzes the situation and regulates
or actuator requirements can be derived.
Control or actuator requirements here means that
Mit dem erfindungsgemäßen Verfahren wäre es möglich, eine automatische
Auswertung von Videodatenströmen, die von auf Fahrzeugen
montierten schwenkbaren Sensoren 2 die Beurteilung einer
Situation im Bereich Grenzüberwachung ermöglichen, vorzunehmen.
Der Sensor 2 kann dabei mittels einer Schwenkung fortlaufend
ein zu überwachendes Gebiet überstreichen. Sobald an
einer Stelle unerlaubte Grenzübertritte erkannt werden, kann
beispielsweise die Schwenkung unterbrochen und ein Alarm ausgelöst
werden. Weiterhin kann hierbei der Sensor 2 selbstständig
auf den interessierenden Bereich hinzoomen und das erkannte
Objekt automatisch weiter verfolgen. In diesem Ausführungsbeispiel
kann also der Sensor 2 mit einem Zoomobjektiv versehen
sein, wobei dies für dieses Verfahren aber nicht Voraussetzung
ist. Weiterhin kann die erfindungsgemäße Überwachungseinrichtung
1 und das Verfahren ebenfalls zur Beurteilung von
Gefahrensituationen in Parkhäusern oder auch an öffentlichen
Plätzen durch Situationanalyse aus Bildfolgen eingesetzt werden.With the method according to the invention it would be possible to use an automatic
Evaluation of video data streams from vehicles
mounted
Der hier eingesetzte Sensor 2 ist als schwenkender Sensor 2
zum Abfahren eines definierten zu überwachenden Bereichs auf
Objekten wie Fahrzeuge, Flugzeuge, Schiffe oder ähnliches ausgeführt,
kann aber ebenso auch als feststehender Sensor 2 zur
Bewegungsdetektion ausgebildet sein. Das Schwenken des Sensors
2 ist in vertikaler und horizontaler Richtung wie auch überlagert
möglich, wobei der Sensor 2 um 360° fortlaufend drehbar
angeordnet sein kann.The
In Figur 2 ist ein Flussdiagramm zum Verfahrensablauf dargestellt.
Der schwenkbare bildgebende Sensor 2 tastet die Szene
mit räumlich und zeitlich hoher Dichte ab. Die Detektion von
Objekten erfolgt in mehreren Schritten. Im ersten Schritt wird
die Eigenbewegung des Sensors 2 (Schwenk-Neigebewegung, Sensorwackeln,
Eigenbewegung der Sensorplattform) über eine Bildfolge
analysiert. Die nun hieraus gewonnenen Informationen
können dazu verwendet werden, lokale Inhomogenitäten im Bewegungsmuster
zu ermitteln und daraus die Eigenbewegung des Sensors
2 von einer tatsächlichen Objektbewegung zu separieren
bzw. zu unterscheiden.FIG. 2 shows a flow diagram for the process sequence.
The
Hierzu können schritthaltend sogenannte Verschiebungsvektoren
von zwei aufeinanderfolgenden Bildern bestimmt werden. Die
Verschiebungsvektoren geben die Bewegung des Sensors 2 bezüglich
des Bildhintergrundes an. Die davon abweichenden Bewegungsmuster
werden als Objekte interpretiert. Das hier erfindungsgemäße
Verfahren zeichnet sich ebenfalls ganz speziell
dadurch aus, dass die Berechnung der Verschiebungsvektoren ohne
Verwendung von speziellen Rechnerkomponenten in Echtzeit
ermöglicht werden kann. Dadurch kann die Wahrscheinlichkeit,
dass fehlerhafte Verschiebungsvektoren zu ungenauen Auswerteergebnissen
führen, minimiert werden, indem nur Verschiebungsvektoren
an kontrastreichen Punkten bzw. Stellen im Bilderfassungsausschnitt
des Sensors 2 berechnet werden.So-called displacement vectors can keep pace with this
be determined by two successive images. The
Displacement vectors indicate the movement of the
Die so detektierten Objekte können danach in einer weiteren Auswertung anschließend einzeln untersucht werden. Für jedes Objekt können die zugehörigen Merkmale, wie Ausprägung, Form, Länge und Geschwindigkeit der Bewegung, bestimmt und klassifiziert werden. Eine optionale zeitliche Filterkomponente kann aus den bereits aus der Historie bekannten Objektpositionen Prädiktionen für die zu erwartenden Objektpositionen berechnen. Für jedes neu detektierte Objekt kann von der Objektverwaltung eine "Spur", also der vom Objekt im Bild zurückgelegte Weg, angelegt werden. Nach Berechnung der zeitlichen Filterkomponente kann die Objektverwaltung jedes Mal alle Objektmessgrößen sowie gegebenenfalls die Ergebnisse der zeitlichen Filterkomponente in die Spur eintragen. Aufgrund der Spurdaten können nun in der Dynamikmessung die bis dahin ermittelten Größen geschätzt werden. Diese können dann auch optional einer weiteren zeitlichen Filterung unterworfen werden, um eine Prädiktion zu erzielen.The objects detected in this way can then be used in another Evaluation can then be examined individually. For each Object can have the associated characteristics, such as characteristics, shape, Length and speed of the movement, determined and classified become. An optional temporal filter component can from the object positions already known from the history Calculate predictions for the expected object positions. For each newly detected object, the object management can a "track", that is the distance covered by the object in the image Way to be laid out. After calculating the temporal filter component object management can do all object measurements every time as well as the results of the temporal Enter the filter component in the track. Because of the track data can now determine the previously determined in the dynamic measurement Sizes are estimated. These can then optionally be one be subjected to further temporal filtering in order to make a prediction to achieve.
Mit diesen Ergebnissen ist nun die Szene bezüglich der Objekte und Objektrelationen sowie deren zeitlicher Entwicklung vollständig bis zum aktuellen Zeitpunkt erfasst und wird ferner optional vollständig prädiziert.With these results, the scene is now regarding the objects and object relations as well as their temporal development completely up to the current point in time and will also be recorded optionally fully predicted.
Hierbei wäre es möglich, dass erkannte Objektbewegungen einem Benutzer, beispielsweise durch Tonsignale, Einblendungen am Bildschirm oder ähnliche Alarmierungen signalisiert werden können.Here it would be possible that detected object movements Users, for example by sound signals, on-screen displays Screen or similar alarms are signaled can.
Ebenso besteht die Möglichkeit, erkannte Objekte automatisch zu klassifizieren und erst bei Zuordnung zu interessanten Klassen, beispielsweise Personen oder Fahrzeuge, den Alarm auszulösen. Somit können Fehlalarme durch beispielsweise Tiere vermieden werden. Des weiteren kann nach der Alarmgenerierung die Bildsequenz digital aufgezeichnet werden.There is also the possibility of automatically recognizing objects to classify and only when assigned to interesting ones Classes, such as people or vehicles, the alarm trigger. This can cause false alarms from animals, for example be avoided. Furthermore, after the alarm generation the image sequence can be recorded digitally.
Figur 3 stellt die in Figur 1 aufgezeigte Überwachungseinrichtung
sehr schematisch bei Einsatz zur Objektverfolgung dar. In
einem bestimmten Umkreis können sich bewegende Objekte von dem
Sensor 2 aufgezeichnet, überwacht und verfolgt werden. Dabei
wären verschiedene Systemlösungen möglich. Die erste Lösung
wäre, den Schwenkbetrieb gegebenenfalls zu beenden, die Objektverfolgung
mit der automatischen Sensornachführung zu
starten, um das erkannte Objekt im Bildausschnitt zu halten.
Bei Bedarf kann auch mittels eines integrierten Laserentfernungsmessgerätes
der Abstand des erkannten und verfolgten
Objektes zum Aufnahmestandpunkt des Sensors 2 ermittelt
werden.
Eine zweite Möglichkeit wäre, den Schwenkbetrieb gegebenenfalls
zu beenden, die Sensorblickrichtung konstant beizubehalten
und dem Bediener die weiteren Aktionen, eventuelle Weiterverfolgung
oder Alarmierung, zu überlassen. Ebenso wäre aber
auch möglich, den Schwenkbetrieb gegebenenfalls weiter beizubehalten,
um die anderen Bereiche des Überwachungsgebietes
nicht unbeobachtet zu lassen. Dabei sollte der Bediener
selbstständig einen Alarm weiter verfolgen und gegebenenfalls
in das Gesamtsystem eingreifen.FIG. 3 shows the monitoring device shown in FIG. 1 very schematically when used for object tracking. Moving objects can be recorded, monitored and tracked by
A second option would be to end the swiveling operation if necessary, to keep the sensor line of sight constant and to leave the operator to take further action, possibly follow up or alarm. However, it would also be possible, if necessary, to continue panning operation in order not to leave the other areas of the surveillance area unobserved. The operator should independently continue to monitor an alarm and intervene in the overall system if necessary.
Die Überwachungsvorrichtung 1 ist in verschiedenen Wellenlängenbereichen
wie beispielsweise Nahinfrarot, Infrarot 3 bis 5
µm, Infrarot 8 - 12 µm, UV oder auch im visuellen Bereich einsetzbar.
Die Realisierung des Verfahrens kann auf bekannten
PC-Systemen oder auf DSP-Systemen, unter verschiedenen Betriebssystemen
(LINUX, MS-Windows, Echtzeitbetriebssysteme)
vorgenommen werden. Bei Realisierungen auf DSP-Systemen ist
man für spezielle Anwendungen besser anpassbar. Außerdem können
diese Systeme unter speziellen Umweltbedingungen, wie Temperaturbereich
oder Vibrationen, eingesetzt werden.The
Die erfindungsgemäße Überwachungsvorrichtung 1 wie auch das
erfindungsgemäße Verfahren ermöglichen es, sich in der Szene
bewegende Objekte auch bei schwenkendem bildgebenden Sensor 2
automatisch zu detektieren und zu verfolgen. Das Gesamtsystem
stellt somit eine Überwachungsvorrichtung 1 dar, deren bildgebender
Sensor 2 oder gegebenenfalls auch mehrere bildgebende
Sensoren, in einem Suchmodus kontinuierlich ein Zielgebiet
überstreichen oder durch Montage auf einer mobilen Plattform
selbst bewegt werden. Im Zielgebiet bzw. im Erfassungsbereich
des Sensors 2 können sich bewegende Objekte automatisch erfasst
werden und zur Nachführung des Schwenk-Neigekopfes verwendet
werden.
Die Besonderheit dieses Verfahrens besteht darin, dass auf
szenenspezifisches Vorwissen, wie Sensorkalibrierung auf eine
Szenenebene, Angabe von Objekttypen, z.B. Fahrzeuge oder ähnliches,
welche bereits aus dem Stand der Technik bekannt sind
und dort notwendig eingesetzt werden müssen, verzichtet wird,
was eine breite Einsatzfähigkeit in vielfältigsten Situationen
gewährleistet.
Außerdem ist dadurch eine einfach zu realisierende und schnelle
Einsatzbereitschaft auch an wechselnden Orten sichergestellt.The
The peculiarity of this method is that scene-specific prior knowledge, such as sensor calibration at a scene level, specification of object types, e.g. vehicles or the like, which are already known from the prior art and must be used there, is dispensed with, which makes them widely applicable guaranteed in a wide variety of situations.
In addition, this ensures an easy to implement and quick operational readiness even in changing locations.
Claims (20)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10302306A DE10302306A1 (en) | 2003-01-22 | 2003-01-22 | monitoring device |
| DE10302306 | 2003-01-22 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| EP1441316A2 true EP1441316A2 (en) | 2004-07-28 |
| EP1441316A3 EP1441316A3 (en) | 2004-11-24 |
| EP1441316B1 EP1441316B1 (en) | 2014-09-17 |
Family
ID=32520057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP03025893.3A Expired - Lifetime EP1441316B1 (en) | 2003-01-22 | 2003-11-12 | Surveillance device |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP1441316B1 (en) |
| DE (1) | DE10302306A1 (en) |
| HU (1) | HUP0400144A2 (en) |
| PL (1) | PL364483A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014117277A1 (en) | 2014-11-25 | 2016-05-25 | Airbus Ds Optronics Gmbh | carrier system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012223121A1 (en) | 2012-12-13 | 2014-06-18 | Cassidian Optronics Gmbh | Method for tracking at least one object and monitoring device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4805018A (en) | 1986-03-07 | 1989-02-14 | Matsushita Electric Industrial Co., Ltd. | Video signal processing apparatus for separating an image of a moving object from video signals |
| DE10007021A1 (en) | 2000-02-16 | 2001-08-30 | Joachim Seidel | Monitoring device with camera e.g. for premises having a non-standard layout, uses camera mounting rail having at least three differently oriented outer surfaces |
| DE10010590A1 (en) | 2000-03-03 | 2001-09-13 | Nedret Sahin | Operating a remote-controlled camera, involves transmitting data from a remote control unit and camera to an image display device via a computer network |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH114398A (en) * | 1997-06-11 | 1999-01-06 | Hitachi Ltd | Digital wide camera |
-
2003
- 2003-01-22 DE DE10302306A patent/DE10302306A1/en not_active Withdrawn
- 2003-11-12 EP EP03025893.3A patent/EP1441316B1/en not_active Expired - Lifetime
-
2004
- 2004-01-15 HU HU0400144A patent/HUP0400144A2/en active IP Right Revival
- 2004-01-20 PL PL04364483A patent/PL364483A1/en not_active Application Discontinuation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4805018A (en) | 1986-03-07 | 1989-02-14 | Matsushita Electric Industrial Co., Ltd. | Video signal processing apparatus for separating an image of a moving object from video signals |
| DE10007021A1 (en) | 2000-02-16 | 2001-08-30 | Joachim Seidel | Monitoring device with camera e.g. for premises having a non-standard layout, uses camera mounting rail having at least three differently oriented outer surfaces |
| DE10010590A1 (en) | 2000-03-03 | 2001-09-13 | Nedret Sahin | Operating a remote-controlled camera, involves transmitting data from a remote control unit and camera to an image display device via a computer network |
Non-Patent Citations (1)
| Title |
|---|
| THIEL G ED; SANSON L D: "Automatic CCTV surveillance - towards the VIRTUAL GUARD", SECURITY TECHNOLOGY, 1999. PROCEEDINGS. IEEE 33RD ANNUAL 1999 INTERNATIONAL CARNAHAN CONFERENCE ON MADRID, 5 October 1999 (1999-10-05), pages 42 - 48, XP010355720, DOI: doi:10.1109/CCST.1999.797890 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014117277A1 (en) | 2014-11-25 | 2016-05-25 | Airbus Ds Optronics Gmbh | carrier system |
| DE102014117277B4 (en) * | 2014-11-25 | 2017-06-14 | Airbus Ds Optronics Gmbh | carrier system |
Also Published As
| Publication number | Publication date |
|---|---|
| HU0400144D0 (en) | 2004-03-29 |
| HUP0400144A2 (en) | 2005-07-28 |
| EP1441316B1 (en) | 2014-09-17 |
| EP1441316A3 (en) | 2004-11-24 |
| DE10302306A1 (en) | 2004-07-29 |
| PL364483A1 (en) | 2004-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE60020420T2 (en) | Presentation situation display system | |
| DE4410406C2 (en) | Optoelectronic device for monitoring the surroundings of a vehicle | |
| JP4984575B2 (en) | Intruder detection device by image processing | |
| WO1998040855A1 (en) | Video monitoring system for a surface area | |
| KR101496390B1 (en) | System for Vehicle Number Detection | |
| DE102008039130A1 (en) | Automatic tracing and identification system for movable object e.g. human, in building, has safety monitoring sensor connected with safety monitoring system such that tracing camera receives desired data when sensor is operated | |
| EP2126840A1 (en) | Method, apparatus and computer program for the self-calibration of a surveillance camera | |
| WO2009143542A2 (en) | Method for video analysis | |
| EP1531342B1 (en) | Method of detecting pedestrians | |
| DE102012215544A1 (en) | Monitoring a railway line | |
| DE10042935B4 (en) | Method for monitoring a predetermined area and system | |
| EP3921819B1 (en) | Monitoring device and method for monitoring a man-overboard event in a ship section | |
| DE102007063508A1 (en) | Movement parameter e.g. speed, detecting method for rail vehicle, involves evaluating individual images that partially overlap and are subsequent to each other, and limiting images on narrow band such that overlapping is minimized | |
| KR100871833B1 (en) | Camera apparatus for auto tracking | |
| DE19640938A1 (en) | Arrangement and method for monitoring traffic areas | |
| DE10049366A1 (en) | Security area monitoring method involves using two image detection units whose coverage areas overlap establishing monitored security area | |
| KR100782205B1 (en) | Apparatus and system for displaying speed of car using image detection | |
| EP1441316B1 (en) | Surveillance device | |
| WO1997004428A1 (en) | Interactive surveillance system | |
| DE102014219838A1 (en) | Smoke detection apparatus and method for detecting smoke of a fire and computer program | |
| EP3921804A1 (en) | Calibration unit for a monitoring device, monitoring device for man-overboard monitoring and method for calibration | |
| DE19600958A1 (en) | Interactive surveillance system | |
| DE102006020930B4 (en) | Environmental monitoring method for a motor vehicle | |
| JPH0460880A (en) | Moving body discrimination and analysis controlling system | |
| DE102007000344A1 (en) | System for detection of sensor disturbances and for signal disturbances, has sensor for recording electromagnetic radiation and for generation of image sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
| AX | Request for extension of the european patent |
Extension state: AL LT LV MK |
|
| PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
| AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
| AX | Request for extension of the european patent |
Extension state: AL LT LV MK |
|
| 17P | Request for examination filed |
Effective date: 20050119 |
|
| AKX | Designation fees paid |
Designated state(s): CZ DE FR GB IT SI |
|
| RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: CARL ZEISS OPTRONICS GMBH |
|
| 17Q | First examination report despatched |
Effective date: 20081209 |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| INTG | Intention to grant announced |
Effective date: 20140602 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): CZ DE FR GB IT SI |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 50315130 Country of ref document: DE Effective date: 20141030 |
|
| RAP2 | Party data changed (patent owner data changed or rights of a patent transferred) |
Owner name: AIRBUS DS OPTRONICS GMBH |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140917 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 50315130 Country of ref document: DE |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| 26N | No opposition filed |
Effective date: 20150618 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20150731 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140917 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20141201 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140917 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20161121 Year of fee payment: 14 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 50315130 Country of ref document: DE |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180602 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20221125 Year of fee payment: 20 |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: PE20 Expiry date: 20231111 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION Effective date: 20231111 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION Effective date: 20231111 |