EP1346330A2 - Video-rauchdetektionssystem - Google Patents

Video-rauchdetektionssystem

Info

Publication number
EP1346330A2
EP1346330A2 EP01272590A EP01272590A EP1346330A2 EP 1346330 A2 EP1346330 A2 EP 1346330A2 EP 01272590 A EP01272590 A EP 01272590A EP 01272590 A EP01272590 A EP 01272590A EP 1346330 A2 EP1346330 A2 EP 1346330A2
Authority
EP
European Patent Office
Prior art keywords
value
smoke detection
detection system
image
smoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP01272590A
Other languages
English (en)
French (fr)
Other versions
EP1346330B1 (de
Inventor
Dieter Wieser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens Building Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP00128606A external-priority patent/EP1220178A1/de
Application filed by Siemens Building Technologies AG filed Critical Siemens Building Technologies AG
Priority to EP01272590.9A priority Critical patent/EP1346330B1/de
Publication of EP1346330A2 publication Critical patent/EP1346330A2/de
Application granted granted Critical
Publication of EP1346330B1 publication Critical patent/EP1346330B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Definitions

  • the invention is in the field of smoke detection using a video image.
  • smoke detection is carried out with smoke detectors mounted on the ceiling of the respective room, which are based, for example, on the principle of light scattering or light attenuation due to smoke.
  • practically no smoke detectors are used in railway or road tunnels, because the air movement and air stratification caused by the moving cars and trains does not guarantee that the smoke generated by a Brahd would reach the smoke detectors mounted on the ceiling in a useful period.
  • so-called linear heat detection systems such as the FibroLaser system from Siemens Building Technologies AG, Cerberus Division, are used for fire monitoring in tunnels.
  • this method has the problem that smoke is not recognized against a bright background and even fire which produces little smoke is not detected.
  • changes in brightness such as those caused by people moving through the field of view of the camera, can trigger a false alarm.
  • An attempt has been made to solve this problem by examining an outer area in addition to the actual monitored area and interrupting the observation of the monitored area in the event of changes in this outer area.
  • This method has the disadvantage that a fire may not be detected until after a certain delay, and that smoke sources are not recognized in the outer area provided in addition to the surveillance area.
  • the present invention relates to a video smoke detection system with at least one device for recording video images and with a signal processing stage in which the brightness of the individual pixels or groups of pixels of the video images is determined.
  • the object to be achieved with the invention is to provide a video smoke detection system which enables rapid and safe detection of smoke and is particularly suitable for use in road and rail tunnels. Smoke detection should take place at the earliest possible stage of fire and false alarms should be practically excluded.
  • the video smoke detection system is characterized in that the determination of the brightness of the pixels is carried out by a process in which a value representative of the brightness is obtained, and that an examination of the temporal course of the said value for a characteristic of the occurrence of smoke Change takes place.
  • a first preferred embodiment of the video smoke detection system according to the invention is characterized in that the brightness of the pixels is determined by an edge extraction process in which an edge value is assigned to each pixel.
  • the smoke detection system according to the invention is based on the knowledge that the occurrence of smoke leads to the contrast being reduced.
  • the edges are smeared or disappear. This process has the advantage that the edge value is insensitive to global changes in lighting.
  • a second preferred embodiment of the video smoke detection system according to the invention is characterized in that for each pixel the edge value is compared with an average value, and from this comparison a so-called counter image is obtained which shows the temporal behavior of the edge value relative to the average value indicates.
  • the counter image which indicates how often the brightness of the pixel in question has been above the mean value over a certain time, is preferably updated each time the edge value is compared with the mean value.
  • the counter image is compared with a threshold value and if this threshold value is exceeded, an initialization value is added up to form a current value.
  • a third preferred embodiment of the video smoke detection system according to the invention is characterized in that, in addition to the edge extraction process, the video images are subsequently examined for movements, referred to as motion detection.
  • motion detection In road and rail tunnels, for the monitoring of which the system according to the invention is primarily intended, the covering of edges not caused by smoke will take place almost exclusively by moving objects between the relevant edge and the camera. Since such objects do not suddenly materialize but generally have moved to the place where they cover the edge, it can be assumed that if the edge covering is not caused by smoke, the object covering the edge will move immediately beforehand must have taken place. Motion detection thus provides a reliable criterion for distinguishing edges covered by smoke from those covered by objects.
  • Both the edge values and the movement detection are preferably carried out using counter images which are continuously updated with a hysteresis algorithm.
  • An algorithm based on the normalized cross-correlation is preferably used for the motion detection.
  • the hysteresis algorithm preferably has a minimum and a maximum value and two threshold values lying between them, the counter image jumping to the maximum value when the lower threshold value is exceeded and down to the minimum value when the lower threshold value is being counted down.
  • This hysteresis algorithm enables the use of noisy images for the detection algorithms. An edge caused by noise, with appropriately parameterized hysteresis, will not appear in the counter image, and an edge will not disappear due to a single noisy image.
  • a fourth preferred embodiment of the smoke detection system according to the invention is characterized in that three data structures are used, a data field with information about the edges present in the respective image, a data field with a bit mask for the purpose of eliminating image areas which are not to be taken into account for smoke detection, and the viewed image itself, the edges and the image being preserved between successive iterations of the process and the bit mask being reinitialized for each iteration.
  • a fifth preferred embodiment of the smoke detection system according to the invention is characterized in that the image and the edges are analyzed pixel by pixel and the analysis of the bit mask is carried out for groups of several pixels referred to below as blocks.
  • a sixth preferred embodiment of the smoke detection system according to the invention is characterized in that the data is processed in two paths, a first path for calculating the edges present in the image and for updating the ones already present data present over edges, and a second path for creating the bit mask, this second path comprising the motion detection.
  • the second path also comprises checking the blocks for saturation of the device for recording the video images, in which blocks are marked with a certain number of saturated pixels and are not taken into account for the analysis of the counter image of the edges.
  • Another preferred embodiment of the smoke detection system according to the invention is characterized in that any image sections can be excluded from the analysis by means of a mask.
  • the bit mask created on the basis of the motion detection and the check for saturation is preferably used to update the counter image for the elimination of image areas which are not to be taken into account for smoke detection.
  • Another preferred embodiment of the smoke detection system according to the invention is characterized in that before the decision about the presence of smoke, a check is carried out to determine whether there is a sufficient number of edges for such a decision.
  • FIG. 1 is a block diagram of a video smoke detection system according to the invention
  • FIG. 5 shows a flowchart to explain the functioning of a second exemplary embodiment of the video smoke detection system according to the invention.
  • the video smoke detection system essentially consists of a number of video cameras 1 and a common processor 2, in which the processing and evaluation of the signals of the video cameras 1 takes place.
  • the video cameras 1 are mounted, for example, in a road tunnel and are used for traffic monitoring, for example for monitoring compliance with traffic rules and for detecting congestion, accidents and the like.
  • the cameras are connected to a manned operations center, in which the traffic in the tunnel is monitored via monitors.
  • the processors 2 are arranged in a decentralized manner, a common processor 2 being assigned to a specific number of, for example, 8 to 10 cameras.
  • the video images are broken down into pixels, the individual pixels and / or groups of these are assigned brightness values, and the presence of is decided on the basis of a comparison of the brightness values of the pixels with a reference value Smoke.
  • the brightness values When assigning the brightness values to the individual pixels or pixel groups, it is essential that this assignment is independent of global changes in brightness, that is to say changes in the lighting of the entire image. This independence from the lighting can be achieved by assigning edge values to the pixels, which represent a derivative. The detection of smoke is based on the assumption that the edges are weakened or disappear by smoke.
  • the signal processing and evaluation in the processor 2 can be divided into two function blocks, designated in FIG. 1 with pixel brightness 3 and smoke detection 4.
  • the flow chart of FIG. 2 shows the acquisition of the values representative of the brightness of the pixels (pixel brightness 3) and that of FIG. 3 their further examination for the presence of smoke (smoke detection 4).
  • FIG. 4 shows a flow diagram of additional steps of the method according to FIG. 2 required for certain applications (smoke detection in interior spaces, such as in corridors, foyers and the like).
  • the video images recorded by each camera 1 are broken down into pixels and digitized, as a result of which the intensity value IJJ is determined for each pixel with the coordinates i and j, which can be between 0 and 255, for example.
  • the mean values Mj j or the median, or a value obtained by low-pass filtering, is formed from the intensity values ⁇ for a certain group of pixels of, for example, 3 times 3 or 5 times 5.
  • the median has the advantage that his calculation can be done in 8-bit.
  • an edge value is obtained from the intensity Ij j , which is done by derivation or by frequency analysis (high-pass filtering, for example wavelet transformation).
  • the edge values Kj j of the individual pixels can be determined, for example, by using a Roberts or Sobo operator. Of course, you can also use a more complicated operator for the edge calculation and apply it to larger areas such as 5x5 or 7x7 pixels.
  • the edge value K-, j is above the mean or the median. If YES, a number ⁇ ob is added to a value Z itj and the old value Zj j is replaced by the new one, if NO, a number ⁇ u ⁇ is subtracted from a value Zj j and the old value Zjj is replaced by the new one replaced.
  • the value Z i ⁇ j is a number that indicates how often the edge value and thus the brightness of the pixel in question have been above a certain threshold (mean value or median Mj) on average over a certain time. This number Z J J is referred to below as a counter image.
  • the value range of Zj j is, for example, 0 to 255, the initial value of Zjj when the system is initialized is 0.
  • the numbers ⁇ un and ⁇ ob can be the same or different; for example, both can be equal to one.
  • the counter image Zjj has a particular advantage with regard to the effect of movements on the edge values.
  • an object moves through the image, it also moves at least one edge through this, and this has the consequence that the pixel has a higher edge value at the respective location of the edge, as a result of which the counter image Z ⁇ increases by ⁇ .
  • the counter image Zj j is reduced by ⁇ un , so that in total the passage of edges through the video image in the counter image Zj j of the individual pixels has no effect.
  • , j finally obtained thus preferably represents a value representative of the brightness of the pixel in question.
  • three time scales are used: the frequency of the recorded video images, for example 1/25 second, every 10 seconds after 255 Pictures and about every half hour.
  • the counter image j is compared with a threshold S z . If the counter image Zj j is below the threshold S z , nothing happens; if it is above the threshold S z , a summation takes place, that is to say a value ⁇ x is increased by 1 and replaced by this new value.
  • ⁇ x is significantly larger than ⁇ x °, then new edges have appeared, which can be caused by a stationary object being in the image area of the video camera.
  • a stationary object can be, for example, a standing car in a tunnel or an object parked in a tunnel; in both cases the object covers a certain image area, which is referred to as cover in FIG. 3.
  • the initialization value ⁇ x ° is redefined.
  • the quotient ⁇ x / ⁇ x ° is then formed and compared with a smoke threshold value S R. If the quotient mentioned is below the smoke threshold and edges are weakened or disappeared, an alarm is triggered.
  • the subroutine shown in FIG. 4 is used if necessary, which serves to eliminate movements and starts from the edges Kj j (FIG. 2). In principle, one could also start from the intensity Ij j , but this would be associated with the disadvantage of the presence of disturbing DC components.
  • the difference ⁇ Kjj of successive images is formed and compared with a movement threshold value S B. If ⁇ Kjj is below this threshold, there are no movements.
  • S B the pixels that meet this condition are combined into sub-areas from which the movement is hidden. The latter takes place in that the counter image Zj j is not updated and the last counter image before the movement is used for the subareas mentioned.
  • the signal noise is eliminated by a morphological filter (eroding).
  • a morphological filter eroding. This means the following:
  • the difference image which provides the number of changed pixels in the sub-areas, is a binary image. You move a pattern over this binary image and give the pixels that coincide with the pattern the value "1". The end of the movement is indicated by the subareas successively disappearing from the image and the edges being removed.
  • FIG. 5 shows a flow diagram of a second exemplary embodiment of the video smoke detection system according to the invention, which is characterized in particular by a high level of robustness against interference and a high level of reliability of the smoke detection.
  • the image under consideration is designated by the reference symbol A in FIG. 5.
  • a counter image is a series of values, usually the size of an image, which can be enlarged or reduced. These values are usually used to count events, for example.
  • Both the edge detection and the movement detection of the algorithm shown in the flowchart depend on counter images which are updated with a hysteresis algorithm.
  • the hysteresis is characterized by four values, bottom, bottom, high and top, bottom and top forming counter limits that cannot be exceeded or undershot. The value low lies above the value at the bottom and the value high lies between the values low and at the top. If the counter reading is between bottom and bottom or between high and top, counting takes place as normal, i.e. the counter reading is increased by one for each detected event: if the counter reading reaches the low value and another event is detected, it jumps to the top. Similarly, the counter reading jumps to the bottom when it reaches the value high with decreasing values from above.
  • This hysteresis mechanism enables the use of noisy images for the detection algorithms. An edge caused by noise will not appear in the counter image if the hysteresis is appropriately parameterized, and an edge will not disappear due to a single noisy image.
  • the following relationships also apply: The difference between the values low and low results in the number of successive individual images over which a feature or event, for example an edge, must be present in order to be detected, and the difference between the values top and high results the number of consecutive frames after which the event disappears as the counter value decreases. Since this number of individual images corresponds to a certain period of time, these periods of time represent a measure of the response time of the algorithm.
  • the analysis shown in the flowchart begins with an edge detection 5 using a method based, for example, on a Sobel operator.
  • the algorithm analyzes the brightness of each pixel of each frame and tracks the history of the scene with the help of a the mentioned hysteresis mechanism updated counter image 6. Two values are calculated for the surroundings of each pixel:
  • a Sobel edge detection filter is applied to the environment, which delivers a value q Sobe ⁇ ;
  • the counter 6 is increased, if not, it is decreased.
  • the hysteresis mechanism is used in both cases.
  • a movement detection 7 takes place parallel to the edge detection 5, for which an algorithm based on the normalized cross-correlation is used, for example, which roughly proceeds as follows:
  • Small areas of the image for example 4 by 4 pixels, are taken at time t and these pixels are viewed as vector x.
  • the numerator and denominator are multiplied by factors in Formula 1 and the products formed in this way are written in analogy to the standardized cross-correlation according to Formula 1. If the counter is smaller, then a movement has taken place and the corresponding area is marked. Sudden changes in the light or lighting conditions affect both sides of the inequality approximately equally, so that the movement detection described is immune to uniform changes in the image. In this way you get a map of the current image with 4 by 4 pixel blocks.
  • the next step is the calculation of the blocks that should not be taken into account when analyzing the counter image 6 of the edges. All blocks of a certain number, for example four by four, pixels in the image are to be detected in which events have occurred which have a negative influence on the smoke detection algorithm. These blocks result in a bit mask 8, which is represented as a counter image of 1/16 the size of the complete image becomes. The size of the blocks is determined by the blocks considered in the motion detection, but can be changed.
  • the next stage is the correction of the saturation of the video sensor.
  • Such saturation can cause several problems:
  • bit mask 8 calculated in the stages of motion detection 7, saturation check 9 and expansion operator 10 is now used to update the counter image for the elimination process 11 (elimination of image areas not to be taken into account for smoke detection), again using the hysteresis mechanism already described is applied.
  • each block in the counter image 8 is compared with a threshold value. If the value of the block is above this threshold, all pixels in counter image 6 are set to a minimum value. From the counter image 6 of the edges two sizes are now calculated, which represent the number of edges at different times.
  • the first size is the number of pixels in the currently existing edges above a first threshold.
  • the second size is the number of pixels above a second threshold value, this second threshold value can roughly be interpreted as the number of pixels in edges present at a previous point in time.
  • a function ic) (c i > l) is defined, which
  • the two sizes can now be calculated by estimating the number of pixels currently lying on an edge by / very close to the maximum value W m that the pixels c 1, can reach.
  • the value (W m - k) is generally selected for /, where k means a number of frames and is, for example, about 250 in the case of a conventional fixed camera in a tunnel.
  • a parameter "image height” can be added to the subroutine for counting the pixels, which means that only the upper part, for example the upper half, of the image is taken into account for smoke detection. This makes sense because smoke generally rises.
  • any image sections can be excluded from the analysis with a mask.
  • a step 12 is now used to check whether there are enough edges to be able to make this decision. This check is necessary in the case where, for example, a large truck is directly in front of the camera and the image has no edges. In this case, since it is impossible to detect a fire, a fault signal should be triggered, which indicates that the algorithm cannot work under the current circumstances. In order to briefly delay further actions and to be less sensitive to noise, an interrupt value is used, which can either be zero or greater than zero. In the latter case, it had been detected shortly before that there were not enough edges.
  • the difference is multiplied by a parameter and compared with the sum. If the sum is greater, there is no smoke; otherwise the alarm is triggered. In both cases, processing of the current image is finished and processing of the next one begins.
  • the alarm can be triggered, for example, by a corresponding alarm being displayed in a manned alarm or monitoring center to which the camera in question is connected, which prompts the operating personnel to analyze the image supplied by the camera in question by eye.
  • the said center can be, for example, a police or fire service center in an urban or regional base or the command center of a road tunnel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

Das Video-Rauchdetektionssystem enthält mindestens eine Einrichtung zur Aufnahme von Videobildern (A) und eine Signalverarbeitungsstufe, in welcher eine Bestimmung der Helligkeit der einzelnen Pixel oder von Gruppen von Pixeln der Videobilder (A) erfolgt. Die Bestimmung der Helligkeit der Pixel erfolgt durch einen Prozess, bei welchem ein für die Helligkeit repräsentativer Wert gewonnen wird. Der zeitliche Verlauf des genannten Wertes wird auf eine für das Auftreten von Rauch charakteristische Veränderung untersucht. Die Bestimmung der Helligkeit der Pixel erfolgt durch einen Kantenextraktionsprozess (5), bei welchem jedem Pixel eine Kantenwert zugeordnet wird. Zusätzlich zum Kantenextraktionsprozess (5) erfolgt eine nachfolgend als Bewegungsdetektion (7) bezeichnete Untersuchung der Videobilder (A) auf Bewegungen. Sowohl die Bestimmung der Kantenwerte als auch die Bewegungsdetektion (7) erfolgt anhand von Zählerbildern (6, 8), welche mit einem Hysteresealgorithmus laufend aktualisiert werden.

Description

Video - Rauchdetektionssystem
Beschreibung
Die Erfindung liegt auf dem Gebiet der Rauchdetektion anhand eines Videobildes. In Wohn- und Industriegebäuden, Lagerhallen, Museen, Kirchen und dergleichen erfolgt die Rauchdetektion mit an der Decke des jeweiligen Raums montierten Rauchmeldern, welche beispielsweise auf dem Prinzip der Lichtstreuung oder Lichtabschwächung durch Rauch beruhen. In Eisenbahn- oder Strassentunnels hingegen werden praktisch keine Rauchmelder eingesetzt, weil hier wegen der durch die fahrenden Autos und Züge verursachte Luftbewegung und Luftschichtung nicht gewährleistet ist, dass der bei einem Brahd entstehende Rauch in nützlicher Frist bis zu an der Decke montierten Rauchmeldern gelangen würde. Daher werden heute für die Brandüberwachung in Tunnels sogenannte lineare Wärmemeldesysteme wie beispielsweise das System FibroLaser der Siemens Building Technologies AG, Cerberus Division verwendet.
In jüngster Zeit bestehen Bestrebungen, die für die Verkehrsüberwachung in Tunnels ohnehin vorhandenen Videosysteme zur Rauchdetektion zu verwenden. Da die Videobilder für einen Betrachter sehr oft uninteressant sind und ausserdem durch Rauch nur sehr kleine Veränderungen im Videobild verursacht werden, kommt eine Überwachung durch das Personal an den Bildschirmen nicht in Frage. Wenn überhaupt, kann die Überwachung nur durch eine automatische Auswertung der Videobilder erfolgen. Bei einem bekannten Verfahren zur automatischen Untersuchung von Videobildern auf das Auftreten von Rauch werden die Intensitätswerte der einzelnen Pixel aufeinanderfolgender Bilder miteinander verglichen. Wenn Intensitätswerte gemessen werden, die für ein helleres, durch die Anwesenheit von Rauch verursachtes Bild repräsentativ sind, wird auf das Vorhandensein von Rauch geschlossen und Alarm ausgelöst.
Bei diesem Verfahren besteht unter anderem das Problem, dass Rauch vor einem hellen Hintergrund nicht erkannt und selbst Feuer, welches nur wenig Rauch erzeugt, nicht detektiert wird. Ausserdem können Helligkeitsänderungen, wie sie beispielsweise durch sich durch das Blickfeld der Kamera bewegende Personen verursacht werden, einen Fehlalarm auslösen. Dieses Problem hat man dadurch zu lösen versucht, dass man zusätzlich zum eigentlichen Überwachungsbereich noch einen äusseren Bereich untersucht und bei Änderungen in diesem äusse- ren Bereich die Beobachtung des Überwachungsbereichs unterbricht. Dieses Verfahren hat den Nachteil, dass ein Feuer unter Umständen erst nach einer bestimmten Verzögerung detektiert wird, und dass Rauchquellen in dem zusätzlich zum Überwachungsbereich vorgesehenen äusseren Bereich nicht erkannt werden. Die vorliegende Erfindung betrifft ein Video-Rauchdetektionssystem mit mindestens einer Einrichtung zur Aufnahme von Videobildern und mit einer Signalverarbeitungsstufe, in welcher eine Bestimmung der Helligkeit der einzelnen Pixel oder von Gruppen von Pixeln der Videobilder erfolgt.
Die mit der Erfindung zu lösende Aufgabe besteht darin, ein Video-Rauchdetektionssystem anzugeben, welches eine rasche und sichere Detektion von Rauch ermöglicht und insbesondere für den Einsatz in Strassen- und Eisenbahntunnels geeignet ist. Die Rauchdetektion soll in einem möglichst frühen Stadium der Brandentstehung erfolgen und Fehlalarme sollen praktisch ausgeschlossen sein.
Das erfindungsgemässe Video-Rauchdetektionssystem ist dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Prozess erfolgt, bei welchem ein für die Helligkeit repräsentativer Wert gewonnen wird, und dass eine Untersuchung des zeitlichen Verlaufs des genannten Wertes auf eine für das Auftreten von Rauch charakteristische Veränderung erfolgt.
Eine erste bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssys- tems ist dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Kantenextraktionsprozess erfolgt, bei welchem jedem Pixel ein Kantenwert zugeordnet wird.
Das erfindungsgemässe Rauchdetektionssystem basiert auf der Erkenntnis, dass das Auftreten von Rauch dazu führt, dass der Kontrast reduziert wird. Bei der Bestimmung der Helligkeit durch einen Kantenextraktionsprozess werden die Kanten verschmiert oder sie verschwinden. Dabei hat dieser Prozess den Vorteil, dass der Kantenwert gegen globale Beleuchtungsänderungen unempfindlich ist.
Eine zweite bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssys- tems ist dadurch gekennzeichnet, dass für jedes Pixel ein Vergleich des Kantenwerts mit einem Mittelwert erfolgt, und dass aus diesem Vergleich ein nachfolgend so genanntes Zählerbild gewonnen wird, welches das zeitliche Verhalten des Kantenwerts relativ zum Mittelwert angibt.
Vorzugsweise wird das Zählerbild, welches angibt, wie oft die Helligkeit des betreffenden Pixels über eine bestimmte Zeit im Mittel oberhalb des genannten Mittelwerts gelegen hat, bei jedem Vergleich des Kantenwerts mit dem Mittelwert aktualisiert.
Es erfolgt ein Vergleich des Zählerbildes mit einem Schwellwert und bei Überschreiten dieses Schwellwerts eine Aufsummierung eins Initialisierungswerts zu einem aktuellen Wert.
Eine dritte bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssys- tems ist dadurch gekennzeichnet, dass zusätzlich zum Kantenextraktionsprozess eine nachfolgend als Bewegungsdetektion bezeichnete Untersuchung der Videobilder auf Bewegungen erfolgt. In Strassen- und Eisenbahntunnels, für deren Überwachung das erfindungsgemässe System in erster Linie vorgesehen ist, wird die nicht durch Rauch verursachte Abdeckung von Kanten fast ausschliesslich durch bewegte Objekte zwischen der betreffenden Kante und der Kamera erfolgen. Da sich solche Objekte nicht plötzlich materialisieren sondern in aller Regel an die Stelle, wo sie die Kante abdecken, hinbewegt haben, kann man davon ausgehen, dass bei einer Kantenabdeckung, die nicht durch Rauch verursacht ist, unmittelbar vorher eine Bewegung des die Kante abdeckenden Objekts stattgefunden haben muss. Die Bewegungsdetektion liefert also ein zuverlässiges Kriterium für die Unterscheidung von durch Rauch abgedeckten Kanten von solchen, die durch Objekte abgedeckt wurden.
Vorzugsweise erfolgt sowohl die Bestimmung der Kantenwerte als auch die Bewegungsdetektion anhand von Zählerbildern, welche mit einem Hysteresealgorithmus laufend aktualisiert werden. Für die Bewegungsdetektion wird vorzugsweise ein auf der normierten Kreuzkorrelation basierender Algorithmus verwendet.
Der Hysteresealgorithmus weist vorzugsweise einen Minimal- und einen Maximalwert sowie zwei zwischen diesen liegende Schwellwerte auf, wobei das Zählerbild bei Aufwärtszählung bei Überschreiten des unteren Schwellwerts auf den Maximalwert und bei Abwärtszählung bei Unterschreiten des oberen Schwellwerts auf den Minimalwert springt.
Dieser Hysterese-Algorithmus ermöglicht ermöglicht die Verwendung verrauschter Bilder für die Detektionsalgorithmen. Eine durch Rauschen verursachte Kante wird, bei angemessen parame- trierter Hysterese, im Zählerbild nicht aufscheinen, und eine Kante wird nicht wegen eines einzigen verrauschten Bildes verschwinden.
Eine vierte bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass drei Datenstrukturen verwendet werden, ein Datenfeld mit Informationen über die im jeweiligen Bild vorhandenen Kanten, ein Datenfeld mit einer Bitmaske zum Zweck der Ausscheidung von Bildbereichen, die für die Rauchdetektion niόht zu berücksichtigen sind, und das betrachtete Bild selbst, wobei die Kanten und das Bild zwischen aufeinanderfolgenden Iterationen des Prozesses erhalten bleiben und die Bitmaske für jede Iteration neu initialisiert wird.
Eine fünfte bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass das Bild und die Kanten pixelweise analysiert werden und die Analyse der Bitmaske für nachfolgend als Blöcke bezeichnete Gruppen von mehreren Pixeln erfolgt.
Eine sechste bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass die Verarbeitung der Daten auf zwei Pfaden erfolgt, einem ersten Pfad zur Berechnung der im Bild vorhandenen Kanten und zur Aktualisierung der bereits über Kanten vorhandenen Daten, und einem zweiten Pfad zur Erstellung der Bitmaske, wobei dieser zweite Pfad die Bewegungsdetektion umfasst.
Gemäss einer siebten bevorzugten Ausführungsform des erfindungsgemässen Rauchdetektionssystems umfasst der zweite Pfad ausserdem eine Überprüfung der Blöcke auf Sättigung der Einrichtung zur Aufnahme der Videobilder, bei welcher Blöcke mit einer bestimmten Anzahl gesättigter Pixel markiert und für die Analyse des Zählerbildes der Kanten nicht berücksichtigt werden.
Eine weitere bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dadurch gekennzeichnet, dass mittels einer Maske beliebige Bildausschnitte von der Analyse ausgeschlossen werden können. Vorzugsweise wird die anhand der Bewegungsdetektion und der Überprüfung auf Sättigung erstellte Bitmaske dazu verwendet, das Zählerbild für die Ausscheidung von für die Rauchdetektion nicht zu berücksichtigenden Bildbereichen zu aktualisieren.
Eine weitere bevorzugte Ausführung des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass vor der Entscheidung über das Vorhandensein von Rauch eine Überprüfung erfolgt, ob eine für eine solche Entscheidung ausreichende Anzahl von Kanten vorhanden ist.
Im folgenden wird die Erfindung anhand von Ausführungsbeispielen und der Zeichnungen näher erläutert; es zeigt:
Fig. 1 ein Blockschema eines erfindungsgemässen Video-Rauchdetektionssystems,
Fig. 2-4 je ein Flussdiagramm zur Erläuterung der Funktion eines erste Ausführungsbeispiels eines erfindungsgemässen Video-Rauchdetektionssystems; und
Fig. 5 ein Flussdiagramm zur Erläuterung der Funktionsweise eines zweiten Ausführungsbeispiels des erfindungsgemässen Video-Rauchdetektionssystems.
Das erfindungsgemässe Video-Rauchdetektionssystem besteht gemäss Fig. 1 im wesentlichen aus einer Anzahl von Videokameras 1 und einem gemeinsamen Prozessor 2, in welchem die Verarbeitung und Auswertung der Signale der Videokameras 1 erfolgt. Die Videokameras 1 sind beispielsweise in einem Strassentunnel montiert und dienen zur Verkehrsüberwachung, beispielsweise zur Überwachung der Einhaltung der Verkehrsregeln und zur Detektion von Staubildungen, Unfällen und dergleichen. Die Kameras sind mit einer bemannten Einsatzzentrale verbunden, in welcher das Verkehrsgeschehen im Tunnel über Monitore beobachtet wird. Die Prozessoren 2 sind dezentral angeordnet, wobei einer bestimmten Anzahl von beispielsweise 8 bis 10 Kameras jeweils ein gemeinsamer Prozessor 2 zugeordnet ist.
Im Prozessor 2 werden die Videobilder in Pixel zerlegt, den einzelnen Pixeln und/oder Gruppen von diesen werden Helligkeitswerte zugeordnet und anhand eines Vergleichs der Helligkeitswerte der Pixel mit einem Referenzwert erfolgt die Entscheidung über das Vorhandensein von Rauch. Bei der Zuordnung der Helligkeitswerte zu den einzelnen Pixeln oder Pixelgruppen ist es wesentlich, dass diese Zuordnung von globalen Helligkeitsänderungen, also Änderungen der Beleuchtung des ganzen Bildes, unabhängig ist. Diese Unabhängigkeit von der Beleuchtung lässt sich dadurch erreichen, dass man den Pixeln Kantenwerte zuordnet, welche ja eine Ableitung darstellen. Die Erkennung von Rauch basiert auf der Annahme, dass die Kanten durch Rauch abgeschwächt werden oder verschwinden.
Die Signalverarbeitung und -auswertung im Prozessor 2 kann in zwei in Fig. 1 mit Pixelhelligkeit 3 und Rauchdetektion 4 bezeichnete Funktionsblöcke unterteilt werden. Entsprechend dieser Aufteilung zeigt das Flussdiagramm von Fig. 2 die Gewinnung der für die Helligkeit der Pixel repräsentativen Werte (Pixel-Helligkeit 3) und dasjenige von Fig. 3 deren weitere Untersuchung auf das Vorhandensein von Rauch (Rauchdetektion 4). Fig. 4 zeigt ein Flussdiagramm von für bestimmte Anwendungen (Rauchdetektion in Innenräumen, wie beispielsweise in Gängen, Foyers und dergleichen) erforderliche zusätzliche Schritte des Verfahrens gemäss Fig. 2.
Die von jeder Kamera 1 aufgenommenen Videobilder werden in Pixel zerlegt und digitalisiert, wodurch für jedes Pixel mit den Koordinaten i und j dessen Intensitätswert IJJ bestimmt wird, der beispielsweise zwischen 0 und 255 liegen kann. Aus den Intensitätswerten ^ wird für eine bestimmte Gruppe von Pixeln von beispielsweise 3 mal 3 oder 5 mal 5 der Mittelwert Mjj oder der Mediän gebildet, oder ein durch eine Tiefpassfilterung gewonnener Wert. Der Mediän hat den Vorteil, dass seine Berechnung in 8-Bit erfolgen kann.
Parallel zur Berechnung des Mittelwerts oder Medians wird aus der Intensität Ijj ein Kantenwert gewonnen, was durch eine Ableitung oder durch eine Frequenzanalyse (Hochpassfilterung, beispielsweise Wavelet-Transformation) erfolgt. Die Kantenwerte Kjj der einzelnen Pixel können beispielsweise durch Anwendung eines Roberts- oder eines Sobeloperators ermittelt werden. Man kann aber selbstverständlich für die Kantenberechnung auch einen komplizierteren Operator verwenden und auf grössere Gebiete wie z.B. 5x5 oder 7x7 Pixel anwenden.
Dann wird untersucht, ob der Kantenwert K-,j oberhalb des Mittelwerts oder des Medians liegt. Wenn JA, wird zu einem Wert Zitj eine Zahl δob dazu gezählt und der alte Wert Zjj wird durch den neuen ersetzt, wenn NEIN, wird von einem Wert Zjj eine Zahl δuπ abgezogen und der alte Wert Zjj wird durch den neuen ersetzt. Der Wert Ziτj ist eine Zahl, die angibt, wie oft der Kantenwert und damit die Helligkeit des betreffenden Pixels über eine bestimmte Zeit im Mittel oberhalb einer bestimmten Schwelle (Mittelwert oder Mediän Mj ) gelegen hat. Diese Zahl ZJJ wird nachfolgend als Zählerbild bezeichnet. Der Wertebereich von Zjj beträgt z.B. 0 bis 255, der Anfangswert von Zjj bei der Initialisierung des Systems beträgt 0. Die Zahlen δun und δob können gleich oder unterschiedlich sein; beispielsweise können beide gleich eins sein.
Das Zählerbild Zjj hat einen besonderen Vorteil hinsichtlich der Auswirkung von Bewegungen auf die Kantenwerte. Wenn sich ein Objekt durch das Bild bewegt, dann bewegt sich auch mindestens eine Kante durch dieses, und das hat zur Folge, dass das Pixel am jeweiligen Ort der Kante einen höheren Kantenwert hat, wodurch das Zählerbild Z^ um δ steigt. Sobald die Kante das betreffende Pixel verlassen hat, wird das Zählerbild Zjj um δun reduziert, so dass sich also in Summe der Durchgang von Kanten durch das Videobild im Zählerbild Zjj der einzelnen Pixel nicht auswirkt.
Das schliesslich erhaltene Zählerbild Z|,j stellt also vorzugsweise einen für die Helligkeit des betreffenden Pixels repräsentativen Wert dar. Bei der Untersuchung des Zählerbildes Zj werden drei Zeitskalen verwendet: Die Frequenz der aufgenommenen Videobilder, beispielsweise 1/25 Sekunde, alle 10 Sekunden nach 255 Bildern und etwa jede halbe Stunde.
Gemäss Fig. 3 wird das Zählerbild j mit einer Schwelle Sz verglichen. Wenn das Zählerbild Zjj unterhalb der Schwelle Sz liegt, geschieht nichts, wenn es oberhalb der Schwelle Sz liegt, dann erfolgt eine Summierung, das heisst ein Wert ∑x wird um 1 erhöht und durch diesen neuen Wert ersetzt. Der Initialisierungswert ∑x° wird so gewonnen, dass man bei der Initialisierung mit Σ = 0 beginnt und aufsummiert, wobei sich nach einer gewissen stabilen Phase von einigen Sekunden ein stabiler Wert einstellt, der dann als Initialisierungswert ∑x° genommen wird. Unter normalen Verhältnissen sollte ∑x gleich ∑x° sein.
Wenn ∑x deutlich grösser ist als ∑x°, dann sind neue Kanten aufgetreten, was dadurch verursacht sein kann, dass sich ein stehendes Objekt im Bildbereich der Videokamera befindet. Ein solches Objekt kann in einem Tunnel beispielsweise ein stehendes Auto oder in einem Gang ein in diesem abgestellter Gegenstand sein; in beiden Fällen wird durch das Objekt ein bestimmter Bildbereich abgedeckt, was in Fig. 3 mit Abdeckung bezeichnet ist. Im Fall von Abdeckung wird der Initialisierungswert ∑x° neu definiert. Anschliessend wird der Quotient ∑x/∑x° gebildet und mit einem Rauchschwellwert SR verglichen. Wenn der genannte Quotient unterhalb des Rauchschwellwerts liegt und somit Kanten abgeschwächt oder verschwunden sind, wird Alarm ausgelöst.
Der Vergleich des Quotienten ∑x/∑x° mit dem Rauchschwellwert SR ist für eine genaue und fehl- alarmsichere Rauchdetektion absolut ausreichend, solange sich scharfe Kanten im Vordergrund translatorisch bewegen, was in Tunnels in der Regel immer der Fall ist. Für die Rauchdetektion in Strassen- oder Bahntunnels wird man also ein System mit der in den Figuren 2 und 3 dargestellten Funktionalität einsetzen.
Die Verhältnisse liegen anders, wenn es um die Rauchdetektion in Innenräumen geht, in denen sich Menschen aufhalten. Man hat festgestellt, dass Menschen, die an einem Ort stehen und sich miteinander unterhalten, eine Art von oszillierender oder am Ort hin- und hergehender Bewegung ausführen, die im Unterschied zu einer translatorischen Bewegung nicht mehr aus dem Zählerbild Zjj herausfällt. Problematisch sind auch Bewegungen von Texturen oder Mustern. Diese Bewegungen führen dazu, dass neue Kanten entstehen, was die Abschwächung oder die Reduktion von Kanten durch Rauch kompensieren könnte, so dass unter Umständen Rauch nicht mehr sicher detektiert würde. Allgemein gilt, dass Bewegung in der Regel zu neuen Kanten führt und eventuell auch Kanten abdeckt, und dass Rauch nicht zu neuen Kanten führt, sondern Kanten abschwächt. Eine Ausnahme von dieser Regel ist Rauch in grosser Entfernung, der eventuell zu einer neuen Kante führen kann. Da sich die von der Kamera am weitesten entfernten Bereiche im obersten Teil des Videobildes befinden, kann man diesen Effekt durch Ausblenden dieses obersten Bildteils ausschalten oder man kann die Annahme treffen, dass sich eine durch Rauch gebildete Kante nur sehr langsam bewegen wird.
Zur Verhinderung des störenden Einflusses von Bewegungen, wird bei Bedarf das in Fig. 4 dargestellte Unterprogramm verwendet, welches zur Eliminierung von Bewegungen dient und von den Kanten Kjj (Fig. 2) ausgeht. Man könnte grundsätzlich auch von der Intensität Ijj ausgehen, was aber mit dem Nachteil des Vorhandenseins störender Gleichstromanteile verbunden wäre. Man bildet die Differenz ΔKjj aufeinanderfolgender Bilder und vergleicht diese mit einem Bewegungsschwellwert SB. Wenn ΔKjj unterhalb dieses Schwellwerts liegt, sind keine Bewegungen vorhanden. Bei ΔKjj > SB werden die Pixel, welche diese Bedingung erfüllen, zu Untergebieten zusammengefasst, aus denen die Bewegung ausgeblendet wird. Letzteres erfolgt dadurch, dass das Zählerbild Zjj nicht aktualisiert und für die genannten Untergebiete das letzte Zählerbild vor der Bewegung verwendet wird.
Das Signalrauschen wird durch ein morphologisches Filter (Erodieren) beseitigt. Das bedeutet folgendes: Das Differenzbild, welches die Anzahl der geänderten Pixel in den Untergebieten liefert, ist ein binäres Bild. Man fährt mit einem Muster über dieses binäre Bild und gibt den Pixeln, die sich mit dem Muster decken, den Wert „1". Das Ende der Bewegung wird dadurch angezeigt, dass die Untergebiete nacheinander aus dem Bild verschwinden und die Kanten abnehmen.
Fig. 5 zeigt ein Flussdiagramm eines zweiten Ausführungsbeispiels des erfindungsgemässen Video-Rauchdetektionssystems, welches sich insbesondere durch eine hohe Robustheit gegenüber Störungen und eine hohe Zuverlässigkeit der Rauchdetektion auszeichnet. Das betrachtete Bild ist in Fig. 5 mit dem Bezugszeichen A bezeichnet.
Der Beschrei-bung des Flussdiagramms seien nachfolgend einige allgemeine Erläuterungen vorangestellt: Da die Kanten nicht nur durch Rauch sondern auch durch sich zwischen der Kamera und der betreffenden Kante befindliche Objekte abgedeckt werden können, erfolgt zusätzlich eine Untersuchung des betrachteten Bildes auf Bewegungen. Dabei wird davon ausgegangen, dass ein eine Kante abdeckendes Objekt nicht plötzlich an dieser Stelle entstanden ist sondern sich dorthin bewegt hat. Ein weiterer bei der Rauchdetektion zu beachtender Punkt ist derjenige der verschiedenen Zeitraster, welche einerseits zu beachten und andererseits voneinander zu unterscheiden sind. Es gibt sehr schnelle Effekte im Subsekunden-Bereich, wie beispielsweise durch einen nahe vorbeifahrenden Lastwagen verursachtes Zittern der Kamera, was durch Bildung eines gleitenden Mittelwerts eliminiert werden kann. Es gibt mittelschnelle Effekte, wie beispielsweise die durch Rauch verursachten, die etwa im 10 Sekunden-Bereich liegen, weil der Rauch ungefähr 10 Sekunden benötigt, bis er den Ort erreicht, wo er detektiert wird, und es gibt langsame Effekte im etwa 10 Minuten-Bereich oder noch langsamer. Letzteres sind beispielsweise Einflüsse durch die scheinbare Bewegung der Sonne. Eine Möglichkeit zur Unterscheidung dieser Zeitraster und zur Identifizierung von Effekten im richtigen Zeitraster sind Zählerbilder mit Hysterese.
Ein Zählerbild ist eine Reihe von Werten, normalerweise von der Grosse eines Bildes, welches vergrössert oder verkleinert werden kann. Diese Werte werden üblicherweise zur Zählung von beispielsweise Ereignissen verwendet. Sowohl die Kantendetektion als auch die Bewegungsdetektion des im Flussdiagramm dargestellten Algorithmus hängen von Zählerbildern ab, welche mit einem Hysteresealgorithmus aktualisiert werden. Die Hysterese ist durch vier Werte, zuunterst, tief, hoch und zuoberst, charakterisiert, wobei zuunterst und zuoberst Zählergrenzen bilden, die nicht unter- beziehungsweise überschritten werden können. Der Wert tief liegt oberhalb des Werts zuunterst und der Wert hoch liegt zwischen den Werten tief und zuoberst. Wenn der Zählerstand zwischen zuunterst und tief oder zwischen hoch und zuoberst liegt, wird ganz normal gezählt, d.h. der Zählerstand wird pro detektiertem Ereignis um eins erhöht: Wenn der Zählerstand aber den Wert tief erreicht und ein weiteres Ereignis detektiert, springt er auf zuoberst. Ähnlich springt der Zählerstand, wenn er bei abnehmenden Werten von oben her den Wert hoch erreicht, auf zuunterst.
Dieser Hysterese-Mechanismus ermöglicht die Verwendung verrauschter Bilder für die Detek- tionsalgorithmen. Eine durch Rauschen verursachte Kante wird, bei angemessen parametrier- ter Hysterese, im Zählerbild nicht aufscheinen, und eine Kante wird nicht wegen eines einzigen verrauschten Bildes verschwinden. Ausserdem gelten noch die folgenden Zusammenhänge: Der Unterschied zwischen den Werten tief und zuunterst ergibt die Anzahl aufeinanderfolgender Einzelbilder über die ein Merkmal oder Ereignis, beispielsweise eine Kante, vorhanden sein muss, um detektiert zu werden, und die Differenz zwischen den Werten zuoberst und hoch ergibt die Anzahl aufeinanderfolgender Einzelbilder, nach denen bei abnehmendem Zählerwert das Ereignis verschwindet. Da dieser Anzahl der Einzelbilder jeweils eine bestimmte Zeitspanne entspricht, stellen diese Zeitspannen ein Mass für die Reaktionszeit des Algorithmus dar.
Die im Flussdiagramm dargestellte Analyse beginnt mit einer Kantendetektion 5 mit einem beispielsweise auf einem Sobel-Operator basierten Verfahren. Der Algorithmus analysiert die Helligkeit jedes Pixels jedes Einzelbilds und verfolgt die Geschichte des Szene mit Hilfe eines mit dem erwähnten Hysterese-Mechanismus aktualisierten Zählerbildes 6. Dabei werden für die Umgebung jedes Pixels zwei Werte berechnet:
• Auf die Umgebung wird ein Sobel Kanten-Detektionsfilter angewendet, welches einen Wert qSobeι liefert;
• für die Pixel der Umgebung wird ein Durchschnittswert qεum berechnet.
Die beiden Werte werden dann durch Verwendung zweier Skalierfaktoren (Dif f Fac und Su Fac) verglichen:
füiffFac Qβobel <?> f SumFac ' sum
Wenn die linke Seite dieser Ungleichung grösser ist als die rechte, dann wird der Zähler 6 erhöht, wenn nicht, dann wird er erniedrigt. In beiden Fällen wird der Hysterese-Mechanismus angewendet.
Parallel zur Kantendetektion 5 findet eine Bewegungsdetektion 7 statt, für die beispielsweise ein auf der normierten Kreuzkorrelation basierender Algorithmus verwendet wird, der grob wie folgt abläuft:
Die normierte Kreuzkorrelation lautet: r ' ,,~y ., \ , (Formel l)
Man nimmt kleine Bereiche des Bildes, von beispielsweise 4 mal 4 Pixel, zur Zeit t und betrachtet diese Pixel als Vektor x . Der selbe Bereich des folgenden Bildes zur Zeit t+ wird mit dem Vektor y bezeichnet. Wenn sich der Bereich überhaupt nicht verändert hat, dann ist x = y und der Quotient gemäss Formel 1 hat den Wert 1. Eine Änderung in dem genannten Bereich würde den Quotienten verändern, so dass der Grad dieser Veränderung als Mass für die Intensität der Änderung in dem Bereich verwendet werden kann.
Zur Anpassung an den verwendeten Prozessor werden in Formel 1 Zähler und Nenner mit Faktoren multipliziert und die dadurch gebildeten Produkte werden analog zur normierten Kreuzkorrelation gemäss Formel 1 angeschrieben. Wenn der Zähler kleiner ist, dann hat eine Bewegung stattgefunden und der entsprechende Bereich wird markiert. Plötzliche Änderungen der Lichtoder Beleuchtungsverhältnisse beeinflussen beide Seiten der Ungleichung ungefähr gleich stark, so dass die beschriebene Bewegungsdetektion gegenüber einheitlichen Änderungen im Bild immun ist. Man erhält auf diese Weise eine Karte des aktuellen Bildes mit 4 mal 4 Pixel- Blöcken.
Der nächste Schritt ist die Berechnung der Blöcke, die bei der Analyse des Zählerbildes 6 der Kanten nicht berücksichtigt werden sollen. Es sollen alle Blöcke einer bestimmten Anzahl, beispielsweise von vier mal vier, Pixel im Bild detektiert werden, in denen Ereignisse stattgefunden haben, welche den Rauchdetektionsalgohthmus negativ beeinflussen. Diese Blöcke ergeben eine Bitmaske 8, die als Zählerbild von 1/16 der Grosse des vollständigen Bildes dargestellt wird. Die Grosse der Blöcke ist durch die bei der Bewegungsdetektion betrachteten Blöcke bestimmt, kann aber geändert werden.
Eine nächste Stufe ist die Korrektur von Sättigung des Video-Sensors. Eine derartige Sättigung kann verschiedene Probleme nach sich ziehen:
• Die normierte Kreuzkorrelation funktioniert nur dann, wenn die Pixel des Bildes weder gesättigt noch vollständig schwarz sind;
• Grenzen eines vollständig gesättigten Bildausschnitts erscheinen als Kanten. Eine plötzliche Änderung der Beleuchtung würde den Eindruck erwecken, als ob die betreffende Kante verschoben und anschliessend verschwinden würde.
• In Bereichen von gesättigten Pixel gibt es keine Kanten. Ursprünglich erkannte Kanten verschwinden, wenn der betreffende Bereich in die Sättigung gelangt.
Aus diesem Grund wird für jeden Bereich in einer Sättigungsüberprüfung 9 durch Vergleich mit einem Grenzwert überprüft, ob eine bestimmte Anzahl von Pixel gesättigt ist. Wenn ja, dann wird der betreffende Block ebenfalls markiert. Um zu vermeiden, dass bewegte Objekte „Löcher" aufweisen, weil die Bewegungsdetektion nur Teile eines sich bewegenden Objekts detektiert, wird auf die Bitmaske 8 ein Ausdehnungsoperator 10 angewendet, welcher eventuelle Löcher füllt.
Die in den Stufen Bewegungsdetektion 7, Sättigungsüberprüfung 9 und Ausdehnungsoperator 10 berechnete Bitmaske 8 wird nun dazu verwendet, das Zählerbild für den Ausscheidungspro- zess 11 (Ausscheidung von für die Rauchdetektion nicht zu berücksichtigenden Bildbereichen) zu aktualisieren, wobei wieder der schon beschriebene Hysterese-Mechanismus angewendet wird.
An diesem Punkt des Algorithmus sind zwei Zählerbilder vorhanden, das aktualisierte Zählerbild 6 aller Pixel, wo Kanten detektiert worden sind, und das aktualisierten Zählerbild 11 aller Blöcke, die auszuscheiden sind. Das letztere Zählerbild wird nun zusammen mit einem Parameter dazu verwendet, das Zählerbild 6 so abzuändern, dass eine sichere Kantenabschätzung möglich wird, die von keinen die Rauchdetektion eventuell störenden Effekten beeinflusst ist. Jeder Block im Zählerbild 8 wird mit einem Schwellwert verglichen. Wenn der Wert des Blocks über diesem Schwellwert liegt, werden alle Pixel im Zählerbild 6 auf einen Minimalwert gesetzt. Aus dem Zählerbild 6 der Kanten werden nun zwei Grossen berechnet, welche die Anzahl der Kanten zu verschiedenen Zeitpunkten repräsentieren. Die erste Grosse ist die Anzahl der Pixel in den gegenwärtig vorhandenen Kanten oberhalb eines ersten Schwellwerts. Die zweite Grosse ist die Anzahl der Pixel oberhalb eines zweiten Schwellwerts, wobei dieser zweite Schwellwert grob als die Anzahl der Pixel in zu einem vergangenen Zeitpunkt vorhandenen Kanten interpretiert werden kann. Zur Berechnung dieser beiden Grossen ist eine Funktion ic) = (c i > l) definiert, welche
die Anzahl der Pixel cy im Bild der Zähler mit einem Wert oberhalb eines Schwellwerts / zählt. Mit dieser Funktion können nun die beiden Grossen berechnet werden, indem die Anzahl der gegenwärtig an einer Kante liegenden Pixel dadurch abgeschätzt wird, dass man / sehr nahe an den Maximalwert Wm legt, den die Pixel c, erreichen können. Zur Berücksichtigung von Rauschen im Bild A wird für / in der Regel der Wert (Wm - k) gewählt, wobei k eine Anzahl von Frames bedeutet und beispielsweise bei einer üblichen fixen Kamera in einem Tunnel etwa 250 beträgt.
Der Subroutine für die Zählung der Pixel kann ein Parameter „Bildhöhe" beigefügt werden, welcher bewirkt, dass nur der obere Teil, beispielsweise die obere Hälfte, des Bildes für die Rauchdetektion berücksichtigt wird. Das ist sinnvoll, weil Rauch in der Regel nach oben steigt. Zusätzlich können mit einer Maske beliebige Bildausschnitte von der Analyse ausgeschlossen werden.
Vor der Entscheidung, ob Rauch vorhanden ist, wird nun in einem Schritt 12 überprüft, ob genügend Kanten vorhanden sind, um diese Entscheidung treffen zu können. Diese Überprüfung ist notwendig für den Fall, wo beispielsweise ein grosser Lastwagen direkt vor der Kamera steht und das Bild keinerlei Kanten aufweist. Da es in diesem Fall unmöglich ist, ein Feuer zu detektieren, sollte ein Störungssignal ausgelöst werden, welches anzeigt, dass der Algorithmus unter den aktuellen Umständen nicht arbeiten kann. Um weitere Aktionen kurz zu verzögern und um unempfindlicher gegen Rauschen zu sein, wird ein Unterbrechungswert verwendet, der entwe-der Null oder grösser als Null sein kann. Im letzteren Fall war kurz zuvor detektiert worden, dass nicht genügend Kanten vorhanden sind.
Wenn weniger als die einer Minimalzahl von Kanten entsprechende Anzahl von Pixeln vorhanden sind, dann können zwei Aktionen erfolgen: Wenn der Unterbrechungswert bereits ungleich Null ist, wird er vermindert, und falls er 1 erreicht, wird ein Störungssignal ausgelöst. Wenn der Unterbrechungswert hingegen Null ist, wird er auf einen Wert grösser als Null erhöht. Wenn genügend viele Kanten vorhanden sind, wird der Unterbrechungswert auf Null gestellt und die Verarbeitung läuft weiter.
Wenn eine für die zuverlässige Detektion von Rauch genügende Anzahl von Kanten vorhanden ist, erfolgt in einer Stufe 13 die Entscheidung über das Vorhandensein von Rauch anhand der durchschnittlichen Summe und Differenz der Kanten. Die Differenz wird mit einem Parameter multipliziert und mit der Summe verglichen. Ist die Summe grösser, liegt kein Rauch vor; andernfalls wird Alarm ausgelöst. In beiden Fällen ist die Verarbeitung des aktuellen Bildes beendet und es beginnt die Verarbeitung des nächsten. Die Alarmauslösung kann beispielsweise dadurch erfolgen, dass in einer bemannten Alarmoder Überwachungszentrale, an welche die betreffende Kamera angeschlossen ist, ein entsprechender Alarm angezeigt wird, welcher das Bedienungspersonal veranlasst, das von der betreffenden Kamera gelieferte Bild von Auge näher zu analysieren. Die genannte Zentrale kann beispielsweise eine Polizei- oder Feuerwehrzentrale in einem städtischen oder regionalen Stützpunkt oder auch die Kommandozentrale eines Strassentunnels sein.

Claims

Patentansprüche
1. Video-Rauchdetektionssystem mit mindestens einer Einrichtung (1 ) zur Aufnahme von Videobildern und mit einer Signalverarbeitungsstufe (2), in welcher eine Bestimmung der Helligkeit der einzelnen Pixel oder von Gruppen von Pixeln der Videobilder erfolgt, dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Prozess erfolgt, bei welchem ein für die Helligkeit repräsentativer Wert gewonnen wird, und dass eine Untersuchung des zeitlichen Verlaufs des genannten Wertes auf eine für das Auftreten von Rauch charakteristische Veränderung erfolgt.
2. Rauchdetektionssystem nach Anspruch 1 , dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Kantenextraktionsprozess (5) erfolgt, bei welchem jedem Pixel ein Kantenwert (Kipj) zugeordnet wird.
3. Rauchdetektionssystem nach Anspruch 1 , dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch eine Frequenzanalyse, vorzugsweise eine Wavelet-Analyse, erfolgt, bei welcher jedem Pixel ein mittels Hochpassfilterung bestimmter Kantenwert (Kjj) zugeordnet wird.
4. Rauchdetektionssystem nach Anspruch 2, dadurch gekennzeichnet, dass für jedes Pixel ein Vergleich des Kantenwerts (Kjj)- mit einem Mittelwert (Mj ) erfolgt und dass aus diesem Vergleich ein nachfolgend so genanntes Zählerbild (Zjj, 6) gewonnen wird, welches das zeitliche Verhalten des Kantenwerts (Kjj) relativ zum Mittelwert (Mjj) angibt.
5. Rauchdetektionssystem nach Anspruch 4, dadurch gekennzeichnet, dass das Zählerbild (Zj, 6), welches angibt, wie oft die Helligkeit des betreffenden Pixels über eine bestimmte Zeit im Mittel oberhalb des genannten Mittelwerts (Mjj) gelegen hat, bei jedem Vergleich des Kantenwerts (Kjj) mit dem Mittelwert (Mjj) aktualisiert wird.
6. Rauchdetektionssystem nach Anspruch 5, dadurch gekennzeichnet, dass ein Vergleich des Zählerbildes (Zjj, 6) mit einem Schwellwert (Sz) und bei Überschreiten dieses Schwellwerts (Sz) eine Aufsummierung eines Initialisierungswertes (∑x°) zu einem aktuellen Wert erfolgt.
7. Rauchdetektionssystem nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass eine Untersuchung der aufgenommenen Videobilder (A) auf das Auftreten neuer Kanten erfolgt, wobei mittels einer Korrelationsrechnung zeitlich beabstandeter Zählerbilder (Zjj, 6) auf das Vorhandensein neuer Kanten geschlossen wird, und dass beim Vorhandensein neuer Kanten eine Neudefinition des Initialisierungswerts (∑x°) erfolgt.
8. Rauchdetektionssystem nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass aus dem aktuellen Wert (∑x) und dem Initialisierungswert (Σ„°) ein Quotient gebildet und dieser mit einem Rauchschwellwert (SR) verglichen wird, und dass bei Überschreiten des letzteren eine Alarmauslösung erfolgt.
9. Rauchdetektionssystem nach Anspruch 2, dadurch gekennzeichnet, dass zusätzlich zum Kantenextraktionsprozess (5) eine nachfolgend als Bewegungsdetektion (7) bezeichnete Untersuchung der Videobilder (A) auf Bewegungen erfolgt.
10. Rauchdetektionssystem nach Anspruch 9, dadurch gekennzeichnet, dass sowohl die Bestimmung der Kantenwerte als auch die Bewegungsdetektion (7) anhand von Zählerbildern (6, 11) erfolgt, welche mit einem Hysteresealgorithmus laufend aktualisiert werden.
11. Rauchdetektionssystem nach Anspruch 10, dadurch gekennzeichnet, dass der Hysteresealgorithmus einen Minimal- und einen Maximalwert sowie zwei zwischen diesen liegende Schwellwerte aufweist, wobei des Zählerbild bei Aufwärtszählung bei Unterschreiten des unteren Schwellwerts auf den Maximalwert und bei Abwärtszählung bei Unterschreiten des oberen Schwellwerts auf den Minimalwert springt.
12. Rauchdetektionssystem nach einem der Ansprüche 9 bis 11 , dadurch gekennzeichnet, dass für die Bewegungsdetektion (7) ein auf der normierten Kreuzkorrelation basierender Algorithmus verwendet wird.
13. Rauchdetektionssystem nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass drei Datenstrukturen verwendet werden, ein Datenfeld mit Informationen über die im jeweiligen Bild vorhandenen Kanten, ein Datenfeld mit einer Bitmaske (8) zum Zweck der Ausscheidung von Bildbereichen die für die Rauchdetektion nicht zu berücksichtigen sind, und das betrachtete Bild selbst, wobei die Kanten und das Bild zwischen aufeinanderfolgenden Iterationen des Prozesses erhalten bleiben und die Bitmaske (8) für jede Iteration neu initialisiert wird.
14. Rauchdetektionssystem nach Anspruch 13, dadurch gekennzeichnet, dass das Bild und die Kanten pixelweise analysiert werden und die Analyse der Bitmaske (8) für nachfolgend als Blöcke bezeichnete Gruppen von mehreren Pixeln erfolgt.
15. Rauchdetektionssystem nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die Verarbeitung der Daten auf zwei Pfaden erfolgt, einem ersten Pfad zur Berechnung der im Bild vorhandenen Kanten und zur Aktualisierung der bereits über Kanten vorhandenen Daten, und einem zweiten Pfad zur Erstellung der Bitmaske (8), wobei dieser zweite Pfad die Bewegungsdetektion (7) umfasst.
16. Rauchdetektionssystem nach den Ansprüchen 14 und 15, dadurch gekennzeichnet, dass der zweite Pfad ausserdem eine Überprüfung der Blöcke auf Sättigung der Einrichtung zur Aufnahme der Videobilder umfasst, bei welcher Blöcke mit einer bestimmten Anzahl gesättigter Pixel markiert und für die Analyse des Zählerbildes (6) nicht berücksichtigt werden.
17. Rauchdetektionssystem nach Anspruch 16, dadurch gekennzeichnet, dass mittels einer Maske beliebige Bildausschnitte von der Analyse ausgeschlossen werden können.
18. Rauchdetektionssystem nach Anspruch 17, dadurch gekennzeichnet, dass die anhand der Bewegungsdetektion (7) und der Überprüfung auf Sättigung (9) erstellte Bitmaske (8) dazu verwendet wird, das Zählerbild (11) für die Ausscheidung von für die Rauchdetektion (13) nicht zu berücksichtigenden Bildbereichen zu aktualisieren.
19. Rauchdetektionssystem nach Anspruch 18, dadurch gekennzeichnet, dass anhand des Zählerbildes (11) für die Ausscheidung der für die Rauchdetektion (13) nicht zu berücksichtigenden Bildbereiche das Zählerbild der Kanten (6) so abgeändert wird, dass die Kantenabschätzung gegenüber die Rauchdetektion (13) eventuell störenden Einflüssen weitgehend immun ist.
20. Rauchdetektionssystem nach Anspruch 19, dadurch gekennzeichnet, dass vor der Entscheidung über das Vorhandensein von Rauch eine Überprüfung (12) erfolgt, ob eine für eine solche Entscheidung ausreichende Anzahl von Kanten vorhanden ist.
EP01272590.9A 2000-12-28 2001-12-20 Video-rauchdetektionssystem Expired - Lifetime EP1346330B1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP01272590.9A EP1346330B1 (de) 2000-12-28 2001-12-20 Video-rauchdetektionssystem

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP00128606A EP1220178A1 (de) 2000-12-28 2000-12-28 Video-Rauchdetektionssystem
EP00128606 2000-12-28
CH196901 2001-10-26
CH19692001 2001-10-26
EP01272590.9A EP1346330B1 (de) 2000-12-28 2001-12-20 Video-rauchdetektionssystem
PCT/CH2001/000731 WO2002054364A2 (de) 2000-12-28 2001-12-20 Video-rauchdetektionssystem

Publications (2)

Publication Number Publication Date
EP1346330A2 true EP1346330A2 (de) 2003-09-24
EP1346330B1 EP1346330B1 (de) 2013-05-15

Family

ID=25739035

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01272590.9A Expired - Lifetime EP1346330B1 (de) 2000-12-28 2001-12-20 Video-rauchdetektionssystem

Country Status (5)

Country Link
EP (1) EP1346330B1 (de)
CN (1) CN1190759C (de)
AU (1) AU2002220440B2 (de)
HK (1) HK1054457B (de)
WO (1) WO2002054364A2 (de)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7256818B2 (en) 2002-05-20 2007-08-14 Simmonds Precision Products, Inc. Detecting fire using cameras
US7245315B2 (en) 2002-05-20 2007-07-17 Simmonds Precision Products, Inc. Distinguishing between fire and non-fire conditions using cameras
US7280696B2 (en) 2002-05-20 2007-10-09 Simmonds Precision Products, Inc. Video detection/verification system
DE50306852D1 (de) * 2003-07-11 2007-05-03 Siemens Schweiz Ag Verfahren und Einrichtung zur Detektion von Flammen
EP1519314A1 (de) * 2003-09-25 2005-03-30 Siemens Building Technologies AG Verfahren und Analysewerkzeug für die Überprüfung der Funktionstauglichkeit von Video-Überwachungsanlagen, sowie Messeinrichtung zur Durchführung des Verfahrens
AT414055B (de) * 2003-12-22 2006-08-15 Wagner Sicherheitssysteme Gmbh Verfahren und einrichtung zur branderkennung
GB2430102A (en) 2005-09-09 2007-03-14 Snell & Wilcox Ltd Picture loss detection by comparison of plural correlation measures
DE502005004026D1 (de) * 2005-09-09 2008-06-19 Siemens Ag Detektion von Rauch mit einer Videokamera
WO2008037293A1 (de) * 2006-09-25 2008-04-03 Siemens Schweiz Ag Detektion von rauch mit einer videokamera
US7859419B2 (en) 2006-12-12 2010-12-28 Industrial Technology Research Institute Smoke detecting method and device
EP2000952B1 (de) * 2007-05-31 2013-06-12 Industrial Technology Research Institute Verfahren und Vorrichtung zur Raucherkennung
CN101726357B (zh) * 2008-10-14 2014-01-08 能美防灾株式会社 烟检测装置
CN101373553B (zh) * 2008-10-23 2010-06-16 浙江理工大学 一种在动态场景中能免疫误报的早期烟雾视频检测方法
CN101751744B (zh) * 2008-12-10 2011-08-31 中国科学院自动化研究所 一种烟雾检测和预警方法
CN102023599B (zh) * 2010-02-11 2012-08-29 北京瑞华赢科技发展有限公司 一种隧道监控系统
CN102163360B (zh) * 2011-03-24 2013-07-31 杭州海康威视系统技术有限公司 隧道烟雾的视频检测方法及其装置
DE102016207712A1 (de) 2016-05-04 2017-11-09 Robert Bosch Gmbh Detektionsvorrichtung, Verfahren zur Detektion eines Ereignisses und Computerprogramm
CN106223774B (zh) * 2016-08-27 2018-10-02 朱洋 一种基于影像探测烟雾散发物体的智能窗户开启系统
CN109493361B (zh) * 2018-11-06 2021-08-06 中南大学 一种火灾烟雾图像分割方法
CN114648852B (zh) * 2022-05-24 2022-08-12 四川九通智路科技有限公司 一种隧道火灾监测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9822956D0 (en) * 1998-10-20 1998-12-16 Vsd Limited Smoke detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02054364A2 *

Also Published As

Publication number Publication date
WO2002054364A2 (de) 2002-07-11
AU2002220440B2 (en) 2007-08-23
CN1406366A (zh) 2003-03-26
WO2002054364A3 (de) 2002-12-19
HK1054457B (zh) 2005-09-30
EP1346330B1 (de) 2013-05-15
HK1054457A1 (en) 2003-11-28
CN1190759C (zh) 2005-02-23

Similar Documents

Publication Publication Date Title
EP1346330B1 (de) Video-rauchdetektionssystem
DE60132622T2 (de) Verfahren und vorrichtung zur auswahl des besten videoeinzelbildes zur übermittlung an einen entfernten standort innerhalb eines geschlossenen fernsehsystems zur wohnbereichssicherheitsüberwachung
AT502551B1 (de) Verfahren und bildauswertungseinheit zur szenenanalyse
EP0815539B1 (de) Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern
DE102006053286A1 (de) Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens
DE4407528A1 (de) System und Verfahren zur Bildauswertung
DE4332753C2 (de) Verfahren zur Erkennung bewegter Objekte
EP1496483B1 (de) Verfahren und Einrichtung zur Detektion von Flammen
DE10042935B4 (de) Verfahren zum Überwachen eines vorbestimmten Bereichs und entsprechendes System
DE60123214T2 (de) Rauch- und flammendetektion
EP3977430A1 (de) Verfahren und vorrichtung zur detektion von rauch
DE3214254C2 (de)
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
EP0777864B1 (de) System und verfahren zur bildauswertung
DE102019114451A1 (de) Aktivitätsbereiche in Videoinhalten
WO2012110654A1 (de) Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem
DE102007041333A1 (de) Berührungslos arbeitendes Zählsystem
DE102016222134A1 (de) Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes
DE19600958A1 (de) Interaktives Überwachungssystem
EP3493171A1 (de) Detektion von aggressivem verhalten in öffentlichen transportmitteln
DE19641000C2 (de) Verfahren und Anordnung zur automatischen Erkennung der Anzahl von Personen in einer Personenschleuse
WO2013083327A1 (de) Vorrichtung und verfahren zur automatischen detektion eines ereignisses in sensordaten
EP1220178A1 (de) Video-Rauchdetektionssystem
EP3352111B1 (de) Verfahren zum erkennen von kritischen ereignissen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030417

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

17Q First examination report despatched

Effective date: 20070219

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 50116282

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G08B0013194000

Ipc: G08B0013196000

RIC1 Information provided on ipc code assigned before grant

Ipc: G08B 13/196 20060101AFI20121018BHEP

Ipc: G08B 17/12 20060101ALI20121018BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: SIEMENS SCHWEIZ AG, CH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 612487

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130615

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 50116282

Country of ref document: DE

Effective date: 20130704

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20130515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130826

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130916

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130816

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20140218

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50116282

Country of ref document: DE

Effective date: 20140218

BERE Be: lapsed

Owner name: SIEMENS A.G.

Effective date: 20131231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131220

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131220

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131231

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20141208

Year of fee payment: 14

REG Reference to a national code

Ref country code: CH

Ref legal event code: PUE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 612487

Country of ref document: AT

Kind code of ref document: T

Effective date: 20131220

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20150220 AND 20150225

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20150220

Year of fee payment: 14

Ref country code: CH

Payment date: 20150305

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50116282

Country of ref document: DE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS BUILDING TECHNOLOGIES AG, ZUERICH, CH

Effective date: 20130515

Ref country code: DE

Ref legal event code: R081

Ref document number: 50116282

Country of ref document: DE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20150407

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131220

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20141217

Year of fee payment: 14

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Owner name: SIEMENS SCHWEIZ AG, CH

Effective date: 20150916

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50116282

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20151220

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151220

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160701

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231