EP1346330A2 - Video smoke detection system - Google Patents

Video smoke detection system

Info

Publication number
EP1346330A2
EP1346330A2 EP01272590A EP01272590A EP1346330A2 EP 1346330 A2 EP1346330 A2 EP 1346330A2 EP 01272590 A EP01272590 A EP 01272590A EP 01272590 A EP01272590 A EP 01272590A EP 1346330 A2 EP1346330 A2 EP 1346330A2
Authority
EP
European Patent Office
Prior art keywords
value
smoke detection
detection system
image
smoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP01272590A
Other languages
German (de)
French (fr)
Other versions
EP1346330B1 (en
Inventor
Dieter Wieser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens Building Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP00128606A external-priority patent/EP1220178A1/en
Application filed by Siemens Building Technologies AG filed Critical Siemens Building Technologies AG
Priority to EP01272590.9A priority Critical patent/EP1346330B1/en
Publication of EP1346330A2 publication Critical patent/EP1346330A2/en
Application granted granted Critical
Publication of EP1346330B1 publication Critical patent/EP1346330B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Definitions

  • the invention is in the field of smoke detection using a video image.
  • smoke detection is carried out with smoke detectors mounted on the ceiling of the respective room, which are based, for example, on the principle of light scattering or light attenuation due to smoke.
  • practically no smoke detectors are used in railway or road tunnels, because the air movement and air stratification caused by the moving cars and trains does not guarantee that the smoke generated by a Brahd would reach the smoke detectors mounted on the ceiling in a useful period.
  • so-called linear heat detection systems such as the FibroLaser system from Siemens Building Technologies AG, Cerberus Division, are used for fire monitoring in tunnels.
  • this method has the problem that smoke is not recognized against a bright background and even fire which produces little smoke is not detected.
  • changes in brightness such as those caused by people moving through the field of view of the camera, can trigger a false alarm.
  • An attempt has been made to solve this problem by examining an outer area in addition to the actual monitored area and interrupting the observation of the monitored area in the event of changes in this outer area.
  • This method has the disadvantage that a fire may not be detected until after a certain delay, and that smoke sources are not recognized in the outer area provided in addition to the surveillance area.
  • the present invention relates to a video smoke detection system with at least one device for recording video images and with a signal processing stage in which the brightness of the individual pixels or groups of pixels of the video images is determined.
  • the object to be achieved with the invention is to provide a video smoke detection system which enables rapid and safe detection of smoke and is particularly suitable for use in road and rail tunnels. Smoke detection should take place at the earliest possible stage of fire and false alarms should be practically excluded.
  • the video smoke detection system is characterized in that the determination of the brightness of the pixels is carried out by a process in which a value representative of the brightness is obtained, and that an examination of the temporal course of the said value for a characteristic of the occurrence of smoke Change takes place.
  • a first preferred embodiment of the video smoke detection system according to the invention is characterized in that the brightness of the pixels is determined by an edge extraction process in which an edge value is assigned to each pixel.
  • the smoke detection system according to the invention is based on the knowledge that the occurrence of smoke leads to the contrast being reduced.
  • the edges are smeared or disappear. This process has the advantage that the edge value is insensitive to global changes in lighting.
  • a second preferred embodiment of the video smoke detection system according to the invention is characterized in that for each pixel the edge value is compared with an average value, and from this comparison a so-called counter image is obtained which shows the temporal behavior of the edge value relative to the average value indicates.
  • the counter image which indicates how often the brightness of the pixel in question has been above the mean value over a certain time, is preferably updated each time the edge value is compared with the mean value.
  • the counter image is compared with a threshold value and if this threshold value is exceeded, an initialization value is added up to form a current value.
  • a third preferred embodiment of the video smoke detection system according to the invention is characterized in that, in addition to the edge extraction process, the video images are subsequently examined for movements, referred to as motion detection.
  • motion detection In road and rail tunnels, for the monitoring of which the system according to the invention is primarily intended, the covering of edges not caused by smoke will take place almost exclusively by moving objects between the relevant edge and the camera. Since such objects do not suddenly materialize but generally have moved to the place where they cover the edge, it can be assumed that if the edge covering is not caused by smoke, the object covering the edge will move immediately beforehand must have taken place. Motion detection thus provides a reliable criterion for distinguishing edges covered by smoke from those covered by objects.
  • Both the edge values and the movement detection are preferably carried out using counter images which are continuously updated with a hysteresis algorithm.
  • An algorithm based on the normalized cross-correlation is preferably used for the motion detection.
  • the hysteresis algorithm preferably has a minimum and a maximum value and two threshold values lying between them, the counter image jumping to the maximum value when the lower threshold value is exceeded and down to the minimum value when the lower threshold value is being counted down.
  • This hysteresis algorithm enables the use of noisy images for the detection algorithms. An edge caused by noise, with appropriately parameterized hysteresis, will not appear in the counter image, and an edge will not disappear due to a single noisy image.
  • a fourth preferred embodiment of the smoke detection system according to the invention is characterized in that three data structures are used, a data field with information about the edges present in the respective image, a data field with a bit mask for the purpose of eliminating image areas which are not to be taken into account for smoke detection, and the viewed image itself, the edges and the image being preserved between successive iterations of the process and the bit mask being reinitialized for each iteration.
  • a fifth preferred embodiment of the smoke detection system according to the invention is characterized in that the image and the edges are analyzed pixel by pixel and the analysis of the bit mask is carried out for groups of several pixels referred to below as blocks.
  • a sixth preferred embodiment of the smoke detection system according to the invention is characterized in that the data is processed in two paths, a first path for calculating the edges present in the image and for updating the ones already present data present over edges, and a second path for creating the bit mask, this second path comprising the motion detection.
  • the second path also comprises checking the blocks for saturation of the device for recording the video images, in which blocks are marked with a certain number of saturated pixels and are not taken into account for the analysis of the counter image of the edges.
  • Another preferred embodiment of the smoke detection system according to the invention is characterized in that any image sections can be excluded from the analysis by means of a mask.
  • the bit mask created on the basis of the motion detection and the check for saturation is preferably used to update the counter image for the elimination of image areas which are not to be taken into account for smoke detection.
  • Another preferred embodiment of the smoke detection system according to the invention is characterized in that before the decision about the presence of smoke, a check is carried out to determine whether there is a sufficient number of edges for such a decision.
  • FIG. 1 is a block diagram of a video smoke detection system according to the invention
  • FIG. 5 shows a flowchart to explain the functioning of a second exemplary embodiment of the video smoke detection system according to the invention.
  • the video smoke detection system essentially consists of a number of video cameras 1 and a common processor 2, in which the processing and evaluation of the signals of the video cameras 1 takes place.
  • the video cameras 1 are mounted, for example, in a road tunnel and are used for traffic monitoring, for example for monitoring compliance with traffic rules and for detecting congestion, accidents and the like.
  • the cameras are connected to a manned operations center, in which the traffic in the tunnel is monitored via monitors.
  • the processors 2 are arranged in a decentralized manner, a common processor 2 being assigned to a specific number of, for example, 8 to 10 cameras.
  • the video images are broken down into pixels, the individual pixels and / or groups of these are assigned brightness values, and the presence of is decided on the basis of a comparison of the brightness values of the pixels with a reference value Smoke.
  • the brightness values When assigning the brightness values to the individual pixels or pixel groups, it is essential that this assignment is independent of global changes in brightness, that is to say changes in the lighting of the entire image. This independence from the lighting can be achieved by assigning edge values to the pixels, which represent a derivative. The detection of smoke is based on the assumption that the edges are weakened or disappear by smoke.
  • the signal processing and evaluation in the processor 2 can be divided into two function blocks, designated in FIG. 1 with pixel brightness 3 and smoke detection 4.
  • the flow chart of FIG. 2 shows the acquisition of the values representative of the brightness of the pixels (pixel brightness 3) and that of FIG. 3 their further examination for the presence of smoke (smoke detection 4).
  • FIG. 4 shows a flow diagram of additional steps of the method according to FIG. 2 required for certain applications (smoke detection in interior spaces, such as in corridors, foyers and the like).
  • the video images recorded by each camera 1 are broken down into pixels and digitized, as a result of which the intensity value IJJ is determined for each pixel with the coordinates i and j, which can be between 0 and 255, for example.
  • the mean values Mj j or the median, or a value obtained by low-pass filtering, is formed from the intensity values ⁇ for a certain group of pixels of, for example, 3 times 3 or 5 times 5.
  • the median has the advantage that his calculation can be done in 8-bit.
  • an edge value is obtained from the intensity Ij j , which is done by derivation or by frequency analysis (high-pass filtering, for example wavelet transformation).
  • the edge values Kj j of the individual pixels can be determined, for example, by using a Roberts or Sobo operator. Of course, you can also use a more complicated operator for the edge calculation and apply it to larger areas such as 5x5 or 7x7 pixels.
  • the edge value K-, j is above the mean or the median. If YES, a number ⁇ ob is added to a value Z itj and the old value Zj j is replaced by the new one, if NO, a number ⁇ u ⁇ is subtracted from a value Zj j and the old value Zjj is replaced by the new one replaced.
  • the value Z i ⁇ j is a number that indicates how often the edge value and thus the brightness of the pixel in question have been above a certain threshold (mean value or median Mj) on average over a certain time. This number Z J J is referred to below as a counter image.
  • the value range of Zj j is, for example, 0 to 255, the initial value of Zjj when the system is initialized is 0.
  • the numbers ⁇ un and ⁇ ob can be the same or different; for example, both can be equal to one.
  • the counter image Zjj has a particular advantage with regard to the effect of movements on the edge values.
  • an object moves through the image, it also moves at least one edge through this, and this has the consequence that the pixel has a higher edge value at the respective location of the edge, as a result of which the counter image Z ⁇ increases by ⁇ .
  • the counter image Zj j is reduced by ⁇ un , so that in total the passage of edges through the video image in the counter image Zj j of the individual pixels has no effect.
  • , j finally obtained thus preferably represents a value representative of the brightness of the pixel in question.
  • three time scales are used: the frequency of the recorded video images, for example 1/25 second, every 10 seconds after 255 Pictures and about every half hour.
  • the counter image j is compared with a threshold S z . If the counter image Zj j is below the threshold S z , nothing happens; if it is above the threshold S z , a summation takes place, that is to say a value ⁇ x is increased by 1 and replaced by this new value.
  • ⁇ x is significantly larger than ⁇ x °, then new edges have appeared, which can be caused by a stationary object being in the image area of the video camera.
  • a stationary object can be, for example, a standing car in a tunnel or an object parked in a tunnel; in both cases the object covers a certain image area, which is referred to as cover in FIG. 3.
  • the initialization value ⁇ x ° is redefined.
  • the quotient ⁇ x / ⁇ x ° is then formed and compared with a smoke threshold value S R. If the quotient mentioned is below the smoke threshold and edges are weakened or disappeared, an alarm is triggered.
  • the subroutine shown in FIG. 4 is used if necessary, which serves to eliminate movements and starts from the edges Kj j (FIG. 2). In principle, one could also start from the intensity Ij j , but this would be associated with the disadvantage of the presence of disturbing DC components.
  • the difference ⁇ Kjj of successive images is formed and compared with a movement threshold value S B. If ⁇ Kjj is below this threshold, there are no movements.
  • S B the pixels that meet this condition are combined into sub-areas from which the movement is hidden. The latter takes place in that the counter image Zj j is not updated and the last counter image before the movement is used for the subareas mentioned.
  • the signal noise is eliminated by a morphological filter (eroding).
  • a morphological filter eroding. This means the following:
  • the difference image which provides the number of changed pixels in the sub-areas, is a binary image. You move a pattern over this binary image and give the pixels that coincide with the pattern the value "1". The end of the movement is indicated by the subareas successively disappearing from the image and the edges being removed.
  • FIG. 5 shows a flow diagram of a second exemplary embodiment of the video smoke detection system according to the invention, which is characterized in particular by a high level of robustness against interference and a high level of reliability of the smoke detection.
  • the image under consideration is designated by the reference symbol A in FIG. 5.
  • a counter image is a series of values, usually the size of an image, which can be enlarged or reduced. These values are usually used to count events, for example.
  • Both the edge detection and the movement detection of the algorithm shown in the flowchart depend on counter images which are updated with a hysteresis algorithm.
  • the hysteresis is characterized by four values, bottom, bottom, high and top, bottom and top forming counter limits that cannot be exceeded or undershot. The value low lies above the value at the bottom and the value high lies between the values low and at the top. If the counter reading is between bottom and bottom or between high and top, counting takes place as normal, i.e. the counter reading is increased by one for each detected event: if the counter reading reaches the low value and another event is detected, it jumps to the top. Similarly, the counter reading jumps to the bottom when it reaches the value high with decreasing values from above.
  • This hysteresis mechanism enables the use of noisy images for the detection algorithms. An edge caused by noise will not appear in the counter image if the hysteresis is appropriately parameterized, and an edge will not disappear due to a single noisy image.
  • the following relationships also apply: The difference between the values low and low results in the number of successive individual images over which a feature or event, for example an edge, must be present in order to be detected, and the difference between the values top and high results the number of consecutive frames after which the event disappears as the counter value decreases. Since this number of individual images corresponds to a certain period of time, these periods of time represent a measure of the response time of the algorithm.
  • the analysis shown in the flowchart begins with an edge detection 5 using a method based, for example, on a Sobel operator.
  • the algorithm analyzes the brightness of each pixel of each frame and tracks the history of the scene with the help of a the mentioned hysteresis mechanism updated counter image 6. Two values are calculated for the surroundings of each pixel:
  • a Sobel edge detection filter is applied to the environment, which delivers a value q Sobe ⁇ ;
  • the counter 6 is increased, if not, it is decreased.
  • the hysteresis mechanism is used in both cases.
  • a movement detection 7 takes place parallel to the edge detection 5, for which an algorithm based on the normalized cross-correlation is used, for example, which roughly proceeds as follows:
  • Small areas of the image for example 4 by 4 pixels, are taken at time t and these pixels are viewed as vector x.
  • the numerator and denominator are multiplied by factors in Formula 1 and the products formed in this way are written in analogy to the standardized cross-correlation according to Formula 1. If the counter is smaller, then a movement has taken place and the corresponding area is marked. Sudden changes in the light or lighting conditions affect both sides of the inequality approximately equally, so that the movement detection described is immune to uniform changes in the image. In this way you get a map of the current image with 4 by 4 pixel blocks.
  • the next step is the calculation of the blocks that should not be taken into account when analyzing the counter image 6 of the edges. All blocks of a certain number, for example four by four, pixels in the image are to be detected in which events have occurred which have a negative influence on the smoke detection algorithm. These blocks result in a bit mask 8, which is represented as a counter image of 1/16 the size of the complete image becomes. The size of the blocks is determined by the blocks considered in the motion detection, but can be changed.
  • the next stage is the correction of the saturation of the video sensor.
  • Such saturation can cause several problems:
  • bit mask 8 calculated in the stages of motion detection 7, saturation check 9 and expansion operator 10 is now used to update the counter image for the elimination process 11 (elimination of image areas not to be taken into account for smoke detection), again using the hysteresis mechanism already described is applied.
  • each block in the counter image 8 is compared with a threshold value. If the value of the block is above this threshold, all pixels in counter image 6 are set to a minimum value. From the counter image 6 of the edges two sizes are now calculated, which represent the number of edges at different times.
  • the first size is the number of pixels in the currently existing edges above a first threshold.
  • the second size is the number of pixels above a second threshold value, this second threshold value can roughly be interpreted as the number of pixels in edges present at a previous point in time.
  • a function ic) (c i > l) is defined, which
  • the two sizes can now be calculated by estimating the number of pixels currently lying on an edge by / very close to the maximum value W m that the pixels c 1, can reach.
  • the value (W m - k) is generally selected for /, where k means a number of frames and is, for example, about 250 in the case of a conventional fixed camera in a tunnel.
  • a parameter "image height” can be added to the subroutine for counting the pixels, which means that only the upper part, for example the upper half, of the image is taken into account for smoke detection. This makes sense because smoke generally rises.
  • any image sections can be excluded from the analysis with a mask.
  • a step 12 is now used to check whether there are enough edges to be able to make this decision. This check is necessary in the case where, for example, a large truck is directly in front of the camera and the image has no edges. In this case, since it is impossible to detect a fire, a fault signal should be triggered, which indicates that the algorithm cannot work under the current circumstances. In order to briefly delay further actions and to be less sensitive to noise, an interrupt value is used, which can either be zero or greater than zero. In the latter case, it had been detected shortly before that there were not enough edges.
  • the difference is multiplied by a parameter and compared with the sum. If the sum is greater, there is no smoke; otherwise the alarm is triggered. In both cases, processing of the current image is finished and processing of the next one begins.
  • the alarm can be triggered, for example, by a corresponding alarm being displayed in a manned alarm or monitoring center to which the camera in question is connected, which prompts the operating personnel to analyze the image supplied by the camera in question by eye.
  • the said center can be, for example, a police or fire service center in an urban or regional base or the command center of a road tunnel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a video smoke detection system comprising at least one device for recording video images (A) and one signal processing step, wherein the illuminosity of a single pixel or a group of pixels in the video images (A) is determined. The illuminosity of the pixel is determined by means of a process wherein a value representing the illuminosity is obtained. The temporal progression of the above-mentioned value is examined for characteristic changes in the presence of smoke. Determination of the illuminosity of the pixel occurs by means of an edge extraction process (5), whereby an edge value is associated with each pixel. The edge extraction process (5) also takes place after examination of the video images (A) for movement, designated as movement detection (7). Determination of the edge values and movement detection (7) occur by means of digital images (6, 8) which are continuously updated by a hysteresis algorithm.

Description

Video - Rauchdetektionssystem Video smoke detection system
Beschreibungdescription
Die Erfindung liegt auf dem Gebiet der Rauchdetektion anhand eines Videobildes. In Wohn- und Industriegebäuden, Lagerhallen, Museen, Kirchen und dergleichen erfolgt die Rauchdetektion mit an der Decke des jeweiligen Raums montierten Rauchmeldern, welche beispielsweise auf dem Prinzip der Lichtstreuung oder Lichtabschwächung durch Rauch beruhen. In Eisenbahn- oder Strassentunnels hingegen werden praktisch keine Rauchmelder eingesetzt, weil hier wegen der durch die fahrenden Autos und Züge verursachte Luftbewegung und Luftschichtung nicht gewährleistet ist, dass der bei einem Brahd entstehende Rauch in nützlicher Frist bis zu an der Decke montierten Rauchmeldern gelangen würde. Daher werden heute für die Brandüberwachung in Tunnels sogenannte lineare Wärmemeldesysteme wie beispielsweise das System FibroLaser der Siemens Building Technologies AG, Cerberus Division verwendet.The invention is in the field of smoke detection using a video image. In residential and industrial buildings, warehouses, museums, churches and the like, smoke detection is carried out with smoke detectors mounted on the ceiling of the respective room, which are based, for example, on the principle of light scattering or light attenuation due to smoke. In contrast, practically no smoke detectors are used in railway or road tunnels, because the air movement and air stratification caused by the moving cars and trains does not guarantee that the smoke generated by a Brahd would reach the smoke detectors mounted on the ceiling in a useful period. For this reason, so-called linear heat detection systems, such as the FibroLaser system from Siemens Building Technologies AG, Cerberus Division, are used for fire monitoring in tunnels.
In jüngster Zeit bestehen Bestrebungen, die für die Verkehrsüberwachung in Tunnels ohnehin vorhandenen Videosysteme zur Rauchdetektion zu verwenden. Da die Videobilder für einen Betrachter sehr oft uninteressant sind und ausserdem durch Rauch nur sehr kleine Veränderungen im Videobild verursacht werden, kommt eine Überwachung durch das Personal an den Bildschirmen nicht in Frage. Wenn überhaupt, kann die Überwachung nur durch eine automatische Auswertung der Videobilder erfolgen. Bei einem bekannten Verfahren zur automatischen Untersuchung von Videobildern auf das Auftreten von Rauch werden die Intensitätswerte der einzelnen Pixel aufeinanderfolgender Bilder miteinander verglichen. Wenn Intensitätswerte gemessen werden, die für ein helleres, durch die Anwesenheit von Rauch verursachtes Bild repräsentativ sind, wird auf das Vorhandensein von Rauch geschlossen und Alarm ausgelöst.In recent times efforts have been made to use the video systems for smoke detection that are already available for traffic monitoring in tunnels. Since the video images are very often of no interest to a viewer and, moreover, smoke causes only very small changes in the video image, monitoring by the personnel on the screens is out of the question. If at all, monitoring can only be done by automatically evaluating the video images. In a known method for automatically examining video images for the occurrence of smoke, the intensity values of the individual pixels of successive images are compared with one another. If intensity values are measured which are representative of a brighter image caused by the presence of smoke, the presence of smoke is concluded and an alarm is triggered.
Bei diesem Verfahren besteht unter anderem das Problem, dass Rauch vor einem hellen Hintergrund nicht erkannt und selbst Feuer, welches nur wenig Rauch erzeugt, nicht detektiert wird. Ausserdem können Helligkeitsänderungen, wie sie beispielsweise durch sich durch das Blickfeld der Kamera bewegende Personen verursacht werden, einen Fehlalarm auslösen. Dieses Problem hat man dadurch zu lösen versucht, dass man zusätzlich zum eigentlichen Überwachungsbereich noch einen äusseren Bereich untersucht und bei Änderungen in diesem äusse- ren Bereich die Beobachtung des Überwachungsbereichs unterbricht. Dieses Verfahren hat den Nachteil, dass ein Feuer unter Umständen erst nach einer bestimmten Verzögerung detektiert wird, und dass Rauchquellen in dem zusätzlich zum Überwachungsbereich vorgesehenen äusseren Bereich nicht erkannt werden. Die vorliegende Erfindung betrifft ein Video-Rauchdetektionssystem mit mindestens einer Einrichtung zur Aufnahme von Videobildern und mit einer Signalverarbeitungsstufe, in welcher eine Bestimmung der Helligkeit der einzelnen Pixel oder von Gruppen von Pixeln der Videobilder erfolgt.Among other things, this method has the problem that smoke is not recognized against a bright background and even fire which produces little smoke is not detected. In addition, changes in brightness, such as those caused by people moving through the field of view of the camera, can trigger a false alarm. An attempt has been made to solve this problem by examining an outer area in addition to the actual monitored area and interrupting the observation of the monitored area in the event of changes in this outer area. This method has the disadvantage that a fire may not be detected until after a certain delay, and that smoke sources are not recognized in the outer area provided in addition to the surveillance area. The present invention relates to a video smoke detection system with at least one device for recording video images and with a signal processing stage in which the brightness of the individual pixels or groups of pixels of the video images is determined.
Die mit der Erfindung zu lösende Aufgabe besteht darin, ein Video-Rauchdetektionssystem anzugeben, welches eine rasche und sichere Detektion von Rauch ermöglicht und insbesondere für den Einsatz in Strassen- und Eisenbahntunnels geeignet ist. Die Rauchdetektion soll in einem möglichst frühen Stadium der Brandentstehung erfolgen und Fehlalarme sollen praktisch ausgeschlossen sein.The object to be achieved with the invention is to provide a video smoke detection system which enables rapid and safe detection of smoke and is particularly suitable for use in road and rail tunnels. Smoke detection should take place at the earliest possible stage of fire and false alarms should be practically excluded.
Das erfindungsgemässe Video-Rauchdetektionssystem ist dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Prozess erfolgt, bei welchem ein für die Helligkeit repräsentativer Wert gewonnen wird, und dass eine Untersuchung des zeitlichen Verlaufs des genannten Wertes auf eine für das Auftreten von Rauch charakteristische Veränderung erfolgt.The video smoke detection system according to the invention is characterized in that the determination of the brightness of the pixels is carried out by a process in which a value representative of the brightness is obtained, and that an examination of the temporal course of the said value for a characteristic of the occurrence of smoke Change takes place.
Eine erste bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssys- tems ist dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Kantenextraktionsprozess erfolgt, bei welchem jedem Pixel ein Kantenwert zugeordnet wird.A first preferred embodiment of the video smoke detection system according to the invention is characterized in that the brightness of the pixels is determined by an edge extraction process in which an edge value is assigned to each pixel.
Das erfindungsgemässe Rauchdetektionssystem basiert auf der Erkenntnis, dass das Auftreten von Rauch dazu führt, dass der Kontrast reduziert wird. Bei der Bestimmung der Helligkeit durch einen Kantenextraktionsprozess werden die Kanten verschmiert oder sie verschwinden. Dabei hat dieser Prozess den Vorteil, dass der Kantenwert gegen globale Beleuchtungsänderungen unempfindlich ist.The smoke detection system according to the invention is based on the knowledge that the occurrence of smoke leads to the contrast being reduced. When determining the brightness using an edge extraction process, the edges are smeared or disappear. This process has the advantage that the edge value is insensitive to global changes in lighting.
Eine zweite bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssys- tems ist dadurch gekennzeichnet, dass für jedes Pixel ein Vergleich des Kantenwerts mit einem Mittelwert erfolgt, und dass aus diesem Vergleich ein nachfolgend so genanntes Zählerbild gewonnen wird, welches das zeitliche Verhalten des Kantenwerts relativ zum Mittelwert angibt.A second preferred embodiment of the video smoke detection system according to the invention is characterized in that for each pixel the edge value is compared with an average value, and from this comparison a so-called counter image is obtained which shows the temporal behavior of the edge value relative to the average value indicates.
Vorzugsweise wird das Zählerbild, welches angibt, wie oft die Helligkeit des betreffenden Pixels über eine bestimmte Zeit im Mittel oberhalb des genannten Mittelwerts gelegen hat, bei jedem Vergleich des Kantenwerts mit dem Mittelwert aktualisiert.The counter image, which indicates how often the brightness of the pixel in question has been above the mean value over a certain time, is preferably updated each time the edge value is compared with the mean value.
Es erfolgt ein Vergleich des Zählerbildes mit einem Schwellwert und bei Überschreiten dieses Schwellwerts eine Aufsummierung eins Initialisierungswerts zu einem aktuellen Wert.The counter image is compared with a threshold value and if this threshold value is exceeded, an initialization value is added up to form a current value.
Eine dritte bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssys- tems ist dadurch gekennzeichnet, dass zusätzlich zum Kantenextraktionsprozess eine nachfolgend als Bewegungsdetektion bezeichnete Untersuchung der Videobilder auf Bewegungen erfolgt. In Strassen- und Eisenbahntunnels, für deren Überwachung das erfindungsgemässe System in erster Linie vorgesehen ist, wird die nicht durch Rauch verursachte Abdeckung von Kanten fast ausschliesslich durch bewegte Objekte zwischen der betreffenden Kante und der Kamera erfolgen. Da sich solche Objekte nicht plötzlich materialisieren sondern in aller Regel an die Stelle, wo sie die Kante abdecken, hinbewegt haben, kann man davon ausgehen, dass bei einer Kantenabdeckung, die nicht durch Rauch verursacht ist, unmittelbar vorher eine Bewegung des die Kante abdeckenden Objekts stattgefunden haben muss. Die Bewegungsdetektion liefert also ein zuverlässiges Kriterium für die Unterscheidung von durch Rauch abgedeckten Kanten von solchen, die durch Objekte abgedeckt wurden.A third preferred embodiment of the video smoke detection system according to the invention is characterized in that, in addition to the edge extraction process, the video images are subsequently examined for movements, referred to as motion detection. In road and rail tunnels, for the monitoring of which the system according to the invention is primarily intended, the covering of edges not caused by smoke will take place almost exclusively by moving objects between the relevant edge and the camera. Since such objects do not suddenly materialize but generally have moved to the place where they cover the edge, it can be assumed that if the edge covering is not caused by smoke, the object covering the edge will move immediately beforehand must have taken place. Motion detection thus provides a reliable criterion for distinguishing edges covered by smoke from those covered by objects.
Vorzugsweise erfolgt sowohl die Bestimmung der Kantenwerte als auch die Bewegungsdetektion anhand von Zählerbildern, welche mit einem Hysteresealgorithmus laufend aktualisiert werden. Für die Bewegungsdetektion wird vorzugsweise ein auf der normierten Kreuzkorrelation basierender Algorithmus verwendet.Both the edge values and the movement detection are preferably carried out using counter images which are continuously updated with a hysteresis algorithm. An algorithm based on the normalized cross-correlation is preferably used for the motion detection.
Der Hysteresealgorithmus weist vorzugsweise einen Minimal- und einen Maximalwert sowie zwei zwischen diesen liegende Schwellwerte auf, wobei das Zählerbild bei Aufwärtszählung bei Überschreiten des unteren Schwellwerts auf den Maximalwert und bei Abwärtszählung bei Unterschreiten des oberen Schwellwerts auf den Minimalwert springt.The hysteresis algorithm preferably has a minimum and a maximum value and two threshold values lying between them, the counter image jumping to the maximum value when the lower threshold value is exceeded and down to the minimum value when the lower threshold value is being counted down.
Dieser Hysterese-Algorithmus ermöglicht ermöglicht die Verwendung verrauschter Bilder für die Detektionsalgorithmen. Eine durch Rauschen verursachte Kante wird, bei angemessen parame- trierter Hysterese, im Zählerbild nicht aufscheinen, und eine Kante wird nicht wegen eines einzigen verrauschten Bildes verschwinden.This hysteresis algorithm enables the use of noisy images for the detection algorithms. An edge caused by noise, with appropriately parameterized hysteresis, will not appear in the counter image, and an edge will not disappear due to a single noisy image.
Eine vierte bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass drei Datenstrukturen verwendet werden, ein Datenfeld mit Informationen über die im jeweiligen Bild vorhandenen Kanten, ein Datenfeld mit einer Bitmaske zum Zweck der Ausscheidung von Bildbereichen, die für die Rauchdetektion niόht zu berücksichtigen sind, und das betrachtete Bild selbst, wobei die Kanten und das Bild zwischen aufeinanderfolgenden Iterationen des Prozesses erhalten bleiben und die Bitmaske für jede Iteration neu initialisiert wird.A fourth preferred embodiment of the smoke detection system according to the invention is characterized in that three data structures are used, a data field with information about the edges present in the respective image, a data field with a bit mask for the purpose of eliminating image areas which are not to be taken into account for smoke detection, and the viewed image itself, the edges and the image being preserved between successive iterations of the process and the bit mask being reinitialized for each iteration.
Eine fünfte bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass das Bild und die Kanten pixelweise analysiert werden und die Analyse der Bitmaske für nachfolgend als Blöcke bezeichnete Gruppen von mehreren Pixeln erfolgt.A fifth preferred embodiment of the smoke detection system according to the invention is characterized in that the image and the edges are analyzed pixel by pixel and the analysis of the bit mask is carried out for groups of several pixels referred to below as blocks.
Eine sechste bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass die Verarbeitung der Daten auf zwei Pfaden erfolgt, einem ersten Pfad zur Berechnung der im Bild vorhandenen Kanten und zur Aktualisierung der bereits über Kanten vorhandenen Daten, und einem zweiten Pfad zur Erstellung der Bitmaske, wobei dieser zweite Pfad die Bewegungsdetektion umfasst.A sixth preferred embodiment of the smoke detection system according to the invention is characterized in that the data is processed in two paths, a first path for calculating the edges present in the image and for updating the ones already present data present over edges, and a second path for creating the bit mask, this second path comprising the motion detection.
Gemäss einer siebten bevorzugten Ausführungsform des erfindungsgemässen Rauchdetektionssystems umfasst der zweite Pfad ausserdem eine Überprüfung der Blöcke auf Sättigung der Einrichtung zur Aufnahme der Videobilder, bei welcher Blöcke mit einer bestimmten Anzahl gesättigter Pixel markiert und für die Analyse des Zählerbildes der Kanten nicht berücksichtigt werden.According to a seventh preferred embodiment of the smoke detection system according to the invention, the second path also comprises checking the blocks for saturation of the device for recording the video images, in which blocks are marked with a certain number of saturated pixels and are not taken into account for the analysis of the counter image of the edges.
Eine weitere bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dadurch gekennzeichnet, dass mittels einer Maske beliebige Bildausschnitte von der Analyse ausgeschlossen werden können. Vorzugsweise wird die anhand der Bewegungsdetektion und der Überprüfung auf Sättigung erstellte Bitmaske dazu verwendet, das Zählerbild für die Ausscheidung von für die Rauchdetektion nicht zu berücksichtigenden Bildbereichen zu aktualisieren.Another preferred embodiment of the smoke detection system according to the invention is characterized in that any image sections can be excluded from the analysis by means of a mask. The bit mask created on the basis of the motion detection and the check for saturation is preferably used to update the counter image for the elimination of image areas which are not to be taken into account for smoke detection.
Eine weitere bevorzugte Ausführung des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass vor der Entscheidung über das Vorhandensein von Rauch eine Überprüfung erfolgt, ob eine für eine solche Entscheidung ausreichende Anzahl von Kanten vorhanden ist.Another preferred embodiment of the smoke detection system according to the invention is characterized in that before the decision about the presence of smoke, a check is carried out to determine whether there is a sufficient number of edges for such a decision.
Im folgenden wird die Erfindung anhand von Ausführungsbeispielen und der Zeichnungen näher erläutert; es zeigt:The invention is explained in more detail below with the aid of exemplary embodiments and the drawings; it shows:
Fig. 1 ein Blockschema eines erfindungsgemässen Video-Rauchdetektionssystems,1 is a block diagram of a video smoke detection system according to the invention,
Fig. 2-4 je ein Flussdiagramm zur Erläuterung der Funktion eines erste Ausführungsbeispiels eines erfindungsgemässen Video-Rauchdetektionssystems; und2-4 each show a flowchart to explain the function of a first exemplary embodiment of a video smoke detection system according to the invention; and
Fig. 5 ein Flussdiagramm zur Erläuterung der Funktionsweise eines zweiten Ausführungsbeispiels des erfindungsgemässen Video-Rauchdetektionssystems.5 shows a flowchart to explain the functioning of a second exemplary embodiment of the video smoke detection system according to the invention.
Das erfindungsgemässe Video-Rauchdetektionssystem besteht gemäss Fig. 1 im wesentlichen aus einer Anzahl von Videokameras 1 und einem gemeinsamen Prozessor 2, in welchem die Verarbeitung und Auswertung der Signale der Videokameras 1 erfolgt. Die Videokameras 1 sind beispielsweise in einem Strassentunnel montiert und dienen zur Verkehrsüberwachung, beispielsweise zur Überwachung der Einhaltung der Verkehrsregeln und zur Detektion von Staubildungen, Unfällen und dergleichen. Die Kameras sind mit einer bemannten Einsatzzentrale verbunden, in welcher das Verkehrsgeschehen im Tunnel über Monitore beobachtet wird. Die Prozessoren 2 sind dezentral angeordnet, wobei einer bestimmten Anzahl von beispielsweise 8 bis 10 Kameras jeweils ein gemeinsamer Prozessor 2 zugeordnet ist.According to FIG. 1, the video smoke detection system according to the invention essentially consists of a number of video cameras 1 and a common processor 2, in which the processing and evaluation of the signals of the video cameras 1 takes place. The video cameras 1 are mounted, for example, in a road tunnel and are used for traffic monitoring, for example for monitoring compliance with traffic rules and for detecting congestion, accidents and the like. The cameras are connected to a manned operations center, in which the traffic in the tunnel is monitored via monitors. The processors 2 are arranged in a decentralized manner, a common processor 2 being assigned to a specific number of, for example, 8 to 10 cameras.
Im Prozessor 2 werden die Videobilder in Pixel zerlegt, den einzelnen Pixeln und/oder Gruppen von diesen werden Helligkeitswerte zugeordnet und anhand eines Vergleichs der Helligkeitswerte der Pixel mit einem Referenzwert erfolgt die Entscheidung über das Vorhandensein von Rauch. Bei der Zuordnung der Helligkeitswerte zu den einzelnen Pixeln oder Pixelgruppen ist es wesentlich, dass diese Zuordnung von globalen Helligkeitsänderungen, also Änderungen der Beleuchtung des ganzen Bildes, unabhängig ist. Diese Unabhängigkeit von der Beleuchtung lässt sich dadurch erreichen, dass man den Pixeln Kantenwerte zuordnet, welche ja eine Ableitung darstellen. Die Erkennung von Rauch basiert auf der Annahme, dass die Kanten durch Rauch abgeschwächt werden oder verschwinden.In the processor 2, the video images are broken down into pixels, the individual pixels and / or groups of these are assigned brightness values, and the presence of is decided on the basis of a comparison of the brightness values of the pixels with a reference value Smoke. When assigning the brightness values to the individual pixels or pixel groups, it is essential that this assignment is independent of global changes in brightness, that is to say changes in the lighting of the entire image. This independence from the lighting can be achieved by assigning edge values to the pixels, which represent a derivative. The detection of smoke is based on the assumption that the edges are weakened or disappear by smoke.
Die Signalverarbeitung und -auswertung im Prozessor 2 kann in zwei in Fig. 1 mit Pixelhelligkeit 3 und Rauchdetektion 4 bezeichnete Funktionsblöcke unterteilt werden. Entsprechend dieser Aufteilung zeigt das Flussdiagramm von Fig. 2 die Gewinnung der für die Helligkeit der Pixel repräsentativen Werte (Pixel-Helligkeit 3) und dasjenige von Fig. 3 deren weitere Untersuchung auf das Vorhandensein von Rauch (Rauchdetektion 4). Fig. 4 zeigt ein Flussdiagramm von für bestimmte Anwendungen (Rauchdetektion in Innenräumen, wie beispielsweise in Gängen, Foyers und dergleichen) erforderliche zusätzliche Schritte des Verfahrens gemäss Fig. 2.The signal processing and evaluation in the processor 2 can be divided into two function blocks, designated in FIG. 1 with pixel brightness 3 and smoke detection 4. Corresponding to this division, the flow chart of FIG. 2 shows the acquisition of the values representative of the brightness of the pixels (pixel brightness 3) and that of FIG. 3 their further examination for the presence of smoke (smoke detection 4). FIG. 4 shows a flow diagram of additional steps of the method according to FIG. 2 required for certain applications (smoke detection in interior spaces, such as in corridors, foyers and the like).
Die von jeder Kamera 1 aufgenommenen Videobilder werden in Pixel zerlegt und digitalisiert, wodurch für jedes Pixel mit den Koordinaten i und j dessen Intensitätswert IJJ bestimmt wird, der beispielsweise zwischen 0 und 255 liegen kann. Aus den Intensitätswerten ^ wird für eine bestimmte Gruppe von Pixeln von beispielsweise 3 mal 3 oder 5 mal 5 der Mittelwert Mjj oder der Mediän gebildet, oder ein durch eine Tiefpassfilterung gewonnener Wert. Der Mediän hat den Vorteil, dass seine Berechnung in 8-Bit erfolgen kann.The video images recorded by each camera 1 are broken down into pixels and digitized, as a result of which the intensity value IJJ is determined for each pixel with the coordinates i and j, which can be between 0 and 255, for example. The mean values Mj j or the median, or a value obtained by low-pass filtering, is formed from the intensity values ^ for a certain group of pixels of, for example, 3 times 3 or 5 times 5. The median has the advantage that his calculation can be done in 8-bit.
Parallel zur Berechnung des Mittelwerts oder Medians wird aus der Intensität Ijj ein Kantenwert gewonnen, was durch eine Ableitung oder durch eine Frequenzanalyse (Hochpassfilterung, beispielsweise Wavelet-Transformation) erfolgt. Die Kantenwerte Kjj der einzelnen Pixel können beispielsweise durch Anwendung eines Roberts- oder eines Sobeloperators ermittelt werden. Man kann aber selbstverständlich für die Kantenberechnung auch einen komplizierteren Operator verwenden und auf grössere Gebiete wie z.B. 5x5 oder 7x7 Pixel anwenden.In parallel to the calculation of the mean or median, an edge value is obtained from the intensity Ij j , which is done by derivation or by frequency analysis (high-pass filtering, for example wavelet transformation). The edge values Kj j of the individual pixels can be determined, for example, by using a Roberts or Sobo operator. Of course, you can also use a more complicated operator for the edge calculation and apply it to larger areas such as 5x5 or 7x7 pixels.
Dann wird untersucht, ob der Kantenwert K-,j oberhalb des Mittelwerts oder des Medians liegt. Wenn JA, wird zu einem Wert Zitj eine Zahl δob dazu gezählt und der alte Wert Zjj wird durch den neuen ersetzt, wenn NEIN, wird von einem Wert Zjj eine Zahl δuπ abgezogen und der alte Wert Zjj wird durch den neuen ersetzt. Der Wert Ziτj ist eine Zahl, die angibt, wie oft der Kantenwert und damit die Helligkeit des betreffenden Pixels über eine bestimmte Zeit im Mittel oberhalb einer bestimmten Schwelle (Mittelwert oder Mediän Mj ) gelegen hat. Diese Zahl ZJJ wird nachfolgend als Zählerbild bezeichnet. Der Wertebereich von Zjj beträgt z.B. 0 bis 255, der Anfangswert von Zjj bei der Initialisierung des Systems beträgt 0. Die Zahlen δun und δob können gleich oder unterschiedlich sein; beispielsweise können beide gleich eins sein.It is then examined whether the edge value K-, j is above the mean or the median. If YES, a number δ ob is added to a value Z itj and the old value Zj j is replaced by the new one, if NO, a number δ uπ is subtracted from a value Zj j and the old value Zjj is replaced by the new one replaced. The value Z iτj is a number that indicates how often the edge value and thus the brightness of the pixel in question have been above a certain threshold (mean value or median Mj) on average over a certain time. This number Z J J is referred to below as a counter image. The value range of Zj j is, for example, 0 to 255, the initial value of Zjj when the system is initialized is 0. The numbers δ un and δ ob can be the same or different; for example, both can be equal to one.
Das Zählerbild Zjj hat einen besonderen Vorteil hinsichtlich der Auswirkung von Bewegungen auf die Kantenwerte. Wenn sich ein Objekt durch das Bild bewegt, dann bewegt sich auch mindestens eine Kante durch dieses, und das hat zur Folge, dass das Pixel am jeweiligen Ort der Kante einen höheren Kantenwert hat, wodurch das Zählerbild Z^ um δ steigt. Sobald die Kante das betreffende Pixel verlassen hat, wird das Zählerbild Zjj um δun reduziert, so dass sich also in Summe der Durchgang von Kanten durch das Videobild im Zählerbild Zjj der einzelnen Pixel nicht auswirkt.The counter image Zjj has a particular advantage with regard to the effect of movements on the edge values. When an object moves through the image, it also moves at least one edge through this, and this has the consequence that the pixel has a higher edge value at the respective location of the edge, as a result of which the counter image Z ^ increases by δ. As soon as the edge has left the relevant pixel, the counter image Zj j is reduced by δ un , so that in total the passage of edges through the video image in the counter image Zj j of the individual pixels has no effect.
Das schliesslich erhaltene Zählerbild Z|,j stellt also vorzugsweise einen für die Helligkeit des betreffenden Pixels repräsentativen Wert dar. Bei der Untersuchung des Zählerbildes Zj werden drei Zeitskalen verwendet: Die Frequenz der aufgenommenen Videobilder, beispielsweise 1/25 Sekunde, alle 10 Sekunden nach 255 Bildern und etwa jede halbe Stunde.The counter image Z |, j finally obtained thus preferably represents a value representative of the brightness of the pixel in question. When examining the counter image Zj, three time scales are used: the frequency of the recorded video images, for example 1/25 second, every 10 seconds after 255 Pictures and about every half hour.
Gemäss Fig. 3 wird das Zählerbild j mit einer Schwelle Sz verglichen. Wenn das Zählerbild Zjj unterhalb der Schwelle Sz liegt, geschieht nichts, wenn es oberhalb der Schwelle Sz liegt, dann erfolgt eine Summierung, das heisst ein Wert ∑x wird um 1 erhöht und durch diesen neuen Wert ersetzt. Der Initialisierungswert ∑x° wird so gewonnen, dass man bei der Initialisierung mit Σ = 0 beginnt und aufsummiert, wobei sich nach einer gewissen stabilen Phase von einigen Sekunden ein stabiler Wert einstellt, der dann als Initialisierungswert ∑x° genommen wird. Unter normalen Verhältnissen sollte ∑x gleich ∑x° sein.3, the counter image j is compared with a threshold S z . If the counter image Zj j is below the threshold S z , nothing happens; if it is above the threshold S z , a summation takes place, that is to say a value ∑ x is increased by 1 and replaced by this new value. The initialization value ∑ x ° is obtained in such a way that the initialization starts with Σ = 0 and adds up, whereby after a certain stable phase of a few seconds, a stable value is established, which is then taken as the initialization value ∑ x °. Under normal conditions, ∑ x should equal ∑ x °.
Wenn ∑x deutlich grösser ist als ∑x°, dann sind neue Kanten aufgetreten, was dadurch verursacht sein kann, dass sich ein stehendes Objekt im Bildbereich der Videokamera befindet. Ein solches Objekt kann in einem Tunnel beispielsweise ein stehendes Auto oder in einem Gang ein in diesem abgestellter Gegenstand sein; in beiden Fällen wird durch das Objekt ein bestimmter Bildbereich abgedeckt, was in Fig. 3 mit Abdeckung bezeichnet ist. Im Fall von Abdeckung wird der Initialisierungswert ∑x° neu definiert. Anschliessend wird der Quotient ∑x/∑x° gebildet und mit einem Rauchschwellwert SR verglichen. Wenn der genannte Quotient unterhalb des Rauchschwellwerts liegt und somit Kanten abgeschwächt oder verschwunden sind, wird Alarm ausgelöst.If ∑ x is significantly larger than ∑ x °, then new edges have appeared, which can be caused by a stationary object being in the image area of the video camera. Such an object can be, for example, a standing car in a tunnel or an object parked in a tunnel; in both cases the object covers a certain image area, which is referred to as cover in FIG. 3. In the case of coverage, the initialization value ∑ x ° is redefined. The quotient ∑ x / ∑ x ° is then formed and compared with a smoke threshold value S R. If the quotient mentioned is below the smoke threshold and edges are weakened or disappeared, an alarm is triggered.
Der Vergleich des Quotienten ∑x/∑x° mit dem Rauchschwellwert SR ist für eine genaue und fehl- alarmsichere Rauchdetektion absolut ausreichend, solange sich scharfe Kanten im Vordergrund translatorisch bewegen, was in Tunnels in der Regel immer der Fall ist. Für die Rauchdetektion in Strassen- oder Bahntunnels wird man also ein System mit der in den Figuren 2 und 3 dargestellten Funktionalität einsetzen.The comparison of the quotient ∑ x / ∑ x ° with the smoke threshold value S R is absolutely sufficient for an accurate and fail-safe smoke detection, as long as sharp edges in the foreground move translationally, which is usually the case in tunnels. A system with the functionality shown in FIGS. 2 and 3 will therefore be used for smoke detection in road or rail tunnels.
Die Verhältnisse liegen anders, wenn es um die Rauchdetektion in Innenräumen geht, in denen sich Menschen aufhalten. Man hat festgestellt, dass Menschen, die an einem Ort stehen und sich miteinander unterhalten, eine Art von oszillierender oder am Ort hin- und hergehender Bewegung ausführen, die im Unterschied zu einer translatorischen Bewegung nicht mehr aus dem Zählerbild Zjj herausfällt. Problematisch sind auch Bewegungen von Texturen oder Mustern. Diese Bewegungen führen dazu, dass neue Kanten entstehen, was die Abschwächung oder die Reduktion von Kanten durch Rauch kompensieren könnte, so dass unter Umständen Rauch nicht mehr sicher detektiert würde. Allgemein gilt, dass Bewegung in der Regel zu neuen Kanten führt und eventuell auch Kanten abdeckt, und dass Rauch nicht zu neuen Kanten führt, sondern Kanten abschwächt. Eine Ausnahme von dieser Regel ist Rauch in grosser Entfernung, der eventuell zu einer neuen Kante führen kann. Da sich die von der Kamera am weitesten entfernten Bereiche im obersten Teil des Videobildes befinden, kann man diesen Effekt durch Ausblenden dieses obersten Bildteils ausschalten oder man kann die Annahme treffen, dass sich eine durch Rauch gebildete Kante nur sehr langsam bewegen wird.The situation is different when it comes to smoke detection in interiors where people are present. It has been found that people who stand in one place and talk to one another perform a type of oscillating or reciprocating movement which, in contrast to a translatory movement, no longer falls out of the counter image Zjj. Movements of textures or patterns are also problematic. These movements lead to the creation of new edges, which could compensate for the weakening or reduction of edges due to smoke, so that under certain circumstances smoke would no longer be reliably detected. The general rule is that movement generally leads to new edges and possibly also covers edges, and that smoke does not lead to new edges, but rather weakens edges. An exception to this rule is smoke at a great distance, which can possibly lead to a new edge. Since the areas furthest away from the camera are in the uppermost part of the video image, this effect can be switched off by hiding this uppermost part of the image or one can make the assumption that an edge formed by smoke will only move very slowly.
Zur Verhinderung des störenden Einflusses von Bewegungen, wird bei Bedarf das in Fig. 4 dargestellte Unterprogramm verwendet, welches zur Eliminierung von Bewegungen dient und von den Kanten Kjj (Fig. 2) ausgeht. Man könnte grundsätzlich auch von der Intensität Ijj ausgehen, was aber mit dem Nachteil des Vorhandenseins störender Gleichstromanteile verbunden wäre. Man bildet die Differenz ΔKjj aufeinanderfolgender Bilder und vergleicht diese mit einem Bewegungsschwellwert SB. Wenn ΔKjj unterhalb dieses Schwellwerts liegt, sind keine Bewegungen vorhanden. Bei ΔKjj > SB werden die Pixel, welche diese Bedingung erfüllen, zu Untergebieten zusammengefasst, aus denen die Bewegung ausgeblendet wird. Letzteres erfolgt dadurch, dass das Zählerbild Zjj nicht aktualisiert und für die genannten Untergebiete das letzte Zählerbild vor der Bewegung verwendet wird.To prevent the disruptive influence of movements, the subroutine shown in FIG. 4 is used if necessary, which serves to eliminate movements and starts from the edges Kj j (FIG. 2). In principle, one could also start from the intensity Ij j , but this would be associated with the disadvantage of the presence of disturbing DC components. The difference ΔKjj of successive images is formed and compared with a movement threshold value S B. If ΔKjj is below this threshold, there are no movements. At ΔKj j > S B , the pixels that meet this condition are combined into sub-areas from which the movement is hidden. The latter takes place in that the counter image Zj j is not updated and the last counter image before the movement is used for the subareas mentioned.
Das Signalrauschen wird durch ein morphologisches Filter (Erodieren) beseitigt. Das bedeutet folgendes: Das Differenzbild, welches die Anzahl der geänderten Pixel in den Untergebieten liefert, ist ein binäres Bild. Man fährt mit einem Muster über dieses binäre Bild und gibt den Pixeln, die sich mit dem Muster decken, den Wert „1". Das Ende der Bewegung wird dadurch angezeigt, dass die Untergebiete nacheinander aus dem Bild verschwinden und die Kanten abnehmen.The signal noise is eliminated by a morphological filter (eroding). This means the following: The difference image, which provides the number of changed pixels in the sub-areas, is a binary image. You move a pattern over this binary image and give the pixels that coincide with the pattern the value "1". The end of the movement is indicated by the subareas successively disappearing from the image and the edges being removed.
Fig. 5 zeigt ein Flussdiagramm eines zweiten Ausführungsbeispiels des erfindungsgemässen Video-Rauchdetektionssystems, welches sich insbesondere durch eine hohe Robustheit gegenüber Störungen und eine hohe Zuverlässigkeit der Rauchdetektion auszeichnet. Das betrachtete Bild ist in Fig. 5 mit dem Bezugszeichen A bezeichnet.5 shows a flow diagram of a second exemplary embodiment of the video smoke detection system according to the invention, which is characterized in particular by a high level of robustness against interference and a high level of reliability of the smoke detection. The image under consideration is designated by the reference symbol A in FIG. 5.
Der Beschrei-bung des Flussdiagramms seien nachfolgend einige allgemeine Erläuterungen vorangestellt: Da die Kanten nicht nur durch Rauch sondern auch durch sich zwischen der Kamera und der betreffenden Kante befindliche Objekte abgedeckt werden können, erfolgt zusätzlich eine Untersuchung des betrachteten Bildes auf Bewegungen. Dabei wird davon ausgegangen, dass ein eine Kante abdeckendes Objekt nicht plötzlich an dieser Stelle entstanden ist sondern sich dorthin bewegt hat. Ein weiterer bei der Rauchdetektion zu beachtender Punkt ist derjenige der verschiedenen Zeitraster, welche einerseits zu beachten und andererseits voneinander zu unterscheiden sind. Es gibt sehr schnelle Effekte im Subsekunden-Bereich, wie beispielsweise durch einen nahe vorbeifahrenden Lastwagen verursachtes Zittern der Kamera, was durch Bildung eines gleitenden Mittelwerts eliminiert werden kann. Es gibt mittelschnelle Effekte, wie beispielsweise die durch Rauch verursachten, die etwa im 10 Sekunden-Bereich liegen, weil der Rauch ungefähr 10 Sekunden benötigt, bis er den Ort erreicht, wo er detektiert wird, und es gibt langsame Effekte im etwa 10 Minuten-Bereich oder noch langsamer. Letzteres sind beispielsweise Einflüsse durch die scheinbare Bewegung der Sonne. Eine Möglichkeit zur Unterscheidung dieser Zeitraster und zur Identifizierung von Effekten im richtigen Zeitraster sind Zählerbilder mit Hysterese.The description of the flowchart is preceded by some general explanations below: Since the edges can be covered not only by smoke but also by objects located between the camera and the edge in question, the observed image is also examined for movements. It is assumed that an object covering an edge did not suddenly appear at this point but moved there. Another point to be considered in smoke detection is that of the different time slots, which must be observed on the one hand and differentiated on the other. There are very fast effects in the sub-second range, such as camera shake caused by a truck driving close by, which can be eliminated by forming a moving average. There are medium-fast effects, such as those caused by smoke, which are in the 10 second range because the smoke takes about 10 seconds to reach the place where it is detected, and there are slow effects in about 10 minutes- Area or slower. The latter are, for example, influences from the apparent movement of the sun. Counter images with hysteresis are one way of differentiating these time slots and identifying effects in the correct time slot.
Ein Zählerbild ist eine Reihe von Werten, normalerweise von der Grosse eines Bildes, welches vergrössert oder verkleinert werden kann. Diese Werte werden üblicherweise zur Zählung von beispielsweise Ereignissen verwendet. Sowohl die Kantendetektion als auch die Bewegungsdetektion des im Flussdiagramm dargestellten Algorithmus hängen von Zählerbildern ab, welche mit einem Hysteresealgorithmus aktualisiert werden. Die Hysterese ist durch vier Werte, zuunterst, tief, hoch und zuoberst, charakterisiert, wobei zuunterst und zuoberst Zählergrenzen bilden, die nicht unter- beziehungsweise überschritten werden können. Der Wert tief liegt oberhalb des Werts zuunterst und der Wert hoch liegt zwischen den Werten tief und zuoberst. Wenn der Zählerstand zwischen zuunterst und tief oder zwischen hoch und zuoberst liegt, wird ganz normal gezählt, d.h. der Zählerstand wird pro detektiertem Ereignis um eins erhöht: Wenn der Zählerstand aber den Wert tief erreicht und ein weiteres Ereignis detektiert, springt er auf zuoberst. Ähnlich springt der Zählerstand, wenn er bei abnehmenden Werten von oben her den Wert hoch erreicht, auf zuunterst.A counter image is a series of values, usually the size of an image, which can be enlarged or reduced. These values are usually used to count events, for example. Both the edge detection and the movement detection of the algorithm shown in the flowchart depend on counter images which are updated with a hysteresis algorithm. The hysteresis is characterized by four values, bottom, bottom, high and top, bottom and top forming counter limits that cannot be exceeded or undershot. The value low lies above the value at the bottom and the value high lies between the values low and at the top. If the counter reading is between bottom and bottom or between high and top, counting takes place as normal, i.e. the counter reading is increased by one for each detected event: if the counter reading reaches the low value and another event is detected, it jumps to the top. Similarly, the counter reading jumps to the bottom when it reaches the value high with decreasing values from above.
Dieser Hysterese-Mechanismus ermöglicht die Verwendung verrauschter Bilder für die Detek- tionsalgorithmen. Eine durch Rauschen verursachte Kante wird, bei angemessen parametrier- ter Hysterese, im Zählerbild nicht aufscheinen, und eine Kante wird nicht wegen eines einzigen verrauschten Bildes verschwinden. Ausserdem gelten noch die folgenden Zusammenhänge: Der Unterschied zwischen den Werten tief und zuunterst ergibt die Anzahl aufeinanderfolgender Einzelbilder über die ein Merkmal oder Ereignis, beispielsweise eine Kante, vorhanden sein muss, um detektiert zu werden, und die Differenz zwischen den Werten zuoberst und hoch ergibt die Anzahl aufeinanderfolgender Einzelbilder, nach denen bei abnehmendem Zählerwert das Ereignis verschwindet. Da dieser Anzahl der Einzelbilder jeweils eine bestimmte Zeitspanne entspricht, stellen diese Zeitspannen ein Mass für die Reaktionszeit des Algorithmus dar.This hysteresis mechanism enables the use of noisy images for the detection algorithms. An edge caused by noise will not appear in the counter image if the hysteresis is appropriately parameterized, and an edge will not disappear due to a single noisy image. In addition, the following relationships also apply: The difference between the values low and low results in the number of successive individual images over which a feature or event, for example an edge, must be present in order to be detected, and the difference between the values top and high results the number of consecutive frames after which the event disappears as the counter value decreases. Since this number of individual images corresponds to a certain period of time, these periods of time represent a measure of the response time of the algorithm.
Die im Flussdiagramm dargestellte Analyse beginnt mit einer Kantendetektion 5 mit einem beispielsweise auf einem Sobel-Operator basierten Verfahren. Der Algorithmus analysiert die Helligkeit jedes Pixels jedes Einzelbilds und verfolgt die Geschichte des Szene mit Hilfe eines mit dem erwähnten Hysterese-Mechanismus aktualisierten Zählerbildes 6. Dabei werden für die Umgebung jedes Pixels zwei Werte berechnet:The analysis shown in the flowchart begins with an edge detection 5 using a method based, for example, on a Sobel operator. The algorithm analyzes the brightness of each pixel of each frame and tracks the history of the scene with the help of a the mentioned hysteresis mechanism updated counter image 6. Two values are calculated for the surroundings of each pixel:
• Auf die Umgebung wird ein Sobel Kanten-Detektionsfilter angewendet, welches einen Wert qSobeι liefert;• A Sobel edge detection filter is applied to the environment, which delivers a value q Sobe ι;
• für die Pixel der Umgebung wird ein Durchschnittswert qεum berechnet.• An average value q εum is calculated for the surrounding pixels.
Die beiden Werte werden dann durch Verwendung zweier Skalierfaktoren (Dif f Fac und Su Fac) verglichen:The two values are then compared using two scaling factors (Dif f Fac and Su Fac):
füiffFac Qβobel <?> f SumFac ' sumforiffFac Qβobel < ? > f SumFac ' sum
Wenn die linke Seite dieser Ungleichung grösser ist als die rechte, dann wird der Zähler 6 erhöht, wenn nicht, dann wird er erniedrigt. In beiden Fällen wird der Hysterese-Mechanismus angewendet.If the left side of this inequality is larger than the right one, the counter 6 is increased, if not, it is decreased. The hysteresis mechanism is used in both cases.
Parallel zur Kantendetektion 5 findet eine Bewegungsdetektion 7 statt, für die beispielsweise ein auf der normierten Kreuzkorrelation basierender Algorithmus verwendet wird, der grob wie folgt abläuft:A movement detection 7 takes place parallel to the edge detection 5, for which an algorithm based on the normalized cross-correlation is used, for example, which roughly proceeds as follows:
Die normierte Kreuzkorrelation lautet: r ' ,,~y ., \ , (Formel l)The normalized cross correlation is: r ',, ~ y., \, (Formula l)
Man nimmt kleine Bereiche des Bildes, von beispielsweise 4 mal 4 Pixel, zur Zeit t und betrachtet diese Pixel als Vektor x . Der selbe Bereich des folgenden Bildes zur Zeit t+ wird mit dem Vektor y bezeichnet. Wenn sich der Bereich überhaupt nicht verändert hat, dann ist x = y und der Quotient gemäss Formel 1 hat den Wert 1. Eine Änderung in dem genannten Bereich würde den Quotienten verändern, so dass der Grad dieser Veränderung als Mass für die Intensität der Änderung in dem Bereich verwendet werden kann.Small areas of the image, for example 4 by 4 pixels, are taken at time t and these pixels are viewed as vector x. The same area of the following image at time t + is designated with the vector y. If the range has not changed at all, then x = y and the quotient according to Formula 1 has the value 1. A change in the range mentioned would change the quotient, so that the degree of this change as a measure of the intensity of the change in the area can be used.
Zur Anpassung an den verwendeten Prozessor werden in Formel 1 Zähler und Nenner mit Faktoren multipliziert und die dadurch gebildeten Produkte werden analog zur normierten Kreuzkorrelation gemäss Formel 1 angeschrieben. Wenn der Zähler kleiner ist, dann hat eine Bewegung stattgefunden und der entsprechende Bereich wird markiert. Plötzliche Änderungen der Lichtoder Beleuchtungsverhältnisse beeinflussen beide Seiten der Ungleichung ungefähr gleich stark, so dass die beschriebene Bewegungsdetektion gegenüber einheitlichen Änderungen im Bild immun ist. Man erhält auf diese Weise eine Karte des aktuellen Bildes mit 4 mal 4 Pixel- Blöcken.In order to adapt to the processor used, the numerator and denominator are multiplied by factors in Formula 1 and the products formed in this way are written in analogy to the standardized cross-correlation according to Formula 1. If the counter is smaller, then a movement has taken place and the corresponding area is marked. Sudden changes in the light or lighting conditions affect both sides of the inequality approximately equally, so that the movement detection described is immune to uniform changes in the image. In this way you get a map of the current image with 4 by 4 pixel blocks.
Der nächste Schritt ist die Berechnung der Blöcke, die bei der Analyse des Zählerbildes 6 der Kanten nicht berücksichtigt werden sollen. Es sollen alle Blöcke einer bestimmten Anzahl, beispielsweise von vier mal vier, Pixel im Bild detektiert werden, in denen Ereignisse stattgefunden haben, welche den Rauchdetektionsalgohthmus negativ beeinflussen. Diese Blöcke ergeben eine Bitmaske 8, die als Zählerbild von 1/16 der Grosse des vollständigen Bildes dargestellt wird. Die Grosse der Blöcke ist durch die bei der Bewegungsdetektion betrachteten Blöcke bestimmt, kann aber geändert werden.The next step is the calculation of the blocks that should not be taken into account when analyzing the counter image 6 of the edges. All blocks of a certain number, for example four by four, pixels in the image are to be detected in which events have occurred which have a negative influence on the smoke detection algorithm. These blocks result in a bit mask 8, which is represented as a counter image of 1/16 the size of the complete image becomes. The size of the blocks is determined by the blocks considered in the motion detection, but can be changed.
Eine nächste Stufe ist die Korrektur von Sättigung des Video-Sensors. Eine derartige Sättigung kann verschiedene Probleme nach sich ziehen:The next stage is the correction of the saturation of the video sensor. Such saturation can cause several problems:
• Die normierte Kreuzkorrelation funktioniert nur dann, wenn die Pixel des Bildes weder gesättigt noch vollständig schwarz sind;• The normalized cross correlation only works if the pixels of the image are neither saturated nor completely black;
• Grenzen eines vollständig gesättigten Bildausschnitts erscheinen als Kanten. Eine plötzliche Änderung der Beleuchtung würde den Eindruck erwecken, als ob die betreffende Kante verschoben und anschliessend verschwinden würde.• Limits of a fully saturated image section appear as edges. A sudden change in the lighting would give the impression that the edge in question had shifted and then disappeared.
• In Bereichen von gesättigten Pixel gibt es keine Kanten. Ursprünglich erkannte Kanten verschwinden, wenn der betreffende Bereich in die Sättigung gelangt.• There are no edges in areas of saturated pixels. Edges originally recognized disappear when the area in question becomes saturated.
Aus diesem Grund wird für jeden Bereich in einer Sättigungsüberprüfung 9 durch Vergleich mit einem Grenzwert überprüft, ob eine bestimmte Anzahl von Pixel gesättigt ist. Wenn ja, dann wird der betreffende Block ebenfalls markiert. Um zu vermeiden, dass bewegte Objekte „Löcher" aufweisen, weil die Bewegungsdetektion nur Teile eines sich bewegenden Objekts detektiert, wird auf die Bitmaske 8 ein Ausdehnungsoperator 10 angewendet, welcher eventuelle Löcher füllt.For this reason, it is checked for each area in a saturation check 9 by comparison with a limit value whether a certain number of pixels is saturated. If so, the block in question is also marked. In order to avoid that moving objects have “holes” because the motion detection only detects parts of a moving object, an expansion operator 10 is applied to the bit mask 8, which operator fills any holes.
Die in den Stufen Bewegungsdetektion 7, Sättigungsüberprüfung 9 und Ausdehnungsoperator 10 berechnete Bitmaske 8 wird nun dazu verwendet, das Zählerbild für den Ausscheidungspro- zess 11 (Ausscheidung von für die Rauchdetektion nicht zu berücksichtigenden Bildbereichen) zu aktualisieren, wobei wieder der schon beschriebene Hysterese-Mechanismus angewendet wird.The bit mask 8 calculated in the stages of motion detection 7, saturation check 9 and expansion operator 10 is now used to update the counter image for the elimination process 11 (elimination of image areas not to be taken into account for smoke detection), again using the hysteresis mechanism already described is applied.
An diesem Punkt des Algorithmus sind zwei Zählerbilder vorhanden, das aktualisierte Zählerbild 6 aller Pixel, wo Kanten detektiert worden sind, und das aktualisierten Zählerbild 11 aller Blöcke, die auszuscheiden sind. Das letztere Zählerbild wird nun zusammen mit einem Parameter dazu verwendet, das Zählerbild 6 so abzuändern, dass eine sichere Kantenabschätzung möglich wird, die von keinen die Rauchdetektion eventuell störenden Effekten beeinflusst ist. Jeder Block im Zählerbild 8 wird mit einem Schwellwert verglichen. Wenn der Wert des Blocks über diesem Schwellwert liegt, werden alle Pixel im Zählerbild 6 auf einen Minimalwert gesetzt. Aus dem Zählerbild 6 der Kanten werden nun zwei Grossen berechnet, welche die Anzahl der Kanten zu verschiedenen Zeitpunkten repräsentieren. Die erste Grosse ist die Anzahl der Pixel in den gegenwärtig vorhandenen Kanten oberhalb eines ersten Schwellwerts. Die zweite Grosse ist die Anzahl der Pixel oberhalb eines zweiten Schwellwerts, wobei dieser zweite Schwellwert grob als die Anzahl der Pixel in zu einem vergangenen Zeitpunkt vorhandenen Kanten interpretiert werden kann. Zur Berechnung dieser beiden Grossen ist eine Funktion ic) = (c i > l) definiert, welcheAt this point in the algorithm there are two counter images, the updated counter image 6 of all pixels where edges have been detected and the updated counter image 11 of all blocks to be discarded. The latter counter image is now used together with a parameter to change the counter image 6 in such a way that a reliable edge estimation is possible which is not influenced by any effects which may interfere with the smoke detection. Each block in the counter image 8 is compared with a threshold value. If the value of the block is above this threshold, all pixels in counter image 6 are set to a minimum value. From the counter image 6 of the edges two sizes are now calculated, which represent the number of edges at different times. The first size is the number of pixels in the currently existing edges above a first threshold. The second size is the number of pixels above a second threshold value, this second threshold value can roughly be interpreted as the number of pixels in edges present at a previous point in time. To calculate these two quantities, a function ic) = (c i > l) is defined, which
die Anzahl der Pixel cy im Bild der Zähler mit einem Wert oberhalb eines Schwellwerts / zählt. Mit dieser Funktion können nun die beiden Grossen berechnet werden, indem die Anzahl der gegenwärtig an einer Kante liegenden Pixel dadurch abgeschätzt wird, dass man / sehr nahe an den Maximalwert Wm legt, den die Pixel c, erreichen können. Zur Berücksichtigung von Rauschen im Bild A wird für / in der Regel der Wert (Wm - k) gewählt, wobei k eine Anzahl von Frames bedeutet und beispielsweise bei einer üblichen fixen Kamera in einem Tunnel etwa 250 beträgt.the number of pixels c y in the image of the counters with a value above a threshold / counts. With this function, the two sizes can now be calculated by estimating the number of pixels currently lying on an edge by / very close to the maximum value W m that the pixels c 1, can reach. In order to take noise into account in image A, the value (W m - k) is generally selected for /, where k means a number of frames and is, for example, about 250 in the case of a conventional fixed camera in a tunnel.
Der Subroutine für die Zählung der Pixel kann ein Parameter „Bildhöhe" beigefügt werden, welcher bewirkt, dass nur der obere Teil, beispielsweise die obere Hälfte, des Bildes für die Rauchdetektion berücksichtigt wird. Das ist sinnvoll, weil Rauch in der Regel nach oben steigt. Zusätzlich können mit einer Maske beliebige Bildausschnitte von der Analyse ausgeschlossen werden.A parameter "image height" can be added to the subroutine for counting the pixels, which means that only the upper part, for example the upper half, of the image is taken into account for smoke detection. This makes sense because smoke generally rises In addition, any image sections can be excluded from the analysis with a mask.
Vor der Entscheidung, ob Rauch vorhanden ist, wird nun in einem Schritt 12 überprüft, ob genügend Kanten vorhanden sind, um diese Entscheidung treffen zu können. Diese Überprüfung ist notwendig für den Fall, wo beispielsweise ein grosser Lastwagen direkt vor der Kamera steht und das Bild keinerlei Kanten aufweist. Da es in diesem Fall unmöglich ist, ein Feuer zu detektieren, sollte ein Störungssignal ausgelöst werden, welches anzeigt, dass der Algorithmus unter den aktuellen Umständen nicht arbeiten kann. Um weitere Aktionen kurz zu verzögern und um unempfindlicher gegen Rauschen zu sein, wird ein Unterbrechungswert verwendet, der entwe-der Null oder grösser als Null sein kann. Im letzteren Fall war kurz zuvor detektiert worden, dass nicht genügend Kanten vorhanden sind.Before the decision as to whether smoke is present, a step 12 is now used to check whether there are enough edges to be able to make this decision. This check is necessary in the case where, for example, a large truck is directly in front of the camera and the image has no edges. In this case, since it is impossible to detect a fire, a fault signal should be triggered, which indicates that the algorithm cannot work under the current circumstances. In order to briefly delay further actions and to be less sensitive to noise, an interrupt value is used, which can either be zero or greater than zero. In the latter case, it had been detected shortly before that there were not enough edges.
Wenn weniger als die einer Minimalzahl von Kanten entsprechende Anzahl von Pixeln vorhanden sind, dann können zwei Aktionen erfolgen: Wenn der Unterbrechungswert bereits ungleich Null ist, wird er vermindert, und falls er 1 erreicht, wird ein Störungssignal ausgelöst. Wenn der Unterbrechungswert hingegen Null ist, wird er auf einen Wert grösser als Null erhöht. Wenn genügend viele Kanten vorhanden sind, wird der Unterbrechungswert auf Null gestellt und die Verarbeitung läuft weiter.If there are fewer than the number of pixels corresponding to a minimum number of edges, then two actions can take place: if the interruption value is already not equal to zero, it is reduced and if it reaches 1, an error signal is triggered. On the other hand, if the interrupt value is zero, it is increased to a value greater than zero. If there are enough edges, the interrupt value is set to zero and processing continues.
Wenn eine für die zuverlässige Detektion von Rauch genügende Anzahl von Kanten vorhanden ist, erfolgt in einer Stufe 13 die Entscheidung über das Vorhandensein von Rauch anhand der durchschnittlichen Summe und Differenz der Kanten. Die Differenz wird mit einem Parameter multipliziert und mit der Summe verglichen. Ist die Summe grösser, liegt kein Rauch vor; andernfalls wird Alarm ausgelöst. In beiden Fällen ist die Verarbeitung des aktuellen Bildes beendet und es beginnt die Verarbeitung des nächsten. Die Alarmauslösung kann beispielsweise dadurch erfolgen, dass in einer bemannten Alarmoder Überwachungszentrale, an welche die betreffende Kamera angeschlossen ist, ein entsprechender Alarm angezeigt wird, welcher das Bedienungspersonal veranlasst, das von der betreffenden Kamera gelieferte Bild von Auge näher zu analysieren. Die genannte Zentrale kann beispielsweise eine Polizei- oder Feuerwehrzentrale in einem städtischen oder regionalen Stützpunkt oder auch die Kommandozentrale eines Strassentunnels sein. If there is a sufficient number of edges for the reliable detection of smoke, a decision is made in a stage 13 about the presence of smoke on the basis of the average sum and difference of the edges. The difference is multiplied by a parameter and compared with the sum. If the sum is greater, there is no smoke; otherwise the alarm is triggered. In both cases, processing of the current image is finished and processing of the next one begins. The alarm can be triggered, for example, by a corresponding alarm being displayed in a manned alarm or monitoring center to which the camera in question is connected, which prompts the operating personnel to analyze the image supplied by the camera in question by eye. The said center can be, for example, a police or fire service center in an urban or regional base or the command center of a road tunnel.

Claims

Patentansprüche claims
1. Video-Rauchdetektionssystem mit mindestens einer Einrichtung (1 ) zur Aufnahme von Videobildern und mit einer Signalverarbeitungsstufe (2), in welcher eine Bestimmung der Helligkeit der einzelnen Pixel oder von Gruppen von Pixeln der Videobilder erfolgt, dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Prozess erfolgt, bei welchem ein für die Helligkeit repräsentativer Wert gewonnen wird, und dass eine Untersuchung des zeitlichen Verlaufs des genannten Wertes auf eine für das Auftreten von Rauch charakteristische Veränderung erfolgt.1. Video smoke detection system with at least one device (1) for recording video images and with a signal processing stage (2) in which the brightness of the individual pixels or groups of pixels of the video images is determined, characterized in that the brightness is determined the pixel is carried out by a process in which a value representative of the brightness is obtained, and an examination of the temporal course of the said value is carried out for a change characteristic of the occurrence of smoke.
2. Rauchdetektionssystem nach Anspruch 1 , dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Kantenextraktionsprozess (5) erfolgt, bei welchem jedem Pixel ein Kantenwert (Kipj) zugeordnet wird.2. Smoke detection system according to claim 1, characterized in that the brightness of the pixels is determined by an edge extraction process (5) in which an edge value (K ipj ) is assigned to each pixel.
3. Rauchdetektionssystem nach Anspruch 1 , dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch eine Frequenzanalyse, vorzugsweise eine Wavelet-Analyse, erfolgt, bei welcher jedem Pixel ein mittels Hochpassfilterung bestimmter Kantenwert (Kjj) zugeordnet wird.3. Smoke detection system according to claim 1, characterized in that the determination of the brightness of the pixels is carried out by a frequency analysis, preferably a wavelet analysis, in which an edge value (Kj j ) determined by means of high-pass filtering is assigned to each pixel.
4. Rauchdetektionssystem nach Anspruch 2, dadurch gekennzeichnet, dass für jedes Pixel ein Vergleich des Kantenwerts (Kjj)- mit einem Mittelwert (Mj ) erfolgt und dass aus diesem Vergleich ein nachfolgend so genanntes Zählerbild (Zjj, 6) gewonnen wird, welches das zeitliche Verhalten des Kantenwerts (Kjj) relativ zum Mittelwert (Mjj) angibt.4. Smoke detection system according to claim 2, characterized in that for each pixel a comparison of the edge value (Kj j ) - with an average value (Mj) takes place and that a so-called counter image (Zj j , 6) is obtained from this comparison, which indicates the time behavior of the edge value (Kj j ) relative to the mean value (Mj j ).
5. Rauchdetektionssystem nach Anspruch 4, dadurch gekennzeichnet, dass das Zählerbild (Zj, 6), welches angibt, wie oft die Helligkeit des betreffenden Pixels über eine bestimmte Zeit im Mittel oberhalb des genannten Mittelwerts (Mjj) gelegen hat, bei jedem Vergleich des Kantenwerts (Kjj) mit dem Mittelwert (Mjj) aktualisiert wird.5. Smoke detection system according to claim 4, characterized in that the counter image (Z j , 6), which indicates how often the brightness of the pixel in question over a certain time has been on average above said average (Mj j ), with each comparison of the edge value (Kjj) is updated with the mean value (Mjj).
6. Rauchdetektionssystem nach Anspruch 5, dadurch gekennzeichnet, dass ein Vergleich des Zählerbildes (Zjj, 6) mit einem Schwellwert (Sz) und bei Überschreiten dieses Schwellwerts (Sz) eine Aufsummierung eines Initialisierungswertes (∑x°) zu einem aktuellen Wert erfolgt.6. Smoke detection system according to claim 5, characterized in that a comparison of the counter image (Zjj, 6) with a threshold value (S z ) and if this threshold value (S z ) is exceeded, an initialization value (∑ x °) is added up to a current value ,
7. Rauchdetektionssystem nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass eine Untersuchung der aufgenommenen Videobilder (A) auf das Auftreten neuer Kanten erfolgt, wobei mittels einer Korrelationsrechnung zeitlich beabstandeter Zählerbilder (Zjj, 6) auf das Vorhandensein neuer Kanten geschlossen wird, und dass beim Vorhandensein neuer Kanten eine Neudefinition des Initialisierungswerts (∑x°) erfolgt.7. Smoke detection system according to one of claims 4 to 6, characterized in that an examination of the recorded video images (A) is carried out for the appearance of new edges, wherein the presence of new edges is concluded by means of a correlation calculation of counter images (Zj j , 6) spaced apart in time , and that when new edges are present, the initialization value (∑ x °) is redefined.
8. Rauchdetektionssystem nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass aus dem aktuellen Wert (∑x) und dem Initialisierungswert (Σ„°) ein Quotient gebildet und dieser mit einem Rauchschwellwert (SR) verglichen wird, und dass bei Überschreiten des letzteren eine Alarmauslösung erfolgt.8. Smoke detection system according to claim 6 or 7, characterized in that a quotient is formed from the current value (∑ x ) and the initialization value (Σ "°) and this with a smoke threshold value (S R ) is compared, and that an alarm is triggered if the latter is exceeded.
9. Rauchdetektionssystem nach Anspruch 2, dadurch gekennzeichnet, dass zusätzlich zum Kantenextraktionsprozess (5) eine nachfolgend als Bewegungsdetektion (7) bezeichnete Untersuchung der Videobilder (A) auf Bewegungen erfolgt.9. The smoke detection system as claimed in claim 2, characterized in that, in addition to the edge extraction process (5), an examination of the video images (A), referred to below as movement detection (7), is carried out for movements.
10. Rauchdetektionssystem nach Anspruch 9, dadurch gekennzeichnet, dass sowohl die Bestimmung der Kantenwerte als auch die Bewegungsdetektion (7) anhand von Zählerbildern (6, 11) erfolgt, welche mit einem Hysteresealgorithmus laufend aktualisiert werden.10. Smoke detection system according to claim 9, characterized in that both the determination of the edge values and the movement detection (7) takes place on the basis of counter images (6, 11) which are continuously updated with a hysteresis algorithm.
11. Rauchdetektionssystem nach Anspruch 10, dadurch gekennzeichnet, dass der Hysteresealgorithmus einen Minimal- und einen Maximalwert sowie zwei zwischen diesen liegende Schwellwerte aufweist, wobei des Zählerbild bei Aufwärtszählung bei Unterschreiten des unteren Schwellwerts auf den Maximalwert und bei Abwärtszählung bei Unterschreiten des oberen Schwellwerts auf den Minimalwert springt.11. Smoke detection system according to claim 10, characterized in that the hysteresis algorithm has a minimum and a maximum value and two threshold values lying between them, the counter image when counting up when the lower threshold falls below the maximum value and when counting down when the upper threshold falls below Minimum value jumps.
12. Rauchdetektionssystem nach einem der Ansprüche 9 bis 11 , dadurch gekennzeichnet, dass für die Bewegungsdetektion (7) ein auf der normierten Kreuzkorrelation basierender Algorithmus verwendet wird.12. Smoke detection system according to one of claims 9 to 11, characterized in that an algorithm based on the normalized cross-correlation is used for the movement detection (7).
13. Rauchdetektionssystem nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass drei Datenstrukturen verwendet werden, ein Datenfeld mit Informationen über die im jeweiligen Bild vorhandenen Kanten, ein Datenfeld mit einer Bitmaske (8) zum Zweck der Ausscheidung von Bildbereichen die für die Rauchdetektion nicht zu berücksichtigen sind, und das betrachtete Bild selbst, wobei die Kanten und das Bild zwischen aufeinanderfolgenden Iterationen des Prozesses erhalten bleiben und die Bitmaske (8) für jede Iteration neu initialisiert wird.13. Smoke detection system according to one of claims 9 to 12, characterized in that three data structures are used, a data field with information about the edges present in the respective image, a data field with a bit mask (8) for the purpose of eliminating image areas for smoke detection are not to be taken into account, and the viewed image itself, the edges and the image being retained between successive iterations of the process and the bit mask (8) being reinitialized for each iteration.
14. Rauchdetektionssystem nach Anspruch 13, dadurch gekennzeichnet, dass das Bild und die Kanten pixelweise analysiert werden und die Analyse der Bitmaske (8) für nachfolgend als Blöcke bezeichnete Gruppen von mehreren Pixeln erfolgt.14. Smoke detection system according to claim 13, characterized in that the image and the edges are analyzed pixel by pixel and the analysis of the bit mask (8) is carried out for groups of several pixels hereinafter referred to as blocks.
15. Rauchdetektionssystem nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die Verarbeitung der Daten auf zwei Pfaden erfolgt, einem ersten Pfad zur Berechnung der im Bild vorhandenen Kanten und zur Aktualisierung der bereits über Kanten vorhandenen Daten, und einem zweiten Pfad zur Erstellung der Bitmaske (8), wobei dieser zweite Pfad die Bewegungsdetektion (7) umfasst.15. Smoke detection system according to claim 13 or 14, characterized in that the processing of the data takes place on two paths, a first path for calculating the edges present in the image and for updating the data already present via edges, and a second path for creating the bit mask (8), this second path comprising motion detection (7).
16. Rauchdetektionssystem nach den Ansprüchen 14 und 15, dadurch gekennzeichnet, dass der zweite Pfad ausserdem eine Überprüfung der Blöcke auf Sättigung der Einrichtung zur Aufnahme der Videobilder umfasst, bei welcher Blöcke mit einer bestimmten Anzahl gesättigter Pixel markiert und für die Analyse des Zählerbildes (6) nicht berücksichtigt werden. 16. Smoke detection system according to claims 14 and 15, characterized in that the second path further comprises checking the blocks for saturation of the device for recording the video images, in which blocks are marked with a certain number of saturated pixels and for the analysis of the counter image (6 ) are not taken into account.
17. Rauchdetektionssystem nach Anspruch 16, dadurch gekennzeichnet, dass mittels einer Maske beliebige Bildausschnitte von der Analyse ausgeschlossen werden können.17. Smoke detection system according to claim 16, characterized in that any image sections can be excluded from the analysis by means of a mask.
18. Rauchdetektionssystem nach Anspruch 17, dadurch gekennzeichnet, dass die anhand der Bewegungsdetektion (7) und der Überprüfung auf Sättigung (9) erstellte Bitmaske (8) dazu verwendet wird, das Zählerbild (11) für die Ausscheidung von für die Rauchdetektion (13) nicht zu berücksichtigenden Bildbereichen zu aktualisieren.18. Smoke detection system according to claim 17, characterized in that the bit mask (8) created on the basis of the movement detection (7) and the check for saturation (9) is used for the counter image (11) for the excretion of for the smoke detection (13). update areas of the image that are not to be taken into account.
19. Rauchdetektionssystem nach Anspruch 18, dadurch gekennzeichnet, dass anhand des Zählerbildes (11) für die Ausscheidung der für die Rauchdetektion (13) nicht zu berücksichtigenden Bildbereiche das Zählerbild der Kanten (6) so abgeändert wird, dass die Kantenabschätzung gegenüber die Rauchdetektion (13) eventuell störenden Einflüssen weitgehend immun ist.19. Smoke detection system according to claim 18, characterized in that on the basis of the counter image (11) for the elimination of the image areas not to be taken into account for the smoke detection (13), the counter image of the edges (6) is modified in such a way that the edge estimation compared to the smoke detection (13 ) possibly interfering influences is largely immune.
20. Rauchdetektionssystem nach Anspruch 19, dadurch gekennzeichnet, dass vor der Entscheidung über das Vorhandensein von Rauch eine Überprüfung (12) erfolgt, ob eine für eine solche Entscheidung ausreichende Anzahl von Kanten vorhanden ist. 20. Smoke detection system according to claim 19, characterized in that, before deciding whether smoke is present, a check (12) is carried out to determine whether there is a sufficient number of edges for such a decision.
EP01272590.9A 2000-12-28 2001-12-20 Video smoke detection system Expired - Lifetime EP1346330B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP01272590.9A EP1346330B1 (en) 2000-12-28 2001-12-20 Video smoke detection system

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP00128606A EP1220178A1 (en) 2000-12-28 2000-12-28 Video smoke detection system
EP00128606 2000-12-28
CH196901 2001-10-26
CH19692001 2001-10-26
EP01272590.9A EP1346330B1 (en) 2000-12-28 2001-12-20 Video smoke detection system
PCT/CH2001/000731 WO2002054364A2 (en) 2000-12-28 2001-12-20 Video smoke detection system

Publications (2)

Publication Number Publication Date
EP1346330A2 true EP1346330A2 (en) 2003-09-24
EP1346330B1 EP1346330B1 (en) 2013-05-15

Family

ID=25739035

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01272590.9A Expired - Lifetime EP1346330B1 (en) 2000-12-28 2001-12-20 Video smoke detection system

Country Status (5)

Country Link
EP (1) EP1346330B1 (en)
CN (1) CN1190759C (en)
AU (1) AU2002220440B2 (en)
HK (1) HK1054457B (en)
WO (1) WO2002054364A2 (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7256818B2 (en) 2002-05-20 2007-08-14 Simmonds Precision Products, Inc. Detecting fire using cameras
US7245315B2 (en) 2002-05-20 2007-07-17 Simmonds Precision Products, Inc. Distinguishing between fire and non-fire conditions using cameras
US7280696B2 (en) 2002-05-20 2007-10-09 Simmonds Precision Products, Inc. Video detection/verification system
DE50306852D1 (en) * 2003-07-11 2007-05-03 Siemens Schweiz Ag Method and device for detecting flames
EP1519314A1 (en) * 2003-09-25 2005-03-30 Siemens Building Technologies AG Method and analysis tool for checking functionality of video surveillance devices and measuring system for carrying out the method
AT414055B (en) * 2003-12-22 2006-08-15 Wagner Sicherheitssysteme Gmbh PROCESS AND DEVICE FOR FIRE DETECTION
GB2430102A (en) 2005-09-09 2007-03-14 Snell & Wilcox Ltd Picture loss detection by comparison of plural correlation measures
DE502005004026D1 (en) * 2005-09-09 2008-06-19 Siemens Ag Detection of smoke with a video camera
WO2008037293A1 (en) * 2006-09-25 2008-04-03 Siemens Schweiz Ag Detection of smoke with a video camera
US7859419B2 (en) 2006-12-12 2010-12-28 Industrial Technology Research Institute Smoke detecting method and device
EP2000952B1 (en) * 2007-05-31 2013-06-12 Industrial Technology Research Institute Smoke detecting method and device
CN101726357B (en) * 2008-10-14 2014-01-08 能美防灾株式会社 Smoke detecting apparatus
CN101373553B (en) * 2008-10-23 2010-06-16 浙江理工大学 Early-stage smog video detecting method capable of immunizing false alarm in dynamic scene
CN101751744B (en) * 2008-12-10 2011-08-31 中国科学院自动化研究所 Detection and early warning method of smoke
CN102023599B (en) * 2010-02-11 2012-08-29 北京瑞华赢科技发展有限公司 Tunnel monitoring system
CN102163360B (en) * 2011-03-24 2013-07-31 杭州海康威视系统技术有限公司 Tunnel smoke video detecting method and device
DE102016207712A1 (en) 2016-05-04 2017-11-09 Robert Bosch Gmbh Detection device, method for detecting an event and computer program
CN106223774B (en) * 2016-08-27 2018-10-02 朱洋 A kind of intelligent window open system distributing object based on image detection smog
CN109493361B (en) * 2018-11-06 2021-08-06 中南大学 Fire smoke image segmentation method
CN114648852B (en) * 2022-05-24 2022-08-12 四川九通智路科技有限公司 Tunnel fire monitoring method and system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9822956D0 (en) * 1998-10-20 1998-12-16 Vsd Limited Smoke detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02054364A2 *

Also Published As

Publication number Publication date
WO2002054364A2 (en) 2002-07-11
AU2002220440B2 (en) 2007-08-23
CN1406366A (en) 2003-03-26
WO2002054364A3 (en) 2002-12-19
HK1054457B (en) 2005-09-30
EP1346330B1 (en) 2013-05-15
HK1054457A1 (en) 2003-11-28
CN1190759C (en) 2005-02-23

Similar Documents

Publication Publication Date Title
EP1346330B1 (en) Video smoke detection system
DE60132622T2 (en) METHOD AND DEVICE FOR SELECTING THE BEST VIDEO IMAGE FOR TRANSMISSION TO A REMOTE SITE WITHIN A CLOSED TELEVISION SYSTEM FOR RESIDENTIAL AREA SAFETY MONITORING
AT502551B1 (en) METHOD AND PICTURE EVALUATION UNIT FOR SCENE ANALYSIS
EP0815539B1 (en) Method of detecting moving objects in chronologically successive images
DE102006053286A1 (en) Method for detecting movement-sensitive image areas, apparatus and computer program for carrying out the method
DE4407528A1 (en) Image evaluation system for surveillance camera
DE4332753C2 (en) Process for the detection of moving objects
EP1496483B1 (en) Method and apparatus for the detection of flames
DE10042935B4 (en) Method for monitoring a predetermined area and system
DE60123214T2 (en) SMOKE AND FLAME DETECTION
EP3977430A1 (en) Method and apparatus for detecting smoke
DE3214254C2 (en)
EP2483834B1 (en) Method and apparatus for the recognition of a false object detection in an image
DE10049366A1 (en) Security area monitoring method involves using two image detection units whose coverage areas overlap establishing monitored security area
EP0777864B1 (en) Image-evaluation system and process
DE102019114451A1 (en) Activity areas in video content
WO2012110654A1 (en) Method for evaluating a plurality of time-offset pictures, device for evaluating pictures, and monitoring system
DE102007041333A1 (en) Target object i.e. person, contactless counting method for e.g. determination of actual load of production facility, involves identifying breakage or turning of graphical cluster in direction of time axis as object passing area
DE102016222134A1 (en) Video analysis device for a monitoring device and method for generating a single image
DE19600958A1 (en) Interactive surveillance system
EP3493171A1 (en) Detection of aggressive behaviour in public transportation
DE19641000C2 (en) Method and arrangement for the automatic detection of the number of people in a security gate
WO2013083327A1 (en) Device and method for automatically detecting an event in sensor data
EP1220178A1 (en) Video smoke detection system
EP3352111B1 (en) Method for identifying critical events

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030417

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

17Q First examination report despatched

Effective date: 20070219

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 50116282

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G08B0013194000

Ipc: G08B0013196000

RIC1 Information provided on ipc code assigned before grant

Ipc: G08B 13/196 20060101AFI20121018BHEP

Ipc: G08B 17/12 20060101ALI20121018BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: SIEMENS SCHWEIZ AG, CH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 612487

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130615

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 50116282

Country of ref document: DE

Effective date: 20130704

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20130515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130826

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130916

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130816

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20140218

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50116282

Country of ref document: DE

Effective date: 20140218

BERE Be: lapsed

Owner name: SIEMENS A.G.

Effective date: 20131231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131220

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131220

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131231

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20141208

Year of fee payment: 14

REG Reference to a national code

Ref country code: CH

Ref legal event code: PUE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 612487

Country of ref document: AT

Kind code of ref document: T

Effective date: 20131220

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20150220 AND 20150225

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20150220

Year of fee payment: 14

Ref country code: CH

Payment date: 20150305

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50116282

Country of ref document: DE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS BUILDING TECHNOLOGIES AG, ZUERICH, CH

Effective date: 20130515

Ref country code: DE

Ref legal event code: R081

Ref document number: 50116282

Country of ref document: DE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20150407

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131220

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20141217

Year of fee payment: 14

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Owner name: SIEMENS SCHWEIZ AG, CH

Effective date: 20150916

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50116282

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20151220

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151220

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160701

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231