EP1346330B1 - Video smoke detection system - Google Patents

Video smoke detection system Download PDF

Info

Publication number
EP1346330B1
EP1346330B1 EP01272590.9A EP01272590A EP1346330B1 EP 1346330 B1 EP1346330 B1 EP 1346330B1 EP 01272590 A EP01272590 A EP 01272590A EP 1346330 B1 EP1346330 B1 EP 1346330B1
Authority
EP
European Patent Office
Prior art keywords
value
smoke detection
image
detection system
smoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP01272590.9A
Other languages
German (de)
French (fr)
Other versions
EP1346330A2 (en
Inventor
Dieter Wieser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP00128606A external-priority patent/EP1220178A1/en
Application filed by Siemens AG filed Critical Siemens AG
Priority to EP01272590.9A priority Critical patent/EP1346330B1/en
Publication of EP1346330A2 publication Critical patent/EP1346330A2/en
Application granted granted Critical
Publication of EP1346330B1 publication Critical patent/EP1346330B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Description

Die Erfindung liegt auf dem Gebiet der Rauchdetektion anhand eines Videobildes. In Wohn - und Industriegebäuden, Lagerhallen, Museen, Kirchen und dergleichen erfolgt die Rauchdetektion mit an der Decke des jeweiligen Raums montierten Rauchmeldern, welche beispielsweise auf dem Prinzip der Lichtstreuung oder Lichtabschwächung durch Rauch beruhen. In Eisenbahn- oder Strassentunnels hingegen werden praktisch keine Rauchmelder eingesetzt, weil hier wegen der durch die fahrenden Autos und Züge verursachte Luftbewegung und Luftschichtung nicht gewährleistet ist, dass der bei einem Brand entstehende Rauch in nützlicher Frist bis zu an der Decke montierten Rauchmeldern gelangen würde. Daher werden heute für die Brand-überwachung in Tunnels sogenannte lineare Wärmemeldesysteme wie beispielsweise das System FibroLaser der Siemens Building Technologies AG, Cerberus Division verwendet.The invention is in the field of smoke detection based on a video image. In residential and industrial buildings, warehouses, museums, churches and the like, the smoke detection is carried out with mounted on the ceiling of each room smoke detectors, which are based for example on the principle of light scattering or light attenuation by smoke. In railway or road tunnels, on the other hand, virtually no smoke detectors are used because, because of the movement of air and stratification caused by the moving cars and trains, it is not guaranteed that the smoke produced in a fire would reach the ceiling mounted smoke detectors within a reasonable time. For this reason, so-called linear heat reporting systems such as the FibroLaser system from Siemens Building Technologies AG, Cerberus Division, are used today for tunnel monitoring in tunnels.

Die WO 00/23959 A offenbart ein Video-Rauchdetektionssystem mit einer Video-Kamera, Videobild-Vergleichsmittel, Signalverarbeitungsmittel und Alarmierungsmittel, das abhängig vom Output der Signalverarbeitungsmittel ist. Das Signalverarbeitungsmittel analysiert sukzessive die Bilder von der Video-Kamera und vergleicht die Intensität und/oder die Farbe der individuellen Pixel or Gruppen von Pixeln um zu entscheiden ob eine für Rauch charakteristische Veränderung vorliegt.The WO 00/23959 A discloses a video smoke detection system including a video camera, video image comparison means, signal processing means and alerting means which is responsive to the output of the signal processing means. The signal processing means successively analyzes the images from the video camera and compares the intensity and / or color of the individual pixels or groups of pixels to decide whether there is a change characteristic of smoke.

In jüngster Zeit bestehen Bestrebungen, die für die Verkehrsüberwachung in Tunnels ohnehin vorhandenen Videosysteme zur Rauchdetektion zu verwenden. Da die Videobilder für einen Betrachter sehr oft uninteressant sind und ausserdem durch Rauch nur sehr kleine Veränderungen im Videobild verursacht werden, kommt eine Überwachung durch das Personal an den Bildschirmen nicht in Frage. Wenn überhaupt, kann die Überwachung nur durch eine automatische Auswertung der Videobilder erfolgen. Bei einem bekannten Verfahren zur automatischen Untersuchung von Videobildern auf das Auftreten von Rauch werden die Intensitätswerte der einzelnen Pixel aufeinanderfolgender Bilder miteinander verglichen. Wenn Intensitätswerte gemessen werden, die für ein helleres, durch die Anwesenheit von Rauch verursachtes Bild repräsentativ sind, wird auf das Vorhandensein von Rauch geschlossen und Alarm ausgelöst.Recently, efforts have been made to use the traffic monitoring in tunnels of existing smoke detection video systems. Since the video images for a viewer are often uninteresting and also caused by smoke only very small changes in the video image, monitoring by the staff at the screens is out of the question. If anything, the monitoring can only be done by an automatic evaluation of the video images. In a known method for automatically examining video images for the occurrence of smoke, the intensity values of the individual pixels of successive images are compared with one another. When measuring intensity values representative of a lighter image caused by the presence of smoke, the presence of smoke is signaled and an alarm is sounded.

Bei diesem Verfahren besteht unter anderem das Problem, dass Rauch vor einem hellen Hintergrund nicht erkannt und selbst Feuer, welches nur wenig Rauch erzeugt, nicht detektiert wird. Ausserdem können Helligkeitsänderungen, wie sie beispielsweise durch sich durch das Blickfeld der Kamera bewegende Personen verursacht werden, einen Fehlalarm auslösen. Dieses Problem hat man dadurch zu lösen versucht, dass man zusätzlich zum eigentlichen Überwachungsbereich noch einen äusseren Bereich untersucht und bei Änderungen in diesem äusseren Bereich die Beobachtung des Überwachungsbereichs unterbricht. Dieses Verfahren hat den Nachteil, dass ein Feuer unter Umständen erst nach einer bestimmten Verzögerung detektiert wird, und dass Rauchquellen in dem zusätzlich zum Überwachungsbereich vorgesehenen äusseren Bereich nicht erkannt werden.One of the problems with this method is that smoke is not detected against a light background and even fire that produces little smoke is not detected. In addition, brightness changes, such as those caused by persons moving through the field of view of the camera, can trigger a false alarm. This problem has been solved by the fact that in addition to the actual surveillance area still investigates an outer area and interrupts the observation of the surveillance area for changes in this outer area. This method has the disadvantage that a fire may not be detected until after a certain delay and that sources of smoke are not detected in the outer area provided in addition to the monitoring area.

Die vorliegende Erfindung betrifft ein Video-Rauchdetektionssystem mit mindestens einer Einrichtung zur Aufnahme von Videobildern und mit einer Signalverarbeitungsstufe, in welcher eine Bestimmung der Helligkeit der einzelnen Pixel oder von Gruppen von Pixeln der Videobilder erfolgt.The present invention relates to a video smoke detection system comprising at least one means for capturing video images and having a signal processing stage in which a determination is made of the brightness of the individual pixels or groups of pixels of the video images.

Die mit der Erfindung zu lösende Aufgabe besteht darin, ein Video-Rauchdetektionssystem anzugeben, welches eine rasche und sichere Detektion von Rauch ermöglicht und insbesondere für den Einsatz in Strassen- und Eisenbahntunnels geeignet ist. Die Rauchdetektion soll in einem möglichst frühen Stadium der Brandentstehung erfolgen und Fehlalarme sollen praktisch ausgeschlossen sein.The problem to be solved by the invention is to specify a video smoke detection system which enables rapid and reliable detection of smoke and is particularly suitable for use in road and rail tunnels. The smoke detection should take place in the earliest possible stage of the fire and false alarms should be virtually eliminated.

Das erfindungsgemässe Video-Rauchdetektionssystem ist dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Prozess erfolgt, bei welchem ein für die Helligkeit repräsentativer Wert gewonnen wird, und dass eine Untersuchung des zeitlichen Verlaufs des genannten Wertes auf eine für das Auftreten von Rauch charakteristische Veränderung erfolgt.The video smoke detection system according to the invention is characterized in that the determination of the brightness of the pixels takes place by a process in which a value representative of the brightness is obtained, and in that an examination of the time characteristic of said value is characteristic of the occurrence of smoke Change takes place.

Eine erste bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssystems ist dadurch gekennzeichnet, dass die Bestimmung der Helligkeit der Pixel durch einen Kantenextraktionsprozess erfolgt, bei welchem jedem Pixel ein Kantenwert zugeordnet wird.A first preferred embodiment of the video smoke detection system according to the invention is characterized in that the determination of the brightness of the pixels takes place by an edge extraction process in which an edge value is assigned to each pixel.

Das erfindungsgemässe Rauchdetektionssystem basiert auf der Erkenntnis, dass das Auftreten von Rauch dazu führt, dass der Kontrast reduziert wird. Bei der Bestimmung der Helligkeit durch einen Kantenextraktionsprozess werden die Kanten verschmiert oder sie verschwinden. Dabei hat dieser Prozess den Vorteil, dass der Kantenwert gegen globale Beleuchtungsänderungen unempfindlich ist.The smoke detection system according to the invention is based on the recognition that the occurrence of smoke leads to the fact that the contrast is reduced. In determining the brightness through an edge extraction process, the edges are smeared or disappear. This process has the advantage that the edge value is insensitive to global lighting changes.

Eine zweite bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssystems ist dadurch gekennzeichnet, dass für jedes Pixel ein Vergleich des Kantenwerts mit einem Mittelwert erfolgt, und dass aus diesem Vergleich ein nachfolgend so genanntes Zählerbild gewonnen wird, welches das zeitliche Verhalten des Kantenwerts relativ zum Mittelwert angibt.A second preferred embodiment of the video smoke detection system according to the invention is characterized in that for each pixel a comparison of the edge value with an average value is made, and that a subsequently so-called counter image is obtained from this comparison, which indicates the temporal behavior of the edge value relative to the mean value.

Vorzugsweise wird das Zählerbild, welches angibt, wie oft die Helligkeit des betreffenden Pixels über eine bestimmte Zeit im Mittel oberhalb des genannten Mittelwerts gelegen hat, bei jedem Vergleich des Kantenwerts mit dem Mittelwert aktualisiert.Preferably, the counter image, which indicates how often the brightness of the relevant pixel has averaged above said mean value over a certain time, is updated with each comparison of the edge value with the mean value.

Es erfolgt ein Vergleich des Zählerbildes mit einem Schwellwert und bei Überschreiten dieses Schwellwerts eine Aufsummierung eins Initialisierungswerts zu einem aktuellen Wert.There is a comparison of the counter image with a threshold value and when this threshold is exceeded, a summation of one initialization value to a current value.

Eine dritte bevorzugte Ausführungsform des erfindungsgemässen Video-Rauchdetektionssystems ist dadurch gekennzeichnet, dass zusätzlich zum Kantenextraktionsprozess eine nachfolgend als Bewegungsdetektion bezeichnete Untersuchung der Videobilder auf Bewegungen erfolgt.A third preferred embodiment of the video smoke detection system according to the invention is characterized in that, in addition to the edge extraction process, an examination of the video images, referred to below as motion detection, takes place on movements.

In Strassen- und Eisenbahntunnels, für deren Überwachung das erfindungsgemässe System in erster Linie vorgesehen ist, wird die nicht durch Rauch verursachte Abdeckung von Kanten fast ausschliesslich durch bewegte Objekte zwischen der betreffenden Kante und der Kamera erfolgen. Da sich solche Objekte nicht plötzlich materialisieren sondern in aller Regel an die Stelle, wo sie die Kante abdecken, hinbewegt haben, kann man davon ausgehen, dass bei einer Kantenabdeckung, die nicht durch Rauch verursacht ist, unmittelbar vorher eine Bewegung des die Kante abdeckenden Objekts stattgefunden haben muss. Die Bewegungsdetektion liefert also ein zuverlässiges Kriterium für die Unterscheidung von durch Rauch abgedeckten Kanten von solchen, die durch Objekte abgedeckt wurden.In road and rail tunnels, for the monitoring of which the system according to the invention is provided in the first place, the not caused by smoke coverage of edges will be almost exclusively by moving objects between the relevant edge and the camera. Since such objects do not materialize suddenly, but as a rule have moved to where they cover the edge, it can be assumed that with an edge cover that is not caused by smoke, immediately before a movement of the object covering the edge must have taken place. Thus, motion detection provides a reliable criterion for distinguishing smoke-covered edges from those covered by objects.

Vorzugsweise erfolgt sowohl die Bestimmung der Kantenwerte als auch die Bewegungsdetektion anhand von Zählerbildern, welche mit einem Hysteresealgorithmus laufend aktualisiert werden. Für die Bewegungsdetektion wird vorzugsweise ein auf der normierten Kreuzkorrelation basierender Algorithmus verwendet.Both the determination of the edge values and the motion detection preferably take place on the basis of counter images, which are continuously updated with a hysteresis algorithm. For motion detection, an algorithm based on the normalized cross-correlation is preferably used.

Der Hysteresealgorithmus weist vorzugsweise einen Minimal- und einen Maximalwert sowie zwei zwischen diesen liegende Schwellwerte auf, wobei das Zählerbild bei Aufwärtszählung bei Überschreiten des unteren Schwellwerts auf den Maximalwert und bei Abwärtszählung bei Unterschreiten des oberen Schwellwerts auf den Minimalwert springt.The hysteresis algorithm preferably has a minimum and a maximum value and two threshold values lying between them, wherein the counter image jumps to the maximum value when counting up when the lower threshold value is exceeded and to the minimum value when counting down when the upper threshold value is undershot.

Dieser Hysterese-Algorithmus ermöglicht ermöglicht die Verwendung verrauschter Bilder für die Detektionsalgorithmen. Eine durch Rauschen verursachte Kante wird, bei angemessen parametrierter Hysterese, im Zählerbild nicht aufscheinen, und eine Kante wird nicht wegen eines einzigen verrauschten Bildes verschwinden.This hysteresis algorithm enables the use of noisy images for the detection algorithms. An edge caused by noise will not appear in the counter image, with appropriately parameterized hysteresis, and an edge will not disappear because of a single noisy image.

Eine vierte bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass drei Datenstrukturen verwendet werden, ein Datenfeld mit Informationen über die im jeweiligen Bild vorhandenen Kanten, ein Datenfeld mit einer Bitmaske zum Zweck der Ausscheidung von Bildbereichen, die für die Rauchdetektion nicht zu berücksichtigen sind, und das betrachtete Bild selbst, wobei die Kanten und das Bild zwischen aufeinanderfolgenden Iterationen des Prozesses erhalten bleiben und die Bitmaske für jede Iteration neu initialisiert wird.A fourth preferred embodiment of the smoke detection system according to the invention is characterized in that three data structures are used, a data field with information about the edges present in the respective image, a data field with a bit mask for the purpose of excreting image areas which are not to be considered for smoke detection, and the viewed image itself, with the edges and image preserved between successive iterations of the process and the bitmask re-initialized for each iteration.

Eine fünfte bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass das Bild und die Kanten pixelweise analysiert werden und die Analyse der Bitmaske für nachfolgend als Blöcke bezeichnete Gruppen von mehreren Pixeln erfolgt.A fifth preferred embodiment of the smoke detection system according to the invention is characterized in that the image and the edges are analyzed on a pixel-by-pixel basis and the analysis of the bit mask is carried out for groups of several pixels hereinafter referred to as blocks.

Eine sechste bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass die Verarbeitung der Daten auf zwei Pfaden erfolgt, einem ersten Pfad zur Berechnung der im Bild vorhandenen Kanten und zur Aktualisierung der bereits über Kanten vorhandenen Daten, und einem zweiten Pfad zur Erstellung der Bitmaske, wobei dieser zweite Pfad die Bewegungsdetektion umfasst.A sixth preferred embodiment of the smoke detection system according to the invention is characterized in that the processing of the data takes place on two paths, a first path for calculating the edges present in the image and for updating the already data present over edges, and a second path to create the bitmask, this second path comprising motion detection.

Gemäss einer siebten bevorzugten Ausführungsform des erfindungsgemässen Rauchdetektionssystems umfasst der zweite Pfad ausserdem eine Überprüfung der Blöcke auf Sättigung der Einrichtung zur Aufnahme der Videobilder, bei welcher Blöcke mit einer bestimmten Anzahl gesättigter Pixel markiert und für die Analyse des Zählerbildes der Kanten nicht berücksichtigt werden.According to a seventh preferred embodiment of the smoke detection system according to the invention, the second path also comprises a check of the blocks for saturation of the device for recording the video images, in which blocks are marked with a certain number of saturated pixels and are not taken into account for the analysis of the counter image of the edges.

Eine weitere bevorzugte Ausführungsform des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dadurch gekennzeichnet, dass mittels einer Maske beliebige Bildausschnitte von der Analyse ausgeschlossen werden können. Vorzugsweise wird die anhand der Bewegungsdetektion und der Überprüfung auf Sättigung erstellte Bitmaske dazu verwendet, das Zählerbild für die Ausscheidung von für die Rauchdetektion nicht zu berücksichtigenden Bildbereichen zu aktualisieren.A further preferred embodiment of the smoke detection system according to the invention is characterized in that any image detail can be excluded from the analysis by means of a mask. Preferably, the bitmask created by motion detection and saturation checking is used to update the counter image for the elimination of image areas not to be considered for smoke detection.

Eine weitere bevorzugte Ausführung des erfindungsgemässen Rauchdetektionssystems ist dadurch gekennzeichnet, dass vor der Entscheidung über das Vorhandensein von Rauch eine Überprüfung erfolgt, ob eine für eine solche Entscheidung ausreichende Anzahl von Kanten vorhanden ist.A further preferred embodiment of the smoke detection system according to the invention is characterized in that prior to the decision on the presence of smoke, a check is made as to whether there is a sufficient number of edges for such a decision.

Im folgenden wird die Erfindung anhand von Ausführungsbeispielen und der Zeichnungen näher erläutert; es zeigt:

Fig. 1
ein Blockschema eines erfindungsgemässen Video-Rauchdetektionssystems,
Fig. 2-4
je ein Flussdiagramm zur Erläuterung der Funktion eines erste Ausführungsbeispiels eines erfindungsgemässen Video-Rauchdetektionssystems; und
Fig. 5
ein Flussdiagramm zur Erläuterung der Funktionsweise eines zweiten Ausführungsbeispiels des erfindungsgemässen Video-Rauchdetektionssystems.
In the following the invention will be explained in more detail with reference to embodiments and the drawings; it shows:
Fig. 1
a block diagram of a video smoke detection system according to the invention,
Fig. 2-4
a flowchart for explaining the function of a first exemplary embodiment of a video smoke detection system according to the invention; and
Fig. 5
a flowchart for explaining the operation of a second embodiment of the inventive video smoke detection system.

Das erfindungsgemässe Video-Rauchdetektionssystem besteht gemäss Fig. 1 im wesentlichen aus einer Anzahl von Videokameras 1 und einem gemeinsamen Prozessor 2, in welchem die Verarbeitung und Auswertung der Signale der Videokameras 1 erfolgt. Die Videokameras 1 sind beispielsweise in einem Strassentunnel montiert und dienen zur Verkehrsüberwachung, beispielsweise zur Überwachung der Einhaltung der Verkehrsregeln und zur Detektion von Staubildungen, Unfällen und dergleichen. Die Kameras sind mit einer bemannten Einsatzzentrale verbunden, in welcher das Verkehrsgeschehen im Tunnel über Monitore beobachtet wird. Die Prozessoren 2 sind dezentral angeordnet, wobei einer bestimmten Anzahl von beispielsweise 8 bis 10 Kameras jeweils ein gemeinsamer Prozessor 2 zugeordnet ist.The inventive video smoke detection system is according to Fig. 1 essentially of a number of video cameras 1 and a common processor 2, in which the processing and evaluation of the signals of the video cameras 1 takes place. The video cameras 1 are mounted, for example, in a road tunnel and serve for traffic monitoring, for example, to monitor compliance with traffic regulations and for the detection of congestion, accidents and the like. The cameras are connected to a manned operations center, in which the traffic in the tunnel is monitored by monitors. The processors 2 are arranged in a decentralized manner, wherein a common number of, for example, 8 to 10 cameras is assigned to a common processor 2 in each case.

Im Prozessor 2 werden die Videobilder in Pixel zerlegt, den einzelnen Pixeln und/oder Gruppen von diesen werden Helligkeitswerte zugeordnet und anhand eines Vergleichs der Helligkeitswerte der Pixel mit einem Referenzwert erfolgt die Entscheidung über das Vorhandensein von Rauch. Bei der Zuordnung der Helligkeitswerte zu den einzelnen Pixeln oder Pixelgruppen ist es wesentlich, dass diese Zuordnung von globalen Helligkeitsänderungen, also Änderungen der Beleuchtung des ganzen Bildes, unabhängig ist. Diese Unabhängigkeit von der Beleuchtung lässt sich dadurch erreichen, dass man den Pixeln Kantenwerte zuordnet, welche ja eine Ableitung darstellen. Die Erkennung von Rauch basiert auf der Annahme, dass die Kanten durch Rauch abgeschwächt werden oder verschwinden.In the processor 2, the video images are decomposed into pixels, the individual pixels and / or groups thereof are assigned brightness values, and based on a comparison of the brightness values of the pixels with a reference value, the decision is made on the presence of Smoke. When assigning the brightness values to the individual pixels or pixel groups, it is essential that this assignment of global brightness changes, ie changes in the illumination of the entire image, is independent. This independence from the lighting can be achieved by assigning edge values to the pixels, which are indeed a derivative. The detection of smoke is based on the assumption that the edges are attenuated by smoke or disappear.

Die Signalverarbeitung und -auswertung im Prozessor 2 kann in zwei in Fig. 1 mit Pixelhelligkeit 3 und Rauchdetektion 4 bezeichnete Funktionsblöcke unterteilt werden. Entsprechend dieser Aufteilung zeigt das Flussdiagramm von Fig. 2 die Gewinnung der für die Helligkeit der Pixel repräsentativen Werte (Pixel-Helligkeit 3) und dasjenige von Fig. 3 deren weitere Untersuchung auf das Vorhandensein von Rauch (Rauchdetektion 4). Fig. 4 zeigt ein Flussdiagramm von für bestimmte Anwendungen (Rauchdetektion in Innenräumen, wie beispielsweise in Gängen, Foyers und dergleichen) erforderliche zusätzliche Schritte des Verfahrens gemäss Fig. 2.The signal processing and evaluation in the processor 2 can be divided into two in Fig. 1 be divided with pixel brightness 3 and smoke detection 4 designated function blocks. According to this division, the flowchart of FIG Fig. 2 obtaining the values representative of the brightness of the pixels (pixel brightness 3) and that of Fig. 3 their further investigation on the presence of smoke (smoke detection 4). Fig. 4 shows a flow chart of required for certain applications (smoke detection indoors, such as in aisles, foyers and the like) additional steps of the method according to Fig. 2 ,

Die von jeder Kamera 1 aufgenommenen Videobilder werden in Pixel zerlegt und digitalisiert, wodurch für jedes Pixel mit den Koordinaten i und j dessen Intensitätswert Ii,j bestimmt wird, der beispielsweise zwischen 0 und 255 liegen kann. Aus den Intensitätswerten Ii,j wird für eine bestimmte Gruppe von Pixeln von beispielsweise 3 mal 3 oder 5 mal 5 der Mittelwert Mi,j oder der Median gebildet, oder ein durch eine Tiefpassfilterung gewonnener Wert. Der Median hat den Vorteil, dass seine Berechnung in 8-Bit erfolgen kann.The video images taken by each camera 1 are decomposed into pixels and digitized, whereby for each pixel with the coordinates i and j its intensity value I i, j is determined, which may for example be between 0 and 255. From the intensity values I i, j , the mean value M i, j or the median is formed for a specific group of pixels of, for example, 3 times 3 or 5 times 5, or a value obtained by a low-pass filtering. The median has the advantage that its calculation can be done in 8-bit.

Parallel zur Berechnung des Mittelwerts oder Medians wird aus der Intensität Ii,j ein Kantenwert gewonnen, was durch eine Ableitung oder durch eine Frequenzanalyse (Hochpassfilterung, beispielsweise Wavelet-Transformation) erfolgt. Die Kantenwerte Ki,j der einzelnen Pixel können beispielsweise durch Anwendung eines Roberts- oder eines Sobeloperators ermittelt werden. Man kann aber selbstverständlich für die Kantenberechnung auch einen komplizierteren Operator verwenden und auf grössere Gebiete wie z.B. 5x5 oder 7x7 Pixel anwenden.Parallel to the calculation of the mean or median, an edge value is obtained from the intensity I i, j , which is done by a derivative or by a frequency analysis (high-pass filtering, for example wavelet transformation). The edge values K i, j of the individual pixels can be determined, for example, by using a Roberts or a Sobel operator. Of course you can also use a more complicated operator for the edge calculation and apply it to larger areas such as 5x5 or 7x7 pixels.

Dann wird untersucht, ob der Kantenwert Ki,j oberhalb des Mittelwerts oder des Medians liegt. Wenn JA, wird zu einem Wert Zi,j eine Zahl δob dazu gezählt und der alte Wert Zi,j wird durch den neuen ersetzt, wenn NEIN, wird von einem Wert Zi,j eine Zahl δun abgezogen und der alte Wert Zi,j wird durch den neuen ersetzt. Der Wert Zi,j ist eine Zahl, die angibt, wie oft der Kantenwert und damit die Helligkeit des betreffenden Pixels über eine bestimmte Zeit im Mittel oberhalb einer bestimmten Schwelle (Mittelwert oder Median Mi,j) gelegen hat. Diese Zahl Zi,j wird nachfolgend als Zählerbild bezeichnet. Der Wertebereich von Zi,j beträgt z.B. 0 bis 255, der Anfangswert von Zi,j bei der Initialisierung des Systems beträgt 0. Die Zahlen δun und δob können gleich oder unterschiedlich sein; beispielsweise können beide gleich eins sein.It is then examined whether the edge value K i, j lies above the mean or the median. If YES, a value Z i, j is a number δ whether counted to it and the previous value Z i, j is replaced by the new one if NO is withdrawn un from a value Z i, j δ is a number, and the old Value Z i, j is replaced by the new one. The value Z i, j is a number which indicates how often the edge value and thus the brightness of the respective pixel has averaged above a certain threshold (mean or median M i, j ) for a certain time. This number Z i, j is referred to below as a counter image. The value range of Z i, j is eg 0 to 255, the initial value of Z i, j at the initialization of the system is 0. The numbers δ un and δ ob may be the same or different; for example, both can be equal to one.

Das Zählerbild Zi,j hat einen besonderen Vorteil hinsichtlich der Auswirkung von Bewegungen auf die Kantenwerte. Wenn sich ein Objekt durch das Bild bewegt, dann bewegt sich auch mindestens eine Kante durch dieses, und das hat zur Folge, dass das Pixel am jeweiligen Ort der Kante einen höheren Kantenwert hat, wodurch das Zählerbild Zi,j um δ steigt. Sobald die Kante das betreffende Pixel verlassen hat, wird das Zählerbild Zi,j um δun reduziert, so dass sich also in Summe der Durchgang von Kanten durch das Videobild im Zählerbild Zi,j der einzelnen Pixel nicht auswirkt.The counter image Z i, j has a particular advantage in terms of the effect of movements on the edge values. When an object moves through the image, it also moves at least one edge therethrough, and this results in the pixel having a higher edge value at the respective location of the edge, whereby the counter image Z i, j increases by δ. As soon as the edge has left the relevant pixel, the counter image Z i, j is reduced by δ un , so that in total the passage of edges through the video image in the counter image Z i, j of the individual pixels does not have any effect.

Das schliesslich erhaltene Zählerbild Zi,j stellt also vorzugsweise einen für die Helligkeit des betreffenden Pixels repräsentativen Wert dar. Bei der Untersuchung des Zählerbildes Zi,j werden drei Zeitskalen verwendet: Die Frequenz der aufgenommenen Videobilder, beispielsweise 1/25 Sekunde, alle 10 Sekunden nach 255 Bildern und etwa jede halbe Stunde.The finally obtained counter image Z i, j thus preferably represents a value representative of the brightness of the relevant pixel. In examining the counter image Z i, j , three time scales are used: the frequency of the recorded video images, for example 1/25 second, every 10th Seconds after 255 pictures and about every half an hour.

Gemäss Fig. 3 wird das Zählerbild Zi,j mit einer Schwelle Sz verglichen. Wenn das Zählerbild Zi,j unterhalb der Schwelle Sz liegt, geschieht nichts, wenn es oberhalb der Schwelle Sz liegt, dann erfolgt eine Summierung, das heisst ein Wert Σx wird um 1 erhöht und durch diesen neuen Wert ersetzt. Der Initialisierungswert Σx 0 wird so gewonnen, dass man bei der Initialisierung mit Σ = 0 beginnt und aufsummiert, wobei sich nach einer gewissen stabilen Phase von einigen Sekunden ein stabiler Wert einstellt, der dann als Initialisierungswert Σx 0 genommen wird. Unter normalen Verhältnissen sollte Σx gleich Σx 0 sein.According to Fig. 3 the counter image Z i, j is compared with a threshold S z . If the counter image Z i, j is below the threshold S z , nothing happens if it is above the threshold S z , then there is a summation, that is, a value Σ x is increased by 1 and replaced by this new value. The initialization value Σ x 0 is obtained in such a way that Σ = 0 is initialized and summed up, whereby after a certain stable phase of a few seconds, a stable value is set, which is then taken as the initialization value Σ x 0 . Under normal conditions, Σ x should be equal to Σ x 0 .

Wenn Σx deutlich grösser ist als Σx 0, dann sind neue Kanten aufgetreten, was dadurch verursacht sein kann, dass sich ein stehendes Objekt im Bildbereich der Videokamera befindet. Ein solches Objekt kann in einem Tunnel beispielsweise ein stehendes Auto oder in einem Gang ein in diesem abgestellter Gegenstand sein; in beiden Fällen wird durch das Objekt ein bestimmter Bildbereich abgedeckt, was in Fig. 3 mit Abdeckung bezeichnet ist. Im Fall von Abdeckung wird der Initialisierungswert Σx 0 neu definiert. Anschliessend wird der Quotient Σxx 0 gebildet und mit einem Rauchschwellwert SR verglichen. Wenn der genannte Quotient unterhalb des Rauchschwellwerts liegt und somit Kanten abgeschwächt oder verschwunden sind, wird Alarm ausgelöst.If Σ x is significantly larger than Σ x 0 , then new edges have occurred, which can be caused by the presence of a stationary object in the image area of the video camera. Such an object may be in a tunnel, for example, a stationary car or a gear in this parked object; in both cases, the object covers a certain image area, which is in Fig. 3 With cover is designated. In the case of coverage, the initialization value Σ x 0 is redefined. Subsequently, the quotient Σ x / Σ x 0 is formed and compared with a smoke threshold S R. If the mentioned quotient is below the smoke threshold and thus edges are weakened or disappeared, an alarm is triggered.

Der Vergleich des Quotienten Σxx 0 mit dem Rauchschwellwert SR ist für eine genaue und fehlalarmsichere Rauchdetektion absolut ausreichend, solange sich scharfe Kanten im Vordergrund translatorisch bewegen, was in Tunnels in der Regel immer der Fall ist. Für die Rauchdetektion in Strassen- oder Bahntunnels wird man also ein System mit der in den Figuren 2 und 3 dargestellten Funktionalität einsetzen.The comparison of the quotient Σ x / Σ x 0 with the smoke threshold S R is absolutely sufficient for accurate and false alarm smoke detection, as long as sharp edges in the foreground translational move, which is always the case in tunnels usually. For the smoke detection in road or rail tunnels you will therefore have a system with the in the Figures 2 and 3 use the functionality shown.

Die Verhältnisse liegen anders, wenn es um die Rauchdetektion in Innenräumen geht, in denen sich Menschen aufhalten. Man hat festgestellt, dass Menschen, die an einem Ort stehen und sich miteinander unterhalten, eine Art von oszillierender oder am Ort hin- und hergehender Bewegung ausführen, die im Unterschied zu einer translatorischen Bewegung nicht mehr aus dem Zählerbild Zi,j herausfällt. Problematisch sind auch Bewegungen von Texturen oder Mustern.The situation is different when it comes to indoor smoke detection in which people are. It has been found that people who stand in one place and talk to each other, perform a kind of oscillating or locally reciprocating motion which, unlike a translational movement, no longer falls outside the counter image Z i, j . Also problematic are movements of textures or patterns.

Diese Bewegungen führen dazu, dass neue Kanten entstehen, was die Abschwächung oder die Reduktion von Kanten durch Rauch kompensieren könnte, so dass unter Umständen Rauch nicht mehr sicher detektiert würde. Allgemein gilt, dass Bewegung in der Regel zu neuen Kanten führt und eventuell auch Kanten abdeckt, und dass Rauch nicht zu neuen Kanten führt, sondern Kanten abschwächt. Eine Ausnahme von dieser Regel ist Rauch in grosser Entfernung, der eventuell zu einer neuen Kante führen kann. Da sich die von der Kamera am weitesten entfernten Bereiche im obersten Teil des Videobildes befinden, kann man diesen Effekt durch Ausblenden dieses obersten Bildteils ausschalten oder man kann die Annahme treffen, dass sich eine durch Rauch gebildete Kante nur sehr langsam bewegen wird.These movements cause new edges to emerge, which could compensate for the attenuation or reduction of edges by smoke, so that, under certain circumstances, smoke would no longer be reliably detected. In general, motion usually leads to new edges and possibly also covers edges, and that smoke does not lead to new edges, but weakens edges. An exception to this rule is smoke at a great distance, which may eventually lead to a new edge. Since the areas furthest away from the camera are in the uppermost part of the video image, this effect can be eliminated by hiding this uppermost part of the image, or it can be assumed that an edge formed by smoke will only move very slowly.

Zur Verhinderung des störenden Einflusses von Bewegungen, wird bei Bedarf das in Fig. 4 dargestellte Unterprogramm verwendet, welches zur Eliminierung von Bewegungen dient und von den Kanten Ki,j (Fig. 2) ausgeht. Man könnte grundsätzlich auch von der Intensität Ii,j ausgehen, was aber mit dem Nachteil des Vorhandenseins störender Gleichstromanteile verbunden wäre. Man bildet die Differenz ΔKi,j aufeinanderfolgender Bilder und vergleicht diese mit einem Bewegungsschwellwert SB. Wenn ΔKi,j unterhalb dieses Schwellwerts liegt, sind keine Bewegungen vorhanden. Bei ΔKi,j > SB werden die Pixel, welche diese Bedingung erfüllen, zu Untergebieten zusammengefasst, aus denen die Bewegung ausgeblendet wird. Letzteres erfolgt dadurch, dass das Zählerbild Zi,j nicht aktualisiert und für die genannten Untergebiete das letzte Zählerbild vor der Bewegung verwendet wird.To prevent the disturbing influence of movements, the in Fig. 4 used subroutine, which serves for the elimination of movements and from the edges K i, j ( Fig. 2 ). In principle, one could also assume the intensity I i, j , but this would be associated with the disadvantage of the presence of interfering DC components. The difference ΔK i, j of successive images is formed and compared with a motion threshold value S B. When ΔK i, j is below this threshold, there are no movements. If ΔK i, j > S B , the pixels which fulfill this condition are combined to subareas from which the motion is masked out. The latter takes place in that the counter image Z i, j is not updated and the last counter image before the movement is used for the abovementioned subareas.

Das Signalrauschen wird durch ein morphologisches Filter (Erodieren) beseitigt. Das bedeutet folgendes: Das Differenzbild, welches die Anzahl der geänderten Pixel in den Untergebieten liefert, ist ein binäres Bild. Man fährt mit einem Muster über dieses binäre Bild und gibt den Pixeln, die sich mit dem Muster decken, den Wert "1". Das Ende der Bewegung wird dadurch angezeigt, dass die Untergebiete nacheinander aus dem Bild verschwinden und die Kanten abnehmen.Signal noise is eliminated by a morphological filter (erosion). This means the following: The difference image that provides the number of changed pixels in the subareas is a binary image. You will go over this binary image with a pattern and give the pixels that match the pattern the value "1". The end of the movement is indicated by the fact that the sub-areas one after the other disappear from the picture and the edges decrease.

Fig. 5 zeigt ein Flussdiagramm eines zweiten Ausführungsbeispiels des erfindungsgemässen Video-Rauchdetektionssystems, welches sich insbesondere durch eine hohe Robustheit gegenüber Störungen und eine hohe Zuverlässigkeit der Rauchdetektion auszeichnet. Das betrachtete Bild ist in Fig. 5 mit dem Bezugszeichen A bezeichnet. Fig. 5 shows a flowchart of a second embodiment of the inventive video smoke detection system, which is characterized in particular by a high robustness to interference and high reliability of smoke detection. The viewed image is in Fig. 5 denoted by the reference A.

Der Beschrei-bung des Flussdiagramms seien nachfolgend einige allgemeine Erläuterungen vorangestellt: Da die Kanten nicht nur durch Rauch sondern auch durch sich zwischen der Kamera und der betreffenden Kante befindliche Objekte abgedeckt werden können, erfolgt zusätzlich eine Untersuchung des betrachteten Bildes auf Bewegungen. Dabei wird davon ausgegangen, dass ein eine Kante abdeckendes Objekt nicht plötzlich an dieser Stelle entstanden ist sondern sich dorthin bewegt hat.The description of the flow chart will be preceded by some general explanations: Since the edges can be covered not only by smoke but also by located between the camera and the relevant edge objects, there is also an investigation of the observed image on movements. It is assumed that an object covering an edge did not suddenly arise at this point but has moved there.

Ein weiterer bei der Rauchdetektion zu beachtender Punkt ist derjenige der verschiedenen Zeitraster, welche einerseits zu beachten und andererseits voneinander zu unterscheiden sind. Es gibt sehr schnelle Effekte im Subsekunden-Bereich, wie beispielsweise durch einen nahe vorbeifahrenden Lastwagen verursachtes Zittern der Kamera, was durch Bildung eines gleitenden Mittelwerts eliminiert werden kann. Es gibt mittelschnelle Effekte, wie beispielsweise die durch Rauch verursachten, die etwa im 10 Sekunden-Bereich liegen, weil der Rauch ungefähr 10 Sekunden benötigt, bis er den Ort erreicht, wo er detektiert wird, und es gibt langsame Effekte im etwa 10 Minuten-Bereich oder noch langsamer. Letzteres sind beispielsweise Einflüsse durch die scheinbare Bewegung der Sonne. Eine Möglichkeit zur Unterscheidung dieser Zeitraster und zur Identifizierung von Effekten im richtigen Zeitraster sind Zählerbilder mit Hysterese.Another point to be considered in smoke detection is that of the different time grids which, on the one hand, are to be considered and on the other hand to be distinguished from one another. There are very fast effects in the subsecond range, such as camera shake caused by a nearby truck, which can be eliminated by forming a moving average. There are mid-paced effects, such as those caused by smoke, which are in the 10 second range because the smoke takes about 10 seconds to reach the location where it is detected, and there are slow effects in about 10 minutes. Range or even slower. The latter are, for example, influences by the apparent movement of the sun. One way to distinguish these time slots and to identify effects in the right time frame are counter images with hysteresis.

Ein Zählerbild ist eine Reihe von Werten, normalerweise von der Grösse eines Bildes, welches vergrössert oder verkleinert werden kann. Diese Werte werden üblicherweise zur Zählung von beispielsweise Ereignissen verwendet. Sowohl die Kantendetektion als auch die Bewegungsdetektion des im Flussdiagramm dargestellten Algorithmus hängen von Zählerbildern ab, welche mit einem Hysteresealgorithmus aktualisiert werden. Die Hysterese ist durch vier Werte, zuunterst, tief, hoch und zuoberst, charakterisiert, wobei zuunterst und zuoberst Zählergrenzen bilden, die nicht unter- beziehungsweise überschritten werden können. Der Wert tief liegt oberhalb des Werts zuunterst und der Wert hoch liegt zwischen den Werten tief und zuoberst. Wenn der Zählerstand zwischen zuunterst und tief oder zwischen hoch und zuoberst liegt, wird ganz normal gezählt, d.h. der Zählerstand wird pro detektiertem Ereignis um eins erhöht: Wenn der Zählerstand aber den Wert tief erreicht und ein weiteres Ereignis detektiert, springt er auf zuoberst. Ähnlich springt der Zählerstand, wenn er bei abnehmenden Werten von oben her den Wert hoch erreicht, auf zuunterst.A counter image is a series of values, usually the size of an image, which can be enlarged or reduced. These values are commonly used to count events, for example. Both edge detection and motion detection of the algorithm shown in the flowchart depend on counter images which are updated with a hysteresis algorithm. The hysteresis is characterized by four values, at the bottom, deep, high and uppermost, where at the bottom and at the top are counter limits that can not be fallen below or exceeded. The value deep lies above the value at the bottom and the value high lies between the values deep and at the top. If the count is between low and low, or between high and high, counting is normal, i. the counter reading is increased by one per detected event: however, if the counter reading reaches the value low and detects another event, it jumps to the top. Similarly, the counter reading jumps to the bottom when decreasing values from the top.

Dieser Hysterese-Mechanismus ermöglicht die Verwendung verrauschter Bilder für die Detektionsalgorithmen. Eine durch Rauschen verursachte Kante wird, bei angemessen parametrierter Hysterese, im Zählerbild nicht aufscheinen, und eine Kante wird nicht wegen eines einzigen verrauschten Bildes verschwinden. Ausserdem gelten noch die folgenden Zusammenhänge: Der Unterschied zwischen den Werten tief und zuunterst ergibt die Anzahl aufeinanderfolgender Einzelbilder über die ein Merkmal oder Ereignis, beispielsweise eine Kante, vorhanden sein muss, um detektiert zu werden, und die Differenz zwischen den Werten zuoberst und hoch ergibt die Anzahl aufeinanderfolgender Einzelbilder, nach denen bei abnehmendem Zählerwert das Ereignis verschwindet. Da dieser Anzahl der Einzelbilder jeweils eine bestimmte Zeitspanne entspricht, stellen diese Zeitspannen ein Mass für die Reaktionszeit des Algorithmus dar.This hysteresis mechanism allows the use of noisy images for the detection algorithms. An edge caused by noise will not appear in the counter image, with appropriately parameterized hysteresis, and an edge will not disappear because of a single noisy image. In addition, the following relationships apply: The difference between the values low and low results in the number of consecutive frames over which a feature or event, such as an edge, must be present to be detected, and gives the difference between the upper and lower values the number of consecutive frames after which the event disappears as the counter value decreases. Since this number of individual images each corresponds to a specific period of time, these time periods represent a measure of the reaction time of the algorithm.

Die im Flussdiagramm dargestellte Analyse beginnt mit einer Kantendetektion 5 mit einem beispielsweise auf einem Sobel-Operator basierten Verfahren. Der Algorithmus analysiert die Helligkeit jedes Pixels jedes Einzelbilds und verfolgt die Geschichte des Szene mit Hilfe eines mit dem erwähnten Hysterese-Mechanismus aktualisierten Zählerbildes 6. Dabei werden für die Umgebung jedes Pixels zwei Werte berechnet:

  • Auf die Umgebung wird ein Sobel Kanten-Detektionsfilter angewendet, welches einen Wert qSobel liefert;
  • für die Pixel der Umgebung wird ein Durchschnittswert qsum berechnet.
The analysis presented in the flowchart begins with an edge detection 5 with a method based on a Sobel operator, for example. The algorithm analyzes the brightness of each pixel of each frame and tracks the history of the scene using one updated counter image 6 in the mentioned hysteresis mechanism. Two values are calculated for the environment of each pixel:
  • To the environment, a Sobel edge detection filter is applied, which provides a value q Sobel ;
  • for the pixels of the environment an average value q sum is calculated.

Die beiden Werte werden dann durch Verwendung zweier Skalierfaktoren (DiffFac und SumFac) verglichen: f DiffFac q Sobel < ? > f SumFac q Sum

Figure imgb0001
The two values are then compared using two scaling factors (DiffFac and SumFac): f DiffFac q Sobel < ? > f SumFac q Sum
Figure imgb0001

Wenn die linke Seite dieser Ungleichung grösser ist als die rechte, dann wird der Zähler 6 erhöht, wenn nicht, dann wird er erniedrigt. In beiden Fällen wird der Hysterese-Mechanismus angewendet.If the left side of this inequality is greater than the right one, then the counter 6 is incremented, if not then it is decremented. In both cases the hysteresis mechanism is used.

Parallel zur Kantendetektion 5 findet eine Bewegungsdetektion 7 statt, für die beispielsweise ein auf der normierten Kreuzkorrelation basierender Algorithmus verwendet wird, der grob wie folgt abläuft:Parallel to the edge detection 5, a motion detection 7 takes place, for which, for example, an algorithm based on the normalized cross-correlation is used, which roughly runs as follows:

Die normierte Kreuzkorrelation lautet: x y x y

Figure imgb0002
The normalized cross-correlation is: x y x y
Figure imgb0002

Man nimmt kleine Bereiche des Bildes, von beispielsweise 4 mal 4 Pixel, zur Zeit t und betrachtet diese Pixel als Vektor x . Der selbe Bereich des folgenden Bildes zur Zeit t+1 wird mit dem Vektor y bezeichnet. Wenn sich der Bereich überhaupt nicht verändert hat, dann ist x = y und der Quotient gemäss Formel 1 hat den Wert 1. Eine Änderung in dem genannten Bereich würde den Quotienten verändern, so dass der Grad dieser Veränderung als Mass für die Intensität der Änderung in dem Bereich verwendet werden kann.Take small areas of the image, for example 4 by 4 pixels, at time t and consider these pixels as vectors x , The same area of the following image at time t + 1 becomes with the vector y designated. If the area has not changed at all, then x = y and the quotient according to formula 1 has the value 1. A change in the said range would change the quotient, so that the degree of this change can be used as a measure of the intensity of the change in the range.

Zur Anpassung an den verwendeten Prozessor werden in Formel 1 Zähler und Nenner mit Faktoren multipliziert und die dadurch gebildeten Produkte werden analog zur normierten Kreuzkorrelation gemäss Formel 1 angeschrieben. Wenn der Zähler kleiner ist, dann hat eine Bewegung stattgefunden und der entsprechende Bereich wird markiert. Plötzliche Änderungen der Licht - oder Beleuchtungsverhältnisse beeinflussen beide Seiten der Ungleichung ungefähr gleich stark, so dass die beschriebene Bewegungsdetektion gegenüber einheitlichen Änderungen im Bild immun ist. Man erhält auf diese Weise eine Karte des aktuellen Bildes mit 4 mal 4 Pixel-Blöcken.In order to adapt to the processor used, numerator and denominator are multiplied by factors in formula 1, and the products formed thereby are written to analogously to the standardized cross-correlation according to formula 1. If the counter is smaller, then a movement has taken place and the corresponding area is marked. Sudden changes in the lighting or lighting conditions affect both sides of the inequality approximately equally, so that the described motion detection is immune to uniform changes in the image. This gives a map of the current image with 4 by 4 pixel blocks.

Der nächste Schritt ist die Berechnung der Blöcke, die bei der Analyse des Zählerbildes 6 der Kanten nicht berücksichtigt werden sollen. Es sollen alle Blöcke einer bestimmten Anzahl, beispielsweise von vier mal vier, Pixel im Bild detektiert werden, in denen Ereignisse stattgefunden haben, welche den Rauchdetektionsalgorithmus negativ beeinflussen. Diese Blöcke ergeben eine Bitmaske 8, die als Zählerbild von 1/16 der Grösse des vollständigen Bildes dargestellt wird. Die Grösse der Blöcke ist durch die bei der Bewegungsdetektion betrachteten Blöcke bestimmt, kann aber geändert werden.The next step is the calculation of the blocks that should not be taken into account in the analysis of the counter image 6 of the edges. It should all blocks of a certain number, for example, four times four, pixels are detected in the image in which events have taken place, which adversely affect the smoke detection algorithm. These blocks result in a bitmask 8 which is represented as a counter image of 1/16 the size of the complete image becomes. The size of the blocks is determined by the blocks considered in the motion detection, but can be changed.

Eine nächste Stufe ist die Korrektur von Sättigung des Video-Sensors. Eine derartige Sättigung kann verschiedene Probleme nach sich ziehen:

  • Die normierte Kreuzkorrelation funktioniert nur dann, wenn die Pixel des Bildes weder gesättigt noch vollständig schwarz sind;
  • Grenzen eines vollständig gesättigten Bildausschnitts erscheinen als Kanten. Eine plötzliche Änderung der Beleuchtung würde den Eindruck erwecken, als ob die betreffende Kante verschoben und anschliessend verschwinden würde.
  • In Bereichen von gesättigten Pixel gibt es keine Kanten. Ursprünglich erkannte Kanten verschwinden, wenn der betreffende Bereich in die Sättigung gelangt.
A next step is the correction of saturation of the video sensor. Such saturation can cause various problems:
  • The normalized cross-correlation works only if the pixels of the image are neither saturated nor completely black;
  • Limits of a fully saturated image section appear as edges. A sudden change in the lighting would give the impression that the edge in question had been displaced and then disappeared.
  • There are no edges in areas of saturated pixels. Originally detected edges disappear when the area in question saturates.

Aus diesem Grund wird für jeden Bereich in einer Sättigungsüberprüfung 9 durch Vergleich mit einem Grenzwert überprüft, ob eine bestimmte Anzahl von Pixel gesättigt ist. Wenn ja, dann wird der betreffende Block ebenfalls markiert. Um zu vermeiden, dass bewegte Objekte "Löcher" aufweisen, weil die Bewegungsdetektion nur Teile eines sich bewegenden Objekts detektiert, wird auf die Bitmaske 8 ein Ausdehnungsoperator 10 angewendet, welcher eventuelle Löcher füllt.For this reason, for each area in a saturation check 9, it is checked by comparison with a threshold value whether a certain number of pixels are saturated. If so, then the block in question is also marked. In order to avoid moving objects having "holes" because the motion detection detects only parts of a moving object, an expansion operator 10 is applied to the bit mask 8, filling any holes.

Die in den Stufen Bewegungsdetektion 7, Sättigungsüberprüfung 9 und Ausdehnungsoperator 10 berechnete Bitmaske 8 wird nun dazu verwendet, das Zählerbild für den Ausscheidungsprozess 11 (Ausscheidung von für die Rauchdetektion nicht zu berücksichtigenden Bildbereichen) zu aktualisieren, wobei wieder der schon beschriebene Hysterese-Mechanismus angewendet wird.The bit mask 8 calculated in the stages of motion detection 7, saturation check 9 and expansion operator 10 is now used to update the counter image for the elimination process 11 (excretion of image areas not to be considered for smoke detection), again using the hysteresis mechanism already described ,

An diesem Punkt des Algorithmus sind zwei Zählerbilder vorhanden, das aktualisierte Zählerbild 6 aller Pixel, wo Kanten detektiert worden sind, und das aktualisierten Zählerbild 11 aller Blöcke, die auszuscheiden sind. Das letztere Zählerbild wird nun zusammen mit einem Parameter dazu verwendet, das Zählerbild 6 so abzuändern, dass eine sichere Kantenabschätzung möglich wird, die von keinen die Rauchdetektion eventuell störenden Effekten beeinflusst ist. Jeder Block im Zählerbild 8 wird mit einem Schwellwert verglichen. Wenn der Wert des Blocks über diesem Schwellwert liegt, werden alle Pixel im Zählerbild 6 auf einen Minimalwert gesetzt. Aus dem Zählerbild 6 der Kanten werden nun zwei Grössen berechnet, welche die Anzahl der Kanten zu verschiedenen Zeitpunkten repräsentieren. Die erste Grösse ist die Anzahl der Pixel in den gegenwärtig vorhandenen Kanten oberhalb eines ersten Schwellwerts. Die zweite Grösse ist die Anzahl der Pixel oberhalb eines zweiten Schwellwerts, wobei dieser zweite Schwellwert grob als die Anzahl der Pixel in zu einem vergangenen Zeitpunkt vorhandenen Kanten interpretiert werden kann.At this point in the algorithm, there are two counter images, the updated counter image 6 of all the pixels where edges have been detected, and the updated counter image 11 of all the blocks that are to be eliminated. The latter counter image is now used together with a parameter to modify the counter image 6 in such a way that a reliable edge estimation is possible, which is not influenced by any disturbing effects of the smoke detection. Each block in counter image 8 is compared to a threshold. If the value of the block is above this threshold, all pixels in the counter image 6 are set to a minimum value. From the counter image 6 of the edges, two quantities are now calculated, which represent the number of edges at different times. The first size is the number of pixels in the currently existing edges above a first threshold. The second size is the number of pixels above a second threshold, and this second threshold may be interpreted roughly as the number of pixels in edges present at a time.

Zur Berechnung dieser beiden Grössen ist eine Funktion, l c = i , j c i , j > l

Figure imgb0003
definiert, welche die Anzahl der Pixel ci,j im Bild der Zähler mit einem Wert,oberhalb eines Schwellwerts l zählt. Mit dieser Funktion können nun die beiden Grössen berechnet werden, indem die Anzahl der gegenwärtig an einer Kante liegenden Pixel dadurch abgeschätzt wird, dass man 1 sehr nahe an den Maximalwert Wm legt, den die Pixel cij erreichen können. Zur Berücksichtigung von Rauschen im Bild A wird für 1 in der Regel der Wert (Wm - k) gewählt, wobei k eine Anzahl von Frames bedeutet und beispielsweise bei einer üblichen fixen Kamera in einem Tunnel etwa 250 beträgt.To calculate these two quantities is a function Σ l c = Σ i . j c i . j > l
Figure imgb0003
which counts the number of pixels c i, j in the image of the counters having a value above a threshold value l . With this function, the two magnitudes can now be calculated by estimating the number of pixels currently at an edge by placing 1 very close to the maximum value W m that the pixels c ij can reach. To account for noise in image A, the value ( W m -k ) is usually chosen for 1 , where k means a number of frames and, for example, is about 250 for a conventional fixed camera in a tunnel.

Der Subroutine für die Zählung der Pixel kann ein Parameter "Bildhöhe" beigefügt werden, welcher bewirkt, dass nur der obere Teil, beispielsweise die obere Hälfte, des Bildes für die Rauchdetektion berücksichtigt wird. Das ist sinnvoll, weil Rauch in der Regel nach oben steigt. Zusätzlich können mit einer Maske beliebige Bildausschnitte von der Analyse ausgeschlossen werden.The subroutine for counting the pixels may be accompanied by an "image height" parameter which causes only the upper part, for example the upper half, of the image to be considered for smoke detection. This makes sense because smoke usually rises. In addition, any image section can be excluded from the analysis with a mask.

Vor der Entscheidung, ob Rauch vorhanden ist, wird nun in einem Schritt 12 überprüft, ob genügend Kanten vorhanden sind, um diese Entscheidung treffen zu können. Diese Überprüfung ist notwendig für den Fall, wo beispielsweise ein grosser Lastwagen direkt vor der Kamera steht und das Bild keinerlei Kanten aufweist. Da es in diesem Fall unmöglich ist, ein Feuer zu detektieren, sollte ein Störungssignal ausgelöst werden, welches anzeigt, dass der Algorithmus unter den aktuellen Umständen nicht arbeiten kann. Um weitere Aktionen kurz zu verzögern und um unempfindlicher gegen Rauschen zu sein, wird ein Unterbrechungswert verwendet, der entwe-der Null oder grösser als Null sein kann. Im letzteren Fall war kurz zuvor detektiert worden, dass nicht genügend Kanten vorhanden sind.Before deciding whether smoke is present, it is now checked in a step 12 whether there are enough edges to make this decision. This check is necessary in the case where, for example, a large truck is directly in front of the camera and the image has no edges. Since it is impossible to detect a fire in this case, a fault signal should be triggered indicating that the algorithm can not operate under the current circumstances. To delay further actions and to be less sensitive to noise, an interrupt value is used, which may be either zero or greater than zero. In the latter case, it had been detected shortly before that there were not enough edges.

Wenn weniger als die einer Minimalzahl von Kanten entsprechende Anzahl von Pixeln vorhanden sind, dann können zwei Aktionen erfolgen: Wenn der Unterbrechungswert bereits ungleich Null ist, wird er vermindert, und falls er 1 erreicht, wird ein Störungssignal ausgelöst. Wenn der Unterbrechungswert hingegen Null ist, wird er auf einen Wert grösser als Null erhöht. Wenn genügend viele Kanten vorhanden sind, wird der Unterbrechungswert auf Null gestellt und die Verarbeitung läuft weiter.If there are fewer than the number of pixels corresponding to a minimum number of edges, then two actions can be taken: if the break value is already nonzero, it is reduced, and if it reaches one, a fault signal is triggered. On the other hand, if the break value is zero, it is increased to a value greater than zero. If there are enough edges, the break value is reset and processing continues.

Wenn eine für die zuverlässige Detektion von Rauch genügende Anzahl von Kanten vorhanden ist, erfolgt in einer Stufe 13 die Entscheidung über das Vorhandensein von Rauch anhand der durchschnittlichen Summe und Differenz der Kanten. Die Differenz wird mit einem Parameter multipliziert und mit der Summe verglichen. Ist die Summe grösser, liegt kein Rauch vor; andernfalls wird Alarm ausgelöst. In beiden Fällen ist die Verarbeitung des aktuellen Bildes beendet und es beginnt die Verarbeitung des nächsten.If there is a sufficient number of edges for the reliable detection of smoke, in a step 13 the decision is made on the presence of smoke based on the average sum and difference of the edges. The difference is multiplied by a parameter and compared to the sum. If the sum is greater, there is no smoke; otherwise an alarm will be triggered. In both cases, the processing of the current image is finished and processing of the next one begins.

Die Alarmauslösung kann beispielsweise dadurch erfolgen, dass in einer bemannten Alarm - oder Überwachungszentrale, an welche die betreffende Kamera angeschlossen ist, ein entsprechender Alarm angezeigt wird, welcher das Bedienungspersonal veranlasst, das von der betreffenden Kamera gelieferte Bild von Auge näher zu analysieren. Die genannte Zentrale kann beispielsweise eine Polizei- oder Feuerwehrzentrale in einem städtischen oder regionalen Stützpunkt oder auch die Kommandozentrale eines Strassentunnels sein.The alarm can be triggered, for example, by displaying a corresponding alarm in a manned alarm or monitoring center to which the relevant camera is connected, which causes the operator to analyze the image of the eye supplied by the relevant camera in more detail. The said center may be, for example, a police or fire station in an urban or regional base or the command center of a road tunnel.

Claims (19)

  1. Video smoke detection system having at least one facility (1) for recording video images and having a signal processing stage (2), in which the brightness of individual pixels or groups of pixels of the video images is determined, wherein the brightness of the pixels is determined by a process in which a value representative of the brightness is obtained, wherein the temporal course of the cited value is examined and wherein the brightness of the pixel is determined by an edge extraction process (5), in which an edge value (K i,j ) is assigned to each pixel, characterised in that a comparison of the edge value (K i,j ) with an average value (M i,j ) takes place for each pixel and that a subsequently so-called counter image (Z i,j , 6) which specifies the temporal behaviour of the edge value (K i,j ) relative to the average value (M i,j ) is obtained from this comparison.
  2. Smoke detection system according to claim 1, characterised in that the brightness of the pixels is determined by a frequency analysis, preferably a Wavelet analysis, in which an edge value (K i,j ) determined by means of high pass filtering is assigned to each pixel.
  3. Smoke detection system according to claim 1, characterised in that the counter image (Z i,j , 6), which specifies how often the brightness of the relevant pixel has been set on average above the cited average value (M i,j ) throughout a certain period of time, is updated with each comparison of the edge value (K i,j ) with the average value (M i,j ).
  4. Smoke detection system according to claim 3, characterised in that the counter image (Z i,j , 6) is compared with a threshold value (S z ) and when this threshold value (S z ) is exceeded, an initialisation value (∑ x 0) is added up to form a current value.
  5. Smoke detection system according to one of claims 1 to 4, characterised in that the recorded video images (A) are examined for the appearance of new edges, wherein the presence of new edges is concluded by means of a correlation calculation of temporally spaced counter images (Z i,j , 6) and that with the presence of new edges, the initialisation value (∑ x 0) is redefined.
  6. Smoke detection system according to claim 4 or 5, characterised in that a quotient is formed from the current value (∑ x ) and the initialisation value (∑x 0) and this is compared with a smoke threshold value (S R ) and that an alarm is triggered when the latter is exceeded.
  7. Smoke detection system according to claim 1, characterised in that in addition to the edge extraction process (5), an examination of the video images (A) for movements, subsequently referred to as movement detection (7), takes place.
  8. Smoke detection system according to claim 7, characterised in that both the determination of the edge values and also the movement detection (7) takes place with the aid of counter images (6, 11), which are continuously updated with a hysteresis algorithm.
  9. Smoke detection system according to claim 8, characterised in that the hysteresis algorithm comprises a minimal and a maximum value and two threshold values lying therebetween, wherein the numerical image, when counting upwards, jumps to the maximum value when the lower threshold value is not reached and when counting downwards, jumps to the minimum value when the upper threshold value is not reached.
  10. Smoke detection system according to one of claims 7 to 9, characterised in that an algorithm based on the standard cross correlation is used for the movement detection (7).
  11. Smoke detection system according to one of claims 7 to 10, characterised in that three data structures are used, a data field with information about the edges available in the respective image, a data field with a bit mask (8) for the purpose of cutting out image regions which are not to be considered for the smoke detection and the observed image itself, wherein the edges and the image are retained between consecutive iterations of the process and the bit mask (8) is reinitialised for each iteration.
  12. Smoke detection system according to claim 11, characterised in that the image and the edges are analysed pixel by pixel and the analysis of the bit mask (8) takes place for groups of several pixels subsequently referred to as blocks.
  13. Smoke detection system according to claim 11 or 12, characterised in that the data is processed on two paths, a first path for calculating the edges available in the image and for updating the data already existing about paths, and a second path for creating the bit mask (8), wherein this second path includes the movement detection (7).
  14. Smoke detection system according to claims 12 and 13, characterised in that the second path also includes an examination of the blocks for saturation of the facility for recording the video images, in which blocks are marked with a specific number of saturated pixels and are not take into consideration for the analysis of the counter image (6).
  15. Smoke detection system according to claim 14, characterised in that any image sections can be excluded from the analysis by means of a mask.
  16. Smoke detection system according to claim 15, characterised in that the bit mask (8) created with the aid of the movement detection (7) and the examination for saturation (9) is used here to update the counter image (11) in order to cut out image regions which are not to be considered for smoke detection (13).
  17. Smoke detection system according to claim 16, characterised in that the counter image of the edges (6) is modified with the aid of the counter image (11) for cutting out the image regions which are not to be considered for smoke detection (13) such that compared with smoke detection (13), the edge estimation is largely immune to potentially interfering influences.
  18. Smoke detection system according to claim 17, characterised in that prior to deciding on the presence of smoke, an examination (12) takes place to determine whether a number of edges which is adequate for such a decision are present.
  19. Method of video smoke detection having at least one facility (1) for recording video images and having a signal processing stage (2) for determining the brightness of the individual pixels or groups of pixels of video images, wherein the brightness of the pixels is determined by a process, in which a value representative of the brightness is obtained, wherein the temporal course of the cited value is examined and wherein the brightness of the pixels is determined by an edge extraction process (5), in which an edge value (K i,j ) is assigned to each pixel, characterised in that the edge value (K i,j ) is compared with an average value (M i,j ) for each pixel and that a subsequently so-called counter image (Z i,j , 6) is obtained from this comparison, which specifies the temporal behaviour of the edge value (K i,j ) relative to the average value (M i,j ).
EP01272590.9A 2000-12-28 2001-12-20 Video smoke detection system Expired - Lifetime EP1346330B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP01272590.9A EP1346330B1 (en) 2000-12-28 2001-12-20 Video smoke detection system

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP00128606A EP1220178A1 (en) 2000-12-28 2000-12-28 Video smoke detection system
EP00128606 2000-12-28
CH196901 2001-10-26
CH19692001 2001-10-26
EP01272590.9A EP1346330B1 (en) 2000-12-28 2001-12-20 Video smoke detection system
PCT/CH2001/000731 WO2002054364A2 (en) 2000-12-28 2001-12-20 Video smoke detection system

Publications (2)

Publication Number Publication Date
EP1346330A2 EP1346330A2 (en) 2003-09-24
EP1346330B1 true EP1346330B1 (en) 2013-05-15

Family

ID=25739035

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01272590.9A Expired - Lifetime EP1346330B1 (en) 2000-12-28 2001-12-20 Video smoke detection system

Country Status (5)

Country Link
EP (1) EP1346330B1 (en)
CN (1) CN1190759C (en)
AU (1) AU2002220440B2 (en)
HK (1) HK1054457B (en)
WO (1) WO2002054364A2 (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7256818B2 (en) 2002-05-20 2007-08-14 Simmonds Precision Products, Inc. Detecting fire using cameras
US7280696B2 (en) 2002-05-20 2007-10-09 Simmonds Precision Products, Inc. Video detection/verification system
US7245315B2 (en) 2002-05-20 2007-07-17 Simmonds Precision Products, Inc. Distinguishing between fire and non-fire conditions using cameras
ES2282550T3 (en) * 2003-07-11 2007-10-16 Siemens Schweiz Ag PROCEDURE AND DEVICE FOR THE DETECTION OF FLAMES.
EP1519314A1 (en) * 2003-09-25 2005-03-30 Siemens Building Technologies AG Method and analysis tool for checking functionality of video surveillance devices and measuring system for carrying out the method
AT414055B (en) * 2003-12-22 2006-08-15 Wagner Sicherheitssysteme Gmbh PROCESS AND DEVICE FOR FIRE DETECTION
GB2430102A (en) 2005-09-09 2007-03-14 Snell & Wilcox Ltd Picture loss detection by comparison of plural correlation measures
EP1762995B1 (en) * 2005-09-09 2008-05-07 Siemens Aktiengesellschaft Detection of smoke with a video camera
WO2008037293A1 (en) * 2006-09-25 2008-04-03 Siemens Schweiz Ag Detection of smoke with a video camera
US7859419B2 (en) 2006-12-12 2010-12-28 Industrial Technology Research Institute Smoke detecting method and device
EP2000952B1 (en) * 2007-05-31 2013-06-12 Industrial Technology Research Institute Smoke detecting method and device
CN101726357B (en) * 2008-10-14 2014-01-08 能美防灾株式会社 Smoke detecting apparatus
CN101373553B (en) * 2008-10-23 2010-06-16 浙江理工大学 Early-stage smog video detecting method capable of immunizing false alarm in dynamic scene
CN101751744B (en) * 2008-12-10 2011-08-31 中国科学院自动化研究所 Detection and early warning method of smoke
CN102023599B (en) * 2010-02-11 2012-08-29 北京瑞华赢科技发展有限公司 Tunnel monitoring system
CN102163360B (en) * 2011-03-24 2013-07-31 杭州海康威视系统技术有限公司 Tunnel smoke video detecting method and device
DE102016207712A1 (en) * 2016-05-04 2017-11-09 Robert Bosch Gmbh Detection device, method for detecting an event and computer program
CN106223774B (en) * 2016-08-27 2018-10-02 朱洋 A kind of intelligent window open system distributing object based on image detection smog
CN109493361B (en) * 2018-11-06 2021-08-06 中南大学 Fire smoke image segmentation method
CN114648852B (en) * 2022-05-24 2022-08-12 四川九通智路科技有限公司 Tunnel fire monitoring method and system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9822956D0 (en) * 1998-10-20 1998-12-16 Vsd Limited Smoke detection

Also Published As

Publication number Publication date
CN1406366A (en) 2003-03-26
EP1346330A2 (en) 2003-09-24
WO2002054364A2 (en) 2002-07-11
AU2002220440B2 (en) 2007-08-23
HK1054457B (en) 2005-09-30
WO2002054364A3 (en) 2002-12-19
HK1054457A1 (en) 2003-11-28
CN1190759C (en) 2005-02-23

Similar Documents

Publication Publication Date Title
EP1346330B1 (en) Video smoke detection system
EP3058556B1 (en) Method and device for the automated early detection of forest fires by means of the optical detection of clouds of smoke
DE3841387C2 (en)
DE60132622T2 (en) METHOD AND DEVICE FOR SELECTING THE BEST VIDEO IMAGE FOR TRANSMISSION TO A REMOTE SITE WITHIN A CLOSED TELEVISION SYSTEM FOR RESIDENTIAL AREA SAFETY MONITORING
DE3634628C2 (en)
EP0939387B1 (en) Room supervision device
EP0815539B1 (en) Method of detecting moving objects in chronologically successive images
AT502551A1 (en) METHOD AND PICTURE EVALUATION UNIT FOR SCENE ANALYSIS
DE112016006300T5 (en) Unattended object surveillance device, unattended object surveillance system and unattended surveillance system
DE19934171A1 (en) Ambient condition detector filtering apparatus for distributed fire alarm systems
DE4407528A1 (en) Image evaluation system for surveillance camera
EP1496483B1 (en) Method and apparatus for the detection of flames
DE60123214T2 (en) SMOKE AND FLAME DETECTION
DE10042935B4 (en) Method for monitoring a predetermined area and system
DE102007041333B4 (en) Non-contact counting system
EP0777864B1 (en) Image-evaluation system and process
DE10049366A1 (en) Security area monitoring method involves using two image detection units whose coverage areas overlap establishing monitored security area
WO2012110654A1 (en) Method for evaluating a plurality of time-offset pictures, device for evaluating pictures, and monitoring system
DE102019114451A1 (en) Activity areas in video content
DE102016222134A1 (en) Video analysis device for a monitoring device and method for generating a single image
DE19641000C2 (en) Method and arrangement for the automatic detection of the number of people in a security gate
WO2017190882A1 (en) Detection device, method for detection of an event, and computer program
WO2013083327A1 (en) Device and method for automatically detecting an event in sensor data
EP0514390B1 (en) Process for determining the instantaneous position and shape of moving objects and for displaying them as a binary image
EP0515890B1 (en) Terrain monitoring method

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030417

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

17Q First examination report despatched

Effective date: 20070219

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 50116282

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G08B0013194000

Ipc: G08B0013196000

RIC1 Information provided on ipc code assigned before grant

Ipc: G08B 13/196 20060101AFI20121018BHEP

Ipc: G08B 17/12 20060101ALI20121018BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: SIEMENS SCHWEIZ AG, CH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 612487

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130615

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 50116282

Country of ref document: DE

Effective date: 20130704

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20130515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130826

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130916

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130816

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20140218

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50116282

Country of ref document: DE

Effective date: 20140218

BERE Be: lapsed

Owner name: SIEMENS A.G.

Effective date: 20131231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131220

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131220

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131231

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20141208

Year of fee payment: 14

REG Reference to a national code

Ref country code: CH

Ref legal event code: PUE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 612487

Country of ref document: AT

Kind code of ref document: T

Effective date: 20131220

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20150220 AND 20150225

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20150220

Year of fee payment: 14

Ref country code: CH

Payment date: 20150305

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50116282

Country of ref document: DE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS BUILDING TECHNOLOGIES AG, ZUERICH, CH

Effective date: 20130515

Ref country code: DE

Ref legal event code: R081

Ref document number: 50116282

Country of ref document: DE

Owner name: SIEMENS SCHWEIZ AG, CH

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20150407

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131220

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20141217

Year of fee payment: 14

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130515

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Owner name: SIEMENS SCHWEIZ AG, CH

Effective date: 20150916

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50116282

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20151220

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151220

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160701

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231