EP1496483B1 - Verfahren und Einrichtung zur Detektion von Flammen - Google Patents
Verfahren und Einrichtung zur Detektion von Flammen Download PDFInfo
- Publication number
- EP1496483B1 EP1496483B1 EP03015846A EP03015846A EP1496483B1 EP 1496483 B1 EP1496483 B1 EP 1496483B1 EP 03015846 A EP03015846 A EP 03015846A EP 03015846 A EP03015846 A EP 03015846A EP 1496483 B1 EP1496483 B1 EP 1496483B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- images
- image
- roi
- flame
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title abstract description 6
- 238000009825 accumulation Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000010354 integration Effects 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000005855 radiation Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- VFBILHPIHUPBPZ-UHFFFAOYSA-N n-[[2-[4-(difluoromethoxy)-3-propan-2-yloxyphenyl]-1,3-oxazol-4-yl]methyl]-2-ethoxybenzamide Chemical compound CCOC1=CC=CC=C1C(=O)NCC1=COC(C=2C=C(OC(C)C)C(OC(F)F)=CC=2)=N1 VFBILHPIHUPBPZ-UHFFFAOYSA-N 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Definitions
- the present invention relates to a method and a device for detecting flames in a monitored area referred to below as a monitoring space by analyzing at least one parameter of a radiation occurring in the interstitial space.
- WO 02/093525 A1 discloses an apparatus and a method for the simultaneous processing of first and second image processing, especially for the detection of flames on the images.
- the apparatus includes an image sensor for creating video images, a frame grabber for receiving a first and a second image (frame), a processor for processing the captured images, and an output unit.
- Previously known devices as described for example in US Pat. Nos. 4,866,420 and 4,280,058, contain at least one sensor which evaluates the flicker frequency spectrum of the radiation, whereby signals located outside a specific frequency band are evaluated as interference signals.
- the typical flickering of the flames in a very low-frequency oscillation range as a feature for distinguishing between the radiation emitted by a flame and interfering radiation.
- the determination of the frequency band takes place in the simplest case by the sensor upstream filter or by this downstream frequency-selective amplifier, in both cases, a certain passband of, for example, 5 to 25 Hz is obtained.
- the invention will now be given a method for the detection of flames, which is characterized by a high noise immunity at low cost and.
- the search for regions of high light intensity and local flickering movement takes place with the aid of an accumulation matrix which is obtained from the weighting factor-weighted difference images of successive intensity images, wherein the weighting factor indicates how much the accumulation matrix is accumulated on the difference images.
- a first preferred embodiment of the method according to the invention is characterized in that the video images are generated at a specific frequency and intensity images are obtained therefrom.
- a second preferred embodiment of the method according to the invention characterized in that the coordinates of the brightest pixels are searched with the aid of the accumulation matrix.
- a third preferred embodiment is characterized in that an interesting image area containing the brightest or the brightest pixels and reduced in relation to the original image area is defined and analyzed for the presence of a flame.
- the reference numeral 1 denotes a video camera which has video output via an output to an evaluation stage 2 supplies, wherein the evaluation stage 2 can be integrated into the camera 1 or connected to this.
- the evaluation level 2 can be provided at the site of the camera 1 or in the immediate vicinity of this or it can also be spatially distant from the camera 1, wherein in the latter case between camera 1 and evaluation level 2 is a communication link.
- the evaluation stage 2 contains a processor (not shown), which has an algorithm for the localization of flames found in the images of the camera 1 and the subsequent analysis of the corresponding image detail.
- a processor not shown
- the extraction of intensity and / or chrominance images X ij (t) (hereinafter referred to as intensity images) from the video sequences supplied by the camera 1 takes place in a first process of the algorithm designated image acquisition; i and j are the coordinates of each pixel.
- the frequency of these pictures is at least 15 frames per second, the picture size for example 352 times 288 pixels. Intensity images are obtained because it can be assumed that a flame is a place of high light intensity and also has a characteristic hue.
- a difference image is formed by comparing successive images to find out such a movement; since dark objects fall out due to the definition of the weighting factor w ij (t), moving, dark objects that can not be flames are filtered out when forming the difference image. So you are looking for areas of high light intensity and local flickering and that means that, for example, a stationary light source that does not flicker would not be interpreted as a flame and also not a transversely across the interstitial space moving lamp.
- a ij (t) ⁇ ⁇ A ij ⁇ t - 1 + 1 - ⁇ ⁇ Q ij t
- ⁇ is a constant between 0 and 1, which indicates how much the difference image Q ij (t) flows into the accumulation matrix A ij (t) .
- the accumulation matrix is formed primarily to obtain a smoothed image with no noise and short-term changes.
- This determination thus provides the coordinates of the pixels with local flickering and maximum brightness. It will usually be a single pixel, but of course also several brightest pixels can be determined, what you can use a multi-channel selection and preferably specifies minimum distances between the individual pixels.
- a significant data reduction first takes place in that the analysis does not take place in the entire original image of 352 by 288 pixels but in the image region ROI of interest having a reduced size of, for example, 32 by 32 pixels. This results in a reduction to one hundredth. Of course, this reduction can also be lower, for example, to a fiftieth, or even much stronger.
- the mean value of the frequency is obtained, for example, by counting the pixels of the average brightness L (t) .
- the frequency caused by the characteristic flickering of a flame is an important quantity for the detection of a flame because it is within a defined narrow range of usually between 1 Hz and 10 Hz.
- the probability that a flame is present is calculated from the properties obtained during extraction 6. In this case, for example, it is examined for each of the above properties whether the mean value is above or below a threshold value and the probability is set equal to one or equal to zero. Then, from the probabilities of all n properties, a total probability is formed.
- N F is the sum of w i over all i.
- the described device has the advantage that can be used in many applications on already installed video cameras and installation of special flame sensors is not required, which undoubtedly means a cost reduction.
- a further cost reduction results from the restriction of the evaluation to the possibly containing a flame image sections, which allows a significant reduction of computer power. It can also be assumed that the evaluation of these image sections is sufficiently robust to interference.
Description
- Die vorliegende Erfindung betrifft ein Verfahren und eine Einrichtung zur Detektion von Flammen in einem nachfolgend als Überwachungsraum bezeichneten überwachten Gebiet durch Analyse mindestens eines Parameters einer im Überwachungsraum auftretenden Strahlung.
- Die WO 02/093525 A1 offenbart eine Vorrichtung und ein Verfahren zum gleichzeitigen Verarbeiten einer ersten und zweiten Bildverarbeitung, speziell zur Detektion von Flammen auf den Bildern. Die Vorrichtung beinhaltet einen Bildsensor zum Erstellen von Videobildern, eine Bildfangschaltung zum Empfangen von einem ersten und einem zweiten Bild (Frame), einen Prozessor zum Verarbeiten der aufgenommenen Bilder und eine Ausgabeeinheit.
- Bisher bekannte Einrichtungen, wie sie beispielsweise in der US-Patenten Nr. 4 866 420 und Nr. 4 280 058 beschrieben sind, enthalten mindestens einen Sensor, welcher das Flackerfrequenzspektrum der Strahlung auswertet, wobei ausserhalb eines bestimmten Frequenzbandes liegende Signale als Störsignale bewertet werden. Man benutzt also das typische Flackern der Flammen in einem sehr niederfrequenten Schwingungsbereich als Merkmal zur Unterscheidung zwischen der von einer Flamme ausgesandten Strahlung und Störstrahlung. Die Festlegung des Frequenzbandes erfolgt im einfachsten Fall durch dem Sensor vorgeschaltete Filter oder durch diesem nach-geschaltete frequenzselektive Verstärker, wobei in beiden Fällen ein bestimmter Durchlassbereich von beispielsweise 5 bis 25 Hz erhalten wird.
- Diese bekannten Flammenmelder haben sich durchaus bewährt, sie stellen aber in einer Brandmeldeanlage einen nicht unbeträchtlichen Kostenfaktor dar. Abgesehen davon, können auch bei optimaler Abstimmung des Frequenzbandes auf das Flackern von Flammen Störungen und Fehlanzeigen nicht ausgeschlossen werden, weil es immer wieder vorkommt, dass zufällige Intensitätsänderungen der Umgebungsstrahlung im Durchlassbereich liegen. Solche Intensitätsänderungen können beispielsweise durch Abschattungen oder Reflexe von vibrierenden oder sich langsam bewegenden Gegenständen, durch Reflexe des Sonnenlichts an Wasseroberflächen oder durch flackernde oder schwankende Lichtquellen verursacht sein.
- Durch die Erfindung soll nun ein Verfahren zur Detektion von Flammen angegeben werden, welches sich durch eine hohe Störsicherheit bei geringen Kosten und auszeichnet.
- Diese Aufgabe wird gemäss der Ansprüche 1 und 10 gelöst.
- Nach dem erfindungsgemässen Verfahren erfolgt die Suche nach Gebieten von hoher Lichtintensität und lokaler Flackerbewegung mit Hilfe einer Akkumulationsmatrix, welche aus den mit einem Gewichtungsfaktor gewichteten Differenzbildern aufeinanderfolgender Intensitätsbilder gewonnen wird, wobei der Gewichtungsfaktor angibt, wie stark die Akkumulationsmatrix an die Differenzbilder akkumuliert wird.
- Eine erste bevorzugte Ausführungsform des erfindungsgemässen Verfahrens ist dadurch gekennzeichnet, dass die Videobilder mit einer bestimmten Frequenz erzeugt und daraus Intensitätsbilder gewonnen werden.
- Eine zweite bevorzugte Ausführungsform des erfindungsgemässen Verfahrens dadurch gekennzeichnet, dass mit Hilfe der Akkumulationsmatrix die Koordinaten der hellsten Pixel gesucht werden.
- Eine dritte bevorzugte Ausführungsform ist dadurch gekennzeichnet, dass ein das hellste oder die hellsten Pixel enthaltender und gegenüber dem ursprünglichen Bildbereich reduzierter, interessierender Bildbereich definiert und auf das Vorhandensein einer Flamme analysiert wird.
- Weitere bevorzugte Ausführungsformen des erfindungsgemässen Verfahrens ergeben sich aus den abhängigen Ansprüchen 7 bis 9.
- Bevorzugte Ausführungsformen der erfindungsgemässen Einrichtung sind in den abhängigen Ansprüchen 11 bis 15 beansprucht.
- Mit der immer stärkeren Verbreitung von CCTV-Systemen und -Anlagen kann man davon ausgehen, dass in vielen Fällen in einem Überwachungsraum eine Videokamera vorhanden sein wird, so für die Flammendetektion nicht ein eigener Sensor installiert werden muss, was zweifellos eine Kostenreduktion bedeutet. Eine weitere Kostenreduktion ergibt sich durch die Beschränkung der Auswertung auf die eventuell eine Flamme enthaltenden Bildausschnitte, was eine deutliche Reduktion der Rechnerleistung ermöglicht. Man kann auch davon ausgehen, dass die Auswertung dieser Bildausschnitte gegenüber Störungen ausreichend robust ist.
- Im Folgenden wird die Erfindung anhand eines eine erfindungsgemässe Einrichtung zur Detektion von Flammen zeigenden Blockschemas beispielsweise näher erläutert. Mit dem Bezugszeichen 1 ist eine Videokamera bezeichnet, welche über einen Ausgang Videosequenzen an eine Auswertestufe 2 liefert, wobei die Auswertestufe 2 in die Kamera 1 integriert oder mit dieser verbunden sein kann. Die Auswertestufe 2 kann am Aufstellungsort der Kamera 1 oder in unmittelbarer Nähe zu diesem oder sie kann auch räumlich entfernt von der Kamera 1 vorgesehen sein, wobei im letzteren Fall zwischen Kamera 1 und Auswertestufe 2 eine Kommunikationsverbindung besteht.
- Die Auswertestufe 2 enthält einen Prozessor (nicht dargestellt), welcher einen Algorithmus für die Lokalisierung von in den Bildern der Kamera 1 gefundenen Flammen und die nachfolgende Analyse der entsprechenden Bildausschnitte aufweist. Darstellungsgemäss erfolgt in einem mit Bildgewinnung bezeichneten ersten Prozess des Algorithmus die Gewinnung von Intensitäts- und/oder Chrominanzbildern Xij(t) (nachfolgend als Intensitätsbilder bezeichnet) aus den von der Kamera 1 gelieferten Videosequenzen; i und j sind die Koordinaten der einzelnen Pixel. Die Frequenz dieser Bilder beträgt mindestens 15 Bilder pro Sekunde, die Bildgrösse beispielsweise 352 mal 288 Pixel. Intensitätsbilder werden deswegen gewonnen, weil man davon ausgehen kann, dass eine Flamme einen Ort hoher Lichtintensität darstellt und ausserdem eine charakteristische Farbtönung aufweist.
- In einem mit Vorverarbeitung 4 bezeichneten nächsten Prozess wird nach Flammen in den Intensitätsbildern Xij(t) gesucht und es erfolgt eine Lokalisierung der gefundenen Flammen in entsprechenden Bildausschnitten. Diese Lokalisierung erfolgt mit Hilfe einer so genannten Akkumulationsmatrix, die auf folgende Weise gebildet wird:
- In einem ersten Schritt erfolgt die Bestimmung des Maximalwerts max [Xij(t)] und des Mittelwerts mean [Xij(t)] der Intensität und daraus wird eine Helligkeitschwelle q(t) bestimmt, wobei gilt:
- Mit Hilfe dieser beiden Bedingungen wird ein die Flammeneigenschaften berücksichtigender Gewichtungsfaktor wij(t) bestimmt:
- Das bedeutet, dass alle Pixel mit einer Intensität unterhalb des Werts max [Xij(t)] - q(t), also dunkle Objekte, heraus gefiltert und nicht weiter berücksichtigt werden. Wie sich gleich zeigen wird, sind es dunkle, bewegte Objekte, die heraus gefiltert werden.
- Da man davon ausgehen kann, dass eine Flamme als Bewegung von hoher Lichtintensität erkennbar ist, bildet man durch Vergleich aufeinander folgender Bilder ein Differenzbild, um eine solche Bewegung herauszufinden; da dunkle Objekte aufgrund der Definition des Gewichtungsfaktors wij(t) heraus fallen, werden also bei der Bildung des Differenzbildes bewegte, dunkle Objekte, die keine Flammen sein können, heraus gefiltert. Man sucht also nach Gebieten hoher Lichtintensität und lokaler Flackerbewegung und das bedeutet, dass beispielsweise eine stationäre Lichtquelle, die nicht flackert, nicht als Flamme interpretiert würde und ebenso auch nicht eine quer durch den Überwachungsraum bewegte Lampe.
-
-
- α ist eine Konstante zwischen 0 und 1, die angibt, wie stark das Differenzbild Qij(t) in die Akkumulationsmatrix Aij(t) einfliesst. Für α = 0 wird die Akkumulationsmatrix gleich dem Differenzbild und für α = 1 hat das Differenzbild keinen Einfluss mehr, weil Aij(t) gleich Aij(t-1) ist. Die Akkumulationsmatrix wird in erster Linie deswegen gebildet, um ein geglättetes Bild ohne Rauschen und kurzfristige Änderungen zu erhalten.
-
- Diese Bestimmung liefert also die Koordinaten der Pixel mit lokaler Flackerbewegung und maximaler Helligkeit. Es wird sich in der Regel um eine einziges Pixel handeln, wobei aber selbstverständlich auch mehrere hellste Pixel bestimmt werden können, wozu man sich einer Mehrkanal-Selektion bedienen kann und vorzugsweise Mindestabstände zwischen den einzelnen Pixeln festlegt.
- In dem mit Analyse 5 bezeichneten nächsten Prozess erfolgt zunächst eine deutliche Datenreduktion, indem die Analyse nicht im gesamten ursprünglichen Bild von 352 mal 288 Pixel erfolgt, sondern im interessierenden Bildbereich ROI einer reduzierten Grösse von beispielsweise 32 mal 32 Pixel. Das ergibt eine Reduktion auf ein Hunderstel. Diese Reduktion kann selbstverständlich auch geringer sein, beispielsweise auf ein Fünfzigstel, oder auch wesentlich stärker.
- Dann werden für jeden interessierenden Bildbereich die folgenden Bildinformationen bestimmt:
- Mittlere Helligkeit L(t) des interessierenden Bildbereichs X ROI (t):
- Chrominanz C(t) des interessierenden Bildbereichs X ROI (t):
- C(t) = [Anzahl der Cij(t)|ROI] ∈ "Feuer-Chroma-Sektor"/R(t), wobei Cij(t) das Chrominanzpaar (Vij, Uij) des Bildes Xij(t) zur Zeit t bezeichnet. YUV ist eine bekannte Darstellung des Farbraums, mit zwei Farbkomponenten U und V auf der x- bzw. der y-Achse und der Intensität Y auf der z-Achse, wobei die Länge des Vektors vom Nullpunkt zu einem Pixel in der UV-Ebene die Farbsättigung dieses Pixels angibt. Der Feuer-Chroma-Sektor R(t) ist ein Sektor des Farbraums in der UV-Ebene, in dem für eine Flamme typischen Farbbereich, der insbesondere die Farbe rot enthält.
- Anzahl der aktiven Pixel R(t) der Akkumulationsmatrix A ROI(t):
- Sättigungsgrad S(t) des interessierenden Bildbereichs X ROI (t):
- Damit das Ergebnis stabil bleibt, erfolgt anschliessend in einem mit Extraktion 6 bezeichneten Prozess eine Zeitintegration der bei der Analyse 5 bestimmten Bildinformationen. Wenn die Integration beispielsweise über 1 Sekunde durchgeführt wird, erstreckt sie sich im PAL-Format über 25 Bilder. Man integriert also die mittlere Helligkeit, die Chrominanz, die aktiven Pixel und den Sättigungsgrad über die Zeit t von t0 bis tn und erhält die folgenden Eigenschaften:
- Mittelwert Helligkeit: FL = L
- Mittelwert Frequenz: FF = F
- Mittelwert Amplitude: FM = M
- Mittelwert Feuer-Chroma-Pixel: FC = C
- Mittelwert aktive Pixel: FR = R
- Mittelwert Sättigung: FS = S
- Den Mittelwert der Frequenz erhält man beispielsweise durch Zählen der Pixel der mittleren Helligkeit L(t). Die Frequenz, die durch das charakteristische Flackern einer Flamme verursacht wird, ist eine für die Detektion einer Flamme wichtige Grösse, weil sie in einem definierten engen Bereich von in der Regel zwischen 1 Hz und 10 Hz liegt.
- Im anschliessenden mit Mustererkennung 7 bezeichneten Prozess wird aus den bei der Extraktion 6 gewonnenen Eigenschaften die Wahrscheinlichkeit berechnet, dass eine Flamme vorliegt. Dabei wird beispielsweise für jede der obigen Eigenschaften untersucht, ob der Mittelwert oberhalb oder unterhalb eines Schwellwertes liegt und die Wahrscheinlichkeit entsprechend gleich eins bzw. gleich null gesetzt. Dann wird aus den Wahrscheinlichkeiten aller n Eigenschaften eine Gesamtwahrscheinlichkeit gebildet.
-
- In dem mit Entscheidung 8 bezeichneten Prozess erfolgt anschliessend die Entscheidung, ob Alarm ausgelöst wird. Dieser Prozess enthält eine Integration, bei der die Gesamtwahrscheinlichkeit Π(t) über aufeinanderfolgende Bilder aufintegriert wird. Die Integration beginnt bei null und zählt für jedes Π(t) > κ (κ ist eine Schwelle) ein Inkrement dazu und zieht für jedes Π(t) < κ ein Inkrement ab. Wenn I(t) den Wert des Integrals bezeichnet, gilt:
- wenn Π(t) > κ
- dann I(t) = I(t-1) + σ+ (gesättigt zu S+, wenn I(t) > S+ in allen anderen Fällen gilt I(t) = I(t-1) - σ- (gesättigt zu S- (üblicherweise 0), wenn I(t) < S.
- Mit Hilfe des Integrals I(t) erfolgt nun die Entscheidung, ob ein Alarm ausgelöst wird:
- Wenn I(t) > β (β ist eine Schwelle), wird Alarm ausgelöst, in allen anderen Fällen nicht.
- Die beschriebene Einrichtung hat den Vorteil, dass in vielen Anwendungsfällen auf bereits installierte Videokameras zurückgegriffen werden kann und eine Installation spezieller Flammensensoren nicht erforderlich ist, was zweifellos eine Kostenreduktion bedeutet. Eine weitere Kostenreduktion ergibt sich durch die Beschränkung der Auswertung auf die eventuell eine Flamme enthaltenden Bildausschnitte, was eine deutliche Reduktion der Rechnerleistung ermöglicht. Man kann auch davon ausgehen, dass die Auswertung dieser Bildausschnitte gegenüber Störungen ausreichend robust ist.
Claims (15)
- Verfahren zur Detektion von Flammen in einem nachfolgend als Überwachungsraum bezeichneten überwachten Gebiet durch Analyse mindestens eines Parameters einer im Überwachungsraum auftretenden Strahlung, wobei ein Videobild des Überwachungsraums erzeugt und in diesem Videobild nach Gebieten von hoher Lichtintensität und lokaler Flackerbewegung gesucht wird, wobei in einem ersten Schritt eine Lokalisierung dieser Gebiete und anschließend eine Analyse der betreffenden Bildausschnitte auf das Vorhandensein einer Flamme erfolgt, dadurch gekennzeichnet, dass nach Gebieten von hoher Lichtintensität und lokaler Flackerbewegung mit Hilfe einer Akkumulationsmatrix [Aij(t)] gesucht wird, welche aus den mit einem Gewichtungsfaktor gewichteten Differenzbildern aufeinander folgender Intensitätsbilder [Xij (t)] gewonnen wird, wobei der Gewichtungsfaktor angibt, wie stark die Differenzbilder in die Akkumulationsmatrix [Aij(t)] einfließen.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Videobilder mit einer bestimmten Frequenz erzeugt und daraus Intensitätsbilder [Xij(t)] gewonnen werden.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Bildung der Differenzbilder und damit der Akkumulationsmatrix [Aij(t)] alle Pixel mit einer unterhalb einer vorgebbaren Schwelle liegenden Helligkeit und somit alle bewegten, dunklen Objekte heraus gefiltert werden.
- Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass mit Hilfe der Akkumulationsmatrix [Aij(t)] die Koordinaten der hellsten Pixel gesucht werden.
- Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass ein das hellste oder die hellsten Pixel enthaltender und gegenüber dem ursprünglichen Bild reduzierter, interessierender Bildbereich [ROI] definiert und auf das Vorhandensein einer Flamme analysiert wird.
- Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Grösse des interessierenden Bildbereichs (ROI) höchstens ein Fünfzigstel der Grösse des ursprünglichen Bildes beträgt.
- Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass im interessierenden Bildbereich [ROI] die Bildinformationen Helligkeit [L(t)] Chrominanz [C(t)], Anzahl der aktiven Pixel [R(t)] oberhalb einer bestimmten Intensitätsschwelle, und die Sättigung [S(t)] bestimmt werden.
- Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die genannten Bildinformationen über eine bestimmte Zeit und damit über mehrere Bilder integriert werden und ihr Mittelwert bestimmt wird, dass bei der Integration als zusätzliche Parameter der Mittelwert der Frequenz [F] und der Mittelwert der Amplitude [M] bestimmt werden, und dass für jeden dieser Mittelwerte die Wahrscheinlichkeit für das Vorhandensein einer Flamme berechnet wird.
- Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass aus den Wahrscheinlichkeiten der Mittelwerte eine Gesamtwahrscheinlichkeit für das Vorhandensein einer Flamme im reduzierten Bildbereich [ROI] berechnet wird, dass diese Gesamtwahrscheinlichkeit über mehrere Bilder integriert wird, und dass bei Überschreiten einer Schwelle durch den integrierten Wert Alarm ausgelöst wird.
- Einrichtung zur Detektion von Flammen in einem nachfolgend als Überwachungsraum bezeichneten überwachten Gebiet durch Analyse mindestens eines Parameters einer im Überwachungsraum auftretenden Strahlung, gekennzeichnet durch eine Videokamera [1] mit einer Auswertestufe [2] für die von der Kamera [1] gelieferten Bilder, wobei die Auswertestufe [2] einen Prozessor mit einem Algorithmus für die Lokalisierung von Bereichen von hoher Lichtintensität und lokaler Flackerbewegung in den Bildern der Kamera [1] und die nachfolgende Analyse der entsprechenden Bildausschnitte auf das Vorhandensein einer Flamme aufweist und wobei der Algorithmus einen im Folgenden als Vorverarbeitung [4] bezeichneten Prozess enthält, bei dem für die Suche nach Gebieten von hoher Lichtintensität und lokaler Flackerbewegung eine Akkumulationsmatrix [Aij(t)] bestimmt wird, welche aus den mit einem Gewichtungsfaktor gewichteten Differenzbildern aufeinanderfolgender Intensitätsbilder [Xij(t)] gewonnen wird, wobei der Gewichtungsfaktor angibt, wie stark die Differenzbilder in die Akkumulationsmatrix [Aij(t)] einfließen.
- Einrichtung nach Anspruch 11, dadurch gekennzeichnet, dass der Algorithmus einen im Folgenden als Bildgewinnung [3] bezeichneten Prozess enthält, bei welchem aus den mit einer bestimmten Frequenz erzeugten Videobildern Intensitätsbilder [Xij(t)] gewonnen werden.
- Einrichtung nach Anspruch 10, dadurch gekennzeichnet, dass bei der Vorverarbeitung [4] mit Hilfe der Akkumulationsmatrix [Aij(t)] eine Bestimmung der Koordinaten der hellsten Pixel und die Festlegung eines das hellste oder die hellsten Pixel enthaltenden, gegenüber dem ursprünglichen Bild reduzierten, interessierenden Bildbereichs (ROI) erfolgt.
- Einrichtung nach Anspruch 12, dadurch gekennzeichnet, dass der Algorithmus einen im Folgenden als Analyse [5] bezeichneten Prozess für die Analyse des interessierenden Bildbereichs [ROI] enthält, bei welcher eine Bestimmung der Bildinformationen Helligkeit [L(t)], Chrominanz [C(t)], Anzahl der aktiven Pixel [R(t)] oberhalb einer bestimmten Intensitätsschwelle, und der Sättigung [S(t)] erfolgt.
- Einrichtung nach Anspruch 13, dadurch gekennzeichnet, dass der Algorithmus einen im Folgenden als Extraktion [6] bezeichneten Prozess enthält, bei welchem eine Integration der genannten Bildinformationen über eine bestimmte Zeit und damit über mehrere Bilder und eine Bestimmung der Mittelwerte der Bildinformationen erfolgt, dass bei der Integration als zusätzliche Parameter der Mittelwert der Frequenz [F] und der Mittelwert der Amplitude [M] bestimmt werden, und dass für jeden dieser Mittelwerte eine Berechnung der Wahrscheinlichkeit für das Vorhandensein einer Flamme erfolgt.
- Einrichtung nach Anspruch 14, dadurch gekennzeichnet, dass der Algorithmus einen Prozess Mustererkennung [7] und einen Prozess Entscheidung [8] enthält, bei denen aus den Wahrscheinlichkeiten der Mittelwerte die Berechnung einer Gesamtwahrscheinlichkeit für das Vorhandensein einer Flamme im reduzierten Bildbereich [ROI] und eine Integration dieser Gesamtwahrscheinlichkeit über mehrere Bilder und bei Überschreiten einer Schwelle durch den integrierten Wert eine Alarmauslösung erfolgt.
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03015846A EP1496483B1 (de) | 2003-07-11 | 2003-07-11 | Verfahren und Einrichtung zur Detektion von Flammen |
DE50306852T DE50306852D1 (de) | 2003-07-11 | 2003-07-11 | Verfahren und Einrichtung zur Detektion von Flammen |
AT03015846T ATE357714T1 (de) | 2003-07-11 | 2003-07-11 | Verfahren und einrichtung zur detektion von flammen |
ES03015846T ES2282550T3 (es) | 2003-07-11 | 2003-07-11 | Procedimiento y dispositivo para la deteccion de llamas. |
AU2004202851A AU2004202851B2 (en) | 2003-07-11 | 2004-06-25 | Method and Device for Detecting Flames |
KR1020040050227A KR20050009135A (ko) | 2003-07-11 | 2004-06-30 | 불꽃 검출 방법 및 장치 |
PL04369016A PL369016A1 (en) | 2003-07-11 | 2004-07-09 | Method and device designed for flame detection |
NO20042948A NO330182B1 (no) | 2003-07-11 | 2004-07-09 | Fremgangsmate og anordning for deteksjon av flammer |
CN200410063587A CN100595583C (zh) | 2003-07-11 | 2004-07-12 | 检测火焰的方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03015846A EP1496483B1 (de) | 2003-07-11 | 2003-07-11 | Verfahren und Einrichtung zur Detektion von Flammen |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1496483A1 EP1496483A1 (de) | 2005-01-12 |
EP1496483B1 true EP1496483B1 (de) | 2007-03-21 |
Family
ID=33442787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP03015846A Expired - Lifetime EP1496483B1 (de) | 2003-07-11 | 2003-07-11 | Verfahren und Einrichtung zur Detektion von Flammen |
Country Status (9)
Country | Link |
---|---|
EP (1) | EP1496483B1 (de) |
KR (1) | KR20050009135A (de) |
CN (1) | CN100595583C (de) |
AT (1) | ATE357714T1 (de) |
AU (1) | AU2004202851B2 (de) |
DE (1) | DE50306852D1 (de) |
ES (1) | ES2282550T3 (de) |
NO (1) | NO330182B1 (de) |
PL (1) | PL369016A1 (de) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060041555A (ko) * | 2004-11-09 | 2006-05-12 | 한국서부발전 주식회사 | 화력발전소 화재발생 감지 및 경보 시스템 |
US7289032B2 (en) * | 2005-02-24 | 2007-10-30 | Alstom Technology Ltd | Intelligent flame scanner |
KR100680114B1 (ko) * | 2005-05-12 | 2007-02-07 | (주)에이치엠씨 | 색영상을 이용한 조명과 주변환경에 강건한 화재감지장치와그 방법 및 그 기록매체 |
US7868772B2 (en) | 2006-12-12 | 2011-01-11 | Industrial Technology Research Institute | Flame detecting method and device |
CN101316371B (zh) * | 2007-05-31 | 2012-11-28 | 财团法人工业技术研究院 | 火焰侦测方法及装置 |
EP2000998B1 (de) * | 2007-05-31 | 2013-01-02 | Industrial Technology Research Institute | Flammenerkennungsverfahren und -vorrichtung |
DE112009003247A5 (de) * | 2008-11-03 | 2012-05-03 | IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH | Verfahren und vorrichtung zur nächtlichen erkennung von bränden und unterscheidung von künstlichen lichtquellen |
CN101441712B (zh) * | 2008-12-25 | 2013-03-27 | 北京中星微电子有限公司 | 一种火焰的视频识别方法和一种火灾监控方法及其系统 |
CN101847304B (zh) * | 2009-12-04 | 2012-05-23 | 四川川大智胜软件股份有限公司 | 基于图像的大空间智能消防灭火系统火焰寻的方法 |
CN102645246B (zh) * | 2011-02-17 | 2014-04-23 | 中国石油化工股份有限公司 | 基于火炬视频实时测量火炬排放系统火炬流量的方法 |
CN103776056B (zh) * | 2012-10-25 | 2016-04-20 | 宁波立诚电子制造有限公司 | 一种打火机检测方法及其装置 |
CN107064113B (zh) * | 2017-06-13 | 2020-02-11 | 华电青岛发电有限公司 | 一种利用光纤实现喷燃器煤粉燃烧质量检测系统及方法 |
CN111141504B (zh) * | 2019-12-25 | 2022-04-15 | Oppo(重庆)智能科技有限公司 | 一种断火检测方法、装置及计算机可读存储介质 |
CN111583610B (zh) * | 2020-04-30 | 2021-07-16 | 深圳市前海用电物联网科技有限公司 | 一种因果模型的消防联动控制方法及系统 |
CN113436406B (zh) * | 2021-08-25 | 2021-11-12 | 广州乐盈信息科技股份有限公司 | 一种声光报警系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9216811D0 (en) * | 1992-08-07 | 1992-09-23 | Graviner Ltd Kidde | Flame detection methods and apparatus |
DE60123214T2 (de) * | 2000-02-07 | 2007-09-20 | Vsd Ltd., Guildford | Rauch- und flammendetektion |
EP1346330B1 (de) * | 2000-12-28 | 2013-05-15 | Siemens Aktiengesellschaft | Video-rauchdetektionssystem |
RU2003133287A (ru) * | 2001-05-11 | 2005-05-27 | Детектор Электроникс Корпорэйшн (Us) | Способ и устройство обнаружения пламени путем формирования изображения пламени |
-
2003
- 2003-07-11 AT AT03015846T patent/ATE357714T1/de not_active IP Right Cessation
- 2003-07-11 ES ES03015846T patent/ES2282550T3/es not_active Expired - Lifetime
- 2003-07-11 DE DE50306852T patent/DE50306852D1/de not_active Expired - Lifetime
- 2003-07-11 EP EP03015846A patent/EP1496483B1/de not_active Expired - Lifetime
-
2004
- 2004-06-25 AU AU2004202851A patent/AU2004202851B2/en not_active Ceased
- 2004-06-30 KR KR1020040050227A patent/KR20050009135A/ko not_active Application Discontinuation
- 2004-07-09 NO NO20042948A patent/NO330182B1/no not_active IP Right Cessation
- 2004-07-09 PL PL04369016A patent/PL369016A1/xx not_active Application Discontinuation
- 2004-07-12 CN CN200410063587A patent/CN100595583C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
ES2282550T3 (es) | 2007-10-16 |
AU2004202851A1 (en) | 2005-01-27 |
ATE357714T1 (de) | 2007-04-15 |
KR20050009135A (ko) | 2005-01-24 |
NO20042948L (no) | 2005-01-12 |
CN1576839A (zh) | 2005-02-09 |
PL369016A1 (en) | 2005-01-24 |
DE50306852D1 (de) | 2007-05-03 |
NO20042948D0 (no) | 2004-07-09 |
AU2004202851B2 (en) | 2008-08-28 |
CN100595583C (zh) | 2010-03-24 |
NO330182B1 (no) | 2011-02-28 |
EP1496483A1 (de) | 2005-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1496483B1 (de) | Verfahren und Einrichtung zur Detektion von Flammen | |
DE60105006T2 (de) | Verfahren und system zur brandfrüherkennung | |
EP3058556B1 (de) | Verfahren und vorrichtung zur automatisierten waldbrandfrüherkennung mittels optischer detektion von rauchwolken | |
EP1628260B1 (de) | Verfahren und Vorrichtung zur automatischen Waldbranderkennung | |
DE19934171B4 (de) | Filtersystem und -verfahren | |
EP0939387B1 (de) | Einrichtung zur Raumüberwachung | |
EP1346330B1 (de) | Video-rauchdetektionssystem | |
DE102012206078A1 (de) | Bestimmung einer Anzahl von Objekten in einem IR-Bild | |
EP2677460B1 (de) | Verfahren zur Bestimmung der Länge einer Warteschlange | |
WO2008037293A1 (de) | Detektion von rauch mit einer videokamera | |
CH660920A5 (de) | Verfahren und vorrichtung zur automatischen erkennung von fehlern in geweben und aehnlichen textilen flaechengebilden. | |
EP3453000B1 (de) | Rauchdetektionsvorrichtung, verfahren zur detektion von rauch eines brandes sowie computerprogramm | |
DE60123214T2 (de) | Rauch- und flammendetektion | |
DE4430016A1 (de) | System und Verfahren zur Bildauswertung | |
DE102019103963A1 (de) | Ildgebungsvorrichtung | |
DE4332753C2 (de) | Verfahren zur Erkennung bewegter Objekte | |
DE112007000738B4 (de) | Filter für Störbewegungen | |
EP1239433A1 (de) | Verfahren und Vorrichtung zur Detektion von Rauch und/oder Feuer in Räumen | |
DE19883010B4 (de) | Verfahren und Vorrichtung zum Erkennen eines sich bewegenden Objekts in einer Abfolge von Farbvollbildern | |
DE102007016922A1 (de) | Verfahren zur Detektion von Defekten auf der Rückseite eines Halbleiterwafers | |
EP0834845A1 (de) | Verfahren zur Frequenzanalyse eines Signals | |
EP0951776A1 (de) | Verfahren zur regelung der belichtung von videokameras | |
DE3214254A1 (de) | Verfahren zum erkennen von bewegungen in video-kamera-bildern | |
DE102012109390A1 (de) | Überwachungsvorrichtung, Verfahren zum Überwachen einer sicherheitskritischen Einheit und Beförderungssystem | |
DE4105516A1 (de) | Verfahren und vorrichtung zur filterung von signalen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL LT LV MK |
|
17P | Request for examination filed |
Effective date: 20050718 |
|
AKX | Designation fees paid |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SIEMENS SCHWEIZ AG |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REF | Corresponds to: |
Ref document number: 50306852 Country of ref document: DE Date of ref document: 20070503 Kind code of ref document: P |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
GBT | Gb: translation of ep patent filed (gb section 77(6)(a)/1977) |
Effective date: 20070522 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070621 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070821 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2282550 Country of ref document: ES Kind code of ref document: T3 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 |
|
26N | No opposition filed |
Effective date: 20071227 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20070731 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070622 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: TP |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20070711 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PUE Owner name: SIEMENS AKTIENGESELLSCHAFT Free format text: SIEMENS SCHWEIZ AG#ALBISRIEDERSTRASSE 245#8047 ZUERICH (CH) -TRANSFER TO- SIEMENS AKTIENGESELLSCHAFT#WITTELSBACHERPLATZ 2#80333 MUENCHEN (DE) |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: BE Payment date: 20080715 Year of fee payment: 6 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20090514 AND 20090520 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20070711 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070621 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070321 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070922 |
|
BERE | Be: lapsed |
Owner name: SIEMENS SCHWEIZ A.G. Effective date: 20090731 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20090731 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: SD Effective date: 20110318 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20120726 Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: NL Payment date: 20120703 Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20120830 Year of fee payment: 10 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: V1 Effective date: 20140201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130711 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PUE Owner name: SIEMENS SCHWEIZ AG, CH Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, DE |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20150220 AND 20150225 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 50306852 Country of ref document: DE Owner name: SIEMENS SCHWEIZ AG, CH Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE Effective date: 20150407 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FD2A Effective date: 20150709 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 13 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130712 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: TP Owner name: SIEMENS SCHWEIZ AG, CH Effective date: 20160202 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 14 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20160920 Year of fee payment: 14 Ref country code: GB Payment date: 20160713 Year of fee payment: 14 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20160725 Year of fee payment: 14 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20161012 Year of fee payment: 14 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 50306852 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20170711 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20180330 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170731 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170731 Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180201 Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170711 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170731 |