EP1364351B8 - Method and device for detecting fires based on image analysis - Google Patents

Method and device for detecting fires based on image analysis Download PDF

Info

Publication number
EP1364351B8
EP1364351B8 EP02711747A EP02711747A EP1364351B8 EP 1364351 B8 EP1364351 B8 EP 1364351B8 EP 02711747 A EP02711747 A EP 02711747A EP 02711747 A EP02711747 A EP 02711747A EP 1364351 B8 EP1364351 B8 EP 1364351B8
Authority
EP
European Patent Office
Prior art keywords
image
images
detection
smoke
algorithms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP02711747A
Other languages
German (de)
French (fr)
Other versions
EP1364351A1 (en
EP1364351B1 (en
Inventor
Didier Rizzotti
Nikolaus c/o Patents & Technology Survey SCHIBLI
Werner Straumann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Securiton AG
Fastcom Tech SA
Original Assignee
Securiton AG
Fastcom Tech SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Securiton AG, Fastcom Tech SA filed Critical Securiton AG
Publication of EP1364351A1 publication Critical patent/EP1364351A1/en
Application granted granted Critical
Publication of EP1364351B1 publication Critical patent/EP1364351B1/en
Publication of EP1364351B8 publication Critical patent/EP1364351B8/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Definitions

  • the present invention relates to a method and a device or system for detecting fires based on image analysis, in particular on the analysis of sequences of digital moving images.
  • the camera can detect smoke and flames remotely, before they reach the sensor, such a system is therefore capable of filling the gaps of traditional systems outdoors or in large premises.
  • the images taken by the camera can not only be - processed, but also used for viewing the incident by an operator. This is useful for removing doubts in case of false detection: the visualization of the image or the sequence of images by a human avoids many unnecessary movements.
  • a fouling of the sensor is visible on the image, and according to the invention can even be detected automatically, unlike UV radiation sensors which lose their effectiveness without this being detectable.
  • a camera breakdown or sabotage is automatically detectable.
  • the camera used for fire detection can be used simultaneously for conventional video surveillance applications, which simplifies wiring.
  • WOOO / 23959 describes a smoke detection system, consisting of video camera equipment, a unit for digitizing video signals and a unit for processing digital data.
  • Smoke is detected by image processing algorithms based on the comparison of pixels between successive images.
  • the comparison methods used aim, for example, to detect whether a significant change has occurred between an image and a reference image, which may indicate the appearance of smoke but also of another object in the filmed visual field.
  • Another algorithm detects the Color convergence of several pixels to an average value, which may indicate a decrease in contrast caused by smoke. Such convergence may also indicate a change in lighting conditions.
  • a third algorithm measures changes in the sharpness of the transition zones, affected by the smoke but also by the characteristics of the optics which are modified for example during zooms or changes of aperture. These methods are only suitable for detecting smoke, but no flames giving off little or no smoke. The algorithms used are complex and require significant computing power.
  • WO97 / 16926 describes a method of detecting change in an image sequence in order to detect events.
  • the detection method is based on taking a reference image which contains the Background information of the recorded scene.
  • the appearance of new objects is detected by thresholding and pixel grouping methods.
  • the algorithms used make it difficult to distinguish between the appearance of smoke or another object in the filmed visual field.
  • EP0818766 describes a system for detecting forest fires by processing moving images. To detect fire, a smoke detection algorithm is used. This document describes a method for detecting temporal variations in the intensity of pixels at low frequency (between 0.3 and 0.1 Hz). The system is therefore rather slow to react since many cycles of a few tenths of seconds are necessary to detect a decorrelation which can indicate the presence of smoke.
  • FR-A-2696939 describes an automatic forest fire detection system by image processing.
  • the processing algorithms are based on the detection and analysis of volute and smoke cloud movements; they are however not very suitable for detecting flames or smoke developing in an unusual way, for example under the effect of wind or ventilation.
  • Existing video image analysis fire detection systems are well suited to detecting particular types of fire in well-defined environments.
  • a company wishing to specialize in fire monitoring at different sites must however acquire and familiarize itself with different software; there is currently no sufficiently robust and versatile solution for detecting very different fires using the same software.
  • An object of the present invention is to provide a method and a device for detecting fire that is more reliable, faster and more versatile than the methods and systems of the prior art.
  • Another object is to propose a fire detection method and system which can be implemented using a video surveillance system already installed on the site to be monitored.
  • FIG. 1 a block diagram of an automatic fire detection system making it possible to implement the method of the invention.
  • FIG. 2 a block diagram of a variant of an automatic fire detection system making it possible to implement the method of the invention, in which different elements are integrated into an intelligent video camera.
  • FIG. 3 is a block diagram of a variant of an automatic fire detection system comprising several cameras connected to a computer via a processing unit.
  • Figure 4 a schematic representation of an algorithm for frequency analysis of images for smoke detection.
  • FIG. 5 a representation of slider buttons of a graphical interface making it possible to separately adjust the sensitivity of the flame and smoke detection.
  • FIG. 1 illustrates a block diagram of an automatic fire detection system making it possible to implement the method of the invention.
  • the illustrated system makes it possible to acquire images from different sources, for example from a PAL or NTSC 3 video camera, from a digital video camera, from a recording medium such as hard disk 2 or optical disk or of a video tape 1.
  • the image sequences are digitized if necessary by a digitizer 4 and transmitted to a digital processing system 6, for example an industrial PC, which executes the algorithms for detecting flames and smoke described below .
  • the digitizer 4 is constituted for example by a card for digitizing the video sequences coming from the camera or from the video recorder inserted in the digital processing system 6.
  • Certain algorithms can use one or more images or sequences of reference images, for example a view of the background of the image without fire, in a memory 5.
  • the results of the detection algorithms can be displayed locally on the screen of the digital processing system 6 or processed by a results interpretation and decision-making system 7 capable of generating fire or smoke alarms or pre-alarms when certain conditions predefined are met.
  • This alarm can be transmitted to an alarm center 8, to an apparatus 9 generating an acoustic alarm and / or to an operator via a graphical interface 10 on one of the systems 7 or 8.
  • the alarm center alarm manages all alarms coming from the results interpretation and decision-making system.
  • the system 7 can be implemented by an industrial computer close to the monitored area or by a program or set of programs executed by the digital processing system 6.
  • the alarm center can be located remotely and manage the alarms coming from different sites under surveillance.
  • FIG. 2 illustrates a variant of the system making it possible to implement the invention, in which most of the elements of FIG. 1 are integrated into a single smart camera 3, that is to say a camera integrating processing means digital images.
  • the camera incorporates optics 30, an image sensor not shown, for example a random access sensor, and an image acquisition and digital processing system 6 for acquiring the image sequences of the camera in a form digital and to execute the different flame and smoke detection algorithms described below on these image sequences.
  • the intelligent camera 3 also integrates a memory 5 for storing these algorithms as well as one or more images or sequences of reference images used by these algorithms.
  • a system for interpreting the results and making a decision 7 can be implemented, for example, in the form of a computer module loaded into the memory 5 and executed by the digital processing system 6.
  • the intelligent camera 3 can also integrate a event management system 70 for managing the events detected by the system 7 and triggering, for example, the sending of an alarm or a pre-alarm.
  • the intelligent camera 2 can be connected through a communication interface to a screen 15 to display either the sequences of images acquired live, or recorded images corresponding to detected events.
  • the camera 3 is also capable of communicating its results to a computer 12.
  • a control unit 11 makes it possible to choose areas of interest in the image, to vary the sensitivity of the detection, to program camera movements, etc. Camera 3 therefore constitutes a complete intelligent camera system capable of detecting flames and smoke and of generating warning signals accordingly.
  • FIG. 3 illustrates another variant of the system making it possible to implement the invention, in which one or more video cameras 3 for detecting smoke 13 or flames 14 supply sequences of images directly processed by the digital processing system d 'images 6, for example an industrial PC on the monitored site.
  • the system 6 executes the fire detection algorithms by image processing and the interpretation of the results.
  • Processed images and events detected are transmitted to a remote operator provided with a computer 12 integrating a graphic interface making it possible to visualize the video images coming from the cameras 3 and to inform the operator in the event of alarm detection.
  • the digital image processing system 6 and the system interpretation of results and decision-making 7 use several separate image processing algorithms and combine them.
  • the algorithms used can be based on the following methods:
  • the presence of smoke reduces the sharpness of the contours of objects present in the scene, which corresponds to a low-pass spatial smoothing filter.
  • the high frequencies of the image 31 are therefore attenuated by the presence of smoke with respect to the reference image 32 stored in the memory 5 and corresponding for example to an image of the background without smoke or flames.
  • the method therefore consists in calculating the frequency transform of each image 31 or portion of image acquired using a module 33 of fast Fourier transformation FFT or FHT for example and in comparing it using a system comparison 35 with the frequency transform of the reference image 32 calculated by a module 34.
  • a decision module 36 can indicate a smoke alarm or a probability of a smoke alarm.
  • This algorithm can be used on the whole image. In order to more clearly and more quickly detect the appearance of smoke, this algorithm is preferably applied to one or more sub-portions or zoes of the filmed image; an alarm being triggered as soon as one or minimum number of zones indicate an attenuation of the high spatial frequencies compared to the reference image. It is also possible to apply this algorithm only on the portions of the image on which smoke is likely to appear or in which another algorithm has indicated a probability of fire event. Finally, this algorithm can either be applied to a grayscale image or another component, or separately on the different components of a color image. Depending on the smoke colors likely to appear, it is possible to weight the different chromatic components differently.
  • the appearance of an object whose contours, chrominance or brightness oscillate at a frequency greater than 0.5 Hz is a sign of the possible presence of flames. This can be detected using a frequency analysis method using successive images of a sequence of images. To do this analysis, the computer must have a whole sequence of images in its memory and detect objects in the spatial domain using a shape recognition algorithm.
  • This algorithm can also be implemented to detect and track objects on several successive images whose shape, size and / or color vary irregularly and according to a random frequency. Object identification and object tracking methods can be used.
  • stereoscopic vision algorithms can be used to assess the position, three-dimensional shape, volume and distance of filmed objects, such as new objects appearing in relation to a reference image. It is thus possible to distinguish for example between a column of smoke appearing in front of a wall and a shadow or a reflection on this wall. In the open air, this algorithm makes it possible to distinguish between a new cloud and a much closer column of smoke. This algorithm can be used for example to identify very reliably the areas of interest of an image or of a sequence of images on which the other algorithms must focus.
  • Multiple image sequences can be generated, for example, using several cameras, using a single motorized camera allowing the position or the angle of view to be changed, using a or multiple cameras and a set of mirrors, etc.
  • the digital processing system 6 can also be connected to one or more external sensors which may be present and which make it possible to detect particular events, for example sensors of temperature, infrared or ultraviolet radiation, movement, etc.
  • the indications provided by these sensors are transmitted to acquisition cards in the digital processing system 6 and can be used to confirm the indications provided by the image processing algorithms or to improve the performance of these algorithms.
  • a motion detector can be used to trigger an optical or digital zoom movement or movement from a camera to the area where the movement occurred, or to focus image processing algorithms on portions image corresponding to the area where motion was detected.
  • the results of the different algorithms are combined with one another by a process of interpretation and decision-making of the results executed for example by the system 7 in order to detect the flames and / or the smoke in a reliable manner. This process of interpretation of the results can take into account the evolution of the different detection criteria as a function of time. For example, a rapidly growing detection level is more dangerous than a stable detection level.
  • the sensitivity can be modified to adapt the system to its environment.
  • this adjustment can be made using a single parameter influencing all the algorithms of the system.
  • This parameter can be modified via a slider button on the graphical interface 10, a potentiometer, or by any other adjustment element.
  • FIG. 5 illustrates two sliders for separately setting flame detection and smoke detection.
  • Those skilled in the art will understand that it is easily possible, within the framework of the invention, to imagine an advanced configuration mode making it possible to separately adjust the sensitivity of each algorithm, the sensitivity applied to each zone or to each component of colors, etc. It is thus possible to use the same device and the same fire detection program and to configure it to detect flames or smoke in very different environments, for example in a road or rail tunnel, outside, in hangars, etc.
  • the various events that can occur in the systems are presented by the graphical interface 10 to the operator in order of emergency.
  • the graphic interface thus displays for example at the top of the list the flame and smoke alarms starting with the most recent alarm, then the flame and smoke pre-alarms starting here also with the most recent pre-alarm, other events or alarms if necessary detected being displayed at the bottom of the list.
  • These other events may include, for example, camera failures, dirty cameras, indications of insufficient brightness of the scene to be monitored, or external events detected by sensors not shown, such as stalling of fire extinguishers, door openings, etc.
  • a visual message, preferably a "pop-up" window indicating the type of alarm detected and opening in a graphical interface 10, and an audible beep are preferably generated when an alarm is detected
  • log file a file in the processing system 6, in the system 7 or in the computer used by the remote operator and listing all the events that have occurred.
  • This file is preferably made up of an XML document also containing images or sequences of images linked to each listed event, as well as the date of the event. An operator can thus consult the XML file corresponding to the monitoring period and load the recorded images, for example remotely, to check the detected alarms and ensure, for example, that the alarms detected actually correspond to fires.
  • the present invention relates to a fire detection method. It also relates to a device specially adapted for implementing this method, for example a computer or an intelligent camera programmed to implement this method, as well as a data medium comprising a computer program directly loadable in the memory of such a device and comprising portions of computer code constituting means for carrying out this process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Combustion (AREA)

Abstract

Method for automatically detecting fires, based on flame and/or smoke recognition by analyzing a sequence of images. The analysis is based on several image processing algorithms. One algorithm consists in comparing the frequency content of at least an image of said sequence with the frequency content of a reference image so as to detect an attenuation of high frequencies independently of variations on other portions of the spectrum.

Description

Procédé et dispositif de détection de feux basé sur l'analyse d'imagesFire detection method and device based on image analysis
La présente invention concerne un procédé et un dispositif ou un système de détection de feux basé sur l'analyse d'images, en particulier sur l'analyse de séquences d'images animées numériques.The present invention relates to a method and a device or system for detecting fires based on image analysis, in particular on the analysis of sequences of digital moving images.
Dans le domaine de la surveillance et de la sécurité de sites industriels ou de tronçons de routes ou de tunnels, la vitesse de détection d'incendies constitue un facteur de sécurité prépondérant. En particulier, il est nécessaire de pouvoir détecter un départ d'incendie le plus rapidement possible afin de pouvoir le combattre efficacement et de prendre des mesures pour limiter l'ampleur du sinistre. Pour des raisons de coûts, il est toutefois généralement impossible d'employer une surveillance humaine en continu. Des systèmes de surveillance et de détection automatiques sont donc hautement souhaitables.In the area of surveillance and security of industrial sites or sections of roads or tunnels, the speed of fire detection is a major safety factor. In particular, it is necessary to be able to detect a fire starting as quickly as possible in order to be able to fight it effectively and to take measures to limit the extent of the incident. For cost reasons, however, it is generally not possible to employ continuous human monitoring. Automatic monitoring and detection systems are therefore highly desirable.
Différentes systèmes ont déjà été proposés ou commercialisés pour détecter des feux ou des fumées.Different systems have already been proposed or marketed to detect fires or smoke.
La majorité des systèmes utilisés actuellement mettent en oeuvre des capteurs de fumée ponctuels qui doivent attendre que la fumée se propage jusqu'à eux pour avoir une chance de la détecter. Ces capteurs sont inutilisables en extérieur (raffineries, dépôts de containers, etc.), dans les grands locaux dans lesquels la fumées se disperse et met beaucoup de temps à atteindre le capteur (hangar, centrale nucléaire, etc.) ou dans les locaux à fort courant d'air (tunnels, locaux fortement ventilés, etc.). Les capteurs doivnt être suffisament rapprochés et câblés; le coût du câblage d'un grand nombre de capteurs peut toutefois s'avérer prohibitif. Ces solutions sont donc peu appropriées à la surveillance de grands volumes ou de grandes étendues.The majority of the systems currently used use point smoke sensors which must wait for the smoke to spread to them before they have a chance to detect it. These sensors cannot be used outdoors (refineries, container depots, etc.), in large premises in which the smoke disperses and takes a long time to reach the sensor (hangar, nuclear power station, etc.) or in premises strong air flow (tunnels, highly ventilated rooms, etc.). The sensors must be sufficiently close together and wired; however, the cost of wiring a large number of sensors can be prohibitive. These solutions are therefore unsuitable for monitoring large volumes or large areas.
D'autres systèmes connus sont basés soit sur une mesure de l'augmentation de température dans le local, soit sur la mesure de la quantité de rayonnement UV ou infrarouge reçu. Les systèmes utilisant l'augmentation de température sont relativement lents (inertie thermique), et ne fonctionnent pas de manière fiable en extérieur ou dans des grands locaux. Les systèmes basés sur la mesure du rayonnement UV fonctionnent dans n'importe quel environnement mais perdent rapidement de leur efficacité lorsque le capteur s'encrasse, sans que cela soit détectable.Other known systems are based either on a measurement of the temperature increase in the room, or on the measurement of the amount of UV or infrared radiation received. Systems using temperature increase are relatively slow (thermal inertia), and do not work reliably outdoors or in large premises. Systems based on the measurement of UV radiation work in any environment but quickly lose their effectiveness when the sensor becomes dirty, without this being detectable.
Les systèmes basés sur la mesure du rayonnement infrarouge fonctionnent dans n'importe quel environnement mais engendrent de fausses détections lorsqu'ils sont en présence d'un objet chaud, ou lorsqu'ils sont exposés au rayonnement solaire.Systems based on infrared radiation measurement work in any environment but cause false detections when in the presence of a hot object, or when exposed to solar radiation.
Plus récemment, il a été suggéré de détecter des feux à l'aide de méthodes basées sur l'analyse d'images. Beaucoup de sites potentiellement dangereux sont déjà équipés de caméras de surveillance reliées à une centrale d'alarme, et employées par exemple pour détecter des effractions ou des accidents. L'emploi de ces systèmes de surveillance pour détecter également des incendies permet d'économiser la mise en place et la connexion d'un système de capteurs distinct. Des solutions d'analyse automatique d'images, employant les caméras vidéos déjà installées et des logiciels de traitement des signaux vidéo fournis par les caméras, ont aussi été suggérées.More recently, it has been suggested to detect fires using methods based on image analysis. Many potentially dangerous sites are already equipped with surveillance cameras linked to an alarm center, and used for example to detect break-ins or accidents. The use of these monitoring systems to also detect fires saves the installation and connection of a separate sensor system. Solutions for automatic image analysis, using the video cameras already installed and software for processing video signals supplied by the cameras, were also suggested.
La détection de la fumée par l'analyse d'image présente les avantages suivantes par rapport aux solutions utilisant des capteurs ponctuels:Smoke detection by image analysis has the following advantages compared to solutions using point sensors:
" La caméra peut détecter la fumée et les flammes à distance, avant que celles-ci n'atteignent le capteur, un tel système est donc capable de combler les lacunes des systèmes traditionnels en extérieur ou dans les grands locaux."The camera can detect smoke and flames remotely, before they reach the sensor, such a system is therefore capable of filling the gaps of traditional systems outdoors or in large premises.
• Les image prises par la caméra peuvent non seulement être - traitées, mais aussi utilisées pour la visualisation de l'incident par un opérateur. Ceci est utile pour la levée des doutes en cas de fausse détection: la visualisation de l'image ou de la séquence d'images par un humain permet d'éviter de nombreux déplacement inutiles.• The images taken by the camera can not only be - processed, but also used for viewing the incident by an operator. This is useful for removing doubts in case of false detection: the visualization of the image or the sequence of images by a human avoids many unnecessary movements.
• Les image prises permettent aussi de se faire une idée plus précise de l'ampleur de l'incendie, ainsi que du type d'incendie. Il est ainsi possible de préparer immédiatement le bon matériel d'intervention, et de gagner ainsi de précieuses minutes.• The images taken also allow you to get a more precise idea of the extent of the fire, as well as the type of fire. It is thus possible to immediately prepare the right intervention material, and thus save precious minutes.
• Un encrassement du capteur (caméra) est visible sur l'image, et selon l'invention peut même être détecté automatiquement, contrairement aux capteurs de rayonnement UV qui perdent leur efficacité sans que cela soit détectable.• A fouling of the sensor (camera) is visible on the image, and according to the invention can even be detected automatically, unlike UV radiation sensors which lose their effectiveness without this being detectable.
» Une panne ou un sabotage de la caméra est détectable automatiquement. » A camera breakdown or sabotage is automatically detectable.
m La caméra utilisée pour la détection d'incendie est utilisable simultanément pour des applications de surveillance vidéo classiques, ce qui permet de simplifier le câblage. m The camera used for fire detection can be used simultaneously for conventional video surveillance applications, which simplifies wiring.
Des systèmes de détection de feux par analyse d'images vidéo ont déjà été décrits dans l'art antérieur. WOOO/23959 décrit un système de détection de fumée, consistant en un équipement de caméra vidéo, une unité de numérisation des signaux vidéo et une unité de traitement des données numériques. La fumée est détectée par des algorithmes de traitement d'image basés sur la comparaison de pixels entre images successives. Les méthodes de comparaison employées visent par exemple à détecter si un changement important est intervenu entre une image et une image de référence, pouvant indiquer l'apparition de fumée mais aussi d'un autre objet dans le champ visuel filmé. Un autre algorithme détecte la convergence de la couleur de plusieurs pixels vers une valeur moyenne, pouvant indiquer une baisse de contraste provoquée par la fumée. Une telle convergence peut aussi indiquer une modification des conditions d'éclairage. Un troisième algorithme mesure des changements dans la netteté des zones de transition, affectée par la fumée mais aussi par les caractéristiques de l'optique qui sont modifiées par exemple lors de zooms ou de changements d'ouverture. Ces procédés sont uniquement adaptés à la détection de fumées, mais pas de flammes dégageant peu ou pas de fumées. Les algorithmes employés sont complexes et nécessitent une puissance de calcul importante.Fire detection systems by video image analysis have already been described in the prior art. WOOO / 23959 describes a smoke detection system, consisting of video camera equipment, a unit for digitizing video signals and a unit for processing digital data. Smoke is detected by image processing algorithms based on the comparison of pixels between successive images. The comparison methods used aim, for example, to detect whether a significant change has occurred between an image and a reference image, which may indicate the appearance of smoke but also of another object in the filmed visual field. Another algorithm detects the Color convergence of several pixels to an average value, which may indicate a decrease in contrast caused by smoke. Such convergence may also indicate a change in lighting conditions. A third algorithm measures changes in the sharpness of the transition zones, affected by the smoke but also by the characteristics of the optics which are modified for example during zooms or changes of aperture. These methods are only suitable for detecting smoke, but no flames giving off little or no smoke. The algorithms used are complex and require significant computing power.
WO97/16926 décrit une méthode de détection de changement dans une séquence d'image afin de détecter des événements. La méthode de détection est basée sur la prise d'une image de référence qui contient l'information de Parrière-plan de la scène enregistrée. L'apparition de nouveaux objets est détectée par des méthodes de seuillage et de groupement de pixels. Les algorithmes employés permettent mal de distinguer entre l'apparition de fumée ou d'un autre objet dans le champ visuel filmé.WO97 / 16926 describes a method of detecting change in an image sequence in order to detect events. The detection method is based on taking a reference image which contains the Background information of the recorded scene. The appearance of new objects is detected by thresholding and pixel grouping methods. The algorithms used make it difficult to distinguish between the appearance of smoke or another object in the filmed visual field.
EP0818766 décrit un système de détection de feux de forêts par traitement d'images animées. Pour détecter le feu, un algorithme de détection de fumée est employé. Ce document décrit un procédé de détection des variations temporelles de l'intensité des pixels en basse fréquence (entre 0.3 et 0.1 Hz). Le système est donc assez lent à réagir puisque de nombreux cycles de quelques dixièmes de secondes sont nécessaires pour détecter une décorrélation pouvant indiquer la présence de fumée.EP0818766 describes a system for detecting forest fires by processing moving images. To detect fire, a smoke detection algorithm is used. This document describes a method for detecting temporal variations in the intensity of pixels at low frequency (between 0.3 and 0.1 Hz). The system is therefore rather slow to react since many cycles of a few tenths of seconds are necessary to detect a decorrelation which can indicate the presence of smoke.
FR-A-2696939 décrit un système de détection de feu de forêt automatique par traitement d'images. Les algorithmes de traitement sont basés sur la détection et l'analyse de mouvements de volutes et de nuages de fumée; ils sont en revanche peu adaptés à la détection de flammes ou de fumées se développant de manière inhabituelle, par exemple sous l'effet de vent ou d'une ventilation. Les systèmes existant de détection de feu par analyse d'image vidéo sont bien appropriés à la détection de type de feu particuliers dans des environnements bien définis. Une société souhaitant se spécialiser dans la surveillance de feux dans des sites différents doit toutefois acqurérir et se familiariser avec différents logiciels; il n'existe pas à l'heure actuelle de solution suffisament robuste et polyvalente permettant de détecter à l'aide d'un même logiciel des feux très différents.FR-A-2696939 describes an automatic forest fire detection system by image processing. The processing algorithms are based on the detection and analysis of volute and smoke cloud movements; they are however not very suitable for detecting flames or smoke developing in an unusual way, for example under the effect of wind or ventilation. Existing video image analysis fire detection systems are well suited to detecting particular types of fire in well-defined environments. A company wishing to specialize in fire monitoring at different sites must however acquire and familiarize itself with different software; there is currently no sufficiently robust and versatile solution for detecting very different fires using the same software.
Un but de la présente invention est de proposer un procédé et un dispositif de détection de feu plus fiable, plus rapide et plus polyvalent que les procédés et les systèmes de l'art antérieur.An object of the present invention is to provide a method and a device for detecting fire that is more reliable, faster and more versatile than the methods and systems of the prior art.
Un autre but est de proposer un procédé et un système de détection de feu pouvant être mis en œuvre à l'aide d'un système de surveillance vidéo déjà installé sur le site à surveiller.Another object is to propose a fire detection method and system which can be implemented using a video surveillance system already installed on the site to be monitored.
L'invention sera mieux comprise à la lecture de la description donnée à titre d'exemple et illustrée par les figures qui montrent:The invention will be better understood on reading the description given by way of example and illustrated by the figures which show:
La figure 1 un schéma bloc d'un système de détection automatique de feu permettant de mettre en œuvre le procédé de l'invention.FIG. 1 a block diagram of an automatic fire detection system making it possible to implement the method of the invention.
La figure 2 un schéma-bloc d'une variante de système de détection automatique de feu permettant de mettre en œuvre le procédé de l'invention, dans laquelle différents éléments sont intégrés dans une caméra vidéo intelligente.FIG. 2 a block diagram of a variant of an automatic fire detection system making it possible to implement the method of the invention, in which different elements are integrated into an intelligent video camera.
La figure 3 un schéma-bloc d'une variante de système de détection automatique de feu comprenant plusieurs caméras reliées à un ordinateur par l'intermédiaire d'une unité de traitement.FIG. 3 is a block diagram of a variant of an automatic fire detection system comprising several cameras connected to a computer via a processing unit.
La figure 4 un représentation schématique d'un algorithme d'analyse fréquentielle des images pour la détection de fumée. La figure 5 une représentation de boutons glisseurs d'une interface graphique permettant de régler séparément la sensibilité de la détection de flammes et de fumée.Figure 4 a schematic representation of an algorithm for frequency analysis of images for smoke detection. FIG. 5 a representation of slider buttons of a graphical interface making it possible to separately adjust the sensitivity of the flame and smoke detection.
La figure 1 illustre un schéma bloc d'un système de détection automatique de feu permettant de mettre en œuvre le procédé de l'invention. Le système illustré permet d'acquérir des images à partir de différentes sources, par exemple d'une caméra vidéo PAL ou NTSC 3, d'une caméra vidéo numérique, d'un support d'enregistrement tel que disque dur 2 ou disque optique ou d'une bande vidéo 1. Les séquences d'images sont numérisées si nécessaire par un numériseur 4 et transmises à un système de traitement numérique 6, par exemple un PC industriel, qui exécute les algorithmes de détection de flammes et de fumées décrits plus bas. Le numériseur 4 est constitué par exemple par une carte de numérisation des séquences vidéos venant de la caméra ou du magnétoscope insérée dans le système de traitement numérique 6. Certains algorithmes peuvent utiliser une ou des images ou séquences d'images de référence, par exemple une vue de l'arrière-plan de l'image sans feu, dans une mémoire 5.FIG. 1 illustrates a block diagram of an automatic fire detection system making it possible to implement the method of the invention. The illustrated system makes it possible to acquire images from different sources, for example from a PAL or NTSC 3 video camera, from a digital video camera, from a recording medium such as hard disk 2 or optical disk or of a video tape 1. The image sequences are digitized if necessary by a digitizer 4 and transmitted to a digital processing system 6, for example an industrial PC, which executes the algorithms for detecting flames and smoke described below . The digitizer 4 is constituted for example by a card for digitizing the video sequences coming from the camera or from the video recorder inserted in the digital processing system 6. Certain algorithms can use one or more images or sequences of reference images, for example a view of the background of the image without fire, in a memory 5.
Les résultats des algorithmes de détection peuvent être affichés localement sur l'écran du système de traitement numérique 6 ou traités par un système d'interprétation des résultats et de prise de décision 7 apte à générer des alarmes ou des préalarmes feu ou fumée lorsque certaines conditions prédéfinies sont remplies. Cette alarme peut être transmise à une centrale d'alarme 8, à un appareillage 9 générant une alarme acoustique et/ou à un opérateur par l'intermédiaire d'une interface graphique 10 sur l'un des systèmes 7 ou 8. La centrale d'alarme gère toutes les alarmes provenant du système d'interprétation des résultats et de prise de décision. Le système 7 peut être mis en œuvre par un ordinateur industriel proche de la zone surveillée ou par un programme ou ensemble de programmes exécutés par le système de traitement numérique 6. La centrale d'alarme peut se trouver à distance et gérer les alarmes provenant de différents sites sous surveillance. La figure 2 illustre une variante de système permettant de mettre en œuvre l'invention, dans laquelle la plupart des éléments de la figure 1 sont intégrés dans une seule caméra intelligente 3, c'est-à-dire une caméra intégrant des moyens de traitement numérique d'images. La caméra intègre une optique 30, un capteur d'image non représenté, par exemple un capteur à accès aléatoire, et un système d'acquisition d'images et de traitement numérique 6 pour acquérir les séquences d'images de la caméra sous une forme numérique et pour exécuter sur ces séquences d'images les différents algorithmes de détection de flammes et de fumée décrits plus bas. La caméra intelligente 3 intègre en outre une mémoire 5 pour y stocker ces algorithmes ainsi qu'une ou plusieurs images ou séquences d'images de référence employées par ces algorithmes. Un système d'interprétation des résultats et de prise de décision 7 peut être réalisé par exemple sous la forme d'un module informatique chargé dans la mémoire 5 et exécuté par le système de traitement numérique 6. La caméra intelligente 3 peut en outre intégrer un système de gestion d'événements 70 pour gérer les événements détectés par le système 7 et déclencher par exemple l'envoi d'une alarme ou d'une prélarme. La caméra intelligente 2 peut être connectée au travers d'une interface de communication à un écran 15 pour visualiser soit les séquences d'images acquises en direct, soit des images enregistrées correspondant à des événements détectés. La caméra 3 est aussi capable de communiquer ses résultats à un ordinateur 12. Une unité de commande 11 permet de choisir des zones d'intérêt dans l'image, de varier la sensibilité de la détection, de programmer des mouvements de caméra, etc. La caméra 3 constitue donc un système complet de caméra intelligente capable de détecter les flammes et la fumée et de générer des signaux d'alerte en conséquence.The results of the detection algorithms can be displayed locally on the screen of the digital processing system 6 or processed by a results interpretation and decision-making system 7 capable of generating fire or smoke alarms or pre-alarms when certain conditions predefined are met. This alarm can be transmitted to an alarm center 8, to an apparatus 9 generating an acoustic alarm and / or to an operator via a graphical interface 10 on one of the systems 7 or 8. The alarm center alarm manages all alarms coming from the results interpretation and decision-making system. The system 7 can be implemented by an industrial computer close to the monitored area or by a program or set of programs executed by the digital processing system 6. The alarm center can be located remotely and manage the alarms coming from different sites under surveillance. FIG. 2 illustrates a variant of the system making it possible to implement the invention, in which most of the elements of FIG. 1 are integrated into a single smart camera 3, that is to say a camera integrating processing means digital images. The camera incorporates optics 30, an image sensor not shown, for example a random access sensor, and an image acquisition and digital processing system 6 for acquiring the image sequences of the camera in a form digital and to execute the different flame and smoke detection algorithms described below on these image sequences. The intelligent camera 3 also integrates a memory 5 for storing these algorithms as well as one or more images or sequences of reference images used by these algorithms. A system for interpreting the results and making a decision 7 can be implemented, for example, in the form of a computer module loaded into the memory 5 and executed by the digital processing system 6. The intelligent camera 3 can also integrate a event management system 70 for managing the events detected by the system 7 and triggering, for example, the sending of an alarm or a pre-alarm. The intelligent camera 2 can be connected through a communication interface to a screen 15 to display either the sequences of images acquired live, or recorded images corresponding to detected events. The camera 3 is also capable of communicating its results to a computer 12. A control unit 11 makes it possible to choose areas of interest in the image, to vary the sensitivity of the detection, to program camera movements, etc. Camera 3 therefore constitutes a complete intelligent camera system capable of detecting flames and smoke and of generating warning signals accordingly.
La figure 3 illustre une autre variante de système permettant de mettre en œuvre l'invention, dans laquelle une ou plusieurs caméras vidéo 3 de détection de fumée 13 ou de flammes 14 fournissent des séquences d'images directement traitées par le système de traitement numérique d'images 6, par exemple un PC industriel sur le site surveillé. Le système 6 exécute les algorithmes de détection de feu par traitement d'images et l'interprétation des résultats. Les images traitées et les événement s détectés sont transmis à un opérateur à distance muni d'un ordinateur 12 intégrant une interface graphique permettant de visualiser les images vidéo provenant des caméras 3 et d'informer l'opérateur en cas de détection d'alarme.FIG. 3 illustrates another variant of the system making it possible to implement the invention, in which one or more video cameras 3 for detecting smoke 13 or flames 14 supply sequences of images directly processed by the digital processing system d 'images 6, for example an industrial PC on the monitored site. The system 6 executes the fire detection algorithms by image processing and the interpretation of the results. Processed images and events detected are transmitted to a remote operator provided with a computer 12 integrating a graphic interface making it possible to visualize the video images coming from the cameras 3 and to inform the operator in the event of alarm detection.
Afin de permettre de prendre des décisions fiables sur l'état du site surveillé, c'est-à-dire de réduire le nombre de fausses alarmes ou de feus non détectés, le système de traitement numérique d'images 6 et le système d'interprétation des résultats et de prise de décision 7 utilisent plusieurs algorithmes de traitement d'image distincts et combinés entre eux. Les algorithmes employés peuvent se baser sur les méthodes suivantes:In order to allow reliable decisions to be made on the state of the monitored site, that is to say to reduce the number of false alarms or undetected lights, the digital image processing system 6 and the system interpretation of results and decision-making 7 use several separate image processing algorithms and combine them. The algorithms used can be based on the following methods:
1. Analyse fréquentielle de l'image actuelle et de l'image de référence avec une comparaison des résultats.1. Frequency analysis of the current image and the reference image with a comparison of the results.
La présence de fumée réduit la netteté des contours des objets présents dans la scène, ce qui correspond à un filtre de lissage spatial passe- bas. Les hautes fréquences de l'image 31 sont donc atténuées par la présence de fumée par rapport à l'image de référence 32 stockée dans la mémoire 5 et correspondant par exemple à une image de l'arrière-plan sans fumée ni flammes. Le procédé consiste donc à calculer la transformée fréquentielle de chaque image 31 ou portion d'image acquise à l'aide d'un module 33 de transformation de Fourier rapide FFT ou FHT par exemple et à la comparer à l'aide d'un système de comparaison 35 avec la transformée fréquentielle de l'image de référence 32 calculée par un module 34. Lorsque le système de comparaison détecte une atténuation des hautes fréquences de l'image supérieure à l'atténuation des basses fréquence par rapport à l'image de référence, un module de décision 36 peut indiquer une alarme fumée ou une probabilité d'alarme fumée.The presence of smoke reduces the sharpness of the contours of objects present in the scene, which corresponds to a low-pass spatial smoothing filter. The high frequencies of the image 31 are therefore attenuated by the presence of smoke with respect to the reference image 32 stored in the memory 5 and corresponding for example to an image of the background without smoke or flames. The method therefore consists in calculating the frequency transform of each image 31 or portion of image acquired using a module 33 of fast Fourier transformation FFT or FHT for example and in comparing it using a system comparison 35 with the frequency transform of the reference image 32 calculated by a module 34. When the comparison system detects an attenuation of the high frequencies of the image greater than the attenuation of the low frequencies relative to the image of reference, a decision module 36 can indicate a smoke alarm or a probability of a smoke alarm.
Cet algorithme peut être utilisé sur toute l'image. Afin de détecter plus nettement et plus rapidement l'apparition de fumée, cet algorithme est de préférence appliqué sur une ou plusieurs sous-portions ou zoes de l'image filmée; une alarme étant déclenchée dès qu'une ou un nombre minimal de zones indiquent une atténuation des hautes fréquences spatiales par rapport à l'image de référence. Il est aussi possible de n'appliquer cet algorithme que sur les portions de l'image sur lesquelles de la fumée est susceptible d'apparaître ou dans lesquels un autre algorithme a indiqué une probabilité d'événement feu. Enfin, cet algorithme peut soit être appliqué sur une image en nuance de gris ou d'une autre composante, soit séparément sur les différentes composantes d'une image couleur. Selon les couleurs de fumée susceptibles d'apparaître, il est possible de pondérer différemment les différentes composantes chromatiques. This algorithm can be used on the whole image. In order to more clearly and more quickly detect the appearance of smoke, this algorithm is preferably applied to one or more sub-portions or zoes of the filmed image; an alarm being triggered as soon as one or minimum number of zones indicate an attenuation of the high spatial frequencies compared to the reference image. It is also possible to apply this algorithm only on the portions of the image on which smoke is likely to appear or in which another algorithm has indicated a probability of fire event. Finally, this algorithm can either be applied to a grayscale image or another component, or separately on the different components of a color image. Depending on the smoke colors likely to appear, it is possible to weight the different chromatic components differently.
2. Analyse fréquentielle entre des images consécutives pour la détection d'oscillation des flammes2. Frequency analysis between consecutive images for flame oscillation detection
L'apparition d'un objet dont les contours, la chrominance ou la luminosité oscillent à une fréquence supérieure à 0.5 Hz est un signe de la présence éventuelle de flammes. Ceci peut être détecté à l'aide d'un procédé d'analyse fréquentielle utilisant les images successives d'une séquence d'images. Pour faire cette analyse, l'ordinateur doit disposer de toute une séquence d'images dans sa mémoire et détecter dans le domaine spatialles objets à l'ade d'un aglgorithme de reconaissanc de forme.The appearance of an object whose contours, chrominance or brightness oscillate at a frequency greater than 0.5 Hz is a sign of the possible presence of flames. This can be detected using a frequency analysis method using successive images of a sequence of images. To do this analysis, the computer must have a whole sequence of images in its memory and detect objects in the spatial domain using a shape recognition algorithm.
Cet algorithme peut aussi être mis en œuvre pour détecter et suivre sur plusieurs images successives des objets dont la forme, la taille et/ou la couleur varient de manière non régulière et selon une fréquence aléatoire. Des méthodes d'identification d'objet et de suivi d'objet peuvent être employées.This algorithm can also be implemented to detect and track objects on several successive images whose shape, size and / or color vary irregularly and according to a random frequency. Object identification and object tracking methods can be used.
3. Analyse de l'information de la saturation des couleurs pour détecter la fumée3. Analysis of color saturation information to detect smoke
Lorsqu'une séquence d'images couleurs est disponible, il est possible d'utiliser directement l'information couleur comme critère de présence de fumée. En effet, la fumée est généralement peu colorée (blanche, noire, grise, etc.). Une image ou une portion d'image devenant moins colorée est donc susceptible de représenter de la fumée. Selon les couleurs de fumée susceptibles d'apparaître, il est possible de tenir compte de cette couleur.When a sequence of color images is available, it is possible to use color information directly as a criterion for the presence of smoke. In fact, the smoke is generally not very colored (white, black, gray, etc.). An image or a portion of an image becoming less colored is therefore likely to represent smoke. Depending on the colors of smoke likely to appear, it is possible to take this color into account.
Inversement, une portion d'image devenant soudain plus colorée et plus lumineuse pourrait représenter des flammes, à fortiori si cette portion se trouve en bas de l'image ou en sous une portion pouvant représenter de la fumée. 4. Analyse des températures de couleursConversely, a portion of image suddenly becoming more colorful and brighter could represent flames, a fortiori if this portion is at the bottom of the image or below a portion that may represent smoke. 4. Analysis of color temperatures
Lorsqu'une séquence d'images couleurs est disponible, il est possible d'approximer le spectre d'émission d'un objet sur chaque image en mesurant les composantes rouges vertes et bleues, ce qui permet d'approximer la température d'un objet. Un objet à forte luminosité ayant un spectre d'émission correspondant à un corps chaud avec un maxima dans les rouge-jaune peut être suspecté d'être une flamme (ou le reflet d'une flamme).When a sequence of color images is available, it is possible to approximate the emission spectrum of an object on each image by measuring the red green and blue components, which makes it possible to approximate the temperature of an object. . An object with high luminosity having an emission spectrum corresponding to a hot body with a maximum in red-yellow can be suspected of being a flame (or the reflection of a flame).
5. Détection des disparitions des segments droits (lignes) dans l'image actuel5. Detection of disappearances of straight segments (lines) in the current image
L'apparition d'un objet dont les contours ne contiennent que peu de segments de droites est un signe de la présence éventuelle de fumée ou de flammes. Si une comparaison est faite avec l'image de référence, la disparition de segments droits peut être détectée.The appearance of an object whose contours contain only a few line segments is a sign of the possible presence of smoke or flames. If a comparison is made with the reference image, the disappearance of straight segments can be detected.
6. Analyse des différences entre l'image actuelle et une image de référence pour la détection des zones d'intérêts6. Analysis of the differences between the current image and a reference image for the detection of areas of interest
En mesurant les différences entre l'image actuelle filmée et une image de référence de la même scène, il est possible de détecter de manière fiable l'apparition d'objets qui n'étaient pas présents dans l'image de référence. Cet algorithme permet d'identifier des zones où la probabilité d'apparition de fumée est plus grande. Les autres algorithmes de détection de flamme ou de fumée peuvent se concentrer sur cette zone. Pour éviter que les changements de lumières ou des ombres soient détectés comme nouveaux objets, il est possible de renouveler l'image de référence régulièrement. 7. Analyse de plusieurs séquences d'image de la même scène depuis plusieurs angles de prise de vue différents (analyse stéréo)By measuring the differences between the current filmed image and a reference image of the same scene, it is possible to reliably detect the appearance of objects that were not present in the reference image. This algorithm makes it possible to identify areas where the probability of the appearance of smoke is greater. Other flame or smoke detection algorithms can focus on this area. To avoid changes in lights or shadows being detected as new objects, it is possible to renew the reference image regularly. 7. Analysis of several image sequences of the same scene from several different shooting angles (stereo analysis)
Lorsque plusieurs images de la même scène depuis différents points de vue sont disponibles, il est possible d'utiliser des algorithmes de vision stéréoscopique pour évaluer la position, la forme tridimensionnelle, le volume et la distance d'objets filmés, par exemple de nouveaux objets apparaissant par rapport à une image de référence. Il est ainsi possible de distinguer par exemple entre une colonne de fumée apparaissant devant un mur et une ombre ou un reflet sur ce mur. En plein air, cet algorithme permet de distinguer entre un nouveau nuage et une colonne de fumée beaucoup plus proche. Cet algorithme peut être utilisé par exemple pour identifier de manière très fiable les zones d'intérêt d'une image ou d'une séquence d'image sur lesquels les autres algorithmes doivent se concentrer.When multiple images of the same scene from different viewpoints are available, stereoscopic vision algorithms can be used to assess the position, three-dimensional shape, volume and distance of filmed objects, such as new objects appearing in relation to a reference image. It is thus possible to distinguish for example between a column of smoke appearing in front of a wall and a shadow or a reflection on this wall. In the open air, this algorithm makes it possible to distinguish between a new cloud and a much closer column of smoke. This algorithm can be used for example to identify very reliably the areas of interest of an image or of a sequence of images on which the other algorithms must focus.
Les séquences d'images multiples peuvent être générées par exemple à l'aide de plusieurs caméras, à l'aide d'une seule caméra motorisée permettant de changer la positon ou l'angle de prise de vue, à l'aide d'une ou plusieurs caméras et d'un jeu de miroirs, etc.Multiple image sequences can be generated, for example, using several cameras, using a single motorized camera allowing the position or the angle of view to be changed, using a or multiple cameras and a set of mirrors, etc.
8. Alarmes fournies par des capteurs externes8. Alarms provided by external sensors
Le système de traitement numérique 6 peut en outre être connecté à un ou plusieurs capteurs externes éventuellement présents et permettant de détecter des événements particuliers, par exemple des capteurs de température, de rayonnement infrarouge ou ultraviolet, de mouvement, etc. Les indications fournies par ces capteurs sont transmises à de cartes d'acquisition dans le sysème de traitement numérique 6 et peuvent être utilisées pour confirmer les indications fournies par les algorithmes de traitement d'image ou pour améliorer les performances de ces algorithmes. Par exemple, un détecteur de mouvements peut être utilisé pour déclencher un déplacement ou un mouvement de zoom optique ou numérique d'une caméra vers la zone où le mouvement s'est produit, ou pour concentrer les algorithmes de traitement d'image sur les portions d'image correspondant à la zone où le mouvement a été détecté. Les résultats des différents algorithmes sont combinés entre eux par un processus d'interprétation et de prise de décision des résultats exécutés par exemple par le système 7 afin de détecter les flammes et/ou la fumée de manière fiable. Ce processus d'interprétation des résultats peut prendre en compte l'évolution des différents critères de détection en fonction du temps. Par exemple, un niveau de détection qui grandit rapidement est plus dangereux qu'un niveau de détection stable.The digital processing system 6 can also be connected to one or more external sensors which may be present and which make it possible to detect particular events, for example sensors of temperature, infrared or ultraviolet radiation, movement, etc. The indications provided by these sensors are transmitted to acquisition cards in the digital processing system 6 and can be used to confirm the indications provided by the image processing algorithms or to improve the performance of these algorithms. For example, a motion detector can be used to trigger an optical or digital zoom movement or movement from a camera to the area where the movement occurred, or to focus image processing algorithms on portions image corresponding to the area where motion was detected. The results of the different algorithms are combined with one another by a process of interpretation and decision-making of the results executed for example by the system 7 in order to detect the flames and / or the smoke in a reliable manner. This process of interpretation of the results can take into account the evolution of the different detection criteria as a function of time. For example, a rapidly growing detection level is more dangerous than a stable detection level.
Comme mentionné plus haut, il est possible d'améliorer sensiblement les performances du système en segmentant l'image en plusieurs portions et en adaptant la sensibilité de détection des différents algorithmes selon ces différentes portions. Les portions d'image pouvant poser des problèmes de fausses alarmes (cheminées dans un paysage, portion d'un mur où les phares de voiture se reflètent, etc.) peuvent ainsi être désensibilisées sans influencer la détection dans les autres parties de l'image. Il est également possible de rendre plus sensible les parties les plus éloignées de la scène, et moins sensibles les parties plus proches afin de compenser l'effet de perspective. Cette adaptation peut se faire manuellement ou automatiquement.As mentioned above, it is possible to significantly improve the performance of the system by segmenting the image into several portions and by adapting the detection sensitivity of the different algorithms according to these different portions. The portions of the image that can cause false alarm problems (chimneys in a landscape, portion of a wall where the car headlights are reflected, etc.) can thus be desensitized without influencing the detection in the other parts of the image. . It is also possible to make the more distant parts of the scene more sensitive, and the closer parts less sensitive in order to compensate for the perspective effect. This adaptation can be done manually or automatically.
Selon l'invention, la sensibilité peut être modifiée pour adapter le système à son environnement. Dans un mode de réalisation préférentiel, ce réglage peut se faire à l'aide d'un paramètre unique influençant tous les algorithmes du système. Ce paramètre peut être modifié par l'intermédiaire d'un bouton glisseur sur l'interface graphique 10, d'un potentiomètre, ou par n'importe quel autre élément de réglage.According to the invention, the sensitivity can be modified to adapt the system to its environment. In a preferred embodiment, this adjustment can be made using a single parameter influencing all the algorithms of the system. This parameter can be modified via a slider button on the graphical interface 10, a potentiometer, or by any other adjustment element.
Lorsque le programme de détection de feu est destiné à être utilisé dans des environnements très différents, par exemple si le même programme est employé pour détecter des feux de forêts dans un paysage ou des incendies dans un tunnel routier, il est souhaitable de pouvoir régler séparément la sensibilité des algorithmes de détection de flamme et des algorithmes de détection de fumée. La figure 5 illustre deux boutons- glisseurs permettant de régler séparément la détection de flammes et la détection de fumée. L'homme du métier comprendra qu'il est aisément possible, dans le cadre de l'invention, d'imaginer un mode de paramétrage avancé permettant de régler séparément la sensibilité de chaque algorithme, la sensibilité appliquée sur chaque zone ou sur chaque composante de couleurs, etc. Il est ainsi possible d'employer un même dispositif et un même programme de détection de feux et de le paramétrer pour détecter des flammes ou de la fumée dans des environnements très différents, par exemple dans un tunnel routier ou ferroviaire, à l'extérieur, dans des hangars, etc.When the fire detection program is intended to be used in very different environments, for example if the same program is used to detect forest fires in a landscape or fires in a road tunnel, it is desirable to be able to adjust separately the sensitivity of flame detection algorithms and smoke detection algorithms. Figure 5 illustrates two sliders for separately setting flame detection and smoke detection. Those skilled in the art will understand that it is easily possible, within the framework of the invention, to imagine an advanced configuration mode making it possible to separately adjust the sensitivity of each algorithm, the sensitivity applied to each zone or to each component of colors, etc. It is thus possible to use the same device and the same fire detection program and to configure it to detect flames or smoke in very different environments, for example in a road or rail tunnel, outside, in hangars, etc.
Les différents événements pouvant survenir dans le systèmes sont présentés par l'interface graphique 10 à l'opérateur par ordre d'urgence. L'interface graphique affiche ainsi par exemple en tête de liste les alarmes flamme et fumée en commençant par l'alarme la plus récente, puis les préalarmes flamme et fumée en commençant ici aussi par la préalarme la plus récente, les autres événements ou alarmes éventuellement détectés étant affichés en queue de liste. Ces autres événements peuvent comprendre par exemple des pannes de caméra, des caméras encrassées, des indications de luminosité insuffisante de la scène à surveiller, ou des événements externes détectés par des capteurs non représentés, tel que décrochage des extincteurs, ouvertures de portes, etc. Un message visuel, de préférence une fenêtre "pop-up" indiquant le type d'alarme détectée et s'ouvrant dans une interface graphique 10, et un beep sonore sont de préférence générés lors de la détection d'une alarmeThe various events that can occur in the systems are presented by the graphical interface 10 to the operator in order of emergency. The graphic interface thus displays for example at the top of the list the flame and smoke alarms starting with the most recent alarm, then the flame and smoke pre-alarms starting here also with the most recent pre-alarm, other events or alarms if necessary detected being displayed at the bottom of the list. These other events may include, for example, camera failures, dirty cameras, indications of insufficient brightness of the scene to be monitored, or external events detected by sensors not shown, such as stalling of fire extinguishers, door openings, etc. A visual message, preferably a "pop-up" window indicating the type of alarm detected and opening in a graphical interface 10, and an audible beep are preferably generated when an alarm is detected
Ces différents événements peuvent être stockés dans un fichier (" log file") dans le système de traitement 6, dans le système 7 ou dans l'ordinateur employé par l'opérateur distant et répertoriant tous les événements survenus. Ce fichier est de préférence constitué par un document XML contenant également des images ou des séquences d'images liées à chaque événement répertorié, ainsi que la date de l'événement. Un opérateur peut ainsi consulter le fichier XML correspondant à la période de surveillance et charger les images enregistrées, par exemple à distance, pour vérifier les alarmes détectées et s'assurer par exemple que les alarmes détectées correspondent effectivement à des incendies.These various events can be stored in a file ("log file") in the processing system 6, in the system 7 or in the computer used by the remote operator and listing all the events that have occurred. This file is preferably made up of an XML document also containing images or sequences of images linked to each listed event, as well as the date of the event. An operator can thus consult the XML file corresponding to the monitoring period and load the recorded images, for example remotely, to check the detected alarms and ensure, for example, that the alarms detected actually correspond to fires.
La présente invention concerne un procédé de détection de feu. Elle concerne également un dispositif spécialement adapté pour mettre en œuvre ce procédé, par exemple un ordinateur ou une caméra intelligente programmés pour mettre en œuvre ce procédé, ainsi qu'un support de données comportant un programme d'ordinateur directement chargeable dans la mémoire d'un tel dispositif et comprenant des portions de code informatique constituant des moyens pour exécuter ce procédé. The present invention relates to a fire detection method. It also relates to a device specially adapted for implementing this method, for example a computer or an intelligent camera programmed to implement this method, as well as a data medium comprising a computer program directly loadable in the memory of such a device and comprising portions of computer code constituting means for carrying out this process.

Claims

Revendications claims
1. Procédé de détection automatique de feu, basé sur la reconnaissance de flammes et/ou de fumée à partir de l'analyse d'une séquence d'images, l'analyse étant basée sur plusieurs algorithmes de traitement d'images, caractérisé en ce qu'un algorithme consiste à comparer le contenu fréquentiel d'au moins une image (31) de ladite séquence avec le contenu fréquentiel d'une image de référence (32) de manière à détecter une atténuation des hautes fréquences indépendamment des variations sur les autres portions du spectre spatial de l'image.1. Automatic fire detection method, based on the recognition of flames and / or smoke from the analysis of a sequence of images, the analysis being based on several image processing algorithms, characterized in what an algorithm consists in comparing the frequency content of at least one image (31) of said sequence with the frequency content of a reference image (32) so as to detect an attenuation of the high frequencies independently of the variations on the other portions of the spatial spectrum of the image.
2. Procédé selon la revendication 1, dans lequel la sensibilité de détection d'au moins un desdits algorithmes peut être réglée au travers d'une interface graphique (10) indépendamment de la sensibilité globale du système.2. Method according to claim 1, in which the detection sensitivity of at least one of said algorithms can be adjusted through a graphical interface (10) independently of the overall sensitivity of the system.
3. Procédé selon l'une des revendications 1 ou 2, dans lequel ladite comparaison est effectuée uniquement en un ou plusieurs endroits de ladite image (31).3. Method according to one of claims 1 or 2, wherein said comparison is carried out only in one or more places of said image (31).
4. Procédé selon la revendication 3, dans lequel ladite image (31) est divisée en plusieurs zones, ladite comparaison étant effectuée entre au moins une zone de ladite image de référence (32) et au moins une zone comparable d'un moins une image (31) de ladite séquence.4. Method according to claim 3, in which said image (31) is divided into several zones, said comparison being carried out between at least one zone of said reference image (32) and at least one comparable zone of at least one image. (31) of said sequence.
5. Procédé selon l'une des revendications 1 à 4, dans lequel le contenu fréquentiel d'au moins deux composantes chromatiques desdites images de ladite séquence et de ladite image de référence sont calculés et employés séparément pour ladite comparaison.5. Method according to one of claims 1 to 4, wherein the frequency content of at least two chromatic components of said images of said sequence and said reference image are calculated and used separately for said comparison.
6. Procédé selon l'une des revendications 1 à 5, dans lequel au moins un desdits algorithmes de traitement d'image est un algorithme de détection de fumées par mesure de la saturation des couleurs dans au moins une portion desdites images.6. Method according to one of claims 1 to 5, wherein at least one of said image processing algorithms is an image processing algorithm. smoke detection by measuring the color saturation in at least a portion of said images.
7. Procédé selon l'une des revendications 1 à 6, dans lequel au moins un desdits algorithmes de traitement d'image est un algorithme de détection de disparition des segments droits dans au moins une portion desdites images (31).7. Method according to one of claims 1 to 6, in which at least one of said image processing algorithms is an algorithm for detecting the disappearance of straight segments in at least a portion of said images (31).
8. Procédé selon l'une des revendications 1 à 7, dans lequel au moins un desdits algorithmes de traitement d'image est un algorithme de détection de flammes (14).8. Method according to one of claims 1 to 7, wherein at least one of said image processing algorithms is a flame detection algorithm (14).
9. Procédé selon la revendication 8, dans lequel un dit algorithme de détection de flammes consiste à analyser des variations entre images consécutives pour détecter des objets dont les contours oscillent avec une fréquence supérieur à 0.5Hz.9. The method as claimed in claim 8, in which a said flame detection algorithm consists in analyzing variations between consecutive images to detect objects whose contours oscillate with a frequency greater than 0.5 Hz.
10. Procédé selon la revendication 8, dans lequel un dit algorithme de détection de flammes consiste à identifier des objets dont la forme et la couleur varient de manière non régulière.10. The method of claim 8, wherein a said flame detection algorithm consists in identifying objects whose shape and color vary irregularly.
11. Procédé selon la revendication 8, dans lequel un dit algorithme de détection de flammes consiste à évaluer les températures de couleur dans au moins une portion desdites images pour détecter la présence de flammes.11. The method of claim 8, wherein a said flame detection algorithm consists in evaluating the color temperatures in at least a portion of said images to detect the presence of flames.
12. Procédé selon l'une des revendications 1 à 11, dans lequel au moins un desdits algorithmes de traitement d'image utilise plusieurs séquences d'image représentant la même vue sous différents angles.12. Method according to one of claims 1 to 11, wherein at least one of said image processing algorithms uses several image sequences representing the same view from different angles.
13. Procédé selon la revendication 12, dans lequel ledit algorithme utilisant plusieurs séquences d'images permet de fournir une information sur la distance, la forme et/ou le volume des flammes et de la fumée. 13. The method of claim 12, wherein said algorithm using several sequences of images makes it possible to provide information on the distance, the shape and / or the volume of the flames and of the smoke.
14. Procédé selon l'une des revendications précédentes, dans lequel au moins un desdits algorithmes de traitement d'image est un algorithme permettant de détecter la présence d'un nouvel objet dans une portion d'image.14. Method according to one of the preceding claims, in which at least one of said image processing algorithms is an algorithm making it possible to detect the presence of a new object in an image portion.
15. Procédé selon la revendication 14, dans lequel au moins un algorithme de détection de flamme ou de fumée est utilisé pour analyser de manière plus détaillée la portion d'image où un nouvel objet est apparu.15. The method of claim 14, wherein at least one flame or smoke detection algorithm is used to analyze in more detail the image portion where a new object has appeared.
16. Procédé selon l'une quelconque des revendications 1 à 15, dans lequel l'évolution temporelles des résultats fournis par au moins un desdits algorithmes est prise en compte dans la détection de flammes ou de fumée.16. Method according to any one of claims 1 to 15, in which the temporal evolution of the results provided by at least one of said algorithms is taken into account in the detection of flames or smoke.
17. Procédé selon l'une quelconque des revendications 1 à 16, mis en oeuvre à l'aide d'au moins une caméra vidéo (3) et un dispositif de numérisation vidéo (4) connecté à un ordinateur (6) pour effectuer l'ensemble des algorithmes de détection, et équipé de moyens de visualisation (10, 15, 12) pour un opérateur humain.17. Method according to any one of claims 1 to 16, implemented using at least one video camera (3) and a video digitizing device (4) connected to a computer (6) to perform the 'set of detection algorithms, and equipped with display means (10, 15, 12) for a human operator.
18. Procédé selon l'une quelconque des revendications 1 à 16, mis en oeuvre par une caméra numérique (3) intégrant l'optique (30), le capteur d'image, le dispositif de numérisation des images, le processeur (6) pour l'exécution de l'ensemble des algorithmes de détection et une interface de communication des résultats de détection et/ou de moyens de visualisation pour un opérateur humain.18. Method according to any one of claims 1 to 16, implemented by a digital camera (3) integrating the optics (30), the image sensor, the image scanning device, the processor (6) for the execution of all the detection algorithms and an interface for communicating the detection results and / or display means for a human operator.
19. Procédé selon l'une quelconque des revendications 1 à 18, comprenant une étape de réglage de la sensibilité à l'aide d'un élément de réglage permettant de choisir indépendamment la sensibilité de détection de flammes et la sensibilité de détection de la fumée.19. Method according to any one of claims 1 to 18, comprising a step of adjusting the sensitivity using an adjustment element making it possible to independently choose the flame detection sensitivity and the smoke detection sensitivity. .
20. Procédé selon l'une quelconque des revendications 1 à 18, comprenant une étape de réglage de la sensibilité à l'aide d'un élément de réglage permettant de choisir indépendamment la sensibilité de détection à chaque algorithme parmi une pluralité d'algorithmes employés.20. Method according to any one of claims 1 to 18, comprising a step of adjusting the sensitivity using a setting allowing the detection sensitivity to each algorithm to be chosen independently from a plurality of algorithms used.
21. Dispositif de traitement d'images numériques (6; 3) adapté pour recevoir des séquences d'images numériques provenant d'au moins une caméra vidéo (3) et comprenant un programme informatique permettant d'exécuter le procédé d'une des revendications précédentes.21. A digital image processing device (6; 3) adapted to receive sequences of digital images from at least one video camera (3) and comprising a computer program making it possible to carry out the method of one of the claims preceding.
22. Dispositif selon la revendication précédente, comprenant des moyens de visualisation (10, 15, 12) pour un opérateur humain permettant de visualiser lesdites séquences d'images numériques.22. Device according to the preceding claim, comprising display means (10, 15, 12) for a human operator making it possible to display said sequences of digital images.
23. Dispositif selon la revendication précédente, comprenant des moyens de génération d'alarme pour générer une alarme affichée sur lesdits moyens de visualisation dès qu'un feu a été détecté, et des moyens permettant à un opérateur humain de confirmer ou d'infirmer la présence de feu en visualisant lesdites images.23. Device according to the preceding claim, comprising alarm generation means for generating an alarm displayed on said display means as soon as a fire has been detected, and means enabling a human operator to confirm or deny the presence of fire when viewing said images.
24. Support de données comportant un programme d'ordinateur directement chargeable dans la mémoire d'un dispositif de traitement numérique et comprenant des portions de code informatique constituant des moyens pour exécuter le procédé d'une des revendications 1 à 20. 24. Data medium comprising a computer program directly loadable into the memory of a digital processing device and comprising portions of computer code constituting means for carrying out the method of one of claims 1 to 20.
EP02711747A 2001-02-26 2002-02-26 Method and device for detecting fires based on image analysis Expired - Lifetime EP1364351B8 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CH340012001 2001-02-26
CH3402001 2001-02-26
PCT/CH2002/000118 WO2002069292A1 (en) 2001-02-26 2002-02-26 Method and device for detecting fires based on image analysis

Publications (3)

Publication Number Publication Date
EP1364351A1 EP1364351A1 (en) 2003-11-26
EP1364351B1 EP1364351B1 (en) 2005-06-29
EP1364351B8 true EP1364351B8 (en) 2006-05-03

Family

ID=4505312

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02711747A Expired - Lifetime EP1364351B8 (en) 2001-02-26 2002-02-26 Method and device for detecting fires based on image analysis

Country Status (5)

Country Link
US (1) US6937743B2 (en)
EP (1) EP1364351B8 (en)
AT (1) ATE298912T1 (en)
ES (1) ES2243699T3 (en)
WO (1) WO2002069292A1 (en)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10011411C2 (en) * 2000-03-09 2003-08-14 Bosch Gmbh Robert Imaging fire detector
US7729511B2 (en) 2002-09-24 2010-06-01 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous area
ATE335958T1 (en) * 2002-09-24 2006-09-15 Pilz Gmbh & Co Kg METHOD AND DEVICE FOR SECURING A HAZARDOUS AREA
US7685341B2 (en) 2005-05-06 2010-03-23 Fotonation Vision Limited Remote control apparatus for consumer electronic appliances
US7747596B2 (en) * 2005-06-17 2010-06-29 Fotonation Vision Ltd. Server device, user interface appliance, and media processing network
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7154400B2 (en) * 2003-06-27 2006-12-26 The United States Of America As Represented By The Secretary Of The Navy Fire detection method
US7805002B2 (en) * 2003-11-07 2010-09-28 Axonx Fike Corporation Smoke detection method and apparatus
US7764844B2 (en) * 2004-09-10 2010-07-27 Eastman Kodak Company Determining sharpness predictors for a digital image
DE102004056958B3 (en) * 2004-11-22 2006-08-10 IQ wireless GmbH, Entwicklungsgesellschaft für Systeme und Technologien der Telekommunikation Surveillance of territories for detection of forest and wildfires
US7574039B2 (en) * 2005-03-24 2009-08-11 Honeywell International Inc. Video based fire detection system
US7694048B2 (en) * 2005-05-06 2010-04-06 Fotonation Vision Limited Remote control apparatus for printer appliances
GB2428472A (en) * 2005-07-18 2007-01-31 Sony Uk Ltd Smoke detection by processing video images
GB2428473A (en) * 2005-07-18 2007-01-31 Sony Uk Ltd Fire detection by processing video images
US7769204B2 (en) * 2006-02-13 2010-08-03 George Privalov Smoke detection method and apparatus
US7495767B2 (en) 2006-04-20 2009-02-24 United States Of America As Represented By The Secretary Of The Army Digital optical method (DOM™) and system for determining opacity
US20090115915A1 (en) * 2006-08-09 2009-05-07 Fotonation Vision Limited Camera Based Feedback Loop Calibration of a Projection Device
US20090219389A1 (en) * 2006-09-25 2009-09-03 Siemens Schweiz Ag Detection of Smoke with a Video Camera
US20080137906A1 (en) * 2006-12-12 2008-06-12 Industrial Technology Research Institute Smoke Detecting Method And Device
US7868772B2 (en) * 2006-12-12 2011-01-11 Industrial Technology Research Institute Flame detecting method and device
US20080136934A1 (en) * 2006-12-12 2008-06-12 Industrial Technology Research Institute Flame Detecting Method And Device
CA2675705A1 (en) * 2007-01-16 2008-07-24 Utc Fire & Security Corporation System and method for video based fire detection
US8138927B2 (en) * 2007-03-22 2012-03-20 Honeywell International Inc. Flare characterization and control system
US7872584B2 (en) * 2007-04-09 2011-01-18 Honeywell International Inc. Analyzing smoke or other emissions with pattern recognition
DE102007062281A1 (en) * 2007-12-21 2009-06-25 Bayer Materialscience Ag Method and device for checking the risk of fire of a material
US7786877B2 (en) * 2008-06-20 2010-08-31 Billy Hou Multi-wavelength video image fire detecting system
WO2010060407A1 (en) 2008-11-03 2010-06-03 IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH Method and device for the nighttime r4ecgnition of fires and differentiation from artificial light sources
TWI377511B (en) * 2008-12-05 2012-11-21 Ind Tech Res Inst Flame detecting method and system
US8941734B2 (en) 2009-07-23 2015-01-27 International Electronic Machines Corp. Area monitoring for detection of leaks and/or flames
GB2472646A (en) * 2009-08-14 2011-02-16 Alan Frederick Boyd CCTV system arranged to detect the characteristics of a fire
US8497904B2 (en) * 2009-08-27 2013-07-30 Honeywell International Inc. System and method of target based smoke detection
WO2011032117A1 (en) * 2009-09-13 2011-03-17 Delacom Detection Systems, Llc Method and system for wildfire detection using a visible range camera
US20110304728A1 (en) * 2010-06-11 2011-12-15 Owrutsky Jeffrey C Video-Enhanced Optical Detector
JP2012118698A (en) * 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd Image processing system
JP2013206328A (en) * 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd Object detection device
CN106169215A (en) * 2012-06-08 2016-11-30 爱克斯崔里斯科技有限公司 Multi-mode detects
DE102012213125A1 (en) * 2012-07-26 2014-01-30 Robert Bosch Gmbh Fire control system
US9654742B2 (en) * 2012-11-30 2017-05-16 Safety Management Services, Inc. System and method of automatically determining material reaction or sensitivity using images
US9202145B2 (en) * 2012-11-30 2015-12-01 Safety Management Services, Inc. System and method of determining material reaction or sensitivity using high-speed video frames
DE102013017395B3 (en) 2013-10-19 2014-12-11 IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH Method and device for automated early forest fire detection by means of optical detection of clouds of smoke
US9613432B2 (en) 2014-01-29 2017-04-04 Stmicroelectronics S.R.L. Fire detection system and method employing digital images processing
CN104469312B (en) * 2014-12-12 2019-01-04 成都栖林测控科技有限责任公司 A kind of fire detecting arrangement and its detection method of view-based access control model
CN105336085A (en) * 2015-09-02 2016-02-17 华南师范大学 Remote large-space fire monitoring alarm method based on image processing technology
CN105590401B (en) * 2015-12-15 2019-08-20 天维尔信息科技股份有限公司 Early warning interlock method and system based on video image
NO342011B1 (en) * 2016-06-16 2018-03-12 Roxel Aanestad As Tunnel monitoring system and method of operation
EP3531386B1 (en) * 2016-10-24 2024-06-12 Hochiki Corporation Fire monitoring system
CN106997461B (en) 2017-03-28 2019-09-17 浙江大华技术股份有限公司 A kind of firework detecting method and device
JP2017168117A (en) * 2017-04-28 2017-09-21 ホーチキ株式会社 Fire detection device and fire detection method
DE102018112479B3 (en) * 2018-05-24 2019-10-02 Universität Kassel Method and device for determining spatial information of a gaseous structure
CN111639620B (en) * 2020-06-08 2023-11-10 深圳航天智慧城市系统技术研究院有限公司 Fire analysis method and system based on visible light image recognition
US11908195B2 (en) 2020-12-01 2024-02-20 Devon Energy Corporation Systems, methods, and computer program products for object detection and analysis of an image
US20240153109A1 (en) * 2021-03-22 2024-05-09 Angarak, Inc. Image based tracking system
WO2023288209A1 (en) * 2021-07-14 2023-01-19 Sensormatic Electronics, LLC Systems and methods for parsing sensor data to provide contextual data for a security event
CN114225264A (en) * 2021-12-29 2022-03-25 合肥水泥研究设计院有限公司 Power station fire extinguishing system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4614968A (en) * 1982-02-16 1986-09-30 American District Telegraph Company Contrast smoke detector
US5153722A (en) * 1991-01-14 1992-10-06 Donmar Ltd. Fire detection system
US5237308A (en) * 1991-02-18 1993-08-17 Fujitsu Limited Supervisory system using visible ray or infrared ray
GB2257598B (en) * 1991-07-12 1994-11-30 Hochiki Co Surveillance monitor system using image processing
FR2696939B1 (en) 1992-10-16 1995-01-06 Bertin & Cie Method and device for rapid automatic detection of forest fires.
WO1997016926A1 (en) 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence
US5625342A (en) * 1995-11-06 1997-04-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Plural-wavelength flame detector that discriminates between direct and reflected radiation
US5937077A (en) * 1996-04-25 1999-08-10 General Monitors, Incorporated Imaging flame detection system
FR2750870B1 (en) * 1996-07-12 1999-06-04 T2M Automation METHOD FOR THE AUTOMATIC DETECTION OF FIRES, ESPECIALLY FOREST FIRES
FR2775534B1 (en) * 1998-02-27 2000-09-15 D Aviat Latecoere Soc Ind DEVICE FOR MONITORING AN ENCLOSURE, ESPECIALLY THE HOLD OF AN AIRCRAFT
US6529132B2 (en) 1998-02-27 2003-03-04 Societe Industrielle D'avation Latecoere Device for monitoring an enclosure, in particular the hold of an aircraft
GB9822956D0 (en) 1998-10-20 1998-12-16 Vsd Limited Smoke detection
US7002478B2 (en) * 2000-02-07 2006-02-21 Vsd Limited Smoke and flame detection
DE10011411C2 (en) * 2000-03-09 2003-08-14 Bosch Gmbh Robert Imaging fire detector
US6184792B1 (en) * 2000-04-19 2001-02-06 George Privalov Early fire detection method and apparatus
US6597799B1 (en) * 2000-06-19 2003-07-22 Scientech, Inc. Optical digital environment compliance system
JP4111660B2 (en) * 2000-07-18 2008-07-02 富士通株式会社 Fire detection equipment
BR0209543A (en) * 2001-05-11 2005-04-26 Detector Electronics Flame detection and fire detection method and apparatus

Also Published As

Publication number Publication date
ES2243699T3 (en) 2005-12-01
US20040175040A1 (en) 2004-09-09
ATE298912T1 (en) 2005-07-15
WO2002069292A8 (en) 2003-11-13
US6937743B2 (en) 2005-08-30
EP1364351A1 (en) 2003-11-26
EP1364351B1 (en) 2005-06-29
WO2002069292A1 (en) 2002-09-06

Similar Documents

Publication Publication Date Title
EP1364351B8 (en) Method and device for detecting fires based on image analysis
US8300890B1 (en) Person/object image and screening
US20030038877A1 (en) Imaging fire detector
CN109191761A (en) A kind of method for recognizing fire disaster based on flame multiple features fusion
JP2008537450A (en) Video-based human verification system and method
Seckiner et al. Forensic image analysis–CCTV distortion and artefacts
US20110058037A1 (en) Fire detection device and method for fire detection
FR2978267A1 (en) METHOD AND DEVICE FOR CONTROLLING AN APPARATUS BASED ON THE DETECTION OF PERSONS NEAR THE DEVICE
JP5042177B2 (en) Image sensor
CN106303469A (en) Video analysis detection method and system to indoor and outdoor surroundings Flame
EP0818766B1 (en) Method for automatic detection of fires, particularly of forest fires
EP4165546A1 (en) Method for automatic protection of an object, a person or a piece of information or visual work from a risk of undesired observation
CA2839596A1 (en) Fall detection device and method by image analysis
JP5393086B2 (en) Image sensor
US20210181122A1 (en) Close object detection for monitoring cameras
KR20140109671A (en) Flame dete ction method based on gray imaging signal of a cameras
KR20070028812A (en) Method and apparatus for monitoring forest fire using images photographed by camera device
JPH09293185A (en) Object detection device/method and object monitoring system
US11087615B2 (en) Video/sensor based system for protecting artwork against touch incidents
KR102469095B1 (en) Thermal camera health monitoring
KR102439548B1 (en) Power plant monitoring system and method
FR3141788A1 (en) Volumetric space monitoring system and corresponding computer program.
FR3133245A1 (en) Secure image capture system
Dheyab et al. Using the City's Surveillance Cameras to Create a Visual Sensor Network to Detect Fires
EP2329474A1 (en) Scene surveillance method and system

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030904

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

RIN1 Information on inventor provided before grant (corrected)

Inventor name: STRAUMANN, WERNER

Inventor name: RIZZOTTI, DIDIER

Inventor name: SCHIBLI, NIKOLAUS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SECURITON AG

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SCHIBLI, NIKOLAUS,C/O PATENTS & TECHNOLOGY SUR

Inventor name: RIZZOTTI, DIDIER

Inventor name: STRAUMANN, WERNER

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: FASTCOM TECHNOLOGY S.A.

Owner name: SECURITON AG

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050629

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050629

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050629

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050629

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REF Corresponds to:

Ref document number: 60204855

Country of ref document: DE

Date of ref document: 20050804

Kind code of ref document: P

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050929

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050929

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050929

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: PATENTS & TECHNOLOGY SURVEYS SA

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20050917

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2243699

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20051207

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060228

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060228

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060228

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20060330

BERE Be: lapsed

Owner name: SECURITON A.G.

Effective date: 20060228

Owner name: FASTCOM TECHNOLOGY S.A.

Effective date: 20060228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050629

REG Reference to a national code

Ref country code: CH

Ref legal event code: PFA

Owner name: SECURITON AG

Free format text: SECURITON AG#ALPENSTRASSE 20#CH-3052 ZOLLIKOFEN (CH) $ FASTCOM TECHNOLOGY S.A.#BOULEVARD DE GRANCY 19A#1006 LAUSANNE (CH) -TRANSFER TO- SECURITON AG#ALPENSTRASSE 20#CH-3052 ZOLLIKOFEN (CH) $ FASTCOM TECHNOLOGY S.A.#BOULEVARD DE GRANCY 19A#1006 LAUSANNE (CH)

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20140226

Year of fee payment: 13

Ref country code: IT

Payment date: 20140228

Year of fee payment: 13

Ref country code: FR

Payment date: 20140219

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20150219

Year of fee payment: 14

Ref country code: CH

Payment date: 20150218

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20150218

Year of fee payment: 14

Ref country code: AT

Payment date: 20150219

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20151030

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150302

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20160329

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150227

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 60204855

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 298912

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160226

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20160226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160229

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160901

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160226