EP4169005A1 - Procede et systeme de caracterisation geometrique de feux - Google Patents

Procede et systeme de caracterisation geometrique de feux

Info

Publication number
EP4169005A1
EP4169005A1 EP21733124.8A EP21733124A EP4169005A1 EP 4169005 A1 EP4169005 A1 EP 4169005A1 EP 21733124 A EP21733124 A EP 21733124A EP 4169005 A1 EP4169005 A1 EP 4169005A1
Authority
EP
European Patent Office
Prior art keywords
fire
point cloud
multimodal
local
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21733124.8A
Other languages
German (de)
English (en)
Inventor
Vito CIULLO
Lucile ROSSI TISON
Elie EL RIF
Antoine Marie Padoue PIERI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite De Corse Pasquale Paoli Ucpp
Centre National de la Recherche Scientifique CNRS
Original Assignee
Universite De Corse Pasquale Paoli Ucpp
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite De Corse Pasquale Paoli Ucpp, Centre National de la Recherche Scientifique CNRS filed Critical Universite De Corse Pasquale Paoli Ucpp
Publication of EP4169005A1 publication Critical patent/EP4169005A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors

Definitions

  • the present invention relates generally to fires and more particularly to a system and a method for geometric characterization of fires occurring in an open environment.
  • Some of these techniques use one or more cameras operating in the visible range to capture images of the fire. From 2D information extracted from the acquired images, geometric characteristics can be obtained. Such a characterization uses a step of detecting the fire pixels in the images. The performance of this stage depends on fire characteristics, such as its color, texture, presence of fumes and the brightness of the environment. In order to achieve such characterization, it is known to use, in addition to cameras operating in the visible range, one or more cameras operating in the infrared range in order to more easily detect fire zones.
  • imaging techniques can be carried out statically by fixing the various cameras used around the fire to the ground, the cameras generally operating in a synchronized manner.
  • the acquired images are processed in two dimensions (2D) to extract information which is then concatenated in order to determine the geometric characteristics of the fire.
  • 2D two dimensions
  • the invention improves the situation by proposing a method of characterizing fires occurring in a geographical area partially covered by the fields of view of a stereoscopic imaging device, the imaging device being mobile, geo-located in a global mark and providing multimodal stereoscopic images acquired by means of two imaging units, each of the multimodal images comprising an image of the visible domain and an image of the infrared domain acquired simultaneously, the method of characterization of lights being characterized in that it comprises the following steps, performed in response to receiving a pair of multimodal stereoscopic images:
  • a first three-dimensional (3D) point cloud representing the fire being represented in a local coordinate system linked to the position of the imaging device stereoscopic at the time of acquisition of the pair of multimodal stereoscopic images;
  • the local measurement coordinate system associated with the local plane can be provided with an axis system comprising: a first axis collinear with the direction defined by the lateral angle; a second axis collinear with the direction defined by the longitudinal angle; and a third axis perpendicular to the room plane.
  • the global frame of reference can comprise an origin defined by an initial position of the stereoscopic imaging device, the global frame of reference can also be provided with a system of axes comprising: a first axis oriented parallel to the width of the geographic area; a second axis oriented parallel to the length of the geographic area; a third axis oriented so that the axis system forms a direct rectangle trihedron.
  • the method can further comprise a step of registration of multimodal images consisting in making the image of the visible domain transposable. and the image of the corresponding infrared domain so that a given pixel of the two images corresponds to the same point.
  • the method can further comprise a step of estimating the main direction of propagation of a fire detected from: a first barycenter of a set of lowest 3D points and extracted from the multimodal stereoscopic images received at the current moment; and a second barycenter of a set of lowest 3D points extracted from multimodal stereoscopic images received at an earlier time; the main direction of fire propagation being directed towards the first barycenter.
  • the method may further comprise a step of rotating the third 3D point cloud around the third axis of the local measurement frame associated with the local plane, which provides a transformed fourth 3D point cloud associated with a direction main fire propagation collinear with the second axis of the local measurement frame.
  • the method may further comprise a step of estimating a second plurality of local geometric characteristics of the fire from the transformed fourth 3D point cloud.
  • the second plurality of local geometric characteristics of the fire can comprise at least one characteristic from among the length of the light, the width of the light, the height of the light, the inclination of the light, the surface of the fire, the front of the fire and the volume of fire.
  • the step of detecting fire pixels in a multimodal image can comprise, for each of the pixels: the determination of a first vector of data associated with the pixel considered in the visible domain and of a second vector data associated with the pixel considered in the infrared domain; calculating a first probability result for the pixel to belong to a "fire” class from the first data vector and a second probability result for the pixel to belong to a "fire” class from the second data vector; the fusion of the obtained probability results; and the classification of the pixel considered according to whether it represents “fire” or “the environment”.
  • the step of generating a first 3D point cloud representing a fire can comprise the steps of:
  • the geometric data of the local plane can be estimated from the lowest 3D points.
  • a plurality of pairs of multimodal stereoscopic images can be provided by the stereoscopic imaging device and can be processed sequentially over time.
  • the method may further comprise a step of estimating a plurality of global geometric characteristics of the fire from the plurality of pairs of multimodal stereoscopic images, the plurality of global geometric characteristics comprising the speed of propagation of the fire. .
  • a characterization device comprising: a detection unit configured to detect, in each of the two multimodal stereoscopic images, fire pixels representing a fire occurring in the geographical area; a 3D point cloud generation unit configured to generate from the detected fire pixels a first three-dimensional (3D) point cloud representing the fire, the first 3D point cloud being represented in a local frame of reference linked to the position of the device stereoscopic imaging at the time of acquisition of the pair of multimodal stereoscopic images; a transformation unit configured to transform the first 3D point cloud into a second geo-located 3D point cloud in the global frame
  • the stereoscopic imaging device can be airborne by means of an aircraft.
  • the stereoscopic imaging device can be mobile by means of an unmanned ground vehicle.
  • FIG. 1 represents a system for characterizing fires, according to one embodiment of the invention
  • FIG. 2 represents a local propagation plan in which a method for characterizing a fire, according to embodiments of the invention can be implemented;
  • FIG. 3 is a flowchart showing the method of characterizing fires, according to one embodiment of the invention.
  • Figure 4 illustrates examples of geometric parameters of a fire that can be estimated by means of a fire characterization method according to embodiments of the invention
  • FIG. 5 is a flowchart showing the steps taken to detect fire pixels in a multimodal image according to embodiments of the invention.
  • FIG. 6 is a flowchart showing steps taken to generate a first 3D point cloud according to embodiments of the invention.
  • Figure 7 shows a processing device according to embodiments of the invention.
  • Figure 1 shows a geometric characterization system of lights 100, according to embodiments of the invention.
  • the fire characterization system 100 can be used, for example, in an outdoor environment where fires are likely to occur. Examples of outdoor environments include, without limitation, forests and agricultural fields.
  • the fire characterization system 100 may include a stereoscopic imaging device 101 movable relative to the ground.
  • the stereoscopic imaging device 101 can be geo-located in a global frame of reference 210.
  • the fire characterization system 100 can be configured to characterize fires occurring in a geographic area of the external environment, the geographical area being partially covered by the fields of view of the stereoscopic imaging device 101.
  • the stereoscopic imaging device 101 advantageously comprises two imaging units 1011, 1012.
  • Each of the two imaging units 1011, 1012 may include a first sensor 101a, 101c and a second sensor 101b, 101d.
  • the first sensors 101a, 101c can be configured to capture and provide images in the visible domain
  • the second sensors 101b, 101d can be configured to capture and provide images in the infrared domain.
  • Each pair of two sensors of the same imaging unit can be configured to capture a first elementary image in the visible domain and a second elementary image in the infrared domain according to the same elementary image capture instant, the two elementary images. captured forming a multimodal image.
  • the two imaging units 1011, 1012 can also be synchronized by means of a synchronization signal so as to simultaneously capture two multimodal images according to the same multimodal image capture instant, the two captured multimodal images forming a pair of two multimodal stereoscopic images and comprising a total of four elementary images.
  • each imaging unit 1011, 1012 can have the same opto-geometric characteristics, such as the same field of view, and can be oriented so that the scenes captured by the two sensors relative to the same multimodal image are aligned. cover substantially completely.
  • the sensors forming each imaging unit 1011, 1012 can have different opto-geometric characteristics (such as for example field of view, resolution, focal length, etc.), and their orientations can be adjusted so that the scenes captured relative to the same multimodal image partially overlap.
  • the imaging units 1011, 1012 can be arranged next to each other by securing them to a rigid support 1013, which can be for example a metal bar, a carbon fiber bar, or any other rigid support. adapted.
  • the two imaging units 1011, 1012 may be spaced apart from each other by a chosen spacing distance, for example equal to about one meter.
  • the sensors providing images in the visible domain and equipping the two imaging units can be identical or different in terms of opto-geometric characteristics and orientation.
  • the sensors providing images in the infrared range and equipping the two imaging units may be identical or different in terms of opto-geometric characteristics and orientation.
  • the sensors fitted to each of the two imaging units 1011, 1012 can be oriented so that the two multimodal stereoscopic images at least partially overlap.
  • the imaging units 1011, 1012 of the stereoscopic imaging device 101 may be calibrated before being operated to acquire multimodal stereoscopic images.
  • a calibration makes it possible, for example, to extract intrinsic and extrinsic parameters of the imaging device 101 which can then be used to obtain three-dimensional (3D) geometric information, such as 3D coordinates of a set of identified points, from of a pair of multimodal stereoscopic images.
  • the calibration can be performed using a grid comprising several side boxes, with alternating black and white boxes, the white boxes being coated with aluminum to provide useful information in the visible range and / or. in the infrared domain.
  • the stereoscopic imaging device 101 may further include a sync and save unit 1014 configured to provide the sync signal to the imaging units 1011, 1012.
  • the sync and save unit 1014 may further be configured to receive and save the multimodal images captured by the two imaging units 1011, 1012.
  • the images of the visible domain and the images of the infrared domain can be saved in the same image format which can be for example JPEG, BMP, PNG, Or other.
  • the resolutions in number of pixels of such images may be the same or different.
  • the stereoscopic imaging device In one embodiment of the invention, the stereoscopic imaging device
  • the aircraft 101 can be airborne by means of an aircraft 102.
  • the aircraft can be airborne by means of an aircraft 102.
  • the aircraft is advantageousously, the aircraft
  • the stereoscopic imaging device 101 can be mobile with respect to the ground while being transported by a land vehicle.
  • the land vehicle can be of the unmanned ground vehicle (UGV) type, also known under the name of land robot.
  • the ground robot can be configured not to enter the geographic area 110 on which the fire 111 occurs.
  • the stereoscopic imaging device 101 may further include several position sensors for locating the stereoscopic imaging device 101 for each multimodal image captured by such a device.
  • Such position sensors can comprise a geolocation unit 103 of the GPS (Global Positioning System) or GNSS (Global Navigation Satellite System) type and an inertial unit 104, configured respectively to determine the position and the attitude (roll angles, pitch and heading) of the stereoscopic imaging device 101 in a global frame of reference 210.
  • the position sensors may further include an orientation device, such as a compass, capable of providing information relating to the orientation of the device.
  • stereoscopic imaging 101 in a global frame 210.
  • the aircraft 102 carrying the imaging device can be configured not to overfly the geographic area 110 over which the fire 111 is occurring.
  • a multimodal image acquired by such an imaging device can correspond to a front, side or rear view of the light.
  • the stereoscopic imaging device 101 may comprise an electrical energy supply unit capable of continuously supplying sufficient electrical energy over time to the various elements forming the stereoscopic imaging device. 101.
  • the number of stereoscopic imaging devices used in the light characterization system 100 may be greater than or equal to two. Such embodiments make it possible to supply simultaneously several pairs of multimodal stereoscopic images obtained in different spectral bands. In addition, the use of several stereoscopic imaging devices makes it possible, in the event of malfunction of an imaging device, to continue to supply pairs of multimodal stereoscopic images.
  • the fire characterization system 100 can further include a characterization device 120 configured to process the multimodal stereoscopic images provided by the processing and saving unit 1014 of the stereoscopic imaging device 101.
  • the characterization device 120 can be airborne. by means of the same aircraft 102 carrying the stereoscopic imaging device 101. Alternatively, the characterization device 120 can be located on the ground by being fixed or mobile.
  • the sensors 101b, 101d providing images in the infrared domain can be configured to operate, in the wavelength band between 8 micrometers and 14 micrometers, such a length band.
  • wave being also known by the English acronym LWIR (Long Wave Infrared).
  • Figure 2 shows a local propagation plan in which the fire characterization method according to embodiments of the invention can be implemented.
  • the instantaneous position of the stereoscopic imaging device 101 can be defined in a global frame of reference 210.
  • a global frame of reference 210 may have as its origin an initial position of the imaging device obtained, for example, before the takeoff of the aircraft 102, or the putting into circulation of a terrestrial robot, transporting the imaging device.
  • the global reference 210 can be provided with an orthonormal base formed of three axes 211, 212, 213 forming a direct rectangle trihedron and comprising a first axis 213 parallel to the supposed direction of fire propagation, and two other axes 211, 212 completing the direct rectangle trihedron (and therefore orthogonal to the first axis).
  • the directions of the length and width of the geographic area can be defined according to the assumed direction of fire spread by choosing the direction of the length collinear with that of the fire spread.
  • a local landmark 220 associated with the instantaneous position of the stereoscopic imaging device 101 can be defined.
  • a local coordinate system 220 can admit as its origin the instantaneous position of one of the imaging units 1011, 1012 and can be provided with an orthonormal base formed of three of axis 221, 222, 223 forming a direct rectangle trihedron.
  • a first axis 221 forming the direct trihedron may be oriented from the origin towards the other imaging unit, a second axis 223 may be oriented parallel to the optical axis of one of the imaging units 1011, 1012 and a third axis 222 completing the direct rectangle trihedron.
  • the geographic area 110 on which the fire 111 occurs, associated with a multimodal image can be roughly modeled by a local two-dimensional (2D) plane 230.
  • a local plane 230 can be defined with respect to a reference plane 240 by means of two geometric data which can be two angles, comprising a lateral angle (Q) 262 and a longitudinal angle (cp) 261, defining the orientation of the local plane 230 relative to the reference plane 240 relative to two perpendicular directions.
  • the two perpendicular directions can for example correspond to the first axis 211 and to the second axis 213 of the global reference frame 210.
  • the reference plane 240 can for example correspond to the level of the sea or to the plane defined by the first axis 211 and the second axis 213. of the global benchmark 210.
  • a local measurement benchmark 250 can be defined for each local plane 230 modeled. Such a local measurement benchmark 250 can be determined from the associated local plane 230 and from the global benchmark 210 as defined above.
  • the local measurement coordinate system 250 can have the same origin as the global coordinate system 210. Its system of axes 251, 252, 253 can be determined so that the first axis 251 and the second axis 253 are parallel to the direction defined by l 'lateral angle (Q) 262 and the direction defined by the longitudinal angle (cp) 261, respectively.
  • the third axis 252 of the local measurement frame 250 can be chosen perpendicular to the associated local plane 230.
  • the system of axes of a local measurement frame 250 can form a rectangle trihedron, in the sense that its axes 251, 252, 253 are perpendicular, two by two.
  • FIG. 3 represents a method of characterizing fires which can be implemented in the characterization device 120.
  • the steps of the method can be executed in a sequential manner after the reception of a pair of multimodal stereoscopic images supplied by a device of stereoscopic imaging 101.
  • step 301 of the method the two multimodal stereoscopic images are received in order to detect pixels which represent a fire in the images.
  • the detection of fire pixels relative to a multimodal image can be carried out by processing one of the associated elementary images, that is to say by detecting fire pixels in the image of the visible domain or by detecting pixels. of fire in the infrared domain image. This makes it possible, for example, to reduce the complexity of the calculation.
  • the detection of fire pixels relative to a multimodal image can be carried out using multimodal information, that is to say information obtained from the visible domain and information obtained from the infrared domain.
  • multimodal information that is to say information obtained from the visible domain and information obtained from the infrared domain.
  • the detection of fire pixels in an image of the visible domain can be carried out using a detection method implementing one or more color systems.
  • each color can be synthesized from the basic elements of the considered color system, and intrinsic characteristics of the fire pixels can be defined.
  • the color systems known to those skilled in the art include without limitation the RGB, YCbCr, TSI, YUV, L * a * b systems.
  • RGB type color system for example, each color can be synthesized from the three basic colors: red, green and blue.
  • Intrinsic characteristics of the fire pixels usable in such a color system can include, in the absence of obstacles such as smoke, the dominance of the red component in the fire pixels.
  • each color system implements several rules that a given pixel must meet in order for it to represent a fire.
  • the method of detecting fire pixels in an image of the visible domain can implement several color systems so as to use the rules of these color systems to detect fire pixels.
  • the detection method can use learning techniques from previously acquired fire images to define new rules and / or to modify the current rules.
  • the fire pixel detection method can use pixel texture rules, that is, rules using the distribution of fire pixel colors in space.
  • the same method of detecting fire pixels can be used to process a series of pairs of multimodal stereoscopic images supplied by the same imaging device 101 relative to the same fire.
  • the fire pixel detection method can change between a first series of pairs of multimodal stereoscopic images acquired by a first imaging system 101 and a second series of pairs of multimodal stereoscopic images acquired by a second imaging system 101.
  • a change may for example relate to the color systems used.
  • an intensity threshold can be defined in order to classify each pixel according to whether it represents fire 111 or whether it represents the environment adjacent to the fire.
  • Such an intensity threshold used to classify the pixels can be determined by a thresholding method suitable for the detection of fire pixels in the infrared range.
  • the detection of fire pixels can be performed using multimodal information from the visible domain image and the infrared domain image forming the multimodal image under consideration.
  • Such an embodiment requires prior processing of the elementary images forming the multimodal image so as to make them superimposable, that is to say that each pixel of two images taken simultaneously in the visible domain and in the infrared domain relates to in the same place of the captured scene.
  • the detection of fire pixels according to such embodiments can be performed sequentially starting with the infrared domain image using the approach described above, for example.
  • the visible domain image can then be processed by considering only the pixels identified as representing a fire after processing the infrared domain image.
  • the detection of fire pixels in the image of the visible domain among the previously identified pixels can be performed according to one of the approaches described above.
  • a first three-dimensional (3D) point cloud representing a fire can be generated from the fire pixels detected in the two images.
  • a 3D point belonging to the first 3D point cloud can represent the three-dimensional coordinates of the location to which the associated fire pixel relates.
  • Such a 3D point cloud can be defined in a local frame of reference 220 associated with the position of the stereoscopic imaging device 101 at the instant of acquisition of the processed multimodal stereoscopic images.
  • the first 3D point cloud expressed in a local frame of reference 220 associated with the position of the stereoscopic imaging device 101 can be transformed to be expressed in a global frame of reference 210.
  • Such a transformation provides a second point cloud. 3D and can be performed using the position and orientation of the stereoscopic imaging device 101 relative to the global coordinate system 210.
  • the transformation of the first 3D point cloud can be carried out by using a passage matrix M 220 2io from the local reference frame 220 to the global reference frame 210.
  • a transition matrix can be defined from the following elements: the angles of roll a, of pitch b and of heading g provided by the inertial unit 104 and representing the attitude of the stereoscopic imaging device 101 in the global frame of reference 210 relative to the instant of acquisition of the images multimodal stereoscopic; angles of roll a 0 , of pitch b 0 and of heading g 0 supplied by the inertial unit 104 and representing the attitude of the stereoscopic imaging device 101 in the global frame of reference 210 relative to an initial instant; rotation matrices R a , and R Y of the local coordinate system 220 around the respective axes 211, 212 and 213 of the global coordinate system 210; a translation matrix T defined from the coordinates N, E and U of the imaging device 101 in the local coordinate system 220 as supplied by the
  • the passage matrix M 2 2o 2io can be expressed according to the following relation:
  • M220 210 Ry (-Uq) * Bb (bq) * Ba (Cto) * S212 213 * Ba (-0 ( ) * Bb (b) * Bg (U) * G * S212 213 *
  • the geometry of the local 2D plane 230 on which the fire 111 occurs can be determined by estimating the lateral angle (Q) 262 and the longitudinal angle (cp) 261 quantifying the inclination of such 2D local plane 230 with respect to a reference plane 240 relative to two perpendicular directions, the geometry of the reference plane 240 in the global frame of reference 210 being previously known with precision.
  • the estimation of the geometry of the 2D local plane 230 can be carried out by using the 3D point cloud expressed in the global coordinate system 210. It is advantageous for the 3D points to be obtained from a rear view of the light which makes it possible to have information based on the flame touching the earth while a frontal view may have part of the flame obscured by vegetation.
  • the 3D points associated with a minimum altitude with respect to the adjacent 3D points and selected over a large area of the area on which the fire 111 occurs, can be chosen to estimate the geometry of the local 2D plane 230.
  • the method of least squares can be used to determine the geometry of the local 2D 230 plane from the 3D points chosen so as not to lose information on the real inclinations of the 2D 230 local plane.
  • the reconstruction of the geometry of the plane local 2D 230 can be carried out without requiring prior information on the digital model of the land on which the fire occurs.
  • the development of the digital terrain model generally complex to implement given the extent of the geographic areas concerned and the difficulty of accessing them, is thus simplified.
  • the inaccuracy of the digital terrain model data is incompatible with the fire characterization method according to the invention.
  • the geometry of the 2D local plane 230 can be estimated from a current 2D local plane obtained according to the approach described above and from at least one other previous 2D local plane obtained from a pair of multimodal stereoscopic images associated with an earlier instant.
  • the 3D points belonging to the current 2D local plane and the 3D points surrounding at least one other preceding 2D local plane are used to determine the geometry of the 2D local plane.
  • a local measurement frame 250 associated with the determined local 2D plane can be defined from the lateral angle (Q) 262 and the longitudinal angle (cp) 261 defining the orientations of the local 2D plane by relative to the reference plane 240.
  • the local measurement frame 250 can have the same origin as the global frame 210 and its axis system 251, 252, 253 can be determined so that its first axis 251 and its second axis 253 are parallel to the direction defined by the lateral angle (Q) 262 and to the direction defined by the longitudinal angle (cp) 261, respectively, the third axis 252 of the local measurement frame 250 being able to be chosen perpendicular to the local 230 associated plane.
  • Step 305 of the method may also consist in transposing the second 3D point cloud expressed in a global frame of reference 210 into a third 3D point cloud expressed in a local measurement frame of reference 250 associated with the local 2D plane.
  • the transposition of the second 3D point cloud can be carried out using a matrix of passage M 220 25o from the global frame of reference 220 to the local measurement frame 250 associated with the local 2D plane.
  • a passage matrix can be defined from the following elements: a first homogeneous rotation matrix R 0 defined from the lateral angle (Q) and from the axis of rotation 213 of the global reference frame 210; and a second homogeneous rotation matrix IT f defined from the longitudinal angle (cp) and the axis of rotation 211 of the global reference frame 210.
  • the passage matrix M 220 25o can be expressed according to the following relation: M 220
  • a first plurality of local geometric characteristics of the fire can be determined from the third 3D point cloud, as expressed in the local measurement benchmark 250.
  • the first plurality of geometric characteristics of the fire can comprise the main direction of fire spread.
  • the main direction of fire propagation can be determined from a first barycenter of a set of lowest 3D fire points, in terms of vertical elevation from a point of view. given reference level, and extracts from the third 3D point cloud resulting from a pair of current multimodal stereoscopic images, and from a second barycenter of a set of lowest 3D points of fire and extracted from a third 3D point cloud resulting from a pair of multimodal stereoscopic images associated with a previous instant.
  • the main direction of fire propagation can be oriented towards the first determined barycenter.
  • the fire characterization method can further include a step of transforming the third 3D point cloud when the main direction of fire propagation is not collinear with the second axis 253 of the local measurement frame 250.
  • a transformation can consist of in performing a rotation of the third 3D point cloud around the third axis 252 of the local measurement frame 250 so that the main direction of fire propagation is collinear with the second axis 253 of the local measurement frame 250.
  • Such a transformation can provide a fourth transformed 3D point cloud.
  • a second plurality of local geometric characteristics of the fire can be determined from the transformed fourth 3D point cloud.
  • the second plurality of local geometric characteristics of the light can include, by way of nonlimiting example, at least one characteristic among: the inclination of the light, the length of the light, the width of the light, the height of the light, the position of the light , the surface of the fire and the volume of the fire.
  • Figure 4 illustrates examples of geometric characteristics of fire that can be estimated from a transformed fourth 3D point cloud.
  • the length of the fire can be determined by measuring the distance from the top of the fire to the base of the fire front that delimits the burned area.
  • the height of the fire can be determined by measuring the distance between the top of the fire and its orthogonal projection on the ground.
  • the angle of inclination of the fire can be defined by the perpendicular to the ground passing through the base of the fire front and the line passing through the top of the flame and the base of the fire front.
  • the surface of the fire can be calculated from the triangules obtained by connecting the outer 3D points of the fourth transformed 3D point cloud.
  • FIG. 5 represents the steps implemented to detect pixels of lights in a multimodal image, according to one embodiment of the invention.
  • the multimodal image considered can comprise two superimposable images, that is to say that a pixel of two images relates to the same place of the captured scene.
  • the steps in Figure 5 can be performed for each pixel in the image multimodal in order to classify it according to whether it represents a fire or that it represents the adjacent environment.
  • the steps of FIG. 5 will be described by considering a single pixel of the multimodal image, by way of simplification. Those skilled in the art will easily understand that the steps of FIG. 5 apply to a plurality of pixels of the multimodal image comprising a plurality of pixels, by iterating these steps.
  • a data vector associated with the pixel considered can be defined for each of the elementary images forming the multimodal image.
  • Such data may, for example, include the light intensity, the dominant color and / or the temperature of the pixel.
  • a result quantifying the probability that the considered pixel belongs to a "fire" class can be calculated for each of the data vectors.
  • Such a result may correspond for the image of the visible domain to a "low probability” or a "high probability”.
  • the returned result may for example correspond to a pixel intensity level, generally uncorrelated to temperature due to absorption by fumes.
  • the results from different images can be merged according to a given merging method to determine the class of the pixel considered.
  • the pixel class can be either the class corresponding to the fire ("fire 111") or the class corresponding to the adjacent environment ("adjacent environment").
  • the results fusion method can be, for example, a statistical method, a method based on Dempster-Shafer belief theory or a method based on neural networks.
  • FIG. 6 represents the steps implemented to generate a first 3D point cloud from the pixels representing a fire in two multimodal stereoscopic images according to one embodiment of the invention.
  • Step 3021 the positions of the fire pixels in each of the two multimodal stereoscopic images, as provided at the output of step 301, are received.
  • Step 3021 may consist in selecting from the two multimodal images received one or more light pixels of interest.
  • the selection of pixels of interest in a multimodal image can be done by processing only the image of the associated visible domain.
  • the selected light pixels of interest in a multimodal image may belong to different areas of the image.
  • the selection of the pixels of interest can be done manually by an operator or can be done by means of one or more selection algorithms executed sequentially.
  • the selection of pixels of interest can be carried out by applying the Harris method which calculates the matrix of second order moments for each pixel of the image considered, from the matrix of second order moments, a function said force being then calculated. Harris' method defines the pixels of interest in an image as being those exhibiting a force function greater than that of neighboring pixels.
  • step 3021 may consist of calculating a description parameter, also called a "descriptor", for each pixel of interest identified in the multimodal stereoscopic images.
  • a descriptor is used to describe the pixels surrounding the pixel of interest. Examples of methods known to those skilled in the art making it possible to calculate such a description parameter include, by way of nonlimiting example, a method of descriptors based on the filters or a method of histogram of the gradients of orientations and d. 'site.
  • a matching operation of the pixels of interest can be performed between the two multimodal stereoscopic images.
  • a matching operation consists in seeking for each pixel of interest of the multimodal reference image the corresponding pixel of interest, that is to say the pixel which relates to the same location of the captured scene, in the other multimodal picture.
  • the search for a corresponding pixel of interest can be done automatically using a similarity measurement method between descriptors. For example, the so-called "sum of normalized squared distances to zero mean" method can be used to find the pixel of interest corresponding to a pixel of interest identified in the multimodal reference image.
  • the pairing of the pixels of interest can be carried out taking into account the intrinsic and extrinsic parameters of the stereoscopic imaging device 101.
  • the coordinates of the paired pixels can be calculated in a local coordinate system associated with the instantaneous position of the stereoscopic imaging device 101.
  • the calculation of the coordinates of the paired pixels can be carried out using a triangulation technique.
  • step 3023 can also consist in eliminating the paired 3D points which are separated from the volume where the other 3D points are concentrated. For example, if the distance 'd' separating a 3D point from its nearest neighbor satisfies the following relation
  • several pairs of multimodal stereoscopic images successively acquired by one or more stereoscopic imaging devices 101 relative to different positions can be received and processed sequentially according to one of the characterization methods.
  • the fire characterization method can, in this case, comprise an additional step consisting in representing in the same measurement frame the fourth transformed 3D point clouds extracted from at least two pairs of multimodal stereoscopic images to provide a point cloud Global 3D.
  • a plurality of global geometric characteristics of the fire can be estimated from a global 3D point cloud.
  • Examples of global geometric characteristics can include the speed of fire propagation, which can be measured from the position of the fire front in every fourth transformed 3D point cloud, and the time interval between the acquisition of the two. pairs of multimodal stereoscopic images used.
  • the fire characterization method can, in this case, include an additional step consisting in representing in the same measurement mark the fourth transformed 3D point clouds extracted from at least two pairs of multimodal stereoscopic images to provide a fifth 3D point cloud from which the second plurality of geometric characteristics of the fire can be extracted with better precision than that extracted from a transformed fourth 3D point cloud.
  • at least two pairs of multimodal stereoscopic images are acquired by means of a first airborne imaging device 101 and of a second imaging device 101 transported by a terrestrial robot.
  • FIG. 7 shows a fire characterization device 120 configured to implement the steps of a fire characterization method according to embodiments of the invention.
  • the characterization device 120 can receive multimodal stereoscopic images provided by the processing and storage unit 1014. The transmission of the multimodal images can be done wirelessly by means of radio frequency signals, or wired.
  • the characterization device 120 may include a detection unit 1201 configured to detect fire pixels in received multimodal images, and a 3D point cloud generation unit 1202 configured to generate a 3D point cloud from the fire pixels. detected.
  • the characterization device 120 may further include a 3D point cloud transforming unit 1203 and a geometric data estimation unit 1204.
  • the 3D point cloud transforming unit may be configured to apply a transformation to a first one. 3D point cloud received to provide, for example, a second 3D point cloud expressed in a global coordinate system.
  • the characterization device may further include a transposition unit 1205 and a geometric characteristic estimation unit 1206.
  • additional characteristics of the fire can be determined from the multimodal stereoscopic images provided by a stereoscopic imaging device 101.
  • Such additional characteristics can be thermal characteristics such as the maximum temperature of the fire. and the radiative flux emitted by the fire.
  • the embodiments of the invention thus make it possible to characterize in a precise and efficient manner a fire which propagates over a large geographical area, without requiring prior information on the geometry of the area considered. They make it possible to determine the geometric data of the zone on which the fire propagates from multimodal stereoscopic images provided by a stereoscopic imaging device 101.
  • the embodiments of the invention also allow adaptation to the evolution of fire unlike state of the art solutions which use fixed ground imaging devices.
  • the method of characterizing fire according to the embodiments can be implemented in various ways by hardware, software, or a combination of hardware and software, in particular in the form of hardware.
  • program code which may be distributed as a program product, in various forms.
  • the program code may be distributed using computer readable media, which may include computer readable storage media and communication media.
  • the methods described in the present description can in particular be implemented in the form of computer program instructions executable by one or more processors in a computer computing device. These computer program instructions may also be stored in computer readable media.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Les modes de réalisation de l'invention fournissent un procédé de caractérisation de feux se produisant dans une zone géographique (110) couverte par un dispositif d'imagerie (101 ), le dispositif d'imagerie étant mobile, géo-localisé dans un repère global (210) et fournissant des images stéréoscopiques multimodales, le procédé étant caractérisé en ce qu'il comprend les étapes suivantes : Détecter des pixels de feu; Générer un premier nuage de points tridimensionnels (3D); Transformer le premier nuage en un deuxième nuage géo-localisé dans le repère global (210); Estimer à partir du deuxième nuage de points 3D des données géométriques d'un plan local (230) sur lequel le feu (111 ) se produit; Transposer le deuxième nuage dans un repère local de mesure (250) pour fournir un troisième nuage de points 3D; Estimer à partir du troisième nuage de points 3D une première pluralité de caractéristiques géométriques locales du feu.

Description

DESCRIPTION
Procédé et système de caractérisation géométrique de feux
Art antérieur
La présente invention concerne de manière générale les incendies et plus particulièrement un système et un procédé de caractérisation géométrique de feu se produisant dans un milieu ouvert.
De nombreuses solutions ont été envisagées pour faire face aux incendies qui ont connu une recrudescence importante ces dernières années avec une ampleur de plus en plus significative, incluant des dégâts humains et matériels considérables.
Les solutions envisagées reposent généralement sur des études menées visant à comprendre ces phénomènes et à identifier les facteurs dont elles dépendent. Les solutions existantes utilisent classiquement des modèles mathématiques capables de modéliser l’évolution des incendies au cours du temps et de prédire les risques futurs. A partir de tels modèles, il est possible de déterminer une stratégie de lutte contre l’incendie ainsi que des moyens d’action adaptés.
L’élaboration de tels modèles mathématiques requièrent des mesures expérimentales relatives à la géométrie de feux qui se propagent et à leurs environnements adjacents afin d’améliorer et/ou de valider le modèle de propagation en cours. Il existe en outre un besoin d’assimiler au cours du temps les informations de géométrie de feux dans les modèles afin d’augmenter leur efficacité.
De nombreuses techniques d’imagerie ont été proposées pour déterminer les caractéristiques géométriques du feu. Certaines de ces techniques mettent en place une ou plusieurs caméras opérant dans le domaine visible pour capturer des images du feu. A partir d’informations 2D extraites à partir des images acquises, des caractéristiques géométriques peuvent être obtenues. Une telle caractérisation utilise une étape de détection des pixels de feu dans les images. Les performances de cette étape dépendent de caractéristiques de feu, telles que sa couleur, texture, présence de fumées et de la luminosité de l’environnement. Afin de réaliser une telle caractérisation, il est connu d’utiliser en plus des caméras opérant dans le domaine visible une ou plusieurs caméras opérant dans le domaine infrarouge afin de détecter plus facilement les zones de feu.
La mise en oeuvre de telles techniques d’imagerie peut s’effectuer de manière statique en fixant au sol autour du feu les différentes caméras mises en oeuvre, les caméras opérant généralement de manière synchronisée. Les images acquises sont traitées selon deux dimensions (2D) pour extraire des informations qui sont ensuite concaténées afin de déterminer des caractéristiques géométriques du feu. Par exemple, la technique d’imagerie proposée par Martinez-De Dios et al. [J. R. Martinez-de Dios, B.C. Arrue, A. Ollero, L. Merino, F. Gômez-Rodriguez, « Computer vision techniques for forest fire perception », Image and Vision Computing, Volume 26, Issue 4, 2008, Pages 550-562, ISSN 0262-8856] utilise deux caméras opérant dans le domaine visible et une caméra opérant dans le domaine infrarouge, les caméras du domaine visible étant positionnées frontalement et latéralement par rapport à la direction de propagation du feu. Un fonctionnement efficace d’une telle solution nécessite la mise en oeuvre sur le sol de plusieurs balises géo-référencées afin de calculer la relation entre le plan image d’une caméra et le plan terrain où se propage le feu, et par conséquent de pouvoir projeter les pixels des images sur le plan du terrain. L’utilisation de caméras fixes au sol selon de telles approches présente néanmoins de nombreuses limitations liées essentiellement à la propagation rapide du feu. De telles caractéristiques rendent difficile la recherche d’une position optimale d’une caméra pendant toute la durée de propagation du feu. Au cours de la propagation du feu, une caméra fixe au sol peut se retrouver trop éloignée du feu ce qui permet de couvrir toute la zone géographique où le feu se propage, au détriment d’une précision dégradée des images fournies. Inversement, une caméra peut se retrouver proche du feu pour fournir des images de meilleure précision mais en ne couvrant la zone géographique où le feu se propage que localement. En outre, la fixation des caméras à proximité du feu est une tâche à risque pour l’opérateur et pour le matériel compte tenu du comportement imprévisible du feu, la direction de propagation du feu pouvant changer en fonction du vent, par exemple.
Il est aussi connu d’utiliser un système d’imagerie stéréoscopique mettant en oeuvre deux caméras opérant dans le domaine visible et deux caméras opérant dans le domaine infrarouge pour fournir simultanément quatre images d’une même scène. Une telle solution permet d’obtenir des informations tridimensionnelles à partir des images stéréoscopiques et ainsi de s’affranchir de la nécessité de déployer des balises géo-référencées. La mise en oeuvre d’un tel système d’imagerie stéréoscopique s’effectue de manière statique en les positionnant au sol. Ceci nécessite d’anticiper la direction de propagation du feu afin de positionner de manière optimale le système d’imagerie stéréoscopique. En outre, comme la précision théorique de la mesure de profondeur par stéréovision des images fournies dépend de la distance entre la caméra et la scène, la précision de l’estimation des images fournies par un tel système d’imagerie se dégradent lorsque le feu s’éloigne du système d’imagerie stéréoscopique.
Il existe donc un besoin pour un système et un procédé amélioré permettant de caractériser efficacement les paramètres géométriques d’un feu. Définition générale de l’invention
L’invention vient améliorer la situation en proposant un procédé de caractérisation de feux se produisant dans une zone géographique couverte partiellement par les champs de vision d’un dispositif d’imagerie stéréoscopique, le dispositif d’imagerie étant mobile, géo-localisé dans un repère global et fournissant des images stéréoscopiques multimodales acquises au moyen de deux unités d’imageries, chacune des images multimodales comprenant une image du domaine visible et une image du domaine infrarouge acquises simultanément, le procédé de caractérisation de feux étant caractérisé en ce qu’il comprend les étapes suivantes, exécutées en réponse à la réception d’un couple d’images stéréoscopiques multimodales :
Détecter, dans chacune des deux images stéréoscopiques multimodales, des pixels de feu représentant un feu se produisant dans la zone géographique ;
Générer à partir des pixels de feu détectés un premier nuage de points tridimensionnels (3D) représentant le feu, le premier nuage de points 3D étant représenté dans un repère local lié à la position du dispositif d’imagerie stéréoscopique au moment de l’acquisition du couple d’images stéréoscopiques multimodales ;
Transformer le premier nuage de points 3D en un deuxième nuage de points 3D géo-localisé dans le repère global ;
Estimer à partir du deuxième nuage de points 3D des données géométriques d’un plan local sur lequel le feu se produit dans la zone géographique, les données géométriques comprenant un angle longitudinal et un angle latéral définis par rapport à un plan de référence relativement à deux directions perpendiculaires ;
Transposer le deuxième nuage de points 3D dans un repère local de mesure associé au plan local pour fournir un troisième nuage de points 3D ;
Estimer à partir du troisième nuage de points 3D une première pluralité de caractéristiques géométriques locales du feu, la première pluralité de caractéristiques géométriques locales du feu comprenant une direction principale de propagation de feu.
Dans un mode de réalisation, le repère local de mesure associé au plan local peut être muni d’un système d’axes comprenant : un premier axe colinéaire avec la direction définie par l’angle latéral ; un deuxième axe colinéaire avec la direction définie par l’angle longitudinal ; et un troisième axe perpendiculaire au plan de local.
Dans un autre mode de réalisation, le repère global peut comprendre une origine définie par une position initiale du dispositif d’imagerie stéréoscopique, le repère global peut en outre être muni d’un système d’axes comprenant : un premier axe orienté parallèlement à la largeur de la zone géographique ; un deuxième axe orienté parallèlement à la longueur de la zone géographique ; un troisième axe orienté de sorte que le système d’axe forme un trièdre rectangle direct.
Avantageusement, le procédé peut comprendre en outre une étape de recalage d’images multimodales consistant à rendre transposable l’image du domaine visible et l’image du domaine infrarouge correspondante de sorte qu’un pixel donné des deux images correspond à un même point.
En variante, le procédé peut comprendre en outre une étape d’estimation de la direction principale de propagation d’un feu détecté à partir : d’un premier barycentre d’un ensemble de points 3D les plus bas et extraits des images stéréoscopiques multimodales reçues à l’instant courant ; et d’un second barycentre d’un ensemble de points 3D les plus bas et extraits des images stéréoscopiques multimodales reçues à un instant antérieur ; la direction principale de propagation du feu étant dirigée vers le premier barycentre.
Dans un mode de réalisation, le procédé peut comprendre en outre une étape de rotation du troisième nuage de points 3D autour du troisième axe du repère local de mesure associé au plan local, ce qui fournit un quatrième nuage de point 3D transformé associé à une direction principale de propagation du feu colinéaire avec le deuxième axe du repère local de mesure.
Dans un autre mode de réalisation, le procédé peut comprendre en outre une étape d’estimation d’une deuxième pluralité de caractéristiques géométriques locales du feu à partir du quatrième nuage de points 3D transformé.
Avantageusement, la deuxième pluralité de caractéristiques géométriques locales du feu peut comprendre au moins une caractéristique parmi la longueur du feu, la largeur du feu, la hauteur du feu, l’inclinaison du feu, la surface du feu, le front du feu et le volume du feu.
Selon certains modes de réalisation, l’étape de détection de pixels de feu dans une image multimodale peut comprendre, pour chacun des pixels : la détermination d’un premier vecteur de données associées au pixel considéré dans le domaine visible et d’un deuxième vecteur de données associées au pixel considéré dans le domaine infrarouge ; le calcul d’un premier résultat de probabilité pour que le pixel appartienne à une classe « feu » à partir du premier vecteur de données et d’un deuxième résultat de probabilité pour que le pixel appartienne à une classe « feu » à partir du deuxième vecteur de données ; la fusion des résultats de probabilités obtenus ; et le classement du pixel considéré selon qu’il représente «le feu» ou «l’environnement».
Selon un mode de réalisation, l’étape de génération d’un premier nuage de points 3D représentant un feu peut comprendre les étapes consistant à :
Détecter dans chacune des images stéréoscopiques multimodales un ou plusieurs pixels d’intérêt dans les zones de pixels de feu ;
Apparier des pixels d’intérêt entre les images stéréoscopiques multimodales ;
Calculer les coordonnées tridimensionnelles des pixels d’intérêt appariés dans le repère local lié à la position du dispositif d’imagerie stéréoscopique en utilisant une technique de triangulation.
Selon un autre mode de réalisation, les données géométriques du plan local peuvent être estimées à partir des points 3D les plus bas.
Avantageusement, une pluralité de couples d’images stéréoscopiques multimodales peut être fournie par le dispositif d’imagerie stéréoscopique et peut être traitée de manière séquentielle dans le temps.
En variante, le procédé peut comprendre en outre une étape d’estimation d’une pluralité de caractéristiques géométriques globales du feu à partir de la pluralité de couples d’images stéréoscopiques multimodales, la pluralité de caractéristiques géométriques globales comprenant la vitesse de propagation du feu.
Il est en outre proposé un système de caractérisation de feux se produisant dans une zone géographique couverte partiellement par les champs de vision d’un dispositif d’imagerie stéréoscopique, le dispositif d’imagerie étant mobile, géo-localisé dans un repère global et fournissant des images stéréoscopiques multimodales acquises au moyen de deux unités d’imageries, chacune des images multimodales comprenant une image du domaine visible et une image du domaine infrarouge acquises simultanément, le système de caractérisation de feux étant caractérisé en ce qu’il comprend en outre un dispositif de caractérisation comprenant : une unité de détection configurée pour détecter, dans chacune des deux images stéréoscopiques multimodales, des pixels de feu représentant un feu se produisant dans la zone géographique ; une unité de génération de nuages de points 3D configurée pour générer à partir des pixels de feu détectés un premier nuage de points tridimensionnels (3D) représentant le feu, le premier nuage de points 3D étant représenté dans un repère local lié à la position du dispositif d’imagerie stéréoscopique au moment de l’acquisition du couple d’images stéréoscopiques multimodales ; une unité de transformation configurée pour transformer le premier nuage de points 3D en un deuxième nuage de points 3D géo-localisé dans le repère global ; une unité d’estimation configurée pour estimer à partir du deuxième nuage de points 3D des données géométriques d’un plan local sur lequel le feu se produit dans la zone géographique, les données géométriques comprenant un angle longitudinal et un angle latéral définis par rapport à un plan de référence relativement à deux directions perpendiculaires ; une unité de transposition configurée pour transposer le deuxième nuage de points 3D dans un repère de mesure associé au plan local pour fournir un troisième nuage de points 3D ; une unité d’estimation configurée pour estimer à partir du troisième nuage de points 3D une première pluralité de caractéristiques géométriques locales du feu, la première pluralité de caractéristiques géométriques locales du feu comprenant une direction principale de propagation de feu.
Selon un mode de réalisation, le dispositif d’imagerie stéréoscopique peut être aéroporté au moyen d’un aéronef.
Selon un autre mode de réalisation, le dispositif d’imagerie stéréoscopique peut être mobile au moyen d’un véhicule terrestre sans pilote.
Brève description des figures
D’autres caractéristiques et avantages de l’invention apparaîtront à l’aide de la description qui suit et des figures dans lesquels :
La figure 1 représente un système de caractérisation de feux, selon un mode de réalisation de l’invention ; La figure 2 représente un plan local de propagation dans lequel un procédé de caractérisation de feu, selon des modes de réalisation de l’invention peut être mis en oeuvre ;
La figure 3 est un organigramme représentant le procédé de caractérisation de feux, selon un mode de réalisation de l’invention ;
La figure 4 illustre des exemples de paramètres géométriques d’un feu pouvant être estimés au moyen d’un procédé de caractérisation de feux selon des modes de réalisation de l’invention ;
La figure 5 est un organigramme représentant les étapes mises en oeuvre pour détecter des pixels de feu dans une image multimodale selon des modes de réalisation de l’invention ;
La figure 6 est un organigramme représentant des étapes mises en oeuvre pour générer un premier nuage de points 3D selon des modes de réalisation de l’invention ; et
La figure 7 représente un dispositif de traitement selon des modes de réalisation de l’invention.
Description détaillée
La figure 1 représente un système de caractérisation géométrique de feux 100, selon des modes de réalisation de l’invention. Le système de caractérisation de feux 100 peut être utilisé par exemple dans un environnement extérieur où des feux sont susceptibles de se produire. Des exemples d’environnements extérieurs comprennent, sans limitation, des forêts et des champs agricoles.
Le système de caractérisation de feux 100 peut comprendre un dispositif d’imagerie stéréoscopique 101 mobile par rapport au sol. Le dispositif d’imagerie stéréoscopique 101 peut être géo-localisé dans un repère global 210.
Le système de caractérisation de feux 100 peut être configuré pour caractériser des feux se produisant dans une zone géographique de l’environnement extérieur, la zone géographique étant couverte partiellement par les champs de vision du dispositif d’imagerie stéréoscopique 101.
Le dispositif d’imagerie stéréoscopique 101 comprend avantageusement deux unités d’imagerie 1011 , 1012. Chacune des deux unités d’imagerie 1011, 1012 peut comprendre un premier capteur 101a, 101c et un second capteur 101b, 101 d. Les premiers capteurs 101a, 101c peuvent être configurés pour capturer et fournir des images dans le domaine visible, et les seconds capteurs 101b, 101 d peuvent être configurés pour capturer et fournir des images dans le domaine infrarouge. Chaque couple de deux capteurs d’une même unité d’imagerie peut être configuré pour capturer une première image élémentaire dans le domaine visible et une seconde image élémentaire dans le domaine infrarouge selon un même instant de capture d’images élémentaires, les deux images élémentaires capturées formant une image multimodale.
Les deux unités d’imagerie 1011 , 1012 peuvent en outre être synchronisées au moyen d’un signal de synchronisation de manière à capturer simultanément deux images multimodales selon un même instant de capture d’images multimodales, les deux images multimodales capturées formant un couple de deux images stéréoscopiques multimodales et comprenant au total quatre images élémentaires.
Les capteurs formant chaque unité d’imagerie 1011, 1012 peuvent avoir les mêmes caractéristiques opto-géométriques, telles qu’un même champ de vue, et peuvent être orientés de sorte que les scènes capturés par les deux capteurs relativement à une même image multimodale se recouvrent de manière sensiblement complète. Alternativement, les capteurs formant chaque unité d’imagerie 1011 , 1012 peuvent avoir des caractéristiques opto-géométriques différentes (telles que par exemple le champ de vue, la résolution, la distance focale, etc.), et leurs orientations peuvent être ajustées de sorte que les scènes capturées relativement à une même image multimodale se recouvrent partiellement.
Les unités d’imagerie 1011, 1012 peuvent être agencées l’une à côté de l’autre en les fixant à un support rigide 1013, qui peut être par exemple une barre métallique, une barre en fibre de carbone, ou tout autre support rigide adapté. Dans un mode de réalisation, les deux unités d’imagerie 1011 , 1012 peuvent être espacées l’une de l’autre, d’une distance d’espacement choisie, par exemple égale à environ un mètre. Les capteurs fournissant des images dans le domaine visible et équipant les deux unités d’imagerie peuvent être identiques ou différents en termes de caractéristiques opto-géométriques et d’orientation. De manière similaire, les capteurs fournissant des images dans le domaine infrarouge et équipant les deux unités d’imagerie peuvent être identiques ou différents en termes de caractéristiques opto- géométriques et d’orientation. De manière générale, les capteurs équipant chacune des deux unités d’imagerie 1011 , 1012 peuvent être orientés de sorte que les deux images stéréoscopiques multimodales se recouvrent au moins partiellement.
Dans des modes de réalisation de l’invention, les unités d’imagerie 1011, 1012 du dispositif d’imagerie stéréoscopique 101 peuvent être calibrées avant d’être mises en fonctionnement pour acquérir des images stéréoscopiques multimodales. Un tel calibrage permet par exemple d’extraire des paramètres intrinsèques et extrinsèques du dispositif d’imagerie 101 qui peuvent ensuite être utilisés pour obtenir des informations géométriques tridimensionnelles (3D), telles que des coordonnées 3D d’un ensemble de points identifiés, à partir d’un couple d’images stéréoscopiques multimodales. Dans un mode de réalisation, le calibrage peut être effectué en utilisant une grille comprenant plusieurs cases de côté, avec en alternance des cases noires et blanches, les cases blanches étant revêtues d’aluminium pour fournir des informations utiles dans le domaine visible et/ou dans le domaine infra-rouge.
Le dispositif d’imagerie stéréoscopique 101 peut en outre comprendre une unité de synchronisation et de sauvegarde 1014 configurée pour fournir le signal de synchronisation aux unités d’imagerie 1011 , 1012. L’unité de synchronisation et de sauvegarde 1014 peut en outre être configurée pour recevoir et sauvegarder les images multimodales capturées par les deux unités d’imagerie 1011, 1012. Les images du domaine visible et les images du domaine infrarouge peuvent être sauvegardées selon un même format d’image qui peut être par exemple JPEG, BMP, PNG, ou autre. Les résolutions en nombre de pixels de telles images peuvent être identiques ou différentes.
Dans un mode de réalisation de l’invention, le dispositif d’imagerie stéréoscopique
101 peut être aéroporté au moyen d’un aéronef 102. Avantageusement, l’aéronef
102 peut être de type drone. L’aéronef 102 peut être télécommandé en temps-réel ou être programmé pour suivre une trajectoire préalablement définie. Dans un autre mode de réalisation de l’invention, le dispositif d’imagerie stéréoscopique 101 peut être mobile par rapport au sol en étant transporté par un véhicule terrestre. Avantageusement, le véhicule terrestre peut être de type véhicule terrestre sans pilote (UGV: unmanned ground vehicles), aussi connu sous le nom de robot terrestre. Le robot terrestre peut être configuré pour ne pas pénétrer dans la zone géographique 110 sur laquelle le feu 111 se produit.
Le dispositif d’imagerie stéréoscopique 101 peut en outre comprendre plusieurs capteurs de position permettant de localiser le dispositif d’imagerie stéréoscopie 101 pour chaque image multimodale capturée par un tel dispositif. De tels capteurs de position peuvent comprendre une unité de géolocalisation 103 de type GPS (Global Positioning System) ou GNSS (Global Navigation Satellite System) et une centrale inertielle 104, configurées respectivement pour déterminer la position et l’attitude (angles de roulis, de tangage et de cap) du dispositif d’imagerie stéréoscopique 101 dans un repère global 210. Les capteurs de position peuvent en outre comprendre un dispositif d’orientation, tel qu’un compas, capable de fournir des informations relatives à l’orientation du dispositif d’imagerie stéréoscopique 101 dans un repère global 210.
Dans des modes de réalisation de l’invention, l’aéronef 102 transportant le dispositif d’imagerie peut être configuré pour ne pas survoler la zone géographique 110 sur laquelle le feu 111 se produit. Ainsi, une image multimodale acquise par un tel dispositif d’imagerie peut correspondre à une vue frontale, latérale ou arrière du feu.
Dans des modes de réalisation de l’invention, le dispositif d’imagerie stéréoscopique 101 peut comprendre une unité d’alimentation en énergie électrique capable de fournir de manière continue dans le temps une énergie électrique suffisante aux différents éléments formant le dispositif d’imagerie stéréoscopique 101.
Dans des modes de réalisation de l’invention, le nombre de dispositifs d’imagerie stéréoscopique mis en oeuvre dans le système de caractérisation de feux 100 peut être supérieur ou égal à deux. De tels modes de réalisation permettent de fournir simultanément plusieurs couples d’images stéréoscopiques multimodales obtenus dans des bandes spectrales différentes. En outre, l’utilisation de plusieurs dispositifs d’imagerie stéréoscopique permet, en cas de dysfonctionnement d’un dispositif d’imagerie, de continuer à fournir des couples d’images stéréoscopiques multimodales. Le système de caractérisation de feux 100 peut en outre comprendre un dispositif de caractérisation 120 configuré pour traiter les images stéréoscopiques multimodales fournies par l’unité de traitement et de sauvegarde 1014 du dispositif d’imagerie stéréoscopique 101. Le dispositif de caractérisation 120 peut être aéroporté au moyen du même aéronef 102 portant le dispositif d’imagerie stéréoscopique 101. Alternativement, le dispositif de caractérisation 120 peut être localisé au sol en étant fixe ou mobile.
Dans des modes de réalisation de l’invention, les capteurs 101b, 101 d fournissant des images dans le domaine infrarouge peuvent être configurés pour opérer, dans la bande de longueurs d’onde comprise entre 8 micromètres et 14 micromètres, une telle bande de longueurs d’onde étant aussi connue sous l’acronyme anglais LWIR (Long Wave Infrared).
La figure 2 représente un plan local de propagation dans lequel le procédé de caractérisation de feu selon des modes de réalisation de l’invention peut être mis en oeuvre.
Dans un mode de réalisation de l’invention, la position instantanée du dispositif d’imagerie stéréoscopique 101, telle que fournie par l’unité de géolocalisation 103, peut être définie dans un repère global 210. Un tel repère global 210 peut avoir comme origine une position initiale du dispositif d’imagerie obtenue, par exemple, avant le décollage de l’aéronef 102, ou la mise en circulation d’un robot terrestre, transportant le dispositif d’imagerie. Le repère global 210 peut être muni d’une base orthonormée formée de trois axes 211 , 212, 213 formant un trièdre rectangle direct et comprenant un premier axe 213 parallèle à la direction supposée de propagation de feu, et deux autres axes 211 , 212 complétant le trièdre rectangle direct (et donc orthogonaux au premier axe). Les directions de la longueur et de la largeur de la zone géographique peuvent être définies en fonction de la direction supposée de propagation de feu en choisissant la direction de la longueur colinéaire avec celle de la propagation du feu.
Dans des modes de réalisation de l’invention, un repère local 220 associé à la position instantanée du dispositif d’imagerie stéréoscopique 101 peut être défini. Un tel repère local 220 peut admettre comme origine la position instantanée de l’une des unités d’imagerie 1011 , 1012 et peut être muni d’une base orthonormée formée de trois d’axe 221 , 222, 223 formant un trièdre rectangle direct. Un premier axe 221 formant le trièdre direct peut être orienté de l’origine vers l’autre unité d’imagerie, un deuxième axe 223 peut être orienté parallèlement à l’axe optique de l’une des unités d’imagerie 1011 , 1012 et un troisième axe 222 complétant le trièdre rectangle direct.
Selon des modes de réalisation de l’invention, la zone géographique 110 sur laquelle le feu 111 se produit, associée à une image multimodale, peut être modélisée de manière approximative par un plan local 230 à deux dimensions (2D). Un plan local 230 peut être défini par rapport à un plan de référence 240 au moyen de deux données géométriques pouvant être deux angles, comprenant un angle latéral (Q) 262 et un angle longitudinal (cp) 261 , définissant l’orientation du plan local 230 par rapport au plan de référence 240 relativement à deux directions perpendiculaires. Les deux directions perpendiculaires peuvent par exemple correspondre au premier axe 211 et au deuxième axe 213 du repère global 210. Le plan de référence 240 peut par exemple correspondre au niveau de la mer ou au plan défini par le premier axe 211 et le deuxième axe 213 du repère global 210.
Dans un autre mode de réalisation de l’invention, un repère local de mesure 250 peut être défini pour chaque plan local 230 modélisé. Un tel repère local de mesure 250 peut être déterminé à partir du plan local 230 associé et à partir du repère global 210 tel que défini ci-dessus. Le repère local de mesure 250 peut avoir la même origine que le repère global 210. Son système d’axes 251 , 252, 253 peut être déterminé de sorte que le premier axe 251 et le deuxième axe 253 soient parallèles à la direction définie par l’angle latéral (Q) 262 et la direction définie par l’angle longitudinal (cp) 261 , respectivement. Le troisième axe 252 du repère local de mesure 250 peut être choisi perpendiculaire au plan local 230 associé. Ainsi, le système d’axes d’un repère local de mesure 250 peut former un trièdre rectangle, en ce sens que ses axes 251 , 252, 253 sont perpendiculaires, deux à deux.
La figure 3 représente un procédé de caractérisation de feux qui peut être mis en oeuvre dans le dispositif de caractérisation 120. Les étapes du procédé peuvent être exécutées de manière séquentielle après la réception d’un couple d’images stéréoscopiques multimodales fourni par un dispositif d’imagerie stéréoscopique 101 .
A l’étape 301 du procédé, les deux images stéréoscopiques multimodales sont reçues afin de détecter des pixels qui représentent un feu dans des images élémentaires formant le couple d’images stéréoscopiques multimodales reçu. La détection de pixels de feu relativement à une image multimodale peut s’effectuer en traitant l’une des images élémentaires associées, c’est-à-dire en détectant des pixels de feu dans l’image du domaine visible ou en détectant des pixels de feu dans l’image du domaine infrarouge. Ceci permet par exemple de réduire la complexité de calcul.
Avantageusement, la détection de pixels de feu relativement à une image multimodale peut s’effectuer en utilisant des informations multimodales, c’est-à-dire des informations obtenues du domaine visible et des informations obtenues du domaine infrarouge. L’utilisation d’informations multimodales permet de s’affranchir des difficultés liées par exemple à la couleur non-homogène des flammes et à la possibilité de présence de fumées.
La détection de pixels de feu dans une image du domaine visible peut être effectuée en utilisant une méthode de détection mettant en oeuvre un ou plusieurs systèmes de couleurs. Généralement, dans un système de couleurs donné, chaque couleur peut être synthétisée à partir des éléments de base du système de couleurs considéré, et des caractéristiques intrinsèques des pixels de feu peuvent être définies. Les systèmes de couleurs connus par l’homme du métier comprennent à titre non limitatif les systèmes RVB, YCbCr, TSI, YUV, L*a*b. Dans un système de couleur de type RVB, par exemple, chaque couleur peut être synthétisée à partir des trois couleurs de base : le rouge, le vert et le bleu. Des caractéristiques intrinsèques des pixels de feu utilisables dans un tel système de couleurs peuvent comprendre, en cas d’absence d’obstacles tels que la fumée, la dominance de la composante rouge dans les pixels de feu. De manière générale, chaque système de couleurs met en oeuvre plusieurs règles qu’un pixel donné doit satisfaire pour qu’il représente un feu.
Dans un mode de réalisation, la méthode de détection de pixels de feu dans une image du domaine visible peut mettre en oeuvre plusieurs systèmes de couleurs de manière à utiliser les règles de ces systèmes de couleurs pour détecter des pixels de feu. Avantageusement, la méthode de détection peut utiliser des techniques d’apprentissage à partir d’images de feu préalablement acquises pour définir des nouvelles règles et/ou pour modifier les règles en cours. En outre, la méthode de détection de pixels de feu peut utiliser des règles de texture des pixels, c’est-à-dire des règles utilisant la répartition des couleurs de pixels de feu dans l’espace. Dans un mode de réalisation, une même méthode de détection de pixels de feu peut être utilisée pour traiter une série de couples d’images stéréoscopiques multimodales fournie par un même dispositif d’imagerie 101 relativement à un même feu.
Dans un autre mode de réalisation, la méthode de détection de pixels de feu peut changer entre une première série de couples d’images stéréoscopiques multimodales acquise par un premier système d’imagerie 101 et une deuxième série de couples d’images stéréoscopiques multimodales acquise par un deuxième système d’imagerie 101. Un tel changement peut par exemple concerner les systèmes de couleurs mis en oeuvre.
Par ailleurs, la détection de pixels de feu dans une image du domaine infrarouge peut utiliser le fait que le feu 111 présente une intensité supérieure à celle de son environnement adjacent. Ainsi, un seuil d’intensité peut être défini afin de classer chaque pixel selon qu’il représente le feu 111 ou qu’il représente l’environnement adjacent au feu. Un tel seuil d’intensité utilisé pour classer les pixels peut être déterminé par une méthode de seuillage adaptée à la détection de pixels de feu dans le domaine infrarouge.
Dans un mode de réalisation de l’invention, la détection de pixels de feu peut s’effectuer en utilisant des informations multimodales issues de l’image du domaine visible et de l’image du domaine infrarouge formant l’image multimodale considérée. Un tel mode de réalisation requière un traitement préalable des images élémentaires formant l’image multimodales de manière à les rendre superposables, c’est-à-dire que chaque pixel de deux images prises simultanément dans le domaine visible et dans le domaine infrarouge se rapporte au même endroit de la scène capturée. La détection de pixels de feu selon de tels modes de réalisation peut être effectuée de manière séquentielle en commençant par l’image du domaine infrarouge en utilisant l’approche décrite ci-dessus, par exemple. L’image du domaine visible peut ensuite être traitée en ne considérant que les pixels identifiés comme représentant un feu à l’issue du traitement de l’image du domaine infrarouge. La détection de pixels de feu dans l’image du domaine visible parmi les pixels préalablement identifiés peut être effectuée selon l’une des approches décrites ci-dessus.
A l’étape 302, un premier nuage de points tridimensionnels (3D) représentant un feu peut être généré à partir des pixels de feu détectés dans les deux images stéréoscopiques multimodales reçues de sorte que chaque point 3D se rapporte à un pixel de feu détecté dans chacune des images stéréoscopiques multimodales. Un point 3D appartenant au premier nuage de point 3D peut représenter les coordonnées tridimensionnelles de l’endroit auquel le pixel de feu associé se rapporte. Un tel nuage de points 3D peut être défini dans un repère local 220 associé à la position du dispositif d’imagerie stéréoscopique 101 à l’instant de l’acquisition des images stéréoscopiques multimodales traitées.
A l’étape 303, le premier nuage de points 3D exprimé dans un repère local 220 associé à la position du dispositif d’imagerie stéréoscopique 101 peut être transformé pour être exprimé dans un repère global 210. Une telle transformation fournit un deuxième nuage de points 3D et peut s’effectuer en utilisant la position et l’orientation du dispositif d’imagerie stéréoscopique 101 par rapport au repère global 210.
Selon un mode de réalisation de l’invention, la transformation du premier nuage de points 3D peut s’effectuer en utilisant une matrice de passage M220 2io du repère local 220 au repère global 210. Une telle matrice de passage peut être définie à partir des éléments suivant : des angles de roulis a, de tangage b et de cap g fourni par la centrale inertielle 104 et représentant l’attitude du dispositif d’imagerie stéréoscopique 101 dans le repère global 210 relativement à l’instant d’acquisition des images stéréoscopiques multimodales ; des angles de roulis a0, de tangage b0 et de cap g0 fourni par la centrale inertielle 104 et représentant l’attitude du dispositif d’imagerie stéréoscopique 101 dans le repère global 210 relativement à un instant initial ; des matrices de rotation Ra, et RY du repère local 220 autour des axes respectifs 211 , 212 et 213 du repère global 210 ; une matrice de translation T définie à partir des coordonnées N, E et U du dispositif d’imagerie 101 dans le repère local 220 telles que fournies par l’unité de de
/I 0 0 E\ géolocalisation 103, selon l’expression suivante: T = u ; et
\0 0 0 1/
- une matrice d’échange S2-|2®213 entre les axes 212 et 213 du repère global 210. La matrice de passage M22o 2io peut être exprimée selon la relation suivante :
M220 210 = Ry (-Uq)*Bb(·bq)*Ba (Cto)* S212 213* Ba(-0()*Bb(b)*Bg(U)* G* S212 213*
Ra(180).
A l’étape 304, la géométrie du plan local 2D 230 sur lequel le feu 111 se produit peut être déterminée en estimant l’angle latéral (Q) 262 et l’angle longitudinal (cp) 261 quantifiant l’inclinaison d’un tel plan local 2D 230 par rapport à un plan de référence 240 relativement à deux directions perpendiculaires, la géométrie du plan de référence 240 dans le repère global 210 étant préalablement connue avec précision. L’estimation de la géométrie du plan local 2D 230 peut être effectuée en utilisant le nuage de points 3D exprimé dans le repère global 210. Il est avantageux que les points 3D soient obtenus depuis une vision arrière du feu qui permet d’avoir des informations sur la base de la flamme qui touche la terre tandis qu’une vision frontale peut avoir une partie de la flamme masquée par de la végétation. Par exemple, les points 3D, associés à une altitude minimale par rapport aux points 3D adjacents et sélectionnés sur une large surface de la zone sur laquelle le feu 111 se produit, peuvent être choisis pour estimer la géométrie du plan local 2D 230. Avantageusement, la méthode des moindres carrées peut être utilisée pour déterminer la géométrie du plan local 2D 230 à partir des points 3D choisis de manière à ne pas perdre des informations sur les inclinaisons réelles du plan local 2D 230. Ainsi, la reconstruction de la géométrie du plan local 2D 230 peut s’effectuer sans requérir d’informations préalables sur le modèle numérique du terrain sur lequel le feu se produit. L’élaboration du modèle numérique de terrain, généralement complexe à mettre en oeuvre compte tenu de l’étendue des zones géographiques concernées et la difficulté d’y accéder, est ainsi simplifiée. En outre, l’imprécision des données du modèle numérique de terrain sont incompatibles avec le procédé de caractérisation de feux selon l’invention.
Selon un autre mode de réalisation de l’invention, la géométrie du plan local 2D 230 peut être estimée à partir d’un plan local 2D courant obtenu selon l’approche décrite ci-dessus et d’au moins un autre plan local 2D précédent obtenu à partir d’un couple d’images stéréoscopiques multimodales associé à un instant antérieur. Dans un tel mode de réalisation, les points 3D appartenant au plan local 2D courant et les points 3D entourant au moins un autre plan local 2D précèdent sont utilisés pour déterminer la géométrie du plan local 2D. A l’étape 305, un repère de mesure local 250 associé au plan local 2D déterminé peut être défini à partir de l’angle latéral (Q) 262 et de l’angle longitudinal (cp) 261 définissant les orientations du plan local 2D par rapport au plan de référence 240. Tel que décrit ci-dessus, le repère local de mesure 250 peut avoir la même origine que le repère global 210 et son système d’axe 251 , 252, 253 peut être déterminé de sorte que son premier axe 251 et son deuxième axe 253 soient parallèles à la direction définie par l’angle latéral (Q) 262 et à la direction définie par l’angle longitudinal (cp) 261 , respectivement, le troisième axe 252 du repère local de mesure 250 pouvant être choisi perpendiculaire au plan local 230 associé. L’étape 305 du procédé peut consister, en outre, à transposer le deuxième nuage de points 3D exprimé dans un repère global 210 en un troisième nuage de points 3D exprimé dans un repère local de mesure 250 associé au plan local 2D.
Selon un mode de réalisation de l’invention, la transposition du deuxième nuage de points 3D peut s’effectuer en utilisant une matrice de passage M220 25o du repère global 220 au repère local de mesure 250 associé au plan local 2D. Une telle matrice de passage peut être définie à partir des éléments suivant : une première matrice homogène de rotation R0 définie à partir de l’angle latérale (Q) et de l’axe de rotation 213 du repère global 210 ; et une deuxième matrice homogène de rotation ITf définie à partir de l’angle longitudinal (cp) et de l’axe de rotation 211 du repère global 210.
La matrice de passage M220 25o peut être exprimée selon la relation suivante : M220
250 R(p* Re-
A l’étape 306, une première pluralité de caractéristiques géométriques locales du feu peut être déterminée à partir du troisième nuage de points 3D, tel qu’exprimé dans le repère local de mesure 250. La première pluralité de caractéristiques géométriques du feu peut comprendre la direction principale de propagation du feu.
Dans des modes de réalisation de l’invention, la direction principale de propagation du feu peut être déterminée à partir d’un premier barycentre d’un ensemble de points 3D de feu les plus bas, en termes d’élévation verticale par rapport à un niveau de référence donné, et extraits du troisième nuage de points 3D issu d’un couple d’images stéréoscopiques multimodales courant, et à partir d’un deuxième barycentre d’un ensemble de points 3D de feu les plus bas et extraits d’un troisième nuage de points 3D issu d’un couple d’images stéréoscopiques multimodales associé à un instant antérieur. La direction principale de propagation du feu peut être orientée vers le premier barycentre déterminé.
Le procédé de caractérisation de feu peut en outre comprendre une étape de transformation du troisième nuage de points 3D lorsque la direction principale de propagation du feu n’est pas colinéaire avec le deuxième axe 253 du repère local de mesure 250. Une telle transformation peut consister à effectuer une rotation du troisième nuage de points 3D autour du troisième axe 252 du repère local de mesure 250 de sorte que la direction principale de propagation du feu soit colinéaire avec le deuxième axe 253 du repère local de mesure 250. Une telle transformation peut fournir un quatrième nuage de points de 3D transformé.
Dans des modes de réalisation de l’invention, une deuxième pluralité de caractéristiques géométriques locales du feu peut être déterminée à partir du quatrième nuage de points 3D transformé. La deuxième pluralité de caractéristiques géométriques locales du feu peut comprendre, à titre d’exemple non limitatif au moins une caractéristique parmi : l’inclinaison du feu, la longueur du feu, la largeur du feu, la hauteur du feu, la position du feu, la surface du feu et le volume du feu.
La figure 4 illustre des exemples de caractéristiques géométriques du feu qui peuvent être estimées à partir d’un quatrième nuage de points 3D transformé. Par exemple, la longueur du feu peut être déterminée en mesurant la distance séparant le sommet du feu de la base du front de feu qui délimite la zone brûlée. La hauteur du feu peut être déterminée en mesurant la distance séparant le sommet du feu et sa projection orthogonale sur le sol. En outre, l’angle d’inclinaison du feu peut être défini par le perpendiculaire au sol passant par la base du front de feu et la droite passant par le sommet de la flamme et la base du front du de feu. La surface du feu peut être calculé à partir des triangules obtenus en connectant les points 3D extérieurs du quatrième nuage de points 3D transformé.
La figure 5 représente les étapes mises en oeuvre pour détecter des pixels de feux dans une image multimodale, selon un mode de réalisation de l’invention. L’image multimodale considérée peut comprendre deux images superposables, c’est-à-dire qu’un pixel de deux images se rapporte au même endroit de la scène capturée. Les étapes de la figure 5 peuvent être exécutées pour chaque pixel de l’image multimodale afin de le classer selon qu’il représente un feu ou qu’il représente l’environnement adjacent. Les étapes de la figure 5 seront décrites en considérant un pixel unique de l’image multimodale, à titre de simplification. L’homme du métier comprendra aisément que les étapes de la figure 5 s’appliquent à une pluralité de pixels de l’image multimodale comprenant une pluralité de pixels, en itérant ces étapes.
A l’étape 3011, un vecteur de données associé au pixel considéré peut être défini pour chacune des images élémentaires formant l’image multimodale. De telles données peuvent par exemple comprendre l’intensité lumineuse, la couleur dominante et/ou la température du pixel.
A l’étape 3012, un résultat quantifiant la probabilité que le pixel considéré appartienne à une classe «feu» peut être calculé pour chacun des vecteurs de données. Un tel résultat peut correspondre pour l’image du domaine visible à une « probabilité faible » ou à une « probabilité élevée ». Pour l’image du domaine infrarouge, le résultat retourné peut par exemple correspondre à un niveau d’intensité de pixel, généralement non corrélé à une température en raison de l’absorption par les fumées.
A l’étape 3013, les résultats issus de différentes images peuvent être fusionnés selon une méthode de fusion donnée pour déterminer la classe du pixel considéré. La classe du pixel peut être soit la classe correspondant au feu («feu 111 »), soit la classe correspondant à l’environnement adjacent (« environnement adjacent »). La méthode de fusion de résultats peut être par exemple une méthode statistique, une méthode basée sur la théorie de croyance de Dempster-Shafer ou une méthode basée sur des réseaux de neurones.
La figure 6 représente des étapes mises en oeuvre pour générer un premier nuage de points 3D à partir des pixels représentant un feu dans deux images stéréoscopiques multimodales selon un mode de réalisation de l’invention.
A la première étape 3021, les positions des pixels de feu dans chacune des deux images stéréoscopiques multimodales, telles que fournies à la sortie de l’étape 301 , sont reçues. L’étape 3021 peut consister à sélectionner dans les deux images multimodales reçues un ou plusieurs pixels de feu d’intérêt. La sélection des pixels d’intérêt dans une image multimodale peut s’effectuer en traitant uniquement l’image du domaine visible associée. Les pixels de feu d’intérêt sélectionnés dans une image multimodale peuvent appartenir à des zones différentes de l’image. La sélection des pixels d’intérêt peut s’effectuer de manière manuelle par un opérateur ou peut être réalisée au moyen d’un ou de plusieurs algorithmes de sélection exécutés de manière séquentielle. Par exemple, la sélection de pixels d’intérêts peut être réalisée en appliquant la méthode de Harris qui calcule la matrice des moments du second ordre pour chaque pixel de l’image considérée, à partir de la matrice des moments du second ordre, une fonction dite de force étant ensuite calculée. La méthode de Harris définit les pixels d’intérêt d’une image comme étant ceux présentant une fonction de force supérieure à celle des pixels voisins.
En outre, l’étape 3021 peut consister à calculer un paramètre de description, appelée aussi ‘descripteur’, pour chaque pixel d’intérêt identifié dans les images stéréoscopiques multimodales. Généralement, un descripteur permet de décrire les pixels entourant le pixel d’intérêt. Des exemples de méthodes connues par l’homme du métier permettant de calculer un tel paramètre de description comprennent, à titre d’exemple non limitatif, une méthode de descripteurs basés sur les filtres ou une méthode d’histogramme des gradients d’orientations et d’emplacement.
A la deuxième étape 3022, une opération d’appariement des pixels d’intérêt peut être réalisée entre les deux images stéréoscopiques multimodales. Une telle opération d’appariement consiste à chercher pour chaque pixel d’intérêt de l’image multimodale de référence le pixel d’intérêt correspondant, c’est-à-dire le pixel qui se rapporte au même endroit de la scène capturée, dans l’autre image multimodale. La recherche d’un pixel d’intérêt correspondant peut s’effectuer de manière automatique au moyen d’une méthode de mesure de similarité entre descripteurs. Par exemple, la méthode dite de «somme des distances au carré normalisées à moyenne nulle» peut être utilisée pour chercher le pixel d’intérêt correspondant à un pixel d’intérêt identifié dans l’image multimodale de référence. Avantageusement, l’appariement des pixels d’intérêt peut s’effectuer en tenant compte des paramètres intrinsèques et extrinsèques du dispositif d’imagerie stéréoscopique 101.
Dans des modes de réalisation de l’invention, seuls les pixels d’intérêt appariés sont utilisés pour générer le premier nuage de points 3D. Ainsi, les pixels d’intérêt non appariés à l’issue de l’étape 3022 peuvent être ignorés. A la troisième étape 3023, les coordonnées des pixels appariés peuvent être calculées dans un repère local associé à la position instantanée du dispositif d’imagerie stéréoscopique 101. Le calcul des coordonnées des pixels appariés peut être effectué en utilisant une technique de triangulation.
Dans des modes de réalisation de l’invention, l’étape 3023 peut aussi consister à éliminer les points 3D appariés se trouvant séparés du volume où les autres points 3D se trouvent concentrés. Par exemple, si la distance ‘d’ séparant un point 3D de son voisin le plus proche satisfait la relation suivante |d - mά\ ³ 3ad alors le point 3D considéré peut être éliminé, mά et ad représentant respectivement la moyenne et l’écart-type de la distance séparant le point considéré de ces quatre voisins les plus proches.
Dans un mode de réalisation de l’invention, plusieurs couples d’images stéréoscopiques multimodales acquis successivement par un ou plusieurs dispositifs d’imagerie stéréoscopiques 101 relativement à des positions différentes peuvent être reçus et traités de manière séquentielle selon l’un des procédés de caractérisation de feu décrits ci-dessus. Le procédé de caractérisation de feu peut, dans ce cas, comprendre une étape supplémentaire consistant à représenter dans un même repère de mesure les quatrièmes nuages de points 3D transformés extraits d’au moins deux couples d’images stéréoscopiques multimodales pour fournir un nuage de points 3D global.
Une pluralité de caractéristiques géométriques globales du feu peut être estimée à partir d’un nuage de points 3D global. Des exemples de caractéristiques géométriques globales peuvent comprendre la vitesse de propagation du feu, qui peut être mesurée à partir de la position du front de feu dans chaque quatrième nuage de points 3D transformé, et de l’intervalle de temps séparant l’acquisition des deux couples d’images stéréoscopiques multimodales utilisés.
Selon un autre mode de réalisation de l’invention, plusieurs d’images stéréoscopiques multimodales fournies simultanément par plusieurs dispositifs d’imagerie stéréoscopiques 101 peuvent être reçues et traités, de manière séquentielle ou parallèle, selon l’un des procédés de caractérisation de feu décrits ci- dessus. En particulier, le procédé de caractérisation de feu peut, dans ce cas, comprendre une étape supplémentaire consistant à représenter dans un même repère de mesure les quatrièmes nuages de points 3D transformés extraits d’au moins deux couples d’images stéréoscopiques multimodales pour fournir un cinquième nuage de points 3D à partir duquel la deuxième pluralité de caractéristiques géométriques du feu peut être extraites avec une meilleure précision que celle extraite d’un quatrième nuage de points 3D transformé. Dans un mode de réalisation, au moins deux couples d’images stéréoscopiques multimodales sont acquis au moyen d’un premier dispositif d’imagerie 101 aéroporté et d’un deuxième dispositif d’imagerie 101 transporté par un robot terrestre.
La figure 7 représente un dispositif de caractérisation de feu 120 configuré pour implémenter les étapes d’un procédé de caractérisation de feu selon des modes de réalisation de l’invention. Le dispositif de caractérisation 120 peut recevoir des images stéréoscopiques multimodales fournies par l’unité de traitement et de sauvegarde 1014. La transmission des images multimodales peut s’effectuer sans fil au moyen de signaux radiofréquences, ou filaire. Le dispositif de caractérisation 120 peut comprendre une unité de détection 1201 configurée pour détecter des pixels de feu dans des images multimodales reçues, et une unité de génération de nuages de points 3D 1202 configurée pour générer un nuage de points 3D à partir des pixels de feu détectés. Le dispositif de caractérisation 120 peut en autre comprendre une unité de transformation des nuages de points 3D 1203 et une unité d’estimation de données géométriques 1204. L’unité de transformation des nuages de points 3D peut être configurée pour appliquer une transformation à un premier nuage de points 3D reçu pour fournir, par exemple, un deuxième nuage de points 3D exprimé dans un repère global. Le dispositif de caractérisation peut en outre comprendre une unité de transposition 1205 et une unité d’estimation de caractéristiques géométriques 1206.
Selon des modes de réalisation de l’invention, des caractéristiques supplémentaires du feu peuvent être déterminées à partir des images stéréoscopiques multimodales fournies par un dispositif d’imagerie stéréoscopique 101. De telles caractéristiques supplémentaires peuvent être des caractéristiques thermiques telles que la température maximale du feu et le flux radiatif émis par le feu.
Les modes de réalisation de l’invention permettent ainsi de caractériser de manière précise et efficace un feu qui se propage sur une large zone géographique, sans requérir d’informations préalables sur la géométrie de la zone considérée. Ils permettent de déterminer les données géométriques de la zone sur laquelle le feu se propage à partir des images stéréoscopiques multimodales fournies par un dispositif d’imagerie stéréoscopique 101.
Les modes de réalisation de l’invention permettent également de s’adapter à évolution du feu contrairement aux solutions de l’état de l’art qui utilisent des dispositifs d’imagerie fixes au sol.
L’homme du métier comprendra que le procédé de caractérisation de feu selon les modes de réalisation peut être mis en oeuvre de diverses manières par matériel (« hardware »), logiciel, ou une combinaison de matériel et de logiciels, notamment sous la forme de code de programme pouvant être distribué sous la forme d’un produit de programme, sous diverses formes. En particulier, le code de programme peut être distribué à l’aide de supports lisibles par ordinateur, qui peuvent inclure des supports de stockage lisibles par ordinateur et des supports de communication. Les procédés décrits dans la présente description peuvent être notamment implémentés sous la forme d’instructions de programme d’ordinateur exécutables par un ou plusieurs processeurs dans un dispositif informatique d’ordinateur. Ces instructions de programme d’ordinateur peuvent également être stockées dans un support lisible par ordinateur.
L’invention n’est pas limitée aux modes de réalisation décrits ci-avant à titre d’exemple non limitatif. Elle englobe toutes les variantes de réalisation qui pourront être envisagées par l’homme du métier.

Claims

REVENDICATIONS
1. Procédé de caractérisation de feux se produisant dans une zone géographique (110) couverte partiellement par les champs de vision d’un dispositif d’imagerie stéréoscopique (101), ledit dispositif d’imagerie étant mobile, géo-localisé dans un repère global (210) et fournissant des images stéréoscopiques multimodales acquises au moyen de deux unités d’imageries (1011 , 1012), chacune desdites images multimodales comprenant une image du domaine visible et une image du domaine infrarouge acquises simultanément, ledit procédé de caractérisation de feux étant caractérisé en ce qu’il comprend les étapes suivantes, exécutées en réponse à la réception d’un couple d’images stéréoscopiques multimodales :
Détecter, dans chacune des deux images stéréoscopiques multimodales, des pixels de feu représentant un feu se produisant dans la zone géographique (110) ;
Générer à partir des pixels de feu détectés un premier nuage de points tridimensionnels (3D) représentant le feu (111), ledit premier nuage de points 3D étant représenté dans un repère local (220) lié à la position du dispositif d’imagerie stéréoscopique (101) au moment de l’acquisition dudit couple d’images stéréoscopiques multimodales ;
Transformer ledit premier nuage de points 3D en un deuxième nuage de points 3D géo-localisé dans ledit repère global (210) ;
Estimer à partir dudit deuxième nuage de points 3D des données géométriques d’un plan local (230) sur lequel le feu (111) se produit dans la zone géographique (110), lesdites données géométriques comprenant un angle longitudinal (261) et un angle latéral (262) définis par rapport à un plan de référence (240) relativement à deux directions perpendiculaires ;
Transposer ledit deuxième nuage de points 3D dans un repère local de mesure (250) associé audit plan local pour fournir un troisième nuage de points 3D ;
Estimer à partir dudit troisième nuage de points 3D une première pluralité de caractéristiques géométriques locales du feu.
2. Procédé selon la revendication 1 , caractérisé en ce que ledit repère local de mesure (250) associé audit plan local est muni d’un système d’axes comprenant : un premier axe (251) colinéaire avec la direction définie par ledit angle latéral
(262) ; un deuxième axe (253) colinéaire avec la direction définie par ledit angle longitudinal (261) ; et un troisième axe (252) perpendiculaire audit plan de local (230).
3. Procédé selon la revendication 2, caractérisé en ce que ledit repère global (210) comprend une origine définie par une position initiale du dispositif d’imagerie stéréoscopique (101), ledit repère global (210) étant muni d’un système d’axes comprenant : un premier axe (211) orienté parallèlement à la largeur de ladite zone géographique (110) ; un deuxième axe (213) orienté parallèlement à la longueur de ladite zone géographique (110) ; un troisième axe (212) orienté de sorte que ledit système d’axe forme un trièdre rectangle direct ; la largeur et la longueur de ladite zone géographique (110) étant définies en fonction d’une direction supposée de propagation de feu.
4. Procédé selon l’une des revendications précédentes, caractérisé en ce qu’il comprend en outre une étape de recalage d’images multimodales consistant à rendre transposable l’image du domaine visible et l’image du domaine infrarouge correspondante de sorte qu’un pixel donné des deux images correspond à un même point.
5. Procédé selon l’une des revendications précédentes, caractérisé en ce que ladite première pluralité de caractéristiques géométriques locales du feu comprend une direction principale de propagation du feu, la direction principale de propagation du feu étant déterminée à partir : d’un premier barycentre d’un ensemble de points 3D les plus bas, en termes d’élévation verticale, dans le troisième nuage de points 3D extrait du couple d'images stéréoscopiques multimodales reçues à l’instant courant ; et d’un second barycentre d’un ensemble de points 3D les plus bas, en termes d’élévation verticale, dans le troisième nuage de points 3D extrait d’un couple d'images stéréoscopiques multimodales reçues à un instant antérieur ; la direction principale de propagation du feu étant dirigée vers le premier barycentre.
6. Procédé selon la revendication 5, caractérisé en ce qu’il comprend en outre une étape de rotation dudit troisième nuage de points 3D autour dudit troisième axe (252) du repère local de mesure (250) associé audit plan local, ce qui fournit un quatrième nuage de point 3D transformé associé à une direction principale de propagation du feu colinéaire avec le deuxième axe (253) dudit repère local de mesure (250).
7. Procédé selon la revendication 6, caractérisé en ce qu’il comprend en outre une étape d’estimation d’une deuxième pluralité de caractéristiques géométriques locales du feu à partir dudit quatrième nuage de points 3D transformé.
8. Procédé selon la revendication 7, caractérisé en ce que ladite deuxième pluralité de caractéristiques géométriques locales du feu comprend au moins une caractéristique parmi la longueur du feu, la largeur du feu, la hauteur du feu, l’inclinaison du feu, la surface du feu, le front du feu et le volume du feu.
9. Procédé selon l’une des revendications précédentes, caractérisé en ce que l’étape de détection de pixels de feu dans une image multimodale comprend, pour chacun des pixels : la détermination d’un premier vecteur de données associées au pixel considéré dans le domaine visible et d’un deuxième vecteur de données associées au pixel considéré dans le domaine infrarouge ; le calcul d’un premier résultat de probabilité pour que ledit pixel appartienne à une classe « feu » à partir dudit premier vecteur de données et d’un deuxième résultat de probabilité pour que ledit pixel appartienne à une classe « feu » à partir dudit deuxième vecteur de données ; la fusion des résultats de probabilités obtenus ; et le classement du pixel considéré selon qu’il représente « le feu» ou « l’environnement ».
10. Procédé selon l’une des revendications précédentes, caractérisé en ce que l’étape de génération d’un premier nuage de points 3D représentant un feu comprend les étapes consistant à :
Détecter dans chacune desdites images stéréoscopiques multimodales un ou plusieurs pixels d’intérêt dans les zones de pixels de feu ;
Apparier des pixels d’intérêt entre lesdites images stéréoscopiques multimodales ;
Calculer les coordonnées tridimensionnelles des pixels d’intérêt appariés dans ledit repère local (220) lié à la position du dispositif d’imagerie stéréoscopique (101) en utilisant une technique de triangulation.
11. Procédé selon l’une des revendications précédentes, caractérisé en ce que lesdites données géométriques dudit plan local 230 sont estimées à partir des points 3D les plus bas associés à une altitude minimale par rapport aux points 3D adjacents.
12. Procédé selon l’une des revendications précédentes, caractérisé en ce qu’une pluralité de couples d’images stéréoscopiques multimodales est fournie par ledit dispositif d’imagerie stéréoscopique (101) et est traitée de manière séquentielle dans le temps.
13. Procédé selon la revendication 12, caractérisé en ce qu’il comprend en outre une étape d’estimation d’une pluralité de caractéristiques géométriques globales du feu à partir de ladite pluralité de couples d’images stéréoscopiques multimodales, ladite pluralité de caractéristiques géométriques globales comprenant la vitesse de propagation du feu.
14. Système de caractérisation de feux se produisant dans une zone géographique (110) couverte partiellement par les champs de vision d’un dispositif d’imagerie stéréoscopique (101), ledit dispositif d’imagerie étant mobile, géo-localisé dans un repère global (210) et fournissant des images stéréoscopiques multimodales acquises au moyen de deux unités d’imageries (1011 , 1012), chacune desdites images multimodales comprenant une image du domaine visible et une image du domaine infrarouge acquises simultanément, ledit système de caractérisation de feux (100) étant caractérisé en ce qu’il comprend en outre un dispositif de caractérisation comprenant : une unité de détection (1201) configurée pour détecter, dans chacune des deux images stéréoscopiques multimodales, des pixels de feu représentant un feu se produisant dans la zone géographique (110) ; une unité de génération de nuages de points 3D (1202) configurée pour générer à partir des pixels de feu détectés un premier nuage de points tridimensionnels (3D) représentant le feu (111), ledit premier nuage de points 3D étant représenté dans un repère local (220) lié à la position du dispositif d’imagerie stéréoscopique (101) au moment de l’acquisition dudit couple d’images stéréoscopiques multimodales ; une unité de transformation (1203) configurée pour transformer ledit premier nuage de points 3D en un deuxième nuage de points 3D géo-localisé dans ledit repère global (210) ; une unité d’estimation (1204) configurée pour estimer à partir dudit deuxième nuage de points 3D des données géométriques d’un plan local (230) sur lequel le feu (111) se produit dans la zone géographique (110), lesdites données géométriques comprenant un angle longitudinal (261) et un angle latéral (262) définis par rapport à un plan de référence (240) relativement à deux directions perpendiculaires ; une unité de transposition (1205) configurée pour transposer ledit deuxième nuage de points 3D dans un repère de mesure associé audit plan local (250) pour fournir un troisième nuage de points 3D ; une unité d’estimation (1206) configurée pour estimer à partir dudit troisième nuage de points 3D une première pluralité de caractéristiques géométriques locales du feu, ladite première pluralité de caractéristiques géométriques locales du feu comprenant une direction principale de propagation de feu.
15. Système de caractérisation de feux selon la revendication 14, caractérisé en ce que ledit dispositif d’imagerie stéréoscopique (101) est aéroporté au moyen d’un aéronef.
16. Système de caractérisation de feux selon la revendication 14, caractérisé en ce que ledit dispositif d’imagerie stéréoscopique (101) est mobile au moyen d’un véhicule terrestre sans pilote.
EP21733124.8A 2020-06-19 2021-06-18 Procede et systeme de caracterisation geometrique de feux Withdrawn EP4169005A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2006435A FR3111723B1 (fr) 2020-06-19 2020-06-19 Procédé et système de caractérisation géométrique de feux
PCT/EP2021/066528 WO2021255214A1 (fr) 2020-06-19 2021-06-18 Procede et systeme de caracterisation geometrique de feux

Publications (1)

Publication Number Publication Date
EP4169005A1 true EP4169005A1 (fr) 2023-04-26

Family

ID=73038089

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21733124.8A Withdrawn EP4169005A1 (fr) 2020-06-19 2021-06-18 Procede et systeme de caracterisation geometrique de feux

Country Status (3)

Country Link
EP (1) EP4169005A1 (fr)
FR (1) FR3111723B1 (fr)
WO (1) WO2021255214A1 (fr)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL117521A0 (en) * 1996-03-17 1996-10-31 Israel Aircraft Ind Ltd Malat A fire imaging system and method
ES2732401T3 (es) * 2012-07-24 2019-11-22 Boeing Co Sistema de prevención y detención de incendio no controlado

Also Published As

Publication number Publication date
FR3111723A1 (fr) 2021-12-24
WO2021255214A1 (fr) 2021-12-23
FR3111723B1 (fr) 2022-08-12

Similar Documents

Publication Publication Date Title
US11769225B2 (en) Image processing apparatus, image processing method, and program
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
CN106683039B (zh) 一种生成火情态势图的系统
KR102542556B1 (ko) 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용한 실시간 습지 지역 주요 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템
CN106683038A (zh) 一种生成火情态势图的方法及装置
CN114544006B (zh) 一种基于环境光照条件的低空遥感影像校正系统及方法
FR3152317A1 (fr) Procédé de détection de gaz automatisée
CA2573291C (fr) Systeme de detection des conditions environnementales faisant appel a des images geospatiales, et methodes associees
CN110287939B (zh) 天基智能图像处理方法
WO2013034941A2 (fr) Procédé permettant de mesurer la distance de la base des nuages et appareil permettant de mesurer la polarisation
Ramirez‐Paredes et al. Low‐altitude Terrestrial Spectroscopy from a Pushbroom Sensor
CA3233479A1 (fr) Procede de detection d'obstacles
US20230316745A1 (en) Atmospheric chemical species detection using multispectral imaging
JP6296444B2 (ja) 点群画像による図化方法、及び点群画像による図化装置
CN114581346A (zh) 一种面向城市低空遥感监测目标的多光谱影像融合方法
CN120526327A (zh) 无人机光谱影像brdf快速采集及自适应泛化建模方法
EP4169005A1 (fr) Procede et systeme de caracterisation geometrique de feux
EP4156102B1 (fr) Procédé de sélection de paires stéréoscopiques d'images aériennes ou satellite pour générer des données d élévation
EP3757943B1 (fr) Procédé et dispositif de télémétrie passive par traitement d'image et utilisation de modeles en trois dimensions
Youssef et al. DeepForest: Sensing into Self-occluding Volumes of Vegetation with Aerial Imaging
KR102941523B1 (ko) 양방향 반사 분포 함수를 위한 파라미터의 생성 방법 및 장치
EP3999865A1 (fr) Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure
US20250155290A1 (en) Systems and Methods for Performing Polarization Imaging
FR3164307A1 (fr) Procédé et dispositif de détermination rapide d’une distance séparant un objet d’un véhicule par utilisation de boîte englobante.
FR3163760A1 (fr) Procédé et dispositif de génération d’images d’apprentissage d’un modèle de prédiction de profondeur pour un système de vision avec caméras hétérogènes.

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221215

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250617

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20251018