EP0577491B1 - Process and device for monitoring a three-dimensional scene using imagery sensors - Google Patents

Process and device for monitoring a three-dimensional scene using imagery sensors Download PDF

Info

Publication number
EP0577491B1
EP0577491B1 EP19930401661 EP93401661A EP0577491B1 EP 0577491 B1 EP0577491 B1 EP 0577491B1 EP 19930401661 EP19930401661 EP 19930401661 EP 93401661 A EP93401661 A EP 93401661A EP 0577491 B1 EP0577491 B1 EP 0577491B1
Authority
EP
European Patent Office
Prior art keywords
scene
sensors
scenes
points
synthesised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP19930401661
Other languages
German (de)
French (fr)
Other versions
EP0577491A1 (en
Inventor
Francis Bretaudeau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Matra Cap Systemes
Original Assignee
Matra Cap Systemes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matra Cap Systemes filed Critical Matra Cap Systemes
Publication of EP0577491A1 publication Critical patent/EP0577491A1/en
Application granted granted Critical
Publication of EP0577491B1 publication Critical patent/EP0577491B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction

Definitions

  • the present invention relates to surveillance a lit, three-dimensional scene with structure known or determinable geometric, allowing in particular to detect anomalies larger than a value determined (representing for example intrusions) or, in an advanced embodiment, to locate a mobile moving inside the scene.
  • the present invention aims to provide a method and a scene monitoring or control device, meeting the requirements better than those previously known of practice, particularly in that they provide high selectivity by using only means simple hardware.
  • the reference model is purely geometric and only intervenes to establish the correspondence between homologous points in the fields of different sensors.
  • the comparison can be made between images taken at identical times, so in lighting conditions which are the same. Given that the comparison is made between synthesized scenes, a modification of the external conditions modifying the radiometric values (brightness or color) of a point will be has no effect on the comparison, provided that the sensors have similar response characteristics.
  • scene does not should not be interpreted as limited to the case of a zone continuous, corresponding to the field overlap sensors.
  • the stage can be made up of portions discreet in the fields, only considered important and monitor.
  • the comparison of the synthesized scenes can be performed by determining the coefficients of correlation between the two synthesized scenes, on determined neighborhoods of the points of the scene, and by comparison of these coefficients to a threshold which will be obviously always less than unity.
  • the 3D geometric model of the scene can be constituted from the images of the scene, in a state of reference, provided by the sensors, stored either pixel per pixel or, more generally, using elements geometric such as facets.
  • the geometric model can also be established directly in mathematical form from a field knowledge provided by observations earlier or using maps and models of two-dimensional geometric representation by sensors can be derived from knowledge the position of the sensors relative to the scene.
  • the detection operations defined above can be repeated, for example at the rate of taking view of the sensors, which will usually be cameras. So we can follow the evolution of an object in the scene.
  • the invention also provides a device for monitoring to implement the above process defined.
  • This device includes several sensors sensitive to a radiometric parameter, in lengths comparable waveforms, including storage means a purely geometric three-dimensional reference model of a scene to watch, associating, at each point of the scene, homologous points in the sensor field; of means allowing, from the geometric model and signals representative of the radiometric value of each image pixel provided by the sensors, to synthesize the real scene by projection on the geometric model three-dimensional; and neighborhood comparison means of determined dimensions of the synthesized scenes, allowing to determine the gaps between them.
  • the invention is susceptible of numerous modes of different implementation, allowing to adapt it as well in case we can have or get a geometric model three-dimensional as a digital terrain model that in case it is necessary to determine a transformation establishing, at least approximately, a correspondence between each point of the field of one of the sensors with the homologous point of the field of the other sensor.
  • FIG. 1 shows a device having only two sensors 10 and 12, constituted for example by sensitive cameras in the visible range, which have angular fields which overlap in the scene to be observed.
  • a point of the digital terrain model having coordinates (x, y, z) in the referential axis system chosen will correspond to a point of coordinates ( ⁇ i, ⁇ i) and of radiometry Si in a two-dimensional frame of reference which is associated this time with the respective sensor. It is possible to determine, by calculation or prior measurements, the transformations making it possible to pass coordinates and radiometry in a frame of reference linked to the scene to coordinates and radiometry in a frame of reference linked to each sensor.
  • a scene is thus constituted for each sensor synthesis by associating the real geometry, provided by the DEM, and the radiometric value, is directly provided by the sensor, is subjected to a preliminary treatment, by filtering example.
  • the scenes synthesized will remain almost identical to each other for this area, even if there has been an evolution in radiometry real. Even if, for example due to a different answer of the two sensors and lighting variations, the scenes synthesized do not remain strictly identical, the synthesized scenes will in any case remain closely correlated, in the absence of modification of the geometry of the ground.
  • the observed scene has undergone geometric modifications compared to the known model, by following an intrusion, the corresponding radiometric value at a point of the disturbance, seen from one of the sensors, will projected during the synthesis on a geometric position of the where it did not come from, since the device only knows the geometric model not having this disturbance. It will be the same for the value radiometric supplied, for the same point of the disturbance, by the other sensor. Consequently the synthesis scenes developed by two sensors, each based on information radiometric he receives and the geometric model of reference, will differ. The gaps between the two scenes of synthesis will depend on the height and volume of the disturbance.
  • the device can therefore be robust to variations in lighting conditions and be insensitive to passage of small objects on the ground.
  • the size, and in particular the height, minimum detected depends in particular on the resolution sensors and the distance between them.
  • the anomaly 14 shown in dashes results in a modification of the image provided by the sensor 10 over the width l , which can be translated as the addition of a shadow on the picture.
  • the device can be supplemented by sensors other natures, or implement multiple systems associates working in different wavelengths.
  • it can implement, in addition to detection using a comparison between radiometric values supplied by two or more sensors (e.g. infrared), a time detection using a comparison between successive images.
  • the first method assumes that a digital model of the terrain has been produced and stored.
  • This digital model can be created from aerial photographs, maps, or even measurements in the field. From the knowledge of this mathematical model, we can determine by calculation, for a given position of each of the sensors, at least two for each scene, the transformations which correspond, to each point of coordinates (x, y, z) of the digital model, the coordinates ⁇ i, ⁇ i of the image of this point in the coordinate system associated with the sensor of order i .
  • the radiometric signal S ( ⁇ i, ⁇ i) supplied at each point of the image of the sensor i is proportional to the flux re-emitted by the surface element associated with the points (x, y, z) of the model, the coefficient of proportionality being substantially constant over a neighborhood of a few pixels.
  • the detection scheme in the case of two sensors 10 and 12 constituted by two cameras, is then that shown in FIG. 3.
  • a point (x, y, z) diffusing a flow S it is possible to associate the image points ( ⁇ 1 , ⁇ 1) of camera 1 and ( ⁇ 2, ⁇ 2) of camera 2.
  • the detection operation is carried out by comparison signals S1 and S2 associated with the same point (x, y, z) and this for each of the points (x, y, z).
  • This method makes it possible to get rid of consequences of differences in gains between the sensors and effects due to angular conditions distinct from shooting, having an influence on the backscatter, towards the sensors.
  • the synthesis model is reconstructed with a radiometry which is no longer that associated with the geometry of the observed area.
  • a radiometry which did not come from the point of the scene of reference. And this is true for all the points masked by the perturbation.
  • Detection is determined by issuing an alarm signal when the correlation coefficient is less than a threshold s , which is obviously always chosen to be less than 1.
  • Such a detection technique has the advantage to be insensitive to variations in dynamics and in particular of illumination, which constitutes a factor of robustness important and allows omitting any radiometric calibration.
  • a second approach should be used when we do not initially know a numerical model of field: it allows to return to the initial conditions of the where a DTM is available.
  • This grid can in particular be constituted by a wrought, obtained by example by scanning with a laser and location, each laser pulse, from the point of the image representing impact on the ground.
  • Figure 4 shows two sensors, constituted by cameras 10 and 12 whose fields have an overlap zone 16 of which a part or the all constitutes the monitored scene. Lighting can be natural; at night or to improve the sensitivity of short distance detection, natural lighting can be replaced or supplemented by an artificial, visible or infrared. In the case of person detection, it suffices with a ground resolution of 10x10 cm and a cadence of two detections per seconds, which corresponds to a displacement of 1.5 m for one person at 10 km / h.
  • the sensors can be CCD infrared cameras with a matrix of 600x700 pixels.
  • the two cameras 10 and 12 are synchronized, by example by controlling camera 12 from the signal from camera synchronization 10.
  • the corresponding pixels of two images supplied from the same scene by two cameras are on two straight lines, called epipolar, each passing through the optical center O 1 and 0 2 of the respective image: in each image , the pixel corresponding to the same point P of the scene is in the image - constituted by an epipolar line - of the plane 0 1 PO 2 .
  • the epipolars have the property that any pixel of the epipolar in one image has a homologous pixel in the corresponding epipolar of the other image if the reference marks of the cameras remain unchanged.
  • An interesting configuration is to place the cameras so that their marks (line and frame directions) are parallel and that the points 0 1 and 0 2 are located on the same straight line parallel to the line direction.
  • Two epipoles such as 30 1 and 30 2 are then straight lines parallel to the line direction (FIG. 5A).
  • the treatments can then be carried out line by line according to the epipolar: it suffices to memorize in the card 26 the lines corresponding to the epipolar of the zones observed and a number of lines above and below corresponding to the extent of the chosen neighborhood for correlation calculation.
  • FIG. 5B When it is not possible or inconvenient to adopt the arrangement of FIG. 5A, that of FIG. 5B is still advantageous.
  • the epipolar 32 1 and 32 2 are then inclined lines, but making the same angle with respect to the lines of the two images.
  • FIG. 6 shows a possible constitution of the processing part of a device in the case of a terrain model using a memorized grid. It will be assumed that the optical centers of the cameras 10 and 12 are arranged in the vicinity of the same straight line parallel to the direction of scanning in the line direction.
  • the memory 26 (FIG. 4) can comprise two memory spaces 26 1 and 26 2 corresponding to a packet of a few lines of pixels only, centered on the line of order i whose pixels are neighboring.
  • the processor can be viewed as having two processing channels 24 1 and 24 2 performing the projections and receiving, on respective inputs 34 1 and 34 2 , the geometric models in digital form.
  • the processor also includes a unit 36 of comparison of projections, usually by determination an intercorrelation factor on each neighborhood and comparison to a threshold.
  • the output of the unit 36 is applied to a block 38 for transferring the images to a recording device and possibly a display device 40.
  • the processor 36 also has an output 40 controlling the passage of a packet of lines centered on line i has a packet centered on line i + 1 when the comparison is complete. In other words, the processor drives the storage of line packets asynchronously.
  • the architecture shown in Figure 6 allows limit the amount of RAM to write and read fast.
  • the invention is susceptible of numerous variants of realization and many applications other than those that have been specifically mentioned.
  • the device can be used to locate a robot inside the scene, the robot constituting an anomaly.
  • the sensors may be placed on a displacement device (bridge carriage rolling for example) fitted with measuring means allowing permanently have the coordinates of the sensors by report to the field. It is thus possible, from a main memory storing a digital terrain model corresponding to the entire robot evolution domain, to constantly update the processor memory of processing to match the location of the sensors.
  • the device according to the invention has the advantage to be free from most system faults visualization mounted on the robots themselves, including the limitation of the distance field of vision and the impossibility to observe the area of movement of the robot behind obstacles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

La présente invention concerne la surveillance d'une scène éclairée, tridimensionnelle, ayant une structure géométrique connue ou déterminable, permettant notamment de détecter des anomalies de taille supérieure à une valeur déterminée (représentant par exemple des intrusions) ou, dans un mode évolué de réalisation, de localiser un mobile se déplaçant à l'intérieur de la scène.The present invention relates to surveillance a lit, three-dimensional scene with structure known or determinable geometric, allowing in particular to detect anomalies larger than a value determined (representing for example intrusions) or, in an advanced embodiment, to locate a mobile moving inside the scene.

On connaít déjà de nombreux procédés de surveillance (voir GB-A2 150 724 et R.J. Blissett : "Retrieving 3D information from video for robot control and surveillance", in Electronics and Communication Engineering Journal, pages 155-164, Août 1990, Vol.2 n°4) d'une scène éclairée à trois dimensions, l'éclairement étant dû à une source naturelle, telle que le soleil, ou à une source artificielle de rayonnement électro-magnétique ou d'ultrasons. Beaucoup de ces procédés font une comparaison entre l'image de la scène à un instant donné et l'image formée précédemment. Ces procédés ont notamment l'inconvénient de mal discriminer les modifications locales dues à une intrusion de celles dues à une modification locale d'éclairement. De façon générale, ces procédés et dispositifs ont pour la plupart une sélectivité insuffisante pour permettre de différencier, avec une probabilité élevée, des anomalies caractérisées par leur taille, et notamment leur saillie par rapport à la scène d'origine, donc de différencier par exemple un rongeur et un être humain.We already know many monitoring methods (see GB-A2 150 724 and R.J. Blissett: "Retrieving 3D information from video for robot control and surveillance ", in Electronics and Communication Engineering Journal, pages 155-164, August 1990, Vol.2 n ° 4) of a three-dimensional illuminated scene, the illumination being due to a natural source, such as the sun, or a artificial source of electromagnetic radiation or ultrasound. Many of these processes compare between the image of the scene at a given time and the image previously formed. These processes have in particular the disadvantage of poorly discriminating local modifications due to intrusion from those due to local modification of illumination. Generally, these methods and devices most have insufficient selectivity for allow to differentiate, with a high probability, anomalies characterized by their size, and in particular their protruding from the original scene, so from differentiate, for example, a rodent and a human being.

La présente invention vise à fournir un procédé et un dispositif de surveillance ou de contrôle d'une scène, répondant mieux que ceux antérieurement connus aux exigences de la pratique, notamment en ce qu'ils assurent une sélectivité élevée en ne mettant en oeuvre que des moyens matériel simples.The present invention aims to provide a method and a scene monitoring or control device, meeting the requirements better than those previously known of practice, particularly in that they provide high selectivity by using only means simple hardware.

Dans ce but l'invention propose notamment un procédé de surveillance d'une scène éclairée à trois dimensions, suivant lequel :

  • on constitue un modèle géométrique tridimensionnel (dit 3D) de référence de ladite scène associant, à chaque point de la scène, des points homologues dans le champ d'au moins deux capteurs placés à distance l'un de l'autre et sensibles à un paramètre radiométrique (tel que la brillance) de la scène ;
  • on synthétise périodiquement la scène réelle sur le modèle géométrique tridimensionnel, à partir de chacune des représentations qui en sont fournies par les capteurs ; et, à partir de là,
  • on compare les scènes synthétisées entre elles pour faire apparaítre les écarts dus à une modification du modèle 3D qui ont une taille supérieure à une valeur déterminée.
To this end, the invention proposes in particular a method for monitoring a lit scene in three dimensions, according to which:
  • a three-dimensional (so-called 3D) geometric model of said scene is constituted, associating, at each point of the scene, homologous points in the field of at least two sensors placed at a distance from each other and sensitive to a radiometric parameter (such as brightness) of the scene;
  • the real scene is periodically synthesized on the three-dimensional geometric model, from each of the representations provided by the sensors; and from there
  • we compare the synthesized scenes with each other to reveal the differences due to a modification of the 3D model which have a size greater than a determined value.

On voit que le modèle de référence est purement géométrique et n'intervient que pour permettre d'établir la correspondance entre points homologues dans les champs des différents capteurs. La comparaison peut s'effectuer entre des images prises à des instants identiques, donc dans des conditions d'éclairement qui sont les mêmes. Etant donné que la comparaison est effectuée entre des scènes synthétisées, une modification des conditions extérieures modifiant les valeurs radiométriques (brillance ou couleur) d'un point sera sans effet sur la comparaison, à condition que les capteurs aient des caractéristiques de réponse similaires.We see that the reference model is purely geometric and only intervenes to establish the correspondence between homologous points in the fields of different sensors. The comparison can be made between images taken at identical times, so in lighting conditions which are the same. Given that the comparison is made between synthesized scenes, a modification of the external conditions modifying the radiometric values (brightness or color) of a point will be has no effect on the comparison, provided that the sensors have similar response characteristics.

Il faut incidemment noter que le terme "scène" ne doit pas être interprété comme limité au cas d'une zone continue, correspondant à la zone de recouvrement des champs des capteurs. La scène peut être constituée de portions discrètes dans les champs, seules jugées importantes et à surveiller.Incidentally, it should be noted that the term "scene" does not should not be interpreted as limited to the case of a zone continuous, corresponding to the field overlap sensors. The stage can be made up of portions discreet in the fields, only considered important and monitor.

La comparaison des scènes synthétisées peut être effectuée par détermination des coefficients d'intercorrélation entre les deux scènes synthétisées, sur des voisinages déterminés des points de la scène, et par comparaison de ces coefficients à un seuil qui sera évidemment toujours inférieur à l'unité.The comparison of the synthesized scenes can be performed by determining the coefficients of correlation between the two synthesized scenes, on determined neighborhoods of the points of the scene, and by comparison of these coefficients to a threshold which will be obviously always less than unity.

Le modèle géométrique 3D de la scène peut être constitué à partir des images de la scène, dans un état de référence, fournies par les capteurs, mémorisées soit pixel par pixel soit, plus généralement, à l'aide d'éléments géométriques tels que des facettes.The 3D geometric model of the scene can be constituted from the images of the scene, in a state of reference, provided by the sensors, stored either pixel per pixel or, more generally, using elements geometric such as facets.

Le modèle géométrique peut également être établi directement sous forme mathématique à partir d'une connaissance du terrain fournie par des observations antérieures ou à l'aide de cartes et les modèles de représentation géométrique en deux dimensions par les capteurs peuvent en être déduites à partir de la connaissance de la position des capteurs par rapport à la scène.The geometric model can also be established directly in mathematical form from a field knowledge provided by observations earlier or using maps and models of two-dimensional geometric representation by sensors can be derived from knowledge the position of the sensors relative to the scene.

Dans la plupart des cas, on sera amené à donner aux capteurs un écartement mutuel inférieur à la distance entre les capteurs et les points de la scène qui en sont les plus proches : le rapport entre l'écartement des capteurs et la distance sera un paramètre prépondérant pour sélectionner la saillie minimale que doit avoir un objet par rapport à la scène d'origine pour être détecté.In most cases, we will have to give sensors a mutual spacing less than the distance between the sensors and the points of the scene which are the most close: the relationship between the spacing of the sensors and the distance will be a paramount parameter to select the minimum projection that an object must have in relation to the original scene to be detected.

Les opérations de détection définies ci-dessus peuvent être répétées, par exemple à la cadence de prise de vue des capteurs, qui seront généralement des caméras. Ainsi on peut suivre les évolutions d'un objet dans la scène.The detection operations defined above can be repeated, for example at the rate of taking view of the sensors, which will usually be cameras. So we can follow the evolution of an object in the scene.

L'invention propose également un dispositif de surveillance permettant de mettre en oeuvre le procédé ci-dessus défini. Ce dispositif comprend plusieurs capteurs sensibles à un paramètre radiométrique, dans des longueurs d'onde comparables, comprenant des moyens de mémorisation d'un modèle purement géométrique tridimensionnel de référence d'une scène à surveiller, associant, à chaque point de la scène, des points homologues dans le champ des capteurs ; des moyens permettant, à partir du modèle géométrique et des signaux représentatifs de la valeur radiométrique de chaque pixel d'image fourni par les capteurs, de synthétiser la scène réelle par projection sur le modèle géométrique tridimensionnel ; et des moyens de comparaison de voisinages de dimension déterminée des scènes synthétisées, permettant de déterminer les écarts entre eux.The invention also provides a device for monitoring to implement the above process defined. This device includes several sensors sensitive to a radiometric parameter, in lengths comparable waveforms, including storage means a purely geometric three-dimensional reference model of a scene to watch, associating, at each point of the scene, homologous points in the sensor field; of means allowing, from the geometric model and signals representative of the radiometric value of each image pixel provided by the sensors, to synthesize the real scene by projection on the geometric model three-dimensional; and neighborhood comparison means of determined dimensions of the synthesized scenes, allowing to determine the gaps between them.

L'invention est susceptible de nombreux modes de mise en oeuvre différents, permettant de l'adapter aussi bien au cas où l'on peut disposer ou obtenir un modèle géométrique tridimensionnel sous forme d'un modèle numérique de terrain qu'au cas où il est nécessaire de déterminer une transformation établissant, au moins de façon approchée, une correspondance entre chaque point du champ d'un des capteurs avec le point homologue du champ de l'autre capteur.The invention is susceptible of numerous modes of different implementation, allowing to adapt it as well in case we can have or get a geometric model three-dimensional as a digital terrain model that in case it is necessary to determine a transformation establishing, at least approximately, a correspondence between each point of the field of one of the sensors with the homologous point of the field of the other sensor.

L'invention sera mieux comprise à la lecture de la description qui suit de modes particuliers de réalisation, donnés à titre d'exemple non limitatifs. La description se réfère aux dessins qui l'accompagnent, dans lesquels :

  • la figure 1 montre schématiquement la disposition de deux capteurs par rapport à une scène et l'effet d'une anomalie en relief sur la scène, dans le cas d'un dispositif de surveillance que l'on peut qualifier de "fond de terrain" ;
  • la figure 2 est un schéma destiné à faire apparaítre l'influence de différents paramètres sur la détection ;
  • la figure 3 est un organigramme d'un mode de réalisation du procédé ;
  • la figure 4 est un schéma de principe montrant une constitution possible d'un dispositif ;
  • les figures 5A et 5B montrent des dispositions particulières, avantageuses du point de vue du traitement, des images fournies par les caméras constituant les capteurs d'un dispositif ;
  • la figure 6 montre une architecture possible de la chaíne de traitement d'un dispositif.
The invention will be better understood on reading the following description of particular embodiments, given by way of nonlimiting example. The description refers to the accompanying drawings, in which:
  • FIG. 1 schematically shows the arrangement of two sensors in relation to a scene and the effect of an anomaly in relief on the scene, in the case of a monitoring device which can be described as "background";
  • Figure 2 is a diagram for showing the influence of different parameters on the detection;
  • Figure 3 is a flow diagram of an embodiment of the method;
  • Figure 4 is a block diagram showing a possible constitution of a device;
  • FIGS. 5A and 5B show particular arrangements, advantageous from the point of view of processing, of the images supplied by the cameras constituting the sensors of a device;
  • Figure 6 shows a possible architecture of the processing chain of a device.

Avant de décrire de façon détaillée les étapes d'un procédé suivant l'invention de détection d'intrusions, on définira l'approche générale mise en oeuvre conformément à l'invention, dans le cas particulier d'une scène constituée par un terrain dont il est possible de représenter la structure par un modèle géométrique sous forme d'un modèle numérique de terrain (en abrégé MNT), donnant les coordonnées de chaque point du terrain dans un système d'axes fixe x, y et z.Before describing in detail the steps of a method according to the invention for intrusion detection, the general approach implemented in accordance with the invention will be defined, in the particular case of a scene consisting of a terrain whose it is possible to represent the structure by a geometric model in the form of a digital terrain model (abbreviated DEM), giving the coordinates of each point of the terrain in a fixed axis system x , y and z .

La figure 1 montre un dispositif n'ayant que deux capteurs 10 et 12, constitués par exemple par des caméras sensibles dans le domaine visible, qui ont des champs angulaires qui se recouvrent dans la scène à observer. Dans l'image fournie par un capteur d'ordre i (i étant égal à 1 ou 2 dans le cas considéré) un point du modèle numérique de terrain ayant des coordonnées (x,y,z) dans le système d'axe référentiel choisi correspondra à un point de coordonnées (αi, βi) et de radiométrie Si dans un référentiel à deux dimensions qui est associé cette fois au capteur respectif. Il est possible de déterminer, par le calcul ou des mesures préalables, les transformations permettant de passer des coordonnées et de la radiométrie dans un référentiel lié à la scène aux coordonnées et à la radiométrie dans un référentiel lié à chaque capteur.FIG. 1 shows a device having only two sensors 10 and 12, constituted for example by sensitive cameras in the visible range, which have angular fields which overlap in the scene to be observed. In the image supplied by a sensor of order i (i being equal to 1 or 2 in the case considered) a point of the digital terrain model having coordinates (x, y, z) in the referential axis system chosen will correspond to a point of coordinates (αi, βi) and of radiometry Si in a two-dimensional frame of reference which is associated this time with the respective sensor. It is possible to determine, by calculation or prior measurements, the transformations making it possible to pass coordinates and radiometry in a frame of reference linked to the scene to coordinates and radiometry in a frame of reference linked to each sensor.

Connaissant le modèle géométrique 3D de la scène à observer et la répartition des valeurs radiométriques données par un des capteurs, on peut construire une scène de synthèse associée à ce capteur, en réaffectant à chaque point connu dans la scène, c'est-à-dire à chaque point de coordonnées (x,y,z), la valeur radiométrique fournie par le capteur.Knowing the 3D geometric model of the scene at observe and distribute the given radiometric values by one of the sensors, we can build a synthesis scene associated with this sensor, reassigning to each known point in the scene, i.e. at each coordinate point (x, y, z), the radiometric value supplied by the sensor.

On constitue ainsi, pour chaque capteur, une scène de synthèse en associant la géométrie réelle, fournie par le MNT, et la valeur radiométrique, soit directement fournie par le capteur, soit soumise à un traitement préalable, par exemple de filtrage.A scene is thus constituted for each sensor synthesis by associating the real geometry, provided by the DEM, and the radiometric value, is directly provided by the sensor, is subjected to a preliminary treatment, by filtering example.

Si la géométrie 3D de la scène réelle n'a pas subi de modification dans une zone déterminée, les scènes synthétisées resteront quasi-identiques l'une à l'autre pour cette zone, même s'il y a eu évolution de la radiométrie réelle. Si même, du fait par exemple d'une réponse différente des deux capteurs et des variations d'éclairement, les scènes synthétisées ne restent pas strictement identiques, les scènes synthétisées resteront dans tous les cas étroitement corrélées, en l'absence de modification de la géométrie du terrain.If the 3D geometry of the real scene has not undergone modification in a specific area, the scenes synthesized will remain almost identical to each other for this area, even if there has been an evolution in radiometry real. Even if, for example due to a different answer of the two sensors and lighting variations, the scenes synthesized do not remain strictly identical, the synthesized scenes will in any case remain closely correlated, in the absence of modification of the geometry of the ground.

Si en revanche la scène observée a subi des modifications géométriques par rapport au modèle connu, par suite d'une intrusion, la valeur radiométrique correspondant à un point de la perturbation, vu d'un des capteurs, sera projetée lors de la synthèse sur une position géométrique du point d'où elle n'est pas issue, étant donné que le dispositif ne connaít que le modèle géométrique n'ayant pas cette perturbation. Il en sera de même pour la valeur radiométrique fournie, pour le même point de la perturbation, par l'autre capteur. En conséquence les scènes de synthèse élaborées par deux capteurs, chacun à partir des informations radiométriques qu'il reçoit et du modèle géométrique de référence, divergeront. Les écarts entre les deux scènes de synthèse seront fonction de la hauteur et du volume de la perturbation.If, on the other hand, the observed scene has undergone geometric modifications compared to the known model, by following an intrusion, the corresponding radiometric value at a point of the disturbance, seen from one of the sensors, will projected during the synthesis on a geometric position of the where it did not come from, since the device only knows the geometric model not having this disturbance. It will be the same for the value radiometric supplied, for the same point of the disturbance, by the other sensor. Consequently the synthesis scenes developed by two sensors, each based on information radiometric he receives and the geometric model of reference, will differ. The gaps between the two scenes of synthesis will depend on the height and volume of the disturbance.

Cette influence de la hauteur de la perturbation apparaít immédiatement si l'on considère le cas particulier d'une perturbation n'ayant qu'une très faible épaisseur : dans ce cas il y a uniquement modification des valeurs radiométriques dans une zone particulière de la scène réelle. Cette scène restera géométriquement identique au modèle de référence. La perturbation, comme une perturbation qui serait due à une modification locale d'éclairement (passage d'une ombre portée par exemple) ne sera pas détectée comme une intrusion.This influence of the height of the disturbance appears immediately if you consider the particular case a disturbance having only a very small thickness: in this case there is only modification of the values radiometric measurements in a particular area of the real scene. This scene will remain geometrically identical to the model of reference. The disturbance, like a disturbance that would due to a local change in lighting (passage of a drop shadow for example) will not be detected as a intrusion.

Le dispositif peut en conséquence être robuste aux variations de conditions d'éclairage et être insensible au passage d'objets de petite taille sur le sol.The device can therefore be robust to variations in lighting conditions and be insensitive to passage of small objects on the ground.

On verra plus loin que la taille, et notamment la hauteur, minimale détectée dépend notamment de la résolution des capteurs et de la distance entre eux.We will see below that the size, and in particular the height, minimum detected depends in particular on the resolution sensors and the distance between them.

On voit également sur la figure 1 que l'anomalie 14 montrée en tirets se traduit par une modification de l'image fournie par le capteur 10 sur la largeur l, ce qui peut se traduire comme l'adjonction d'une ombre sur l'image. La même anomalie se traduit pour l'image fournie par le capteur 12, par une modification sur la largeur l' : les scènes de synthèse ne coïncideront donc plus sur l'ensemble des "ombres". Cela reste vrai quelle que soit la nature de l'éclairement, qu'il soit optique, électro-magnétique à fréquence élevée ou même ultrasonore.It can also be seen in FIG. 1 that the anomaly 14 shown in dashes results in a modification of the image provided by the sensor 10 over the width l , which can be translated as the addition of a shadow on the picture. The same anomaly results for the image provided by the sensor 12, by a modification on the width l : the synthesis scenes will therefore no longer coincide on all of the "shadows". This remains true whatever the nature of the lighting, whether optical, electromagnetic at high frequency or even ultrasonic.

La sensibilité de détection du dispositif dépend de la résolution au niveau où sont susceptibles de se produire des intrusions. Si on désigne par exemple par D l'intervalle entre deux capteurs, supposés identiques, et par Ei = Pi Pi+1 la résolution au niveau du terrain, pour le point i et le capteur 12, une anomalie sera détectée à la seule condition qu'elle déborde des domaines de résolution angulaire des deux capteurs, associés à un même emplacement du modèle de terrain. En conséquence, l'anomalie indiquée en 141 ne sera pas détectée, alors que les anomalies 142 et 143 peuvent l'être. En conséquence, on peut déterminer les conditions à remplir pour détecter une anomalie dès qu'elle dépasse une hauteur déterminée au-dessus du sol.The detection sensitivity of the device depends on the resolution at the level where intrusions are likely to occur. If, for example, we denote by D the interval between two sensors, assumed to be identical, and by E i = Pi Pi + 1 the resolution at ground level, for point i and sensor 12, an anomaly will be detected on the sole condition that it extends beyond the angular resolution domains of the two sensors, associated with the same location of the terrain model. Consequently, the anomaly indicated in 14 1 will not be detected, whereas the anomalies 14 2 and 14 3 may be. Consequently, the conditions to be met for detecting an anomaly can be determined as soon as it exceeds a determined height above the ground.

Si en particulier le terrain est loin des capteurs et n'est pas trop perturbé, on peut considérer que la hauteur minimale d par rapport au terrain que doit présenter un obstacle pour être détecté est reliée aux autres paramètres par : D/(L-d) = (L.pix)/d où L est la distance moyenne des capteurs au terrain, D est la distance entre les capteurs, et pix désigne la résolution angulaire correspondant à la résolution au sol Ei .If in particular the terrain is far from the sensors and is not too disturbed, we can consider that the minimum height d with respect to the terrain that an obstacle must have to be detected is related to the other parameters by: D / (Ld) = (L.pix) / d where L is the average distance of the sensors to the ground, D is the distance between the sensors, and pix denotes the angular resolution corresponding to the resolution on the ground E i .

Dans le cas d'un dispositif que l'on peut qualifier de "fond de terre" destiné à détecter des intrus au sol, tout en évitant les fausses alarmes dues à des animaux de petite taille, L sera toujours très supérieur à d. On peut alors écrire : L2 = D.d/pix. In the case of a device that can be described as "ground floor" intended to detect intruders on the ground, while avoiding false alarms due to small animals, L will always be much greater than d . We can then write: L 2 = Dd / pix.

A titre d'exemple, on peut adopter, pour détecter des objets de taille supérieure à 10 centimètres, d=20 cm.As an example, we can adopt, to detect objects larger than 10 centimeters, d = 20 cm.

Le résultat peut alors être atteint avec :
pix = 10-3 rad
L= 20 m
D= 2 m.
The result can then be achieved with:
pix = 10 -3 rad
L = 20 m
D = 2 m.

Quelle que soit la solution adoptée, on voit qu'on utilise la connaissance de la structure géométrique de la scène pour donner à la détection un caractère de comparaison géométrique, ce qui augmente les performances. La connaissance que l'on a a priori élimine l'influence des éléments connus et favorise la détection des modifications géométriques dues aux intrusions.Whatever solution is adopted, we see that uses knowledge of the geometric structure of the scene to give the detection a comparison character geometric, which increases performance. The knowledge that a priori eliminates the influence of known elements and favors the detection of modifications geometric due to intrusions.

Le dispositif peut être complété par des capteurs d'autres natures, ou mettre en oeuvre plusieurs systèmes associés travaillant dans des longueurs d'onde différentes. De plus il peut mettre en oeuvre, en plus d'une détection faisant appel à une comparaison entre valeurs radiométriques fournies par deux capteurs ou davantage (par exemple en infra-rouge), une détection temporelle utilisant une comparaison entre images successives.The device can be supplemented by sensors other natures, or implement multiple systems associates working in different wavelengths. In addition, it can implement, in addition to detection using a comparison between radiometric values supplied by two or more sensors (e.g. infrared), a time detection using a comparison between successive images.

Enfin, une fois un objet détecté, il est possible de le faire disparaítre en incorporant ses caractéristiques dans le modèle géométrique de la zone observée, soit par une nouvelle prise de vue et une analyse des nouvelles vues, soit par voie purement mathématique.Finally, once an object is detected, it is possible to make it disappear by incorporating its characteristics in the geometric model of the observed area, either by a new shot and an analysis of the new views, i.e. purely mathematically.

Le procédé, tel qu'il vient d'être décrit jusqu'ici, implique la connaissance du modèle géométrique 3D de la scène observée pour élaborer les scènes de synthèse.The process, as just described so far involves knowledge of the 3D geometric model of the scene observed to develop the synthesis scenes.

Mais il suffit, pour mettre en oeuvre le procédé, de disposer d'une correspondance géométrique entre les pixels des images des différents capteurs. Cette correspondance géométrique est établie pour la scène de référence afin de déceler ensuite les perturbations. Toute perturbation géométriques de la scène de référence provoque une différence radiométrique entre les points associés par la correspondance dans la scène de référence. Comme on le verra plus loin, cette correspondance peut être établie à partir de l'identification dans l'image de points d'amer dans les champs des différents capteurs. Enfin, un modèle peut être établi en assimilant le terrain à une mosaïque de facettes ayant chacune une forme géométrique simple.But it suffices, to implement the method, to have a geometric correspondence between the pixels images of the various sensors. This correspondence geometric is established for the reference scene in order to then detect disturbances. Any disruption geometry of the reference scene causes a difference radiometric between the points associated by the correspondence in the reference scene. As we will see later, this correspondence can be established from the identification in the image of landmarks in the fields of the various sensors. Finally, a model can be established by equating the terrain with a mosaic of facets each having a simple geometric shape.

Dans ces conditions, à partir de l'approche exposée ci-dessus, divers procédé de détection sont susceptibles d'être mis en oeuvre. On mentionnera maintenant deux solutions, qui diffèrent par la méthode de mise en correspondance géométrique du modèle et de l'image synthétisée.Under these conditions, from the approach set out above, various detection methods are likely to be implemented. We will now mention two solutions, which differ in the method of implementation geometric correspondence of the model and the image synthesized.

La première méthode suppose qu'un modèle numérique du terrain a été réalisé et mémorisé. Ce modèle numérique peut être constitué à partir de photographies aériennes, de cartes, ou même de mesures sur le terrain. A partir de la connaissance de ce modèle mathématique, on peut déterminer par le calcul, pour une position donnée de chacun des capteurs, au nombre de deux au moins pour chaque scène, les transformations qui font correspondre, à chaque point de coordonnées (x,y,z) du modèle numérique, les coordonnées αi, βi de l'image de ce point dans le repère associé au capteur d'ordre i.The first method assumes that a digital model of the terrain has been produced and stored. This digital model can be created from aerial photographs, maps, or even measurements in the field. From the knowledge of this mathematical model, we can determine by calculation, for a given position of each of the sensors, at least two for each scene, the transformations which correspond, to each point of coordinates (x, y, z) of the digital model, the coordinates αi, βi of the image of this point in the coordinate system associated with the sensor of order i .

En d'autres termes, on peut écrire, en désignant par T les transformées déterminables : αi = Tαi(x,y,z) βi = Tβi(x,y,z) In other words, we can write, by designating by T the determinable transforms: αi = Tα i (X Y Z) βi = Tβ i (X Y Z)

Le signal radiométrique S(αi,βi) fourni en chaque point de l'image du capteur i est proportionnel au flux réémis par l'élément de surface associé aux points (x,y,z) du modèle, le coefficient de proportionnalité étant sensiblement constant sur un voisinage de quelques pixels.The radiometric signal S (αi, βi) supplied at each point of the image of the sensor i is proportional to the flux re-emitted by the surface element associated with the points (x, y, z) of the model, the coefficient of proportionality being substantially constant over a neighborhood of a few pixels.

Le schéma de détection, dans le cas de deux capteurs 10 et 12 constitués par deux caméras, est alors celui montré en figure 3. A un point (x,y,z) diffusant un flux S, on peut associer les points image (α1,β1) de la caméra 1 et (α2,β2) de la caméra 2. On peut également en déduire les signaux S1 et S2.The detection scheme, in the case of two sensors 10 and 12 constituted by two cameras, is then that shown in FIG. 3. At a point (x, y, z) diffusing a flow S , it is possible to associate the image points (α1 , β1) of camera 1 and (α2, β2) of camera 2. We can also deduce the signals S1 and S2 from this.

On peut donc ainsi créer deux objets de synthèse correspondant chacun à une des caméras, constitués par des points ayant chacun :

  • des coordonnées (x,y,z) qui ne varient pas dans le temps, puisqu'elles correspondent à la géométrie réelle de la scène,
  • des radiométries qui fluctuent suivant les conditions d'éclairement.
We can thus create two synthetic objects each corresponding to one of the cameras, consisting of points each having:
  • coordinates (x, y, z) which do not vary over time, since they correspond to the real geometry of the scene,
  • radiometry which fluctuates according to the lighting conditions.

L'opération de détection s'effectue par comparaison des signaux S1 et S2 associés à un même point (x,y,z) et cela pour chacun des points (x,y,z).The detection operation is carried out by comparison signals S1 and S2 associated with the same point (x, y, z) and this for each of the points (x, y, z).

Cette comparaison peut s'effectuer par diverses opérations mathématiques. Une solution donnant de bons résultats consiste à calculer le coefficient C(p) d'intercorrélation normalisé local entre les deux modèles de synthèse, sous la forme : C(p)= Σ S1(Tα 1(P'),Tβ 1(P')S2(Tα 2(p'),Tβ 2(P')) p'εv(p) [Σ S1(Tα 1(P'),Tβ 1(P'))2 x Σ S2(Tα 2(P'),Tβ 2(P'))2]1/2 p'εv/(p)

  • V(p) désigne un voisinage des points P respectifs, en général sur 3x3 ou 5x5 pixels dans le cas d'un réseau carré ;
  • p' désigne un point courant de V(p), de coordonnées (x',y'z').
  • This comparison can be made by various mathematical operations. One solution giving good results consists in calculating the coefficient C (p) of local normalized intercorrelation between the two synthesis models, in the form: C (p) = Σ S 1 (T α 1 (P '), T β 1 (P ') S 2 (T α 2 (p '), T β 2 (P ')) p' ε v (p) [Σ S 1 (T α 1 (P '), T β 1 (P ')) 2 x Σ S 2 (T α 2 (P '), T β 2 (P ')) 2 ] 1/2 p ' ε v / (p) or
  • V (p) designates a neighborhood of the respective points P, in general on 3 × 3 or 5 × 5 pixels in the case of a square array;
  • p 'denotes a current point of V (p), with coordinates (x', y'z ').
  • Le coefficient d'intercorrélation normalisé est alors égal à 1 si, pour un voisinage V(p) donné, on a : S1 (T1α(p'), Tβ 1(p')) = λ S2(Tα 2(p'), Tβ 2(p')) The normalized cross-correlation coefficient is then equal to 1 if, for a given neighborhood V (p), we have: S 1 (T 1 α (p '), T β 1 (p ')) = λ S 2 (T α 2 (p '), T β 2 (p '))

    Cette égalité est respectée si la scène observée n'est pas perturbée.This equality is respected if the scene observed is not disturbed.

    Cette méthode permet de s'affranchir des conséquences de différences de gains entre les capteurs et des effets dus à des conditions angulaires distinctes de prise de vue, ayant une influence sur la rétrodiffusion, vers les capteurs.This method makes it possible to get rid of consequences of differences in gains between the sensors and effects due to angular conditions distinct from shooting, having an influence on the backscatter, towards the sensors.

    Dans la mesure où la scène observée est parfaitement diffusante, il suffit d'une comparaison pixel à pixel des deux images.Insofar as the observed scene is perfectly diffusing, all it takes is a pixel comparison to pixel of the two images.

    Dans le cas d'une intrusion, le modèle de synthèse est reconstruit avec une radiométrie qui n'est plus celle associée à la géométrie de la zone observée. On associe en effet, à un point de coordonnées (x,y,z) masqué par l'intrus, une radiométrie qui n'est pas issue du point de la scène de référence. Et cela est vrai pour tous les points masqués par la perturbation.In the event of an intrusion, the synthesis model is reconstructed with a radiometry which is no longer that associated with the geometry of the observed area. We associate in effect, at a point of coordinates (x, y, z) hidden by the intruder, a radiometry which did not come from the point of the scene of reference. And this is true for all the points masked by the perturbation.

    La détection est déterminée en émettant un signal d'alarme lorsque le coefficient de corrélation est inférieur à un seuil s, qui est évidemment choisi toujours inférieur à 1.Detection is determined by issuing an alarm signal when the correlation coefficient is less than a threshold s , which is obviously always chosen to be less than 1.

    Une telle technique de détection a l'avantage d'être peu sensible aux variations de dynamique et notamment d'éclairement, ce qui constitue un facteur de robustesse important et permet d'omettre tout étalonnage radiométrique.Such a detection technique has the advantage to be insensitive to variations in dynamics and in particular of illumination, which constitutes a factor of robustness important and allows omitting any radiometric calibration.

    Une seconde approche doit être utilisée lorsque l'on ne connaít pas initialement un modèle numérique de terrain : elle permet de revenir aux conditions initiales du cas où un MNT est disponible.A second approach should be used when we do not initially know a numerical model of field: it allows to return to the initial conditions of the where a DTM is available.

    Une solution consiste à utiliser des points remarquables dans la scène, facilement repérables dans chaque image et dont on connaít les coordonnées (x,y,z) dans un même repère géographique, constituant des points d'amer. On désignera par {xk,yk,zk} les coordonnées du point d'amer d'ordre k et par :

    • k1, βk1} les coordonnées des images du point d'ordre k dans le repère lié à la caméra 1,
    • k2, βk2} les coordonnées des images dans le repère lié à la caméra 2.
    One solution is to use remarkable points in the scene, easily spotted in each image and whose coordinates (x, y, z) are known in the same geographic frame, constituting bitter points. We will designate by {x k , y k , z k } the coordinates of the bitter point of order k and by:
    • k1 , β k1 } the coordinates of the images of the point of order k in the coordinate system linked to the camera 1,
    • k2 , β k2 } the coordinates of the images in the coordinate system linked to camera 2.

    On recherche alors la transformation permettant de passer des coordonnées dans la scène réelle aux coordonnées dans l'image : - αi = Tαi (x,y,z) - βi = Tβi (x,y,z). We then look for the transformation allowing to pass from coordinates in the real scene to coordinates in the image: - α i = T αi (X Y Z) - β i = T βi (X Y Z).

    Suivant la complexité de la scène, on sera amené à adopter des équations de formes plus ou moins complexes pour les transformations T. Le nombre de points d'amer nécessaire pour donner une représentation suffisamment exacte augmentera avec la complexité de la transformation. Lorsque la scène n'est pas trop tourmentée, il est possible d'adopter des transformations Tα et Tβ de forme bilinéaire : Tα(x,y,z) = (α000)+(α100)x+(α010)y+(α001)z+(α110)xy+(α101)xz+(α011)yz Tβ(x,y,z) = (β000)+(β100)x+(β010)y+(β001)z+(β110)xy+(β101)xz+(β011)yz Depending on the complexity of the scene, we will have to adopt equations of more or less complex forms for the transformations T. The number of bitter points necessary to give a sufficiently accurate representation will increase with the complexity of the transformation. When the scene is not too tormented, it is possible to adopt transformations T α and T β of bilinear form: Tα (x, y, z) = (α000) + (α100) x + (α010) y + (α001) z + (α110) xy + (α101) xz + (α011) yz Tβ (x, y, z) = (β000) + (β100) x + (β010) y + (β001) z + (β110) xy + (β101) xz + (β011) yz

    Le calcul des coefficients α000, ..., β011 s'effectue en écrivant, pour l'ensemble des points d'amer, les équations : - αk i = Tα i (xk, yk, zk) - βk i = Tβ i (xk, yk, zk) The coefficients α000, ..., β011 are calculated by writing, for all the bitter points, the equations: - α k i = T α i (x k , y k , z k ) - β k i = T β i (x k , y k , z k )

    On obtient ainsi des systèmes d'équations linéaires qui peuvent être résolus sans difficulté : dans le cas ci-dessus sept coefficients sont à déterminer, ce qui exige au moins sept points d'amer. Un nombre plus important peut être utilisé, de façon à retenir des coefficients représentant un optimum.We thus obtain systems of linear equations which can be solved without difficulty: in the above case seven coefficients are to be determined, which requires the minus seven points of bitter. A larger number may be used, so as to retain coefficients representing a optimum.

    Une fois les transformations Tα et Tβ connues, on se retrouve dans le cas précédent, puisque l'on connaít l'équivalent d'une MNT.Once the transformations T α and T β known, we find ourselves in the previous case, since we know the equivalent of a DTM.

    Une autre solution consiste à utiliser une grille de transformation, projetée sur la scène réelle et dont on repère la représentation dans chaque image. Cette grille peut notamment être constituée par un corroyage, obtenu par exemple par balayage à l'aide d'un laser et repérage, à chaque impulsion laser, du point de l'image représentant l'impact sur le terrain.Another solution is to use a grid of transformation, projected onto the real scene and which mark the representation in each image. This grid can in particular be constituted by a wrought, obtained by example by scanning with a laser and location, each laser pulse, from the point of the image representing impact on the ground.

    On décrira maintenant, en faisant référence à la figure 4, la constitution de principe d'un dispositif de surveillance, destiné à la détection automatique d'intrusion dans des zones connues. La figure 4 montre deux capteurs, constitués par des caméras 10 et 12 dont les champs présentent une zone de recouvrement 16 dont une partie ou la totalité constitue la scène surveillée. L'éclairage peut être naturel ; de nuit ou pour améliorer la sensibilité de détection à courte distance, l'éclairage naturel peut être remplacé ou complété par une source artificielle, visible ou infra-rougre. Dans le cas de détection de personne, il suffit d'une résolution au sol de 10x10 cm et d'une cadence de deux détections par secondes, qui correspond à un déplacement de 1,5 m pour une personne à 10 km/h. Les capteurs peuvent être des caméras infra-rouge à CCD ayant une matrice de 600x700 pixels. Les deux caméras 10 et 12 sont synchronisées, par exemple en commandant la caméra 12 à partir du signal de synchronisation de la caméra 10.We will now describe, with reference to the Figure 4, the basic principle of a surveillance, intended for automatic intrusion detection in known areas. Figure 4 shows two sensors, constituted by cameras 10 and 12 whose fields have an overlap zone 16 of which a part or the all constitutes the monitored scene. Lighting can be natural; at night or to improve the sensitivity of short distance detection, natural lighting can be replaced or supplemented by an artificial, visible or infrared. In the case of person detection, it suffices with a ground resolution of 10x10 cm and a cadence of two detections per seconds, which corresponds to a displacement of 1.5 m for one person at 10 km / h. The sensors can be CCD infrared cameras with a matrix of 600x700 pixels. The two cameras 10 and 12 are synchronized, by example by controlling camera 12 from the signal from camera synchronization 10.

    Les signaux vidéo provenant des caméras sont appliqués à une unité de traitement 18 qui peut être regardée comme comprenant :

    • deux cartes d'acquisition 20 et 22 permettant de récupérer la partie utile des images des caméras,
    • une carte processeur de signal 24,
    • une carte de mémoire vive 26, et, éventuellement,
    • une carte de communication 28 permettant de connecter l'unité de traitement à un réseau téléphonique.
    The video signals coming from the cameras are applied to a processing unit 18 which can be viewed as comprising:
    • two acquisition cards 20 and 22 making it possible to recover the useful part of the images from the cameras,
    • a signal processor card 24,
    • a RAM card 26, and possibly
    • a communication card 28 making it possible to connect the processing unit to a telephone network.

    Bien que l'on puisse disposer les caméras 10 et 12 dans n'importe quelle orientation relative, il est cependant avantageux, pour réduire la complexité du traitement et la capacité de mémoire requise, de respecter des contraintes qui dans la pratique ne sont pas gênantes et dont certaines seront maintenant exposées.Although we can arrange cameras 10 and 12 in any relative orientation it is however advantageous, to reduce the complexity of processing and the memory capacity required, to respect constraints which in practice are not annoying and some of which will now be on display.

    On rappelera tout d'abord que les pixels correspondants de deux images fournies d'une même scène par deux caméras sont sur deux droites, dites épipolaires, passant chacune par le centre optique O1 et 02 de l'image respective : dans chaque image, le pixel correspondant au même point P de la scène est dans l'image -constitué par une droite épipolaire- du plan 01 P O2. Les épipolaires ont la propriété que tout pixel de l'épipolaire dans une image a un pixel homologue dans l'épipolaire correspondante de l'autre image si les repères de référence des caméras restent inchangés.First of all, it will be recalled that the corresponding pixels of two images supplied from the same scene by two cameras are on two straight lines, called epipolar, each passing through the optical center O 1 and 0 2 of the respective image: in each image , the pixel corresponding to the same point P of the scene is in the image - constituted by an epipolar line - of the plane 0 1 PO 2 . The epipolars have the property that any pixel of the epipolar in one image has a homologous pixel in the corresponding epipolar of the other image if the reference marks of the cameras remain unchanged.

    Une configuration intéressante est de placer les caméras de façon que leurs repères (directions ligne et trame) soient parallèles et que les points 01 et 02 soient situés sur une même droite parallèle à la direction de ligne. Deux épipolaires telles que 301 et 302 sont alors des droites parallèles à la direction de ligne (figure 5A). Les traitements peuvent alors s'effectuer ligne à ligne suivant les épipolaires : il suffit de mémoriser dans la carte 26 les lignes correspondant aux épipolaires des zones observées et un nombre de lignes en-dessus et au-dessous correspondant à l'étendue du voisinage choisi pour le calcul de corrélation.An interesting configuration is to place the cameras so that their marks (line and frame directions) are parallel and that the points 0 1 and 0 2 are located on the same straight line parallel to the line direction. Two epipoles such as 30 1 and 30 2 are then straight lines parallel to the line direction (FIG. 5A). The treatments can then be carried out line by line according to the epipolar: it suffices to memorize in the card 26 the lines corresponding to the epipolar of the zones observed and a number of lines above and below corresponding to the extent of the chosen neighborhood for correlation calculation.

    Lorsqu'il n'est pas possible ou peu commode d'adopter la disposition de la figure 5A, celle de la figure 5B est encore avantageuse. Les épipolaires 321 et 322 sont alors des droites inclinées, mais faisant le même angle par rapport aux lignes des deux images.When it is not possible or inconvenient to adopt the arrangement of FIG. 5A, that of FIG. 5B is still advantageous. The epipolar 32 1 and 32 2 are then inclined lines, but making the same angle with respect to the lines of the two images.

    Il faut alors effectuer un traitement supplémentaire, en comparaison de la figure 5A. Ou bien on sélectionne les points homologues des épipolaires et des parallèles aux épipolaires appartenant au voisinage choisi, ou bien on augmente la taille de la mémoire 26.It is then necessary to carry out a treatment additional, compared to Figure 5A. Or else selects the homologous points of the epipolar and parallel to the epipoles belonging to the chosen neighborhood, or the memory size 26 is increased.

    La figure 6 montre une constitution possible de la partie traitement d'un dispositif dans le cas d'un modèle de terrain à l'aide d'une grille mémorisée. On supposera que les centres optiques des caméras 10 et 12 sont disposés au voisinage d'une même ligne droite parallèle au sens de balayage dans la direction ligne. Dans ce cas la mémoire 26 (figure 4) peut comporter deux espaces mémoire 261 et 262 correspondant à un paquet de quelques lignes de pixels seulement, centré sur la ligne d'ordre i dont les pixels sont voisins. Le processeur peut être regardé comme ayant deux voies de traitement 241 et 242 effectuant les projections et recevant, sur des entrées respectives 341 et 342, les modèles géométriques sous forme numérique.FIG. 6 shows a possible constitution of the processing part of a device in the case of a terrain model using a memorized grid. It will be assumed that the optical centers of the cameras 10 and 12 are arranged in the vicinity of the same straight line parallel to the direction of scanning in the line direction. In this case the memory 26 (FIG. 4) can comprise two memory spaces 26 1 and 26 2 corresponding to a packet of a few lines of pixels only, centered on the line of order i whose pixels are neighboring. The processor can be viewed as having two processing channels 24 1 and 24 2 performing the projections and receiving, on respective inputs 34 1 and 34 2 , the geometric models in digital form.

    Le processeur comporte également une unité 36 de comparaison des projections, généralement par détermination d'un facteur d'intercorrélation sur chaque voisinage et de comparaison à un seuil.The processor also includes a unit 36 of comparison of projections, usually by determination an intercorrelation factor on each neighborhood and comparison to a threshold.

    La sortie de l'unité 36 est appliquée à un bloc 38 de transfert des images vers un appareil d'enregistrement et éventuellement un appareil de visualisation 40. Le processeur 36 comporte également une sortie 40 commandant le passage d'un paquet de lignes centré sur la ligne i à un paquet centré sur la ligne i+1 une fois la comparaison terminée. En d'autres termes, le processeur pilote de façon asynchrone la mémorisation des paquets de lignes.The output of the unit 36 is applied to a block 38 for transferring the images to a recording device and possibly a display device 40. The processor 36 also has an output 40 controlling the passage of a packet of lines centered on line i has a packet centered on line i + 1 when the comparison is complete. In other words, the processor drives the storage of line packets asynchronously.

    L'architecture montrée en figure 6 permet de limiter la quantité de mémoire vive à écriture et lecture rapide. The architecture shown in Figure 6 allows limit the amount of RAM to write and read fast.

    L'invention est susceptible de nombreuses variantes de réalisation et de nombreuses applications autres que celles qui ont été spécifiquement évoquées.The invention is susceptible of numerous variants of realization and many applications other than those that have been specifically mentioned.

    Par exemple le dispositif peut être utilisé pour localiser un robot à l'intérieur de la scène, le robot constituant une anomalie.For example, the device can be used to locate a robot inside the scene, the robot constituting an anomaly.

    Dans ce cas, il peut être avantageux de placer les capteurs sur un organe de déplacement (chariot de pont roulant par exemple) muni de moyens de mesure permettant de disposer en permanence des coordonnées des capteurs par rapport au terrain. Il est ainsi possible, à partir d'une mémoire centrale stockant un modèle numérique de terrain correspondant à la totalité du domaine d'évolution du robot, de mettre en permanence à jour la mémoire du processeur de traitement pour qu'elle corresponde à l'emplacement des capteurs. Le dispositif suivant l'invention a l'avantage d'être exempt de la plupart des défauts des systèmes de visualisation montés sur les robots eux-mêmes, notamment la limitation du champ de vision en distance et l'impossibilité d'observer le domaine de déplacement du robot derrière des obstacles.In this case, it may be advantageous to place the sensors on a displacement device (bridge carriage rolling for example) fitted with measuring means allowing permanently have the coordinates of the sensors by report to the field. It is thus possible, from a main memory storing a digital terrain model corresponding to the entire robot evolution domain, to constantly update the processor memory of processing to match the location of the sensors. The device according to the invention has the advantage to be free from most system faults visualization mounted on the robots themselves, including the limitation of the distance field of vision and the impossibility to observe the area of movement of the robot behind obstacles.

    Claims (11)

    1. A method for the surveillance of a three-dimensional scene having a known or determinable geometrical structure, making it possible to detect the appearance of an anomaly in relief and including the following stages:
      a three-dimensional geometrical reference model of the said scene is made up and memorised, in a reference state, associating with each point of the scene homologous points in the field of at least two sensors placed at a distance from each other and sensitive to a radiometric parameter (such as the brilliance) of the scene;
      periodically, the real scene is synthesised over the three-dimensional geometrical model on a basis of each of the representations thereof which are furnished by the sensors in order to obtain as many synthesised scenes as there are sensors, and
      points of closeness belonging to the synthesised scenes are compared with one another in order to show up divergencies due to a modification of the three-dimensional geometrical model, only those divergencies which correspond to a minimal height anomaly in excess of a specific value being retained.
    2. A method according to claim 1, characterised in that the synthesised scenes are compared by determining coefficients of intercorrelation between the two synthesised scenes over specific closenesses of the points of the scene and in that the coefficients obtained are compared with a threshold.
    3. A method according to claim 1 or 2, characterised in that the geometrical model of the scene is made up on the basis of images of the scene, in a reference state provided by the sensors and memorised pixel by pixel.
    4. A method according to claim 1 or 2, characterised in that the geometrical model is established in mathematical form on the basis of knowledge of the terrain supplied by prior observations or with the help of maps.
    5. A method according to claim 1 or 2, characterised in that the geometrical model of the scene is made up on the basis of landmark points of known co-ordinates (x, y, z) and an equation of predetermined form
    6. A method according to claim 1 or 2, characterised in that the geometrical model is made up on the basis of a currying grid produced on the scene by scanning using a laser and recorded in the form of the location for each sensor, at each laser pulse, in respect of that point of the image which represents the impact on the terrain.
    7. A method according to any one of the preceding claims, characterised in that, in addition, successive images delivered by the sensors are compared in order to carry out a time-related detection.
    8. A method according to any one of the preceding claims, characterised in that the sensors are spaced apart mutually by an amount less than the distance between the sensors and the closest points of the scene.
    9. A device for surveillance of a three-dimensional illuminated scene having a known or determinable geometrical structure, making it possible to detect relief anomalies over the scene, comprising at least two sensors (10, 12) sensitive to a radiometric parameter, in comparable wavelengths, and comprising likewise: means of memorising a three-dimensional purely geometrical reference model of the scene to be surveyed, associating with each point of the scene homologous points in the field of the sensors; means which make it possible to synthesise scenes in order to obtain as many synthesised scenes as there are sensors, each of the scenes being synthesised on the basis of the geometrical model and signals representing the radiometric value of each image pixel supplied by one of the sensors by projection on the three-dimensional geometrical model, and means of comparing points of closeness of predetermined size on the set of synthetic scenes on the basis of signals delivered by the various sensors, making it possible to determine the distances between the same locations in the two synthesised scenes.
    10. A device according to claim 9, characterised in that the said sensors furthermore comprise sensors working in different wavelength ranges over the two said sensors.
    11. A surveillance device according to claim 10 intended to locate a robot adapted for movement within the scene, characterised in that the said sensors are carried by means of displacement in respect of the scene and are associated with a memory for updating the geometrical model memorised as a function of the position of the sensors in respect of the scene.
    EP19930401661 1992-06-29 1993-06-28 Process and device for monitoring a three-dimensional scene using imagery sensors Expired - Lifetime EP0577491B1 (en)

    Applications Claiming Priority (2)

    Application Number Priority Date Filing Date Title
    FR9207977A FR2693011B1 (en) 1992-06-29 1992-06-29 Method and device for monitoring a three-dimensional scene, using imagery sensors.
    FR9207977 1992-06-29

    Publications (2)

    Publication Number Publication Date
    EP0577491A1 EP0577491A1 (en) 1994-01-05
    EP0577491B1 true EP0577491B1 (en) 1999-03-17

    Family

    ID=9431309

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP19930401661 Expired - Lifetime EP0577491B1 (en) 1992-06-29 1993-06-28 Process and device for monitoring a three-dimensional scene using imagery sensors

    Country Status (3)

    Country Link
    EP (1) EP0577491B1 (en)
    DE (1) DE69323934T2 (en)
    FR (1) FR2693011B1 (en)

    Cited By (1)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE10050083A1 (en) * 2000-10-10 2002-04-18 Sick Ag Device and method for detecting objects

    Families Citing this family (11)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    CH691151A5 (en) * 1994-06-09 2001-04-30 Edouard Menoud Device monitoring and alerting to the presence of the body in danger in a pool.
    WO1997004428A1 (en) * 1995-07-20 1997-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interactive surveillance system
    DE19621612C2 (en) * 1996-05-31 2001-03-01 C Vis Comp Vision Und Automati Device for monitoring a section of track in a train station
    DE19700811A1 (en) * 1997-01-13 1998-07-16 Heinrich Landert Method and device for controlling door systems depending on the presence of people
    DE19709799A1 (en) * 1997-03-10 1998-09-17 Bosch Gmbh Robert Device for video surveillance of an area
    DE19749136C2 (en) * 1997-11-06 2000-01-27 Geutebrueck Gmbh Method and device for detecting movements
    GB2352859A (en) * 1999-07-31 2001-02-07 Ibm Automatic zone monitoring using two or more cameras
    DE10044689A1 (en) * 2000-09-08 2002-03-21 Idm Gmbh Infrarot Sensoren Device for monitoring an area of a room
    DE10330011B4 (en) * 2003-07-03 2005-05-12 Eads Deutschland Gmbh Procedure for obstacle detection and terrain classification
    TW200604047A (en) * 2004-07-22 2006-02-01 Siemens Ag Method to detect an obstruction on a railroad
    ITUB20151930A1 (en) * 2015-07-03 2017-01-03 Soilmec Spa SYSTEM AND SAFETY METHOD FOR DETECTION OF A RISK CONDITION IN A REGION NEAR A WORKING MACHINE, SUCH AS A DRILL OR LIKE.

    Family Cites Families (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    GB2150724A (en) * 1983-11-02 1985-07-03 Christopher Hall Surveillance system
    CA1284383C (en) * 1986-08-04 1991-05-21 Fmc Corporation Computer integrated gaging system
    EP0402829A3 (en) * 1989-06-14 1991-06-12 Siemens Aktiengesellschaft Method and device for detecting an intruder using a passive infra-red motion detector

    Cited By (2)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE10050083A1 (en) * 2000-10-10 2002-04-18 Sick Ag Device and method for detecting objects
    US7116799B2 (en) 2000-10-10 2006-10-03 Sick Ag Apparatus and a method for the detection of objects

    Also Published As

    Publication number Publication date
    DE69323934D1 (en) 1999-04-22
    FR2693011B1 (en) 1994-09-23
    FR2693011A1 (en) 1993-12-31
    DE69323934T2 (en) 1999-12-09
    EP0577491A1 (en) 1994-01-05

    Similar Documents

    Publication Publication Date Title
    EP3195042B1 (en) Linear mode computational sensing ladar
    US8982363B2 (en) Method and apparatus to determine depth information for a scene of interest
    EP1364351B1 (en) Method and device for detecting fires based on image analysis
    CN103852754B (en) The method of AF panel in flight time (TOF) measuring system
    CA2859900C (en) Method of estimating optical flow on the basis of an asynchronous light sensor
    EP0577491B1 (en) Process and device for monitoring a three-dimensional scene using imagery sensors
    FR2908546A1 (en) STEREO CAMERA INTRUSION DETECTION SYSTEM
    EP0146428A1 (en) Automatic guiding method and apparatsu for moving objects especially for driverless self-propelled vehicles
    EP0948760A1 (en) Method for calibrating the initial position and the orientation of one or several mobile cameras
    WO2000052633A1 (en) System for recovery of degraded images
    US20150373320A1 (en) Visual cognition system
    FR3077886A1 (en) SYSTEM FOR REPORTING EXCEEDING A SOUND INTENSITY THRESHOLD
    FR2985070A1 (en) System for detecting fall of e.g. person in retirement home, has programmed analysis unit to acquire images taken by sensors in synchronous manner, and to detect fall of person in scene from time sequence of pair of images of scene
    WO2012127312A1 (en) Monitoring system
    FR3093613A1 (en) AGRICULTURAL TREATMENT CONTROL DEVICE
    Griffith et al. Survey registration for long‐term natural environment monitoring
    EP3384462A1 (en) Method for characterising a scene by calculating the 3d orientation
    Ablavsky Background models for tracking objects in water
    JP5771955B2 (en) Object identification device and object identification method
    EP0604245B1 (en) Method for detecting the appearance of dot objects in an image
    EP3862980A1 (en) Method of generation of a virtual three-dimensional representation of breakwater surface layer
    FR2747199A1 (en) DEVICE FOR LOCATING A MOBILE OBJECT
    Caimi et al. Developments in laser-line scanned undersea surface mapping and image analysis systems for scientific applications
    EP2329474B1 (en) Scene surveillance method and system
    EP1095358B1 (en) Method for modelling three-dimensional objects or scenes

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): DE GB IT

    17P Request for examination filed

    Effective date: 19931221

    17Q First examination report despatched

    Effective date: 19970121

    GRAG Despatch of communication of intention to grant

    Free format text: ORIGINAL CODE: EPIDOS AGRA

    GRAG Despatch of communication of intention to grant

    Free format text: ORIGINAL CODE: EPIDOS AGRA

    GRAH Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOS IGRA

    GRAH Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOS IGRA

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): DE GB IT

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

    Effective date: 19990317

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 19990317

    REF Corresponds to:

    Ref document number: 69323934

    Country of ref document: DE

    Date of ref document: 19990422

    GBV Gb: ep patent (uk) treated as always having been void in accordance with gb section 77(7)/1977 [no translation filed]

    Effective date: 19990317

    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    26N No opposition filed
    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: DE

    Payment date: 20090611

    Year of fee payment: 17

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20110101