EP2329474A1 - Procede et systeme de surveillance de scenes - Google Patents

Procede et systeme de surveillance de scenes

Info

Publication number
EP2329474A1
EP2329474A1 EP09807963A EP09807963A EP2329474A1 EP 2329474 A1 EP2329474 A1 EP 2329474A1 EP 09807963 A EP09807963 A EP 09807963A EP 09807963 A EP09807963 A EP 09807963A EP 2329474 A1 EP2329474 A1 EP 2329474A1
Authority
EP
European Patent Office
Prior art keywords
scene
data
sensor
state
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP09807963A
Other languages
German (de)
English (en)
Other versions
EP2329474B1 (fr
Inventor
Cédric TESSIER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Effidence
Original Assignee
Effidence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Effidence filed Critical Effidence
Publication of EP2329474A1 publication Critical patent/EP2329474A1/fr
Application granted granted Critical
Publication of EP2329474B1 publication Critical patent/EP2329474B1/fr
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves

Definitions

  • the invention relates to a method of monitoring a scene for providing in a substantially real time a state of the scene and a monitoring device of a corresponding scene.
  • WO 02/19077 discloses an intrusion detection system on a computer network using probabilistic correlation techniques to reduce the frequency of false alarms, and improve the information provided in the intrusion detection systems.
  • the document describes an anti-intrusion system comprising sensors of different types. The only data emitted by the sensors are alerts.
  • the intrusion detection system would benefit from having high-level sensor information that could be used to configure or parameterize other sensors or methods for analyzing the sensor data. These data are correlated so that the state (i.e. alert or non-alert) of one sensor can affect the state of the other.
  • This system also uses all available sensors simultaneously, requiring a powerful computing system and complex management. Indeed, the solicitation of a method of analysis of a sensor data requires firstly a necessary calculation time but also entails a risk of "pollution" of the final result because in some cases, the method can lead to a wrong analysis. Furthermore, only the states of the sensors are compared with one another: no comparison is made with respect to another value which may possibly be used as a reference.
  • the probability information used for the state of the sensors depends only on the states (ie alert or non-alert) of the other sensors.
  • the probabilistic information used for the condition of the sensors shall not be limit themselves to the alerts raised by the other sensors but must be able to adapt dynamically to the changing conditions of perception of the scene.
  • the invention provides, in a monitoring device of a scene of at least two dimensions, delimited by a known and localized periphery, said device comprising a central monitoring system, a plurality of sensors in communication with the scene to be monitored and with the central monitoring system, said central system including an Update and Alert System (SYMAJA) for performing data acquisitions, providing metadata in relation to the monitored object, determine the level of reliability (and possibly precision) of the metadata and to detect a possible alert condition (corresponding to a supradonne) by comparing the metadata with at least one Condition Definition Model (MODECA), a comparator, to determine whether the level of reliability corresponding to the Scene State Data (DES) satisfies an Admissible Threshold
  • a method of monitoring the scene for providing a real-time state of the scene said method comprising the steps of: a) evaluating, at a given instant t, the data of Scene State (DESS) corresponding to the state in which the scene is located at the interval t based on available data and metadata from
  • the measurement of the state of a system are carried out in phases.
  • the monitoring system is either in a rest phase or in an excited phase. It is in a rest phase when the state of the calculated system meets the requirements of the application. When this constraint is no longer validated, the system goes into an excited phase.
  • the calculation of the state of the system is carried out by means of models, commands and / or inputs of the system, such as for example the actions performed on a "joystick” for controlling a manipulator arm, which indirectly make use of to sensors (eg sensors that measure the orientation of the "joystick”).
  • the sensor selection step makes it possible to select the sensor that will provide a theoretical scene state which, in comparison with the Acceptable Operation Operating Threshold (SAFE), has the smallest deviation.
  • SAFE Acceptable Operation Operating Threshold
  • the selection step makes it possible to select a sensor signal processing method from among a plurality of available methods, either in addition to or instead of the sensor selection.
  • An example of data that makes it possible to modify the state of a scene from one instant to another is the speed, which has the effect of modifying the position of an object as a function of time.
  • the sensor selection step the reliability levels of each of the data and / or metadata are compared, and the sensor and / or the sensor signal processing method whose reliability level is the same is selected. higher.
  • SAFE Acceptable Operating Threshold Set
  • the level of accuracy of the magnitudes which make up the system is advantageously added to the level of reliability considered.
  • the Scene State Data is preferably made available (at the output).
  • the scene to be monitored is complex and comprises a plurality of sub-scenes related to each other, and in which, during at least one of the steps of the method, the Scene State Data of a sub-scene are used for step a) of estimating the Scene State Data of another sub-scene, related to the first.
  • a scene to be monitored may be an establishment having a plurality of speakers to monitor, the scene state data being presented on a synthetic visual representation of said institution.
  • the establishment can be a museum, an airport, a bank, a shopping center, a public building, etc.
  • the visual representation can be a schematic representation of the establishment in 2 or 3 dimensions. A single display can then represent a physical system or a complex scene, thus making the monitoring of this scene much simpler, ergonomic, efficient and safe.
  • the enclosure concerned is indicated by a visual signal on the schematic representation of recovery.
  • the signal may be accompanied by an audible signal to alert an eventual operator of a message display, to identify the nature of the alert and any steps to be taken to verify the situation and / or to remedy it.
  • the Scene State Data (ESD) evaluated from the first sub-scene reveals that no event related to monitoring is likely to occur at the second sub-scene, the this second sub-scene is put in deactivated mode.
  • ESD Scene State Data
  • this characteristic it is possible to place a plurality of sensors in "sleep" mode, greatly simplifying the operation of the system, limiting the number of operations to be performed, and contributing to increasing the speed of the system, even if the computer used does not have particularly important capabilities.
  • this feature is particularly useful if the state of the system does not indicate any alert source in the second sub-scene and if this second sub-scene is accessible only by the first.
  • the sensors used are selected from the list comprising: a camera, a motion detector, a pressure sensor, a temperature sensor, a vibration sensor, a photoelectric cell, a laser beam, a thermal camera, a door opening detector or window or other access point that can be opened, an infrared sensor, an ultrasonic sensor, a radar, an acceleration sensor, an inclination sensor, a force sensor, an RFID sensor, an intrusion sensor such as broken glass sensors, an access badge reader, a magnetic sensor.
  • the invention also provides a device for monitoring a scene of at least two dimensions delimited by a known and localized periphery, said device comprising: a central computing system;
  • a plurality of sensors in communication with the scene to be monitored, each being able to monitor a physical element or phenomenon for at least a portion of said scene; means for transmitting data from the sensors to the central computing system;
  • a data entry interface enabling the central system to receive the data from the sensors and to ensure compatibility with the system; an update and warning system (SYMAJA), making it possible to carry out data acquisition, to provide metadata in relation to the monitored object, to determine the level of reliability (and possibly accuracy) relative to the metadata and detecting a possible alert condition by comparing the metadata with at least one Condition Definition Model (MODECA);
  • MODECA Condition Definition Model
  • an output interface making it possible to provide an output in relation to the Scene State Data, (the output can provide data, metadata, supradata, etc.).
  • the central computing system includes an interface for receiving data sources and / or metadata other than sensors.
  • they may be data files, a clock, instructions and / or data from another system, an individual, etc.
  • the invention furthermore provides software comprising code elements programmed for implementing the previously described method, when said software is loaded into a computer system and executed by said computer system.
  • the software is in the form of a product recorded on a support readable by a computer system, comprising programmed code elements.
  • the computing power is reduced: in the idle phase, the system consumes very few resources; in the excited phase, only the useful sensors are solicited; in the excited phase, the system does not process all the data of the sensor but only the appropriate zone; unlike a conventional video surveillance system where the computing power required is a function of the number of sensors, the method and the system according to the invention make it possible to optimize the computing power.
  • the method and the device allow an independent approach of the type of sensors used. Any sensor to provide information on the state of the system is exploitable. That is to say any sensor for measuring a physical quantity that has been modified by the element that it is desired to detect or characterize.
  • the method and the device allow an approach integrating the reliability of the information returned by the sensors.
  • the surveillance system will solicit a camera in a room where lighting is controlled but will not solicit it if it is dark because the sensor is no longer reliable to recognize individuals.
  • the method and apparatus allow an approach in which the sensors are not used independently of each other. Thus, in a conventional approach and for an intrusion detection function, there would be as many alarms as alerts returned by the sensors.
  • the method makes it possible to send back to the operator only the information that is useful with respect to its problematic. For example, rather than transmitting temperature increase information in a room, it is possible to indicate that a person is in the room. This information is obtained through a probabilistic correlation with models of temperature increase and the opening of the door.
  • FIGS. 1 to 34 All the details of embodiment are given in the description which follows, supplemented by FIGS. 1 to 34 in which:
  • FIG 1 is a schematic representation of the operating principle of a known type of monitoring system
  • FIG 2 is a schematic representation of the operating principle of a monitoring system according to the invention
  • FIG 3 is a schematic representation of the monitoring system according to the invention.
  • FIGS. 4 and 5 show the main steps of the monitoring method according to the invention.
  • FIGS. 6 to 14 illustrate various aspects relating to the notion of tryptic
  • FIGS. 15 to 28 show a first example of a scene monitored using the method of the invention
  • FIGS. 29 and 30 show a second example of a scene monitored using the method of the invention.
  • FIG. 31 shows a typical surveillance display according to a known mode
  • FIG. 32 presents an example of presentation of the results of the monitoring with the method according to the invention.
  • FIGS. 33 and 34 show a third example of a scene monitored using the method of the invention.
  • Data refers to information of a technical or physical nature provided by a sensor to the system. This is often a signal giving information of temperature, vibration, force, an image, an interruption signal of a laser beam, a propagation time of a wave, etc.
  • Metadata refers to high-level information resulting from the analysis of at least a portion of a data item received from one or more sensors by a processing process.
  • a metadata has a direct relationship with the object being monitored.
  • a metadata may for example correspond to the object of monitoring by a feature of that object that can be controlled or verified, such as a color, shape, profile, outline, etc.
  • a camera is an example of a sensor providing raw non-exploitable data (image signal). This signal processed by an image processing process makes it possible to obtain one or more metadata.
  • supradonne refers to information related to the end result or objective of the surveillance. For example, there is intrusion or not, we stolen the object under surveillance or not, etc.
  • monitoring we mean (for a sensor) the concepts and notions used to monitor, measure, detect, analyze an element (living or not, therefore including an animal, a plant, a virus, a micro-organism, a person or a group of people, etc.), or physical phenomenon.
  • sensor means a hardware device optionally incorporating processing tools that measure physical quantities or phenomena.
  • “Stage status” or “scene state data” or “physical state data” means information or data of a physical or technical nature representing the value of a magnitude or physical phenomenon present in the scene.
  • physical quantities or phenomena presence or absence of a living or non living element, color, texture, temperature, speed, acceleration, luminosity, infrared, pressure, time, weight of an object or being the propagation time of a wave, the reflectivity of a surface, the position of an individual, etc.
  • stage state is used to describe the description stage technique on a particular date. This technical description contains a list of scene state data.
  • One of the objectives of the method and the device consists in calculating the state of the scene, that is to say the set of state data of a scene.
  • the system uses sensor data or metadata. It is understood that a scene is preferably static. However, certain "mobile” scenes, such as the cockpit or the cabin of an aircraft, the wagons of a train or the rooms of a ship, are not excluded from the method according to the invention.
  • SYMAJA means an Update and Alert System. This system allows for data acquisition, metadata related to the monitored object, determination of the level of reliability (and possibly precision) of the metadata, and detection of a possible alert condition by comparing metadata with at least one Alert Condition Definition Model (MODECA).
  • MODECA Alert Condition Definition Model
  • MODECA means an Alert Condition Definition Model. Such a model makes it possible to establish a direct or indirect relationship between the object of the surveillance and the metadata in order to detect a possible warning condition. For example, if one or more metadata matches elements of the model, an alert condition is given. If a certain number of metadata partially correspond to the model, or if the reliability level of certain metadata does not correspond to the requirements, the monitoring method may make it possible to obtain additional data or metadata to validate or not the alert condition.
  • reliability means the reliability variable of each quantity or set of quantities of the state of the calculated system. This value is intended to be compared to the reliability variable of the system state requested by the user for these same quantities. Whether the quantity considered is digital or not, the reliability is a numerical value between 0 and 1 and the precision is a numerical value greater than or equal to 0. Thus, when the comparison with the requirements is performed, the variables are compared. of reliability and precision and not the magnitudes to which are associated these variables. However, reliability and accuracy are always numerical values and can always be compared.
  • the purpose of this method is to establish the state of a system, particularly a scene.
  • the state of a system corresponds to a set of numerical and possibly non-digital quantities characteristic of the system.
  • the method and the device make it possible to calculate these quantities (measure their value) with a certain precision and a certain reliability.
  • the reliability of a quantity is the probability that the actual quantity belongs to the interval: value plus or minus its accuracy. If the quantity has no precision, then the reliability is the probability that the real quantity is equal to the value. Reliability can be defined not for a quantity but for a set of quantities. It then corresponds to the probability that each real quantity belongs to each interval or is equal to the value. In some cases, it is necessary to calculate additional quantities to achieve the desired accuracy and reliability of the quantities requested. In the following description, the level of reliability desired by the user, and in some cases the accuracy desired by the user correspond to the requirements of the application.
  • FIG 1 schematically illustrates the operating principle of a monitoring system of a device of known type.
  • the sensors usually cameras, are connected to video devices, allowing to view live, and possibly record what cameras can film scenes concerned.
  • To visualize a lot of data it is necessary to have a plurality of screens, making the consultations and monitoring tiresome and tiring for the operators. If other sensors are used, those are managed independently, and information obtained from different sources is provided separately to the operator. In practice, a single operator has difficulty controlling a large number of parameters at the same time. Often, to overcome this limitation, several operators are present.
  • Figure 2 schematically illustrates a scene monitoring system or device according to the invention. A central monitoring system 2 makes it possible to receive all the inputs of the sensors.
  • a probabilistic approach makes it possible to predict a sequential solicitation of the sensors.
  • the sensor data is interpreted to allow an overall analysis of the situation at the scene level. This makes it possible to produce alerts based on events rather than on the number of sensors involved. Thus, several sensors 30 participating in the detection of a single event will produce a reliable detection, and send a single signal to the operator, even if several sensors are involved.
  • the method and system shown schematically in Figure 2 will be presented in more detail with the aid of the following figures.
  • Figure 3 shows an example of a device or monitoring system 1 according to the invention.
  • a series of sensors 30 is noted. These examples are presented to illustrate an infinite variety of sensors that can be used to improve system performance and / or to detect a wide variety of sensors. physical, mechanical, electrical, chemical, etc., or more simply to detect individuals, animals, objects, etc. For some applications it is also useful to receive data or information from other sources than sensors, such as data files from computers, data storage means, a machine, system or application. diverse.
  • a central surveillance system 2 makes it possible to receive the data and metadata of the various sensors 30 and of the other sources 40 via the specially adapted interface interfaces 21. These interfaces allow the central system 2 to receive the data and signals of the sensors by ensuring compatibility between these different elements.
  • the central system 2 comprises an updating and warning system (SYMAJA) 22 and a comparator 23. These last two elements are advantageously implemented by means of a microprocessor or any other powerful calculation means, with the instructions coded adequate.
  • the data and metadata can be stored in a storage means 26 or memory, provided for this purpose.
  • An output 24 can send to the operator or another system data, metadata, alerts, after interpretation and processing by the central system.
  • the interface 25 makes it possible to receive the thresholds or adjustment parameters of the system if these parameters are not already parameterized in the central system.
  • the updating and alerting system 22 is provided for acquiring data from the sensors 30, providing metadata in relation to the monitored object, determining the level of reliability relating to the metadata, and detect any warning conditions. These alert conditions are identified by comparing the metadata with at least one Condition Definition Model (MODECA).
  • MODECA Condition Definition Model
  • the scene state data (DES) is compiled at its level, either by evaluation or by acquisition of new sensor data.
  • the comparator 23 makes it possible to determine whether the level of reliability corresponding to the Scene State Data satisfies an Acceptable Operating Threshold Set (SAFE).
  • SAFE Acceptable Operating Threshold Set
  • FIG. 4 presents a functional flowchart with the main steps of the method according to the invention.
  • an initialization phase makes it possible to specify, at the start of the process, the available data on the state of the system: value of digital or non-digital quantities, accuracy, reliability, etc.
  • a prediction step makes it possible to pre-establish or evaluate the state of the system at a time or a date t, knowing the state of the system at a date passed t-delta t.
  • the sensors of the device as well as any other data can be exploited to carry out this evaluation.
  • a comparison step to the requirements makes it possible to compare the state of the system previously established with the requirements of the application, namely the state of the system requested by the user. During this step, several cases may occur. So :
  • the state of the calculated system is more reliable (ie the reliability variable of each magnitude or set of magnitudes of the calculated system state has a value greater than the reliability variable of the system state requested by the user for these same quantities) or more precise (ie the variable precision of each magnitude of the state of the calculated system has a value lower than the variable precision of the state of the system requested by the user for these same quantities) that the state of the system requested by the user, then this result (ie the state of the calculated system) is provided to the user, and a new evaluation step is started to calculate the state of the system at the next iteration;
  • the process provides this result (ie the calculated system state) to the user and loop back to the evaluation stage to calculate the state of the system at the next iteration.
  • Figure 5 shows the update step.
  • This step consists in using available data to update the state of the system (for example a modification of the value of the digital quantities, a modification of the precision or a modification of the reliability).
  • available data for example a modification of the value of the digital quantities, a modification of the precision or a modification of the reliability.
  • an iterative approach is provided. This approach consists not in extracting all the data at one time, but in retrieving and extracting a selected data item iteratively. The data is selected according to the contribution it makes to the improvement of the knowledge of the state of the system compared to the requirements defined by the user. This last point is shown schematically in Figure 6.
  • a step of enumerating the information consisting of listing the potentially extractable data or metadata of the data provided by the sensors and which can improve the state of the system: either to increase the accuracy or to increase the reliability, both.
  • a comparator allows to calculate the theoretical state, namely what could be the state of the system updated by this data or metadata. Then the comparator determines, for each of the data or metadata:
  • the cost which can be according to the application an estimate of the time necessary to extract the information and / or an estimate of the energy consumption necessary to extract the information, etc; -the contribution that weights the contribution of the information in the calculation of the knowledge of the state of the system compared to the cost of obtaining the information. It is a mathematical equation specific for each application considered and which is a function of the gain and the cost.
  • the comparator selects the data or metadata that has the greatest contribution.
  • the data signal from the sensor concerned is received and in the case of a metadata, the signal is analyzed by means of a signal processing method.
  • This last step can provide two output results: either the data or metadata that was searched could be extracted, or it could not be extracted.
  • the next step is to modify the value of the quantities of the state of the system, to update the precision associated with these values and to update the reliability for the quantities that have been modified. Since the device has managed to obtain the information compatible with what was wanted, then the reliability increases. However, before carrying out these actions, a backup is made to memorize the quantities of the state that will be modified as well as their accuracy, the reliability associated with all of these quantities and the temporal data such as date and current time.
  • the next step consists in reducing the reliability of the magnitudes of the state that should have been modified, depending on the quality of the data of the sensor, the performances of signal processing method, etc.
  • the process provides for recovering from the memory and deleting from the memory the quantities that would have been recovered. be modified with the information sought, their accuracy and reliability of this set. If the date of the recovered values differs from the current date, then the evaluation step is used to calculate these quantities at the current date.
  • Triptych concept In the case of video surveillance, the system can use a camera to detect intruders in the room.
  • the triptych (camera, processing algorithm, information sought, i.e. metadata) has a certain performance in terms of:
  • the triptych be able to extract (i.e. detect) the information (i.e., metadata);
  • the brightness sensor will not act on the triptych (camera, algorithm, information) or on another triptych: it will improve the knowledge of the state of the system by informing an additional numerical quantity (ie a data of stage state).
  • the system wants to improve the knowledge of the state, it will list all the information (ie metadata) extractable and build the set of possible triptychs. Building does not mean using but rather enumerating and evaluating, that is, characterizing the performance of each triptych. Now the characterization of the performances takes into account the state of the system and therefore the quantity of light (ie numerical quantity of the state of the system which is indicated by the brightness sensor).
  • the triptych will have high probabilities whereas when the lighting is weak, the triptych will have difficulties to extract the information and the returned information will have more risk of not corresponding to the information sought. Then for each triptych, one calculates the gain, the cost, the contribution: the triptych which has the most important contribution is selected.
  • a triptych defines a way of extracting useful information.
  • the system needs data, an algorithm for processing / searching for this data and for signing the information sought (i.e. the characteristics of the information).
  • a triptych is a union of these elements: sensor, algorithm or process of processing, information sought (i.e. metadata).
  • Example ( Figure 7) we want to develop an individual recognition system. For example, suppose the character to be recognized has a mustache. The surveillance system must reinforce working hypotheses (ie improve the reliability of the system state) by verifying that the monitored individual has a mustache (ie the information sought). Thus the triptych is: camera n ° 3, mustache recognition algorithm, a rectangular mustache height 1 cm, width 3 cm, black color, which must be in a certain area of the image (called zone d ' interest), etc.
  • the system will define and select a triptych to improve these magnitudes. That is, it selects the sensor and the processing algorithm that it will use and specifies what information it will look for in a multi-dimensional area of interest.
  • An area of interest is a subspace of the data of the sensor which makes it possible to restrict the search (ex: one looks for a straight line in an image which must belong to a rectangular zone of the image, the line has an inclination between x ° and y °, it has a thickness between a and b cm, etc.).
  • the system will use the triptych by applying the triptych processing algorithm to the area of interest defined with respect to the sensor data to recognize the information sought.
  • the algorithm fails to find the information sought when the system assumed that the information was present in the area of interest. As a result, the reliability associated with the set of digital magnitudes to be improved decreases, but this does not modify their value or their accuracy (see FIG. 9).
  • the algorithm succeeds in finding information compatible with the information sought.
  • the information would be: rectangle of black color, height 1cm and width 3cm at the position x, y in the image data of the camera. Consequently, the reliability associated with the set of digital magnitudes to be improved increases, but this does not modify their value or their accuracy (see FIG. 10).
  • the system wishes to detect the mustache of the individual positioned in front of the camera. However, if the field of view of the camera is important, it is possible that other moustached individuals are filmed by the same camera. If the information returned by the algorithm is a mustache, it is indeed information of the same type as the information sought. On the other hand, if the information returned is an eyebrow, it is not a question of information of the same type namely of a mustache. Indeed, an eyebrow and a mustache may have very similar characteristics: similar to a black rectangle, however there are two types of information.
  • to characterize a triptych is to calculate at least the following quantities:
  • H) the probability that the information returned by the algorithm is information of the same type as the information sought: P (G
  • the gain, the cost are defined in relation to these quantities but others can be taken into account.
  • Detection of information is performed by applying the algorithm in the area of interest. If we consider that the event H is true, then the area of interest necessarily contains the information sought. But it can also contain other information or any other elements that we assimilate to noise. To be able to list the elements present in this zone, we divide it into samples to be analyzed. The purpose of the algorithm is to find the sample corresponding to the information sought.
  • nbBr nbln - nbAr - nbAc.
  • the algorithm searches for the signature of the latter in its area of interest. For this, he compares the footprint of each sample with the signature he has built. The returned sample is the one with the highest degree of resemblance while having a level above a threshold.
  • the fingerprint of each sample is extracted from a sensor measurement, so is likely to be noisy.
  • the signature it is constructed from an information modeling, thus incomplete and simplified.
  • the detection of information can pose some difficulties.
  • the first P measures the ability of the algorithm to recognize the information sought. It is therefore the probability that it identifies a sample as being the information sought when the sample tested is indeed the information sought. In the case of our example, the question is what is the probability that the mustache detection algorithm recognizes a mustache when presented with one?
  • the second Pbruit is the probability that the algorithm identifies a sample as the information while the latter is not one. In the case of this example, it is a question of what is the probability that the mustache detection algorithm recognizes an eyebrow, a rim of a telescope, a shirt collar, etc., like a mustache.
  • -Prequency number of samples above the threshold on curve 2 divided by the total number of samples in database 2.
  • H) represents the probability that the detector will return information when the H event is true. In the case of this example, this corresponds to the probability that the algorithm detects a mustache (i.e. event Y) while the person in front of the camera is mustachioed (i.e. event H). To calculate it, we determine the probability that no sample will respond positively to the detector. In the area of interest, there are nbBr noise samples. Each of them has a probability (1 - Pbruit) of not being recognized. There are also (nbAr + nbAc) samples that correspond to either the information sought or to information of the same type. It can be considered that each of these samples has the same probability (1 - P réeller) of not being recognized by the detector. As a result, the probability P (Y
  • Y, H) is the probability that the result returned by the detector is information of the same type as the information sought. In the case of this for example, this corresponds to the probability that the detected information (ie event Y: the rectangle of black color) corresponds to a mustache (ie event G).
  • the area of interest contains (nbAr + nbAc) samples that correspond to information of the same type as the information sought. Taking into account P facilitatorr, there are ((nbAr + nbAc) P disliker) of these samples which responded positively to the algorithm. And among all the samples in the area, there are ((nbAr + nbAc) • P apprisr + nbBr Pbruit) that responded positively. Also, P (G
  • the third P is the probability that the result returned by the detector is the information sought assuming that the event G is true. In the case of this example, this corresponds to the probability that the mustache detected (ie event G) corresponds to the mustache that the system wished to detect, that is to say the individual present exactly in front of the camera. As in the previous formula, it is a question of calculating the ratio of the number of favorable cases on the number of possible cases. If the event G is true, there are ((nbAr + nbAc) • Pionatr) samples that may have been returned by the detector but only (nbAr • Pionatr), we are interested. The ratio is:
  • the state of the system is calculated following the result of the triptych (i.e. the grid circle of FIG. 11) using a data fusion technique such as the Kalman filter and the reliability associated with this circle is calculated.
  • FIGS. 15 to 28 show an exemplary embodiment of the method and of the monitoring system for monitoring a simple scene, corresponding to a part.
  • the purpose of this application is to detect and locate all individuals who enter the room. To do this, several sensors have been placed in this room: -a camera in the upper right corner of the room, -a motion sensor above the window,
  • a crossing sensor i.e. a photoelectric cell
  • Figure 15 schematizes all of this information. These different sensors, in combination with a monitoring system shown in Figure 3, allow to implement this example.
  • the planned output is used to periodically, or where necessary, provide the status of the scene to the user or to another application.
  • a variable indicating whether the portion in question is free or occupied by one or more intruders with the reliability associated with this variable For this modelization, discretization tools are used to cut the scene in the form of rectangular cells, as shown in Figure 16. Moreover, the variable indicating whether the cell is free and the reliability of this variable can be combined within the same probability. Thus, each cell is associated with the probability that an individual is present in the cell.
  • the data concerning the position of the intruder in the room the accuracy associated with this location, the speed of movement of the intruder, the accuracy associated with this speed and the reliability, namely the probability that the the individual is actually present in the room.
  • the monitoring system can use two types of inputs: sensors and data.
  • Processing method comparison of the image obtained with an image taken when the room was empty (i.e. no individual).
  • Information returned presence of an individual with its location accuracy and the reliability of this information otherwise absence of an individual and the reliability of this information.
  • Processing method comparing the infrared signal with a measurement taken when the room was empty (i.e. no individual).
  • the crossing sensor its role is different from other previously presented sensors. Indeed, it does not indicate if an intruder is in the room. Nor does it provide data on the position of intruders in the room. On the other hand, whether or not he is solicited provides valuable information as to whether an intruder has entered or left the room. Accompanied by its reliability, it is used in the evaluation stage. In additional input, the use of a map of the room indicating where intruders are likely to come and go can be particularly useful for this application. As in the case of the crossing sensor, these data are used in particular during the evaluation stage. Some settings can be left to the user's choice, or preset in a fixed way. Possible settings include how often the system status is updated. In the case of this example, a frequency of 10Hz is a period of 100 ms is selected.
  • Figure 3 provides a parameter setting interface. These requirements define the minimum level of knowledge required by the user. This knowledge is all the more important as the accuracy of the state of the system and its reliability is great.
  • the following two tables illustrate an example of setpoint or threshold values that correspond to the requirements of this application.
  • the evaluation stage was able to point out that there is a risk, though low with a probability of 0.16, that an individual entered the room.
  • the system update and alert solicits a sensor. After calculating the contribution for each sensor, it appeared relevant to use the camera to search in the part of the image corresponding to the environment zone having a probability of 0.16 if an individual is present.
  • the image processing method associated with the camera makes it possible to indicate that no person has been detected in the part of the analyzed image.
  • the system is updated. In the end, the probability of an individual being present in the cells of the room located in front of the front door increases to 0.07 (see Figure 18).
  • the comparator verifies that the state of the system meets the requirements of the application, which is the case. Thus, no further action is taken until the next update, which occurs after the expiration of the expected time interval.
  • the result illustrated in Fig. 19 is obtained.
  • the crossing sensor did not detect any entry or exit of individuals from the room.
  • the shadow of the tree outside the room is projected into the same room near the front door.
  • the state of the system after the prediction does not meet the requirements of the application.
  • the state of the system is updated with this information accompanied by its reliability and its proposal.
  • the probability of cells in the room where no individual has been detected increases to 0.071.
  • two new digital quantities are added in the state to describe the detected individual, namely the position and the speed of movement of the individual.
  • reliability is associated with these new quantities and is worth in the case of this example 0.34, as indicated in Figure 20.
  • the comparator then verifies that the state of the system meets the requirements of the application, which is not the case because the reliability relative to the detection of the individual is too low.
  • the system update and alert has the ability to extract information from the motion sensor. This sensor indicates that no individual is present in the part of the signal corresponding to the area of the room where an individual is likely to be. Accurate with its reliability, this data makes it possible to update the state of the system. Thus, the reliability associated with the detected individual increases to 0.013 (see FIG. 21).
  • this reliability belongs to the interval [0, 0.1 [union] 0.9, 1]. However, this reliability is in the lower part of the interval. It therefore reflects a very strong certainty concerning the absence of any individual in this zone. The digital quantities associated with the detected individual are therefore removed from the state of the system and finally the following result (see Figure 22) is obtained, which meets the requirements of the user.
  • the crossing sensor detected an interruption of its laser beam. This means that there is a very high probability that an individual has entered the room. However, its position is not known (see Figure 23). Clearly, the state of the system does not meet the requirements of the application.
  • the motion sensor or the camera may be used. After calculating the contributions of this potentially extractable information, it is established that the camera, associated with its image processing method, is the most relevant. The result following the solicitation of the sensor is illustrated in FIG. 24. Thanks to the information provided by the image processing method that made it possible to analyze the part of the image concerned, it is found that an individual is present in front of the door.
  • the system state still does not meet the requirements of the application.
  • the update system has the ability to extract information from the motion sensor.
  • the result of the system updated by this last sensor is represented in FIG. 25.
  • This state still does not meet the requirements of the application, because of cells having a probability greater than 0.1, of the precision relative to the individual. detected, and reliability about the detected individual.
  • the update system no longer has the ability to retrieve new additional information from the sensors to improve the state.
  • the crossing sensor did not detect any entry or exit of individuals from the part.
  • the evaluation stage will make it possible to calculate the state of the system by considering that an individual could enter the room by the door with a low probability and that an individual is likely to be in the cells. of the piece that have a probability greater than 0.1. Indeed, the system considers that there is no individual in the cells that have a probability less than 0.1, that there is an individual in the cells that have a probability higher than 0.9 and that there is may have an individual for the remaining cells. However, if an individual is likely to be in a cell, this individual could possibly move, which the evaluation step must also take into account.
  • the evaluation step will make it possible to estimate the area where this individual is likely to be taking into account his speed of movement. This is an area that integrates all the cells where the individual was able to go.
  • Figure 26 shows the status of the system following the evaluation.
  • the update system extracts additional data.
  • the potentially extractable data that seems to be the most relevant to improve the state of the system can be obtained from the motion sensor. These data make it possible to indicate that there is no individual in front of the door and that the previously detected individual has moved in front of the window. This information extracted from the motion sensor could improve the location accuracy of the individual. In return, this has reduced reliability (see Figure 27).
  • the update system then extracts information from the camera which leads to the next result (see Figure 28).
  • the state of the system responds here to the requirements of the application.
  • An alert can therefore be sent to the operator of the surveillance system, who will be informed of the facts established with a reliability higher than the threshold requested. It is therefore found that the use of sensors capable of providing complementary data makes it possible to effectively overcome the lack of reliability associated with the first data of the first sensors.
  • Figure 29 shows the premises of a laboratory working on the development of vaccines against deadly viruses.
  • the laboratory stores these viruses in a cold room (ie zone 5 on the plane).
  • This laboratory is on two levels. It is accessed by level 0 which overlooks the zone 1.
  • level 0 which overlooks the zone 1.
  • the elevator By taking the elevator, one arrives at the reception point zone 2. From this last zone, one can reach various rooms notably zone 3.
  • the Authorized persons who have a badge may pass in zone 4.
  • Zones 4 and 6 are closed outer zones. It is possible to go to zone 6 by illegally crossing the fence.
  • the cold room finally corresponds to zone 5.
  • the laboratory wants to meet safety standards. For this, it must answer the following problems:
  • Zones 4, 5 and 6 are only allowed to authorized persons.
  • Zone 1 is equipped with a camera, a sensor provides information on the position of the elevator and a motion sensor is located in zone 2.
  • the door allowing access to zone 4 is equipped with a badge reader and a breakage detection sensor of this glazed door.
  • Zone 4 is equipped with a camera and a brightness sensor.
  • a photocell is positioned at the entrance to zone 5.
  • a thermal camera is placed in the cold room as well as numerous pressure sensors in the floor of this room to measure the weight of objects and individuals in the room.
  • Figure 30 shows schematically the corresponding monitoring system.
  • the laboratory responds to these security issues. Indeed, at zone 4, the camera will be able to detect the intruders who have entered the site through zone 6. Thanks to the brightness sensor, the system will dynamically adapt the reliability (ie in a probabilistic way) of the information. returned by the camera.
  • the photoelectric cell at the entrance to zone 5 makes it possible to know precisely when an individual enters or leaves the cold room. Only authorized individuals can enter this room and they must first identify themselves with their badge at the access control door of zone 4.
  • the laboratory requires that these individuals weigh themselves regularly which allows to know precisely when these same individuals leave the cold room if they steal products.
  • Zone 5 pressure sensors are used to detect any object left in the chamber.
  • the thermal camera it is used to detect and locate all the individuals in the room. Indeed, in the middle of the night (i.e. brightness zero) the camera of the zone 4 can not detect the intruders and the system knows it.
  • the thermal camera coupled to the photocell is the device for detecting intruders in the chamber.
  • the laboratory could have used a conventional color camera rather than a thermal camera.
  • the sensors were chosen based on their ability to provide information on the state of the system. Also any sensor for measuring a physical quantity that will be modified by the element that we want to detect / characterize can be exploited.
  • An individual in a cold room has a temperature different from the air in the room and is therefore detectable by a thermal camera and this much more reliable than with a color camera.
  • Zone 4 the system must ensure that there are only authorized individuals. To access this zone, intruders can come from zone 6 or zone 2 after having crossed the access control sensor. This is why the zone 4 camera only monitors the zone 4 border with zone 6 because there is a non-zero risk that an individual crosses the fence. Note that the system uses the information of the brightness sensor to know the reliability of detection of individuals with the camera.
  • the individual Rather than submit to the control of his access badge, the individual breaks the glass door and enters the zone 4.
  • the information of the broken door raised by the sensor indicates to the system that an individual is in the process to enter zone 4.
  • the system solicits the zone 4 camera to detect and locate the individual. From now on, this camera will no longer monitor only the zone 4 border with zone 6 but also the zone 2 border with zone 4 because there is a non-zero risk that another individual enters zone 4 by broken door.
  • the individual then drops an object into the room and runs away.
  • the system detects this object from the pressure sensors of the part and deduces that it is not an individual by soliciting the thermal sensor. Indeed, the temperature, the weight and the shape of the object are incompatible with that of an individual.
  • the following features of the system could be highlighted: - Ability to solicit and use only the information (sensors) necessary and relevant to address the problem of the user: the requirements of the application (ie state of rest and excited of the system); -Sensory management in a cooperative way (eg the brightness sensor and the camera, the elevator sensor and the motion sensor, etc.); -All information passing through the system is probabilized, as is the state of the system.
  • -to include high-level information on the measurements returned by the sensors (rectangle around the people detected on the surveillance videos, trajectory of the detected persons, etc.) (ie augmented reality tools).
  • the solution according to the invention makes it possible to offer the operator an interactive and intelligent visualization corresponding to his surveillance problem.
  • One of the advantages is to facilitate the visualization and analysis of complex data to accelerate their understanding, communication and decision-making.
  • the means of the invention provide an interactive data visualization technology based on "virtual reality" tools.
  • the system responds to the problem of the operator: -The operator no longer has to interpret the sensor signals. If the operator wants to know if an individual has entered the site then the representation will consist of a 3D view of the site (ie virtual reality) where the system will indicate the areas where intruders are present but the low level information (ie sensor data) will not be displayed.
  • the system informs the user about its limitations:
  • the system informs the operator of the areas of the environment that he can not perceive so that the latter can not imagine that no intruder is in the room while it does not is simply not equipped with sensors.
  • the system informs the operator if he has a doubt (reduced reliability) on the presence of the individual.
  • the system can dialogue with the operator by suggesting to him to control suspicious events with regard to his problematic or results that he has not been able to analyze: -By relation to the problematic of the operator, the system will attract his attention on the relevant areas: intrusion, grouping of individuals, agitated individuals, etc., as well as areas where individuals have been detected with low reliability.
  • the only way to remove doubts is to control the sensor data. For this, only the sensors related to the 3D representation are displayed. In addition, only a few sensors are displayed: the most relevant, that is to say those that bring new information. The system does not display sensors that provide redundant information compared to other sensors.
  • the system is interactive and responds to requests from the operator:
  • a single alarm is displayed and made available to the operator.
  • the system displays: -a virtual reality of the site, -focused on the place where the intruder is located, taking into account that the badged gate is broken, -integrating the non-perceptible areas of the site, -coupled with an augmented reality of the measurements of the sensors, -with only the measurements of the sensors in link with virtual reality,
  • a jewel is exposed to the public in a gallery.
  • the jewel is presented on a base and is lit by halogen light spots.
  • Several sensors are located nearby.
  • a color camera and a thermal camera film the jewel.
  • the latter is placed on a pressure sensor.
  • a brightness sensor measures the lighting level. Indeed, when the light spots work, they can start to flash.
  • a clock measures the time.
  • the central monitoring system has access to a computer file that specifies the time slots during which the halogen spotlights operate.
  • a belt of ten ultrasonic sensors surrounds the base to indicate if individuals are near the jewel.
  • This application aims to check the presence of the jewel on its base. It is therefore a device against theft.
  • the preparation of the surveillance system involves providing a modeling of the element that we want to monitor and recognize, namely the jewel.
  • the jewel is a metal crown.
  • the model is the following: cylindrical object diameter 15cm, yellow color, weight 300gr, metal.
  • the state of the scene is composed on the one hand of the variable that one wishes to calculate namely: the presence of the jewel on its base. On the other hand, it can be considered that the more individuals around the jewel, the greater the risk that an individual will steal the object.
  • the state of the system includes the number of ultrasonic sensors having detected at least one individual. This last variable will play a particularly important role important in the step of estimating the state of the system at the date t from the historical state of the system at the date t-delta t. Finally a last variable will be used to indicate the level of luminosity around the jewel. This last variable will play a particularly important role in determining the reliability of the metadata extracted from the data (ie color images) of the camera.
  • This latter table is an example of a result provided by the monitoring method: the state of the system is periodically provided to the user, to another application or to another device.
  • Prediction step This step is very dependent on the digital quantities considered, the application, its context of use.
  • the following modeling is proposed:
  • the comparison step consists in determining whether there exists one of the numerical magnitudes of the calculated state which has a precision greater than the precision indicated in the state desired by the user (ie requirements of the application) for this same state. magnitude or if there is one of the magnitudes of the calculated state that has a reliability lower than the reliability indicated in the state desired by the user (ie application requirements) for that same magnitude. In this case, the calculated state does not meet the requirements and the system goes into the excited state. For this example, the reliability of the quantities "presence of jewelry” and “brightness” is insufficient, and the accuracy of the quantities “number of ultrasonic sensors” and “brightness” is also insufficient. Update step
  • Metadata searched detection of yellow in the image corresponds to the perception of the jewel.
  • Image processing method measuring the amount of yellow color in a part of the image.
  • Metadata searched detection of a cylindrical object of diameter 15cm in the image.
  • Image processing method detection of contours and shapes. Result returned: if a cylindrical object could be recognized then the following result is sent: "detection of a cylindrical object of diameter 15cm which seems to correspond to the jewel", otherwise "metadata sought not obtained”.
  • Sensor pressure sensor.
  • Data returned weight of the object placed on the sensor.
  • the system can deduce at what temperature the jewels are at a certain time. If the heat measured by the sensor is compatible with that which should have the jewels, the following result is sent: "the thermal heat released by the filmed object is compatible with the heat that should clear the jewelry", otherwise “heat incompatible with jewelry ".
  • Metadata sought detection of a cylindrical object of diameter 15cm in the thermal image of the sensor.
  • Processing method detection of contours and shapes in a thermal image.
  • the result is returned with its precision and reliability.
  • the accuracy and reliability depend on the sensor and the treatment process considered.
  • the results returned are all the more reliable as the brightness of the scene is important.
  • the reliability evaluation for metadata extracted from the camera image takes into account the brightness level of the scene available in the stage state as a numeric magnitude.
  • the monitoring system may use the following data or metadata:
  • -Data weight of the object placed on the pressure sensor
  • -Data temperature of the object filmed by the thermal camera
  • the system can use the following data or metadata: -Data: number of ultrasonic sensors having detected a obstacle.
  • the system can use the following data or metadata:
  • Reliability and accuracy of data is an intrinsic feature of sensors, while those of metadata are calculated dynamically by the update and alert system.
  • the determination of the data or metadata that the system must use to improve the state of the scene is performed by means of a comparison function which measures a difference between the theoretical state of the scene produced by a given piece of data or metadata. and the state of the scene desired by the user (ie application requirements).
  • the theoretical state produced by a data item or a metadata corresponds to the state that the system expects to obtain if it requests the recovery of the data or the extraction of the metadata. For this the system takes into account the reliability and the theoretical accuracy of the data and the metadata. It should be noted that at this stage, the update and alert system has not yet recovered the sensor data and has not performed any analysis or processing of the data.
  • the comparison function As far as the comparison function is concerned, it consists of measuring the difference between the accuracy and reliability of each magnitude of the theoretical state with the accuracy and reliability of the state desired by the user. Each of these deviations can be weighted by a coefficient to indicate for example that the brightness accuracy is a more important characteristic than for the other quantities.
  • the following comparison function is used:
  • the comparison function is 0 since the accuracy of the numerical quantities of the theoretical state is less than the accuracy of the quantities the desired state and that the reliability of the magnitudes of the theoretical state is greater than the reliability of the magnitudes of the desired state.
  • the computation time to obtain a metadata can be quite important due to the processing time of the sensor data. It is possible to integrate the estimated time required to obtain data or metadata or the amount of memory estimated necessary to obtain data or metadata, etc., in a cost variable. This cost can be taken into account in the comparison function to reduce the importance of a given datum or metadata. For this, it is possible to add this cost to the comparison function or to multiply the comparison function by the cost, etc.
  • comparison function takes into account all the differences in reliability and accuracy for each quantity between the theoretical state and the desired state. However, these differences were weighted by multiplying coefficients (i.e. 4, 1, 3, 1 and 2). It is possible to use a comparison function which only takes into account the difference of a few quantities and is limited to the precision characteristic (ie the reliability characteristic will not be used). Thus, we obtain the following comparison function:
  • the cost represents an estimate of the necessary processing time in milliseconds to obtain the data or the metadata.
  • the data or metadata that would be selected is the one that has a minimum "comparison function + cost" value, that is to say the data "brightness of the scene.
  • some comparison functions have been presented as well as an example of cost. However, it is possible to offer any type of function.
  • the data or metadata is obtained, it is used to improve the state.
  • This operation can be carried out in a conventional manner by using, for example, the data fusion tools (ie Kalman filter, particulate filter) to update the value and the accuracy of the state while the reliability of the digital quantities of the state is updated using the Bayes rule.
  • the data fusion tools ie Kalman filter, particulate filter

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Library & Information Science (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

PROCEDE ET SYSTEME DE SURVEILLANCE DE SCENES
DOMAINE TECHNIQUE DE L'INVENTION
L'invention concerne un procédé de surveillance d'une scène permettant de fournir en temps sensiblement réel un état de la scène et un dispositif de surveillance d'une scène correspondant.
ETAT DE LA TECHNIQUE ANTERIEURE
On connait de multiples exemples de réalisation de procédés de surveillance de lieux, de locaux ou de bâtiments. De façon générale, les approches connues permettent de récupérer simultanément toutes les informations permettant d'améliorer la connaissance de l'état d'un système et de mettre à jour cet état en une seule fois. Une telle approche nécessite d'importantes capacités de calculs et/ou des temps de calcul particulièrement longs dès lors que le système à surveiller comporte un grand nombre de capteurs. Or, beaucoup d'applications dans de vastes bâtiments avec de nombreuses pièces nécessitent l'utilisation d'un très grand nombre de capteurs, le plus souvent des caméras. Par ailleurs, la complexité de tels systèmes engendre de nombreuses fausses détections ou alarmes. En effet, aucune attention particulière n'est portée sur les résultats des procédés d'analyse des données des capteurs. Ces résultats sont considérés comme imprécis mais toujours juste ce qui n'est pas toujours le cas puisque des erreurs d'analyse peuvent se produire. Enfin, l'opérateur ne connait pas le statut du système. Il n'a pour information que des alarmes ou alertes, et/ou une pluralité d'informations transmises sur une pluralité de sorties telles que des écrans de télévision. Par ailleurs, un seul événement, par exemple une intrusion, peut impliquer l'excitation de plusieurs capteurs. Les systèmes connus engendrent alors une pluralité d'alertes, classiquement une par capteur. Enfin, lorsque le système est utilisé avec différent types de capteurs comme des caméras, des capteurs d'intrusions, des capteurs de mouvement, il n'existe pas de coopération entre les capteurs. C'est-à-dire que lorsque le système utilise un capteur donné, il ne tient pas compte des données qu'il a reçu des autres capteurs. Quelques systèmes proposent une alternative mais qui se limite à un partage des alertes fournies par chaque capteur. De tels systèmes impliquent non seulement des lourdeurs en termes de matériel et des surcoûts, mais occasionnent aussi des difficultés d'utilisation dues notamment aux nombreuses fausses alertes, avec toutes les conséquences que cela peut entraîner.
Le document WO 02/19077, décrit un système de détection d'intrusion sur un réseau informatique utilisant des techniques de corrélation probabilistes afin de réduire la fréquence des fausses alarmes, et améliorer l'information fournie dans les systèmes de détection d'intrusion. Le document décrit un système anti-intrusion comportant des capteurs de différents types. Les seules données émises par les capteurs sont des alertes.
Le système de détection d'intrusion bénéficierait à disposer d'informations de haut- niveau des capteurs qu'il pourrait exploiter pour configurer ou paramétrer les autres capteurs ou procédés d'analyse des données capteurs. Ces données sont corrélées de sorte que l'état (i.e. alerte ou non alerte) d'un capteur peut affecter l'état de l'autre. Ce système utilise également l'ensemble des capteurs disponibles de façon simultanée, nécessitant un système de calcul puissant et une gestion complexe. En effet, la sollicitation d'un procédé d'analyse d'une donnée capteur nécessite d'une part un temps de calcul nécessaire mais entraîne également un risque de « pollution » du résultat final du fait que dans certain cas, le procédé peut conduire à une analyse erronée. Par ailleurs, seuls les états des capteurs sont comparés entre eux : aucune comparaison n'est effectuée par rapport à une autre valeur pouvant éventuellement servir de référence.
Enfin, les informations de probabilité utilisées pour l'état des capteurs dépendent uniquement des états (i.e. alerte ou non alerte) des autres capteurs. Dans le cas d'un système de surveillance de détection d'intrusion d'un bâtiment utilisé en conditions difficiles (i.e. poussière, luminosité, pluie, mouvement de la végétation), les informations de probabilités utilisées pour l'état des capteurs ne doivent pas se limiter aux alertes remontées par les autres capteurs mais doivent pouvoir s'adapter dynamiquement aux conditions changeante de perception de la scène. EXPOSE DE L'INVENTION
Pour éviter ces inconvénients, l'invention prévoit, dans un dispositif de surveillance d'une scène à au moins deux dimensions, délimitée par un pourtour connu et localisé, ledit dispositif comportant un système central de surveillance, une pluralité de capteurs en communication avec la scène à surveiller et avec le système central de surveillance, ledit système central comportant un Système de Mise à Jour et d'Alerte (SYMAJA) permettant de procéder à des acquisitions de données, de fournir des métadonnées en relation avec l'objet surveillé, de déterminer le niveau de fiabilité (et éventuellement de précision) relatif aux métadonnées et de déceler une éventuelle condition d'alerte (correspondant à une supradonnée) en comparant les métadonnées avec au moins un Modèle de Définition de Condition d'Alerte (MODECA), un comparateur, permettant de déterminer si le niveau de fiabilité correspondant aux Données d'Etat de Scène (DES) satisfait un Seuil Admissible de Fonctionnement Etabli (SAFE), un procédé de surveillance de la scène permettant de fournir en temps sensiblement réel un Etat de la scène, ledit procédé comportant les étapes consistant à : a) évaluer, à un instant donné t, les Données d'Etat de Scène (DESS) correspondant à l'Etat dans lequel se trouve la scène à l'intervalle t sur la base des données et métadonnées disponibles de l'intervalle précédent t-delta t; Cette prédiction étant effectuée uniquement sur la base des données préalablement mémorisées (d'Etat de Scène historiques) plus les données théoriques éventuelles relatives au fonctionnement dû système ex ; tout capteur proprioceptif uniquement : capteur de vitesse, accélération, inclinaison ou toute autre donnée d'un fichier ou capteur extéroceptif tel qu'une cellule photo électrique) b) mémoriser les Données d'Etat de Scène (DESS) nouvellement obtenues ; c) vérifier, à l'aide du comparateur, si le niveau de fiabilité des Données d'Etat de Scène (DESS) nouvellement obtenues satisfait le Seuil Admissible de Fonctionnement Etabli (SAFE); (selon une variante de réalisation, la fiabilité est remplacée par la précision) d) si le niveau de fiabilité satisfait le Seuil Admissible de Fonctionnement Etabli (SAFE), le Système de Mise à Jour (SYMAJ) est à l'état inactif, et, après un intervalle de temps prévu, le procédé se poursuit à l'étape a) ; e) si le niveau de fiabilité ne satisfait pas le Seuil Admissible de Fonctionnement Etabli (SAFE), le Système de Mise à Jour (SYMAJ) passe à l'état actif et un cycle de mise à jour est lancé ; f) l'activation du Système de Mise à Jour (SYMAJ) actionne une étape de sélection de capteurs permettant de sélectionner au moins un capteur permettant l'obtention de données ou de métadonnées dont les niveaux de fiabilité correspondants permettent de se rapprocher ou de dépasser les niveaux établis par le Seuil Admissible de Fonctionnement Etabli (SAFE); g) les données et/ou métadonnées du capteur sélectionné sont reçues et prises en compte pour établir une nouvelle phase de calcul d'Etat de Scène selon les étapes suivantes : h) calculer, à un instant donné (t), les Données d'Etat de Scène (DESS) correspondant à l'état dans lequel se trouve la scène sur la base des données et/ou métadonnées du capteur sélectionné obtenues à cet instant (t) donné ; i) mémoriser les Données d'Etat de Scène Réel (DESS) nouvellement obtenus ; j) vérifier, à l'aide d'une étape de comparaison, si le niveau de fiabilité des Données d'Etat de Scène (DESS) réelles nouvellement obtenues satisfait le Seuil Admissible de Fonctionnement Etabli (SAFE); k) si le niveau de fiabilité réel satisfait le Seuil Admissible de Fonctionnement Etabli (SAFE), le Système de Mise à Jour (SYMAJ) passe à l'état inactif, et, après l'intervalle de temps prévu, le procédé se poursuit à l'étape a) (estimation); I) si le niveau de fiabilité réel ne satisfait pas le Seuil Admissible de Fonctionnement Etabli (SAFE), le Système de Mise à Jour (SYMAJ) demeure à l'état actif, un nouveau cycle de mise à jour est lancé, et le procédé se poursuit à l'étape f).
Un tel procédé permet de diminuer le nombre et/ou la fréquence des fausses alarmes, permet de surveiller un plus grand nombre de paramètres tout en proposant une sortie simplifiée facilitant le travail de l'opérateur. Le temps de calcul et/ou la puissance de calcul requise sont par ailleurs considérablement réduits du fait que le nombre de données de capteur à traiter est considérablement réduit. Selon une variante de réalisation, l'intervalle de temps prévu peut changer en cours de processus en fonction par exemple des risques variables dans le cours de la journée. Selon l'invention, les mesures de l'état d'un système sont effectuées par phases. Ainsi, le système de surveillance est soit dans une phase de repos soit dans une phase excitée. Il est dans une phase de repos dès lors que l'état du système calculé répond aux exigences de l'application. Lorsque cette contrainte n'est plus validée, le système passe dans une phase excitée. Ceci entraîne une sollicitation des capteurs pour récupérer leurs données et les traiter afin d'améliorer l'état pour repasser dans une nouvelle phase de repos. En phase de repos, le calcul de l'état du système est réalisé au moyen de modèles, des commandes et/ou entrées du système, comme par exemple les actions réalisées sur un « joystick » pour commander un bras manipulateur, qui indirectement font appel à des capteurs (ex : les capteurs qui mesurent l'orientation du « joystick »).
Selon un mode de réalisation avantageux, l'étape de sélection de capteur permet de sélectionner le capteur qui fournira un état théorique de scène qui, en comparaison avec le Seuil Admissible de Fonctionnement Etabli (SAFE), présente l'écart le plus faible.
Grâce à ces caractéristiques, il est possible de solliciter simultanément un seul ou un nombre restreint de capteurs pour effectuer les premiers calculs, puis de compléter un éventuel manque de fiabilité par des données et/ou métadonnées complémentaires judicieusement et rigoureusement sélectionnées. Ce processus en étapes simplifie la gestion et les opérations pour les systèmes de surveillance disposant d'un nombre important de capteurs. Selon une variante de réalisation, l'étape de sélection permet de sélectionner un procédé de traitement de signal du capteur parmi une pluralité de procédés disponibles, soit en plus ou à la place de la sélection de capteur. Un exemple, de donnée qui permet de modifier l'état d'une scène d'un instant à l'autre est la vitesse, qui a pour effet une modification de la position d'un objet en fonction du temps.
Selon un autre exemple, l'étape de sélection de capteur, on compare les niveaux de fiabilité de chacune des données et/ou métadonnées et on sélectionne le capteur et/ou le procédé de traitement de signal de capteur dont le niveau de fiabilité est le plus élevé. De manière avantageuse, à l'étape de sélection de capteur, l'écart avec le Seuil Admissible de Fonctionnement Etabli (SAFE) est affecté d'un facteur de correction correspondant au coût requis pour l'obtention dudit écart.
On ajoute avantageusement au niveau de fiabilité considéré le niveau de précision des grandeurs qui composent le système.
Les Données d'Etat de Scène sont de préférence mises à disponibilité (en sortie).
Ceci peut être fait à fout moment, car on a toujours une certaine connaissance de l'état actuel de la scène, et même, dans le cas de l'étape de prédiction, de l'état à venir de la scène. Ainsi, il est utile de pouvoir fournir une sortie indiquant une scène dans laquelle le niveau de fiabilité est insuffisant, ou une scène dans laquelle ce niveau est suffisant avec une éventuelle indication d'une alerte.
Selon une mode de réalisation avantageux, la scène à surveiller est complexe et comporte une pluralité de sous-scènes liées les unes autres, et dans lequel, lors d'au moins une des étapes du procédé, les Données d'Etat de Scène d'une sous-scène sont utilisées pour l'étape a) d'estimation des Données d'Etat de Scène d'une autre sous-scène, liée à la première.
Ceci suppose que les liens (par exemple le plan d'agencement des pièces d'un bâtiment) sont connus et pris en compte. Cette caractéristique est particulièrement avantageuse car elle permet à l'étape d'évaluation un niveau de performance particulièrement élevé, évitant ainsi d'effectuer des calculs pour une vaste variété de cas. Par exemple, une scène à surveiller peut être un établissement comportant une pluralité d'enceintes à surveiller, les données relatives à l'état de scènes étant présentées sur une représentation visuelle synthétique dudit établissement. L'établissement peut être un Musée, un aéroport, une banque, un centre commercial, un bâtiment publique, etc. La représentation visuelle peut être une représentation schématique de l'établissement en 2 ou 3 dimensions. Un affichage unique permet alors de représenter un système physique ou une scène complexe, rendant de ce fait la surveillance de cette scène beaucoup plus simple, ergonomique, efficace et sûre. En cas d'alerte ou alarme dans une enceinte de l'établissement, l'enceinte concernée est indiquée par un signal visuel sur la représentation schématique de rétablissement. Le signal peut être accompagné d'un signal sonore pour alerter un éventuel opérateur, d'un affichage de message, permettant d'identifier la nature de l'alerte et les éventuelles démarches à effectuer pour vérifier la situation et/ou pour y remédier.
Selon une variante, si les Données d'Etat de Scène (DES) évaluées de la première sous-scène révèlent qu'aucun événement lié à la surveillance n'est susceptible de se produire au niveau de la seconde sous-scène, les capteurs de cette seconde sous- scène sont mis en mode désactivé.
Grâce à cette caractéristique, il est possible de placer en mode « veille » une pluralité des capteurs, simplifiant grandement le fonctionnement du système, limitant le nombre d'opérations à effectuer, et contribuant à augmenter la rapidité du système, même si le calculateur utilisé ne dispose pas de capacités particulièrement importantes. En particulier, cette caractéristique est particulièrement utile si l'état du système n'indique aucune source d'alerte dans la seconde sous-scène et si cette seconde sous-scène n'est accessible que par la première.
Selon une autre variante, les capteurs utilisés sont sélectionnés dans la liste comprenant : une caméra, un détecteur de mouvement, un capteur de pression, un capteur de température, un capteur de vibrations, une cellule photoélectrique, un faisceau laser, une caméra thermique, un détecteur d'ouverture de porte ou fenêtre ou autre point d'accès susceptible d'être ouvert, un capteur infrarouge, un capteur à ultrason, un radar, un capteur d'accélération, un capteur d'inclinaison, un capteur de force, un capteur RFID, un capteur d'intrusion tel que les capteurs de bris de vitres, un lecteur de badge d'accès, un capteur magnétique.
L'invention prévoit également un dispositif de surveillance d'une scène à au moins deux dimensions, délimitée par un pourtour connu et localisé, ledit dispositif comportant : -un système central de calcul ;
-une pluralité de capteurs, en communication avec la scène à surveiller, chacun étant apte à surveiller un élément ou phénomène physique pour au moins une portion de ladite scène ; -des moyens de transmission de données des capteurs vers le système central de calcul ;
-ledit système central comportant :
-une interface d'entrée de données, permettant au système central de recevoir les données des capteurs et d'assurer la compatibilité avec le système ; -un Système de Mise à Jour et d'Alerte (SYMAJA), permettant de procéder à des acquisitions de données, de fournir des métadonnées en relation avec l'objet surveillé, de déterminer le niveau de fiabilité (et éventuellement de précision) relatif aux métadonnées et de déceler une éventuelle condition d'alerte en comparant les métadonnées avec au moins un Modèle de Définition de Condition d'Alerte (MODECA) ;
-un comparateur, permettant de déterminer si le niveau de fiabilité correspondant aux
Données d'Etat de Scène satisfait un Seuil Admissible de Fonctionnement
Etabli (SAFE) ;
-une interface de sortie, permettant de fournir une sortie en relation avec les Données d'Etat de Scène, (la sortie peut fournir des données, métadonnées, supradonnées, etc).
Selon une variante, le système central de calcul comprend une interface pour recevoir des sources de données et/ou métadonnées autres que des capteurs.
Par exemple, il peut s'agir de fichiers de données, une horloge, d'instructions et/ou données provenant d'un autre système, d'un individu, etc.
L'invention prévoit par ailleurs un logiciel comprenant des éléments de code programmés pour la mise en œuvre du procédé préalablement décrit, lorsque ledit logiciel est chargé dans un système informatique et exécuté par ledit système informatique. Dans une variante, le logiciel est sous forme de produit enregistré sur un support lisible par un système informatique, comprenant des éléments de code programmés.
Voici quelques autres avantages procurés par la présente invention. La puissance de calcul est réduite : en phase de repos, le système consomme très peu de ressources ; en phase excité, seuls les capteurs utiles sont sollicités ; en phase excité, le système ne traite pas toute la donnée du capteur mais uniquement la zone adéquate ; contrairement à un système de vidéosurveillance classique où la puissance de calcul nécessaire est fonction du nombre de capteurs, le procédé et le système selon l'invention permettent d'optimiser la puissance de calcul.
Le procédé et le dispositif permettent une approche indépendante du type de capteurs utilisés. Tout capteur permettant de fournir un renseignement sur l'état du système est exploitable. C'est-à-dire tout capteur permettant de mesurer une grandeur physique qui a été modifiée par l'élément que l'on souhaite détecter ou caractériser.
Le procédé et le dispositif permettent une approche intégrant la fiabilité des informations renvoyées par les capteurs. Ainsi, le système de surveillance sollicitera une caméra dans une pièce où l'éclairage est contrôlé mais ne la sollicitera pas s'il fait noir car le capteur n'est plus fiable pour reconnaître des individus.
Le procédé et le dispositif permettent une approche dans laquelle on n'utilise pas les capteurs indépendamment les uns des autres. Ainsi, dans une approche classique et pour une fonction de détection d'intrusions, il y aurait autant d'alarmes que d'alertes renvoyées par les capteurs.
Selon l'invention, pour un même intrus, il n'y a qu'une seule alarme même s'il passe devant plusieurs capteurs. Par ailleurs, le procédé permet de renvoyer à l'opérateur uniquement les informations utiles par rapport à sa problématique. Par exemple, plutôt que de transmettre une information d'augmentation de température dans une pièce, il est possible d'indiquer qu'une personne se trouve dans la pièce. Cette information est obtenue grâce à une corrélation de manière probabiliste avec des modèles d'augmentation de température et l'ouverture de la porte.
DESCRIPTION DES FIGURES Tous les détails de réalisation sont donnés dans la description qui suit, complétée par les figures 1 à 34 dans lesquelles:
-la figure 1 est une représentation schématique du principe de fonctionnement d'un système de surveillance de type connu; -la figure 2 est une représentation schématique du principe de fonctionnement d'un système de surveillance selon l'invention;
-la figure 3 est une représentation schématique du système de surveillance selon l'invention;
-les figures 4 et 5 présentent les principales étapes du procédé de surveillance selon l'invention ;
-les figures 6 à 14 illustrent différents aspects relatifs à la notion de tryptique ;
-les figures 15 à 28 présentent un premier exemple de scène surveillée à l'aide du procédé de l'invention ;
-les figures 29 et 30 présentent un second exemple de scène surveillée à l'aide du procédé de l'invention ;
-la figure 31 présente un affichage type de surveillance selon un mode connu ;
-la figure 32 présente un exemple de présentation des résultats de la surveillance avec le procédé selon l'invention ;
-les figures 33 et 34 présentent un troisième exemple de scène surveillée à l'aide du procédé de l'invention.
DESCRIPTION DETAILLEE DE L'INVENTION
Dans la présente description, les termes suivants sont utilisés notamment avec les significations suivantes :
On désigne « donnée » une information de nature technique ou physique fournie par un capteur au système. Il s'agit souvent d'un signal donnant une information de température, vibration, force, une image, un signal d'interruption d'un faisceau laser, un temps de propagation d'une onde, etc.
On désigne «métadonnée » une information de haut-niveau résultant de l'analyse d'au moins une partie d'une donnée reçue d'un ou plusieurs capteurs par un processus de traitement. Une métadonnée a une relation directe avec l'objet surveillé. Par exemple, une métadonnée peut par exemple correspondre à l'objet de la surveillance par une caractéristique de cet objet qui peut être contrôlée ou vérifiée, tel que une couleur, une forme, un profil, un contour, etc. Une caméra est exemple d'un capteur fournissant une donnée brute non exploitable (signal d'image). Ce signal traité par un processus de traitement d'image permet l'obtention d'une ou plusieurs métadonnées.
On désigne «supradonnée » une information en relation avec le résultat ou objectif final de la surveillance. Par exemple, il y a intrusion ou pas, on a dérobé l'objet surveillé ou pas, etc.
Par « surveiller », on entend (pour un capteur) les concepts et notions permettant de surveiller, mesurer, détecter, analyser un élément (vivant ou non, donc incluant un animal, une plante, un virus, micro-organisme, personne ou groupe de personnes, etc), ou phénomène physique.
On désigne «capteur » un dispositif matériel intégrant éventuellement des outils de traitement qui mesure des grandeurs ou phénomènes physiques.
On désigne « état de scène », ou « données d'état de scène » ou « données d'état physique » les informations ou données de nature physique ou technique représentant la valeur d'une grandeur ou d'un phénomène physique présent dans la scène. A titre d'exemple de grandeurs ou phénomènes physiques : présence ou absence d'un élément vivant ou non, couleur, texture, température, vitesse, accélération, luminosité, infrarouge, pression, temps, poids d'un objet ou d'un être vivant, le temps de propagation d'une onde, la réflectivité d'une surface, la position d'un individu, etc. Plus particulièrement, on désigne « état de scène » la description technique de la scène à une date particulière. Cette description technique contient une liste de données d'état de scène. Un des objectifs du procédé et du dispositif consiste à calculer l'état de la scène, c'est-à-dire l'ensemble des données d'état d'une scène. Pour calculer ces données d'état, le système utilise des données ou métadonnées des capteurs. Il est entendu qu'une scène est de préférence statique. Cependant, certaines scènes « mobiles », telles que le cockpit ou la cabine d'un avion, les wagons d'un train ou les salles d'un navire, ne sont pas exclues du procédé selon l'invention.
On entend par « SYMAJA » un Système de Mise à Jour et d'Alerte. Ce système permet de procéder à des acquisitions de données, de fournir des métadonnées en relation avec l'objet surveillé, de déterminer le niveau de fiabilité (et éventuellement de précision) relatif aux métadonnées et de déceler une éventuelle condition d'alerte en comparant les métadonnées avec au moins un Modèle de Définition de Condition d'Alerte (MODECA).
On entend par « MODECA », un Modèle de Définition de Condition d'Alerte. Un tel modèle permet d'établir une relation directe ou indirecte entre l'objet de la surveillance et les métadonnées de façon à permettre de déceler une éventuelle condition d'alerte. Par exemple, si une ou plusieurs métadonnées correspondent à des éléments du modèle, une condition d'alerte est donnée. Si un certain nombre de métadonnées correspondent partiellement au modèle, ou si le niveau de fiabilité de certaines métadonnées ne correspond pas aux exigences, le procédé de surveillance pourra permettre l'obtention de données ou métadonnées complémentaires pour valider ou non la condition d'alerte.
On entend par « fiabilité »: la variable fiabilité de chaque grandeur ou ensemble de grandeurs de l'état du système calculé. Cette valeur est destinée à être comparée à la variable fiabilité de l'état du système demandé par l'utilisateur pour ces mêmes grandeurs. Que la grandeur considérée soit numérique ou pas, la fiabilité est une valeur numérique entre 0 et 1 et la précision est une valeur numérique supérieure ou égale à 0. Ainsi, lorsque l'on réalise la comparaison par rapport aux exigences, on compare les variables de fiabilité et précision et pas les grandeurs auxquelles sont associées ces variables. Or, la fiabilité et la précision sont toujours des valeurs numériques et peuvent toujours être comparées.
L'objectif de ce procédé consiste à établir l'état d'un système, en particulier d'une scène. L'état d'un système correspond à un ensemble de grandeurs numériques et éventuellement non numériques caractéristiques du système.
Ainsi, le procédé et le dispositif permettent de calculer ces grandeurs (mesurer leur valeur) avec une certaine précision et une certaine fiabilité. La fiabilité d'une grandeur est la probabilité que la grandeur réelle appartienne à l'intervalle : valeur plus ou moins sa précision. Si la grandeur ne possède pas de précision, alors la fiabilité est la probabilité que la grandeur réelle soit égale à la valeur. La fiabilité peut être définie non pas pour une grandeur mais pour un ensemble de grandeurs. Elle correspond alors à la probabilité que chaque grandeur réelle appartienne à chaque intervalle ou soit égale à la valeur. Dans certains cas, il est nécessaire de calculer des grandeurs supplémentaires pour atteindre la précision et la fiabilité souhaitées sur les grandeurs demandées. Dans la description qui suit, le niveau de fiabilité souhaité par l'utilisateur, et dans certains cas la précision souhaitée par l'utilisateur correspondent aux exigences de l'application.
La figure 1 illustre schématiquement le principe de fonctionnement d'un système de surveillance d'un dispositif de type connu. Les capteurs, en général des caméras, sont reliées à des dispositifs vidéo, permettant de visualiser en direct, et éventuellement d'enregistrer ce que les caméras peuvent filmer des scènes concernées. Pour visualiser des nombreuses données, il est nécessaire de disposer d'une pluralité d'écrans, rendant les consultations et surveillances fastidieuses et fatigantes pour les opérateurs. Si d'autres capteurs sont utilisés, ceux sont gérés de façon indépendante, et les informations obtenues des différentes sources sont fournies séparément à l'opérateur. En pratique, un seul opérateur parvient difficilement à contrôler un grand nombre de paramètres en même temps. Souvent, pour pallier à cette limitation, plusieurs opérateurs sont présents. La figure 2 illustre schématiquement un système ou dispositif de surveillance de scène selon l'invention. Un système central de surveillance 2 permet de recevoir toutes les entrées des capteurs. Une approche probabiliste, décrite ultérieurement, permet de prévoir une sollicitation séquentielle des capteurs. Les données des capteurs sont interprétées de façon à permettre une analyse globale de la situation au niveau de la scène. Ceci permet de produire des alertes en fonction des événements plutôt qu'en fonction du nombre de capteurs impliqués. Ainsi, plusieurs capteurs 30 participant à la détection d'un événement unique permettront de produire une détection fiable, et d'envoyer un signal unique à l'opérateur, même si plusieurs capteurs sont impliqués. Le procédé et le système schématisé à la figure 2 sera présenté plus en détails à l'aides des figures suivantes.
La figure 3 présente un exemple de dispositif ou système de surveillance 1 selon l'invention. On note, sur la portion gauche de la figure, une série de capteurs 30. Ces exemples sont présentés pour illustrer une infinie diversité de capteurs pouvant être utilisés afin d'améliorer les performances du système et/ou pour permettre de détecter une grande variété de phénomènes physiques, mécaniques, électriques, chimiques, etc, ou plus simplement de détecter des individus, des animaux, des objets, etc. Pour certaines applications il est également utile de recevoir des données ou informations d'autres sources 40 que des capteurs, comme par exemple de fichiers de données en provenance d'ordinateurs, de moyens de stockage de données, d'une machine, système ou application diverse.
Un système central de surveillance 2 permet de recevoir les données et métadonnées des divers capteurs 30 et des autres sources 40 par l'entremises d'interfaces 21 spécialement adaptées. Ces interfaces permettent au système central 2 de recevoir les données et signaux des capteurs en assurant la compatibilité entre ces différents éléments. Le système central 2 comprend un système de mise à jour et d'alerte (SYMAJA) 22 et un comparateur 23. Ces deux derniers éléments sont avantageusement mis en œuvre au moyen d'un microprocesseur ou tout autre puissant moyen de calcul, avec les instructions codées adéquates. Les données et métadonnées peuvent être stockées dans un moyen de stockage 26 ou mémoire, prévu à cet effet. Une sortie 24 permet d'envoyer à l'opérateur ou à un autre système les données, métadonnées, alertes, après interprétation et traitement par le système central. L'interface 25 permet de recevoir les seuils ou paramètres de réglage du système si ces paramètres ne sont pas déjà paramétrés dans le système central.
Le système de mise à jour et d'alerte 22 est prévu afin de procéder à des acquisitions de données en provenance des capteurs 30, de fournir des métadonnées en relation avec l'objet surveillé, de déterminer le niveau de fiabilité relatif aux métadonnées et de déceler les éventuelles conditions d'alerte. Ces conditions d'alerte sont identifiées en comparant les métadonnées avec au moins un Modèle de Définition de Condition d'Alerte (MODECA). Les données d'état de scène (DES) sont compilées à son niveau, soit par évaluation, soit par acquisition de nouvelles données des capteurs.
Le comparateur 23 permet de déterminer si le niveau de fiabilité correspondant aux Données d'Etat de Scène satisfait un Seuil Admissible de Fonctionnement Etabli (SAFE).
La figure 4 présente un organigramme fonctionnel avec les principales étapes du procédé selon l'invention. Tout d'abord, une phase d'initialisation permet de préciser, au démarrage du processus, les données disponibles sur l'état du système : valeur des grandeurs numériques ou non numériques, précision, fiabilité, etc. Une étape de prédiction permet de préétablir ou évaluer l'état du système à un instant ou une date t, connaissant l'état du système à une date passée t-delta t. Les capteurs du dispositif ainsi que toute autre donnée peuvent être exploités pour réaliser cette évaluation.
Une étape de comparaison aux exigences permet de comparer l'état du système préalablement établi avec les exigences de l'application à savoir l'état du système demandé par l'utilisateur. Lors de cette étape, plusieurs cas peuvent se présenter. Ainsi :
-Si l'état du système calculé est plus fiable (i.e. la variable fiabilité de chaque grandeur ou ensemble de grandeurs de l'état du système calculé a une valeur supérieure à la variable fiabilité de l'état du système demandé par l'utilisateur pour ces mêmes grandeurs) ou plus précis (i.e. la variable précision de chaque grandeur de l'état du système calculé a une valeur inférieure à la variable précision de l'état du système demandé par l'utilisateur pour ces mêmes grandeurs) que l'état du système demandé par l'utilisateur, alors ce résultat (i.e. l'état du système calculé) est fourni à l'utilisateur, et une nouvelle étape d'évaluation est lancée pour calculer l'état du système à l'itération suivante ;
-Si l'état du système calculé n'est pas assez fiable ou précis par rapport aux exigences et qu'il existe des informations potentiellement disponibles pour améliorer les données de l'état, en outre, des données provenant des capteurs, alors le processus passe à l'étape de mise à jour ;
-Si l'état du système calculé n'est pas assez fiable ou précis par rapport aux exigences et qu'il n'existe pas de données nouvelles pour améliorer la connaissance de l'état, alors le processus fournit ce résultat (i.e. l'état du système calculé) à l'utilisateur et reboucle à l'étape d'évaluation pour calculer l'état du système à l'itération suivante.
La figure 5 présente l'étape de mise à jour. Cette étape consiste à utiliser des données disponibles pour mettre à jour l'état du système (par exemple une modification de la valeur des grandeurs numériques, une modification de la précision ou une modification de la fiabilité). Contrairement aux procédés classiques avec lesquels on ne fait que récupérer toutes les informations permettant d'améliorer la connaissance de l'état du système et de mettre à jour cet état en une seule fois, une approche itérative est prévue. Cette approche consiste, non pas à extraire toutes les données en une fois, mais à récupérer et à extraire itérativement une donnée sélectionnée. La donnée est sélectionnée suivant la contribution qu'elle apporte à l'amélioration de la connaissance de l'état du système par rapport aux exigences définies par l'utilisateur. Ce dernier point est schématisé sur la figure 6.
De nouveau à la figure 5, on observe une étape d'énumération des informations, consistant à lister les données ou métadonnées potentiellement extractibles des données fournies par les capteurs et qui peuvent améliorer l'état du système : soit accroître la précision, soit augmenter la fiabilité, soit les deux. Pour chacune des informations potentiellement extractibles listées dans l'étape précédente, un comparateur permet de calculer l'état théorique, à savoir ce que pourrait être l'état du système mis à jour par cette donnée ou métadonnée. Puis le comparateur détermine, pour chacune des données ou métadonnée :
-le gain qui évalue l'apport de l'information dans le calcul de la connaissance de l'état du système. Très souvent, il s'agit d'une différence entre l'estimation de l'état théorique du système et l'état du système précédent ;
-le coût qui peut être suivant l'application une estimation du temps nécessaire pour extraire l'information et/ou une estimation de la consommation énergétique nécessaire pour extraire l'information, etc ; -la contribution qui pondère l'apport de l'information dans le calcul de la connaissance de l'état du système par rapport au coût d'obtention de l'information. Il s'agit d'une équation mathématique spécifique pour chaque application considérée et qui est fonction du gain et du coût.
Parmi l'ensemble des données ou métadonnées listées potentiellement extractibles, le comparateur sélectionne la donnée ou métadonnée qui a la plus grande contribution. Pour la récupérer, on reçoit le signal de données en provenance du capteur concerné et dans le cas d'une métadonnée, on analyse le signal, au moyen d'un procédé de traitement du signal. Cette dernière étape peut fournir deux résultats en sortie : soit la donnée ou métadonnée qui était recherchée a pu être extraite, soit elle n'a pas pu l'être. Dans le cas où la donnée ou métadonnée recherchée a pu être extraite, l'étape suivante consiste à modifier la valeur des grandeurs de l'état du système, à mettre à jour la précision associée à ces valeurs et à mettre à jour la fiabilité pour les grandeurs qui ont été modifiées. Puisque le dispositif est parvenu à obtenir l'information compatible avec ce qui était recherché, alors la fiabilité augmente. Cependant, avant de réaliser ces actions, une sauvegarde est réalisée pour mémoriser les grandeurs de l'état qui vont être modifiées ainsi que leur précision, la fiabilité associée à l'ensemble de ces grandeurs et les données temporelles telles que date et heure courante.
Dans le cas où la donnée ou métadonnée recherchée n'a pu être extraite, l'étape suivante consiste à diminuer la fiabilité des grandeurs de l'état qui auraient du être modifiées, en fonction de la qualité de la donnée du capteur, des performances du procédé de traitement du signal, etc. Dans le cas où la donnée ou métadonnée recherchée n'a pu être extraite et si la fiabilité mise à jour est en dessous d'un seuil, alors le processus prévoit de récupérer dans la mémoire et de supprimer de la mémoire les grandeurs qui auraient du être modifiées avec l'information recherchée, leur précision et la fiabilité de cet ensemble. Si la date des grandeurs récupérées diffère de la date courante alors l'étape d'évaluation est utilisée pour calculer ces grandeurs à la date courante.
Notion de triptyque Dans le cas de la vidéosurveillance, le système peut utiliser une caméra pour détecter les intrus dans la pièce. Le triptyque (caméra, algorithme de traitement, information recherchée, i.e. la métadonnée) a une certaine performance en termes de :
-probabilité que le triptyque réussisse à extraire (i.e. détecter) l'information (i.e. la métadonnée);
-dans le cas où le triptyque a réussit à extraire une information compatible avec l'information recherchée ;
-probabilité que l'information renvoyée correspond à l'information recherchée ;
-précision de l'information renvoyée.
Cette performance est évaluée en ligne par le système. S'il fait jour ou s'il fait nuit dans la pièce, ce dernier triptyque n'aura pas les mêmes performances. Ainsi on peut équiper la pièce d'un capteur de luminosité qui peut en quelque sorte « partager sa mesure » avec le triptyque pour informer la caméra qu'elle fonctionne d'autant mieux que la scène est suffisamment éclairée.
En réalité, le capteur de luminosité ne va pas agir sur le triptyque (caméra, algorithme, information) ou sur un autre triptyque : il va améliorer la connaissance de l'état du système en renseignant une grandeur numérique supplémentaire (i.e. une donnée d'état de scène). Lorsque le système voudra améliorer la connaissance de l'état, il va lister l'ensemble des informations (i.e. métadonnées) extractibles et construire l'ensemble des triptyques possibles. Construire ne va pas dire utiliser mais plutôt énumérer et évaluer, c'est-à-dire caractériser les performances de chaque triptyque. Or la caractérisation des performances tient compte de l'état du système donc de la quantité de lumière (i.e. grandeur numérique de l'état du système qui est renseignée par le capteur de luminosité). Par exemple, si la lumière est forte, le triptyque aura des probabilités élevées alors que lorsque l'éclairage est faible, le triptyque aura des difficultés pour extraire l'information et l'information renvoyée aura plus de risque de ne pas correspondre à l'information recherchée. Puis pour chaque triptyque, on calcule le gain, le coût, la contribution: le triptyque qui a la contribution la plus importante est sélectionné.
Ainsi, un triptyque définit une manière d'extraire une information utile. Pour l'extraire, le système a besoin de données, d'un algorithme de traitement/recherche de cette donné et de la signature de l'information recherchée (i.e. les caractéristiques de l'information). Un triptyque est une réunion de ces éléments : capteur, algorithme ou processus de traitement, information recherchée (i.e. métadonnée).
Exemple (figure 7) : on souhaite développer un système de reconnaissance d'individu. A des fins d'exemple, supposons que le personnage à reconnaitre porte une moustache. Le système de surveillance doit conforter les hypothèses de travail (i.e. améliorer la fiabilité de l'état du système) en vérifiant que l'individu sous surveillance possède une moustache (i.e. l'information recherchée). Ainsi le triptyque est : caméra n°3, algorithme de reconnaissance de moustache, une moustache rectangulaire de hauteur 1 cm, de largeur 3 cm, de couleur noire, qui doit se trouver dans une certaine zone de l'image (appelée zone d'intérêt), etc.
Supposons que l'état du système ne réponde pas aux exigences de l'application et qu'un ensemble de grandeurs numériques de l'état du système doivent être améliorées (i.e. pas assez fiable et/ou pas assez précise).
Le système va définir et sélectionner un triptyque pour améliorer ces grandeurs. C'est-à-dire qu'il sélectionne le capteur et l'algorithme de traitement qu'il utilisera et précisera quelle information il recherchera dans une zone d'intérêt à plusieurs dimensions. Une zone d'intérêt est un sous espace de la donnée du capteur qui permet de restreindre la recherche (ex : on recherche une droite dans une image qui doit appartenir à une zone rectangulaire de l'image, la droite a une inclinaison entre x° et y°, elle a une épaisseur comprise entre a et b cm, etc).
Ce triptyque a été sélectionné car ce dernier avait un gain, un coût, une contribution qui était plus intéressant que les autres triptyques (figure 8).
Ensuite, le système va utiliser le triptyque en appliquant l'algorithme de traitement du triptyque sur la zone d'intérêt définie par rapport à la donnée du capteur pour reconnaître l'information recherchée.
Deux solutions sont possibles :
-l'algorithme ne réussit pas à trouver l'information recherchée alors que le système avait comme hypothèse que l'information était présente dans la zone d'intérêt. En conséquence, la fiabilité associée à l'ensemble des grandeurs numériques à améliorer diminue mais cela ne modifie pas leur valeur ni leur précision, (voir figure 9).
-l'algorithme réussit à trouver une information compatible avec l'information recherchée. Dans le cas de cet exemple, l'information serait : rectangle de couleur noire, de hauteur 1cm et de largeur 3cm à la position x, y dans la donnée image de la caméra. En conséquence, la fiabilité associée à l'ensemble des grandeurs numériques à améliorer augmente mais cela ne modifie pas leur valeur ni leur précision, (voir figure 10).
Grâce à l'information renvoyée par l'algorithme (ou le triptyque), il est possible de mettre à jour les grandeurs numériques valeur, précision de l'état du système ainsi que la fiabilité (car l'algorithme a trouvé l'information mais il y a une certaine incertitude : est ce que le rectangle de couleur noire détecté correspond réellement à une moustache ?). Ces nouvelles valeurs (valeur, précision, fiabilité) sont fonction de l'état du système suite au résultat du triptyque « j'ai trouvé l'information » et des performances du triptyque, (voir figure 11). Quand la fiabilité augmente ou diminue, c'est en fonction des performances du triptyque. Ces aspects sont gérés par le système de manière probabiliste.
Nous définissons pour cela : • Y la variable aléatoire binaire associée à l'événement « l'algorithme de traitement a détecté une information dans la donnée du capteur compatible avec l'information recherchée ». (c'est le résultat «information trouvée »).
• H la variable aléatoire binaire associée à l'événement « les grandeurs numériques de l'état du système qui vont être modifiées suite à la tentative d'extraction de l'information sont fiables (i.e. justes) ».
(la probabilité de H (i.e. P(H)) représente la fiabilité du cercle hachuré des figures 8 à 10).
• Hnouveau la variable aléatoire binaire associée à l'événement « les grandeurs numériques de l'état du système calculées à partir de l'information extraite sont fiables (i.e. justes) ».
(la probabilité de Hnouveau (i.e. P(Hnouveau)) représente la fiabilité du cercle quadrillé de la figure 11)).
• G variable aléatoire binaire associée à l'événement « l'information retourné par l'algorithme de traitement est une information du même type que l'information recherché ». Dans le cas de cet exemple, le système souhaite détecter la moustache de l'individu positionnée devant la caméra. Cependant, si le champ de vision de la caméra est important, il est possible que d'autres individus moustachus soient filmés par cette même caméra. Si l'information renvoyée par l'algorithme est une moustache, il s'agit effectivement d'une information du même type que l'information recherchée. En revanche, si l'information renvoyée est un sourcil, il ne s'agit pas d'une information du même type à savoir d'une moustache. En effet, un sourcil et une moustache peuvent avoir des caractéristiques très proches : assimilable à un rectangle de couleur noire, cependant il s'agit de deux types d'informations.
Ainsi caractériser un triptyque (avant même de tenter la détection), revient à calculer au minimum les grandeurs suivantes : • la probabilité que l'algorithme du triptyque détecte dans la zone d'intérêt de la donnée du capteur, une information compatible avec l'information recherchée en considérant que la connaissance de l'état du système utilisée est juste (i.e. fiable) : P(Y|H). " la probabilité que l'information retournée par l'algorithme soit une information du même type que l'information recherchée : P(G|Y,H).
• la probabilité que le résultat retourné par l'algorithme soit l'information recherchée en supposant que l'information retourné est une information du même type que l'information recherchée P(Hnouveau|G). • la précision de l'information renvoyée.
Le gain, le coût sont définis par rapport à ces grandeurs mais d'autres peuvent être prises en compte.
La détection d'une information est réalisée en appliquant l'algorithme dans la zone d'intérêt. Si l'on considère que l'événement H est vrai, alors la zone d'intérêt contient nécessairement l'information recherchée. Mais elle peut contenir également d'autres informations ou toutes autres éléments que l'on assimilera à du bruit. Pour pouvoir lister les éléments présents dans cette zone, nous la divisons en échantillons à analyser. Le but de l'algorithme est de retrouver l'échantillon correspondant à l'information recherchée.
Soit nbln, le nombre total d'échantillons dans la zone d'intérêt. Parmi tous ces échantillons, il y a l'information recherchée (i.e. la moustache de l'individu présent devant la caméra) représentée par la variable nbAr (i.e. nbAr = 1). Il peut y avoir également d'autres informations du même type que l'information recherchée (des moustaches appartenant à d'autres individus ont put être également filmés) représentées par la variable nbAc. Ces derniers ont une signature très proche de l'information à détecter. Aussi, la probabilité que l'algorithme retourne l'information recherchée ou une information du même type est quasiment identique. Enfin, tous les échantillons restants sont assimilés à un bruit uniforme représenté par la variable nbBr (les sourcils, un col de chemise noir, une bordure noire de lunette épaisse constituent tout un ensemble d'échantillons qui peuvent avoir été filmé par la caméra et qui peuvent perturber l'algorithme de traitement qui pourrait les confondre avec des moustaches). Donc, nous avons nbBr = nbln - nbAr - nbAc.
Pour reconnaître l'information recherchée, l'algorithme recherche la signature de ce dernier dans sa zone d'intérêt. Pour cela, il compare l'empreinte de chaque échantillon avec la signature qu'il a construite. L'échantillon renvoyé est celui qui possède le plus haut degré de ressemblance tout en ayant un niveau supérieur à un seuil.
L'empreinte de chaque échantillon est extraite d'une mesure capteur, donc est susceptible d'être bruitée. Dans le cas de la signature, elle est construite à partir d'une modélisation de l'information, donc incomplète et simplifiée. En conséquence, la détection d'une information peut poser quelques difficultés. Nous proposons ici de caractériser statistiquement les performances de l'algorithme.
Deux probabilités sont posées :
- la première Pâmer mesure l'aptitude de l'algorithme à reconnaître l'information recherchée. Il s'agit donc de la probabilité qu'il identifie un échantillon comme étant l'information recherchée lorsque l'échantillon testé est effectivement l'information recherché. Dans le cas de notre exemple, il s'agit de savoir quelle est la probabilité que l'algorithme de détection de moustache reconnaisse une moustache lorsqu'on en lui présente une.
- la seconde Pbruit est la probabilité que l'algorithme identifie un échantillon comme étant l'information alors que ce dernier n'en est pas un. Dans le cas de cet exemple, il s'agit de savoir quelle est la probabilité que l'algorithme de détection de moustache reconnaisse un sourcil, une bordure de lunette, un col de chemise, etc, comme une moustache.
Pour calculer ces deux dernières probabilités, il est utile de procéder comme suit :
Prendre une base de données d'échantillons correspondant à l'information recherché (ex : si l'objectif est de mesurer les performances d'un algorithme de détection de visage, on prend un ensemble de photos de visages de différentes personnes et chaque photo correspond à un échantillon). Pour chaque échantillon, on applique l'algorithme et on récupère le degré de ressemblance avec le modèle. On obtient ainsi l'histogramme de la figure 12.
Dans un monde idéal, tous les échantillons devraient avoir un degré de ressemblance de 1.
On fait de même avec une base de données d'échantillons n'ayant rien à voir avec l'information que l'on recherche et l'on obtient le résultat de la figure 13.
Grâce à ces deux courbes, on peut définir le seuil et l'on a :
-Pâmer = nombre d'échantillons au dessus du seuil sur la courbe 1 divisé par le nombre d'échantillons total de la base de donnée 1.
-Pbruit = nombre d'échantillons au dessus du seuil sur la courbe 2 divisé par le nombre d'échantillons total de la base de donnée 2.
Estimation des probabilités du triptyque : il est à présent possible de calculer les probabilités caractérisant un triptyque. La première P(Y|H), représente la probabilité que le détecteur retourne une information quand l'événement H est vrai. Dans le cas de cet exemple, cela correspond à la probabilité que l'algorithme détecte une moustache (i.e. événement Y) alors que la personne devant la caméra est moustachu (i.e. événement H). Pour la calculer, on détermine la probabilité qu'aucun n'échantillon ne réponde positivement au détecteur. Dans la zone d'intérêt, il y a nbBr échantillons de bruit. Chacun d'eux a une probabilité (1 - Pbruit) de ne pas être reconnu. Il y a également (nbAr + nbAc) échantillons qui correspondent soit à l'information recherchée, soit à une information du même type. On peut considérer que chacun de ces échantillons a la même probabilité (1 - Pâmer) de ne pas être reconnu par le détecteur. En conséquence, la probabilité P(Y|H) vaut :
P(Y|H) = 1 - P(non Y|H) = 1 - (1 - Pbruit)ΛnbBr κ (1 - Pamer)Λ(nbAr+nbAc)
La seconde P(G|Y,H), est la probabilité que le résultat retourné par le détecteur soit une information du même type que l'information recherchée. Dans le cas de cet exemple, cela correspond à la probabilité que l'information détectée (i.e. événement Y : le rectangle de couleur noire) corresponde à une moustache (i.e. événement G). Or, la zone d'intérêt contient (nbAr + nbAc) échantillons qui correspondent à une information du même type que l'information recherchée. En tenant compte de Pâmer, il y a ((nbAr+nbAc) Pâmer) de ces échantillons qui ont répondu positivement à l'algorithme. Et parmi tous les échantillons de la zone, il y en a ((nbAr +nbAc) • Pâmer +nbBr Pbruit) qui ont répondu positivement. Aussi, P(G|Y,H) est le ratio de ces deux quantités :
P(G]Y, H) = ((nbAr + nbAc) - Pâmer) / ((nbAr + nbAc) • Pâmer + nbBr • Pbruit)
La troisième P(Hnouveau|G), est la probabilité que le résultat retourné par le détecteur soit l'information recherchée en supposant que l'événement G est vrai. Dans le cas de cet exemple, cela correspond à la probabilité que la moustache détectée (i.e. événement G) corresponde à la moustache que le système souhaitait détecté, c'est-à-dire de l'individu présent exactement devant la caméra. Comme dans la formule précédente, il s'agit de calculer le ratio du nombre de cas favorables sur le nombre de cas possibles. Si l'événement G est vrai, il y a ((nbAr + nbAc) • Pâmer) échantillons susceptibles d'avoir été renvoyés par le détecteur mais seulement (nbAr • Pâmer), nous intéresse. Le ratio est donc :
P(Hnouveau|G) = (nbAr • Pâmer) / ((nbAr + nbAc) • Pâmer)
Pour calculer la dernière probabilité : P(Y|non H), il suffit de s'inspirer de la méthode utilisée pour le calcul de P(Y|H) en considérant que nbAr = nbAc = 0 donc que nbBr = nbln. P(Y|non H) = 1 - P(non Y|non H) = 1 - (1 - Pbruit)ΛnbBr
Pour simplifier la démonstration, il a été supposé que le bruit était réparti de manière uniforme dans la zone d'intérêt. Nous pourrions imaginer une répartition différente.
Pour l'information recherchée, nous avons défini une zone d'intérêt. Nous aurions très bien pu prendre en compte une densité de probabilité sur la présence de l'information. Par exemple, dire que l'information recherchée a deux fois plus de chance de se trouver au centre de la zone que sur les côtés.
Ainsi, de façon résumée, on caractérise chaque triptyque, puis on calcule le gain, le coût et la contribution, on sélectionne le triptyque plus intéressant (i.e. contribution max), si le triptyque ne réussit pas à extraire/trouver l'information, la fiabilité associée aux grandeurs numériques qui devaient être modifiées chute de la manière suivante (formule de Bayes) :
P(H|non Y) = (P(non Y|H).P(H)) / (P(non Y).
Si le triptyque réussit à extraire l'information, la fiabilité du cercle hachuré augmente : P(H|Y) = (P(Y|H).P(H)) / (P(Y).
Puis on calcule l'état du système suite au résultat du triptyque (i.e. le cercle quadrillé de la figure 11) en utilisant une technique de fusion de données comme le filtre de Kalman et l'on calcule la fiabilité associée à ce cercle.
P(Hnouveau) = P(Hnouveau|G) . P(G|H,Y) . P(H|Y)
On a vu précédemment comment caractériser les algorithmes. Cette caractérisation est définie pour un certain contexte d'utilisation (i.e. Pâmer et Pbruit ont été définis à partir d'un apprentissage dans certaine condition). A la figure 14, on voit que si on utilise cette caractérisation dans d'autres conditions (ex : l'utilisation de la caméra la nuit) le système va moins bien fonctionner. Si dans l'état du système, une grandeur numérique précise la luminosité de la pièce. Il est possible d'utiliser cette valeur pour prévenir le système qu'il faut utiliser la caractérisation des algorithmes par rapport au contexte nuit par exemple. Dans ce cas, il faut prévoir un ensemble d'apprentissage des grandeurs Pâmer et Pbruit pour tous les contextes que l'on est susceptible de rencontrer et utiliser la connaissance du système pour basculer sur le bon contexte pendant le fonctionnement du procédé (i.e. contexte très lumineux, contexte peu lumineux, contexte sombre). On peut envisager également une caractérisation via une fonction mathématique par exemple : Pâmer = f(quantité de lumière dans la pièce).
Premier exemple de scène Les figures 15 à 28 présentent un exemple de réalisation du procédé et du système de surveillance pour la surveillance d'une scène simple, correspondant à une pièce. L'objectif de cette application consiste à détecter et localiser tous les individus qui rentrent dans la pièce. Pour ce faire, plusieurs capteurs ont été disposés dans cette pièce : -une caméra dans le coin supérieur droit de la pièce, -un capteur de mouvement au dessus de la fenêtre,
-un capteur de franchissement (i.e. une cellule photoélectrique) au niveau de la porte.
La figure 15 schématise l'ensemble des ces informations. Ces différents capteurs, en association avec un système de surveillance présenté à la figure 3, permettent de mettre en œuvre cet exemple. La sortie prévue permet de fournir périodiquement, ou lorsque nécessaire, l'état de la scène à l'utilisateur ou à une autre application.
Tous ces éléments et le procédé selon l'invention permettent d'une part d'obtenir les données et/ou métadonnées relatives à la présence ou à l'absence d'individus dans la pièce et d'autre part d'obtenir les données et/ou métadonnées au sujet des individus détectés afin d'améliorer le processus de localisation et de suivi de ces individus.
A des fins d'exemple, considérons que l'état du système soit constitué des grandeurs numériques suivantes :
-pour chaque portion de la scène, d'une variable indiquant si la portion en question est libre ou occupée par un ou plusieurs intrus avec la fiabilité associée à cette variable. Pour cette modélisation, on utilise des outils de discrétisation afin de réaliser un découpage de la scène sous forme de cellules rectangulaires, tel qu'illustré à la figure 16. Par ailleurs, la variable indiquant si la cellule est libre et la fiabilité de cette variable peuvent être réunies au sein d'une même probabilité. Ainsi, à chaque cellule est associée la probabilité qu'un individu soit présent dans la cellule.
-pour chaque intrus, les données concernant la position de l'intrus dans la pièce, la précision associée à cette localisation, la vitesse de déplacement de l'intrus, la précision associée à cette vitesse et la fiabilité, à savoir la probabilité que l'individu soit réellement présent dans la pièce.
Le tableau suivant résume ces données :
Le système de surveillance peut utiliser deux types d'entrées : des capteurs et des données.
Analysons de plus près les capteurs et plus particulièrement le triptyque formé par le capteur, le procédé de traitement de signal de ce capteur et les métadonnées extractibles, utilisées dans l'étape de mise à jour. Afin de conserver cet exemple simple, un unique procédé de traitement de signal par capteur est considéré, supprimant ainsi de fait une éventuelle étape consistant à sélectionner le procédé le plus pertinent.
Capteur : caméra Donnée renvoyée : image couleur
Information recherchée : est ce qu'un individu est présent dans la cellule Zi (i appartenant à [1 , M]) ?
Procédé de traitement : comparaison de l'image obtenue avec une image prise lorsque la pièce était vide (i.e. aucun individu). Information renvoyée : présence d'un individu avec sa précision de localisation et la fiabilité de cette information sinon absence d'un individu et la fiabilité de cette information.
Capteur : capteur de mouvement
Donnée renvoyée : signal 2D de mesure du rayonnement infrarouge Information recherchée : est ce qu'un individu est présent dans la cellule Zi (i appartenant à [1 , M]) ?
Procédé de traitement : comparaison du signal infrarouge avec une mesure prise lorsque la pièce était vide (i.e. aucun individu).
Information renvoyée : présence d'un individu avec sa précision de localisation et la fiabilité de cette information sinon absence d'un individu et la fiabilité de cette information.
En ce qui concerne le capteur de franchissement, son rôle est différent des autres capteurs préalablement présentés. En effet, il ne permet pas d'indiquer si un intrus est dans la pièce. Il ne permet pas non plus d'obtenir de données sur la position des intrus dans la pièce. En revanche, le fait qu'il soit sollicité ou pas fournit une information précieuse pour savoir si un intrus est entré ou sorti de la pièce. Accompagnée de sa fiabilité, il est donc utilisé dans l'étape d'évaluation. En entrée additionnelle, l'utilisation d'une carte de la pièce indiquant par où les intrus sont susceptibles de venir et partir peut s'avérer particulièrement utile pour cette application. Comme dans le cas du capteur de franchissement, ces données sont exploitées en particulier lors de l'étape d'évaluation. Certains réglages peuvent être laissés au choix de l'utilisateur, ou préétablis de façon fixe. Parmi les réglages éventuels, notons la fréquence de mise à jour de l'état du système. Dans le cas de cet exemple, une fréquence de 10Hz soit une période de 100 ms est sélectionnée.
Les exigences de l'application peuvent aussi être fixes ou ajustables. La figure 3 prévoit une interface de réglage de paramètres. Ces exigences permettent de définir le niveau de connaissance minimal demandé par l'utilisateur. Cette connaissance est d'autant plus importante que la précision de l'état du système et sa fiabilité est grande. Les deux tableaux suivants illustrent un exemple de valeurs de consigne ou de seuil correspondant aux exigences de cette application.
Illustration du procédé avec 4 itérations :
Phase d'initialisation
Supposons qu'initialement, il n'y ait aucun individu dans la pièce. En conséquence, la probabilité de chaque cellule de la zone est nulle. Boucle prédiction/mise à jour n°1
Après l'étape de prédiction, nous obtenons le résultat illustré sur la figure 17. Bien que le capteur de franchissement n'ait pas détecté une interruption du faisceau laser, un individu a pu malgré tout pénétrer dans la pièce en passant par-dessus ou sous le capteur de franchissement. Cependant, ce cas de figure est relativement peu probable. Compte tenu de la vitesse de déplacement des personnes, si un individu est entré dans la pièce, il est nécessairement entré par l'unique entrée de la pièce à savoir la porte et n'a pu atteindre l'autre extrémité de la pièce pendant un intervalle de temps prévu, c'est-à-dire pendant 100ms.
L'étape d'évaluation a pu mettre en avant qu'il y a un risque, certes faible avec une probabilité de 0.16, qu'un individu soit entré dans la pièce. Afin de répondre aux exigences de l'application, le système de mise à jour et d'alerte (SYMAJA) sollicite un capteur. Après le calcul de la contribution pour chaque capteur, il est apparu pertinent d'utiliser la caméra pour rechercher dans la partie de l'image correspondant à la zone de l'environnement ayant une probabilité de 0.16 si un individu est présent. Le procédé de traitement d'image associé à la caméra permet d'indiquer qu'aucune personne n'a été détectée dans la partie de l'image analysée. En prenant en compte la fiabilité de cette nouvelle information, le système est mis à jour. Au final, la probabilité qu'un individu soit présent dans les cellules de la pièce localisées devant la porte d'entrée passe à 0.07 (voir figure 18). Le comparateur vérifie ensuite que l'état du système répond aux exigences de l'application, ce qui est le cas. Ainsi, plus aucune action n'est entreprise jusqu'à la prochaine mise à jour, qui survient après l'écoulement de l'intervalle de temps prévu.
Boucle prédiction/mise à jour n°2
A la prochaine étape d'évaluation, le résultat illustré sur la figure 19 est obtenu. Comme dans le cas précédent, le capteur de franchissement n'a détecté aucune entrée ou sortie d'individus de la pièce. En revanche, l'ombre de l'arbre situé à l'extérieur de la pièce se projette dans cette même pièce près de la porte d'entrée. L'état du système après la prédiction ne répond pas aux exigences de l'application. Après avoir calculé la contribution de chaque information potentiellement extractible, il est établi qu'il est plus avantageux d'utiliser la caméra pour rechercher dans la partie de l'image correspondant à la zone de l'environnement ayant une probabilité de 0.17 si un individu est présent. Si aucune vérification n'est faite, le système de surveillance pourrait indiquer qu'une personne a été détectée dans la partie de l'image analysée. En réalité, le système n'a pas détecté une personne mais l'ombre de l'arbre. Cependant, cette ombre est, à ce stade, confondue avec une personne. Aussi, l'état du système est mis à jour avec cette information accompagnée de sa fiabilité et sa proposition. D'une part, la probabilité des cellules de la pièce où aucun individu n'a été détecté passe à 0.071. D'autre part, deux nouvelles grandeurs numériques sont ajoutées dans l'état pour décrire l'individu détecté, à savoir la position et la vitesse de déplacement de l'individu. Toujours en tenant compte de l'information extraite de la caméra, une fiabilité est associée à ces nouvelles grandeurs et vaut dans le cas de cet exemple 0.34, tel qu'indiqué à la figure 20.
Le comparateur vérifie ensuite que l'état du système répond aux exigences de l'application, ce qui n'est pas le cas car la fiabilité relative à la détection de l'individu est trop faible.
Or, le système de mise à jour et d'alerte (SYMAJA) a la possibilité d'extraire une information du capteur de mouvement. Ce capteur indique qu'aucun individu n'est présent dans la partie du signal correspondant à la zone de la pièce où un individu est susceptible de s'y trouver. Accompagnée de sa fiabilité, cette donnée permet de mettre à jour l'état du système. Ainsi, la fiabilité associée à l'individu détecté passe à 0.013 (voir figure 21).
Comme précisé dans les exigences de l'application, cette fiabilité appartient à l'intervalle [0, 0.1[ union ]0.9, 1]. Cependant cette fiabilité est dans la partie inférieure de l'intervalle. Elle traduit donc une très forte certitude concernant l'absence d'individu dans cette zone. Les grandeurs numériques associées à l'individu détecté sont donc retirées de l'état du système et au final le résultat suivant (voir figure 22) est obtenu, ce qui répond aux exigences de l'utilisateur.
Boucle prédiction/mise à jour n°3 A l'itération suivante, le capteur de franchissement a détecté une interruption de son faisceau laser. Ceci signifie qu'il y a une très forte probabilité qu'un individu soit entré dans la pièce. Cependant sa position n'est pas connue (voir figure 23). Clairement, l'état du système ne répond pas aux exigences de l'application. Parmi les informations potentiellement extractibles pour améliorer la connaissance de l'état du système, le capteur de mouvement ou la caméra peuvent être utilisés. Après le calcul des contributions de ces informations potentiellement extractibles, il est établi que la caméra, associée à son procédé de traitement d'image, est le plus pertinent. Le résultat suite à la sollicitation du capteur est illustré sur la figure 24. Grâce aux informations fournies par le procédé de traitement d'image ayant permis d'analyser la partie de l'image concernée, il est constaté qu'un individu est présent en face de la porte. En tenant compte de la précision et de la fiabilité de ces données, de nouvelles grandeurs numériques sont ajoutées dans l'état pour décrire l'individu détecté. La fiabilité associée à l'individu détecté est de 0.76. De chaque côté de l'individu détecté, la caméra n'a détecté aucun individu d'où la probabilité de 0.17 de ces cellules. Enfin il est à noter que la caméra n'a pas pu effectuer de perception d'image derrière l'individu détecté ce qui explique que la probabilité de ces cellules n'a pas été modifiée.
L'état du système ne répond toujours pas aux exigences de l'application. Le système de mise à jour a la possibilité d'extraire des informations du capteur de mouvement. Le résultat du système mis à jour par ce dernier capteur est représenté à la figure 25. Cet état ne répond toujours pas aux exigences de l'application, du fait de cellules ayant une probabilité supérieures à 0.1 , de la précision relative à l'individu détecté, et de la fiabilité au sujet de l'individu détecté. Cependant, le système de mise à jour n'a plus la possibilité d'extraire des informations supplémentaires nouvelles des capteurs pour améliorer l'état.
Boucle prédiction/mise à jour n°4 A cette itération, le capteur de franchissement n'a détecté aucune entrée ou sortie d'individus de la pièce. Aussi, l'étape d'évaluation va permettre de calculer l'état du système en considérant qu'un individu a pu pénétrer dans la pièce par la porte avec une probabilité faible et qu'un individu est susceptible de se trouver dans les cellules de la pièce qui ont une probabilité supérieure à 0.1. En effet, le système considère qu'il n'y a pas d'individu dans les cellules qui ont une probabilité inférieure à 0.1, qu'il y a un individu dans les cellules qui ont une probabilité supérieure à 0.9 et qu'il y a peut-être un individu pour les cellules restantes. Or, si un individu est susceptible de se trouver dans une cellule, cet individu a pu éventuellement se déplacer, ce que l'étape d'évaluation doit prendre en compte également.
Concernant l'individu qui a été détecté à l'itération précédente, l'étape d'évaluation va permettre d'estimer la zone où cet individu est susceptible de se trouver en prenant en compte sa vitesse de déplacement. Il s'agit d'une zone qui intègre toutes les cellules où l'individu a pu aller. La figure 26 présente l'état du système suite à l'évaluation.
Pour améliorer l'état du système qui ne répond pas aux exigences de l'application, le système de mise à jour extrait des données additionnelles. Les données potentiellement extractibles qui semblent être les plus pertinentes pour améliorer l'état du système peuvent être obtenues du capteur de mouvement. Ces données permettent d'indiquer qu'il n'y a aucun individu devant la porte et que l'individu précédemment détecté s'est déplacé devant la fenêtre. Cette information extraite du capteur de mouvement a pu améliorer la précision de localisation de l'individu. En contrepartie, ceci a réduit la fiabilité (voir figure 27).
L'état du système ne répondant toujours pas aux exigences de l'application, le système de mise à jour extrait alors une information de la caméra qui conduit au résultat suivant (voir figure 28). L'état du système répond ici aux exigences de l'application. Une alerte peut donc être envoyée à l'opérateur du système de surveillance, qui sera informé des faits établis avec une fiabilité supérieure au seuil demandé. On constate donc que l'utilisation de capteurs susceptibles de fournir des données complémentaires permet de pallier de façon efficace au manque de fiabilité associé aux premières données des premiers capteurs.
Exemple avec une pluralité de scènes
La figure 29 présente les locaux d'un laboratoire qui travaille sur l'élaboration de vaccins contre des virus mortels. Pour réaliser ses travaux de recherche, le laboratoire stocke ces virus dans une chambre froide (i.e. la zone 5 sur le plan). Ce laboratoire est sur deux niveaux. On y accède par le niveau 0 qui donne sur la zone 1. En prenant l'ascenseur, on arrive au point d'accueil la zone 2. A partir de cette dernière zone, on peut accéder à différentes salles notamment la zone 3. Les personnes habilitées qui possèdent un badge peuvent passer dans la zone 4. Les zones 4 et 6 sont des zones extérieures fermées. Il est possible d'aller dans la zone 6 en franchissant illégalement la clôture. La chambre froide correspond finalement à la zone 5.
Le laboratoire souhaite répondre à des normes de sécurité. Pour cela, il doit répondre aux problématiques suivantes :
-II est interdit d'apporter et de déposer des objets dans la chambre froide, ceci pour garantir qu'aucun explosif ne sera disposé dans la pièce.
-Il est interdit de dérober des vaccins ou des virus. -Les zones 4, 5 et 6 ne sont autorisées qu'aux personnes habilitées.
Pour répondre à ces normes de sécurité, le laboratoire s'est équipé de différents capteurs. N'importe quel individu peut accéder aux zones 1, 2 et 3 dès lors que le laboratoire est ouvert. La zone 1 est équipée d'une caméra, un capteur renseigne sur la position de l'ascenseur et un capteur de mouvement est disposé dans la zone 2. La porte permettant d'accéder à la zone 4 est équipée d'un lecteur de badge et d'un capteur de détection de bris de cette porte vitrée. La zone 4 est équipée d'une caméra et d'un capteur de luminosité. Une cellule photoélectrique est positionnée à l'entrée de la zone 5. Enfin, une caméra thermique est disposée dans la chambre froide ainsi que de nombreux capteurs de pression dans le sol de cette pièce pour mesurer le poids des objets et individus dans la pièce. La figure 30 montre schématiquement le système de surveillance correspondant.
Avec tous ces dispositifs de mesure, le laboratoire répond à ces problématiques de sécurité. En effet, au niveau de la zone 4, la caméra va permettre de détecter les intrus qui ont pénétré sur le site par la zone 6. Grâce au capteur de luminosité, le système va adapter dynamiquement la fiabilité (i.e. de manière probabiliste) des informations renvoyées par la caméra. La cellule photoélectrique à l'entrée de la zone 5 permet de connaître précisément lorsqu'un individu pénètre dans la chambre froide ou en sort. Seuls les individus habilités peuvent pénétrer dans cette pièce et ils doivent au préalable s'identifier avec leur badge au niveau de la porte de contrôle d'accès de la zone 4. Le laboratoire impose que ces individus se pèsent régulièrement ce qui permet de savoir précisément lorsque ces mêmes individus sortent de la chambre froide s'ils dérobent des produits.
Les capteurs de pression de la zone 5 sont utilisés pour détecter tout objet abandonné dans la chambre. Quant à la caméra thermique, elle est utilisée pour détecter et localiser tous les individus dans la chambre. En effet, en pleine nuit (i.e. luminosité nulle) la caméra de la zone 4 ne peut détecter les intrus et le système le sait. Dans ce cas, la caméra thermique couplée à la cellule photoélectrique constitue le dispositif pour détecter les intrus dans la chambre. Précisons également que le laboratoire aurait pu utiliser une caméra couleur classique plutôt qu'une caméra thermique. Les capteurs ont été choisis en fonction de leur aptitude à fournir un renseignement sur l'état du système. Aussi tout capteur permettant de mesurer une grandeur physique qui sera modifiée par l'élément que l'on souhaite détecter/caractériser peut être exploité. Un individu dans une chambre froide a une température différente de l'air dans la chambre et est donc détectable par une caméra thermique et cela de manière beaucoup plus fiable qu'avec une caméra couleur.
Soit le scénario suivant : un individu pénètre dans le bâtiment par l'entrée principale. Aussitôt, il est détecté par la caméra qui le localise et le suit. L'individu monte dans l'ascenseur et descend au niveau inférieur. A ce moment, la caméra de la zone 1 concentre son attention uniquement sur l'entrée du bâtiment puisque le seul individu de la zone 1 est parti.
Lorsque l'ascenseur arrive à la zone 2, le système apprend cette information et sollicite alors le capteur de mouvement pour observer la porte de l'ascenseur. L'individu se dirige alors vers la zone 4. Dans la zone 4, le système doit garantir qu'il n'y a que des individus habilités. Or pour accéder à cette zone, les intrus peuvent venir de la zone 6 ou de la zone 2 après avoir franchi le capteur de contrôle d'accès. C'est pourquoi la caméra de la zone 4 ne surveille que la frontière de la zone 4 avec la zone 6 car il y a un risque non nul qu'un individu franchisse la clôture. Précisons que le système exploite les informations du capteur de luminosité pour connaître la fiabilité de détection des individus avec la caméra.
Plutôt que de se soumettre au contrôle de son badge d'accès, l'individu brise la porte vitrée et pénètre dans la zone 4. L'information du bris de la porte remontée par le capteur indique au système qu'un individu est en train d'entrer dans la zone 4. Aussi, le système sollicite la caméra de la zone 4 pour détecter et localiser l'individu. Désormais, cette caméra ne surveillera plus uniquement la frontière de la zone 4 avec la zone 6 mais également la frontière de la zone 2 avec la zone 4 car il y a un risque non nul qu'un autre individu pénètre dans cette zone 4 par la porte brisée.
Tous les capteurs de la zone 5 sont actuellement au repos. Le système les sollicitera uniquement lorsqu'un individu approchera de la porte de la zone 5. Dès que l'intrus franchit la cellule photoélectrique, le système sollicite la caméra thermique pour le détecter.
L'individu dépose alors un objet dans la pièce et s'enfuit. Le système détecte cet objet à partir des capteurs de pression de la pièce et en déduit qu'il ne s'agit pas d'un individu en sollicitant le capteur thermique. En effet, la température, le poids et la forme de l'objet sont incompatible avec celle d'un individu.
Dans le cas de cet exemple, les fonctionnalités suivantes du système ont pu être mises en évidence : -Aptitude à solliciter et utiliser uniquement les informations (capteurs) nécessaires et pertinente pour répondre à la problématique de l'utilisateur : les exigences de l'application (i.e. état repos et excité du système) ; -Gestion des capteurs de manière coopérative (ex : le capteur de luminosité et la caméra, le capteur de l'ascenseur et le capteur de mouvement, etc) ; -Toutes les informations qui transitent dans le système sont probabilisées, de même que l'état du système.
Représentation du résultat : auparavant, les solutions disponibles étaient des solutions dites de « réalité augmentée » (voir figure 31). A savoir, il s'agissait : -d'afficher l'ensemble des mesures ou alarmes renvoyées par les différentes capteurs, (vidéos des caméras de surveillance, alarmes des capteurs d'intrusion, des capteurs de mouvement, etc). Parfois ces données étaient affichées de manière cyclique lorsque leur nombre est trop important.
-de placer éventuellement ces mesures ou alarmes sur un plan ou une carte par rapport à la localisation des capteurs.
-d'inclure des informations de haut niveau sur les mesures renvoyées par les capteurs (rectangle autour des personnes détectées sur les vidéos de surveillance, trajectoire des personnes détectées, etc) (i.e. outils de réalité augmentée).
Ainsi dans le cas de l'exemple précédent, nous aurions eu 5 alarmes de détection d'intrusion remonté par : -le capteur de bris de glace, -la caméra de la zone 4, -la cellule photoélectrique, -les capteurs de pression, -la caméra thermique, qui correspondent à une seule et même intrusion.
La solution selon l'invention permet d'offrir à l'opérateur une visualisation interactive et intelligente correspondant à sa problématique de surveillance. Un des avantages est de faciliter la visualisation et l'analyse de données complexes pour en accélérer leur compréhension, leur communication et la prise de décisions. Les moyens de l'invention offrent une technologie de visualisation interactive de données basées sur des outils de « réalité virtuelle ». Ainsi, tel que montré dans l'exemple de visualisation de la figure 32, le système répond à la problématique de l'opérateur : -L'opérateur n'a plus à interpréter les signaux capteurs. Si l'opérateur souhaite savoir si un individu a pénétré dans le site alors la représentation va consister en une vue 3D du site (i.e. réalité virtuelle) où le système indiquera les zones où des intrus sont présents mais les informations bas niveaux, (i.e. les données des capteurs) ne seront pas affichées.
Le système informe l'utilisateur au sujet de ses limites :
-Par rapport à la problématique de surveillance, le système informe l'opérateur sur les zones de l'environnement qu'il ne peut percevoir afin que ce dernier n'imagine pas qu'aucun intrus est dans la pièce alors qu'elle n'est simplement pas équipée de capteurs. De même que pour la détection des individus, le système informe l'opérateur s'il a un doute (fiabilité réduite) sur la présence de l'individu.
Le système peut dialoguer avec l'opérateur en lui suggérant de contrôler des événements suspects par rapport à sa problématique ou des résultats qu'il n'a pu analyser : -Par rapport à la problématique de l'opérateur, le système va attirer son attention sur les zones pertinentes : intrusion, regroupement d'individus, individus agités, etc, ainsi que sur les zones où les individus ont été détectés avec une fiabilité faible.
-Le seul moyen de lever les doutes est de contrôler les données des capteurs. Pour cela, uniquement les capteurs en lien avec la représentation 3D sont affichés. Par ailleurs, seul quelques capteurs sont affichés : les plus pertinents, c'est-à-dire ceux qui apportent une information nouvelle. Le système n'affiche pas les capteurs qui fournissent des informations redondantes par rapport à d'autres capteurs.
Le système est interactif et réponds aux requêtes de l'opérateur :
-Si l'opérateur veut voir une zone particulière ou suivre un individu, il peut le demander au système en sélectionnant l'information sur la représentation 3D ou sur les donnes capteurs.
Ainsi dans le cas de l'exemple précédent, une seule alarme est affichée et mise à disposition de l'opérateur. Le système affiche : -une réalité virtuelle du site, -focalisée sur le lieu où l'intrus se trouve, -tenant compte que la porte badgée est brisée, -intégrant les zones non perceptibles du site, -couplée à une réalité augmentée des mesures des capteurs, -avec uniquement les mesures des capteurs en lien avec la réalité virtuelle,
-et en priorité les mesures des capteurs les plus pertinentes, c'est-à-dire ceux permettant de vérifier l'analyse qu'a réalisé le système.
Deuxième exemple de scène : système de surveillance d'un bijou
Pour cet exemple, un bijou est exposé au public dans une galerie. Le bijou est présenté sur un socle et est éclairé par des spots lumineux halogènes. Plusieurs capteurs sont disposés à proximité. Une caméra couleur et une caméra thermique filment le bijou. Ce dernier est posé sur un capteur de pression. Un capteur de luminosité mesure le niveau d'éclairage. En effet, lorsque les spots lumineux fonctionnent, ils peuvent se mettre à clignoter. Une horloge mesure l'heure. Le système central de surveillance a accès à un fichier informatique qui précise les plages horaires pendant lesquelles les spots lumineux halogènes fonctionnent. Enfin, une ceinture de dix capteurs à ultrasons entoure le socle permettant d'indiquer si des individus sont à proximité du bijou.
Cette application a pour objectif de vérifier la présence du bijou sur son socle. Il s'agit donc d'un dispositif contre le vol.
La préparation du système de surveillance implique de prévoir une modélisation de l'élément que l'on souhaite surveiller et reconnaître, à savoir le bijou. Dans le cas de cet exemple, le bijou est une couronne en métal. Le modèle est le suivant : objet cylindrique de diamètre 15cm, de couleur jaune, de poids 300gr, en métal.
L'état de la scène est composé d'une part de la variable que l'on souhaite calculer à savoir : la présence du bijou sur son socle. Par ailleurs, on peut considérer que plus il y a d'individus autour du bijou, plus il y a un risque qu'un individu dérobe l'objet. Aussi, l'état du système comprend le nombre de capteurs à ultrasons ayant détecté au moins un individu. Cette dernière variable jouera un rôle particulièrement important dans l'étape d'estimation de l'état du système à la date t à partir de l'état historique du système à la date t - delta t. Enfin une dernière variable servira à indiquer le niveau de luminosité autour du bijou. Cette dernière variable jouera un rôle particulièrement important pour déterminer la fiabilité des métadonnées extraites des données (i.e. images couleurs) de la caméra.
Le tableau qui suit présente un exemple de l'Etat de la scène :
Pour la phase d'initialisation, il est indiqué qu'initialement, le bijou est sur son socle, il n'y a aucun individu est dans la pièce et le niveau de luminosité n'est pas connu, tel qu'indiqué dans ce tableau :
On observe qu'il n'y a pas de précision associée à la variable « présence de bijou », ce qui est tout à fait normal car il s'agit d'une variable discrète binaire. On remarque également qu'une fiabilité est associée à chaque grandeur numérique. Dans le cas de certaines applications, il pourrait y avoir une fiabilité non pas pour chaque grandeur mais pour un groupe. Pour la luminosité, le niveau n'est pas connu. La probabilité est fixée à 0.5. La valeur n'étant pas connue, elle est initialisée à la valeur médiane des valeurs possibles soit 500. La précision permet de construire des intervalles d'estimation des grandeurs. L'intervalle étant construit avec pour bornes [valeur - précision, valeur + précision]. Comme précisé précédemment, la valeur a été fixée à 500. Pour la précision, il est fait en sorte que celle-ci puisse permette de construire un intervalle estimé pour la grandeur numérique « luminosité » englobant l'intervalle de l'ensemble des valeurs possibles pour la grandeur [0, 1000lux]. Donc, la précision est fixée à 500.
Ce dernier tableau constitue un exemple de résultat fourni par le procédé de surveillance : l'état du système est fourni périodiquement à l'utilisateur, à une autre application ou à un autre dispositif.
Concernant les exigences de l'application, supposons que l'état demandé par l'utilisateur ait les caractéristiques présentées dans le tableau qui suit :
Etape de prédiction : Cette étape est très dépendante des grandeurs numériques considérées, de l'application, de son contexte d'utilisation. Dans cet exemple, la modélisation suivante est proposée :
• PréciSioniuminositê • Précisioniuminosité
• Fiabilitéiummosité • Max(0.5, Fiabilitéium.πosité - 0.45)
Ce tableau doit être interprété comme suit : pour le nombre de capteurs à ultrasons, il est considéré que des personnes peuvent s'approcher du socle et d'autres s'éloigner. On ne sait pas du tout comment ceci varie. Ainsi, le niveau de fiabilité de cette grandeur est diminué pour indiquer que cette information est moins fiable. Le raisonnement est identique pour la luminosité.
Pour la grandeur « présence de bijou », il est considéré en plus cette fois-ci que plus le nombre d'individus proches du socle est important, plus le bijou risque d'être dérobé.
A des fins d'exemple, il est supposé qu'à une certaine date, l'état du système est le suivant :
L'étape de comparaison consiste à déterminer s'il existe une des grandeurs numériques de l'état calculé qui a une précision supérieure à la précision indiquée dans l'état souhaité par l'utilisateur (i.e. exigences de l'application) pour cette même grandeur ou s'il existe une des grandeurs de l'état calculé qui a une fiabilité inférieure à la fiabilité indiquée dans l'état souhaité par l'utilisateur (i.e. exigences de l'application) pour cette même grandeur. Dans ce cas de figure, l'état calculé ne répond pas aux exigences et le système passe dans l'état excité. Pour cet exemple, la fiabilité des grandeurs « présence de bijou » et « luminosité » est insuffisante, et la précision des grandeurs « nombre de capteurs ultrasons » et « luminosité » est également insuffisante. Etape de mise à jour
Capteur : caméra
Donnée renvoyée : image couleur du haut du socle où se trouve le bijou.
Métadonnée recherchée : détection de jaune dans l'image correspond à la perception du bijou.
Procédé de traitement d'image : mesure de la quantité de couleur jaune dans une partie de l'image.
Résultat renvoyé : si le nombre de pixels de couleur jaune dépasse un seuil alors le procédé de traitement d'image renvoie la métadonnée « détection d'une couleur jaune qui semble correspondre au bijou » sinon « métadonnée recherchée non obtenue ».
Métadonnée recherchée : détection d'un objet cylindrique de diamètre 15cm dans l'image.
Procédé de traitement d'image : détection de contours et de formes. Résultat renvoyé : si un objet cylindrique a pu être reconnu alors le résultat suivant est envoyé : « détection d'un objet cylindrique de diamètre 15cm qui semble correspondre au bijou », sinon « métadonnée recherchée non obtenue ».
Capteur : capteur de pression. Donnée renvoyée : poids de l'objet posé sur le capteur.
Information recherchée : est ce que la donnée renvoyée par le capteur vaut
300gr ?
Résultat renvoyé : si la donnée mesurée vaut 300gr alors le résultat suivant est envoyé : « mesure d'un poids compatible avec le poids du bijou », sinon « poids incompatible avec le bijou ».
Capteur : caméra thermique.
Donnée renvoyée : image 2D de la température mesurée.
Information recherchée : est-ce que la température de l'objet filmé par la caméra thermique a une température compatible avec celle que devrait avoir les bijoux ?
Résultat renvoyé : en utilisant les informations sur l'heure et sur les plages horaires d'éclairage des bijoux et sur le dégagement thermique produit par les spots, le système peut déduire à quelle température sont les bijoux à une certaine heure. Si la chaleur mesurée par le capteur est compatible avec celle que devrait avoir les bijoux, le résultat suivant est envoyé: « la chaleur thermique dégagée par l'objet filmé est compatible avec la chaleur que devrait dégager les bijoux », sinon « chaleur incompatible avec les bijoux ».
Métadonnée recherchée : détection d'un objet cylindrique de diamètre 15cm dans l'image thermique du capteur.
Procédé de traitement : détection de contours et de formes dans une image thermique.
Résultat renvoyé : si un objet cylindrique a pu être reconnu, alors le résultat suivant est envoyé: « détection d'un objet cylindrique de diamètre 15cm qui semble correspondre au bijou », sinon « métadonnée recherchée non obtenue ».
Capteur : Capteur de luminosité.
Donnée renvoyée : luminosité de la scène.
Capteur : Ceintures de capteurs ultrasons.
Donnée renvoyée : nombre de capteurs ultrasons ayant détecté un obstacle.
Dans tous les cas, le résultat est retourné avec sa précision et sa fiabilité. La précision et la fiabilité sont fonction du capteur et du procédé de traitement considéré. Dans le cas des procédés de traitement qui travaillent sur l'image de la caméra couleur, les résultats renvoyées sont d'autant plus fiables que la luminosité de la scène est importante. Ainsi, l'évaluation de la fiabilité pour les métadonnées extraites de l'image de la caméra tient compte du niveau de luminosité de la scène disponible dans l'état de la scène sous forme d'une grandeur numérique.
A des fins d'exemple, il est admis qu'à une certaine date, l'état du système est comme suit :
Compte tenu des caractéristiques de l'état, il est nécessaire d'améliorer la fiabilité des grandeurs « présence de bijou » et « luminosité » et la précision des grandeurs
« capteurs ultrasons » et « luminosité ».
Supposons que le système de mise à jour vienne de recevoir une mesure nouvelle pour chaque capteur. Il dispose donc d'informations potentiellement disponibles pour améliorer la connaissance de l'état. Pour améliorer la grandeur « Présence de bijou », c'est-à-dire confirmer la présence du bijou, le système de surveillance peut utiliser les données ou métadonnées suivantes :
-Métadonnée : détection de jaune dans l'image couleur ;
-Métadonnée : détection d'un objet cylindrique de diamètre 15cm dans l'image couleur ;
-Donnée : poids de l'objet posé sur le capteur de pression ; -Donnée : température de l'objet filmé par la caméra thermique ;
-Métadonnée : détection d'un objet cylindrique de diamètre 15cm dans l'image thermique du capteur.
Pour améliorer la grandeur « nombre de capteurs ultrasons », c'est-à-dire déterminer combien de capteurs à ultrasons ont détectés d'individus, le système peut utiliser les données ou métadonnées suivantes : -Donnée : nombre de capteurs ultrasons ayant détecté un obstacle.
Pour améliorer la grandeur « luminosité », le système peut utiliser les données ou métadonnées suivantes :
-Donnée : luminosité de la scène
La fiabilité et la précision des données est une caractéristique intrinsèque des capteurs, tandis que celles des métadonnées sont calculés dynamiquement pas le système de mise à jour et d'alerte. La détermination de la donnée ou de la métadonnée que le système doit utiliser pour améliorer l'état de la scène est réalisée au moyen d'une fonction de comparaison qui mesure un écart entre l'état théorique de la scène produit par une donnée ou métadonnée et l'état de la scène souhaité par l'utilisateur (i.e. exigences de l'application).
L'état théorique produit par une donnée ou une métadonnée correspond à l'état que s'attend à obtenir le système s'il sollicite la récupération de la donnée ou l'extraction de la métadonnée. Pour cela le système tient compte de la fiabilité et de la précision théorique de la donnée et de la métadonnée. Précisons qu'à ce stade, le système de mise à jour et d'alerte n'a pas encore récupéré la donnée du capteur et n'a réalisé aucune analyse ou traitement de la donnée.
En ce qui concerne la fonction de comparaison, elle consiste à mesurer l'écart entre la précision et la fiabilité de chaque grandeur de l'état théorique avec la précision et la fiabilité de l'état souhaité par l'utilisateur. Chacun de ces écarts peut être pondéré par un coefficient pour indiquer par exemple que la précision sur la luminosité est une caractéristique plus importante que pour les autres grandeurs. A des fins d'exemple, la fonction de comparaison suivante est posée :
Pour chaque donnée et métadonnée faire : Calculer l'état théorique F(etat_theorique, etat_souhaite) =
4.max(0, Fiabilitéprésence(souhaité) - Fiabilitéprésence(théorique)) + 1.max(0, PrécisionUιtraSons(théorique) - Précisionuιtrasons(souhaité)) +
3.max(0, Fiabilitéuιtrasons(souhaité) - Fiabilitéuιtrasθns(théorique)) + 1.max(0, Précisioniuminosité(théorique) - Précisionιurτiinosité(souhaité)) + 2.max(0, Fiabilité|Urninosité(souhaité) - Fiabilité|Uminosité(théorique)) Fin pour
Ainsi, la fonction de comparaison vaut 0 dès lors que la précision des grandeurs numériques de l'état théorique est inférieure à la précision des grandeurs numériques de l'état souhaité et que la fiabilité des grandeurs de l'état théorique est supérieure à la fiabilité des grandeurs de l'état souhaité.
Le temps de calcul pour obtenir une métadonnée peut être assez important dû au temps de traitement de la donnée du capteur. Il est possible d'intégrer le temps estimé nécessaire pour obtenir une donnée ou une métadonnée ou bien la quantité de mémoire estimée nécessaire pour obtenir une donnée ou une métadonnée, etc, dans une variable coût. Ce coût peut être pris en compte dans la fonction de comparaison pour diminuer l'importance d'une donnée ou d'une métadonnée. Pour cela, il est possible d'ajouter ce coût à la fonction de comparaison ou de multiplier la fonction de comparaison par le coût, etc.
Il est à noter que la fonction de comparaison présentée précédemment tient compte de tous les écarts en fiabilité et en précision pour chaque grandeur entre l'état théorique et l'état souhaité. Cependant, ces écarts ont été pondérés par des coefficients multiplicateurs (i.e. 4, 1, 3, 1 et 2). Il est possible d'utiliser une fonction de comparaison qui ne tienne compte que de l'écart de quelques grandeurs et se limite à la caractéristique de précision (i.e. la caractéristique fiabilité ne sera pas utilisée). Ainsi, on obtient la fonction de comparaison suivante :
Pour chaque donnée et métadonnée faire :
Calculer l'état théorique F(etat_theorique, etat_souhaite) = 0.max(0, Fiabilitéprésence(souhaité) - FiabilitépréSence(théorique)) +
3.max(0, PrécisionUιtraSons(théorique) - Précisionuιtrasons(souhaité)) + 0.max(0, Fiabilitéuitrasons(souhaité) - FiabilitéU|trasons(théorique)) + 1.max(0, Précisionιumιnosιté(théorique) - Précisioniummosιté(souhaité)) + 0.max(0, Fiabilité|Umιnθsιté(souhaité) - Fiabilitéιummθsité(théorique)) Fin pour
ce qui revient, après simplification, à la fonction de comparaison suivante : Pour chaque donnée et métadonnée faire : Calculer l'état théorique F(etat_theorique, etat_souhaite) =
3.max(0, Précisionuιtrasons(théorique) - PrécisionU|trasons(souhaité)) + 1.max(0, Précisionιumin0Sité(théorique) - PrécisionιuminoSité(souhaité)) Fin pour
Dans le cas de cet exemple, on considère que le coût représente une estimation du temps de traitement nécessaire en millisecondes pour obtenir la donnée ou la métadonnée.
Supposons que la métadonnée « détection d'un objet cylindrique de diamètre 15cm dans l'image » que le système peut potentiellement obtenir en appliquant un algorithme de détection d'image sur la donnée de la caméra, permettrait d'obtenir l'état théorique suivant :
La fonction de comparaison pour cette métadonnée serait de F = 3.max(0, 4 - 3) + 1.max(0, 230 - 100) = 133
Estimation du temps de traitement nécessaire pour obtenir la métadonnée : 73 millisecondes.
Fonction de comparaison + coût de cette métadonnée : 133 + 73 = 206
Supposons que la donnée « luminosité de la scène » fournie par le capteur de luminosité permettrait d'obtenir l'état théorique suivant :
La fonction de comparaison pour cette donnée serait de F = 3.max(0, 4 - 3) + 1.max(0, 110-100) = 13
Estimation du temps de traitement nécessaire pour obtenir la donnée : 16 millisecondes.
Fonction de comparaison + coût de cette donnée : 13 + 16 = 29 Supposons que la donnée « nombre de capteurs ultrasons ayant détecté un obstacle » fournie par le capteur « ceinture de capteurs ultrasons », permette d'obtenir l'état théorique suivant :
La fonction de comparaison pour cette donnée serait de F = 3.max(0, 2 - 3) + 1.max(0, 230 - 100) = 130 Estimation du temps de traitement nécessaire pour obtenir la donnée : 3 millisecondes.
Fonction de comparaison + coût de cette donnée : 130 + 3 = 133 La donnée ou la métadonnée qui serait sélectionnée est celle qui a une valeur « fonction de comparaison + coût » minimale, c'est-à-dire la donnée « luminosité de la scène ». Dans ces différents exemples, quelques fonctions de comparaison ont été présentées ainsi qu'un exemple de coût. Cependant, il est possible de proposer n'importe quel type de fonction.
Une fois la donnée ou la métadonnée obtenue, elle est utilisée pour améliorer l'état. Cette opération peut être effectuée de façon classique en utilisant par exemple les outils de fusion de données (i.e. filtre de Kalman, filtre particulaire) pour mettre à jour la valeur et la précision de l'état tandis que la fiabilité des grandeurs numériques de l'état est mise à jour en utilisant la règle de Bayes.
Les Figures et leurs descriptions faites ci-dessus illustrent l'invention plutôt qu'elles ne la limitent. En particulier, l'invention et ses différentes variantes viennent d'être décrites en relation avec des exemples particuliers de scènes parfois très simples à des fins illustratives. Néanmoins, il est évident pour un homme du métier que l'invention peut être étendue à de multiples autres cas de scènes, dans des habitations, des commerces, des industries, des bâtiments à bureaux, des banques, des aéroports, des parkings, des gares, etc.
Les verbes "comprendre" et "comporter" n'excluent pas la présence d'autres éléments que ceux listés dans les revendications. Le mot "un" précédant un élément n'exclue pas la présence d'une pluralité de tels éléments.

Claims

REVENDICATIONS
1. Dans un dispositif de surveillance d'une scène à au moins deux dimensions, délimitée par un pourtour connu et localisé, ledit dispositif comportant un système central de surveillance, une pluralité de capteurs en communication avec la scène à surveiller et avec le système central de surveillance, ledit système central comportant un Système de Mise à Jour et d'Alerte (SYMAJA) permettant de procéder à des acquisitions de données, de fournir des métadonnées en relation avec l'objet surveillé, de déterminer le niveau de fiabilité relatif aux métadonnées et de déceler une éventuelle condition d'alerte en comparant les métadonnées avec au moins un Modèle de Définition de Condition d'Alerte (MODECA), un comparateur, permettant de déterminer si le niveau de fiabilité correspondant aux Données d'Etat de Scène (DES) satisfait un Seuil Admissible de Fonctionnement Etabli (SAFE),
un procédé de surveillance de la scène permettant de fournir en temps sensiblement réel un Etat de la scène, ledit procédé comportant les étapes consistant à :
a) évaluer, à un instant donné t, les Données d'Etat de Scène (DESS) correspondant à l'Etat dans lequel se trouve la scène à l'intervalle t sur la base des données et métadonnées disponibles de l'intervalle précédent t-delta t;
b) mémoriser les Données d'Etat de Scène (DESS) nouvellement obtenues ;
c) vérifier, à l'aide du comparateur, si le niveau de fiabilité des Données d'Etat de Scène (DESS) nouvellement obtenues satisfait le Seuil Admissible de
Fonctionnement Etabli (SAFE);
d) si le niveau de fiabilité satisfait le Seuil Admissible de Fonctionnement Etabli (SAFE), le Système de Mise à Jour (SYMAJ) est à l'état inactif, et, après un intervalle de temps prévu, le procédé se poursuit à l'étape a) ; e) si le niveau de fiabilité ne satisfait pas le Seuil Admissible de Fonctionnement Etabli (SAFE), le Système de Mise à Jour (SYMAJ) passe à l'état actif et un cycle de mise à jour est lancé ; f) l'activation du Système de Mise à Jour (SYMAJ) actionne une étape de sélection de capteurs permettant de sélectionner au moins un capteur permettant l'obtention de données ou de métadonnées dont les niveaux de fiabilité correspondants permettent de se rapprocher ou de dépasser les niveaux établis par le Seuil Admissible de Fonctionnement Etabli (SAFE);
g) les données et/ou métadonnées du capteur sélectionné sont reçues et prises en compte pour établir une nouvelle phase de calcul d'Etat de Scène selon les étapes suivantes :
h) calculer, à un instant donné (t), les Données d'Etat de Scène (DESS) correspondant à l'état dans lequel se trouve la scène sur la base des données et/ou métadonnées du capteur sélectionné obtenues à cet instant (t) donné ;
i) mémoriser les Données d'Etat de Scène Réel (DESS) nouvellement obtenus ;
j) vérifier, à l'aide d'une étape de comparaison, si le niveau de fiabilité des Données d'Etat de Scène (DESS) réelles nouvellement obtenues satisfait le Seuil Admissible de Fonctionnement Etabli (SAFE);
k) si le niveau de fiabilité réel satisfait le Seuil Admissible de Fonctionnement Etabli (SAFE), le Système de Mise à Jour (SYMAJ) passe à l'état inactif, et, après l'intervalle de temps prévu, le procédé se poursuit à l'étape a);
I) si le niveau de fiabilité réel ne satisfait pas le Seuil Admissible de Fonctionnement Etabli (SAFE), le Système de Mise à Jour (SYMAJ) demeure à l'état actif, un nouveau cycle de mise à jour est lancé, et le procédé se poursuit à l'étape f).
2. Procédé de surveillance selon la revendication 1 , dans lequel l'étape de sélection de capteur permet de sélectionner le capteur qui fournira un état théorique de scène qui, en comparaison avec le Seuil Admissible de Fonctionnement Etabli (SAFE), présente l'écart le plus faible.
3. Procédé de surveillance selon l'une des revendications 1 ou 2, dans lequel à l'étape de sélection de capteur, on compare les niveaux de fiabilité de chacune des données et/ou métadonnées et on sélectionne le capteur et/ou le procédé de traitement de signal de capteur dont le niveau de fiabilité est le plus élevé.
4. Procédé de surveillance selon l'une des revendications 2 ou 3, dans lequel à l'étape de sélection de capteur, l'écart avec le Seuil Admissible de Fonctionnement
Etabli (SAFE) est affecté d'un facteur de correction correspondant au coût requis pour l'obtention dudit écart.
5. Procédé de surveillance selon l'une des revendications 1 à 4, dans lequel on ajoute au niveau de fiabilité considéré le niveau de précision des grandeurs qui composent le système.
6. Procédé de surveillance selon l'une des revendications 2 à 4, dans lequel les Données d'Etat de Scène sont mises à disponibilité.
7. Procédé de surveillance selon l'une des revendications précédentes, dans lequel la scène à surveiller est complexe et comporte une pluralité de sous-scènes liées les unes autres, et dans lequel, lors d'au moins une des étapes du procédé, les Données d'Etat de Scène d'une sous-scène sont utilisées pour l'étape a) d'estimation des Données d'Etat de Scène d'une autre sous-scène, liée à la première.
8. Procédé de surveillance selon la revendication 7, dans lequel si les Données d'Etat de Scène (DES) évaluées de la première sous-scène révèlent qu'aucun événement lié à la surveillance n'est susceptible de se produire au niveau de la seconde sous-scène, les capteurs de cette seconde sous-scène sont mis en mode désactivé.
9. Procédé de surveillance selon l'une des revendications précédentes, dans lequel les capteurs utilisés sont sélectionnés dans la liste comprenant : une caméra, un détecteur de mouvement, un capteur de pression, un capteur de température, un capteur de vibrations, une cellule photoélectrique, un faisceau laser, une caméra thermique, un détecteur d'ouverture de porte ou fenêtre ou autre point d'accès susceptible d'être ouvert, un capteur infrarouge, un capteur à ultrason, un radar, un capteur d'accélération, un capteur d'inclinaison, un capteur de force, un capteur RFID, un capteur d'intrusion tel que les capteurs de bris de vitres, un lecteur de badge d'accès, un capteur magnétique.
10. Dispositif (1) de surveillance d'une scène à au moins deux dimensions, délimitée par un pourtour connu et localisé, ledit dispositif comportant :
-un système central (2) de calcul ; -une pluralité de capteurs (30), en communication avec la scène à surveiller, chacun étant apte à surveiller un élément ou phénomène physique pour au moins une portion de ladite scène ;
-des moyens de transmission de données des capteurs vers le système central de calcul ; -ledit système central comportant :
-une interface (21) d'entrée de données, permettant au système central de recevoir les données des capteurs et d'assurer la compatibilité avec le système ;
-un Système de Mise à Jour (22) et d'Alerte (SYMAJA), permettant de procéder à des acquisitions de données, de fournir des métadonnées en relation avec l'objet surveillé, de déterminer le niveau de fiabilité relatif aux métadonnées et de déceler une éventuelle condition d'alerte en comparant les métadonnées avec au moins un
Modèle de Définition de Condition d'Alerte (MODECA) ;
-un comparateur (23), permettant de déterminer si le niveau de fiabilité correspondant aux Données d'Etat de Scène satisfait un Seuil Admissible de Fonctionnement Etabli (SAFE) ;
-une interface de sortie (24), permettant de fournir une sortie en relation avec les
Données d'Etat de Scène.
11. Dispositif de surveillance selon la revendication 10, dans lequel le système central (2) de calcul comprend une interface (27) pour recevoir des sources de données et/ou métadonnées autres que des capteurs.
12. Logiciel comprenant des éléments de code programmés pour la mise en œuvre du procédé selon l'une des revendications 1 à 9, lorsque ledit logiciel est chargé dans un système informatique et exécuté par ledit système informatique.
13. Logiciel selon la revendication 12, sous forme de produit enregistré sur un support lisible par un système informatique, comprenant des éléments de code programmés.
EP09807963A 2008-08-18 2009-08-04 Procede et systeme de surveillance de scenes Not-in-force EP2329474B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0804636A FR2935062A1 (fr) 2008-08-18 2008-08-18 Procede et systeme de surveillance de scenes
PCT/IB2009/006462 WO2010020851A1 (fr) 2008-08-18 2009-08-04 Procede et systeme de surveillance de scenes

Publications (2)

Publication Number Publication Date
EP2329474A1 true EP2329474A1 (fr) 2011-06-08
EP2329474B1 EP2329474B1 (fr) 2012-03-28

Family

ID=40512543

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09807963A Not-in-force EP2329474B1 (fr) 2008-08-18 2009-08-04 Procede et systeme de surveillance de scenes

Country Status (4)

Country Link
EP (1) EP2329474B1 (fr)
AT (1) ATE551686T1 (fr)
FR (1) FR2935062A1 (fr)
WO (1) WO2010020851A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114402225A (zh) * 2020-06-03 2022-04-26 深圳市大疆创新科技有限公司 测距方法、测距装置和可移动平台

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2505831C (fr) * 2002-11-12 2014-06-10 Intellivid Corporation Procede et systeme pour la localisation et la surveillance de comportement d'objets multiples se deplacant a travers une pluralite de champ de vision
US8272053B2 (en) * 2003-12-18 2012-09-18 Honeywell International Inc. Physical security management system
EP1872345B1 (fr) * 2005-03-25 2011-03-02 Sensormatic Electronics, LLC Selection de cameras et suivi d'objets intelligents
US20070096896A1 (en) * 2005-10-28 2007-05-03 Zingelewicz Virginia A System and method for securing an infrastructure

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010020851A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114402225A (zh) * 2020-06-03 2022-04-26 深圳市大疆创新科技有限公司 测距方法、测距装置和可移动平台

Also Published As

Publication number Publication date
FR2935062A1 (fr) 2010-02-19
WO2010020851A1 (fr) 2010-02-25
EP2329474B1 (fr) 2012-03-28
ATE551686T1 (de) 2012-04-15

Similar Documents

Publication Publication Date Title
US7617167B2 (en) Machine vision system for enterprise management
EP3901794B1 (fr) Procédé d'authentification ou d'identification d'un individu
EP2768389B1 (fr) Procédé de détection d'activité à capteur de mouvements, dispositif et programme d'ordinateur correspondants
EP3866064B1 (fr) Procede d'authentification ou d'identification d'un individu
WO2019091787A1 (fr) Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d'ordinateur associé
WO2002069292A1 (fr) Procede et dispositif de detection de feux base sur l'analyse d'images
EP4070295A1 (fr) Système et procédé de détection de fraude
EP3506166A1 (fr) Prédiction de déplacement et de topologie pour un réseau de caméras
EP4033399A1 (fr) Dispositif informatique et procédé pour l'estimation de la densité d'une foule
EP2307948A2 (fr) Dispositif interactif et procédé d'utilisation
FR3085217A1 (fr) Procede de determination de pose et d'identification d'une vue tridimensionnelle de visage
FR3011960A1 (fr) Procede d'identification a partir d'un modele spatial et spectral d'objet
EP2329474B1 (fr) Procede et systeme de surveillance de scenes
WO2008127235A2 (fr) Système de vision artificielle destiné à la gestion d'entreprise
EP2489016B1 (fr) Procédé et dispositif de controle d'un document sécurisé
FR3074594A1 (fr) Extraction automatique d'attributs d'un objet au sein d'un ensemble d'images numeriques
FR2693011A1 (fr) Procédé et dispositif de surveillance d'une scène tridimensionnelle, mettant en Óoeuvre des capteurs d'imagerie.
EP2926294A1 (fr) Procédé de détection de personnes et/ou d'objets dans un espace
WO2023135253A1 (fr) Procédé de traitement de transaction, système et programme correspondant
EP3926529A1 (fr) Systèmes et méthodes de détermination d'un nombre de personnes dans un véhicule
EP3881222A1 (fr) Procede de detection automatique de l'usurpation de visage
FR2995430A1 (fr) Cabine d'essayage interactive et procede d'interaction avec ladite cabine d'essayage
EP3491582B1 (fr) Procédé de comparaison d'objets disposés au voisinage les uns des autres, et dispositif associé
FR3033648A1 (fr) Procede et dispositif de suivi d'individus dans un lieu equipe de moyens repartis de detection
FR3112467A1 (fr) Magasin autonome de vente au détail en libre-service

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110317

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

DAX Request for extension of the european patent (deleted)
GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 551686

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120415

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602009006199

Country of ref document: DE

Effective date: 20120524

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20120328

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120628

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20120328

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120629

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 551686

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120328

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120728

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120730

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

BERE Be: lapsed

Owner name: EFFIDENCE

Effective date: 20120831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

26N No opposition filed

Effective date: 20130103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120831

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602009006199

Country of ref document: DE

Effective date: 20130103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120709

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120628

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120804

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 602009006199

Country of ref document: DE

Representative=s name: WOHLMUTH, JOHANNES, DIPL.-PHYS., DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 602009006199

Country of ref document: DE

Representative=s name: WOHLMUTH, JOHANNES, DIPL.-PHYS., CH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130831

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120804

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090804

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120328

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20150821

Year of fee payment: 7

Ref country code: GB

Payment date: 20150819

Year of fee payment: 7

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 602009006199

Country of ref document: DE

Representative=s name: WOHLMUTH, JOHANNES, DIPL.-PHYS., DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602009006199

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20160804

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160804

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170301

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20180731

Year of fee payment: 10

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190831