EP2438583A1 - Dispositif de simulation d'un environnement d'un systeme de supervision d'une infrastructure - Google Patents

Dispositif de simulation d'un environnement d'un systeme de supervision d'une infrastructure

Info

Publication number
EP2438583A1
EP2438583A1 EP10724459A EP10724459A EP2438583A1 EP 2438583 A1 EP2438583 A1 EP 2438583A1 EP 10724459 A EP10724459 A EP 10724459A EP 10724459 A EP10724459 A EP 10724459A EP 2438583 A1 EP2438583 A1 EP 2438583A1
Authority
EP
European Patent Office
Prior art keywords
infrastructure
data
model
simulation
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP10724459A
Other languages
German (de)
English (en)
Other versions
EP2438583B1 (fr
Inventor
Olivier Flous
Alexander Benjamin Doyle
Mehul Rajendrabhai Patel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP2438583A1 publication Critical patent/EP2438583A1/fr
Application granted granted Critical
Publication of EP2438583B1 publication Critical patent/EP2438583B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Definitions

  • the present invention relates to a device for simulating an environment of an infrastructure supervision system generating a representation of a three-dimensional situation of the infrastructure.
  • the supervised infrastructure can be a transportation network, a factory, a public infrastructure.
  • CCTV cameras allow an operator of the supervision system to have a global view of the installations he has to manage. Each camera has a view that can be displayed on a screen or screen portion. These multiple views allow, for example, a supervisory operator to quickly detect an anomaly that is not yet reported by equipment of the supervision system.
  • the situation captured by the cameras is rendered by two-dimensional images.
  • two-dimensional images are difficult to interpret, except by qualified personnel for the use of the supervision system.
  • CCTV cameras it is necessary for people with no knowledge of the infrastructure to have a global vision of the state of play to act in the infrastructure.
  • firefighters need to have reliable and accurate information on the occupancy of the premises by people, on positions of fire.
  • Images from CCTV cameras do not provide such data. Indeed, in the case of a fire, the smoke or the heat can render inoperative the cameras of video surveillance. In addition, firefighters do not know the premises, they can not assess quickly and simply the situation from screens showing the situation filmed by CCTV cameras.
  • An object of the invention is in particular to provide a means of visualization in three dimensions of a situation.
  • the subject of the invention is a device for simulating an environment of a system for supervising an infrastructure.
  • the supervision system comprises in particular one or more applications for supervising actual equipment of the infrastructure, a common supervision infrastructure to which the supervision applications are connected.
  • the simulation device includes a model for generating three-dimensional representations of a situation in the infrastructure from real data.
  • the actual data comes from the actual equipment supervised by the supervision system, via an interface between the common supervision infrastructure and the simulation device.
  • the actual data is supplemented by virtual data from simulation models.
  • the virtual data is deduced by the simulation models of real data directly from the common supervision infrastructure.
  • the virtual data model situational description data in the infrastructure not transmitted by the actual supervised equipment.
  • the simulation device comprises in particular first models simulating infrastructure equipment.
  • the first models in an advantageous embodiment of the invention, may have a real-mode operation in which the data from the real equipment is transformed into simulated data and then broadcast to the intention of other simulation models via a synthetic environment infrastructure.
  • the first equipment simulation models may include an equipment simulation engine generating simulated data.
  • the simulation engine is inactive in real mode.
  • the simulation device may include second simulation models, simulating virtual entities.
  • the second models can have a real mode operation in which they interpret the actual data received to model virtual entities.
  • the three-dimensional representation generation model can generate three-dimensional images, in particular from the data of a description model of the three-dimensional infrastructure and data from real equipment broadcast via the synthetic environment infrastructure. .
  • the description model of the three-dimensional infrastructure can be updated based on the data from the actual equipment, which it retrieves via the synthetic environment infrastructure.
  • a behavioral model can simulate people occupying the infrastructure.
  • the behavioral model can interpret the actual data to deduce the number and positions of people occupying the infrastructure, the virtual data corresponding to the simulated people being broadcast via the synthetic environment infrastructure.
  • the three-dimensional representation generation model can generate three-dimensional images comprising the persons simulated by the behavioral model.
  • FIG. 1 schematically, an architecture of a simulation environment of a supervision system according to the invention
  • FIG. 2 schematically, the architecture of the simulation environment of the supervision system according to the invention operating with real data
  • Figure 3 an example of an architecture of a simulation model and a behavioral model
  • Figure 4 a general block diagram of the invention.
  • FIG. 1 represents an exemplary architecture of a simulation environment 10 according to the invention of a supervision system 11.
  • the supervision system 11 represented in FIG. 1, by way of example, is a supervision system a terrestrial transport network 11, such as a train network for example.
  • the simulation environment 10 makes it possible in particular to train supervisory operators in the use of the supervision system 11 by simulating real situations.
  • the simulation environment models an environment of the supervision system and in particular the data that it expects.
  • the simulation environment can model equipment of the land transport network and communicate their status to the supervision system as if it came from real equipment.
  • the supervision system 11 comprises a supervision software infrastructure 110, more commonly known in Anglo-Saxon language.
  • the supervision framework 110 allows in particular different applications to exchange data in a simple and standardized manner.
  • a supervision system can have several supervisory functions.
  • the supervision system of a transport network 1 1 shown in Figure 1 comprises four functions of supervision of different equipment of the terrestrial transport network infrastructure.
  • Each supervision function is fulfilled by an independent software application 120, 11, 112, 113 in the example shown in FIG. 1.
  • Each software application 120, 11 1, 112, 113 comprises:
  • the supervision framework 110 makes it possible to orchestrate various supervision services provided by the supervision applications 120, 111, 112, 113.
  • the supervision framework 110 defines a framework for the data exchanges between the supervision applications 120, 111, 1 12, 113 and the Supervisory Framework 110 itself.
  • the Supervisory Framework defines standard interfaces for data exchange.
  • a first supervision application 120 is for example a train control module 120.
  • the train control module 120 makes it possible to ensure the supervision of the trains.
  • the train control module 120 makes it possible to: know the position of each train on the land transport network, transmit service messages to the train drivers.
  • a second supervision application 111 is for example an equipment management module 111 of a station of the terrestrial transport network.
  • the equipment management module 11 1 makes it possible to supervise equipment of a station such as escalators, automatic gates, lifts, fire detectors, access control systems.
  • a third supervision application 1 12 can be a video management module 112.
  • the video management module 112 makes it possible to supervise video systems such as video surveillance cameras, image display screens from video surveillance cameras.
  • a fourth supervision application 113 may be a public information module 113.
  • the public information module 113 allows managing information communication equipment to users of the land transport network. Managed communication equipment may be message display screens, speakers broadcasting audio messages.
  • the supervision system can be controlled by one or more operators via an integrated human-machine interface, or HMI 114.
  • the integrated HMI 114 allows one or more operators to control one or more monitoring applications. , 11, 12, 113.
  • the integrated HMI 114 also allows operators to view the states of the supervised equipment. The states of the supervised equipment are transmitted to the supervision framework 110 by the different supervision applications
  • the Supervisory Framework 110 then formats the equipment states for display on integrated NHM 1 14.
  • the architecture of a simulation according to the invention may comprise several models 101, 102, 103, 104, 105, 118, 121.
  • the simulation architecture comprises seven models.
  • a simulation architecture of a supervision system may comprise models other than those represented in FIG. 1.
  • the simulation architecture 10 according to the invention also comprises a synthetic environment infrastructure 106.
  • 106 is a host infrastructure models 101, 102, 103, 104, 105, 1 18,
  • the synthetic environment infrastructure 106 defines in particular a framework for exchanging data between different models.
  • the synthetic environment infrastructure 106 includes interface libraries allowing the different models 101, 102, 103, 104, 105, 118, 121 to exchange data in a standardized manner with the synthetic environment infrastructure 106.
  • model can simulate one or more entities that can be, depending on the model, equipment, trains, users of the transport network. Each model transmits in particular the state of the entities that it simulates to the synthetic infrastructure 106.
  • the synthetic environment infrastructure 106 makes available other simulation models 101, 102, 103, 104, 105, 118, 121 the states of the entities it has received. Each model can thus recover from the synthetic environment infrastructure 106 the data necessary for its operation.
  • Such a synthetic environment infrastructure 106 may for example be made according to a standard DIS, or Distributed Interactive Simulation, meaning distributed interactive simulation.
  • the simulation architecture 10 shown in FIG. 1 also comprises a router 107.
  • the router 107 makes it possible on the one hand to transmit to each supervision application 120, 111, 112, 113 the virtual states of the equipment it supervises.
  • the virtual states of the equipment are provided by the simulation models 101, 102, 103, 104, 105, 118, 121 to the synthetic environment infrastructure 106.
  • the transmitted virtual states correspond to the states that would be sent by real devices.
  • the router 107 retrieves the states of the equipment for transmission to the appropriate simulation application 120, 11 1, 112, 113 via the equipment interface 1211, 1111, 1121, 1131 of each supervision application 120, 11 1, 112, 113.
  • each application can control equipment, the orders transmitted to the equipment passes through the router 107 to be transmitted to simulated equipment models for example.
  • a first model 101 may be a train model 101.
  • the train model 101 simulates the movements of one or more trains on the transport network.
  • the train model 101 simulates the arrival of trains in the various stations of the transport network.
  • the train model 101 can in particular generate the positions of the various trains and their speed of movement for example.
  • a second model 102 may be a station model of the transport network.
  • the station model 102 can in particular simulate different equipment of a station of the transport network.
  • the station model 102 can generate the following data: elevator states, access gate states, power supply state on the channels, state of smoke detectors, state of unauthorized intrusion detectors in a protected area.
  • the station model 102 can transmit information from the public information module 113 to the public information equipment 115.
  • the station model 102 may be able to display on a screen information intended for the travelers coming from the public information application 113.
  • the station model 102 can also transmit to loudspeakers. audio messages for users of the transport network.
  • a third model 103 may be a CCTV camera model 103.
  • the CCTV camera model 103 may generate images, in the form of a video stream, for display on monitors 116, or display screens. Monitors 1 16 allow operators, in real situation, to view one or more images provided by one or more CCTV cameras.
  • the CCTV camera model provides a synthetic picture of the situation as seen by CCTV cameras.
  • the CCTV camera model generates a synthetic image from information provided by the other models 101, 102, 104, 118, including the equipment states.
  • the CCTV camera model 103 uses the data of a three-dimensional infrastructure model 1 18, or 3D.
  • the 3D infrastructure model 118 makes it possible to represent, for example, all the infrastructures of a train station: elevators, escalators, platforms, doors, stairs, corridors, as well as the station's equipment.
  • the states of the equipment provided by the various models make it possible to animate the images by modeling, for example, a video stream representing a train entering the station.
  • a fourth model 104 may be an incident model 104 making it possible to simulate events to which a supervisory operator will have to react.
  • the model of incident makes it possible to simulate a fire in a train station, a bomb explosion, a spread of a cloud of toxic smoke.
  • the incident model can be piloted from an instructor station 108 by an instructor conducting a simulation session. From the instructor station 108, an instructor may for example choose a type of incident, an incident location, a date to trigger the incident, a duration of incident. According to the parameters entered by the instructor, the incident model 104 will trigger during a simulation the desired incident, at the desired date, at the desired location and for the desired duration.
  • a fifth model 105 may be a behavioral model 105 for simulating the behavior of several people in the supervised infrastructure.
  • the model 105 makes it possible, in particular, to model users of the transport network.
  • the behavioral model 105 is based on a motivational model in which each simulated individual moves according to his own motivations. It is possible to drive an individual simulated by the behavioral model 105 from the instructor station 108. For example, it may be possible to order an individual to move in a given direction. Simulated individuals can move in the infrastructure of the transport station.
  • a sixth model 121 is a model for generating a three-dimensional image, or 3D 121.
  • the model for generating a 3D image makes it possible to generate a three-dimensional image of the infrastructure, in particular from the data of the model infrastructure, as well as data from other models such as the position of individuals in the infrastructure, the position of trains, the condition of escalators.
  • a three-dimensional view of the situation can be presented to an operator of the supervision system on a 3D monitor 119.
  • the operator can move in this three-dimensional view via a suitable interface: a controller 3D image controller 122.
  • the 3D image controller may be for example a joystick, otherwise known as an English language joystick.
  • the simulation architecture 10 also includes a real data access point 117.
  • the use of the real data access point will be described in more detail later.
  • the architecture of the simulation 10 as shown in Figure 1 shows a typical operation of a simulation. It provides to real applications 120, 111, 112, 113 simulated data via the router 107.
  • the simulation architecture 10 according to the invention uses in this case only simulated data.
  • FIG. 2 represents the simulation architecture 10 according to the invention operating with real data.
  • each application 120, 11, 112, 113 communicates with the equipment 20 that it supervises.
  • the train control module 120 communicates with real trains 21 via its equipment interface 1211.
  • the train control model can thus know the state and the position on the railway network of the trains and communicate instructions or instructions. information to train drivers.
  • the station 111 equipment management model communicates with access control systems, elevators and escalators, to know their status and to control their operation.
  • the video management module 1 12 communicates in particular with surveillance cameras arranged in the station.
  • the video management model can thus know the operating status of the cameras, remotely control them and recover the video streams that they record in order to broadcast them on the monitors 116.
  • the images broadcast by the monitors 116 can pass through the supervisory infrastructure 110.
  • the public information module 113 communicates in particular with the public information equipment 115.
  • the public information module 113 can thus know the operating status of the public information equipment 115 and transmit messages to them. to diffuse.
  • the simulation 10 can take into account, during the actual operation of the real data supervision system such as the state of the real equipment, for example: the states of the trains 21, the states of the access control systems 22, the states of the elevators and escalator 23, surveillance camera states 24, possibly surveillance camera images 24, the states of the public information equipment 115, as well as information messages to the public.
  • Other real data can also be taken into account by simulation 10.
  • the real-world supervision system can interface with the simulation 10 via the real data access point 117.
  • the real data access point 117 is connected to the supervision infrastructure 1 10.
  • the The supervision infrastructure 110 then transmits in real time to the simulation 10 the states of the equipment 20 as well as data coming from the equipment 20. From the real data access point 117, the data are directly transmitted to the models that can be used. use as: the station model 102, the behavioral model 105, the train model 101. Some models simply distribute the actual data of the equipment states to the synthetic environment infrastructure 106 in the form of simulated data. The states of the actual equipment passing through the synthetic environment infrastructure 106 can then be used by other models such as: the 3D infrastructure model 1 18.
  • the train model 101 can take into account the actual information relating to the trains, for example the position of the various trains, their speed, the operating state of their equipment.
  • the train model 101 then operates in a real mode: it diffuses in the form of simulated data the real data it has received from the access point 117. In real mode, the train model 101 does not perform any real data. other treatments than the broadcasting of train conditions.
  • the station model 102 can take into account the actual information concerning the states of the equipment of the train station such as: escalators, lifts, access control systems.
  • the station model can also take into account actual data transmitted by equipment such as the direction of escalator operation, the number of people having crossed the access control systems. The actual data and information is then transmitted by the station model 102 to the synthetic environment infrastructure.
  • the behavioral model 105 can use real data to know the position and number of people in the station. From this information, the behavioral model 105 can create entities representing the people working in the station. The behavioral model 105 can then broadcast the positions of the entities it simulates to the synthetic environment infrastructure 106.
  • the 3D infrastructure model 118 can recover from the synthetic environment infrastructure 106 the data that will enable it to update the representation of the infrastructure, such as: the positions of the trains, the state of the equipment of the station . Next, the 3D infrastructure model 118 transmits the updated infrastructure to the model of generating a 3D image.
  • the 3D infrastructure model 1 18 operates in real mode in a manner substantially equivalent to its operation in simulated mode.
  • Incident model 104 can recreate from real data it receives from real data access point 117 an incident detected by station sensors. For example if a fire is triggered, the incident model can use a fire alarm transmitted by the equipment management module of station 1 11. Upon receipt of this alarm, the incident model can create a virtual fire that will be represented on the 3D image generated by the model for generating a 3D image 121. The incident model can also recreate from smoke detector data the propagation of smoke in the infrastructure. Thus, it is possible to visualize on the 3D monitor 119 the different fires and smoky areas. This type of information can be particularly useful for organizing a firefighter intervention.
  • the 3D image generation model uses the data from the infrastructure model 118, as well as the entities modeled by the behavioral model to generate a realistic three-dimensional image of the actual situation.
  • the generated three-dimensional image is then broadcast on a 3D monitor 1 19.
  • An operator can, via a 3D image controller 122, visually explore the scene by moving in the generated 3D image.
  • the model for generating a 3D image has a mode of operation that is substantially equivalent in real mode to its operation in simulated mode.
  • the surveillance camera model 103 is inactive in real mode.
  • the router 107 is not connected to the supervision applications 120, 111, 112, 113 in real mode.
  • FIG. 3 represents an example of model structure of the simulation architecture 10 according to the invention, able to operate in real mode and in simulated mode.
  • the real mode and the simulated mode are two modes of operation of the simulation 10 exclusive of each other.
  • the models all work in real mode, or all in simulated mode.
  • a first model shown in FIG. 3 is called equipment model 30.
  • the equipment model represents models such as train model 101, station model 102.
  • a second model shown in FIG. 3 is behavioral model 105
  • the equipment model 30 includes an equipment model engine 31 including model-specific modeling treatments.
  • the engine of the equipment model 31 generates in particular in simulation mode the states of the entities that it simulates.
  • the states of the generated entities are then transmitted by the engine of the equipment model 31 to a storage database 32.
  • the storage database 32 then transmits the states of the virtual equipment 34 to a first synthetic environment interface 33
  • the first synthetic environment interface 33 transfers the states of the virtual equipments 34 to the synthetic environment infrastructure 106 to make them available to the other models.
  • the engine of the equipment model 31 is inactive.
  • the states of the virtual equipment are not transmitted to the storage database 32.
  • the equipment model can receive reports of the actual equipment from the access point of the actual data 117.
  • the equipment data The first access point interface of the actual data 43 transmits the actual equipment states 35 received in the same format. that the states of the virtual equipments 34 transmitted by the engine of the equipment model 31 to the storage database 32.
  • the storage database 32 transmits as in the simulated mode the states of the actual equipment 35 in the form of virtual equipment states 34 at the first interface with the synthetic environment infrastructure 33.
  • the state of the actual equipment 35, in the form of virtual equipment states 34 is made available to the simulation models on the environment infrastructure synthetic 106.
  • the behavioral model 105 includes a behavioral model engine 36 simulating entities. Simulated entities are people driven by a motivational model.
  • the behavioral model engine 36 provides in particular the position of the simulated persons, possibly their movement (type and direction) to a second synthetic environment infrastructure interface 37.
  • the second synthetic environment infrastructure interface 37 transmits the states and other information concerning the simulated entities 38 to the synthetic environment infrastructure 106.
  • the synthetic environment infrastructure 106 makes the states of the simulated entities available to the other models.
  • the model for generating a 3D image 121 uses this information to display in the 3D image that it generates the people potentially present in the infrastructure.
  • the behavioral model can be configured to generate a number of entities in specific locations for example.
  • the engine of the behavioral model 36 may take into account a configuration of the behavioral model 39, for example in the form of a configuration database.
  • the configuration database can be filled before starting a simulation assignment.
  • the configuration database may for example have different configurations evolving over time.
  • the behavioral model engine can for example cyclically query the configuration database to load a current configuration.
  • the behavioral model can take into account real data 40.
  • the actual data 40 comes from the access point real data 117 and reach the behavioral model 105 via a second real data access point interface 41.
  • the second real data access point interface 41 transmits the actual data received to a first data interpretation module 42.
  • the first real data interpretation model 42 deduces from actual data 40, the number, the potential positions of the different persons present in the infrastructure.
  • the actual data received 40 can be of different types and come from different equipment of the infrastructure.
  • the actual data 40 can be the number of people entering and leaving the station at a given moment, video images to deduce the number of people occupying a certain space, motion sensors, the weight of a train entering the station, to determine the number of people inside the train.
  • the first module for interpreting real data 42 can make it possible to deduce the attendance of a given space without necessarily having the real data. For example it is possible to predict the occupation of a space devoid of video surveillance camera.
  • the first real data interpretation module 42 makes it possible to reproduce a situation that is realistic from the point of view of the occupation of spaces by persons.
  • the incident model 104 may comprise, as the behavioral model 105, a third real data access point interface, a second real data interpretation module, an incident model configuration module, an incident model engine. , a third interface with the synthetic environment infrastructure.
  • the data from the behavioral model 105 and possibly the incident model 104 are then taken into account to generate a synthetic 3D image that can therefore represent spaces for which the supervisory system itself has little or no information.
  • Figure 4 shows a general principle of the invention.
  • a situation in the infrastructure can be described by a data set 400.
  • the situation description data 400 can be composed of real data 401 comprising states of the equipment of the infrastructure, data from sensors part of the infrastructure like cameras, smoke detectors.
  • the situation description data 400 may also include data that is not transmittable 402 to the supervisory system 11. Some data describing the situation may not be transferable, for example due to a lack of sensors to detect them, or because they are not simply describable.
  • the actual data is transmitted by the equipment 20 to the supervision system 11.
  • the actual data 401 is transmitted to the simulation 10.
  • the simulation 10 analyzes the actual data to recreate situation description data 404 as close as possible to the data. the actual situation 400.
  • the recreated data 404 is synthetic data describing the situation.
  • the simulation models analyze the real data 401 to generate virtual data 403.
  • the virtual data make it possible to supplement the real data 401 with virtual data 403 modeling the non-transmissible data 402.
  • the simulation therefore produces synthetic data of 402. description of the situation 404 modeling the actual situation data 400.
  • the synthetic situation description data 404 is used to generate a realistic 3D image representation of a real situation in the infrastructure.
  • the present invention can be applied to any type of infrastructure supervision system.
  • the invention also makes it possible to replace an interface of the supervision system by providing the supervision operator with a view easily projectable in a plane by directing the view in plan view for example.
  • the generated three-dimensional image can also be projected by holographic projection systems.
  • the invention has the particular advantage of three-dimensional representation of a situation without having a video surveillance camera providing visual information.
  • Another advantage of the application is to be able to replace some cameras with less expensive and more robust sensors such as motion sensors.
  • the invention also has the advantage of allowing to visualize in three dimensions a situation in a space where it is impossible to place a camera or other sensors, for example because of environmental conditions such as a temperature too high to allow a camera to function normally.
  • the invention also makes it possible to visualize a situation in a space where the sensors are out of order or whose data are unusable because of an incident such as a release of smoke that can obscure an image provided by a video surveillance camera.
  • the invention makes it possible to present a realistic and simply interpretable view of an infrastructure.
  • the invention advantageously allows in case of crisis to have a synthetic overview and quickly interpretable situation in the infrastructure.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

La présente invention concerne un dispositif de simulation (10) d'un environnement d'un système de supervision (11) d'une infrastructure générant une représentation en trois dimensions de l'infrastructure à partir de données réelles provenant d'équipements réels (20) supervisés par le système de supervision (11) complétées par des données simulées provenant de modèles de simulation (101, 102, 104, 105, 121, 118) composant le dispositif de simulation (10). L'infrastructure supervisée peut être un réseau de transport, une usine, une infrastructure publique.

Description

DISPOSITIF DE SIMULATION D'UN ENVIRONNEMENT D'UN SYSTEME DE SUPERVISION D'UNE INFRASTRUCTURE
La présente invention concerne un dispositif de simulation d'un environnement d'un système de supervision d'une infrastructure générant une représentation d'une situation en trois dimensions de l'infrastructure.
L'infrastructure supervisée peut être un réseau de transport, une usine, une infrastructure publique.
Des systèmes de supervision d'infrastructures utilisent de nombreuses caméras de vidéosurveillance. Les caméras de vidéosurveillance permettent à un opérateur du système de supervision d'avoir une vue globale des installations qu'il doit gérer. A chaque caméra correspond une vue qui peut être affichée sur un écran ou une portion d'écran. Ces vues multiples permettent, par exemple, à un opérateur de supervision de détecter rapidement une anomalie qui ne serait pas encore signalée par des équipements du système de supervision.
L'équipement des infrastructures avec des caméras de vidéosurveillance est très coûteux, notamment en ce qui concerne l'exploitation des données collectées.
De plus, la situation captée par les caméras est rendue par des images en deux dimensions. Or les images en deux dimensions sont difficilement interprétables, sauf par un personnel qualifié pour l'utilisation du système de supervision. En cas de crise, il est nécessaire que des personnes n'ayant aucune connaissance de l'infrastructure puissent avoir une vision globale de l'état de la situation pour agir dans l'infrastructure. Avec les outils actuels de visualisation des images fournies par les caméras de vidéosurveillance, il est impossible à une personne ne connaissant pas parfaitement l'infrastructure de comprendre les informations représentées. Par exemple, il est difficile de suivre le déplacement d'une personne dans des locaux, en passant de la vue filmée par une caméra à une autre vue, filmée par une autre caméra. Par exemple, en cas d'incendie dans l'infrastructure, les pompiers ont besoin d'avoir des informations fiables et précises sur l'occupation des locaux par des personnes, sur des positions de foyers d'incendie. Les images provenant des caméras de vidéosurveillances ne permettent pas de fournir de telles données. En effet, dans le cas d'un incendie, la fumée ou la chaleur peut rendre inopérantes les caméras de vidéosurveillance. De plus, les pompiers ne connaissant pas les locaux, ils ne peuvent pas évaluer simplement et rapidement la situation à partir des écrans de présentation de la situation filmée par les caméras de vidéosurveillance.
Un but de l'invention est notamment de fournir un moyen de visualisation en trois dimensions d'une situation. A cet effet, l'invention a pour objet un dispositif de simulation d'un environnement d'un système de supervision d'une infrastructure. Le système de supervision comporte notamment une ou plusieurs applications de supervision d'équipements réels de l'infrastructure, une infrastructure commune de supervision sur laquelle sont connectées les applications de supervision. Le dispositif de simulation comporte un modèle de génération de représentations en trois dimensions d'une situation dans l'infrastructure à partir de données réelles. Les données réelles proviennent des équipements réels supervisés par le système de supervision, par l'intermédiaire d'une interface entre l'infrastructure commune de supervision et le dispositif de simulation. Les données réelles sont complétées par des données virtuelles provenant de modèles de simulation. Les données virtuelles étant déduites par les modèles de simulation des données réelles provenant directement de l'infrastructure commune de supervision. Les données virtuelles modélisent des données de description de la situation dans l'infrastructure, non transmises par les équipements réels supervisés.
Le dispositif de simulation comporte notamment des premiers modèles simulant des équipements de l'infrastructure. Les premiers modèles, dans un mode de réalisation avantageux de l'invention, peuvent avoir un fonctionnement en mode réel au cours duquel les données provenant des équipements réels sont transformées en données simulées puis diffusées à l'intention des autres modèles de simulation via une infrastructure d'environnement synthétique.
Les premiers modèles de simulation d'équipements peuvent comporter un moteur de simulation d'équipements générant des données simulées. Selon un mode de réalisation avantageux de l'invention, le moteur de simulation est inactif en mode réel.
Le dispositif de simulation peut comporter des deuxièmes modèles de simulation, simulant des entités virtuelles. Les deuxièmes modèles peuvent avoir un fonctionnement en mode réel au cours duquel ils interprètent les données réelles reçues pour modéliser des entités virtuelles.
Le modèle de génération de représentations en trois dimensions peut générer des images en trois dimensions notamment à partir des données d'un modèle de description de l'infrastructure en trois dimensions et des données provenant des équipements réels diffusées via l'infrastructure d'environnement synthétique.
Le modèle de description de l'infrastructure en trois dimensions peut être mis à jour en fonction des données provenant des équipements réels, qu'il récupère via l'infrastructure d'environnement synthétique.
Dans un mode de réalisation avantageux de l'invention, un modèle comportemental peut simuler des personnes occupant l'infrastructure. Le modèle comportemental peut interpréter les données réelles pour en déduire le nombre et les positions des personnes occupant l'infrastructure, les données virtuelles correspondant aux personnes simulées étant diffusées via l'infrastructure d'environnement synthétique. Dans un mode de réalisation avantageux, le modèle de génération de représentations en trois dimensions peut générer des images en trois dimensions comportant les personnes simulées par le modèle comportemental.
L'invention a notamment pour principaux avantages d'être simple à utiliser et de permettre à n'importe quel utilisateur d'avoir une vision globale et synthétique d'une situation dans une infrastructure supervisée. D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit, donnée à titre illustratif et non limitatif, et faite en regard des dessins annexés qui représentent : la figure 1 : de manière schématique, une architecture d'un environnement de simulation d'un système de supervision selon l'invention ; la figure 2 : de manière schématique, l'architecture de l'environnement de simulation du système de supervision selon l'invention fonctionnant avec des données réelles ; la figure 3 : un exemple d'une architecture d'un modèle de simulation et d'un modèle comportemental ; la figure 4 : un schéma de principe général de l'invention.
La figure 1 représente un exemple d'architecture d'un environnement de simulation 10 selon l'invention d'un système de supervision 11. Le système de supervision 11 représenté sur la figure 1 , à titre d'exemple, est un système de supervision d'un réseau de transport terrestre 11 , comme un réseau de trains par exemple.
L'environnement de simulation 10 permet notamment d'entrainer des opérateurs de supervision à l'utilisation du système de supervision 11 en simulant des situations réelles. A cette fin, l'environnement de simulation modélise un environnement du système de supervision et notamment les données qu'il en attend. Par exemple, l'environnement de simulation peut modéliser des équipements du réseau de transport terrestre et communiquer leur état au système de supervision comme si il provenait d'équipements réels.
Le système de supervision 11 comporte une infrastructure logicielle de supervision 110, plus communément appelée en langage anglo-saxon
Framework de supervision 1 10. Le Framework de supervision 110 permet notamment à différentes applications d'échanger des données de manière simple et uniformisée.
Un système de supervision peut comporter plusieurs fonctions de supervision. Par exemple, le système de supervision d'un réseau de transport terrestre 1 1 représenté sur la figure 1 comporte quatre fonctions de supervision de différents équipements de l'infrastructure du réseau de transport terrestre. Chaque fonction de supervision est remplie par une application logicielle indépendante 120, 1 11 , 112, 113 dans l'exemple représenté sur la figure 1. Chaque application logicielle 120, 11 1 , 112, 113 comporte :
• une première interface de supervision 1210, 1110, 1120, 1130 ;
• une deuxième interface 1211 , 1111 , 1 121 , 1131 avec des équipements qu'elle supervise.
Le Framework de supervision 110 permet d'orchestrer différents services de supervision fournis par les applications de supervision 120, 111 , 112, 113. Le Framework de supervision 110 définit un cadre pour les échanges de données entre les applications de supervision 120, 111 , 1 12, 113 et le Framework de supervision 110 lui-même. Par exemple, le Framework de supervision définit des interfaces standards d'échanges de données. Une première application de supervision 120 est par exemple un module de contrôle des trains 120. Le module de contrôle des trains 120 permet d'assurer la supervision des trains. Par exemple le module de contrôle des trains 120 permet de : connaître la position de chaque train sur le réseau de transport terrestre, transmettre des messages de service aux conducteurs des trains.
Une deuxième application de supervision 111 est par exemple un module de gestion d'équipements 111 d'une station du réseau de transport terrestre. Le module de gestion d'équipements 11 1 permet de superviser des équipements d'une station comme des escaliers mécaniques, des portillons automatiques, des ascenseurs, des détecteurs d'incendie, des systèmes de contrôle d'accès.
Une troisième application de supervision 1 12 peut être un module de gestion vidéo 112. Le module de gestion vidéo 112 permet de superviser les systèmes vidéo comme des caméras de vidéosurveillance, des écrans de visualisation d'images issues des caméras de vidéosurveillance.
Une quatrième application de supervision 113 peut être un module d'information au public 113. Le module d'information au public 113 permet de gérer les équipements de communication d'informations aux utilisateurs du réseau de transport terrestre. Les équipements de communication gérés peuvent être des écrans d'affichage de messages, des haut-parleurs diffusant des messages audio. Le système de supervision peut être contrôlé par un ou plusieurs opérateurs par l'intermédiaire d'une interface homme machine, ou IHM, intégrée 114. L'IHM intégrée 114 permet notamment à un ou plusieurs opérateurs de piloter une ou plusieurs applications de surveillance 120, 1 11 , 1 12, 113. L'IHM intégrée 114 permet également aux opérateurs de visualiser les états des équipements supervisés. Les états des équipements supervisés sont transmis au Framework de supervision 110 par les différentes applications de supervision
120, 111 , 112, 113. Le Framework de supervision 110 met ensuite en forme les états des équipements afin de les afficher sur NHM intégrée 1 14.
L'architecture d'une simulation selon l'invention 10 peut comporter plusieurs modèles 101 , 102, 103, 104, 105, 118, 121. Dans l'exemple représenté sur la figure 1 , l'architecture de simulation comporte sept modèles.
Une architecture de simulation d'un système de supervision peut comporter d'autres modèles que ceux représentés sur la figure 1. L'architecture de simulation 10 selon l'invention comporte également une infrastructure d'environnement synthétique 106. L'infrastructure d'environnement synthétique
106 est une infrastructure d'accueil des modèles 101 , 102, 103, 104, 105, 1 18,
121. L'infrastructure d'environnement synthétique 106 définit notamment un cadre pour échanger des données entre les différents modèles. L'infrastructure d'environnement synthétique 106 comporte des bibliothèques d'interfaces permettant aux différents modèles 101 , 102, 103, 104, 105, 118, 121 d'échanger des données de façon standardisée avec l'infrastructure d'environnement synthétique 106. Chaque modèle peut simuler une ou plusieurs entités qui peuvent notamment être, selon les modèles, des équipements, des trains, des utilisateurs du réseau de transport. Chaque modèle transmet notamment l'état des entités qu'elle simule à l'infrastructure synthétique 106. L'infrastructure d'environnement synthétique 106 met à disposition des autres modèles de simulation 101 , 102, 103, 104, 105, 1 18, 121 les états des entités qu'elle a reçus. Chaque modèle peut ainsi récupérer à partir de l'infrastructure d'environnement synthétique 106 les données nécessaires à son fonctionnement. Une telle infrastructure d'environnement synthétique 106 peut par exemple être réalisée selon un standard de DIS, ou Distributed Interactive Simulation, signifiant simulation interactive distribuée.
L'architecture de simulation 10 représentée sur la figure 1 comporte en outre un routeur 107. Le routeur 107 permet d'une part de transmettre à chaque application de supervision 120, 111 , 112, 113 les états virtuels des équipements qu'elle supervise. Les états virtuels des équipements sont fournis par les modèles de simulation 101 , 102, 103, 104, 105, 118, 121 à l'infrastructure d'environnement synthétique 106. Les états virtuels transmis correspondent aux états qui seraient envoyés par des équipements réels. Le routeur 107 récupère les états des équipements pour les transmettre à l'application de simulation adéquate 120, 11 1 , 112, 113 par l'intermédiaire de l'interface équipements 1211 , 1111 , 1121 , 1131 de chaque application de supervision 120, 11 1 , 112, 113. D'autre part, chaque application pouvant piloter des équipements, les ordres transmis aux équipements passent par le routeur 107 pour être transmis aux modèles d'équipements simulés par exemple.
Un premier modèle 101 peut être un modèle de trains 101. Le modèle de train 101 simule les déplacements d'un ou plusieurs trains sur le réseau de transport. Le modèle de train 101 simule notamment l'arrivée des trains dans les différentes stations du réseau de transport. A cette fin, le modèle de trains 101 peut notamment générer les positions des différents trains ainsi que leur vitesse de déplacement par exemple. Un deuxième modèle 102 peut être un modèle de station du réseau de transport. Le modèle de station 102 peut notamment simuler différents équipements d'une station du réseau de transport. Par exemple, le modèle de station 102 peut générer les données suivantes : états d'ascenseurs, états de portes d'accès, état de l'alimentation électrique sur les voies, état de détecteurs de fumée, état de détecteurs d'intrusion non autorisée dans un espace protégé. Le modèle de station 102 peut transmettre à des équipements d'information du public 115 des informations provenant du module d'information au public 113 du système de supervision 11. Par exemple, le modèle de station 102 peut permettre d'afficher sur un écran des informations destinées aux voyageurs provenant de l'application d'information au public 113. Le modèle de station 102 peut aussi transmettre à des hauts parleurs des messages audio destinés à des utilisateurs du réseau de transport.
Un troisième modèle 103 peut être un modèle de caméra de vidéosurveillance 103. Le modèle de caméra de vidéosurveillance 103 peut générer des images, sous la forme d'un flux vidéo, destinées à être affichées sur des moniteurs 116, ou écrans de visualisation. Les moniteurs 1 16 permettent aux opérateurs, en situation réelle, de visualiser une ou plusieurs images fournies par une ou plusieurs caméras de vidéosurveillance. Le modèle de caméra de vidéosurveillance génère une image synthétique de la situation telle que devrait la voir les caméras de vidéosurveillance. Le modèle de caméra de vidéosurveillance génère une image synthétique à partir d'informations fournies par les autres modèles 101 , 102, 104, 118, dont notamment les états des équipements. Pour générer des images de l'infrastructure, le modèle de caméra de vidéosurveillance 103 utilise les données d'un modèle d'infrastructure en trois dimensions 1 18, ou 3D. Le modèle d'infrastructure en 3D 118 permet de représenter par exemple l'ensemble des infrastructures d'une station de train : les ascenseurs, escaliers mécaniques, quais, portes, escaliers, couloirs, ainsi que les équipements de la station. Les états des équipements fournis par les différents modèles permettent d'animer les images en modélisant par exemple un flux vidéo représentant un train entrant dans la station.
Un quatrième modèle 104 peut être un modèle d'incident 104 permettant de simuler des événements auxquels devra réagir un opérateur de supervision. Le modèle d'incident permet notamment de simuler un feu dans une station de train, une explosion d'une bombe, une propagation d'un nuage de fumée toxique. Le modèle d'incident peut être piloté depuis un poste instructeur 108 par un instructeur organisant une session de simulation. Depuis le poste instructeur 108, un instructeur peut par exemple choisir un type d'incident, un lieu d'incident, une date pour déclencher l'incident, une durée d'incident. Selon les paramètres saisis par l'instructeur, le modèle d'incident 104 déclenchera au cours d'une simulation l'incident souhaité, à la date souhaité, à l'endroit souhaité et pendant la durée souhaitée.
Un cinquième modèle 105 peut être un modèle comportemental 105 permettant de simuler le comportement de plusieurs personnes se trouvant dans l'infrastructure supervisée. Le modèle 105 permet notamment de modéliser des utilisateurs du réseau de transport. Le modèle comportemental 105 est basé sur un modèle motivationnel dans lequel chaque individu simulé se déplace selon ses propres motivations. Il est possible de piloter un individu simulé par le modèle comportemental 105 depuis le poste instructeur 108. Par exemple, il est peut être possible de d'ordonner à un individu de se déplacer dans une direction donnée. Les individus simulés peuvent se déplacer dans l'infrastructure de la station de transport.
Un sixième modèle 121 est un modèle de génération d'une image en trois dimensions, ou 3D 121. Le modèle de génération d'une image 3D permet de générer une image en trois dimension de l'infrastructure à partir notamment des données du modèle d'infrastructures, ainsi que des données des autres modèles comme la position des individus dans l'infrastructure, la position des trains, l'état des escaliers mécaniques. Ainsi, une vue en trois dimensions de la situation peut être présentée à un opérateur du système de supervision sur un moniteur 3D 119. L'opérateur peut se déplacer dans cette vue en trois dimensions par l'intermédiaire d'une interface adaptée : un contrôleur d'image 3D 122. Le contrôleur d'image 3D peut être par exemple une manette, autrement appelée joystick en langage anglo-saxon.
L'architecture de simulation 10 comporte également un point d'accès de données réelles 117. L'utilisation du point d'accès de données réelles sera décrite plus en détail par la suite.
L'architecture de la simulation 10 telle que représentée sur la figure 1 présente un fonctionnement classique d'une simulation. Elle fournit à des applications réelles 120, 111 , 112, 113 des données simulées par l'intermédiaire du routeur 107. L'architecture de simulation 10 selon l'invention utilise dans ce cas uniquement des données simulées. La figure 2 représente l'architecture de simulation 10 selon l'invention fonctionnant avec des données réelles.
Lorsque le système de supervision est en fonctionnement réel, chaque application 120, 1 11 , 112, 113 communique avec les équipements 20 qu'elle supervise.
Le module de contrôle des trains 120 communique avec des trains réels 21 par l'intermédiaire de son interface équipements 1211. Le modèle de contrôle des trains peut ainsi connaître l'état et la position sur le réseau ferroviaire des trains et communiquer des consignes ou des informations aux conducteurs des trains.
Le modèle de gestion des équipements station 111 communique notamment avec des systèmes de contrôle d'accès, des ascenseurs, des escaliers mécaniques, afin de connaître leur état et de commander leur fonctionnement. Le module de gestion vidéo 1 12 communique notamment avec des caméras de surveillance disposées dans la station. Le modèle de gestion vidéo peut ainsi connaître l'état de fonctionnement des caméras, les piloter à distance et récupérer les flux vidéo qu'elles enregistrent afin de les diffuser sur les moniteurs 116. Les images diffusées par les moniteurs 116 peuvent transiter par l'infrastructure de supervision 110.
Le module d'information au public 113 communique notamment avec les équipements d'information du public 115. Le module d'information au public 113 peut donc ainsi connaître l'état de fonctionnement des équipements d'information du public 115 et leur transmettre des messages à diffuser. La simulation 10 peut prendre en compte lors du fonctionnement réel du système de supervision des données réelles tel que l'état des équipements réels, par exemple : les états des trains 21 , les états des systèmes de contrôle d'accès 22, les états des ascenseurs et escalator 23, les états des caméras de surveillance 24, éventuellement les images des caméras de surveillance 24, les états des équipements d'information du public 115, ainsi que les messages d'information au public. D'autres données réelles peuvent également être prises en compte par la simulation 10. Le système de supervision en fonctionnement réel peut s'interfacer avec la simulation 10 par l'intermédiaire du point d'accès de données réelles 117. Le point d'accès de données réelles 117 est relié à l'infrastructure de supervision 1 10. L'infrastructure de supervision 110 transmet alors en temps réel à la simulation 10 les états des équipements 20 ainsi que des données provenant des équipements 20. A partir du point d'accès de données réelles 117, les données sont directement transmises aux modèles qui peuvent les utiliser comme : le modèle de station 102, le modèle comportemental 105, le modèle de train 101. Certains modèles se contentent de diffuser les données réelles des états des équipements à l'infrastructure l'environnement synthétique 106 sous forme de données simulées. Les états des équipements réels transitant par l'infrastructure d'environnement synthétique 106 peuvent alors être utilisés par d'autres modèles comme : le modèle d'infrastructure 3D 1 18.
Le modèle de train 101 peut prendre en compte les informations réelles relatives aux trains, par exemple la position des différents trains, leur vitesse, l'état de fonctionnement de leurs équipement. Le modèle de train 101 fonctionne alors dans un mode réel : il diffuse sous la forme de données simulées les données réelles qu'il a reçues du point d'accès 117. En mode réel, le modèle de train 101 n'effectue pas d'autres traitements que la diffusion des états des trains.
Le modèle de station 102 peut prendre en compte les informations réelles concernant les états des équipements de la station de train comme : les escaliers mécaniques, les ascenseurs, les systèmes de contrôle d'accès. Le modèle de station peut également prendre en compte des données réelles transmises par les équipements comme le sens de fonctionnement des escaliers mécaniques, le nombre de personnes ayant franchi les systèmes de contrôle d'accès. Les données et informations réelles sont ensuite transmises par le modèle de station 102 à l'infrastructure d'environnement synthétique.
Le modèle comportementale 105 peut utiliser des données réelles afin de connaître la position et le nombre de personnes dans la station. A partir de ces informations le modèle comportemental 105 peut créer des entités représentant les personnes évoluant dans la station. Le modèle comportemental 105 peut alors diffuser les positions des entités qu'il simule à l'infrastructure d'environnement synthétique 106.
Le modèle d'infrastructure en 3D 118 peut récupérer de l'infrastructure d'environnement synthétique 106 les données qui vont lui permettre de mettre à jour la représentation de l'infrastructure, comme : les positions des trains, les états des équipements de la station. Ensuite, le modèle d'infrastructure en 3D 118 transmet l'infrastructure mise à jour au modèle de génération d'une image 3D. Le modèle d'infrastructure 3D 1 18 fonctionne en mode réel d'une manière sensiblement équivalente à son fonctionnement en mode simulé.
Le modèle d'incident 104 peut recréer à partir de données réelles qu'il reçoit du point d'accès de données réelles 117 un incident détecté par des capteurs de la station. Par exemple si un feu se déclenche, le modèle d'incident peut utiliser une alarme incendie transmise par le module de gestion des équipements de la station 1 11. Sur réception de cette alarme, le modèle d'incident peut créer un feu virtuel qui sera représenté sur l'image 3D générée par le modèle de génération d'une image 3D 121. Le modèle d'incident peut également recréer à partir de données issues de détecteur de fumée la propagation de la fumée dans l'infrastructure. Ainsi il est possible de visualiser sur le moniteur 3D 119 les différents foyers d'incendie ainsi que les zones enfumées. Ce type d'information peut être particulièrement utile pour organiser une intervention de pompiers.
Le modèle de génération d'une image 3D utilise les données provenant du modèle d'infrastructure 118, ainsi que les entités modélisées par le modèle comportemental afin de générer une image en trois dimensions réaliste de la situation réelle. L'image en trois dimensions générée est ensuite diffusée sur un moniteur 3D 1 19. Un opérateur peut, via un contrôleur de l'image 3D 122 explorer visuellement la scène en se déplaçant dans l'image 3D générée. Le modèle de génération d'une image 3D a un mode de fonctionnement sensiblement équivalent en mode réel à son fonctionnement en mode simulé. Le modèle de caméra de surveillance 103 est inactif en mode réel. Le routeur 107 n'est pas connecté aux applications de supervision 120, 111 , 112, 113 en mode réel.
La figure 3 représente un exemple de structure de modèles de l'architecture de simulation 10 selon l'invention, aptes à fonctionner en mode réel et en mode simulé. Le mode réel et le mode simulé sont deux modes de fonctionnement de la simulation 10 exclusif l'un de l'autre. Les modèles fonctionnent soit tous en mode réel, soit tous en mode simulé. Sur la figure 3 deux modèles sont représentés pour l'exemple. Un premier modèle représenté sur la figure 3 est appelé modèle d'équipement 30. Le modèle d'équipement représente les modèles comme le modèle de trains 101 , le modèle de station 102. Un deuxième modèle représenté sur la figue 3 est le modèle comportemental 105. Le modèle d'équipement 30 comporte un moteur de modèle d'équipement 31 comportant les traitements de modélisation propre au modèle. Le moteur du modèle d'équipement 31 génère notamment en mode simulation les états des entités qu'il simule. Les états des entités générées sont ensuite transmis par le moteur du modèle d'équipement 31 à une base de données de mémorisation 32. La base de données de mémorisation 32 transmet ensuite les états des équipements virtuels 34 à une première interface d'environnement synthétique 33. La première interface d'environnement synthétique 33 transfère les états des équipements virtuels 34 à l'infrastructure d'environnement synthétique 106 pour les mettre à la disposition des autres modèles. En mode réel, le moteur du modèle d'équipement 31 est inactif. Les états des équipements virtuels ne sont pas transmis à la base de données de mémorisation 32. En mode réel, le modèle d'équipement peut recevoir des états des équipements réels provenant du point d'accès des données réelles 117. Les données d'équipements réels arrivent dans le modèle d'équipement 30 par une première interface point d'accès des données réelles 43. La première interface point d'accès des données réelles 43 transmet les états d'équipements réels 35 qu'elle a reçu selon le même format que les états des équipements virtuels 34 transmis par le moteur du modèle d'équipement 31 à la base de données de mémorisation 32. Ensuite, la base de données de mémorisation 32 transmet comme dans le mode simulé les états des équipements réels 35 sous la forme d'états d'équipement virtuels 34 à la première interface avec l'infrastructure d'environnement synthétique 33. L'état des équipements réels 35, mis sous la forme d'états d'équipements virtuels 34 est mis à disposition des modèles de simulation sur l'infrastructure d'environnement synthétique 106.
Le modèle comportemental 105 comporte un moteur de modèle comportemental 36 simulant des entités. Les entités simulées sont des personnes animées selon un modèle motivationnel. Le moteur de modèle comportemental 36 fourni notamment la position des personnes simulées, éventuellement leur mouvement (type et direction) à une deuxième interface d'infrastructure d'environnement synthétique 37. La deuxième interface d'infrastructure d'environnement synthétique 37 transmet les états et autres informations concernant les entités simulées 38 à l'infrastructure d'environnement synthétique 106. L'infrastructure d'environnement synthétique 106 met à disposition des autres modèles les états des entités simulées. Par exemple, le modèle de génération d'une image 3D 121 utilise ces informations afin d'afficher dans l'image 3D qu'il génère les personnes se trouvant potentiellement présentes dans l'infrastructure. Le modèle comportemental peut être configuré de façon à générer un certain nombre d'entité dans des endroits déterminés par exemple. A cette fin, le moteur du modèle comportemental 36 peut prendre en compte une configuration du modèle comportemental 39 par exemple sous la forme d'une base de données de configuration. Dans le mode simulé, la base de données de configuration peut être renseignée avant le démarrage d'une cession de simulation. La base de données de configuration peut par exemple comporter différentes configurations évoluant dans le temps. Ainsi le moteur du modèle comportemental peut par exemple cycliquement interroger la base de données de configuration pour charger une configuration courante.
Dans le mode réel, le modèle comportemental peut prendre en compte des données réelles 40. Les données réelles 40 proviennent du point d'accès données réelles 117 et parviennent au modèle comportemental 105 par l'intermédiaire d'une deuxième interface point d'accès données réelles 41. La deuxième interface point d'accès données réelles 41 transmet les données réelles reçues à un premier module d'interprétation des données réelles 42. Le premier modèle d'interprétation des données réelles 42 déduit des données réelles 40, le nombre, les positions potentielles des différentes personnes présentes dans l'infrastructure. Les données réelles 40 reçues peuvent être de différents types et provenir de différents équipements de l'infrastructure. Par exemple, les données réelles 40 peuvent être le nombre de personnes entrant et sortant de la station à un instant donné, des images vidéo permettant de déduire le nombre de personne occupant un certain espace, des capteurs de mouvement, le poids d'un train entrant en gare, permettant de déterminer le nombre de personne à l'intérieur du train. Une analyse des déplacements des personnes dans des images vidéo successives dans le temps d'un même espace peuvent permettre de déduire les directions et les vitesses de déplacement des personnes. Avec les positions des personnes, leur direction et leur déplacement, il est possible de prédire leur position future. Ainsi le premier module de d'interprétation des données réelles 42 peut permettre de déduire la fréquentation d'un espace donné sans avoir nécessairement les données réelles. Par exemple il est possible de prédire l'occupation d'un espace dépourvu de caméra de vidéosurveillance. Le premier module d'interprétation des données réelles 42 permet de reproduire une situation réaliste du point de vue de l'occupation d'espaces par des personnes.
Le modèle d'incident 104 peut comporter comme le modèle comportemental 105 une troisième interface point d'accès données réelles, un deuxième module d'interprétation des données réelles, un module de configuration du modèle d'incident, un moteur du modèle d'incident, une troisième interface avec l'infrastructure d'environnement synthétique.
Les données issues du modèle comportemental 105 et éventuellement du modèle d'incident 104 sont ensuite prises en compte pour générer une image 3D synthétique qui peut donc représenter des espaces pour lesquels le système de supervision lui-même dispose de peu ou pas d'informations.
La figure 4 représente un principe général de l'invention. De manière schématique, une situation dans l'infrastructure peut être décrite par un ensemble de données 400. Les données de description de la situation 400 peuvent être composées de données réelles 401 comportant des états des équipements de l'infrastructure, des données issues de capteurs faisant partie de l'infrastructure comme des caméras, des détecteurs de fumée. Les données de description de la situation 400 peuvent également comporter des données qui ne sont pas transmissibles 402 au système de supervision 11. Certaines données décrivant la situation peuvent ne pas être transmissibles par exemple par manque de capteurs pour les détecter, ou parce qu'elles ne sont pas descriptibles simplement. Les données réelles sont transmises par les équipements 20 au système de supervision 11. Ensuite les données réelles 401 sont transmises à la simulation 10. La simulation 10 analyse les données réelles pour recréer des données de description de la situation 404 les plus proches possible des données de la situation réelle 400. Les données recréées 404 sont des données synthétique de description de la situation. A cette fin, les modèles de simulation analysent les données réelles 401 pour générer des données virtuelles 403. Les données virtuelles permettent de compléter les données réelles 401 par des données virtuelles 403 modélisant les données non transmissibles 402. La simulation produit donc des données synthétiques de description de la situation 404 modélisant les données de la situation réelle 400. Les données synthétiques de description de la situation 404 permettent de générer une représentation en images 3D réaliste d'une situation réelle dans l'infrastructure.
La présente invention peut s'appliquer à tout type de système de supervision d'infrastructure. L'invention permet également remplacer une interface du système de supervision en fournissant à l'opérateur de supervision une vue facilement projetable dans un plan en orientant la vue en vue de dessus par exemple.
L'image en trois dimensions générée peut également être projetée par des systèmes de projection holographique.
L'invention a notamment pour avantage de représenter en trois dimensions une situation sans avoir de caméra de vidéosurveillance fournissant des informations visuelles.
Un autre avantage de l'application est de pouvoir remplacer certaines caméras par des capteurs moins coûteux et plus robustes comme des capteurs de mouvement.
L'invention a également pour avantage de permettre de visualiser en trois dimensions une situation dans un espace où il est impossible de placer une caméra ou d'autres capteurs, par exemple en raison de conditions environnementales comme une température trop élevée pour permettre à une caméra de fonctionner normalement.
L'invention permet également de visualiser une situation dans un espace où les capteurs sont en panne ou dont les données sont inexploitables en raison d'un incident comme un dégagement de fumée qui peut obscurcir une image fournie par une caméra de vidéosurveillance.
Avantageusement, l'invention permet de présenter une vue réaliste et simplement interprétable d'une infrastructure. De plus il est possible de choisir l'angle, la position de la vue en se déplaçant dans l'image en trois dimensions.
L'invention permet avantageusement en cas de crise d'avoir une vue d'ensemble synthétique et rapidement interprétable de la situation dans l'infrastructure.

Claims

REVENDICATIONS
1. Dispositif de simulation (10) d'un environnement d'un système de supervision (1 1) d'une infrastructure, ledit système de supervision (11 ) comportant une ou plusieurs applications de supervision (120, 111 , 112, 113) d'équipements réels (20) de l'infrastructure, une infrastructure commune de supervision (110) sur laquelle sont connectées les applications de supervision (120, 11 1 , 112, 113), caractérisé en ce qu'il comporte un modèle de génération de représentations en trois dimensions (121 ) d'une situation dans l'infrastructure à partir de données réelles (40), lesdites données réelles provenant des équipements réels (20) supervisés par le système de supervision (11 ) par l'intermédiaire d'une interface (1 17) entre l'infrastructure commune de supervision (110) et le dispositif de simulation (10), lesdites données réelles étant complétées par des données virtuelles (403) provenant de modèles de simulation (104, 105, 121 ), lesdites données virtuelles (403) étant déduites par les modèles de simulation (104, 105, 121 , 118) des données réelles (40) provenant directement de l'infrastructure commune de supervision (110), lesdites données virtuelles (403) modélisant des données de description de la situation dans l'infrastructure, non transmises par les équipements réels supervisés (20).
2. Dispositif de simulation selon la revendication 1 , caractérisé en ce que le dispositif de simulation (10) comportant des premiers modèles (101 , 102) simulant des équipements de l'infrastructure (20), lesdits premiers modèles (101 , 102) ont un fonctionnement en mode réel au cours duquel les données (40) provenant des équipements réels (20) sont transformées en données simulées (403) puis diffusées à l'intention des autres modèles de simulation (105, 1 18, 121 ) via une infrastructure d'environnement synthétique (106).
3. Dispositif de simulation selon la revendication 2, caractérisé en ce que les premiers modèles de simulation (101 , 102) d'équipements comportant un moteur de simulation d'équipements (31 ) générant des données simulées, ledit moteur de simulation (31 ) est inactif en mode réel.
4. Dispositif de simulation selon l'une quelconque des revendications précédentes, caractérisé en ce que le dispositif de simulation (10) comportant des deuxièmes modèles de simulation (104, 105) simulant des entités virtuelles, lesdits deuxièmes modèles (104, 105) ont un fonctionnement en mode réel au cours duquel ils interprètent les données réelles (40) reçues pour modéliser des entités virtuelles.
5. Dispositif de simulation selon l'une quelconque des revendications 2 à 4, caractérisé en ce que le modèle de génération de représentations en trois dimensions (121 ) génère des images en trois dimensions à partir des données d'un modèle de description de l'infrastructure en trois dimensions (118) et des données (40) provenant des équipements réels (20) diffusées via l'infrastructure d'environnement synthétique (106).
6. Dispositif de simulation selon la revendication 5, caractérisé en ce que le modèle de description de l'infrastructure en trois dimensions (1 18) est mis à jour en fonction des données (40) provenant des équipements réels (20), qu'il récupère via l'infrastructure d'environnement synthétique (106).
7. Dispositif de simulation selon l'une quelconque des revendications 2 à 6, caractérisé en ce que, comportant un modèle comportemental (105) simulant des personnes occupant l'infrastructure, ledit modèle comportemental (105) interprète les données réelles pour en déduire le nombre et les positions des personnes occupant l'infrastructure, les données virtuelles (403) correspondant aux personnes simulées étant diffusées via l'infrastructure d'environnement synthétique (106).
8. Dispositif de simulation selon la revendication 7, caractérisé en ce que le modèle de génération de représentations en trois dimensions (121) génère des images en trois dimensions comportant les personnes simulées par le modèle comportemental (105).
9. Dispositif de simulation selon l'une quelconque des revendications 2 à 8, caractérisé en ce que, comportant un modèle d'incident (104) simulant des incidents dans l'infrastructure, ledit modèle d'incident (104) interprète les données réelles (40) pour détecter un incident dans l'infrastructure, simuler l'incident détecté, les données relatives à l'incident simulé étant diffusées via l'infrastructure d'environnement synthétique (106).
10. Dispositif de simulation selon la revendication 9, caractérisé en ce que le modèle de génération de représentations en trois dimensions (121) génère des images en trois dimensions comportant les incidents simulés.
11. Dispositif de simulation selon l'une quelconque des revendications précédentes, caractérisé en ce que le modèle de représentations en trois dimensions (121 ) génère des images selon une position et un angle de vue choisis par un opérateur au moyen d'un contrôleur d'images en trois dimensions (122), ledit contrôleur d'images en trois dimensions (122) transmettant la position et l'angle de vue choisi par l'opérateur au modèle de génération de représentations en trois dimensions (121 ) qui recalcule les images en trois dimensions à partir de la position et de l'angle de vue choisis.
EP10724459.2A 2009-06-05 2010-06-02 Dispositif de simulation d'un environnement d'un système de supervision d'une infrastructure Active EP2438583B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0902728A FR2946440B1 (fr) 2009-06-05 2009-06-05 Dispositif de simulation d'un environnement d'un systeme de supervision d'une infrastructure
PCT/EP2010/057695 WO2010139718A1 (fr) 2009-06-05 2010-06-02 Dispositif de simulation d'un environnement d'un systeme de supervision d'une infrastructure

Publications (2)

Publication Number Publication Date
EP2438583A1 true EP2438583A1 (fr) 2012-04-11
EP2438583B1 EP2438583B1 (fr) 2016-08-31

Family

ID=41514972

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10724459.2A Active EP2438583B1 (fr) 2009-06-05 2010-06-02 Dispositif de simulation d'un environnement d'un système de supervision d'une infrastructure

Country Status (7)

Country Link
US (1) US20120283997A1 (fr)
EP (1) EP2438583B1 (fr)
CN (1) CN102460530B (fr)
AU (1) AU2010255714A1 (fr)
FR (1) FR2946440B1 (fr)
SG (1) SG176309A1 (fr)
WO (1) WO2010139718A1 (fr)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3275253A1 (fr) 2015-03-24 2018-01-31 Carrier Corporation Apprentissage basé sur plan d'architecte et enregistrement de dispositifs répartis
US10756830B2 (en) 2015-03-24 2020-08-25 Carrier Corporation System and method for determining RF sensor performance relative to a floor plan
EP3274974A1 (fr) 2015-03-24 2018-01-31 Carrier Corporation Planification, basée sur un plan de sol, de systèmes de construction
CN107667366B (zh) 2015-03-24 2021-12-28 开利公司 用于捕获和分析多维建筑物信息的系统和方法
WO2016154311A1 (fr) 2015-03-24 2016-09-29 Carrier Corporation Systèmes et procédés pour fournir une interface utilisateur graphique indiquant des niveaux de menace d'intrusion pour un bâtiment
US10928785B2 (en) 2015-03-24 2021-02-23 Carrier Corporation Floor plan coverage based auto pairing and parameter setting
US10230326B2 (en) 2015-03-24 2019-03-12 Carrier Corporation System and method for energy harvesting system planning and performance
CN107660290B (zh) 2015-03-24 2022-03-22 开利公司 用于建筑物系统的销售、安装和维护的集成系统
US10373412B2 (en) * 2016-02-03 2019-08-06 Sensormatic Electronics, LLC System and method for controlling access to an access point
FR3047835B1 (fr) * 2016-02-12 2018-03-16 Alstom Transport Technologies Infrastructure de supervision d'un reseau de transport multimodal terrestre
CN106094563B (zh) * 2016-06-03 2018-10-02 哈尔滨工业大学 一种多航天器空间立体信息组网仿真系统及采用该系统实现的仿真方法
CN108022293A (zh) * 2017-12-12 2018-05-11 安徽省司尔特肥业股份有限公司 一种农业展会劳作体验系统
WO2019178783A1 (fr) * 2018-03-21 2019-09-26 Abb Schweiz Ag Procédé et dispositif de simulation industrielle
CN109448086B (zh) * 2018-09-26 2023-03-31 青岛中科慧畅信息科技有限公司 基于稀疏实采数据的分拣场景平行数据集构建方法
CN113096477A (zh) * 2021-04-09 2021-07-09 国核电力规划设计研究院有限公司 一种虚拟电站可视化的运维工作平台
CN113784107A (zh) * 2021-09-17 2021-12-10 国家能源集团陕西富平热电有限公司 一种用于视频信号的三维可视化显示方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
WO2006012645A2 (fr) * 2004-07-28 2006-02-02 Sarnoff Corporation Procede et appareil de surveillance et de connaissance completes de la situation
US7308394B2 (en) * 2005-02-24 2007-12-11 Ultravision Security Systems, Inc. Method for modeling and testing a security system
CN1912879A (zh) * 2006-08-23 2007-02-14 中山大学 一种家居智能布局方法及其系统
US20080062167A1 (en) * 2006-09-13 2008-03-13 International Design And Construction Online, Inc. Computer-based system and method for providing situational awareness for a structure using three-dimensional modeling
US7415385B2 (en) * 2006-11-29 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. System and method for measuring performances of surveillance systems
US20080147325A1 (en) * 2006-12-18 2008-06-19 Maassel Paul W Method and system for providing augmented reality
US8428918B2 (en) * 2007-09-19 2013-04-23 Utc Fire & Security Corporation System and method for occupancy estimation
CN101515309B (zh) * 2009-04-07 2010-08-04 华中科技大学 基于多智能体的城市应急疏散仿真系统
CN101710353B (zh) * 2009-12-03 2012-01-25 深圳先进技术研究院 基于三维虚拟城市的地下管网布设方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010139718A1 *

Also Published As

Publication number Publication date
AU2010255714A1 (en) 2012-02-02
EP2438583B1 (fr) 2016-08-31
US20120283997A1 (en) 2012-11-08
FR2946440A1 (fr) 2010-12-10
SG176309A1 (en) 2012-01-30
CN102460530A (zh) 2012-05-16
FR2946440B1 (fr) 2012-01-13
WO2010139718A1 (fr) 2010-12-09
CN102460530B (zh) 2014-06-25

Similar Documents

Publication Publication Date Title
EP2438583B1 (fr) Dispositif de simulation d'un environnement d'un système de supervision d'une infrastructure
US10769854B2 (en) Holographic technology implemented security solution
CN109495533B (zh) 一种智能物联网管理系统及方法
US7633520B2 (en) Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
US8174378B2 (en) Human guard enhancing multiple site security system
WO2011087278A2 (fr) Système de commande intégré destiné à des installations utilisant un dispositif de collecte et d'enregistrement de données d'une zone locale
US20130141460A1 (en) Method and apparatus for virtual incident representation
CN103391432A (zh) 一种景区安全预警智能视频监控系统及监控方法
CN101375599A (zh) 用于执行视频监视的方法和系统
Mittelstädt et al. An integrated in-situ approach to impacts from natural disasters on critical infrastructures
CN112288320A (zh) 一种地铁运行风险监控和管理系统
KR20220071880A (ko) 지하공동구 맞춤형 디지털트윈 재난 관리 시스템
Py et al. SMURF software architecture for low power mobile robots: Experience in search and rescue operations
FR2944908A1 (fr) Simulation d'un environnement d'un systeme de supervision d'un reseau de transport terrestre
KR100970503B1 (ko) 무인 에이브이 기록 장치를 이용한 시설물 관리방법
Bürkle et al. Universal ground control station for heterogeneous sensors
CN113012003A (zh) 校园安全综合管理和服务方法、系统以及设备
Drakoulis et al. The architecture of EVAGUIDE: a security management platform for enhanced situation awareness and real-time adaptive evacuation strategies for large venues
Thalmann et al. Advanced mixed reality technologies for surveillance and risk prevention applications
KR102214483B1 (ko) 스마트 시티 통합관제 시스템 및 이의 구동 방법
WO2018007406A1 (fr) Navire à détecteurs d'incidents, procédé de commande et programme d'ordinateur pour sa mise en oeuvre
US20220157021A1 (en) Park monitoring methods, park monitoring systems and computer-readable storage media
CN116704766A (zh) 一种高速公路ai前方态势感知系统
Lee et al. A Sound Source-based Intelligent Context Awareness System using CNN
Aguiar et al. IoT and Edge Computing impact on Beyond 5G: enabling technologies and challenges

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20111205

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20140814

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20160128

RIN1 Information on inventor provided before grant (corrected)

Inventor name: DOYLE, ALEXANDER BENJAMIN

Inventor name: FLOUS, OLIVIER

Inventor name: PATEL, MEHUL RAJENDRABHAI

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20160426

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THALES

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602010035996

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 825575

Country of ref document: AT

Kind code of ref document: T

Effective date: 20161015

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 825575

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161130

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161201

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161130

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170102

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602010035996

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20170601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602010035996

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170602

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170630

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170602

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170630

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180103

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20170630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20100602

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161231

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230516

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230526

Year of fee payment: 14

Ref country code: FR

Payment date: 20230523

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230518

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240527

Year of fee payment: 15