EP3227879A1 - Système de simulation, dispositifs, méthodes et programmes correspondants - Google Patents

Système de simulation, dispositifs, méthodes et programmes correspondants

Info

Publication number
EP3227879A1
EP3227879A1 EP15804471.9A EP15804471A EP3227879A1 EP 3227879 A1 EP3227879 A1 EP 3227879A1 EP 15804471 A EP15804471 A EP 15804471A EP 3227879 A1 EP3227879 A1 EP 3227879A1
Authority
EP
European Patent Office
Prior art keywords
virtual environment
description
environment
module
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP15804471.9A
Other languages
German (de)
English (en)
Inventor
Pierre JANNIN
Bernard GIBAUD
Valérie GOURANTON
Benoît CAILLAUD
Bruno Arnaldi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National de la Sante et de la Recherche Medicale INSERM
Institut National de Recherche en Informatique et en Automatique INRIA
Institut National des Sciences Appliquees INSA
Original Assignee
Institut National de la Sante et de la Recherche Medicale INSERM
Institut National de Recherche en Informatique et en Automatique INRIA
Institut National des Sciences Appliquees INSA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National de la Sante et de la Recherche Medicale INSERM, Institut National de Recherche en Informatique et en Automatique INRIA, Institut National des Sciences Appliquees INSA filed Critical Institut National de la Sante et de la Recherche Medicale INSERM
Publication of EP3227879A1 publication Critical patent/EP3227879A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Definitions

  • the invention relates to the field of simulation.
  • the invention relates more particularly to the field of simulation in virtual reality environments.
  • the invention more particularly takes place in the field of realistic simulation in virtual reality environments representative of real environments, in particular for professional training.
  • Virtual reality is defined as an interactive computer simulation of immersive, visual and / or sound and / or haptic environments. Environments in q uestion can be real or imaginary.
  • the simulation is called interactive because unlike a simple spectator, the user interacts with the virtual environment.
  • the simulation is immersive because it plunges the user into an environment different from the real environment in which they are located.
  • the simulation is visual and / or sound and / or haptic because the user is generally provided with visual and sound reproduction equipment (such as a virtual reality headset reproducing sounds and images) and equipment for reproducing physical sensations. , and especially the touch, through gloves, combinations or active systems suitable for this use.
  • virtual reality The purpose of virtual reality is to allow a user a sensorimotor and cognitive activity in an artificial world, created numerically, which can be a simulation of certain aspects of the real world.
  • the virtual reality helmet built by the company Oculus Rift TM now allows the general public to understand virtual reality in a simple and inexpensive way.
  • This type of headset is currently used to develop consumer applications. These consumer applications are mainly games, including third-person game derivatives (called FPS for "First Person Shoot”).
  • FPS third-person game derivatives
  • the advantage of these headphones is that they render images in three dimensions and thus allow the user to be immersed in an imaginary sound and visual environment. The use of such a device for anything other than this type of application is possible.
  • the creation of a virtual environment representative of reality is a more complex task than the modeling of an "imaginary" virtual environment: in the case of a real environment, the user is based on precise sensory references .
  • the creation of a virtual environment representative of reality requires more elaborate modeling processes in which real physical objects are taken into account (which must be modeled so that they conform to reality). ) and on the other hand the physical laws defining the interaction between these objects (so that the interaction of these objects in the virtual world is identical to the interaction of these objects in the real world).
  • the game engine manages the possible actions on the virtual environment.
  • This engine has a number of constraints and limitations that are usually desired to get a video game fast and not too complicated: the actions are generally limited to movements left, right, forward, backward, up, down, grab object, shoot, run, jump, etc. Interactions with people are generally few.
  • the described technique does not include at least some of these disadvantages of the prior art.
  • the described technique relates to a simulation module of an interventional procedure within a virtual environment, said virtual environment being implemented via an environment data processing device. virtual.
  • the simulation module includes:
  • a module configured to obtain a data structure representative of a set of objects of said virtual environment, said data structure further comprising at least one interaction relation between at least two objects of said set of objects;
  • a module configured to receive at least one scenario representative of a procedure to be simulated, said scenario being defined from a descriptive ontology, said at least one scenario being obtained from at least one predetermined procedural model;
  • a module configured to restore, within said virtual environment, at least a portion of said scenario according to said set of objects of said virtual environment, said at least one procedural model and at least one action performed by at least one real user of said virtual environment.
  • the described technique relates to a system for simulating an interventional procedure within a virtual environment, said virtual environment being implemented via an environment data processing device.
  • virtual the system includes:
  • an environment description module configured to deliver at least one description of a real procedure in the real environment according to at least one domain ontology
  • a procedural model creation module configured to create, based on at least one description of the actual environment to be modeled and delivering a procedural model materializing conditions and transitions between procedural steps.
  • the procedural environment description module comprises: access to a storage space comprising a physical description of an environment in which a procedure to be described takes place;
  • an input module comprising input means and a graphical interface comprising description display means, said input module being configured to implement said physical description of the environment and said domain ontology to produce at least one description a real procedure;
  • the procedural model creation module comprises:
  • an analysis module configured to analyze, according to said domain ontology, each real procedure description of plurality of actual procedure descriptions, to create a procedural model materializing conditions and transitions between procedural steps.
  • the simulation system furthermore comprises:
  • an immersive device called virtual reality, including an immersive room and / or at least a virtual reality helmet.
  • the described technique also relates to a method for simulating an interventional procedure within a virtual environment, said virtual environment being implemented via a data processing device of virtual environment.
  • a simulation method comprises: a step of obtaining a data structure representative of a set of objects of said virtual environment, said set of objects being defined from a descriptive ontology or a formal language, said data structure comprising in addition to at least one interaction relation between at least two objects of said set of objects;
  • the various steps of the methods according to the invention are implemented by one or more software or computer programs, comprising software instructions intended to be executed by a data processor of a relay model according to the invention. invention and being designed to control the execution of the various process steps.
  • the invention is also directed to a computer program, capable of being executed by a computer or a data processor, which program includes instructions for controlling the execution of the steps of a method as mentioned above. .
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any form what other form is desirable.
  • the invention also relates to a data carrier readable by a data processor, and including instructions of a program as mentioned above.
  • the information carrier may be any entity or device capable of storing the program.
  • the medium may comprise storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or a magnetic recording medium, for example a floppy disk, a D isque d ur, SSD, etc.
  • the information medium may be a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can be downloaded in particular on an Internet type network.
  • the information medium may be an integrated circuit (ASIC or FPGA type) in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • ASIC integrated circuit
  • FPGA field-programmable gate array
  • the invention is implemented by means of software and / or hardware components.
  • module may correspond in this document as well to a software component, q u'à a hardware component or a set of hardware and software components.
  • a software component corresponds to one or more computer programs, one or more subroutines of a program, or more generally to any element of a program or software capable of implementing a function or a set of functions, as described below for the module concerned.
  • Such a software component is executed by a data processor of a physical entity (terminal, server, gateway, router, etc.) and is capable of accessing the hardware resources of this physical entity (memories, recording media, bus communications, electronic input / output cards, user interfaces, etc.).
  • a hardware component corresponds to any element of a hardware set (or hardware) able to implement a function or a set of functions, as described below for the module concerned. It may be a hardware component that is programmable or has an integrated processor for executing software, for example an integrated circuit, a smart card, a memory card, an electronic card for executing a firmware. (firmware), etc.
  • FIG. 2 schematically shows a simulation system
  • FIG. 3 schematically represents a device implemented to obtain a scenario simulation.
  • the technique aims to train personnel in a virtual environment reproducing real conditions of intervention.
  • the invention relates more specifically to a method of simulating an interventional procedure within a virtual environment, said virtual environment being implemented via a virtual environment data processing device (SYST ).
  • SYST virtual environment data processing device
  • Such a method comprises. :
  • a step of obtaining (10) a representative data structure (SDR E o) of a set of objects (EO) of said virtual environment (EV), said data structure comprising at least one interaction relation between at least two objects of said set of objects;
  • Such a system comprises, in one embodiment:
  • DESCR description module
  • This module makes it possible to describe procedures, unitary, which are actually implemented.
  • This module can also be called procedural / event description module; this module takes as input one or more descriptions of the real environment to be modeled. It is based on an initial physical description, including a number of descriptions of objects in the environment virtual and a grammar of procedural description, also called ontology;
  • the description module also takes as input a domain ontology II produced, at output, a description of one or more real or ideal procedures, called described procedures (PrDecs).
  • the description module comprises:
  • a storage space comprising a physical description of an environment in which a procedure to be described takes place; access to a storage space comprising a grammar of procedural description, called domain ontology;
  • an input module comprising input means and a graphical interface comprising description display means, said input module being configured to implement said physical description of the environment and said domain ontology to produce at least one description a real procedure;
  • Storage spaces may be shared or shared with other modules.
  • a procedural model creation module (MODP). This module uses one or more actual or ideal procedure descriptions; it delivers a procedural model materializing conditions and transitions between procedural steps; this model depends on the ontology; the procedural model creation module thus comprises:
  • an analysis module configured to analyze, according to said domain ontology, each real procedure description description of real procedure descriptions, to create a procedural model (MP) materializing conditions and transitions between procedural steps.
  • MP procedural model
  • such a system furthermore comprises: a simulation module (SIMU) implementing the previously described method;
  • SIMU simulation module
  • an immersive system called virtual reality, comprising for example an immersive room and / or virtual reality headsets and / or other immersion devices; this immersive system (IMER) is driven by a virtual reality engine (ENG).
  • ENG virtual reality engine
  • Such an engine manages the immersive display (using the aforementioned devices) and the actions of the users; it takes as input the physical model of the virtual environment as well as the outputs produced by the simulation module.
  • An intervention (or training) scenario is typically based on a procedural model or a subset of the procedural model and includes the execution of a series of steps that must be implemented by a user (he either real or virtual) as part of the simulation of the interventional procedure (work procedure, intervention procedure in a specific environment, surgical procedure, etc.).
  • the proposed technique also relates to various methods used in the aforementioned devices.
  • the first phase of the method is a descriptive phase in which one or more procedure descriptions are performed.
  • the second phase of the method is an analytical phase in which the descriptions are analyzed.
  • the technique consists in creating and providing to the virtual reality engine, elementary tasks representative of coherent and realistic actions, united in the procedural model. These basic tasks can then be used to create, in a virtual environment, a simulation of a real or at least realistic situation using a pre-established scenario and to understand or follow the scenario followed by the actor or the real actors.
  • the purpose of the system is to enable real users to learn, in a virtual environment, various situations that may occur within a given real environment.
  • the system of the present technique finds, for example, an application in the formation of a team operating in a confined and controlled environment such as intervention teams in sensitive sites (nuclear power plant, chemical treatment plant). This system also finds application for surgical teams so that they can train themselves in intervention procedures on patients.
  • This system also finds an application for the training of security personnel and or technical intervention or maintenance personnel (mechanic, electricians, etc.)
  • the basic tasks are provided alongside the physical models of the virtual environment. More specifically, the physical models of the virtual environment are notably managed by a physics engine whose objective is to represent the physical objects of the virtual environment and their interactions. From this point of view, the virtual reality engine and the physics engine differ little from an application engine and a physics engine from a consumer application.
  • Elementary tasks represent interactions between individuals or between individuals and objects, whether real or virtual.
  • An elementary task can for example represent a type of action produced by a real user and the reaction of a virtual user.
  • an elementary task may represent a type of action produced by a virtual user and the response (expected of) of a real user.
  • An elementary task can still represent a type of action produced by a virtual user and the reaction of a virtual user.
  • An elementary task can still represent a type of action produced by a real user and the reaction of one or more virtual objects.
  • Elementary tasks are organized into a coherent set of elementary tasks, representing a set of actions and possible interactions.
  • the objective is to have a set representation of the different elementary tasks and their sequences so that the virtual reality engine can, on the basis of an action (corresponding to a given elementary task) compute corresponding reactions.
  • the reactions are in some weighted forms according to subsequent or previous observations.
  • probabilistic, statistical or pseudo random selection methods can be implemented to manage the sequences of actions and reactions based on the elementary tasks and their sequences.
  • the coherent set of elementary tasks represents the field of possibilities.
  • the procedural model is organized within a data structure.
  • the data structure includes several types of elements, including element types "elementary tasks".
  • Elementary task element types include less the following data: representative data of the action, data representative of the object of the action, data representative of a reaction and data representative of one or more subsequent elementary tasks, possibly weighted according to the probability of occurrence of these following elementary tasks.
  • this procedural model is more or less correlated with the virtual world itself, and therefore with all the virtual objects that make up this world.
  • the degree of correlation of the set of elementary tasks depends on the number of elementary tasks involving the implementation of an object of the virtual world, and therefore the description of the virtual world itself.
  • the procedural model is strongly correlated with the virtual world when the number of elemental tasks that influence one or more objects in the virtual world is important.
  • the procedural model is weakly correlated with the virtual world when the number of elementary tasks having an influence on one or more objects of the virtual world is weak. As will be noted later, this distinction is relatively important in terms of defining the procedural model. Simulations involving little interaction with the environment are easier to implement than simulations involving many interactions with the environment.
  • the system of the invention has a model for creating sets of elementary tasks.
  • This module uses one or more descriptions of the real environment to be modeled. This module for creating all the elementary tasks is described in more detail below.
  • Descriptions of the environment are made through a suitable description module.
  • This description module comprises an input module comprising input means and a graphical interface comprising description display means.
  • Such a description module takes for example the form of a dedicated application, installed for example on a tablet or a laptop, to enter the description of the environment.
  • a description of the environment in general, is of two types of elements: a physical description, including for example a description of the elements making up the physical environment and a procedural description (or event), including the description of how users interact with the environment to perform one or more given tasks.
  • the procedural model creation module uses, as input, a procedural description of the environment. In the context of the invention, this procedural description is based on a physical description previously produced and integrated within the description module.
  • the description module In addition to a physical description of the environment, the description module also takes a procedural description grammar.
  • This grammar of procedural description makes it possible to define a suitable description reference frame.
  • This grammar can also be called ontology. It defines the basics of the description, namely a common description language that can be used to describe how the procedures are actually implemented or how the events are chained together. These are axioms that are considered true to describe this or that event or procedure.
  • the ontology of course, is adapted to the procedures or events that one wishes to describe. In the case of a description of a part replacement procedure on a vehicle, the ontology defines the language to describe the replacement procedure and is based on a physical description of a set or a subset of parts of an engine.
  • the description module through the input module, is used to describe the different steps required to replace the part using the previously defined ontology, for example: remove the water pump with the aid of a key of 12; rotate the flywheel using your hand; lock the flywheel in a blocking position by means of a locking device; remove the timing belt by hand; install a new timing belt; mount a new water pump; mount the belt on the new water pump; unlock the flywheel.
  • the procedure of replacing a timing belt is thus described, in procedural terms, based on a physical description (the elements of the engine, the necessary tools) and on a grammar (remove, rotate, block, mount, unblock , using, ).
  • the module for creating the procedural model comprises as input a set of descriptive records made with the recording module.
  • the procedural model creation module based on the descriptive records, determines elementary tasks to implement real or realistic procedures.
  • the model for creating all the elementary tasks is based on the descriptions to identify the phases, steps and sub-steps necessary for the implementation of the procedures. It proceeds by iterative analysis and classification of the recordings. In a complementary manner, it determines, in the procedural model produced, sequences of possible steps and sub-stages, corresponding to procedures not necessarily recorded, but "realistic" procedures. This may correspond for example to a series of steps to perform a procedure, this sequence not corresponding to a sequence recorded in one of the descriptions. Thus, it is on the basis of this procedural model that intervention scenarios can be constructed. They correspond to the implementation of a subset of the procedural model to achieve a given result.
  • the replacement of the timing belt may not include the blocking of the flywheel or includes re blocking the flywheel at the beginning of the operation (before any disassembly). If several different records of the disassembling procedure of the timing belt have been made, then the module for creating all basic tasks can, for a descriptive scenario "replacement of timing belt", indicate that (a ) the step of locking the flywheel is optional; and (b) it can take place after the disassembly of the water pump.
  • the system of the invention is implemented to perform simulations of surgical procedures. More particularly, in this embodiment, attempts are made to simulate the interaction between different members of a surgical interventional team for training purposes. It is thus possible to train nursing teams for a specific intervention performed by a virtual surgeon. It is also possible to train a surgeon to practice a specific procedure that he has not yet had the opportunity to practice (alone). In this mode of realization it is proposed to automate the production of virtual training scenarios (virtual training) and facilitate their exploitation in Virtual Reality, in fields where the scenarios are complex and variable and must nevertheless be realistic.
  • a scenario is therefore a procedural description that can describe processes at different levels of granularity (typically “complete procedure”, “phase”, “procedural step”, “elementary action”).
  • the model allows to specify the type of action performed (for example, incising), the object on which it is worn (for example, the patient's skin), the instrument used (for example , a scalpel), the actor who intervenes, and if it is a human actor to specify the part of the body put into play, for example, the surgeon's right hand.
  • the first phase of the method is a descriptive phase in which one or more descriptions of surgical procedures are performed.
  • Surgical procedure descriptions are based on an ontology as a description language. These descriptions can be made by observation, by interviews, from post-operative reports or automatically. By observation, an operator observes what the actor realizes and describes his understanding of the scenario. This observation can be made during the surgical or delayed procedure, from video recordings of the procedure.
  • interviews the actor or a group of actors (human, in this case) explains what he usually does and the interviewer records this description on a suitable device that allows to transcribe the description made with the help of the ontology previously defined. Descriptions can also be generated automatically by the use of action sensors, actors, instruments or other effectors.
  • the interpretation of the sensor signals generates a description of the procedure.
  • the descriptions can relate to the preoperative vision of the procedure (what one thinks to realize), the intraoperative vision (what one realizes) or the postoperative vision (what one realized). We can also describe what we should have done (ideal procedure).
  • the second phase of the method is an analytic phase in which the descriptions are analyzed.
  • the description corpus (corresponding to a single theoretical procedure) is analyzed to create a generic, generative model capable of generating new fictitious examples, reproducing the diagrams observed in real examples. This is, for example, a Test & Flip method.
  • Test & Flip networks are a restriction of Petri nets in all Booleans. This eliminates processes or an action is followed by another a number of times varying from one example to another.
  • transitions possible between a state (place) and a transition (event) There are six types of transitions possible between a state (place) and a transition (event): the orthogonal transition (one does not do anything), the flip transition (whatever the state of the place, 0 or 1, one complements the state), the transition plus (if the place is at zero, we complement), the transition less (if the place is at 1, we complement), the transition 0 (we test if the state is at 0, but we do nothing) and transition 1 (we test if the state is 1 but we do nothing).
  • the principle of synthesis is to find the Test & Flip network which represents the smallest language in which is included the language represented by the examples provided in input. That is, find a set of places and transitions that best represent our process. This is what leads to generalization, because when it is not possible to solve the problem directly, we add states in the set of starting processes, which amounts to increasing the language.
  • This model includes a number of phases, steps and sub-steps that correspond to a possible procedure, possibly with feedback loops and complementary steps (depending on the amount of descriptive records used and discrepancies between records ). For example, based on a set of descriptions of a corneal transplant procedure, a generic corneal transplant model is created.
  • the proposed modification which exploits the ontology, makes it possible to insert (then to use) complementary data within a generic model: for example the fact that an action class can be realized only by certain classes actors or still, that some elementary actions suppose that an elementary action of a certain type has been carried out beforehand, or that certain actions require the use of particular instruments, etc.
  • the instances are connected to classes of the ontology, themselves located in a complete taxonomy, organized by means of axioms expressed in a logical language.
  • entities associated with instances are no longer simple labels but convey rich semantics specific to the domain under consideration.
  • the procedural model obtained carries a meaning of the actions that compose it.
  • such a procedural model makes it possible to manage hierarchical aspects and multi-actor aspects, in particular by associating, for a given action or class of action, a particular actor class or actor.
  • the ontology can be formalized in a language of representation of knowledge belonging to the Logic Description (DL) family, which constitutes a decidable fragment of the logic of the first order. It can be expressed using OWL ("Ontology Web Language"), a language that makes it easy to share ontologies on the web.
  • DL Logic Description
  • OWL Ontology Web Language
  • “Virtual Reality” of a scenario in the form of a virtual training is based: on the one hand, on a representation, in a virtual environment, elements belonging to ontology classes. This step expresses in the form of three-dimensional virtual objects and interaction relations between these objects, the elementary actions of the scenario model (for example objects, instruments, actors).
  • the scenario (produced by the extension of Test & Flip) is used directly as an interactive simulation control tool allowing to place one or several real or virtual users in a virtual collaborative training situation.
  • the method may also include a step of creating a scenario chosen from the procedural model.
  • this scenario will be followed by the actor or virtual actors.
  • free mode the real actor can perform any action and any scenario freely; the virtual actors react according to and in coherence with the procedural model.
  • the method thus allows the execution of the set by establishing a chain which, starting from a 3D interaction of the actor, triggers the advancement of the domain process by a change of state of the scenario engine which in its tour triggers the virtual realization of the action in the 3D environment.
  • the change of state of the scenario engine is effective when the action of the real user is valid, ie it is represented by a transition contained in the space of the possible scenarios. In case of invalid action, a specific treatment can be integrated according to the requirements of the domain.
  • a device used to obtain a scenario simulation is described according to the method described previously.
  • a device may be in the form of a module as previously described.
  • the device comprises a memory 31 consisting of a buffer memory, a processing unit 32, equipped for example with a microprocessor, and driven by the computer program 33, implementing a simulation method.
  • the code instructions of the computer program 33 are for example loaded into a memory before being executed by the processor of the processing unit 32.
  • the processing unit 32 receives as input a description of the virtual environment, a procedural model and / or a scenario.
  • the microprocessor of the processing unit 32 implements the steps of the method according to the instructions of the computer program 33 to generate data representative of the actions to be performed or to be performed by real or virtual users of the simulation in order to conduct the scenario or the planned intervention.
  • the device comprises, in addition to the buffer memory 31, communication means, such as network communication modules, data transmission means and possibly an encryption processor.
  • communication means such as network communication modules, data transmission means and possibly an encryption processor.
  • These means may be in the form of a particular processor implemented within the device, said processor being a secure processor. According to one particular embodiment, this device implements a particular application q ui is in charge of calculations.
  • such a device comprises:
  • a module configured to obtain (10) a representative data structure (SDREO) of a set of objects (EO) dud it virtual environment (EV), said data structure further comprising at least one interaction relation between minus two objects of said set of objects;
  • SDREO representative data structure
  • EO set of objects
  • EV virtual environment
  • a module configured to receive (20) at least one scenario (S) representative of a procedure to be simulated, said scenario (S) being defined from a descriptive ontology, said at least one scenario being obtained from from minus a previously determined procedural model (PM);
  • the rendering module (30) is driven by a virtual reality engine (31).
  • a virtual reality engine manages the immersive display (using the aforementioned devices) and the actions of the users; it takes as input the physical model of the virtual environment as well as a procedural model and / or a scenario.
  • the system also includes interaction devices (sensors, cameras, %) and sensory reproduction (generators of mages, screen, sound card, speakers, %)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

La technique décrite se rapporte à un module de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, ledit environnement virtuel étant mis en oeuvre par l'intermédiaire d'un dispositif de traitement de données d'environnement virtuel (IMER). Un tel module comprend : un module configuré pour obtenir ( 10) une structure de données représentative (SDREO) d'un ensemble d'objets (EO) dudit environnement virtuel (EV), ladite structure de données comprenant en sus au moins une relation d'interaction entre au moins deux objets dudit ensemble d'objets; un module configuré pour recevoir (20) au moins un scénario (S) représentatif d'une procédure à simuler, ledit scénario (S) étant défini à partir d'une ontologie descriptive, ledit au moins un scénario étant obtenu à partir d'au moins un modèle procédural (M P) préalablement déterminé; un module configuré pour restituer (30), au sein dudit environnement virtuel ( EV), au moins une portion dudit scénario en fonction dudit ensemble d'objets dudit environnement virtuel, dudit au moins un modèle procédural et d'au moins une action réalisée par au moins un utilisateur réel dudit environnement virtuel.

Description

Système de Simulation, dispositifs, méthodes et programmes correspondants.
1. Domaine de l'invention
L'invention se rapporte au domaine de la simulation. L'invention se rapporte plus particulièrement au domaine de la simulation dans des environnements de réalité virtuelle. L'invention prend plus particulièrement place dans le domaine de la simulation réaliste dans des environnements de réalité virtuelle représentatifs d'environnements réels, notamment destinés aux formations professionnelles.
2. Art antérieur
Le domaine de la réalité virtuelle a été largement investigué depuis de nombreuses années. La réalité virtuelle se définit comme une simulation informatique interactive immersive, visuelle et/ou sonore et/ou haptique, d'environnements. Les environnements en q uestion peuvent être réels ou imaginaires. La simulation est dite interactive car à la différence d'un simple spectateur, l'utilisateur interagit avec l'environnement virtuel. La simulation est d ite immersive car elle plonge l'utilisateur dans un environnement différent de l'environnement réel dans lequel ils se trouvent. La simulation est visuelle et/ou sonore et/ou haptique car l'utilisateur est généralement munis d'équipements de reprod uction visuels et sonores (comme un casque de réalité virtuel reproduisant sons et images) et d'équipements de reprod uction des sensations physiques, et notamment le toucher, par l'intermédiaire de gants, de combinaisons ou de systèmes actifs convenant à cette utilisation.
La finalité de la réalité virtuelle est de permettre à un utilisateur une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, q ui peut être notamment une simulation de certains aspects du monde réel.
Récemment, notamment grâce au développement de nouveaux types d'écrans, le domaine de la réalité virtuelle a connu une évolution importante. Ainsi, par exemple, le casque de réalité virtuelle construit par la société Oculus Rift™ permet désormais au grand public d'appréhender la réalité virtuelle de manière simple et peu coûteuse. Ce type de casque est actuellement utilisé pour développer des applications grand public. Ces applications grand public sont principalement des jeux, notamment des dérivés de jeux à la troisième personne (dit FPS pour « First Person Shoot »). L'avantage de ces casques est qu'ils restituent des images en trois dimensions et ainsi permettent à l'utilisateur d'être immergé dans un environnement sonore et visuel imaginaire. L'utilisation d'un tel dispositif pour autre chose que ce type d'application est possible. Cependant, la création d'un environnement virtuel représentatif de la réalité est une tâche plus complexe q ue la modélisation d'un environnement virtuel « imaginaire » : dans le cas d'un environnement réel, l'utilisateur se base sur des références sensorielles précises. Ainsi, la création d'un environnement virtuel représentatif de la réalité nécessite des processus de modélisation plus élaborés dans lesquels sont pris en compte d'une part les objets physiques réels (qu'il faut modéliser afin q u'ils soient conformes à la réalité) et d'autre part les lois physiques définissant l'interaction entre ces objets (afin que l'interaction de ces objets dans le monde virtuel soit identique à l'interaction de ces objets dans le monde réel). Pour cette deuxième partie, cependant, il est possible de faire appel aux moteurs de physique existants qui modélisent relativement bien l'interaction entre des objets, quels q u'ils soient.
I l reste cependant des d ifficultés de modélisation. Bien que la modélisation de l'environnement issu du mode réel soit possible, la modélisation des actions de l'utilisateur sur l'environnement issu d u mode réel (et l'inverse) est beaucoup plus complexe. Pour reprendre le parallèle avec les jeux vidéo, le moteur de jeu gère les actions possibles sur l'environnement virtuel. Ce moteur comporte un certain nombre de contraintes et de limitations q ui sont en général souhaitées pour obtenir un jeux vidéo rapide et pas trop compliqué : les actions se limitent généralement aux mouvements gauche, droite, avant, arrière, haut, bas, saisir objet, tirer, courir, sauter, etc. Les interactions avec des personnes sont généralement peu nombreuses.
Ce n'est pas le cas pour le monde réel. L'utilisateur immergé dans le monde virtuel représentatif de la réalité s'attend à pouvoir réaliser les actions qu'il souhaite, de la même manière qu'il le ferait dans le monde réel. Sans aller jusqu'à imaginer une infinité d'actions possibles, le nombre d'actions de l'utilisateur dans le monde virtuel doit être élevé et réaliste. Par ailleurs les conséquences d'actions menées par l'utilisateur doivent également être prises en compte par le moteur de gestion de l'environnement virtuel. Par exemple, pour que l'environnement virtuel puisse être utilisé à des fins de formation (formation à l'utilisation d'outils ou formation à des techniques d'intervention ou formation à de la conduite ou formation à des procédures complexes), il est nécessaire q ue les enchaînements des actions, leurs conséquences, soient correctement gérées par le moteur du simulateur, ce qui est rarement le cas à ce jour. 3. Résumé de l'invention
La technique décrite ne comprend pas au moins certains de ces inconvénients de l'art antérieur. Selon un premier aspect, la technique décrite se rapporte à un module de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, ledit environnement virtuel étant mis en oeuvre par l'intermédiaire d'un dispositif de traitement de données d'environnement virtuel.
Le module de simulation comprend :
un module configuré pour obtenir une structure de données représentative d'un ensemble d'objets dudit environnement virtuel, ladite structure de données comprenant en sus au moins une relation d'interaction entre au moins deux objets dudit ensemble d'objets ;
un module configuré pour recevoir au moins un scénario représentatif d'une procédure à simuler, ledit scénario étant défini à partir d'une ontologie descriptive, ledit au moins un scénario étant obtenu à partir d'au moins un modèle procédural préalablement déterminé ;
un module configuré pour restituer, au sein dudit environnement virtuel, au moins une portion dudit scénario en fonction dudit ensemble d'objets dudit environnement virtuel, dudit au moins un modèle procédural et d'au moins une action réalisée par au moins un utilisateur réel dudit environnement virtuel.
Selon un deuxième aspect, la technique décrite se rapporte à un système de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, ledit environnement virtuel étant mis en oeuvre par l'intermédiaire d'un dispositif de traitement de données d'environnement virtuel ; le système comprend :
un module de description d'environnement, configuré pour délivrer au moins une description d'une procédure réelle dans l'environnement réel en fonction d'au moins une ontologie de domaine ;
un module de création de modèle procédural, configurer pour créer, en fonction d'au moins une description de l'environnement réel à modéliser et délivrant un modèle procédural matérialisant des conditions et des transitions entre des étapes de procédures.
Selon une caractéristique particulière, le module de description d'environnement procédural comprend : un accès à un espace de stockage comprenant une description physique d'un environnement dans lequel une procédure à décrire prend place ;
un accès à un espace de stockage comprenant une grammaire de description procédurale, dite ontologie de domaine ;
un module de saisie, comprenant des moyens de saisie et une interface graphique comprenant des moyens de visualisation de descriptions, ledit module de saisie étant configuré pour mettre en oeuvre ladite description physique de l'environnement et ladite ontologie de domaine pour produire au moins une description d'une procédure réelle ;
Selon une caractéristique particulière, le module de création de modèle procédural comprend :
un accès à un espace de stockage comprenant une description physique de l'environnement dans lequel la procédure interventionnelle prend place ;
un accès à un espace de stockage comprenant une grammaire de description procédurale, dite ontologie de domaine ;
un accès à un espace de stockage comprenant une pluralité de description de procédures réelles ;
un module d'analyse configuré pour analyser, en fonction de ladite ontologie de domaine, chaque description de procédure réelle de pluralité de description de procédures réelles, pour créer un modèle procédural matérialisant des conditions et des transitions entre des étapes de procédures.
Selon une caractéristique particulière, le système de simulation comprend en outre :
un module de simulation tel que décrit préalablement ;
un dispositif immersif, dit de réalité virtuelle, comprenant une salle immersive et/ou au moins un casque de réalité virtuelle.
Selon un autre aspect, la technique décrite se rapporte également à un procédé de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, ledit environnement virtuel étant mis en oeuvre par l'intermédiaire d'un dispositif de traitement de données d'environnement virtuel. Un tel procédé de simulation comprend : une étape d'obtention d'une structure de données représentative d'un ensemble d'objets dudit environnement virtuel, ledit ensemble d'objets étant défini à partir d'une ontologie descriptive ou d'un langage formel, lad ite structure de données comprenant en sus au moins une relation d'interaction entre au moins deux objets dudit ensemble d'objets ;
une étape de réception d'au moins un scénario représentatif d'une procédure à simuler, ledit au moins un scénario étant obtenu à partir d'au moins un modèle procédural préalablement déterminé ;
au moins une étape de restitution, au sein dud it environnement virtuel, d'au moins une portion dudit scénario en fonction dud it ensemble d'objets dudit environnement virtuel, d udit au moins un modèle procédural et d'au moins une action réalisée par au moins un utilisateur réel dudit environnement virtuel.
Selon une implémentation préférée, les différentes étapes des procédés selon l'invention sont mises en oeuvre par un ou plusieurs logiciels ou programmes d'ordinateur, comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un mod ule relais selon l'invention et étant conçu pour commander l'exécution des d ifférentes étapes des procédés.
En conséquence, l'invention vise aussi un programme informatique, susceptible d'être exécuté par un ordinateur ou par un processeur de données, ce programme comportant des instructions pour commander l'exécution des étapes d'un procédé tel q ue mentionné ci-dessus.
Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code interméd iaire entre code source et code objet, tel q ue dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention vise aussi un support d'informations lisible par un processeur de données, et comportant des instructions d'un programme tel q ue mentionnées ci-dessus.
Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disq uette (floppy dise), un d isque d ur, un SSD, etc. D'autre part, le support d'information peut être un support transmissible tel qu'un signal électrique ou optique, q ui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'information peut être un circuit intégré (type ASIC ou FPGA) dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution d u procédé en question.
Selon un mode de réalisation, l'invention est mise en oeuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, le terme "module" peut correspondre dans ce document aussi bien à un composant logiciel, q u'à un composant matériel ou à un ensemble de composants matériels et logiciels.
Un composant logiciel correspond à un ou plusieurs programmes d'ord inateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonctions, selon ce q ui est décrit ci-dessous pour le module concerné. Un tel composant logiciel est exécuté par un processeur de données d'une entité physique (terminal, serveur, passerelle, routeur, etc.) et est susceptible d'accéder aux ressources matérielles de cette entité physique (mémoires, supports d'enregistrement, bus de communication, cartes électroniq ues d'entrées/sorties, interfaces utilisateur, etc.).
De la même manière, un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en oeuvre une fonction ou un ensemble de fonctions, selon ce qui est décrit ci-dessous pour le module concerné. I l peut s'agir d'un composant matériel programmable ou avec processeur intégré pour l'exécution de logiciel, par exemple un circuit intégré, une carte à puce, une carte à mémoire, une carte électronique pour l'exécution d'un micrologiciel (firmware), etc.
4. Dessins
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante, donnée à titre d'exemple indicatif et non limitatif, et des dessins annexés, dans lesquels :
- la figure 1 présente les principales étapes de la techniq ue proposée ;
La figure 2 représente schématiquement un système de simulation ; La figure 3 représente schématiquement un dispositif mis en oeuvre pour obtenir une simulation de scénario.
5. Description
5.1. Principe général
Comme explicité, la technique a pour objectif la formation de personnels dans un environnement virtuel reproduisant des conditions réelles d'intervention. L'invention se rapporte plus spécifiquement à un procédé de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, ledit environnement virtuel étant mis en oeuvre par l'intermédiaire d'un dispositif de traitement de données d'environnement virtuel (SYST).
Un tel procédé comprend. :
une étape d'obtention (10) d'une structure de données représentative (SDREo) d'un ensemble d'objets (EO) dudit environnement virtuel (EV), ladite structure de données comprenant au moins une relation d'interaction entre au moins deux objets dudit ensemble d'objets ;
une étape de réception (20) d'au moins un scénario (S) représentatif d'une procédure à simuler ledit scénario (S) étant défini à partir d'une ontologie descriptive, ledit au moins un scénario (S) étant obtenu à partir d'au moins un modèle procédural (MP) préalablement déterminé ;
- au moins une étape de restitution (30), au sein dudit environnement virtuel (EV), d'au moins une portion dudit scénario (S) en fonction dudit ensemble d'objets dudit environnement virtuel et d'au moins une action (Ac) réalisée par au moins un utilisateur (Usr) réel dudit environnement virtuel (EV).
Un système correspondant à une mise en oeuvre de la technique est décrit en relation avec la figure 2.
Un tel système (SYST) comprend, dans un mode de réalisation :
un module de description (DESCR) d'environnement. Ce module permet de décrire des procédures, unitaires, qui sont effectivement mises en oeuvre. Ce module peut s'appeler également s'appeler module de description procédural/événementiel ; ce module prend en entrée une ou plusieurs descriptions de l'environnement réel à modéliser. Il se base sur d'une part une description physique initiale, comprenant un certain nombre de descriptions d'objets de l'environnement virtuel et une grammaire de description procédurale, également appelée ontologie ; Le module de description prend également en entrée une ontologie de domaine II produit, en sortie, une description d'une ou plusieurs procédures réelles ou idéales, appelées procédures décrites (PrDecs). Ainsi, le module de description (DESCR) comprend :
un accès à un espace de stockage comprenant une description physique d'un environnement dans lequel une procédure à décrire prend place ; un accès à un espace de stockage comprenant une grammaire de description procédurale, dite ontologie de domaine ;
un module de saisie, comprenant des moyens de saisie et une interface graphique comprenant des moyens de visualisation de descriptions, ledit module de saisie étant configuré pour mettre en oeuvre ladite description physique de l'environnement et ladite ontologie de domaine pour produire au moins une description d'une procédure réelle ;
Les espaces de stockage sont éventuellement partagés ou commun avec les autres modules.
un module de création (MODP) de modèle procédural. Ce module utilise une ou plusieurs descriptions de procédures réelles ou idéales; il délivre un modèle procédural matérialisant des conditions et des transitions entre des étapes de procédures; ce modèle dépend de l'ontologie ; le module de création de modèle procédural comprend ainsi :
un accès à un espace de stockage comprenant une description physique de l'environnement dans lequel la procédure interventionnelle prend place ; un accès à un espace de stockage comprenant une pluralité de descriptions de procédures réelles ;
un module d'analyse configuré pour analyser, en fonction de ladite ontologie de domaine, chaque description de procédure réelle de pluralité de description de procédures réelles, pour créer un modèle procédural (MP) matérialisant des conditions et des transitions entre des étapes de procédures.
De manière complémentaire, un tel système (SYST) comprend en outre : un module de simulation (SIMU) mettant en oeuvre le procédé décrit préalablement ;
un système immersif (IMER), dit de réalité virtuelle, comprenant par exemple une salle immersive et/ou des casques de réalité virtuelle et/ou d'autres dispositifs d'immersion ; ce système immersif (IMER) est piloté par un moteur (ENG) de réalité virtuelle. Un tel moteur gère l'affichage immersif (à l'aide des dispositifs précités) et les actions des utilisateurs ; il prend en entrée le modèle physique de l'environnement virtuel ainsi que les sorties produites par le module de simulation.
Un scénario d'intervention (ou de formation) se base typiquement sur un modèle procédural ou un sous ensemble du modèle procédural et il comprend l'exécution d'une série d'étapes qui doivent être mises en oeuvre par un utilisateur (qu'il soit réel ou virtuel) dans la cadre de la simulation de la procédure interventionnelle (procédure de travail, procédure d'intervention en milieu spécifique, procédure chirurgicale, etc.).
La technique proposée se rapporte également à divers procédés utilisés dans les dispositifs précités. La première phase de la méthode est une phase descriptive dans laquelle une ou plusieurs descriptions de procédures sont réalisées. La deuxième phase de la méthode est une phase analytique dans laquelle les descriptions sont analysées.
Ainsi, dans un mode de réalisation, la technique consiste à créer et à fournir au moteur de réalité virtuelle, des tâches élémentaires représentatives d'actions cohérentes et réalistes, réunies dans le modèle procédural. Ces tâches élémentaires permettent par la suite de réaliser, au sein d'un environnement virtuel, une simulation d'une situation réelle ou à tout le moins réaliste à l'aide d'un scénario préétabli et de comprendre ou de suivre le scénario suivi par l'acteur ou les acteurs réels. L'objectif du système étant de permettre à des utilisateurs réels de se former, dans un environnement virtuel, à diverses situations pouvant se dérouler au sein d'un environnement réel donné. Le système de la présente technique trouve par exemple une application dans la formation d'équipe intervenant dans un milieu confiné et contrôlé telle que des équipes d'intervention dans des sites sensibles (centrale nucléaire, usine de traitement chimique). Ce système trouve également une application pour des équipes chirurgicales afin que celles-ci puissent se former à des procédures d'intervention sur des patients. Ce système trouve également une application pour la formation de personnels de sécurité et ou de personnels d'intervention technique ou de maintenance (garagiste, électriciens, etc.)
Les tâches élémentaires sont fournies parallèlement aux modèles physiques de l'environnement virtuel. Plus spécifiquement, les modèles physiques de l'environnement virtuels sont notamment gérés par un moteur de physique dont l'objectif est de représenter les objets physiques de l'environnement virtuel et leurs interactions. De ce point de vue, le moteur de réalité virtuelle et le moteur de physique diffèrent peu d'un moteur applicatif et d'un moteur de physique d'une application grand public.
Les tâches élémentaires, quant à elles, représentent les interactions entre des individus ou entre les individ us et les objets, q u'ils soient réels ou virtuels. Une tâche élémentaire peut par exemple représenter un type d'action prod uit par un utilisateur réel et la réaction d'un utilisateur virtuel. I nversement, une tâche élémentaire peut représenter un type d'action produit par un utilisateur virtuel et la réaction (attend ue) d'un utilisateur réel. Une tâche élémentaire peut encore représenter un type d'action prod uit par un utilisateur virtuel et la réaction d'un utilisateur virtuel. Une tâche élémentaire peut encore représenter un type d'action produit par un utilisateur réel et la réaction d'un ou plusieurs objets virtuels.
Les tâches élémentaires sont organisées dans un ensemble cohérent de tâches élémentaires, représentant un ensemble d'actions et d'interactions possibles. L'objectif est de disposer d'une représentation ensembliste des différentes tâches élémentaires et de leurs enchaînements afin que le moteur de réalité virtuelle puisse, sur la base d'une action (correspondant à une tâche élémentaire donnée) calculer des réactions correspondantes. Pour une tâche élémentaire donnée, il peut exister plusieurs réactions possibles. Dans ce cas, les réactions sont en quelq ues sortes pondérées en fonction d'observations ultérieures ou antérieures. En fonction des modes de réalisation, des méthodes de sélection probabilistes, statistiq ues ou pseudo aléatoires peuvent être mises en oeuvre pour gérer les enchaînements des actions et réactions sur la base des tâches élémentaires et de leurs enchaînements. En d'autres termes, l'ensemble cohérent de tâches élémentaires représente le champ des possibles.
Le modèle procédural est organisé au sein d'une structure de données. La structure de données comprend plusieurs types d'éléments, dont des types d'éléments « tâches élémentaires ». Les types d'éléments tâches élémentaires comprennent au moins les données suivantes : donnée représentative de l'action, donnée représentative de l'objet de l'action, donnée représentative d'une réaction et donnée représentative d'une ou plusieurs tâches élémentaires suivantes, éventuellement pondérées en fonction de la probabilité d'occurrence de ces tâches élémentaires suivantes.
Bien entendu, ce modèle procédural est plus ou moins corrélé au monde virtuel lui-même, et donc à l'ensemble des objets virtuels composant ce monde. Le degré de corrélation de l'ensemble de tâches élémentaires dépend du nombre de tâches élémentaires impliquant la mise en œuvre d'un objet du monde virtuel, et donc de la description du monde virtuel lui-même. Le modèle procédural est fortement corrélé au monde virtuel lorsque le nombre de tâches élémentaires ayant une influence sur un ou plusieurs objets du monde virtuel est important. Le modèle procédural est faiblement corrélé au monde virtuel lorsque le nombre de tâches élémentaires ayant une influence sur un ou plusieurs objets du monde virtuel est faible. Comme on pourra le noter par la suite, cette distinction est relativement importante en termes de définition du modèle procédural. Les simulations impliquant peu d'interaction avec l'environnement sont plus simple à mettre en œuvre que les simulations impliquant de nombreuses interactions avec l'environnement.
Comme le moteur de réalité virtuelle utilise ce modèle procédural, il est nécessaire de disposer d'une méthode de création de ce modèle procéd ural.
Ainsi, le système de l'invention dispose d'un mod ule de création d'ensembles de tâches élémentaires. Ce module utilise une ou plusieurs descriptions de l'environnement réel à modéliser. Ce module de création de l'ensemble des tâches élémentaires est décrit de manière plus détaillée par la suite.
Les descriptions de l'environnement sont réalisées par l'intermédiaire d'un module de description adapté. Ce module de description comprend un module de saisie, comprenant des moyens de saisie et une interface graphique comprenant des moyens de visualisation de descriptions. Un tel module de description prend par exemple la forme d'une application dédiée, installée par exemple sur une tablette ou sur un ordinateur portable, pour permettre de saisir la description de l'environnement.
Une description de l'environnement, d'une manière générale, est de deux types d ifférents : une description physique, comprenant par exemple une description des éléments composant l'environnement physiq ue et une description procédurale (ou événementielle), comprenant la description de la manière dont les utilisateurs interagissent avec l'environnement pour réaliser une ou plusieurs tâches données. Le module de création du modèle procédural utilise, comme entrée, une description procédurale de l'environnement. Dans le cadre de l'invention, cette description procédurale se base sur une description physique préalablement réalisée et intégrée au sein du module de description.
Outre une description physique de l'environnement, le module de description prend également en entrée une grammaire de description procédurale. Cette grammaire de description procédurale permet de définir un référentiel de description adaptée. Cette grammaire peut également être appelée ontologie. Elle définit les bases de la description, à savoir un langage de description commun pouvant être utilisé pour décrire la manière dont les procédures sont réellement mise en oeuvre ou la manière dont les événements s'enchaînent. Il s'agit d'axiomes que l'on considère vrai pour décrire tel ou tel événement ou telle ou telle procédure. L'ontologie, bien entendu, est adaptée aux procédures ou aux événements que l'on souhaite décrire. Dans le cas d'une description d'une procédure de remplacement d'une pièce sur un véhicule, l'ontologie permet de définir le langage pour décrire la procédure de remplacement et elle se base sur une description physique d'un ensemble ou d'un sous ensemble de pièces d'un moteur. Elle inclut les concepts (les termes), leurs attributs, les relations entre concepts et des règles logiques du domaine. Le module de description, au travers du module de saisie, permet de décrire les différentes étapes nécessaires au remplacement de la pièce à l'aide de l'ontologie préalablement définie, comme par exemple : ôter la pompe à eau à l'aide d'une clé de 12 ; faire tourner le volant moteur à l'aide de la main ; bloquer le volant moteur dans une position de blocage à l'aide d'un dispositif de blocage ; ôter la courroie de distribution à la main ; poser une nouvelle courroie de distribution ; monter une nouvelle pompe à eau ; monter la courroie sur la nouvelle pompe à eau ; débloquer le volant moteur. La procédure de remplacement d'une courroie de distribution est ainsi décrite, en termes procéduraux, en se basant sur une description physique (les éléments du moteur, les outils nécessaires) et sur une grammaire (ôter, faire tourner, bloquer, monter, débloquer, à l'aide de, ...). Le cas illustré ci-dessus est un cas simple. Un cas plus complexe est décrit dans le mode de réalisation. Quel que soit le moyen utilisé, le module de création du modèle procédural comprend en entrée un ensemble d'enregistrements descriptifs réalisés avec le module d'enregistrement. Le module de création du modèle procédural, sur la base des enregistrements descriptifs, détermine des tâches élémentaires pour mettre en oeuvre des procédures réelles ou réalistes.
Pour ce faire, le mod ule de création de l'ensemble des tâches élémentaires se base sur les descriptions pour identifier les phases, étapes, sous étapes nécessaires à la mise en œuvre des procéd ures. Il procède par analyse itérative et classement des enregistrements. De manière complémentaire, il détermine, dans le modèle procédural prod uit, des enchaînements d'étapes et de sous étapes possibles, correspondants à des procédures non nécessairement enregistrées, mais des procédures « réalistes ». Cela peut correspondre par exemple à un enchaînement d'étapes pour effectuer une procédure, cet enchaînement ne correspondant pas à un enchaînement enregistré dans une des descriptions. Ainsi, c'est sur la base de ce modèle procédural que des scénarios d'intervention peuvent être construits. Ils correspondent à la mise en oeuvre d'un sous- ensemble de modèle procédural pour atteindre un résultat donné.
Ainsi, pour reprend re l'exemple précédent, le remplacement de la courroie de d istribution peut ne pas comprendre le blocage du volant moteur ou encore comprend re le blocage du volant moteur au début de l'opération (avant tout démontage). Si plusieurs enregistrements d ifférents de la procédure de démontage de la courroie de distribution ont été réalisés, alors le module de création de l'ensemble des tâches élémentaires peut, pour un scénario descriptif « remplacement de courroie de distribution », indiq uer que (a) l'étape de blocage d u volant moteur est optionnelle ; et (b) qu'elle peut avoir lieu après le démontage de la pompe à eau.
5.2. Description d'un mode de réalisation
Dans ce mode de réalisation, le système de l'invention est mis en oeuvre pour réaliser des simulations d'interventions chirurgicales. Plus particulièrement, dans ce mode de réalisation, on cherche à simuler l'interaction entre différents membres d'une éq uipe d'intervention chirurgicale à des fins de formation. Il est ainsi possible de former des équipes d'infirmiers à une intervention spécifiq ue réalisée par un chirurgien virtuel. I l est également possible de former un chirurgien à la pratique d'une intervention spécifiq ue qu'il n'a pas encore eu l'occasion de pratiquer (seul). Dans ce mode de réalisation on se propose d'automatiser la production de scénarios de formation virtuelle (« virtual training ») et faciliter leur exploitation en Réalité Virtuelle, dans des domaines où les scénarios sont complexes et variables et doivent néanmoins être réalistes.
I l inclut l'utilisation d'un corpus d'exemples de procéd ures réelles, décrites selon un modèle de description conforme à une ontologie de domaine.
Un scénario est donc une description de procédure pouvant décrire des processus à différents niveaux de granularité (typiq uement « procédure complète », « phase », « étape de procéd ure », « action élémentaire »). Par exemple, pour chaque action élémentaire le modèle permet de spécifier le type d'action réalisée (par exemple, inciser), l'objet sur leq uel elle porte (par exemple, la peau du patient), l'instrument utilisé (par exemple, un bistouri), l'acteur qui intervient, et si c'est un acteur humain de préciser la partie d u corps mise en jeu, par exemple, la main d roite du chirurgien. Ces actions étant repérées dans le temps et dans l'espace, ces modèles permettent de décrire tout le déroulement de la procéd ure.
La première phase de la méthode est une phase descriptive dans laquelle une ou plusieurs descriptions de procédures chirurgicales sont réalisées. Les descriptions de procéd ures chirurgicales se basent sur une ontologie en tant que langage de description. Ces descriptions peuvent être réalisés par observations, par interviews, à partir de compte rendus post opératoires ou automatiquement. Par observation, un opérateur observe ce q ue réalise l'acteur et décrit sa compréhension d u scénario. Cette observation peut être réalisée pendant la procéd ure chirurgicale ou en différé, à partir d'enregistrements vidéo de la procéd ure. Par interviews, l'acteur ou un groupe d'acteurs (humain, dans ce cas) explique ce qu'il fait généralement et l'interviewer enregistre cette description sur un d ispositif adapté qui permet de retranscrire la description faite à l'aide de l'ontologie préalablement définie. Les descriptions peuvent aussi être générées de façon automatique par l'utilisation de senseurs d'action, d'acteurs, d'instruments ou d'autres effecteurs. L'interprétation des signaux de senseurs génèrent une description de la procéd ure. Les descriptions peuvent concerner la vision pré opératoire de la procédure (ce que l'on pense réaliser), la vision intra opératoire (ce que l'on réalise) ou la vision post opératoire (ce que l'on a réalisé). On peut aussi décrire ce que l'on aurait dû réaliser (procédure idéale).
La deuxième phase de la méthode est une phase analytiq ue dans laq uelle les descriptions sont analysées. Le corpus de description (correspondant à une unique procédure théorique) est analysé pour créer un modèle générique, et génératif capable de générer de nouveaux exemples fictifs, reproduisant les schémas observés dans les exemples réels. Il s'agit, par exemple, d'une méthode Test&Flip. Les réseaux de type Test&Flip sont une restriction des réseaux de Pétri dans l'ensemble des booléens. Cela permet de s'affranchir des processus ou une action est suivie par une autre un certain nombre de fois variant d'un exemple à l'autre. Il y a six types de transitions possible entre un état (place) et une transition (événement) : la transition orthogonale (on ne fait rien), la transition flip (quel que soit l'état de la place, 0 ou 1, on complémente l'état), la transition plus (si la place est à zéro, on complémente), la transition moins (si la place est à 1, on complémente), la transition 0 (on teste si l'état est à 0, mais on fait rien) et la transition 1 (on teste si l'état est à 1 mais on fait rien). À partir d'exemples du processus qui nous intéresse, le principe de la synthèse est de trouver le réseau Test&Flip qui représente le plus petit langage dans lequel est inclus le langage représenté par les exemples fournis en entrée. C'est-à-dire trouver un ensemble de places et de transitions représentant au mieux notre processus. C'est cela qui induit la généralisation, car lorsqu'il n'est pas possible de résoudre le problème directement, on ajoute des états dans l'ensemble de processus de départ, ce qui revient à augmenter le langage.
Ce modèle comprend un certain nombre de phases, d'étapes et de sous étapes qui correspondent à une procédure possible, éventuellement avec des boucles de rétroaction et des étapes complémentaires (en fonction de la quantité d'enregistrements descriptifs utilisés et des divergences entre les enregistrements). Par exemple, sur la base d'un ensemble de descriptions d'une procédure de greffe de cornée, un modèle générique de greffe de cornée est créé.
Pour cette deuxième phase de la méthode générale, on modifie ainsi une méthode
Test&Flip de base pour prendre en compte des connaissances de domaine particulières, représentées dans l'ontologie. En effet, l'information exploitée par l'algorithme Test&Flip de départ ne considère que des entités associées à des instances et identifiées par de simples labels d'entités.
La modification proposée, qui exploite l'ontologie, permet d'insérer (puis d'utiliser) des données complémentaires au sein d'un modèle générique : par exemple le fait qu'une classe d'action ne puisse être réalisée que par certaines classes d'acteurs ou encore q ue certaines actions élémentaires supposent q u'une action élémentaire d'un certain type ait été réalisée au préalable, ou que certaines actions nécessitent l'usage d'instruments particuliers, etc. On exploite également le fait que les instances sont reliées à des classes de l'ontologie, elles-mêmes situées dans une taxonomie complète, organisée grâce à des axiomes exprimés dans un langage logiq ue. De ce fait les entités associées aux instances ne sont plus de simples labels mais véhiculent une sémantique riche, spécifique du domaine considéré. Ainsi, le modèle procédural obtenu porte une signification des actions qui le composent. Par ailleurs, un tel modèle procédural permet de gérer des aspects hiérarchiques et des aspects multi acteurs, notamment en associant, pour une action ou une classe d'action donnée, une classe d'acteur ou un acteur particulier.
L'ontologie peut être formalisée dans un langage de représentation de connaissances appartenant à la famille des Logiques de Description (DL ou « Description Logics »), qui constitue un fragment décidable de la logique d u premier ord re. Elle peut être exprimée en utilisant le langage OWL (« Ontology Web Language »), un langage qui facilite le partage des ontologies sur le web.
Cette extension des possibilités d u Test&Flip, selon l'invention, permet ainsi de contraindre davantage l'espace des scénarios possibles et donc simplifier le travail (réalisé manuellement ou non) de validation d u caractère réaliste des modèles proposés.
En d'autres termes, le procédé d'exploitation dans le système de
« Réalité Virtuelle » d'un scénario sous la forme d'une formation virtuelle est fondé : d'une part, sur une représentation, dans un environnement virtuel, des éléments appartenant aux classes de l'ontologie. Cette étape exprime sous la forme d'objets virtuels tridimensionnels et de relations d'interaction entre ces objets, les actions élémentaires du modèle de scénario (par exemple les objets, les instruments, les acteurs).
d'autre part, le scénario (produit par l'extension d u Test&Flip) est exploité directement comme outil de contrôle de la simulation interactive permettant de placer un ou plusieurs utilisateurs réels ou virtuels en situation de formation virtuelle collaborative.
Le procédé peut aussi comprendre une étape de création d'un scénario choisi à partir du modèle procéd ural. En mode contraint, ce scénario sera suivi par l'acteur ou les acteurs virtuels. En mode libre, l'acteur réel peut réaliser tout action et tout scénario librement ; les acteurs virtuels réagissent en fonction et en cohérence avec le modèle procédural.
Le procédé permet ainsi l'exécution de l'ensemble en établissant une chaîne qui, à partir d'une interaction 3D de l'acteur, déclenche l'avancement du processus du domaine par un changement d'état du moteur de scénario qui à son tour déclenche la réalisation virtuelle de l'action dans l'environnement 3D. Le changement d'état du moteur de scénario est effectif quand l'action de l'utilisateur réel est valide c'est à dire qu'elle est représentée par une transition contenue dans l'espace des scénarios possibles. En cas d'action non valide, un traitement spécifique peut être intégré selon les exigences du domaine.
5.3. Autres caractéristiques et avantages
On décrit, en relation avec la figure 3, un dispositif mis en oeuvre pour obtenir une simulation de scénario, selon le procédé décrit préalablement. Un tel dispositif peut se présenter sous la forme d'un module tel que décrit préalablement. Par exemple, le dispositif comprend une mémoire 31 constituée d'une mémoire tampon, une unité de traitement 32, équipée par exemple d'un microprocesseur, et pilotée par le programme d'ordinateur 33, mettant en oeuvre un procédé de simulation.
À l'initialisation, les instructions de code du programme d'ordinateur 33 sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur de l'unité de traitement 32. L'unité de traitement 32 reçoit en entrée une description de l'environnement virtuel, un modèle procédural et/ou un scénario. Le microprocesseur de l'unité de traitement 32 met en oeuvre les étapes du procédé selon les instructions du programme d'ordinateur 33 pour générer des données représentatives des actions réaliser ou à réaliser par des utilisateurs réels ou virtuels de la simulation afin de conduire le scénario ou l'intervention prévue.
Pour cela, le dispositif comprend, outre la mémoire tampon 31, des moyens de communications, tels que des modules de communication réseau, des moyens de transmission de donnée et éventuellement un processeur de chiffrement.
Ces moyens peuvent se présenter sous la forme d'un processeur particulier implémenté au sein du dispositif, ledit processeur étant un processeur sécurisé. Selon un mode de réalisation particulier, ce dispositif met en oeuvre une application particulière q ui est en charge des calculs.
Ces moyens se présentent également comme des interfaces de communications permettant d'échanger des données sur des réseaux de communication, des moyens d'interrogations et de mise à jour de base de données,...
Plus particulièrement, un tel dispositif comprend :
un module configuré pour obtenir (10) une structure de données représentative (SDREO) d'un ensemble d'objets ( EO) dud it environnement virtuel (EV), ladite structure de données comprenant en sus au moins une relation d'interaction entre au moins deux objets dudit ensemble d'objets ;
un module configuré pour recevoir (20) au moins un scénario (S) représentatif d'une procédure à simuler, ledit scénario (S) étant défini à partir d'une ontologie descriptive, ledit au moins un scénario étant obtenu à partir d'au moins un modèle procédural (M P) préalablement déterminé ;
- un mod ule configuré pour restituer (30), au sein dud it environnement virtuel ( EV), au moins une portion dud it scénario en fonction d udit ensemble d'objets dudit environnement virtuel, d udit au moins un modèle procédural et d'au moins une action réalisée par au moins un utilisateur réel dudit environnement virtuel, le module de restitution (30) est piloté par un moteur (31) de réalité virtuelle. Un tel moteur gère l'affichage immersif (à l'aide des d ispositifs précités) et les actions des utilisateurs ; il prend en entrée le modèle physique de l'environnement virtuel ainsi q u'un modèle procédural et/ou un scénario.
Le système comprend en outre des dispositifs d'interaction (capteurs, caméras, ...) et de restitution sensorielle (générateurs d'mages, écran, carte son, hauts parleurs, ...)

Claims

REVENDICATIONS
1. Module de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, ledit environnement virtuel étant mis en oeuvre par l'intermédiaire d'un dispositif de traitement de données d'environnement virtuel (IMER), ledit module de simulation étant caractérisé en ce qu'il comprend :
un module configuré pour obtenir (10) une structure de données représentative (SDREO) d'un ensemble d'objets (EO) dudit environnement virtuel (EV), ladite structure de données comprenant en sus au moins une relation d'interaction entre au moins deux objets dudit ensemble d'objets ;
un module configuré pour recevoir (20) au moins un scénario (S) représentatif d'une procédure à simuler, ledit au moins un scénario étant obtenu à partir d'au moins un modèle procédural (MP) préalablement déterminé comprenant un ensemble de tâches élémentaires, chaque tâche élémentaire dudit ensemble comprenant des données représentatives d'au moins une action, d'un objet de ladite action, d'une réaction suite à ladite action, et d'une ou plusieurs tâches élémentaires suivantes ;
un module configuré pour restituer (30), au sein dudit environnement virtuel (EV), au moins une portion dudit scénario en fonction dudit ensemble d'objets dudit environnement virtuel, dudit au moins un modèle procédural et d'au moins une action réalisée par au moins un utilisateur réel dudit environnement virtuel.
2. Système de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, ledit environnement virtuel étant mis en oeuvre par l'intermédiaire d'un dispositif de traitement de données d'environnement virtuel, ledit système caractérisé en ce qu'il comprend :
un module de description (DESCR) d'environnement, configuré pour délivrer au moins une description d'une procédure réelle (PrDecs) dans l'environnement réel en fonction d'au moins une ontologie de domaine ;
un module de création (MODP) de modèle procédural, configuré pour créer, en fonction d'au moins une description de l'environnement réel à modéliser, un modèle procédural (MP) matérialisant des conditions et des transitions entre des étapes de procédures, ledit modèle procédural (MP) comprenant un ensemble de tâches élémentaires, chaque tâche élémentaire dudit ensemble comprenant des données représentatives d'au moins une action, d'un objet de ladite action, d'une réaction suite à ladite action, et d'une ou plusieurs tâches élémentaires suivantes .
3. Système de simulation d'une procédure interventionnelle selon la revendication 2, caractérisé en ce que ledit module de description (DESCR) d'environnement procédural comprend :
un accès à un espace de stockage comprenant une description physique d'un environnement dans lequel une procédure à décrire prend place ;
un accès à un espace de stockage comprenant une grammaire de description procédurale, dite ontologie de domaine ;
un module de saisie, comprenant des moyens de saisie et une interface graphique comprenant des moyens de visualisation de descriptions, ledit module de saisie étant configuré pour mettre en oeuvre ladite description physique de l'environnement et ladite ontologie de domaine pour produire au moins une description d'une procédure réelle ;
4. Système de simulation d'une procédure interventionnelle selon la revendication 2, caractérisé en ce que le module de création (MODP) de modèle procédural comprend :
un accès à un espace de stockage comprenant une description physique de l'environnement dans lequel la procédure interventionnelle prend place ;
un accès à un espace de stockage comprenant une grammaire de description procédurale, dite ontologie de domaine ;
un accès à un espace de stockage comprenant une pluralité de description de procédures réelles ;
un module d'analyse configuré pour analyser, en fonction de ladite ontologie de domaine, chaque description de procédure réelle de pluralité de description de procédures réelles, pour créer un modèle procédural (MP) matérialisant des conditions et des transitions entre des étapes de procédures.
5. Système de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, selon la revendication 2, caractérisé en ce qu'il comprend en outre :
un module de simulation (SIMU) selon la revendication 1 ;
un dispositif immersif (IMER), dit de réalité virtuelle, comprenant une salle immersive et/ou au moins un casque de réalité virtuelle.
6. Procédé de simulation d'une procédure interventionnelle au sein d'un environnement virtuel, ledit environnement virtuel étant mis en oeuvre par l'intermédiaire d'un dispositif de traitement de données d'environnement virtuel, ledit procédé de simulation caractérisé en ce qu'il comprend :
une étape d'obtention (10) d'une structure de données représentative (SDREo) d'un ensemble d'objets (EO) dudit environnement virtuel (EV), ledit ensemble d'objets étant défini à partir d'une ontologie descriptive ou d'un langage formel, ladite structure de données comprenant en sus au moins une relation d'interaction entre au moins deux objets dudit ensemble d'objets ;
une étape de réception (20) d'au moins un scénario (S) représentatif d'une procédure à simuler, ledit au moins un scénario étant obtenu à partir d'au moins un modèle procédural (MP) préalablement déterminé comprenant un ensemble de tâches élémentaires, chaque tâche élémentaire dudit ensemble comprenant des données représentatives d'au moins une action, d'un objet de ladite action, d'une réaction suite à ladite action, et d'une ou plusieurs tâches élémentaires suivantes ;
au moins une étape de restitution (30), au sein dudit environnement virtuel (EV), d'au moins une portion dudit scénario en fonction dudit ensemble d'objets dudit environnement virtuel, dudit au moins un modèle procédural et d'au moins une action réalisée par au moins un utilisateur réel dudit environnement virtuel.
7. Produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu'il comprend des instructions de code de programme pour l'exécution d'un procédé de simulatio selon la revendication 1, lorsqu'il est exécuté par un processeur.
EP15804471.9A 2014-12-03 2015-12-02 Système de simulation, dispositifs, méthodes et programmes correspondants Ceased EP3227879A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1461848A FR3029662A1 (fr) 2014-12-03 2014-12-03 Systeme de simulation, dispositifs, methodes et programmes correspondants.
PCT/EP2015/078431 WO2016087555A1 (fr) 2014-12-03 2015-12-02 Système de simulation, dispositifs, méthodes et programmes correspondants

Publications (1)

Publication Number Publication Date
EP3227879A1 true EP3227879A1 (fr) 2017-10-11

Family

ID=53298426

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15804471.9A Ceased EP3227879A1 (fr) 2014-12-03 2015-12-02 Système de simulation, dispositifs, méthodes et programmes correspondants

Country Status (5)

Country Link
US (1) US10282910B2 (fr)
EP (1) EP3227879A1 (fr)
CN (1) CN107209789B (fr)
FR (1) FR3029662A1 (fr)
WO (1) WO2016087555A1 (fr)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10520581B2 (en) 2011-07-06 2019-12-31 Peloton Technology, Inc. Sensor fusion for autonomous or partially autonomous vehicle control
US20170242443A1 (en) 2015-11-02 2017-08-24 Peloton Technology, Inc. Gap measurement for vehicle convoying
US8744666B2 (en) 2011-07-06 2014-06-03 Peloton Technology, Inc. Systems and methods for semi-autonomous vehicular convoys
US10474166B2 (en) 2011-07-06 2019-11-12 Peloton Technology, Inc. System and method for implementing pre-cognition braking and/or avoiding or mitigation risks among platooning vehicles
US10254764B2 (en) 2016-05-31 2019-04-09 Peloton Technology, Inc. Platoon controller state machine
US11294396B2 (en) 2013-03-15 2022-04-05 Peloton Technology, Inc. System and method for implementing pre-cognition braking and/or avoiding or mitigation risks among platooning vehicles
US10369998B2 (en) 2016-08-22 2019-08-06 Peloton Technology, Inc. Dynamic gap control for automated driving
EP3500940A4 (fr) 2016-08-22 2020-03-18 Peloton Technology, Inc. Architecture de système de commande de véhicules connectés automatisée
WO2019051492A1 (fr) * 2017-09-11 2019-03-14 Cubic Corporation Outils et architecture d'environnement virtuel immersif (ive)
CN109543349B (zh) * 2018-12-21 2023-10-24 核动力运行研究所 一种核电模拟机多外挂集成方法
CN111613122A (zh) * 2020-05-19 2020-09-01 威爱医疗科技(中山)有限公司 虚实融合的血管介入手术模拟系统
CN111833462B (zh) * 2020-07-14 2024-05-17 深圳市瑞立视多媒体科技有限公司 基于虚幻引擎的切割方法、装置、设备及存储介质
IT202000020347A1 (it) * 2020-08-24 2022-02-24 Biagi Lorenzo Metodo e relativo strumento per personalizzazione di riesecuzione di sequenze video in un mondo virtuale

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1605420A3 (fr) * 2004-06-09 2010-05-05 Nexter Training Système de formation à l'exploitation, l'utilisation ou la maintenance d'un cadre de travail dans un environnement de realité virtuelle
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
CN101777271A (zh) * 2009-01-13 2010-07-14 深圳市科皓信息技术有限公司 应急培训演练方法和系统
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
CN103678873A (zh) * 2013-09-30 2014-03-26 广州供电局有限公司 化学实验室危险品管理应急预案协同仿真方法及其系统
CN103838922A (zh) * 2014-02-17 2014-06-04 国网吉林省电力有限公司培训中心 安全行为仿真培训系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2016087555A1 *

Also Published As

Publication number Publication date
US20170372521A1 (en) 2017-12-28
CN107209789A (zh) 2017-09-26
US10282910B2 (en) 2019-05-07
CN107209789B (zh) 2021-06-04
FR3029662A1 (fr) 2016-06-10
WO2016087555A1 (fr) 2016-06-09

Similar Documents

Publication Publication Date Title
EP3227879A1 (fr) Système de simulation, dispositifs, méthodes et programmes correspondants
EP2593909A1 (fr) Processeur d'analyse situationnelle
Bonnail et al. Memory manipulations in extended reality
Petre Mental imagery and software visualization in high-performance software development teams
CN111886608A (zh) 以用户为中心的人工智能知识库
Bollinger et al. Multimodel ecologies: cultivating model ecosystems in industrial ecology
Scherr et al. Acceptance testing of mobile applications: Automated emotion tracking for large user groups
KR20220156870A (ko) 확장 현실 레코더
White et al. Memory Tracer & Memory Compass: Investigating Personal Location Histories as a Design Material for Everyday Reminiscence
WO2023286087A1 (fr) Fourniture de recommandations personnalisées en fonction du comportement des utilisateurs d'une plate-forme de commerce électronique
Fleck et al. Teegi, he's so cute: example of pedagogical potential testing of an interactive tangible interface for children at school
Kotrotsios Data, New Technologies, and Global Imbalances: Beyond the Obvious
Gjøsæter Interaction with mobile augmented reality: An exploratory study using design research to investigate mobile and handheld augmented reality
Aminolroaya et al. Watch the videos whenever you have time: Asynchronously involving neurologists in vr prototyping
Gregor et al. Designing knowledge interface systems: past, present, and future
Jabri A Novel Approach for Generating SPARQL Queries from RDF Graphs
Bill et al. URRBP: Workflow for AI Accessibility Through Expert-Driven Prompt Engineering and Intelligent Model Management
Carrascosa et al. Virtual environments 4 mas
Hao Empirically Validating the Threshold Distribution Assumption in Complex Contagion
Caffiau et al. Natural language generation to support the understanding of task models: a preliminary study
Caballero Emotion detection, processing and response through human-machine interaction system modelling
Roh et al. SIG-Net: GNN based dropout prediction in MOOCs using Student Interaction Graph
Azubuike et al. West African Journal of Industrial & Academic Research Vol. 19 No. 2. April 31, 2018 Engineering Research and Production Page No
Heldal et al. Limits of Model Transformations for Embedded Software
FR3118815A1 (fr) Estimation de la progression de l'exécution d'une tâche logicielle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20170529

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: CAILLAUD, BENOIT

Inventor name: JANNIN, PIERRE

Inventor name: LES AUTRES INVENTEURS ONT RENONCE AU DROIT D'ETRE

Inventor name: GIBAUD, BERNARD

Inventor name: ARNALDI, BRUNO

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20180327

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20200501