CN107209789B - 模拟系统、对应的装置、方法和程序 - Google Patents

模拟系统、对应的装置、方法和程序 Download PDF

Info

Publication number
CN107209789B
CN107209789B CN201580072319.8A CN201580072319A CN107209789B CN 107209789 B CN107209789 B CN 107209789B CN 201580072319 A CN201580072319 A CN 201580072319A CN 107209789 B CN107209789 B CN 107209789B
Authority
CN
China
Prior art keywords
virtual environment
real
description
environment
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580072319.8A
Other languages
English (en)
Other versions
CN107209789A (zh
Inventor
皮埃尔·詹尼
伯纳德·吉瓦德
瓦莱茜·古何同
波努瓦·盖尤
布鲁诺·阿纳尔迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National de la Sante et de la Recherche Medicale INSERM
Institut National de Recherche en Informatique et en Automatique INRIA
Institut National des Sciences Appliquees INSA
Original Assignee
Institut National de la Sante et de la Recherche Medicale INSERM
Institut National de Recherche en Informatique et en Automatique INRIA
Institut National des Sciences Appliquees INSA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National de la Sante et de la Recherche Medicale INSERM, Institut National de Recherche en Informatique et en Automatique INRIA, Institut National des Sciences Appliquees INSA filed Critical Institut National de la Sante et de la Recherche Medicale INSERM
Publication of CN107209789A publication Critical patent/CN107209789A/zh
Application granted granted Critical
Publication of CN107209789B publication Critical patent/CN107209789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

所描述的技术涉及用于在虚拟环境内模拟操作过程的模块,所述虚拟环境借助于用于处理虚拟环境数据的装置(IMER)来实施。此类模块包括以下项:模块,其经配置以获取(10)表示所述虚拟环境(EV)的一组对象(EO)的数据结构(SDREO),所述数据结构另外包括所述对象的集合的至少两个对象之间的交互的至少一个关系;模块,其经配置以接收(20)表示待模拟的过程的至少一个情境(S),所述情境(S)基于描述性本体定义,所述至少一个情境从至少一个预先确定的过程模型(MP)获取;模块,其经配置以在所述虚拟环境(EV)内作为所述虚拟环境的所述对象的集合、所述至少一个过程模型和通过所述虚拟环境的至少一个现实用户执行的至少一个动作的函数呈现(30)所述情境的至少一部分。

Description

模拟系统、对应的装置、方法和程序
技术领域
本发明涉及模拟的领域。更确切地说,本发明涉及虚拟现实环境中的模拟的领域。更确切地说,本发明位于尤其是设计用于专业培训程序的表示实际环境的虚拟现实环境中的真实模拟的领域。
背景技术
多年来已经对虚拟现实的领域进行了充分的研究。虚拟现实可以被定义为环境的视觉和/或听觉和/或触觉的沉浸交互式计算机模拟。所讨论的环境可以是现实的或假想的。模拟被称为是交互式,这是因为不同于在仅仅为旁观者的情况中,用户与虚拟环境交互。模拟被称为沉浸式,这是因为它使用户投入到不同于他所在的实际环境的环境中。模拟是视觉的和/或声波的和/或触觉的,这是因为用户通常配备有视觉和声音再现设备(例如,再现声音和图像的虚拟现实头戴式耳机)和通过手套、套装或合适于这一用途的有源系统再现物理感觉(尤其是触摸)的设备。
虚拟现实的目的在于使用户能够在可以为现实世界的某些方面的模拟的数字创建的仿真世界中进行感觉和认知活动。
近年来,尤其是由于新颖类型的屏幕的发展,见证了虚拟现实的领域的重大进展。因此,举例来说,由Oculus RiftTM公司制造的虚拟现实头戴式耳机现在使得公众的成员能够简单地且以较低的成本掌握虚拟现实。这一类型的头戴式耳机当前用于产生大规模的消费者应用程序。这些大规模的消费者应用程序主要是游戏,尤其是衍生自第三人称游戏的被称为FPS(第一人称射击)游戏。这些头戴式耳机的优点在于它们在3D中呈现图像并且因此使用户能够沉浸在假想的声音和视觉环境中。
此类装置可以用于除此类型的应用程序以外的目的。然而,与“假想的”虚拟环境的建模相比,创建表示现实的虚拟环境是复杂的多的任务:在现实环境的情况下,用户采用精确的感觉参考作为他的基础。因此,表示现实的虚拟环境的创建需要更多的精密的建模过程,所述建模过程首先考虑现实物理对象(其为需要建模的以使得它们与现实兼容)并且其次考虑限定这些对象之间的交互的物理定律(使得在虚拟世界中这些对象的交互将与在现实世界中这些对象的交互相同)。然而,对于此第二部分,有可能使用现有的物理引擎,所述物理引擎以相对的效率为对象(无论它们是什么)之间的交互进行建模。
然而,建模困难仍然存在。尽管衍生自现实模型的环境的建模是可能的,但是在衍生自现实模型的环境上的用户的动作的建模(且反之亦然)要复杂的多。返回到与视频游戏的比较,游戏引擎管理在虚拟环境上的可能的动作。这一引擎包括通常需要的一定数量的限制和界限以获取快速且并不是非常复杂的视频游戏;动作通常受限于如下运动:向左、向右、前进、后退、升高、降低、抓握对象、射击、奔跑、跳跃等等。与人员的交互通常是极少的。
对于现实世界情况并不是这样的。沉浸在表示现实的虚拟世界中的用户期望能够以与他将在现实世界中相同的方式进行他希望执行的动作。在没有进行到假想无限数量的可能的动作的程度的情况下,通过在虚拟世界中的用户的动作的数量必须是较高的且真实的。此外,管理虚拟环境的引擎还必须考虑通过用户进行的动作的后果。举例来说,对于能够用于培训中的虚拟环境(培训工具的使用或培训介入或操作技术或培训驾驶或培训复杂的过程),需要通过模拟器引擎准确地管理动作的排序、它们的后果。目前很少有这种情况。
发明内容
所描述的技术并不包括现有技术的这些缺点中的至少一些。根据第一方面,所描述的技术涉及用于在虚拟环境内模拟操作过程的模块,所述虚拟环境借助于用于处理虚拟环境数据的装置来实施。
用于模拟的模块包括以下项:
-模块,其经配置以获取表示所述虚拟环境的对象的集合的数据结构,所述数据结构另外包括所述对象的集合的至少两个对象之间的交互的至少一个关系;
-模块,其经配置以接收表示待模拟的过程的至少一个情境,所述情境由描述性本体的含义定义,所述至少一个情境从至少一个预先确定的过程模型获取;
-模块,其经配置以在所述虚拟环境内作为所述虚拟环境的所述对象的集合、所述至少一个过程模型和通过所述虚拟环境的至少一个现实用户执行的至少一个动作的函数呈现所述情境的至少一部分。
根据第二方面,所描述的技术涉及用于在虚拟环境内模拟操作过程的系统,所述虚拟环境借助于用于处理虚拟环境数据的装置实施,所述系统包括以下项:
-用于描述环境的模块,经配置以作为至少一个域本体的函数输送在现实环境中的现实过程的至少一个描述;
-用于创建过程模型的模块,其经配置以用于取决于待建模的现实环境的至少一个描述创建实现过程的步骤之间的调节和转换的过程模型。
根据一个特定实施例,用于描述过程环境的模块包括以下项:
-到包括环境的物理描述的存储空间的通路,在所述环境中所描述的过程发生;
-到包括被称为域本体的过程描述的语法的存储空间的通路;
-输入模块,其包括输入构件和包括显示描述的构件的图形界面,所述输入模块经配置以实施所述环境的所述物理描述和所述域本体以产生现实过程的至少一个描述。
根据一个特定特性,用于创建过程模型的模块包括:
-到包括所述环境的物理描述的存储空间的通路,在所述环境中所述操作过程发生;
-到包括被称为域本体的过程描述语法的存储空间的通路;
-到包括现实过程的多个描述的存储空间的通路;
-分析模块,其经配置以用于作为所述域本体的函数分析现实过程的多个描述中的现实过程的每个描述以创建表示过程步骤之间的调节和转换的过程模块。
根据一个特定实施例,所述模拟系统进一步包括以下项:
-如上文所述的用于模拟的模块;
-被称为虚拟现实装置的沉浸式装置,其包括沉浸式房间和/或至少一个虚拟现实头戴式耳机。
根据另一方面,所描述的技术还涉及用于模拟在虚拟环境内的操作过程的方法,所述虚拟环境借助于用于处理虚拟环境数据的装置实施。此类用于模拟的方法包括以下项:
-用于获取表示所述虚拟环境的对象的集合的数据结构的步骤,所述对象的集合是从描述性本体或正式语言中定义的,所述数据结构另外包括所述对象的集合的至少两个对象之间的交互的至少一个关系;
-用于接收表示待模拟的过程的至少一个情境的步骤,所述至少一个情境从至少一个预先确定的过程模型获取;
-用于在所述虚拟环境内作为所述虚拟环境的所述对象的集合、所述至少一个过程模型和通过所述虚拟环境的至少一个现实用户执行的至少一个动作的函数呈现所述情境的至少一部分的至少一个呈现步骤。
根据优选的实施方案,由一个或多个软件计算机程序实施根据本发明的方法的不同步骤,所述软件计算机程序包括将由根据本发明的中继模块的数据处理器执行并且被设计成执行所述方法的不同步骤的命令的软件指令。
因此本发明的目的还在于提供能够由计算机或数据处理器执行的计算机程序,此程序包括指令以命令如上文所提到的方法步骤的执行。
此程序可无论如何使用任何编程语言并且可呈源码、目标代码或在源码与目标代码之间的中间代码的形式,例如无论如何以部分编译形式或以任何其它期望形式。
所提出的技术的目标还在于提供通过数据处理器可读取并且包括如上文所提到的程序的指令的信息载体。
信息载体可以是无论如何能够存储程序的任何实体或通信终端。举例来说,载体可包括存储构件,如ROM,例如CD ROM或微电子电路ROM或同样磁记录构件,例如软盘或硬盘驱动器、SSD等。
此外,信息载体可为如可经由电缆或光缆,通过无线电或通过其它构件传送的电信号或光学信号的可传输载体。根据所提出的技术的程序可尤其上传到互联网类型网络。
作为替代方案,信息载体可为程序并入到其中的集成电路(ASIC类型或FPGA类型),所述电路适于执行或用于执行所讨论的方法。
根据一个实施例,所提出的技术借助于软件和/或硬件组件实施。就此而言,术语“模块”在本文档中可同样很好地对应于关于软件组件和硬件组件或者对应于硬件组件和软件组件的集合。
软件组件对应于一个或多个计算机程序、程序的一个或多个子程或更通常对应于程序的任何元件或能够根据下文中所涉及的模块实施功能或功能的集合一件软件。此类软件组件通过物理实体的数据处理器(终端、服务器、网关、路由器等)执行并且能够存取此物理实体的硬件资源(存储器、记录媒体、通信总线、输入/输出电子板、用户界面等)。
以相同方式,硬件组件对应于能够根据下文中针对所涉及的组件描述的内容实施功能或功能的集合的硬件组合件的任何元件。它可为用于执行软件的可编程硬件组件或具有集成处理器的组件,例如,集成电路、智能卡、存储卡、用于执行固件的电子板等。
附图说明
将从借助于单个说明性且非穷尽性的实例给出的以下描述和附图中更清晰地呈现本发明的其它特征和优点,在所述附图中:
-图1呈现提出的技术的主要步骤;
-图2示意性地表示模拟的系统;
-图3示意性地表示实施以获取情境的模拟的装置。
具体实施方式
一般原理
如所解释,本技术的目标在于在再现现实操作或介入状况的虚拟环境中培训工作人员。更确切地说,本发明涉及用于在虚拟环境内模拟操作过程的方法,所述虚拟环境借助于虚拟环境数据处理装置(SYST)来实施。
这一方法包括:
-步骤(10),获取表示所述虚拟环境(EV)的对象的集合(EO)的数据结构(SDREO),所述数据结构包括所述对象的集合的至少两个对象之间的交互的至少一个关系;
-步骤(20),接收表示待模拟的过程的至少一个情境(S),所述情境(S)从描述性本体中定义,所述至少一个情境(S)从至少一个预先确定的过程模型(MP)获取;
-至少一个步骤(30),在所述虚拟环境(EV)内作为所述虚拟环境的所述对象的集合的函数以及通过所述虚拟环境(EV)的至少一个真实用户(Usr)执行的至少一个动作(Ac)的函数呈现所述情境(S)的至少一部分。
参考图2描述了对应于技术的实施的系统。
在一个实施例中,此类系统(SYST)包括:
-环境描述模块(DESCR)。这一模块用于描述有效地实施的整体过程。这一模块也可以被称作过程/事件描述模块;这一模块输入待建模的现实环境的一个或多个描述。首先基于包括一定数量的虚拟环境的对象的描述和过程描述语法(也被称为本体)的初始物理描述;描述模块还输入域本体。在输出处,它产生了一个或多个现实过程或理想过程(称为所描述的过程(PrDecs))的描述。因此,描述模块(DESCR)包括:
-到包括环境的物理描述的存储空间的通路,在所述环境中所描述的过程发生;
-到包括被称为域本体的过程描述语法的存储空间的通路;
-输入模块,其包括输入构件和包括用于显示描述的构件的图形界面,所述输入模块经配置以实施所述环境的物理描述和所述域本体以产生现实过程的至少一个描述。
存储空间视需要共享,或它们与其它模块共用:
-创建模块(MODP),其用于创建过程模型。这一模块使用现实或理想过程的一个或多个描述,它输送表示过程的步骤之间的调节和转换的过程模型;这一模型取决于本体;因此用于创建过程模型的模块包括:
-到包括所述环境的物理描述的存储空间的通路,在所述环境中操作过程发生;
-到包括现实过程的多个描述的存储空间的通路;
-分析模块,其经配置以用于取决于所述域本体分析现实过程的多个描述中的现实过程的每个描述以创建表示过程的步骤之间的调节和转换的过程模块(MP)。
以互补方式,此类系统(SYST)还包括:
-模拟模块(SIMU),其实施上文所描述的方法;
-沉浸式系统(IMER),称为虚拟现实系统,其包括(例如)沉浸式房间和/或虚拟现实头戴耳机和/或其它沉浸装置;这一沉浸式系统(IMER)通过虚拟现实引擎(ENG)驱动。此类引擎管理沉浸式显示器(借助于上述装置)和用户的动作。它输入虚拟环境的物理模型以及通过模拟模块所产生的输出。
干预情境(或培训情境)通常基于过程模型或过程模型的子集,并且它包括执行一系列的步骤,所述步骤为在操作过程(工作过程、在具体领域中的操作过程、外科手术)的模拟的情形下必须通过用户(无论是现实或虚拟)实施的。
所提出的技术还涉及用于上述装置的若干方法。方法的第一阶段是描述性阶段,其中实现过程的一个或多个描述。方法的第二阶段是分析阶段,其中分析描述。
因此,在一个实施例中,技术在于创建和提供表示组合在过程模型中的连贯且真实的动作的虚拟现实引擎基础任务。之后,这些基础任务使得有可能在虚拟环境内借助于预设情境进行现实情况或至少真实情况的模拟,并且使得有可能理解或遵循由现实动作者所遵循的情境。系统的目标是使现实用户能够在给定的现实环境内可以展开的各种情况下在虚拟环境中得到培训。本发明技术的系统能够应用于(例如)在被限制且受控制的环境中采取行动的团队的培训,例如,在敏感站点(核电站、化工厂)中的行动团队)。这一系统还可以应用于手术团队使得这些团队可以在针对患者的手术过程中获得培训。系统还可以应用于安全人员、技术操作人员或维护人员(车库工人、电工等)的培训。
基础任务是平行于虚拟环境的物理模型提供的。更确切地说,通过物理引擎专门管理虚拟环境的物理模型,所述物理引擎的目标是表示虚拟环境的物理对象和它们的交互。就此而论,虚拟现实引擎和物理引擎很难不同于大规模消费者应用的应用引擎与物理引擎。
它们的零件的基础任务表示个体之间的交互或个体与对象之间的交互,而无论现实或虚拟。基础任务可以(例如)表示通过现实用户产生的动作的类型和现实用户的反应。相反地,基础任务可以表示通过虚拟用户产生的动作的类型和现实用户的(预期的)反应。基础任务可以同样表示通过虚拟用户产生的动作的类型和虚拟用户的反应。基础任务也可以表示通过现实用户产生的动作的类型和一个或多个虚拟对象的反应。
基础任务组织在表示可能动作和交互的集合的基础任务的一致的集合中。目标是可得到不同基础任务和它们的排序的组合表示,使得虚拟现实引擎可以基于动作(对应于给定的基础任务)计算可能的反应。对于给定基础任务,可能存在若干反应。在此情况下,反应可以说是基于随后或先前的观察加权的。取决于实施例,可以实施概率的、统计的或伪随机的选择方法以基于基础任务和它们的排序管理动作和反应的排序。换句话说,基础任务的一致的集合表示可能性的领域。
过程模型是在数据结构内组织的。数据结构包括若干类型的元件,即包括“基础任务”类型的元件。“基础任务”类型的元件包括至少以下数据:表示动作的数据、表示动作的对象的数据、表示反应的数据,以及表示随后基础任务中的一个或多个的数据,它们可能根据这些跟随的基础任务的出现的概率加权。
自然地,这一过程模型或多或少地与虚拟世界自身相关,并且因此与形成这一世界的所有虚拟对象相关。基础任务的集合的相关性的程度取决于涉及虚拟世界的对象的实施的基础任务的数量,并且因此取决于虚拟世界自身的描述。当对虚拟世界的一个或多个对象有影响的基础任务的数量极大时,过程模型与虚拟世界高度相关。当对虚拟世界的一个或多个对象有影响的基础任务的数量较少时,过程模型与虚拟世界轻微地相关。如下文中可能提到,就限定过程模型而言这一区别是相对重要的。与涉及与环境大量交互的模拟相比,涉及与环境极少交互的模拟是更易于实施的。
由于虚拟现实引擎使用这一过程模型,有必要具有可用的方法以用于创建这一过程模型。
因此,本发明的系统具有用于创建基础任务的集合的可用的模块。这一模块使用待建模的现实环境的一个或多个描述。下文更详细地描述用于创建基础任务的集合的模块。
环境的描述借助于合适的描述模块作出。这一描述模块包括输入模块(包括输入构件)和图形界面(包括用于显示描述的构件)。此描述模块采取(例如)安装在例如平板计算机或笔记本电脑上的专用应用程序的形式以实现环境的描述的输入。
环境的描述通常具有两个不同类型:物理描述,其包括(例如)形成物理环境的元件的描述;以及过程描述(或基于事件的描述),其包括用户与环境交互以进行一个或多个给定任务的方式的描述。作为输入,用于创建过程模型的模块使用环境的过程描述。在本发明的背景下,这一过程描述是基于预先在描述模块内作出且集成的物理描述的。
除环境的物理描述之外,描述模块还输入过程描述语法。这一过程描述语法用于限定合适的描述参考系统。这一语法还可以被称为本体。它限定描述的基础,即可用于描述过程实际地实施的方式以及事件排序的方式的共用描述语言。这些是在描述此类事件或此类过程中被认为正确的公理。当然,本体适于过程或适于待描述的事件。在用于替换汽车中的零件的过程的描述情况下,本体使得语言的定义能够描述替换过程,并且是基于引擎的零件的集合或子集的物理描述。它包括它们的属性的概念(术语)、概念之间的关系以及域的逻辑规则。通过输入模块,描述模块借助于预定义本体实现替换零件所需的不同步骤的描述,举例来说,例如:借助于12mm的扳手移除水泵、手动使飞轮旋转、使用锁定装置在锁定位置中阻断引擎飞轮、手动移除正时皮带、放置新的正时皮带、安装新的水泵、在新的水泵上安装皮带、释放飞轮。因此,基于物理描述(引擎的元件、所需的工具)和语法(移除、使得旋转、锁定、安装、释放、使用等)用过程术语描述用于替换正时皮带的过程。上文所示出的情况是简单的情况。在实施例的描述中描述了更加复杂的情况。
无论使用哪种构件,用于创建过程模型的模块在输入处包括通过记录模块作出的描述性记录的集合。基于描述性记录创建过程模型的模块确定实施现实或真实过程的基础任务。
为这个目的,创建基础任务的集合的模块是基于描述来识别实施过程所需的阶段、步骤、子步骤的。它通过记录的迭代分析和分类工作。以互补的方式,它在产生的过程模型中确定对应于未必被记录但是是“真实的”过程的过程的步骤和子步骤的可能的排序。举例来说,这可以对应于进行过程的步骤的排序,在所述过程中这一排序并不对应于记录在描述中的一个中的排序。因此,它基于可以构建介入或操作情境的这一过程模型。它们对应于获得给定结果的过程模型的子集的实施。
因此,返回到先前的实例,可能出现正时皮带的替换并不包括飞轮的锁定,或同样它包括从操作的一开始(在任何拆卸之前)飞轮的锁定。如果已经作出拆卸正时皮带的过程的若干不同记录,那么对于描述“正时皮带的替换”的描述性情境,创建基础任务的集合的模块可以指示如下事实:(a)锁定引擎飞轮的步骤是任选的,以及(b)它可以在水泵的拆卸之后发生。
对一个实施例的描述
在此实施例中,实施本发明的系统以进行手术操作的模拟。更确切地说,在此实施例中,出于培训的目的寻求模拟手术操作团队的不同成员之间的交互。因此,可以针对虚拟外科医生进行的特定外科手术培训护士团队。外科医生也可以在其本人可能又没有机会执行(其自身)的特定手术的实践中接受培训。在此实施例中,提出自动化虚拟培训情境的产生并且有助于在域中的虚拟现实中的它们的使用,在所述域中情境是复杂且可变的,并且必须无论如何都是真实的。
它包括现实过程的实例的语料库的使用,所述语料库根据与域本体兼容的描述模型描述。
因此,一个情境是可以描述在粒度的不同层级(典型的“完成过程”、“阶段”、“过程步骤”、“基础动作”)处的过程的过程的描述。举例来说,对于每个基础动作,模型使得有可能规定所进行的动作的类型(例如,进行切割)、所涉及的对象(例如,患者的皮肤)、所使用的器械(例如,解剖刀)、执行动作的人员,以及(如果是人类动作者,那么)身体进入场景的部分的规范(例如,外科医生的右手)。由于这些动作是在时间和空间上识别的,所以这一模型实现过程的整个运行的描述。
方法的第一阶段是其中外科手术的一个或多个描述进行的描述性阶段。外科手术的描述是基于作为描述的语言的本体的。这些描述可以通过观察、通过采访、基于手术后的报告或自动地作出。通过观察,操作者观察动作者已经完成了什么,并且描述他对情境的理解。这一观察可以在外科手术期间完成,或它可以使用过程的视频录像在不同时间处完成。通过采访,动作者或一组动作者(在此情况下是人类)解释他通常做了什么,并且采访者在适合的装置上记录这一描述,所述适合的装置使得作出的描述能够借助于预定义的本体再次转录。描述也可以通过使用动作传感器、动作者的传感器、仪器或其它效应器自动产生。解译来自传感器的信号产生过程的描述。描述涉及过程的手术前视觉(计划待实现的内容)、手术期间视觉(实现的内容)或手术后视觉(已经实现的内容)。还有可能描述应当已经实现的内容(理想过程)。
方法的第二阶段是其中分析描述的分析阶段。分析描述的语料库(对应于单个理论过程)以创建通用且有生产力的模型,所述模型能够产生新的假想的实例、再现在现实实例中所观察到的方案。举例来说,这是测试及翻转方法。测试及翻转类型网络是在布尔值的集合中的佩特里网的限制。这消灭了其中一个动作后面是另一个动作一定次数的过程(在一个实例与另一个实例之间不同)的需要。在状态(位置)与转换(事件)之间可能存在六种类型的转换:正交转换(未做任何事情)、翻转转换(无论位置的状态如何,0或1,状态是补充的)、附加转换(如果位置在0处,那么它是补充的)、减去转换(如果位置在1处,那么它是补充的),0转换(进行测试以发现状态是否是0但是未做任何事情)和1转换(进行测试以发现状态是否在1处但是未做任何事情)。使用关注的过程的实例,合成的原理是找到表示最少语言的测试及翻转网络,所述最少语言包括由作为输入给出的实例表示的语言,即,找到最好地表示本文中所描述的过程的位置和转换的集合。这是诱发通用化的原因,因为当不可能直接地解决问题时,在初始过程的集合中添加状态,这相当于扩增语言。
此模型包括对应于可能过程的一定数量的阶段、步骤和子步骤,可能具有反馈回路和互补步骤(取决于所使用的描述性记录的量以及记录之间的分歧)。举例来说,从角膜移植过程的描述中,创建角膜移植的通用模型。
对于通用方法的此第二阶段,因此修改基础测试及翻转方法以考虑在以本体表示的域中的特定知识。实际上,由最初的测试及翻转算法采用的信息仅考虑与实例相关联的实体并且由实体的单个标记所识别。
利用本体的所提出的修改使得能够在通用模型内插入(并且随后使用)互补数据:举例来说,一类动作仅可以通过某些类别的动作者实现或同样某些基础动作假设某一类型的基础动作已经预先地作出或某些动作需要使用特定仪器等的事实。本发明还利用实例涉及本体的类别、自身位于借助于以逻辑语言表示的公理完整分类中的事实。因此,特定针对于所考虑的域,与实例相关联的实体不再是单个标记而是传达丰富的语义。因此,所获取的过程模型携带形成它的动作的含义。此外,此类过程模型使得能够管理分级方面和多动作者方面,尤其是针对给定动作或动作的类别通过动作者的类别或特定动作者的关联。
本体可以属于描述逻辑(DL)的家族的知识的表述的语言形成,所述描述逻辑构成一级逻辑的可决定的分段。它可以使用促进本体在网络上的共享的OWL(本体网络语言)表示。
因此根据本发明的“测试及翻转”的可能性的此扩展部分进一步限定可能情境的空间并且因此简化了验证所提出的模型的真实特征的工作(手动地完成或非手动地完成)。
换句话说,在呈虚拟培训形式的情境的“虚拟现实”的主题中的采用的方法是基于以下项的:
-一方面基于在虚拟环境中属于本体的类别的元素的表示。呈三维虚拟对象和这些对象之间的交互式关系的形式此步骤表示情境模型的基础动作(例如,对象、仪器、动作者),
-另一方面,直接地采用情境(由测试及翻转的扩展部分产生)作为工具以用于控制交互式模拟,使得有可能将一个或多个现实或虚拟用户放置在协作式虚拟培训的情形中,
-所述方法还可以包括创建基于过程模型选择的情境的步骤。在限制模型中,此情境将由虚拟动作者跟随。在自由模式中,现实动作者可以自由地进行任何动作和任何情境:虚拟动作者根据过程模型且与过程模型一致地做出反应。
所述方法因此能够通过基于与动作者的3D交互建立链条执行整个过程,所述链条通过情境引擎的状态的改变触发域的过程的前向进展,这继而触发了在3D环境中的动作的虚拟表现。当现实用户的动作是有效的时(即,当它由包含于可能情境的空间中的转换表示时)情境引擎的状态的改变是有效的。在无效动作的情况下,可以根据域的要求集成特定处理。
其它特征和优点
参考图3,提供装置的描述,实施所述装置以根据上文所描述的方法获取情境的模拟。此类装置可以呈如上文所描述的模块的形式。举例来说,所述装置包括由缓冲存储器构成的存储器31、处理单元32,其配备有例如微处理器并且通过实施模拟的方法的计算机程序33驱动。
在初始化时,将计算机程序33的代码指令例如加载到存储器中,并且随后通过处理单元32的处理器执行。处理单元32输入虚拟环境、过程模型和/或情境的描述。处理单元32的微处理器根据计算机程序33的指令实施方法的步骤以产生表示通过模拟的现实或虚拟用户已经实现或待实现的动作的数据,以便进行规划的情境或操作。
为了这个目的,除了缓冲存储器31之外,所述装置包括通信构件,例如网络通信模块,数据传输构件和可能的加密处理器。
这些构件可以呈在装置内实施的特定处理器的形式,所述处理器为安全的处理器。根据一个特定实施例,此装置实施负责计算的特定应用。
这些构件还呈用于在通信网路、询问构件以及用于更新数据库的构件等上交换数据的通信接口的形式。
更确切地说,此类装置包括:
-模块,其经配置以获取(10)表示所述虚拟环境(EV)的对象的集合(EO)的数据结构(SDREO),所述数据结构还包括所述对象的集合的至少两个对象之间的交互的至少一个关系;
-模块,其经配置以接收(20)表示待模拟的过程的至少一个情境(S),所述情境(S)从描述性本体中定义,所述至少一个情境从至少一个预先确定的过程模型(MP)获取;
-模块,其经配置以在所述虚拟环境(EV)内根据所述对象的集合、所述虚拟环境、所述至少一个过程模型和通过所述虚拟环境的至少一个现实用户实现的至少一个动作呈现(30)所述情境的至少一部分。
呈现模块(30)由虚拟现实引擎(31)驱动。此类引擎管理沉浸式显示器(借助于上述装置)和用户的动作。它输入虚拟环境的物理模型以及过程模型和/或情境。
所述系统还包括交互装置(传感器、摄像机等)和感觉呈现装置(图像产生器、屏幕、声卡、扬声器等)。

Claims (6)

1.一种用于模拟虚拟环境内的操作过程的设备,所述虚拟环境是借助于用于处理虚拟环境数据(IMER)的装置实施的,用于模拟的所述设备的特征在于其包括:
模块,其经配置以获取(10)表示所述虚拟环境(EV)的对象的集合(EO)的数据结构(SDREO),所述数据结构另外包括所述对象的集合的至少两个对象之间的交互的至少一个关系;
模块,其经配置以接收(20)表示待模拟的过程的至少一个情境(S),所述至少一个情境是从包括基础任务的集合的至少一个预先确定的过程模型(MP)获取的,所述集合的每个基础任务包括表示至少一个动作的数据、所述动作的对象、跟随所述动作的反应以及一个或多个随后的基础任务,所述过程模型表示过程步骤之间的调节和转换,所述过程模型是根据作为域本体函数分析现实过程的多个描述中的现实过程的每个描述来创建的,所述域本体是过程描述语法;
模块,其经配置以在所述虚拟环境(EV)内作为所述虚拟环境的所述对象的集合、所述至少一个预先确定的过程模型和通过所述虚拟环境的至少一个现实用户执行的至少一个动作的函数呈现(30)所述情境的至少一部分。
2.一种用于模拟在虚拟环境内的操作过程的系统,所述虚拟环境是借助于用于处理虚拟环境数据的装置实施的,所述系统的特征在于其包括以下项:
用于描述所述环境的模块(DESCR),其经配置以输送在现实环境中的现实过程(PrDecs)的至少一个描述作为至少一个域本体的函数,所述至少一个域本体的域本体是过程描述语法;
用于将现实环境中的现实过程的所述至少一个描述存储在存储空间中的模块,使得所述存储空间包括现实过程的多个描述;
用于作为所述域本体函数来分析对存储在所述存储空间中的现实过程的所述多个描述中的现实过程的每个描述的模块;
用于创建过程模型的模块(MODP),其经配置以用于从用于分析的所述模块执行的分析中创建表示所述过程的步骤之间的调节和转换的过程模型(MP),所述过程模型(MP)包括基础任务的集合,所述集合的每个基础任务包括表示至少一个动作、所述动作的对象、跟随所述动作的反应以及一个或多个随后的基础任务的数据。
3.根据权利要求2所述的用于模拟在虚拟环境内的操作过程的系统,其特征在于,用于描述过程环境的所述模块(DESCR)包括以下项:
到包括环境的物理描述的存储空间的通路,在所述环境中所描述的过程发生;
到包括对应于所述域本体的过程描述语法的存储空间的通路;
输入模块,其包括输入构件和包括用于显示描述的构件的图形界面,所述输入模块经配置以实施所述环境的所述物理描述和所述域本体以产生现实过程的至少一个描述。
4.根据权利要求2所述的用于模拟在虚拟环境内的操作过程的系统,其特征在于,其进一步包括以下项:
根据权利要求1所述的用于模拟的设备(SIMU);
被称为虚拟现实装置的沉浸式装置(IMER),其包括沉浸式房间和/或至少一个虚拟现实头戴式耳机。
5.一种用于模拟在虚拟环境内的操作过程的方法,所述虚拟环境是借助于用于处理虚拟环境数据的装置实施的,用于模拟的所述方法包括以下项:
用于获取(10)表示所述虚拟环境(EV)的对象的集合(EO)的数据结构(SDREO)的步骤,所述对象的集合是从描述性本体或正式语言中定义的,所述数据结构另外包括所述对象的集合的至少两个对象之间的交互的至少一个关系;
用于接收(20)表示待模拟的过程的至少一个情境(S)的步骤,所述至少一个情境是从包括基础任务的集合的至少一个预先确定的过程模型(MP)获取的,所述集合的每个基础任务包括表示至少一个动作的数据、所述动作的对象、跟随所述动作的反应以及一个或多个随后的基础任务,所述过程模型表示过程步骤之间的调节和转换,所述过程模型是根据作为域本体函数分析现实过程的多个描述中的现实过程的每个描述来创建的,所述域本体是过程描述语法;
用于在所述虚拟环境(EV)内作为所述虚拟环境的所述对象、所述至少一个预先确定的过程模型和通过所述虚拟环境的至少一个现实用户执行的至少一个动作的函数呈现(30)所述情境的至少一部分的至少一个步骤。
6.一种计算机可读载体,其上存储有计算机程序,其特征在于,该程序被处理器执行时,其包括用于执行根据权利要求1所述的模拟的方法的程序代码指令。
CN201580072319.8A 2014-12-03 2015-12-02 模拟系统、对应的装置、方法和程序 Active CN107209789B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1461848 2014-12-03
FR1461848A FR3029662A1 (fr) 2014-12-03 2014-12-03 Systeme de simulation, dispositifs, methodes et programmes correspondants.
PCT/EP2015/078431 WO2016087555A1 (fr) 2014-12-03 2015-12-02 Système de simulation, dispositifs, méthodes et programmes correspondants

Publications (2)

Publication Number Publication Date
CN107209789A CN107209789A (zh) 2017-09-26
CN107209789B true CN107209789B (zh) 2021-06-04

Family

ID=53298426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580072319.8A Active CN107209789B (zh) 2014-12-03 2015-12-02 模拟系统、对应的装置、方法和程序

Country Status (5)

Country Link
US (1) US10282910B2 (zh)
EP (1) EP3227879A1 (zh)
CN (1) CN107209789B (zh)
FR (1) FR3029662A1 (zh)
WO (1) WO2016087555A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10520581B2 (en) 2011-07-06 2019-12-31 Peloton Technology, Inc. Sensor fusion for autonomous or partially autonomous vehicle control
US20170242443A1 (en) 2015-11-02 2017-08-24 Peloton Technology, Inc. Gap measurement for vehicle convoying
US8744666B2 (en) 2011-07-06 2014-06-03 Peloton Technology, Inc. Systems and methods for semi-autonomous vehicular convoys
US11294396B2 (en) 2013-03-15 2022-04-05 Peloton Technology, Inc. System and method for implementing pre-cognition braking and/or avoiding or mitigation risks among platooning vehicles
US20180210463A1 (en) 2013-03-15 2018-07-26 Peloton Technology, Inc. System and method for implementing pre-cognition braking and/or avoiding or mitigation risks among platooning vehicles
JP7005526B2 (ja) 2016-05-31 2022-01-21 ぺロトン テクノロジー インコーポレイテッド 隊列走行コントローラの状態マシン
US10369998B2 (en) 2016-08-22 2019-08-06 Peloton Technology, Inc. Dynamic gap control for automated driving
EP3500940A4 (en) 2016-08-22 2020-03-18 Peloton Technology, Inc. AUTOMATED CONNECTED VEHICLE CONTROL SYSTEM ARCHITECTURE
WO2019051492A1 (en) * 2017-09-11 2019-03-14 Cubic Corporation TOOLS AND ARCHITECTURE OF IMMERSIVE VIRTUAL ENVIRONMENT (IVE)
CN109543349B (zh) * 2018-12-21 2023-10-24 核动力运行研究所 一种核电模拟机多外挂集成方法
CN111613122A (zh) * 2020-05-19 2020-09-01 威爱医疗科技(中山)有限公司 虚实融合的血管介入手术模拟系统
CN111833462B (zh) * 2020-07-14 2024-05-17 深圳市瑞立视多媒体科技有限公司 基于虚幻引擎的切割方法、装置、设备及存储介质
IT202000020347A1 (it) * 2020-08-24 2022-02-24 Biagi Lorenzo Metodo e relativo strumento per personalizzazione di riesecuzione di sequenze video in un mondo virtuale

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1605420A2 (fr) * 2004-06-09 2005-12-14 Giat Industries Système de formation à l'exploitation, l'utilisation ou la maintenance d'un cadre de travail dans un environnement de realité virtuelle
US20090187389A1 (en) * 2008-01-18 2009-07-23 Lockheed Martin Corporation Immersive Collaborative Environment Using Motion Capture, Head Mounted Display, and Cave
CN101777271A (zh) * 2009-01-13 2010-07-14 深圳市科皓信息技术有限公司 应急培训演练方法和系统
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display
CN103678873A (zh) * 2013-09-30 2014-03-26 广州供电局有限公司 化学实验室危险品管理应急预案协同仿真方法及其系统
CN103838922A (zh) * 2014-02-17 2014-06-04 国网吉林省电力有限公司培训中心 安全行为仿真培训系统
US20140310595A1 (en) * 2012-12-20 2014-10-16 Sri International Augmented reality virtual personal assistant for external representation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1605420A2 (fr) * 2004-06-09 2005-12-14 Giat Industries Système de formation à l'exploitation, l'utilisation ou la maintenance d'un cadre de travail dans un environnement de realité virtuelle
US20090187389A1 (en) * 2008-01-18 2009-07-23 Lockheed Martin Corporation Immersive Collaborative Environment Using Motion Capture, Head Mounted Display, and Cave
CN101777271A (zh) * 2009-01-13 2010-07-14 深圳市科皓信息技术有限公司 应急培训演练方法和系统
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display
US20140310595A1 (en) * 2012-12-20 2014-10-16 Sri International Augmented reality virtual personal assistant for external representation
CN103678873A (zh) * 2013-09-30 2014-03-26 广州供电局有限公司 化学实验室危险品管理应急预案协同仿真方法及其系统
CN103838922A (zh) * 2014-02-17 2014-06-04 国网吉林省电力有限公司培训中心 安全行为仿真培训系统

Also Published As

Publication number Publication date
CN107209789A (zh) 2017-09-26
US10282910B2 (en) 2019-05-07
EP3227879A1 (fr) 2017-10-11
FR3029662A1 (fr) 2016-06-10
WO2016087555A1 (fr) 2016-06-09
US20170372521A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
CN107209789B (zh) 模拟系统、对应的装置、方法和程序
Turner et al. Discrete event simulation and virtual reality use in industry: new opportunities and future trends
Kim et al. DEVSim++ toolset for defense modeling and simulation and interoperation
TW200919310A (en) Software factory specification and execution model
Gupta et al. A virtual reality enhanced cyber-human framework for orthopedic surgical training
Drouhard et al. Immersive visualization for materials science data analysis using the Oculus Rift
Obukhov et al. Development of structural model of adaptive training complex in ergatic systems for professional use
Possik et al. An agent-based modeling and virtual reality application using distributed simulation: Case of a COVID-19 intensive care unit
Ören Modeling and simulation: A comprehensive and integrative view
Grespan et al. The route to patient safety in robotic surgery
Cecil et al. Foundational elements of next generation cyber physical and IoT frameworks for distributed collaboration
Köse et al. Real time data communication for intelligent extended reality applications
Kim et al. DEVS Framework and toolkits for simulators interoperation using HLA/RTI
US11508253B1 (en) Systems and methods for networked virtual reality training
CN111968249B (zh) 一种基于ARCore的检修教学资源生成方法、系统及设备
Gabrysiak et al. Virtual multi-user software prototypes III
Claude et al. Synthesis and simulation of surgical process models
Ivaschenko et al. Surgery scene representation in 3D simulation training SDK
Esteban et al. Design of a haptic simulator framework for modelling surgical learning systems
Uddin et al. Exploring the convergence of Metaverse, Blockchain, and AI: A comprehensive survey of enabling technologies, applications, challenges, and future directions
Damgrave Enhancing the effectiveness of design tools in synthetic environments
Lemke et al. Specification and design of a therapy imaging and model management system (TIMMS)
Aoki et al. Representing augmented reality applications in systems modeling language
Gupta et al. Augmented Reality Framework
Larif Comparative assessment of human observation in virtual and physical reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant