CN211827846U

CN211827846U - 医疗模拟系统

Info

Publication number: CN211827846U
Application number: CN202020177778.0U
Authority: CN
Inventors: 克里斯托弗·亨舍尔; 伊沃·莱巴赫尔; 丹尼尔·巴霍芬; 斯特凡·塔奇施密德; 马库斯·厄尔哈芬; 卡罗琳·马特斯-奥布赖恩
Original assignee: VIRTAMED AG
Current assignee: VIRTAMED AG
Priority date: 2019-02-15
Filing date: 2020-02-17
Publication date: 2020-10-30
Anticipated expiration: 2030-02-17
Also published as: CN113490974A; CA3130009A1; EP3696794A1; EP3924954A1; CN113490974B; WO2020164829A1; US20220139260A1

Abstract

本实用新型提供一种医疗模拟系统，其包括：具有至少一个进入口的解剖模型，所述解剖模型安装在允许改变所述解剖模型的取向的旋转元件上；安装在所述进入口上的器械保持管体；适于滑入所述器械保持管体中的器械复制品；以及至少一个器械位置追踪系统，其用于追踪所述器械复制品的位置和取向，其中，所述器械保持管体和所述器械复制品被设置为一起形成线性电磁马达。

Description

医疗模拟系统

技术领域

本实用新型总体上涉及医疗模拟器、虚拟现实和增强现实模拟系统，并且更具体涉及用于外科训练目的的腹腔镜检查及其他内窥镜检查模拟器。

背景技术

医疗模拟器

在诸如内窥镜检查、关节镜检查、腹腔镜检查及其他微创手术应用的许多医疗应用中，在治疗程序期间越来越多地使用医学成像进行诊断和引导。针对可能在医疗实践中遇到的多种多样的患者解剖结构，除了传统的医疗器械和程序之外，这些新技术还要求内科和外科医生进行专业训练来掌握操作诸如内窥镜或超声探头的成像工具所需的间接手眼协调能力。计算机化的医疗训练模拟器可以使内科医生和受训者能够在手术室中实际操作之前在虚拟现实环境中发展和提高他们的能力。

先进医疗程序模拟器可基于混合或虚拟现实/增强现实(“VR/AR”)模拟装置，内科医生可使用该装置体验医疗程序情景。VR/AR系统可通过混合现实处理引擎(MRPE)根据内科医生的手势和动作计算和渲染出解剖结构的视觉VR/AR模型，从而提供多种反馈，诸如视觉、触觉和听觉反馈。在VR系统中可以针对用户显示模拟出完整的图像，并且在AR系统中可以针对用户显示使实际图像覆盖或合并模拟图像。一般来说，在混合现实系统中，可采用现实元件(例如物理对象复制品)和虚拟元件(例如计算机图形产生的图像)来加强训练情景模拟的现实感。在医疗应用中，可以模拟出具有不同病理特征的多种患者模型。因此，可以针对训练目的在缩短的时间内为用户模拟出执业医师多年来遇到的自然变化情况。可以针对评估目的记录和重复医疗模拟程序。 VR/AR模拟系统也可以是计算机并且提供多种度量标准和统计数据。

因此需要一种紧凑性和适应性更强的医疗模拟器系统，其具有可移动和拆卸的部件从而在操作与解剖模型接触的器械复制品时帮助现实触感反馈，该器械复制品尽可能地类似于实际操作器械。优选地，这种模拟器应支持可能来自于不同进入口的多种外科程序模拟，而无需昂贵的材料设计和/或维护，并且在不同程序与进入口之间切换时无需繁杂的设定和校准。

实用新型内容

本实用新型的目的在于一种医疗模拟系统，包括：

-具有至少一个进入口的解剖模型，该解剖模型安装在允许改变该解剖模型的取向的旋转元件上；

-安装在进入口上的器械保持管体；

-适于滑入器械保持管体中的器械复制品；

-至少一个器械位置追踪系统，其用于追踪器械复制品的位置和取向；

其中，器械保持管体和器械复制品被设置为一起形成线性电磁马达，

所述线性电磁马达还包括被设计为产生触感振动的振荡部件。

所述器械复制品还包括振动触觉致动器，振动触觉致动器安装在所述器械复制品上并且设计为产生触感振动。

传感器位于所述器械复制品的头端处。

所述器械保持管体还包括插入传感器。

所述医疗模拟系统还包括混合现实处理引擎和触感控制器，混合现实处理引擎被构造为：

a.通过器械位置追踪系统获取器械复制品的位置和取向；

b.通过解剖模型的传感器获取解剖模型的取向；

c.通过混合现实处理引擎根据解剖模型的取向来更新至少一个虚拟对象的位置、变形模型和材料/物理特性；

d.检测所获取的器械复制品的位置和取向与医疗程序情景中更新的虚拟对象的位置和取向之间的虚拟接触，该虚拟接触在医疗程序情景中根据虚拟对象的虚拟变形模型导致虚拟对象的虚拟变形；

e.计算轴向力反馈信号，以在触感上渲染出虚拟对象与器械复制品之间的相互作用，轴向力反馈信号的幅值随更新的虚拟对象的位置、变形模型、材料和/或物理特性参数以及器械复制品的位置和取向而变化；

f.将计算出的可变的轴向力反馈信号发送至触感控制器，该触感控制器对线性电磁马达进行控制从而沿着器械保持管体的轴线产生轴向力。

附图说明

图1示出根据本实用新型的可行实施方式的腹腔镜检查模拟器的部分切断的示意图，其包括解剖模型、各自适用于接收手持器械的第一和第二套管，该手持器械穿过套管插在解剖模型进入口上并且根据实时显示在屏幕上的虚拟现实情景由用户操作。

图2和图3提供了示例性解剖模型和模型上的对应的进入口以及套管和器械的复制位置的不同视图。

图4示出套管式管体的示例性机械设置，使其在保持足够牢固地附接在解剖模型上的同时可以容易地从解剖模型进入口上装卸，以提供力反馈致动的保持点。

图5示出套管式中空器械保持管体和细长器械棒的部分剖视图，它们适于一起形成紧凑线性马达以用于向用户提供沿着管体的轴线的触感力反馈。

图6表示用于所提出的模拟器的系统部件的可行组合。

图7示出用于所提出的模拟器的混合现实处理引擎的示例性流程。

图8将手持器械和可虚拟变形的对象相互作用的不同时刻的虚拟场景与物理设置进行比较。

图9示出计算出的运动力沿着器械保持管体轴线的可行分解和投影。

图10示出可由所提出的模拟器系统产生的不同触感反馈信号。

图11示出将线性电磁(LEM)马达设置与单独的振动触觉致动器结合的、所提出的模拟器的另一个可行实施方式。

图12示出解剖模型安装在旋转元件上的实施方式。

图13是图12的例子的剖视图。

具体实施方式

示例性腹腔镜检查模拟器

现在将参考图1所示的示例性腹腔镜检查模拟器系统详细描述所提出的医疗模拟器系统和方法的一些可行实施方式。图1示出模拟器的部分切断的视图，其包括：人体解剖模型105；第一套管130，成像器械110可穿过其中通过第一进入口100被引导到解剖模型表皮105下方；第二套管131，诸如抓钳111的腹腔镜检查器械可穿过其中通过第二进入口(在这一侧切断图中隐藏在背面)被插入到表皮下方。医疗模拟器还包括用于渲染外科程序的虚拟现实模拟的显示器150。VR场景可因此示出器械111的虚拟复制品165在其操作实际操作中通过成像器械110拍摄的解剖器官185的虚拟复制品185时的相互作用。

为了向用户提供真实性反馈，可以通过器械位置追踪系统实时追踪他/她对于器械110、111的操作。根据一个实施方式，器械位置追踪系统基于直接安装在器械上的传感器。根据另一个实施方式，传感器安装在解剖模型上并且诸如磁铁或线圈的无源元件安装在器械上并且与有源传感器协作。在可行实施方式中，例如美国专利第8992230号所述，可在每个器械上采用位置和取向传感器来追踪其位置和取向(6DOF)，通过校准单元来帮助相对于解剖模型进行自动校准，并且传感器可连接至追踪单元，该追踪单元接收输入的传感器数据并且将其发送至VR/AR数据处理单元(MRPE)。其他实施方式也是可行的，例如具有运动传感器、惯性传感器(IMU)。器械位置追踪系统可使用诸如摄像机的光学传感器。在这种情况下，使用两个摄像机追踪器械的位置以及取向。借助于图像处理，摄像机所捕捉的图像可用于检测不仅一个器械而是多个器械的位置和取向。混合现实处理引擎可因此根据要进行模拟的虚拟情景(例如实际操作中会遇到的不同的器官病理特征)以及器械位置追踪系统测得的器械 110、111相对于解剖模型105的实际操作来计算出实际的虚拟现实模拟场景。

所提出的模拟器系统优选包括常规手术工具手柄，以尽可能真实地帮助训练外科医生。例如，抓钳器械111和腹腔镜110可在不同进入口处穿过套管被插入到人体中。用户(或实际操作中训练外科医生团队时的多个用户)根据屏幕150上由成像器械捕捉并渲染的显示内容(视觉反馈)并且根据进行操作的手部的触碰感受(触感力反馈)通过操作器械110和111而与模拟器系统的人体模型105相互作用。在外科模拟中，包括虚拟器官185和虚拟工具165的场景的虚拟现实图像可被实时显示在屏幕150上，同时模拟器可采用触感机构来根据虚拟现实情景向用户提供真实性反馈，而无需在人体模型中使用一次性器官模型来模仿它们的实际手术(诸如切割、移除器官组织等等)。例如在美国专利第8992230号中所述的将被动反馈VR/AR模拟系统与空间扭曲渲染方法结合可通过将虚拟工具操作重调节至实际存在于物理模型中的对象的接触表面而进一步促进诸如工具与刚性表面碰撞的简单情况下的真实性被动触感体验。然而，针对诸如腹腔镜检查训练中可能遇到的特定VR/AR模拟情景，被动触感不能模拟出用户感知操作的完整范围，特别是在与柔软弹性对象进行复杂的相互作用的情况下，例如对特定消化道器官表面进行切割、抓取或拉动。

在优选实施方式中，所提出的模拟器因此还作为主动触感系统进行操作。为此，套管130、131和器械110、111可连接至触感控制引擎(未示出)，其根据从负责根据所追踪的器械的位置和取向以及要进行模拟的虚拟情景(例如，可能在实际操作中遇到的不同触感触碰产生的不同器官纹理)而产生触感信号指令的混合现实处理引擎接收的主动触感力信号来控制致动器。触感控制引擎可以随后通过处理器计算出对与每对器械和套管关联的致动器进行控制的控制信号，使得用户通过手部实时感知到正确的触感反馈。

解剖模型105可以是特别适用于腹腔镜检查模拟的腹部模型，例如 ChamberlainGroup公司的腹部手术训练器(https://www.thecgroup.com /product/ast-advanced-laparoscopic-hernia-skin-2140/)、Chamberlain Group公司的充气腹部(https://www.thecgroup.com/product/insufflated-abdomen-4061/)或图2a、图2b、图3a、图3b中示出的其可替换表皮，但是也可使用其他模型，例如Limbs&Things公司的腹部检查训练器模型(https://www.limbsandthings. com/global/our-products/details/abdominal-examination-trainer)或其他人体模型。人体模型105的模仿人体表皮的部分可由塑料、硅、橡胶、聚氨酯或任何其他合适材料制成。

根据特定实施方式，人体模型105安装在允许将人体模型105移动至不同位置的旋转元件上。为此目的，人体模型105首先安装在板上。该板是人体模型的柔软材料与旋转元件之间的交界面。旋转元件由允许围绕中心点进行一定程度运动的两个部分构成。在图12和13的例子中，旋转元件的第一部分由固定至板的圆形元件180构成。旋转元件的第二部分是用于圆形元件的接收元件 181。在未示出的另一个例子中，第一部分和第二部分可以互换。

在特定实现方案中，通过设置在第一部分与第二部分的接触位置182处的摩擦元件来保持第一部分与第二部分之间的摩擦力。例如，摩擦元件是橡胶或硅衬垫或环。

人体模型105的旋转允许更好地模拟真实情况。取决于所模拟的情况，训练期间模型的位置是很重要的。因此，人体模型可围绕中心旋转点自由调节。

除了更真实情况的模拟之外，将人体模型定向在不同位置还对虚拟器官的位置和表现产生影响。

医疗模拟器包括通过与默认取向进行比对来检测人体模型的取向的装置。为此目的，根据一个实施方式，传感器安装在旋转元件中并且检测人体模型的取向。在另一个实施方式中，使用观察角朝向人体模型的至少两个摄像机来确定人体模型的取向。它们可以是器械位置追踪系统中所使用的相同摄像机。

重力影响器官的位置和表现，并且通过计算出根据人体模型的实际取向而更新的器官的位置和表现来模拟这种情况。这种更新的位置和表现用于两种目的，第一是在医疗模拟器的屏幕上真实地渲染，第二是用于限定施加在医疗器械上的反馈力。由于器官的位置和/或取向由于重力而改变，因此在医疗器械与该器官进行接触的同时触感也发生改变。该触感随后被转换为不同的反馈力。

可在模型上切割不同的进入口来模拟腹腔镜进入口布置的不同医疗实践，例如分别对应于不同病理特征或不同学院。图2a示出成像器械110穿过套管 130在Chamberlain腹部模型105上的进入口100处插入。图2b示出相同人体模型105的不同照片，其中已经准备好多个可行的腹腔镜进入口(可看到模型 105上的多个孔)，并且四个套管130、131、132、133已经固定在腹部模型105 上的四个可行的进入口子集上。

对于机械领域技术人员显而易见的是，套管130、131、132、133可通过诸如螺钉、胶水、磁铁、按扣机构、柔性联锁装置等等的不同机械装置固定至人体模型105。在优选实施方式中，为了在尽可能减少模拟器设备的总成本的同时快速地“插入和模拟”外科程序模拟情景的替换，将每个套管130、131、 132、133非永久地固定在解剖模型105上可以是优选的，使得模拟器硬件仅需要可以从一个进入口到另一个进入口互换的有限数量的套管(例如外科程序中可能需要的4或5个套管)。图3a示出采用不同的入口孔的示例性解剖模型，每个进入口适于通过可完全互换的方式保持任何套管。

图3b示出另一个实施方式，其中用于解剖模型的套管式器械保持管体附接机构的柔性足以使得器械的插入可改变套管的取向，由此帮助教导在多种医疗模拟情景中正确、谨慎地插入器械。对于机械领域技术人员显而易见的是，多种附接机构可适用于此。在可行实施方式中，套管式管体130针对解剖模型 105的悬挂部可包括螺母400(在套管式管体上)和螺纹部分410(在解剖模型入口孔上)，它们可以拧在一起来确保良好的套管式管体悬挂，但是其他附接机构实施方式也是可行的。作为附接机构的可行的螺母和螺纹机械实施方式，图4a、b和c示出了所提出的套管式管体螺母400和螺纹410的设置的相应的分离、附接和剖视图。图4d进一步示出这种套管式管体的示例性布置，其在解剖模型105上的进入口100处具有白色的螺纹410和螺母400的部分。对于机械领域技术人员显而易见的是，其他设置也是可行的，例如使用按扣机构。

为了进行真实性模拟，仅模仿真实套管的顶部就足够了，而操作中不可见的套管管体的内部如现在将进一步描述的那样可以专门设置用于模拟。

虽然已经在器械插入到套管中的腹腔镜检查的背景下描述了示例性模拟器系统，但是所提出的模拟器系统和方法可以更普遍地适用于器械穿过人体进入口插入的任何医疗程序。在本公开文件中，术语“进入口”因此用于表示一种孔，器械穿过该孔插入到物理解剖模型中。在腹腔镜检查中，通过使用套管辅助这种进入，但是例如用于宫腔镜检查或支气管镜检查的内窥镜检查模拟器的其他模拟器也可以不需要套管，因为内窥镜通过自然腔道进入。

手持线性电磁马达设置

现在将描述所提出的模拟器手持器械的一个实施方式，其在紧凑性、制造和维护成本、进入口布置和器械插入互换的灵活性方面是尤为有利的，同时在模拟程序中向操作器械的用户提供真实性反馈。

在可行实施方式中，如图5所示，可以通过采用管体和器械复制品形成线性机电致动器(LEMA)而向最终用户提供触感反馈，从而向操作器械穿过进入口的用户提供力反馈。

在图1的示例性腹腔镜检查模拟器的可行实施方式中，每个套管式器械保持管体130、131、132、133、134都可适用于形成管状线性电磁马达(LEM) 的定子，而每个器械110、111都可适用于作为其转换器(转子)。图5提供了这种可行设置的部分拆分视图：

·套管式中空管体可设置为保持对应于不同马达相位的一系列线圈510、 511，该线圈顺时针/逆时针交替安装并且被间隔件512间隔开，以分离线圈。

·器械内部棒110可设置为保持交替的磁铁：第一磁铁531、相对于第一磁铁531设置使得它们彼此推抵的第二磁铁533等等。在另一个可行实施方式中，间隔件532可插入到磁铁之间。在另一个可行实施方式中，间隔件可以是铁氧体，以增强可由LEM设置产生的磁场，但是其他实施方式也是可行的。

取决于模拟器系统设计的约束和应用，其他实施方式也是可行的。在替代实施方式中，器械复制品可适用于形成LEM的定子，而套管式管体可适用于形成其转换器(转子)。在另一个实施方式中，添加了额外的线圈和永磁铁设置，以围绕器械轴线产生扭矩。在另一个实施方式中，触感控制器可被编程为 (通过读取位置和取向传感器)检测器械被移动的方向并且在运动的相反方向上产生力，由此模仿撕裂和/或摩擦力，例如在组织中穿孔且穿过窄孔推拉器械时通常体会到的那些力。在又一个实施方式中，混合现实处理引擎可使用触感控制器进行线性力大小的计算，以用于增强的控制稳定性。一般来说，在用于无需套管的内窥镜程序的模拟器中，管体可机械地设置在解剖模型上的每个进入口后方，以保持和引导器械复制品并同时仍然与后者形成两部分式电磁线性马达，类似于腹腔镜套管复制品管体的设置。在本公开文件中，术语“器械保持管体”因此用于表示一种管体，器械穿过该管体被操纵进入到物理解剖模型中。取决于模拟器应用，该管体可附接于解剖模型上的任何进入口。该管体可由塑料或任何合适材料制成，以构成LEM的转子或定子。管体和进入口可以是固定设置，或者可以像前文中图2a、2b、3a、3b所示的套管进入口附接部的例子那样使用机械设置互换，从而促进模拟器系统训练实践的多样性。

手持线性电磁马达控制

所提出的两部分式LEM设置根据洛伦兹定律并且基于供应至线圈的电流、线圈绕组数量、磁场的方向和强度而产生沿着套管式管体的轴线的线性力 (“轴向力”)。

在优选实施方式中，如图6所示，当细长的器械棒110插入到套管式器械保持管体130中时，触感控制引擎600可通过为LEM线圈610供电来控制线性马达610，使得LEM设置作为电磁轴向力反馈机构。

触感控制引擎600包括电子电路，其包含有从混合现实处理引擎650接收控制指令的微控制器(“触感控制器”)以及相应地为LEM线圈610供电的放大器。在可行实施方式中，可以使用两个相位，使得仅有两对导线需要从触感控制引擎引向套管中空管体的内部从而为其供电(一对导线用于对应于相位1 的顺时针线圈，一对导线用于对应于相位2的逆时针线圈)。这些设置尤其促进了将电磁马达定子紧凑且不可见地集成在套管式器械保持管体130中。

为了紧凑性，优选触感控制引擎600可被实现为小型印刷电路板(PCB) 元件，其可以容易地集成在套管式管体130上，以用于对线圈进行供电和控制。 PCB包括用于驱动两相线性马达的所有电力电子器件、驱动和安全逻辑器件以及通信装置。因此，可以将信号线和一根电源线缠绕成为用于套管式管体 130的设置的单一线缆。在这种情况下，电源线仅提供直流电。

器械保持管体130还可进一步包括用于触感控制引擎500和/或混合现实处理引擎的一个或多个LEM传感器620，以监测和控制LEM设置的操作。在可行实施方式中，诸如磁传感器(例如霍尔传感器)、光学传感器、运动传感器等等的一个或多个传感器620可集成在器械保持管体130的中空管体内，以检测作为补充的LEM部分的器械复制品110的插入，从而检测何时开始为 LEM线圈供电。在另一个可行实施方式中，还可沿着PCB一侧集成温度传感器620，并且触感控制引擎600可使用温度信息来在适当时刻进行线圈的供电，以防止马达过热。

在可行实施方式中，触感控制引擎600可从器械保持管体传感器设置620 读取传感器信息，并且可更新控制指令从而根据该传感器信息(例如开关关闭) 为LEM线圈供电。在另一个可行实施方式中，触感控制引擎600可将来自LEM 传感器620的数据发送至混合现实处理引擎650，使得混合现实处理引擎使用该数据通过要进行模拟的虚拟情景的数学模型来计算出触感控制指令，以启动 LEM(用于触感反馈)和/或针对最终用户渲染在显示器150上的虚拟现实信息(用于虚拟反馈)。

在可行实施方式中，触感控制引擎600可随后通过附接在进入口上方的类似于适用于充气的传统套管那样的套管的头部上的线缆连接至保持有主供电单元和混合现实处理引擎650的附近的或远程的个人电脑，使得其不妨碍物理模拟器的真实性。在可行实施方式中，如图6所示，PCB可隐藏在常规充气套管盖中，并且从触感引擎单元到PCB的电源和控制线可类似于诸如成像工具的常规器械布线那样通过T形连接器引导至套管，使其不会繁杂地被受训者注意到。此外，通过这种紧凑的设置，任何器械可被设置在任何套管中并且套管可容易地放置在不同的进入口上，这与需要触感机构固定地集成在模拟的套管和器械旁边的现有技术模拟器相比具有显著的优势，同时所提出的实施方式不再需要在解剖模型上具有任何永久固定的机构。因此能够构建一种运动反馈系统，其主要使用套管式器械保持管体130的中空管体内的隐藏式线性马达线圈610、器械复制品110的棒内的隐藏式磁铁、器械复制品110内的隐藏式位置和取向传感器650以及集成在套管式器械保持管体盖中的隐藏式触感控制引擎600和LEM传感器620。

模拟器控制引擎和方法

所提出的设置能够通过套管式管体的轴线方向上的相反的线性力来向操作器械的用户提供运动反馈。在优选实施方式中，混合现实处理引擎650根据所追踪的器械复制品110沿着套管式器械保持管体130的实际位置以及要被渲染在模拟器显示器150上的训练情景来计算出触感控制引擎600所利用的用于为LEM线圈610供电的控制信号。应注意，混合现实处理引擎650接收解剖模型105的取向并且计算更新的医疗环境。根据解剖模型的取向来更新器官的位置和表现。这会影响对受训者的虚拟反馈和施加在医疗器械上的力反馈。因此，受训者根据以下内容感知到他/她与训练环境的相互作用：

-渲染在显示器150上的训练情景的虚拟表示；以及

-通过(多个)器械保持管体130和(多个)器械复制品110构成的触感系统产生的对他/她的手部的主动反馈带来的训练情景的触觉表示。

为了使混合现实处理引擎650实时计算要进行渲染的虚拟现实场景以及要通过触感控制引擎600根据受训者的模拟器操作启动的触感指令，可通过至少一个器械传感器630追踪每个器械复制品110、111的实际位置和取向。还根据解剖模型的取向来计算虚拟现实。可以使用多种传感器设置，例如使用磁、电阻、电容、电感、光学、惯性或声学传感器。可在器械复制品的内部、上部或外部设置传感器，使得它们不会妨碍受训者的操作。在可行实施方式中， 6DOF磁传感器630可以集成在每个器械复制品110、111的头端处，类似于诸如美国专利第8992230号中描述的现有技术VirtaMed模拟器传感器设置。

为了避免传感器测量结果受到电磁马达线圈干扰，在可行实施方式中，混合现实处理引擎可检测器械头端何时插入到套管式管体中并且何时从其中离开；在这个过程中，除了穿过套管管体的器械的被动摩擦力之外不需要向最终用户提供运动反馈，因为在VR/AR模拟中只要器械头端保持在套管式器械保持管体中就不会有与器官的相互作用，因此触感控制引擎可以切断线圈的供电直到VR引擎检测到器械头端离开它们几厘米为止。触感控制引擎可因此接通线圈的供电并且开始控制触感反馈模仿像所模拟的手术情景操作那样在器械上的线性力。这与器械首先将CO2气体输送到充气腹部中的真实腹腔镜实践一致。

为了便于检测器械110插入到器械保持管体130中，后者还可配备有传感器620，例如霍尔传感器、光学传感器、运动传感器等等。在可行实施方式中，两个霍尔传感器620可设置在套管式器械保持管体130上，以在亚毫米精度上测量外科器械110插入到管体130中时的实际位置。这种位置信息可用于LEM 传感器620整流马达线圈并且通知MRPE650器械110相对于套管式器械保持管体130的当前位置。在可行实施方式中，触感控制引擎600可通过使用预校准的霍尔传感器来尽可能减少LEM的力波动，从而考虑到EM传感器620与 LEM线圈610之间的实际位置偏差(取决于制造限制)。这能够增加马达效率并且在器械110移入管体130中时尽可能减少切换的线圈过渡之间的力波动。

器械保持管体传感器信息620还可由混合现实处理引擎650使用，从而：

-通过计算器械追踪传感器630与管体霍尔传感器620之间的传感器数据融合来提高所提出的模拟器追踪系统的精度，类似于诸如美国专利第8992230 号中描述的过度校准方法；和/或

-在训练程序起始步骤中通过从它们相应的传感器信息中识别出哪个器械110、111已被插入到哪个套管式管体130、131、132、133中来自动检测实际模拟器设置。混合现实处理引擎650可特别地通过器械位置和取向传感器来自动得出已经附接有套管式管体的解剖模型进入口。

对于本领域技术人员显而易见的是，将所提出的紧凑型传感器设置与混合现实处理引擎逻辑器件组合由此促进可自动在针对不同的受训者的多种训练程序(例如不同的医疗实践)之间切换的所提出的模拟器系统的设置、初始化以及维护。这与需要额外的传感器在套管式器械保持管体上的笨重设置和/或专用于设置检测的解剖结构或专用的、繁杂的设置注册程序设计(例如通过用于用户的图形用户界面设定页面来手动配置用于启动的VR/AR引擎的硬件设置)的现有技术模拟器相比在具有显著的功能性和商业性优势。

用于虚拟对象操作的轴向力反馈

一旦器械110已被插入超过套管式器械保持管体130的内端部之外，取决于模拟情景和所追踪的器械110的位置和取向，混合现实处理引擎650就可检测器械110与虚拟现实情景中虚拟对象的可能的相互作用，例如意外碰撞和/ 或有意操作，诸如推动、抓取和拉动、切割等等。在诸如腹腔镜检查的最简单的情景中，无需主动手术，用户主要学习如何操作腹腔镜并且可能还有简单的工具来在诸如器官软组织或肿瘤周围坚硬或牢固的组织的解剖元件上进行推动，以获得更好的组合视角并且感受它们的结构。由于腹腔镜和工具器械线性地引入套管中，因此用户操作主要在对应的方向上受到约束，即套管式管体 130和手持器械复制品110构成的LEM设置的线性轴线。混合现实处理引擎 650可相应地计算用于LEM致动器610的控制反馈信号，以根据物理设置中通过器械传感器630追踪到的器械复制品110的位置和取向以及虚拟现实场景中所模拟的虚拟对象的位置、变形和材料特性(例如可根据模拟情景通过计算机图形网格来表示)来在套管式管体130的轴线方向上产生可变的轴向力。虚拟对象被限定为3D对象，其中3D形状在现实处理引擎中限定。多种参数表征虚拟对象，例如材料或物理参数、纹理或变形模型(即虚拟对象如何对压力做出反应)。

如图7所示，为了针对所提出的医疗模拟器的至少一个操作者模拟医疗程序情景，混合现实处理引擎650可适用于：

-检测700解剖模型105的取向；

-检测710至少一个虚拟对象的位置、变形模型和材料/物理特性，以在医疗程序情景中进行模拟；

-根据解剖模型的取向更新720至少一个虚拟对象的位置、变形模型和材料/物理特性；

-获取730操作者操作的至少一个器械复制品110的所追踪的位置和取向，器械复制品110适用于在器械复制品110插入和滑入器械保持管体130中时与该管体130联合形成线性电磁马达；

-检测740所追踪的器械复制品110的位置和取向与医疗程序情景中虚拟对象的位置之间的虚拟接触，该虚拟接触在医疗程序情景中导致虚拟对象的变形；

-计算750可变的轴向力反馈信号，该信号的幅值和/或频率根据虚拟对象的位置、所追踪的器械复制品110的位置和取向以及虚拟对象的材料和/或物理特性而随时间改变；

-将计算出的可变的轴向力反馈信号发送760至线性电磁马达的触感控制器，以通过触感控制器为器械复制品110和器械保持管体130形成的线性电磁马达供电。

在计算机图形中，虚拟对象的材料和/或物理特性可以是在受力或相反情况下控制材料变形的机械模型的参数。材料特性和机械建模可产生虚拟的固体 /对象的特征应力-应变曲线。例如，混合现实处理引擎可针对某些虚拟对象使用十分简单的线性弹性材料模型，这表示材料探针的相对伸长(应变)与其每单位面积所施加的力(应力)成正比。在这种情况下，材料特性可表示为两种参数，即杨氏模量和泊松比。针对物理表现的更真实的建模，可以考虑通过额外的材料特性参数来实现非线性的效果、黏弹性、塑性以及粘性。它们都表示材料如何在力的影响下变形。

一般来说，可以在Correa等人发表在医学工程与物理学杂志2019年第63 期第6-25页上的《用于医疗应用中插针训练的触觉交互：现有技术》一文中找到例如适用于插针建模的某些可行模型的探讨。虚拟对象可具有多种机械表现，诸如弹性、粘性、塑性，这些通过它们作为不同的机械模型的参数的诸如质量、杨氏模量、泊松比和/或柯西拉力的物理和/或材料特征来表征。取决于模拟情景，一个或多个这种模型可由混合现实处理引擎应用和/或组合，以计算要通过1DOF的LEM应用的、具体被投射在LEM线性轴线(即器械保持管体130的轴线)上的触感力反馈信号。

混合现实处理引擎650可使用多种数值方法来用于力反馈信号的离散化和计算。在可行实施方式中，混合现实处理引擎650可使用至少一个处理器执行实时数学解算器，以在依赖时间的非线性应力-应变约束下近似计算出力反馈值的足够真实的估值。总体上，采用FEM(有限元法)的数学解算器可适用于此。对于本领域技术人员显而易见的是，可以为此使用多种解算器，例如 FEM解算器、基于位置的动态(PBD)、投影动态解算器、高斯-赛德尔解算器、雅各比解算器等等。

在可行实施方式中，用于调节由器械复制品110和器械保持管体130形成的线性电磁马达的可变轴向力反馈信号的幅值可因此基于适用于要在虚拟情景中进行模拟的虚拟对象的至少一个虚拟变形模型、根据所模拟的对象的至少一个材料和/或物理特性以及器械与虚拟对象之间的相对位置和/或取向来计算。后者的相对位置和/或取向可从传感器测得的所追踪的器械复制品的位置和取向以及混合现实处理引擎计算出的虚拟对象的位置和取向中得出。在可行实施方式中，MRPE可确定器械复制品与虚拟对象上的接触表面之间的角度，并且相应计算出通过LEM产生的轴向力反馈的幅值。

通过图8的例子对此进行进一步说明，示出了可变形的对象由受训者操作的虚拟情景以及与其对应的可变形的对象没有进行物理模仿的物理设置。在图 8a中，混合现实处理引擎650检测在套管式器械保持管体130中滑动的器械复制品110的头端与虚拟对象800的第一表面位置801p(t1)之间的虚拟接触。根据训练模拟情景，在虚拟场景a中，虚拟对象800(例如肝或膀胱器官)可在特定位置处(并且还可能在特定取向处)由混合现实处理引擎650识别(例如，在计算机图形VR场景中表示为几何网格)并且与至少一个材料特性参数和虚拟变形模型关联(例如，对其器官组织的弹性及其随时间变化的发展进行量化，这对于活体元素来说是变化的)。由于虚拟对象800在物理环境设置的解剖模型中不具有实体(图8b)，因此所提出的方法可应用于通过所提出的套管式器械保持管体130与器械复制品110的模拟器LEM设置来计算和启动运动力反馈830，以在虚拟情景中模仿虚拟对象800的操作。

在可行实施方式中，混合现实处理引擎650可根据虚拟接触检测的第一时刻t1处的虚拟对象的虚拟表面处的初始接触位置和取向801pos1(t1)与基于受训者进行的物理器械复制品的操作在第二时刻t2处的当前变形的接触位置和取向803pos2(t2)之间的差异而得出虚拟对象800的变形量。混合现实处理引擎 650可因此计算出器械与虚拟对象之间的接触点处的理论接触力810F _c和其在方向s上沿着器械保持管体130的轴线的投影力820F _s。反馈力也可考虑到器械复制品的头端与虚拟对象的虚拟表面之间的接触角度。该角度可根据虚拟对象的虚拟变形模型而随着器械复制品的位置改变。如图9所示，器械与虚拟对象之间的接触点处的理论接触力F _c包括位移方向s上的力F _s和(垂直于该方向s的)横向力F _l之和，因此F _c＝F _s+F _l。在腹腔镜检查训练中，器械棒尽可能平滑地在套管的中空管体内滑动(使得外科医生集中在所操作的器官的触感上，而非所操作的工具的硬件上)，对于多种虚拟对象操作情景以及所述时刻来说，横向摩擦力是可忽略的。如图9所示，混合现实处理引擎可因此将投影在轴向方向单位矢量s上的力820F _s计算为：

(等式1)F _s＝(F _n+F _t)·s

其中F _n是器械与虚拟对象之间的接触点处的法向力810，其根据虚拟对象表面的变形量而变化，并且F _t是器械与虚拟对象之间的接触点处的切向力，其根据虚拟对象表面的摩擦力而变化。

在可行的简单实施方式中，法向力810可计算为：

F _n＝D·n，具有基于材料的变形标量参数D。

并且切向力可进一步计算为：

F _t＝μ·|F _n|，具有摩擦系数μ，取决于工具速度其在静态/滑动摩擦之间可以是不同的。实际上，对于要进行模拟的大多数医疗情景，对应于表面摩擦力的切向力可以忽略。

一般来说，计算出的器械头端与虚拟对象之间的接触点处的法向力F _n 810 的幅值可因此基于虚拟对象的测得的变形量(根据由混合现实处理引擎计算出的虚拟对象的位置和取向以及由传感器测得的所追踪的器械复制品的位置和取向)和至少一种材料特性而随时间变化。在可行实施方式中，混合现实处理引擎650可采用数学解算器(例如FEM解算器、基于位置的动态(PBD)、投影动态解算器、高斯-赛德尔解算器、雅各比解算器等等)来通过一个或多个处理器计算出器械与要进行模拟的虚拟情景中的虚拟对象之间的碰撞和变形。混合现实处理引擎650可相应地计算出来自对象接触的理论反作用力810F _c及其对应于物理真实VR/AR场景的投影力820F _s。

混合现实处理引擎可随后从理论接触力810F _c及其投影力820F _s中得出要施加于器械的可变轴向力830，以向最终用户渲染触感反馈。图10a示出可由混合现实处理引擎650产生的幅值随时间变化的示例性运动力信号。直到器械到达pos1(t1)处的与虚拟对象表面的第一接触部为止，所施加的力都为零。随后，随着用户进一步将器械推动至pos2(t2)，由此使虚拟对象变形，计算出的力反馈幅值快速增大从而模拟虚拟对象对于变形的阻力，指导其到达最大值。随着用户进一步仅对位置进行微小调节，可以施加缓慢变化的力反馈。

具有幅值重调节的轴向力反馈

虽然上述方法可足以通过所提出的LEM设置、对于虚拟对象的材料特性和主要沿着套管式器械保持管体的轴线的变形力的特征组合来说足够真实的轴向力反馈而进行模拟，但是一些更先进的场景可能需要轴向力反馈的进一步调节，以增强操作真实性。一个例子是器械与需要更真实的摩擦力模拟的特定器官表面的相互作用的模拟，例如在模拟通过抓钳器械复制品抓取弹性器官组织时，通过采用模仿阻力的拉力来拉长被抓取和拉动的虚拟器官。

确实，由于器械保持管体130和器械复制品110构成的所提出的1DOF的 LEM设置仅可以在器械保持轴的方向s上启动模拟的力F _s ^sim，因此混合现实处理引擎650可进一步通过重调节计算出的信号幅值来计算更具真实性的实际力从而随后启动理论投影力F _s来进一步增强模拟真实性。在可行实施方式中，混合现实处理引擎650可根据计算出的理论横向力F _l来进一步调节要通过触感控制引擎600发送和启动的模拟的力信号F _s ^sim 830的幅值。例如，可以使用基于材料的权重标量参数w根据等式1中横向力F _l的幅值来重新调节模拟的力F _s ^sim的幅值：

(等式2)F _s ^sim(t)＝F _s(t)+w*F _l(t)

在另一个可行实施方式中，混合现实处理引擎650可使用基于材料和基于时间的函数w(t)根据横向力的F _l幅值通过对其进行调节来重新调节模拟的力F _s ^sim的幅值。

混合现实处理引擎650例如可增大幅值，以通过驱动/引导受训者到达所需位置来帮助训练，和/或增强来自某些局部虚拟对象材料特性(例如局部组织纹理变化)或会导致虚拟对象变形随时间而变化的生理器官功能(例如血液动脉搏动或肠肌在受到刺激时的反射收缩)的触感反馈。混合现实处理引擎 650还可在信号到达稳定状态之后减小幅值，例如图10b所示，例如用于增强 LEM的动态或适应性。混合现实处理引擎650还可减小幅值来防止LEM线圈过热，而不会产生最终用户可察觉的触感体验。在可行实施方式中，MRPE或触感控制器可选择性地减弱力反馈信号的慢速变化的部分，以匹配LEM的动态范围内的力反馈信号的剩余部分的动态特性。

所提出的LEM设置还可帮助运动力反馈信号的先进控制，从而在LEM 固有地实现多种驱动模式时进行启动。在可行实施方式中，LEM位置与LEM 线圈之间的电相位角可以改变，以对LEM施加不同的表现，产生摩擦力触感反馈的开关、低黏性、蜂蜜般运动和/或十分快速几乎自行运动。在另一个可行实施方式中，可在触感控制引擎600中实施PID位置控制器，以控制LEM 的位置。混合现实处理引擎650可相应地控制触感控制引擎600来保持在特定位置，例如用于引导受训者的例子。

具有叠加振动的轴向力反馈

虽然上述方法可足以通过所提出的LEM设置、对于主要具有相对较小幅值变化的虚拟对象材料特性和变形力的特定组合来说足够真实的适应变形的、运动的轴向力反馈而进行模拟，但是一些更先进的情景可能需要轴向力反馈信号在频率和幅值方面均有更大变化，以增强触觉操作真实性。一个例子是器械与特定器官表面的碰撞模拟要求对感知到的碰撞冲击进行更真实的模拟，例如模拟器械与刚性元件碰撞的情况。另一个例子是器械在表面上的滑动，在这种情况下振动可用于渲染表面粗糙度。

在可行实施方式中，材料特性可由基于材料的标量参数表示，以根据 Okamura等人发表在机械电子学IEEE/SME会刊2001年九月第3期第6卷第 245-252页上的《用于虚拟环境中振动反馈的基于现实的模型》一文中所述的基于现实的模型来计算作为衰减正弦波形随着进入速度按线性比例变化的幅值信号：

(等式3)a(t)＝A(v)e^-αt*sin(2πf_mat*t)

其中A(v)是冲击速度v的基于材料的函数的幅值，α是衰减参数，并且f_mat是频率。Okamura提出将A(v)计算为线性关系A(v)＝s*v，其中s是表示幅值斜率的基于材料的标量参数。Okamura提出的示例性变量参数针对橡胶是 s＝-116.7s^-1、α＝40000s^-1、并且f_mat＝18Hz，针对铝是s＝-100000s^-1、α＝1500000s^-1、并且f_mat＝1153Hz。

图10c示出可由所提出的混合现实处理引擎产生的具有可变频率的示例性信号，首先在器械与虚拟对象碰撞时产生，之后在使用器械刮擦虚拟对象表面时产生。

虽然Okamura触觉模型与传统力反馈和在接触开始时添加高频力瞬变的基于事件的触感反馈二者结合已应用于多种虚拟环境，但是它们主要通过诸如 SensAble Phantom的3DOF触感接口进行测试(Kuchenbecker等人，《通过基于事件的触感反馈改进接触真实性》，可视化与计算机图形IEEE会刊，第2 期第2卷，2006年3月/4月号，219-230页)。针对具有1DOF触感接口能力的所提出的紧凑型触感模拟器，运动力反馈(例如图10a)或其图10b的重调整版本可在将指令发送至触感控制引擎从而相应地为线圈供电之前通过混合现实引擎650与可变频率的信号(例如图10c)组合。图10d示出了示例性组合信号的概念图(发明人注意到，对触感自动化领域的技术人员显而易见的是，在真实信号中，运动力反馈变化(其可以更慢)的时间段，并且振动信号频率变化(其可以更快)的时间段不一定在所述视图中恰当表示，此处示出的内容仅用于说明性表示)。

额外的振动触觉系统设置和方法

虽然上文提出的模拟器LEM设置和方法可足以进行模拟，通过所提出的 LEM设置，适应变形的、运动的轴向力反馈在幅值和/或频率方面充分改变从而对于多种虚拟对象材料特性和变形力的组合都是足够真实的，但是对于特定的先进模拟情景来说，可以通过使用至少一个振动触觉致动器来产生额外的、非定向的触感信号而增强所提出的模拟器来进一步改进受训者所感知到的模拟情景的真实性，特别是针对多种可变形的器官表面的碰撞和抓取/刮擦的更精确的模拟，或针对旋转触觉情况的模仿(例如，在旋转针驱动器时)。振动触觉致动器可以是ERM、LRA、压电或螺线管振动马达。在可行实施方式中，其可以是螺线管式的，频率范围为0-500Hz。例如，可以使用来自Tactile Labs 或Lofelt的振动马达电路，但是其他设置也是可行的。

在可行实施方式中，振动触觉致动器可附接于器械复制品。优选地，其被定位为无法被最终用户察觉，并且使得振动触觉信号强度足以被操作器械的手部感知。在可行实施方式中，振动触觉致动器可设置于或靠近器械主手柄，但是其他实施方式也是可行的。在替代实施方式中，振动触觉致动器还可设置于套管式器械保持管体130。

图11示出图6的所提出的模拟器系统的可行扩展，其中二级触感控制引擎1100可附加在至少一个器械110上，从而控制振动触觉致动器1110并且还可能控制与该器械110关联的(多个)传感器630。混合现实处理引擎650可因此计算：

-用于一级触感控制引擎电路600的运动触感力反馈指令，从而例如根据计算出的图10b的信号驱动器械复制品100和器械保持管体130形成的EM设置；以及

-用于二级触感控制引擎电路1100的振动触觉触感指令，从而例如根据计算出的图10c的信号驱动器械110上的器械振动触觉致动器1110。

混合现实处理引擎可因此结合采用可变的运动触感力反馈信号的计算结果和/或振动触觉触感指令的结算结果来产生操作模拟器系统的受训者将会感知到的最具真实性的组合的触感效果。

在可行实施方式中，触感控制引擎电路1100和振动触觉致动器1110可以是分离的部件。在替代的可行实施方式中，它们可以集成到同一个小电路中从而例如在器械操作方面帮助形成紧凑的整体。

Claims

1.一种医疗模拟系统，包括：

-具有至少一个进入口(100)的解剖模型(105)，所述解剖模型(105)安装在允许改变所述解剖模型(105)的取向的旋转元件上；

-安装在所述进入口(100)上的器械保持管体(130)；

-适于滑入所述器械保持管体(130)中的器械复制品(110)；

-至少一个器械位置追踪系统，其用于追踪所述器械复制品(110)的位置和取向；

其特征在于，所述器械保持管体和所述器械复制品被设置为一起形成线性电磁马达。

2.根据权利要求1所述的医疗模拟系统，其特征在于，所述线性电磁马达还包括被设计为产生触感振动的振荡部件。

3.根据权利要求1所述的医疗模拟系统，其特征在于，所述器械复制品还包括振动触觉致动器，振动触觉致动器安装在所述器械复制品(110)上并且设计为产生触感振动。

4.根据权利要求1-3中任一项所述的医疗模拟系统，其特征在于，传感器位于所述器械复制品的头端处。

5.根据权利要求1-3中任一项所述的医疗模拟系统，其特征在于，所述器械保持管体(130)还包括插入传感器。