CN113490974A - 紧凑型触感混合现实模拟器 - Google Patents

紧凑型触感混合现实模拟器 Download PDF

Info

Publication number
CN113490974A
CN113490974A CN202080013940.8A CN202080013940A CN113490974A CN 113490974 A CN113490974 A CN 113490974A CN 202080013940 A CN202080013940 A CN 202080013940A CN 113490974 A CN113490974 A CN 113490974A
Authority
CN
China
Prior art keywords
instrument
replica
virtual object
orientation
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080013940.8A
Other languages
English (en)
Other versions
CN113490974B (zh
Inventor
克里斯托弗·亨舍尔
伊沃·莱巴赫尔
丹尼尔·巴霍芬
斯特凡·塔奇施密德
马库斯·厄尔哈芬
卡罗琳·马特斯-奥布赖恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIRTAMED AG
Original Assignee
VIRTAMED AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIRTAMED AG filed Critical VIRTAMED AG
Publication of CN113490974A publication Critical patent/CN113490974A/zh
Application granted granted Critical
Publication of CN113490974B publication Critical patent/CN113490974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/288—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Instructional Devices (AREA)

Abstract

紧凑和通用的混合现实模拟系统和方法可包括混合现实处理引擎和触感控制引擎，以控制由手持式器械复制品和套管式器械保持管体构成的1自由度的线性电磁马达(LEM)。紧凑和通用的混合现实模拟系统可包括多个可互换的器械保持管体和手持式器械复制品，并且混合现实处理引擎可通过传感器来自动检测哪个器械复制品被插入到哪个管体中。混合现实处理引擎可检测手持式器械复制品与虚拟对象之间在混合现实情景中的虚拟接触。混合现实处理引擎可根据通过传感器追踪的器械的位置和取向以及虚拟对象在其由于基于混合现实情景的虚拟接触而发生变形时的位置、取向和材料特性来通过实时解算器计算用于驱动LEM的运动力反馈信号。混合现实处理引擎可通过重新调节触感反馈的幅值和/或将其与振动信号相结合、并且在可能的情况下与额外的振动触觉致动器布置相结合来实时地调节触感反馈。混合现实处理引擎可共同地调节触感反馈信号和虚拟现实情景渲染，从而通过诸如空间扭曲的触感重定位方法来得到更真实的混合现实体验。

Description

紧凑型触感混合现实模拟器
技术领域
本发明总体上涉及医疗模拟器、虚拟现实和增强现实模拟方法和系统，并且更具体涉及用于外科训练目的的腹腔镜检查及其他内窥镜检查模拟器。
背景技术
医疗模拟器
在诸如内窥镜检查、关节镜检查、腹腔镜检查及其他微创手术应用的许多医疗应用中，在治疗程序期间越来越多地使用医学成像进行诊断和引导。针对可能在医疗实践中遇到的多种多样的患者解剖结构，除了传统的医疗器械和程序之外，这些新技术还要求内科和外科医生进行专业训练来掌握操作诸如内窥镜或超声探头的成像工具所需的间接手眼协调能力。计算机化的医疗训练模拟器可以使内科医生和受训者能够在手术室中实际操作之前在虚拟现实环境中发展和提高他们的能力。
先进医疗程序模拟器可基于混合或虚拟现实/增强现实(“VR/AR”)模拟装置，内科医生可使用该装置体验医疗程序情景。VR/AR系统可通过混合现实处理引擎(MRPE)根据内科医生的手势和动作计算和渲染出解剖结构的视觉VR/AR模型，从而提供多种反馈，诸如视觉、触觉和听觉反馈。在VR系统中可以针对用户显示模拟出完整的图像，并且在AR系统中可以针对用户显示使实际图像覆盖或合并模拟图像。一般来说，在混合现实系统中，可采用现实元件(例如物理对象复制品)和虚拟元件(例如计算机图形产生的图像)来加强训练情景模拟的现实感。在医疗应用中，可以模拟出具有不同病理特征的多种患者模型。因此，可以针对训练目的在缩短的时间内为用户模拟出执业医师多年来遇到的自然变化情况。可以针对评估目的记录和重复医疗模拟程序。VR/AR模拟系统也可以是计算机并且提供多种度量标准和统计数据。
诸如美国专利第8992230号所述的VR/AR模拟系统包括真实尺寸的人体解剖模型。该VR/AR模拟系统还可包括通过用户操作来更真实地模拟医疗程序的医疗器械。例如美国专利第8992230号所述的被动反馈VR/AR模拟系统还可与多种医疗程序训练场景一起使用，其中一些场景可能导致受训者触摸时的解剖模型表面与通过VR/AR模拟系统计算并且被渲染在屏幕上的虚拟环境表面之间不匹配。为了进一步提升触感体验并且提高这种医疗训练场景中的真实性，VR/AR模拟系统还可采用诸如美国专利第9330502中所述的重定向触摸、触感重定位或空间扭曲的方法和系统。
腹腔镜检查模拟器
总体上，通过直接改编自真实医疗实践的医疗工具或器械来尽可能提高与物理解剖模型(人体模型)交互的真实性可以进一步提升学习体验。在腹腔镜检查程序中，外科医生操纵多种器械，例如腹腔镜、剪刀、镊子、抓钳、钩、探针、推结器、持针器等等，它们通过插入到根据病理特征而放置在患者腹壁上的预定的开口(或入口)中的套管被引导到患者体内。腹腔镜检查器械的例子包括Medtronic公司的Lapro-ClipTM结扎系统、Endo ClipTM一次性施夹器、Endo ClipTM手枪握把一次性施夹器、Covidien公司的AutoSuture ProTackFixation和Stapler装置、Medtronic公司的Endo RetractTM和PeanutTM一次性器械、Medtronic公司的ReliaCatchTM、Endo CatchTM和Endo BagTM回收方案、Ethicon
Figure BDA0003208110650000021
和
Figure BDA0003208110650000022
单独式或复合式施夹器、Karl Storz公司的Endoskope and
Figure BDA0003208110650000023
Telescopes视频成像仪、Karl Storz公司的解剖和抓取用镊子、触诊探针、牵开器、解剖器以及例如在Karl Storz公司的用于外科、妇科、泌尿外科中的腹腔镜检查的产品在线目录(www.karlstorz.com)中列举的取出器、剪刀、穿孔器和镊子等等。套管通常包括作为中空管体的插管、闭塞器以及密封件。具有不同的直径和长度的用于多种腹腔镜外科程序的套管器械的例子包括Ethicon公司的ENDOPATH XCELTM系列、Medtronic公司的VersaOneTM系列、Karl Storz公司的套管等等。例如可以在Dr George S.Ferzli于2011年发表的《腹腔镜套管置入》(https://www.slideshare.net/drferzli/laparoscopic-trocar-placement，2018年6月)中找到针对不同的外科程序在腹部解剖的不同象限中放置3至6个入口的例子。
器械或套管的误操作例如可能通过穿透肠或大血管而导致严重的医疗并发症，因此对实施这些程序的主治外科医生进行正确训练是十分重要的。为此，已经开发了被动式触觉解剖模拟器，例如Limbs&Things公司的Surgical Female Pelvic Trainer(SFPT)，其能够基于乳胶模型重现出标准的解剖器官布置。可以对有限范围内的妇科腹腔镜手术技术和程序进行模拟，还可以使用真实的器械，但是这种模拟仍然局限于标准的解剖情景并且不能模仿出例如使用剪刀器械进行切割来夹持或移除组织或器官的标准外科程序的触感。这些设置确实在切除任何解剖模型子部件时需要额外的硬件和/或一次性物品，和/或教导解剖变异。它们不能模拟出全部的可能的医疗并发症，并且通常具有外观和操作不真实的问题。
需要大量训练的示例性操作是腹腔镜手术缝合阶段中的进针操作。Correa等人最近在《医疗应用中进针训练的触觉交互：最新技术》(医学工程与物理学杂志，2019年第63期，6-25)中对全球145部相关学术著作进行了最新的综述，其中大部分是基于VR/AR系统的。Correa观察到，这些著作大多采用了商用触觉设备，例如Phantom Omni、PhantomPremium或Novint Falcon设备。虽然这使研究人员能够专注于特定的研究领域，例如开发稳固且逼真的数学模型和适用于实时计算机模拟的触觉力反馈控制方法，但Correa等人指出，专用硬件的开发仍然是研究界面临的挑战，特别是在这些设备的人体工程学方面。事实上，大多数触觉设备都具有耦合的臂部，这在使用诸如腹腔镜的手持器械的实际的医疗程序实践中是不存在的。因此，嵌入商用触觉设备的模拟器往往是笨重的并且需要工程专业知识来设置、操作和维护，这在学术界以外的医疗培训环境中可能并不可取。Correa等人还指出，虽然大多数商用触觉设备至少在3DOF(Degrees-Of-Freedom，自由度)下工作，但简化的系统可能在更低的自由度下工作(减少至一条单一的力反馈轴线)，因此真实性更低。最后但同样重要的是，大多数学术著作都聚焦于单一触觉模式，例如运动力反馈模型和方法，而Correa等人设想探索可能会形成改进的系统设计的多模式感官知觉评估(例如，触觉和/或视觉和/或听觉反馈的组合)。
例如Surgical Science公司的
Figure BDA0003208110650000031
训练系统(https://surgicalscience.com/systems/lapsim/)、CAE healthcare公司的LapVR模拟器(https://caehealthcare.com/surgical-simulation/lapvr)、Simbionix公司的Lap MentorTM(http://simbionix.com/simulators/lap-mentor/platforms/)、Eidos Medicine公司的ENSIM.LPR内镜外科模拟器(http://eidos-medicine.com/en/pdfs/EIDOS_Product_Catalogue.pdf)等等的现有技术的基于VR的商用腹腔镜检查模拟器聚焦于通过使用力反馈技术结合虚拟现实图形显示来教导模拟手术室器械的一对工具的协调的3D手持操作。这些系统中使用的力反馈技术的例子包括XitactTM IHP和沉浸式AccuTouch
Figure BDA0003208110650000041
与Correa等人从学术著作中得出的结论一致，这些现有技术商用模拟器的一个主要缺点是相应的设备通常是笨重的并且专用于一种特定程序。由于在手术模拟器中集成最先进的触觉接口的硬件限制，它们被构建为专用手推车的组成部分(通常隐藏在塑料盒形包装中)并且不会模仿实际的患者解剖结构，这对受训者来说只有在VR现实训练场景的图形显示的情况下才是有效的。特别是，受训者不能体验到与不同的腹腔镜手术对应的不同的套管针放置的实践。
在CAE Healthcare的专利申请US2017/287361和US2017/287362中，提出了在限定插入路径的导管中集成电阻触觉机构和传感器，该导管用于引导模拟医疗器械。触觉机构被定位在沿着导管的触觉点处。每个触觉机构都包括致动器，例如马达、活塞、弹簧结构或更一般来说能够向触觉点施加压力的装置，从而在触觉点处提供主动反馈。还可以在触觉点处使用补充的被动触觉解决方案，例如刷子、气囊、织物、材料、涂料，以向用户提供额外的触觉反馈，例如被动阻力或摩擦。可以手动地或通过使用处理器控制的马达来限定且机械地设置多个触觉点(例如，使用诸如轨道的位移机构)，这能够模拟出不同的解剖和医疗模拟使用情况。在每个触觉点处，传感器与每个触觉机构共同定位，以帮助其独立控制。传感器可以是摄像机，以在模拟医疗器械经过触觉点附近时捕捉其图像。尽管能够实现一种适用于不同的解剖和医疗条件的更通用的模拟器部署，但沿着插入导管共同定位的多个触觉机构和传感器的必要的整合仍然使得制造和维护成本高昂，而且难以将这种设计应用到诸如VirtaMed公司发售的那些集成有真实器械手柄的模拟器上。
Eidos最近在专利申请US2017/004732中提出了另一种主动触觉反馈模拟器设计。可以采用内部具有磁铁并插入到线性电磁马达装置中的一种细长器械，从而调节作为马达转换器的细长器械的纵向运动(线性马达相当于传统的马达转子，但产生平移而非旋转运动)。可使用运动传感器对细长器械进行调整，以追踪其运动并相应地调节力反馈机构(例如包括推回、制动、停止、摩擦等的模拟)。除了用于纵向运动的线性电磁马达(LEM)之外，所提出的调节制动机构设计仍需要额外的单独的电磁马达来进行旋转运动调节。这些触觉机构必须集成到模拟器底座中而不是器械上(特别是马达必须拧紧在模拟器底座上)。因此，其通用性不足以让最终用户轻松适应不同的解剖和医疗条件场景模拟，例如需要在手术过程中改变入口位置的情况。
因此需要一种紧凑性和适应性更强的医疗模拟器系统，其具有可移动和拆卸的部件从而在操作与解剖模型接触的器械复制品时帮助现实触感反馈，该器械复制品尽可能地类似于实际操作器械。优选地，这种模拟器应支持可能来自于不同进入口的多种外科程序模拟，而无需昂贵的材料设计和/或维护，并且在不同程序与进入口之间切换时无需繁杂的设定和校准。
发明内容
本发明的目的在于一种为与医疗模拟解剖模型交互的至少一个操作者模拟出医疗程序情景的方法，该解剖模型被安装在允许改变解剖模型的取向的旋转元件上，所述方法包括：
-检测解剖模型的取向；
-检测进入到医疗程序情景中的虚拟对象的位置，该虚拟对象的特征在于至少一种材料和/或物理特性参数以及虚拟变形模型；
-根据解剖模型的取向来更新至少一个虚拟对象的位置、变形模型以及材料/物理特性；
-获取通过操作者操纵的至少一个器械复制品的位置和取向，该器械复制品适于滑入到安装在解剖模型的进入口上的器械保持管体中，该器械保持管体和器械复制品形成线性电磁马达；
-检测所获取的器械复制品的位置与医疗程序情景中更新的虚拟对象的位置之间的虚拟接触，该虚拟接触在医疗程序情景中根据更新的虚拟对象的虚拟变形模型导致虚拟对象的虚拟变形；
-计算轴向力反馈信号，以在触感上渲染出虚拟对象与器械复制品之间的相互作用，该轴向力反馈信号的幅值随虚拟对象的位置、更新的虚拟对象的变形模型、更新的虚拟对象的材料和/或物理特性参数以及器械复制品的位置和取向而变化；
-将计算出的可变的轴向力反馈信号发送至线性电磁马达的控制器，从而沿着器械保持管体的轴线产生轴向力。
本发明的另一个目的在于一种医疗模拟系统，包括：
-具有至少一个进入口的解剖模型，该解剖模型安装在允许改变该解剖模型的取向的旋转元件上；
-安装在进入口上的器械保持管体；
-适于滑入器械保持管体中的器械复制品；
-至少一个器械位置追踪系统，其用于追踪器械复制品的位置和取向；
其中，器械保持管体和器械复制品被设置为一起形成线性电磁马达，
所述线性电磁马达还包括被设计为产生触感振动的振荡部件。
所述器械复制品还包括振动触觉致动器，振动触觉致动器安装在所述器械复制品上并且设计为产生触感振动。
传感器位于所述器械复制品的头端处。
所述器械保持管体还包括插入传感器。
所述医疗模拟系统还包括混合现实处理引擎和触感控制器，混合现实处理引擎被构造为：
a.通过器械位置追踪系统获取器械复制品的位置和取向；
b.通过解剖模型的传感器获取解剖模型的取向；
c.通过混合现实处理引擎根据解剖模型的取向来更新至少一个虚拟对象的位置、变形模型和材料/物理特性；
d.检测所获取的器械复制品的位置和取向与医疗程序情景中更新的虚拟对象的位置和取向之间的虚拟接触，该虚拟接触在医疗程序情景中根据虚拟对象的虚拟变形模型导致虚拟对象的虚拟变形；
e.计算轴向力反馈信号，以在触感上渲染出虚拟对象与器械复制品之间的相互作用，轴向力反馈信号的幅值随更新的虚拟对象的位置、变形模型、材料和/或物理特性参数以及器械复制品的位置和取向而变化；
f.将计算出的可变的轴向力反馈信号发送至触感控制器，该触感控制器对线性电磁马达进行控制从而沿着器械保持管体的轴线产生轴向力。
附图说明
图1示出根据本发明的可行实施方式的腹腔镜检查模拟器的部分切断的示意图，其包括解剖模型、各自适用于接收手持器械的第一和第二套管，该手持器械穿过套管插在解剖模型进入口上并且根据实时显示在屏幕上的虚拟现实情景由用户操作。
图2和图3提供了示例性解剖模型和模型上的对应的进入口以及套管和器械的复制位置的不同视图。
图4示出套管式管体的示例性机械设置，使其在保持足够牢固地附接在解剖模型上的同时可以容易地从解剖模型进入口上装卸，以提供力反馈致动的保持点。
图5示出套管式中空器械保持管体和细长器械棒的部分剖视图，它们适于一起形成紧凑线性马达以用于向用户提供沿着管体的轴线的触感力反馈。
图6表示用于所提出的模拟器的系统部件的可行组合。
图7示出用于所提出的模拟器的混合现实处理引擎的示例性流程。
图8将手持器械和可虚拟变形的对象相互作用的不同时刻的虚拟场景与物理设置进行比较。
图9示出计算出的运动力沿着器械保持管体轴线的可行分解和投影。
图10示出可由所提出的模拟器系统产生的不同触感反馈信号。
图11示出将线性电磁(LEM)马达设置与单独的振动触觉致动器结合的、所提出的模拟器的另一个可行实施方式。
图12示出解剖模型安装在旋转元件上的实施方式。
图13是图12的例子的剖视图。
具体实施方式
示例性腹腔镜检查模拟器
现在将参考图1所示的示例性腹腔镜检查模拟器系统详细描述所提出的医疗模拟器系统和方法的一些可行实施方式。图1示出模拟器的部分切断的视图，其包括：人体解剖模型105；第一套管130，成像器械110可穿过其中通过第一进入口100被引导到解剖模型表皮105下方；第二套管131，诸如抓钳111的腹腔镜检查器械可穿过其中通过第二进入口(在这一侧切断图中隐藏在背面)被插入到表皮下方。医疗模拟器还包括用于渲染外科程序的虚拟现实模拟的显示器150。VR场景可因此示出器械111的虚拟复制品165在其操作实际操作中通过成像器械110拍摄的解剖器官185的虚拟复制品185时的相互作用。
为了向用户提供真实性反馈，可以通过器械位置追踪系统实时追踪他/她对于器械110、111的操作。根据一个实施方式，器械位置追踪系统基于直接安装在器械上的传感器。根据另一个实施方式，传感器安装在解剖模型上并且诸如磁铁或线圈的无源元件安装在器械上并且与有源传感器协作。在可行实施方式中，例如美国专利第8992230号所述，可在每个器械上采用位置和取向传感器来追踪其位置和取向(6DOF)，通过校准单元来帮助相对于解剖模型进行自动校准，并且传感器可连接至追踪单元，该追踪单元接收输入的传感器数据并且将其发送至VR/AR数据处理单元(MRPE)。其他实施方式也是可行的，例如具有运动传感器、惯性传感器(IMU)。器械位置追踪系统可使用诸如摄像机的光学传感器。在这种情况下，使用两个摄像机追踪器械的位置以及取向。借助于图像处理，摄像机所捕捉的图像可用于检测不仅一个器械而是多个器械的位置和取向。混合现实处理引擎可因此根据要进行模拟的虚拟情景(例如实际操作中会遇到的不同的器官病理特征)以及器械位置追踪系统测得的器械110、111相对于解剖模型105的实际操作来计算出实际的虚拟现实模拟场景。
所提出的模拟器系统优选包括常规手术工具手柄，以尽可能真实地帮助训练外科医生。例如，抓钳器械111和腹腔镜110可在不同进入口处穿过套管被插入到人体中。用户(或实际操作中训练外科医生团队时的多个用户)根据屏幕150上由成像器械捕捉并渲染的显示内容(视觉反馈)并且根据进行操作的手部的触碰感受(触感力反馈)通过操作器械110和111而与模拟器系统的人体模型105相互作用。在外科模拟中，包括虚拟器官185和虚拟工具165的场景的虚拟现实图像可被实时显示在屏幕150上，同时模拟器可采用触感机构来根据虚拟现实情景向用户提供真实性反馈，而无需在人体模型中使用一次性器官模型来模仿它们的实际手术(诸如切割、移除器官组织等等)。例如在美国专利第8992230号中所述的将被动反馈VR/AR模拟系统与空间扭曲渲染方法结合可通过将虚拟工具操作重调节至实际存在于物理模型中的对象的接触表面而进一步促进诸如工具与刚性表面碰撞的简单情况下的真实性被动触感体验。然而，针对诸如腹腔镜检查训练中可能遇到的特定VR/AR模拟情景，被动触感不能模拟出用户感知操作的完整范围，特别是在与柔软弹性对象进行复杂的相互作用的情况下，例如对特定消化道器官表面进行切割、抓取或拉动。
在优选实施方式中，所提出的模拟器因此还作为主动触感系统进行操作。为此，套管130、131和器械110、111可连接至触感控制引擎(未示出)，其根据从负责根据所追踪的器械的位置和取向以及要进行模拟的虚拟情景(例如，可能在实际操作中遇到的不同触感触碰产生的不同器官纹理)而产生触感信号指令的混合现实处理引擎接收的主动触感力信号来控制致动器。触感控制引擎可以随后通过处理器计算出对与每对器械和套管关联的致动器进行控制的控制信号，使得用户通过手部实时感知到正确的触感反馈。
解剖模型105可以是特别适用于腹腔镜检查模拟的腹部模型，例如ChamberlainGroup公司的腹部手术训练器(https://www.thecgroup.com/product/ast-advanced-laparoscopic-hernia-skin-2140/)、Chamberlain Group公司的充气腹部(https://www.thecgroup.com/product/insufflated-abdomen-4061/)或图2a、图2b、图3a、图3b中示出的其可替换表皮，但是也可使用其他模型，例如Limbs&Things公司的腹部检查训练器模型(https://www.limbsandthings.com/global/our-products/details/abdominal-examination-trainer)或其他人体模型。人体模型105的模仿人体表皮的部分可由塑料、硅、橡胶、聚氨酯或任何其他合适材料制成。
根据特定实施方式，人体模型105安装在允许将人体模型105移动至不同位置的旋转元件上。为此目的，人体模型105首先安装在板上。该板是人体模型的柔软材料与旋转元件之间的交界面。旋转元件由允许围绕中心点进行一定程度运动的两个部分构成。在图12和13的例子中，旋转元件的第一部分由固定至板的圆形元件180构成。旋转元件的第二部分是用于圆形元件的接收元件181。在未示出的另一个例子中，第一部分和第二部分可以互换。
在特定实现方案中，通过设置在第一部分与第二部分的接触位置182处的摩擦元件来保持第一部分与第二部分之间的摩擦力。例如，摩擦元件是橡胶或硅衬垫或环。
人体模型105的旋转允许更好地模拟真实情况。取决于所模拟的情况，训练期间模型的位置是很重要的。因此，人体模型可围绕中心旋转点自由调节。
除了更真实情况的模拟之外，将人体模型定向在不同位置还对虚拟器官的位置和表现产生影响。
医疗模拟器包括通过与默认取向进行比对来检测人体模型的取向的装置。为此目的，根据一个实施方式，传感器安装在旋转元件中并且检测人体模型的取向。在另一个实施方式中，使用观察角朝向人体模型的至少两个摄像机来确定人体模型的取向。它们可以是器械位置追踪系统中所使用的相同摄像机。
重力影响器官的位置和表现，并且通过计算出根据人体模型的实际取向而更新的器官的位置和表现来模拟这种情况。这种更新的位置和表现用于两种目的，第一是在医疗模拟器的屏幕上真实地渲染，第二是用于限定施加在医疗器械上的反馈力。由于器官的位置和/或取向由于重力而改变，因此在医疗器械与该器官进行接触的同时触感也发生改变。该触感随后被转换为不同的反馈力。
可在模型上切割不同的进入口来模拟腹腔镜进入口布置的不同医疗实践，例如分别对应于不同病理特征或不同学院。图2a示出成像器械110穿过套管130在Chamberlain腹部模型105上的进入口100处插入。图2b示出相同人体模型105的不同照片，其中已经准备好多个可行的腹腔镜进入口(可看到模型105上的多个孔)，并且四个套管130、131、132、133已经固定在腹部模型105上的四个可行的进入口子集上。
对于机械领域技术人员显而易见的是，套管130、131、132、133可通过诸如螺钉、胶水、磁铁、按扣机构、柔性联锁装置等等的不同机械装置固定至人体模型105。在优选实施方式中，为了在尽可能减少模拟器设备的总成本的同时快速地“插入和模拟”外科程序模拟情景的替换，将每个套管130、131、132、133非永久地固定在解剖模型105上可以是优选的，使得模拟器硬件仅需要可以从一个进入口到另一个进入口互换的有限数量的套管(例如外科程序中可能需要的4或5个套管)。图3a示出采用不同的入口孔的示例性解剖模型，每个进入口适于通过可完全互换的方式保持任何套管。
图3b示出另一个实施方式，其中用于解剖模型的套管式器械保持管体附接机构的柔性足以使得器械的插入可改变套管的取向，由此帮助教导在多种医疗模拟情景中正确、谨慎地插入器械。对于机械领域技术人员显而易见的是，多种附接机构可适用于此。在可行实施方式中，套管式管体130针对解剖模型105的悬挂部可包括螺母400(在套管式管体上)和螺纹部分410(在解剖模型入口孔上)，它们可以拧在一起来确保良好的套管式管体悬挂，但是其他附接机构实施方式也是可行的。作为附接机构的可行的螺母和螺纹机械实施方式，图4a、b和c示出了所提出的套管式管体螺母400和螺纹410的设置的相应的分离、附接和剖视图。图4d进一步示出这种套管式管体的示例性布置，其在解剖模型105上的进入口100处具有白色的螺纹410和螺母400的部分。对于机械领域技术人员显而易见的是，其他设置也是可行的，例如使用按扣机构。
可通过所提出的系统来模拟的不同的医疗实践的例子包括但不限于：阑尾、胆囊、肝、胰腺、小肠、大肠(结肠)、脾、胃、盆腔或生殖器官的腹腔镜检查；腹腔镜胆囊切除术(移除胆囊)、阑尾切除术(移除阑尾)、子宫切除术(移除子宫)、输卵管卵巢切除术(移除卵巢和输卵管)、输卵管结扎或复通(用于外科避孕)、移除卵巢囊肿、移除纤维瘤、阻断纤维瘤血流、子宫内膜组织消融、粘连去除、针对尿失禁的Burch手术、针对脱垂的穹隆悬吊术；直肠乙状结肠切除术、右半结肠切除术或回肠结肠切除术、全腹结肠切除术、粪便转流(临时性或永久性回肠造口或结肠造口)、腹会阴切除术、肛门、直肠和乙状结肠的手术切除、直肠固定术、全直肠切除术；胃束带术、胃转流术、袖状胃切除术；移除肿瘤、肿块和囊肿；针对酸返流病的疝修补术和胃底折叠术；肾切除术、输尿管切开取石术、肾盂切开取石术。
由于所提出的系统中的入口固有的可互换性，可以分别对来自于全世界不同的医疗培训“学校”的多种腹腔镜检查实践做法进行模拟，例如一个操作者站在患者的双腿之间的法国实践做法，或者操作者站在患者的左右两侧的美国实践做法。对于腹腔镜检查领域的技术人员显而易见的是，套管直径在不同产品之间变化，总体上对于较小的套管在3-6mm的范围内并且对于较大的套管在10-14mm的范围内。在腹腔镜胆囊切除术的法国实践做法中通常使用四个套管。第一个10mm的套管以倾斜方向(45°)插入到脐上部的入口中，以用于固定腹腔镜。两个5mm的套管被放置在位于右肋缘下方1cm处的两个另外的入口上并且尽可能远地分隔开；其中一个用于收回、抽吸和冲洗，而另一个用于夹持器械。最后一个10mm的套管被定位在左季肋部上的第四入口中，以保持诸如钩、剪刀以及施夹器的常规器械。其他实施做法可能要求使用12mm的套管来插入诸如缝合器和穿孔器的大型器械。例如，可以在K.H.Kramp等人发表在内镜外科杂志2014年第28期(DOI 10.1007/s00464-013-3353-1)第1571-1578页上的《MIS套件中法国和美国腹腔镜胆囊切除术位置的工效学评价》一文中找到法国学校与美国学校针对腹腔镜胆囊切除术实践做法的对比。
为了进行真实性模拟，仅模仿真实套管的顶部就足够了，而操作中不可见的套管管体的内部如现在将进一步描述的那样可以专门设置用于模拟。
虽然已经在器械插入到套管中的腹腔镜检查的背景下描述了示例性模拟器系统，但是所提出的模拟器系统和方法可以更普遍地适用于器械穿过人体进入口插入的任何医疗程序。在本公开文件中，术语“进入口”因此用于表示一种孔，器械穿过该孔插入到物理解剖模型中。在腹腔镜检查中，通过使用套管辅助这种进入，但是例如用于宫腔镜检查或支气管镜检查的内窥镜检查模拟器的其他模拟器也可以不需要套管，因为内窥镜通过自然腔道进入。
手持线性电磁马达设置
现在将描述所提出的模拟器手持器械的一个实施方式，其在紧凑性、制造和维护成本、进入口布置和器械插入互换的灵活性方面是尤为有利的，同时在模拟程序中向操作器械的用户提供真实性反馈。
在可行实施方式中，如图5所示，可以通过采用管体和器械复制品形成线性机电致动器(LEMA)而向最终用户提供触感反馈，从而向操作器械穿过进入口的用户提供力反馈。
在图1的示例性腹腔镜检查模拟器的可行实施方式中，每个套管式器械保持管体130、131、132、133、134都可适用于形成管状线性电磁马达(LEM)的定子，而每个器械110、111都可适用于作为其转换器(转子)。图5提供了这种可行设置的部分拆分视图：
·套管式中空管体可设置为保持对应于不同马达相位的一系列线圈510、511，该线圈顺时针/逆时针交替安装并且被间隔件512间隔开，以分离线圈。
·器械内部棒110可设置为保持交替的磁铁：第一磁铁531、相对于第一磁铁531设置使得它们彼此推抵的第二磁铁533等等。在另一个可行实施方式中，间隔件532可插入到磁铁之间。在另一个可行实施方式中，间隔件可以是铁氧体，以增强可由LEM设置产生的磁场，但是其他实施方式也是可行的。
取决于模拟器系统设计的约束和应用，其他实施方式也是可行的。在替代实施方式中，器械复制品可适用于形成LEM的定子，而套管式管体可适用于形成其转换器(转子)。在另一个实施方式中，添加了额外的线圈和永磁铁设置，以围绕器械轴线产生扭矩。在另一个实施方式中，触感控制器可被编程为(通过读取位置和取向传感器)检测器械被移动的方向并且在运动的相反方向上产生力，由此模仿撕裂和/或摩擦力，例如在组织中穿孔且穿过窄孔推拉器械时通常体会到的那些力。在又一个实施方式中，混合现实处理引擎可使用触感控制器进行线性力大小的计算，以用于增强的控制稳定性。一般来说，在用于无需套管的内窥镜程序的模拟器中，管体可机械地设置在解剖模型上的每个进入口后方，以保持和引导器械复制品并同时仍然与后者形成两部分式电磁线性马达，类似于腹腔镜套管复制品管体的设置。在本公开文件中，术语“器械保持管体”因此用于表示一种管体，器械穿过该管体被操纵进入到物理解剖模型中。取决于模拟器应用，该管体可附接于解剖模型上的任何进入口。该管体可由塑料或任何合适材料制成，以构成LEM的转子或定子。管体和进入口可以是固定设置，或者可以像前文中图2a、2b、3a、3b所示的套管进入口附接部的例子那样使用机械设置互换，从而促进模拟器系统训练实践的多样性。
手持线性电磁马达控制
所提出的两部分式LEM设置根据洛伦兹定律并且基于供应至线圈的电流、线圈绕组数量、磁场的方向和强度而产生沿着套管式管体的轴线的线性力(“轴向力”)。
在优选实施方式中，如图6所示，当细长的器械棒110插入到套管式器械保持管体130中时，触感控制引擎600可通过为LEM线圈610供电来控制线性马达610，使得LEM设置作为电磁轴向力反馈机构。
触感控制引擎600包括电子电路，其包含有从混合现实处理引擎650接收控制指令的微控制器(“触感控制器”)以及相应地为LEM线圈610供电的放大器。在可行实施方式中，可以使用两个相位，使得仅有两对导线需要从触感控制引擎引向套管中空管体的内部从而为其供电(一对导线用于对应于相位1的顺时针线圈，一对导线用于对应于相位2的逆时针线圈)。这些设置尤其促进了将电磁马达定子紧凑且不可见地集成在套管式器械保持管体130中。
为了紧凑性，优选触感控制引擎600可被实现为小型印刷电路板(PCB)元件，其可以容易地集成在套管式管体130上，以用于对线圈进行供电和控制。PCB包括用于驱动两相线性马达的所有电力电子器件、驱动和安全逻辑器件以及通信装置。因此，可以将信号线和一根电源线缠绕成为用于套管式管体130的设置的单一线缆。在这种情况下，电源线仅提供直流电。
器械保持管体130还可进一步包括用于触感控制引擎500和/或混合现实处理引擎的一个或多个LEM传感器620，以监测和控制LEM设置的操作。在可行实施方式中，诸如磁传感器(例如霍尔传感器)、光学传感器、运动传感器等等的一个或多个传感器620可集成在器械保持管体130的中空管体内，以检测作为补充的LEM部分的器械复制品110的插入，从而检测何时开始为LEM线圈供电。在另一个可行实施方式中，还可沿着PCB一侧集成温度传感器620，并且触感控制引擎600可使用温度信息来在适当时刻进行线圈的供电，以防止马达过热。
在可行实施方式中，触感控制引擎600可从器械保持管体传感器设置620读取传感器信息，并且可更新控制指令从而根据该传感器信息(例如开关关闭)为LEM线圈供电。在另一个可行实施方式中，触感控制引擎600可将来自LEM传感器620的数据发送至混合现实处理引擎650，使得混合现实处理引擎使用该数据通过要进行模拟的虚拟情景的数学模型来计算出触感控制指令，以启动LEM(用于触感反馈)和/或针对最终用户渲染在显示器150上的虚拟现实信息(用于虚拟反馈)。
在可行实施方式中，触感控制引擎600可随后通过附接在进入口上方的类似于适用于充气的传统套管那样的套管的头部上的线缆连接至保持有主供电单元和混合现实处理引擎650的附近的或远程的个人电脑，使得其不妨碍物理模拟器的真实性。在可行实施方式中，如图6所示，PCB可隐藏在常规充气套管盖中，并且从触感引擎单元到PCB的电源和控制线可类似于诸如成像工具的常规器械布线那样通过T形连接器引导至套管，使其不会繁杂地被受训者注意到。此外，通过这种紧凑的设置，任何器械可被设置在任何套管中并且套管可容易地放置在不同的进入口上，这与需要触感机构固定地集成在模拟的套管和器械旁边的现有技术模拟器相比具有显著的优势，同时所提出的实施方式不再需要在解剖模型上具有任何永久固定的机构。因此能够构建一种运动反馈系统，其主要使用套管式器械保持管体130的中空管体内的隐藏式线性马达线圈610、器械复制品110的棒内的隐藏式磁铁、器械复制品110内的隐藏式位置和取向传感器650以及集成在套管式器械保持管体盖中的隐藏式触感控制引擎600和LEM传感器620。
模拟器控制引擎和方法
所提出的设置能够通过套管式管体的轴线方向上的相反的线性力来向操作器械的用户提供运动反馈。在优选实施方式中，混合现实处理引擎650根据所追踪的器械复制品110沿着套管式器械保持管体130的实际位置以及要被渲染在模拟器显示器150上的训练情景来计算出触感控制引擎600所利用的用于为LEM线圈610供电的控制信号。应注意，混合现实处理引擎650接收解剖模型105的取向并且计算更新的医疗环境。根据解剖模型的取向来更新器官的位置和表现。这会影响对受训者的虚拟反馈和施加在医疗器械上的力反馈。因此，受训者根据以下内容感知到他/她与训练环境的相互作用：
-渲染在显示器150上的训练情景的虚拟表示；以及
-通过(多个)器械保持管体130和(多个)器械复制品110构成的触感系统产生的对他/她的手部的主动反馈带来的训练情景的触觉表示。
为了使混合现实处理引擎650实时计算要进行渲染的虚拟现实场景以及要通过触感控制引擎600根据受训者的模拟器操作启动的触感指令，可通过至少一个器械传感器630追踪每个器械复制品110、111的实际位置和取向。还根据解剖模型的取向来计算虚拟现实。可以使用多种传感器设置，例如使用磁、电阻、电容、电感、光学、惯性或声学传感器。可在器械复制品的内部、上部或外部设置传感器，使得它们不会妨碍受训者的操作。在可行实施方式中，6DOF磁传感器630可以集成在每个器械复制品110、111的头端处，类似于诸如美国专利第8992230号中描述的现有技术VirtaMed模拟器传感器设置。
为了避免传感器测量结果受到电磁马达线圈干扰，在可行实施方式中，混合现实处理引擎可检测器械头端何时插入到套管式管体中并且何时从其中离开；在这个过程中，除了穿过套管管体的器械的被动摩擦力之外不需要向最终用户提供运动反馈，因为在VR/AR模拟中只要器械头端保持在套管式器械保持管体中就不会有与器官的相互作用，因此触感控制引擎可以切断线圈的供电直到VR引擎检测到器械头端离开它们几厘米为止。触感控制引擎可因此接通线圈的供电并且开始控制触感反馈模仿像所模拟的手术情景操作那样在器械上的线性力。这与器械首先将CO2气体输送到充气腹部中的真实腹腔镜实践一致。
为了便于检测器械110插入到器械保持管体130中，后者还可配备有传感器620，例如霍尔传感器、光学传感器、运动传感器等等。在可行实施方式中，两个霍尔传感器620可设置在套管式器械保持管体130上，以在亚毫米精度上测量外科器械110插入到管体130中时的实际位置。这种位置信息可用于LEM传感器620整流马达线圈并且通知MRPE650器械110相对于套管式器械保持管体130的当前位置。在可行实施方式中，触感控制引擎600可通过使用预校准的霍尔传感器来尽可能减少LEM的力波动，从而考虑到EM传感器620与LEM线圈610之间的实际位置偏差(取决于制造限制)。这能够增加马达效率并且在器械110移入管体130中时尽可能减少切换的线圈过渡之间的力波动。
器械保持管体传感器信息620还可由混合现实处理引擎650使用，从而：
-通过计算器械追踪传感器630与管体霍尔传感器620之间的传感器数据融合来提高所提出的模拟器追踪系统的精度，类似于诸如美国专利第8992230号中描述的过度校准方法；和/或
-在训练程序起始步骤中通过从它们相应的传感器信息中识别出哪个器械110、111已被插入到哪个套管式管体130、131、132、133中来自动检测实际模拟器设置。混合现实处理引擎650可特别地通过器械位置和取向传感器来自动得出已经附接有套管式管体的解剖模型进入口。
对于本领域技术人员显而易见的是，将所提出的紧凑型传感器设置与混合现实处理引擎逻辑器件组合由此促进可自动在针对不同的受训者的多种训练程序(例如不同的医疗实践)之间切换的所提出的模拟器系统的设置、初始化以及维护。这与需要额外的传感器在套管式器械保持管体上的笨重设置和/或专用于设置检测的解剖结构或专用的、繁杂的设置注册程序设计(例如通过用于用户的图形用户界面设定页面来手动配置用于启动的VR/AR引擎的硬件设置)的现有技术模拟器相比在具有显著的功能性和商业性优势。
用于虚拟对象操作的轴向力反馈
一旦器械110已被插入超过套管式器械保持管体130的内端部之外，取决于模拟情景和所追踪的器械110的位置和取向，混合现实处理引擎650就可检测器械110与虚拟现实情景中虚拟对象的可能的相互作用，例如意外碰撞和/或有意操作，诸如推动、抓取和拉动、切割等等。在诸如腹腔镜检查的最简单的情景中，无需主动手术，用户主要学习如何操作腹腔镜并且可能还有简单的工具来在诸如器官软组织或肿瘤周围坚硬或牢固的组织的解剖元件上进行推动，以获得更好的组合视角并且感受它们的结构。由于腹腔镜和工具器械线性地引入套管中，因此用户操作主要在对应的方向上受到约束，即套管式管体130和手持器械复制品110构成的LEM设置的线性轴线。混合现实处理引擎650可相应地计算用于LEM致动器610的控制反馈信号，以根据物理设置中通过器械传感器630追踪到的器械复制品110的位置和取向以及虚拟现实场景中所模拟的虚拟对象的位置、变形和材料特性(例如可根据模拟情景通过计算机图形网格来表示)来在套管式管体130的轴线方向上产生可变的轴向力。虚拟对象被限定为3D对象，其中3D形状在现实处理引擎中限定。多种参数表征虚拟对象，例如材料或物理参数、纹理或变形模型(即虚拟对象如何对压力做出反应)。
如图7所示，为了针对所提出的医疗模拟器的至少一个操作者模拟医疗程序情景，混合现实处理引擎650可适用于：
-检测700解剖模型105的取向；
-检测710至少一个虚拟对象的位置、变形模型和材料/物理特性，以在医疗程序情景中进行模拟；
-根据解剖模型的取向更新720至少一个虚拟对象的位置、变形模型和材料/物理特性；
-获取730操作者操作的至少一个器械复制品110的所追踪的位置和取向，器械复制品110适用于在器械复制品110插入和滑入器械保持管体130中时与该管体130联合形成线性电磁马达；
-检测740所追踪的器械复制品110的位置和取向与医疗程序情景中虚拟对象的位置之间的虚拟接触，该虚拟接触在医疗程序情景中导致虚拟对象的变形；
-计算750可变的轴向力反馈信号，该信号的幅值和/或频率根据虚拟对象的位置、所追踪的器械复制品110的位置和取向以及虚拟对象的材料和/或物理特性而随时间改变；
-将计算出的可变的轴向力反馈信号发送760至线性电磁马达的触感控制器，以通过触感控制器为器械复制品110和器械保持管体130形成的线性电磁马达供电。
在计算机图形中，虚拟对象的材料和/或物理特性可以是在受力或相反情况下控制材料变形的机械模型的参数。材料特性和机械建模可产生虚拟的固体/对象的特征应力-应变曲线。例如，混合现实处理引擎可针对某些虚拟对象使用十分简单的线性弹性材料模型，这表示材料探针的相对伸长(应变)与其每单位面积所施加的力(应力)成正比。在这种情况下，材料特性可表示为两种参数，即杨氏模量和泊松比。针对物理表现的更真实的建模，可以考虑通过额外的材料特性参数来实现非线性的效果、黏弹性、塑性以及粘性。它们都表示材料如何在力的影响下变形。
一般来说，可以在Correa等人发表在医学工程与物理学杂志2019年第63期第6-25页上的《用于医疗应用中插针训练的触觉交互：现有技术》一文中找到例如适用于插针建模的某些可行模型的探讨。虚拟对象可具有多种机械表现，诸如弹性、粘性、塑性，这些通过它们作为不同的机械模型的参数的诸如质量、杨氏模量、泊松比和/或柯西拉力的物理和/或材料特征来表征。取决于模拟情景，一个或多个这种模型可由混合现实处理引擎应用和/或组合，以计算要通过1DOF的LEM应用的、具体被投射在LEM线性轴线(即器械保持管体130的轴线)上的触感力反馈信号。
混合现实处理引擎650可使用多种数值方法来用于力反馈信号的离散化和计算。在可行实施方式中，混合现实处理引擎650可使用至少一个处理器执行实时数学解算器，以在依赖时间的非线性应力-应变约束下近似计算出力反馈值的足够真实的估值。总体上，采用FEM(有限元法)的数学解算器可适用于此。对于本领域技术人员显而易见的是，可以为此使用多种解算器，例如FEM解算器、基于位置的动态(PBD)、投影动态解算器、高斯-赛德尔解算器、雅各比解算器等等。
在可行实施方式中，用于调节由器械复制品110和器械保持管体130形成的线性电磁马达的可变轴向力反馈信号的幅值可因此基于适用于要在虚拟情景中进行模拟的虚拟对象的至少一个虚拟变形模型、根据所模拟的对象的至少一个材料和/或物理特性以及器械与虚拟对象之间的相对位置和/或取向来计算。后者的相对位置和/或取向可从传感器测得的所追踪的器械复制品的位置和取向以及混合现实处理引擎计算出的虚拟对象的位置和取向中得出。在可行实施方式中，MRPE可确定器械复制品与虚拟对象上的接触表面之间的角度，并且相应计算出通过LEM产生的轴向力反馈的幅值。
通过图8的例子对此进行进一步说明，示出了可变形的对象由受训者操作的虚拟情景以及与其对应的可变形的对象没有进行物理模仿的物理设置。在图8a中，混合现实处理引擎650检测在套管式器械保持管体130中滑动的器械复制品110的头端与虚拟对象800的第一表面位置801p(t1)之间的虚拟接触。根据训练模拟情景，在虚拟场景a中，虚拟对象800(例如肝或膀胱器官)可在特定位置处(并且还可能在特定取向处)由混合现实处理引擎650识别(例如，在计算机图形VR场景中表示为几何网格)并且与至少一个材料特性参数和虚拟变形模型关联(例如，对其器官组织的弹性及其随时间变化的发展进行量化，这对于活体元素来说是变化的)。由于虚拟对象800在物理环境设置的解剖模型中不具有实体(图8b)，因此所提出的方法可应用于通过所提出的套管式器械保持管体130与器械复制品110的模拟器LEM设置来计算和启动运动力反馈830，以在虚拟情景中模仿虚拟对象800的操作。
在可行实施方式中，混合现实处理引擎650可根据虚拟接触检测的第一时刻t1处的虚拟对象的虚拟表面处的初始接触位置和取向801pos1(t1)与基于受训者进行的物理器械复制品的操作在第二时刻t2处的当前变形的接触位置和取向803pos2(t2)之间的差异而得出虚拟对象800的变形量。混合现实处理引擎650可因此计算出器械与虚拟对象之间的接触点处的理论接触力810F c和其在方向s上沿着器械保持管体130的轴线的投影力820F s。反馈力也可考虑到器械复制品的头端与虚拟对象的虚拟表面之间的接触角度。该角度可根据虚拟对象的虚拟变形模型而随着器械复制品的位置改变。如图9所示，器械与虚拟对象之间的接触点处的理论接触力F c包括位移方向s上的力F s和(垂直于该方向s的)横向力F l之和，因此F c＝F s+F l。在腹腔镜检查训练中，器械棒尽可能平滑地在套管的中空管体内滑动(使得外科医生集中在所操作的器官的触感上，而非所操作的工具的硬件上)，对于多种虚拟对象操作情景以及所述时刻来说，横向摩擦力是可忽略的。如图9所示，混合现实处理引擎可因此将投影在轴向方向单位矢量s上的力820F s计算为：
(等式1)F s＝(F n+F t)·s
其中F n是器械与虚拟对象之间的接触点处的法向力810，其根据虚拟对象表面的变形量而变化，并且F t是器械与虚拟对象之间的接触点处的切向力，其根据虚拟对象表面的摩擦力而变化。
在可行的简单实施方式中，法向力810可计算为：
F n＝D·n，具有基于材料的变形标量参数D。
并且切向力可进一步计算为：
F t＝μ·|F n|，具有摩擦系数μ，取决于工具速度其在静态/滑动摩擦之间可以是不同的。实际上，对于要进行模拟的大多数医疗情景，对应于表面摩擦力的切向力可以忽略。
一般来说，计算出的器械头端与虚拟对象之间的接触点处的法向力F n 810的幅值可因此基于虚拟对象的测得的变形量(根据由混合现实处理引擎计算出的虚拟对象的位置和取向以及由传感器测得的所追踪的器械复制品的位置和取向)和至少一种材料特性而随时间变化。在可行实施方式中，混合现实处理引擎650可采用数学解算器(例如FEM解算器、基于位置的动态(PBD)、投影动态解算器、高斯-赛德尔解算器、雅各比解算器等等)来通过一个或多个处理器计算出器械与要进行模拟的虚拟情景中的虚拟对象之间的碰撞和变形。混合现实处理引擎650可相应地计算出来自对象接触的理论反作用力810F c及其对应于物理真实VR/AR场景的投影力820F s。
混合现实处理引擎可随后从理论接触力810F c及其投影力820F s中得出要施加于器械的可变轴向力830，以向最终用户渲染触感反馈。图10a示出可由混合现实处理引擎650产生的幅值随时间变化的示例性运动力信号。直到器械到达pos1(t1)处的与虚拟对象表面的第一接触部为止，所施加的力都为零。随后，随着用户进一步将器械推动至pos2(t2)，由此使虚拟对象变形，计算出的力反馈幅值快速增大从而模拟虚拟对象对于变形的阻力，指导其到达最大值。随着用户进一步仅对位置进行微小调节，可以施加缓慢变化的力反馈。
具有幅值重调节的轴向力反馈
虽然上述方法可足以通过所提出的LEM设置、对于虚拟对象的材料特性和主要沿着套管式器械保持管体的轴线的变形力的特征组合来说足够真实的轴向力反馈而进行模拟，但是一些更先进的场景可能需要轴向力反馈的进一步调节，以增强操作真实性。一个例子是器械与需要更真实的摩擦力模拟的特定器官表面的相互作用的模拟，例如在模拟通过抓钳器械复制品抓取弹性器官组织时，通过采用模仿阻力的拉力来拉长被抓取和拉动的虚拟器官。
确实，由于器械保持管体130和器械复制品110构成的所提出的1DOF的LEM设置仅可以在器械保持轴的方向s上启动模拟的力F s sim，因此混合现实处理引擎650可进一步通过重调节计算出的信号幅值来计算更具真实性的实际力从而随后启动理论投影力F s来进一步增强模拟真实性。在可行实施方式中，混合现实处理引擎650可根据计算出的理论横向力F l来进一步调节要通过触感控制引擎600发送和启动的模拟的力信号F s sim 830的幅值。例如，可以使用基于材料的权重标量参数w根据等式1中横向力F l的幅值来重新调节模拟的力F s sim的幅值：
(等式2)F s sim(t)＝F s(t)+w*F l(t)
在另一个可行实施方式中，混合现实处理引擎650可使用基于材料和基于时间的函数w(t)根据横向力的F l幅值通过对其进行调节来重新调节模拟的力F s sim的幅值。
混合现实处理引擎650例如可增大幅值，以通过驱动/引导受训者到达所需位置来帮助训练，和/或增强来自某些局部虚拟对象材料特性(例如局部组织纹理变化)或会导致虚拟对象变形随时间而变化的生理器官功能(例如血液动脉搏动或肠肌在受到刺激时的反射收缩)的触感反馈。混合现实处理引擎650还可在信号到达稳定状态之后减小幅值，例如图10b所示，例如用于增强LEM的动态或适应性。混合现实处理引擎650还可减小幅值来防止LEM线圈过热，而不会产生最终用户可察觉的触感体验。在可行实施方式中，MRPE或触感控制器可选择性地减弱力反馈信号的慢速变化的部分，以匹配LEM的动态范围内的力反馈信号的剩余部分的动态特性。
所提出的LEM设置还可帮助运动力反馈信号的先进控制，从而在LEM固有地实现多种驱动模式时进行启动。在可行实施方式中，LEM位置与LEM线圈之间的电相位角可以改变，以对LEM施加不同的表现，产生摩擦力触感反馈的开关、低黏性、蜂蜜般运动和/或十分快速几乎自行运动。在另一个可行实施方式中，可在触感控制引擎600中实施PID位置控制器，以控制LEM的位置。混合现实处理引擎650可相应地控制触感控制引擎600来保持在特定位置，例如用于引导受训者的例子。
具有叠加振动的轴向力反馈
虽然上述方法可足以通过所提出的LEM设置、对于主要具有相对较小幅值变化的虚拟对象材料特性和变形力的特定组合来说足够真实的适应变形的、运动的轴向力反馈而进行模拟，但是一些更先进的情景可能需要轴向力反馈信号在频率和幅值方面均有更大变化，以增强触觉操作真实性。一个例子是器械与特定器官表面的碰撞模拟要求对感知到的碰撞冲击进行更真实的模拟，例如模拟器械与刚性元件碰撞的情况。另一个例子是器械在表面上的滑动，在这种情况下振动可用于渲染表面粗糙度。
在可行实施方式中，材料特性可由基于材料的标量参数表示，以根据Okamura等人发表在机械电子学IEEE/SME会刊2001年九月第3期第6卷第245-252页上的《用于虚拟环境中振动反馈的基于现实的模型》一文中所述的基于现实的模型来计算作为衰减正弦波形随着进入速度按线性比例变化的幅值信号：
(等式3)a(t)＝A(v)e-αt*sin(2πfmat*t)
其中A(v)是冲击速度v的基于材料的函数的幅值，α是衰减参数，并且fmat是频率。Okamura提出将A(v)计算为线性关系A(v)＝s*v，其中s是表示幅值斜率的基于材料的标量参数。Okamura提出的示例性变量参数针对橡胶是s＝-116.7s-1、α＝40000s-1、并且fmat＝18Hz，针对铝是s＝-100000s-1、α＝1500000s-1、并且fmat＝1153Hz。
图10c示出可由所提出的混合现实处理引擎产生的具有可变频率的示例性信号，首先在器械与虚拟对象碰撞时产生，之后在使用器械刮擦虚拟对象表面时产生。
虽然Okamura触觉模型与传统力反馈和在接触开始时添加高频力瞬变的基于事件的触感反馈二者结合已应用于多种虚拟环境，但是它们主要通过诸如SensAble Phantom的3DOF触感接口进行测试(Kuchenbecker等人，《通过基于事件的触感反馈改进接触真实性》，可视化与计算机图形IEEE会刊，第2期第2卷，2006年3月/4月号，219-230页)。针对具有1DOF触感接口能力的所提出的紧凑型触感模拟器，运动力反馈(例如图10a)或其图10b的重调整版本可在将指令发送至触感控制引擎从而相应地为线圈供电之前通过混合现实引擎650与可变频率的信号(例如图10c)组合。图10d示出了示例性组合信号的概念图(发明人注意到，对触感自动化领域的技术人员显而易见的是，在真实信号中，运动力反馈变化(其可以更慢)的时间段，并且振动信号频率变化(其可以更快)的时间段不一定在所述视图中恰当表示，此处示出的内容仅用于说明性表示)。
额外的振动触觉系统设置和方法
虽然上文提出的模拟器LEM设置和方法可足以进行模拟，通过所提出的LEM设置，适应变形的、运动的轴向力反馈在幅值和/或频率方面充分改变从而对于多种虚拟对象材料特性和变形力的组合都是足够真实的，但是对于特定的先进模拟情景来说，可以通过使用至少一个振动触觉致动器来产生额外的、非定向的触感信号而增强所提出的模拟器来进一步改进受训者所感知到的模拟情景的真实性，特别是针对多种可变形的器官表面的碰撞和抓取/刮擦的更精确的模拟，或针对旋转触觉情况的模仿(例如，在旋转针驱动器时)。振动触觉致动器可以是ERM、LRA、压电或螺线管振动马达。在可行实施方式中，其可以是螺线管式的，频率范围为0-500Hz。例如，可以使用来自Tactile Labs或Lofelt的振动马达电路，但是其他设置也是可行的。
在可行实施方式中，振动触觉致动器可附接于器械复制品。优选地，其被定位为无法被最终用户察觉，并且使得振动触觉信号强度足以被操作器械的手部感知。在可行实施方式中，振动触觉致动器可设置于或靠近器械主手柄，但是其他实施方式也是可行的。在替代实施方式中，振动触觉致动器还可设置于套管式器械保持管体130。
图11示出图6的所提出的模拟器系统的可行扩展，其中二级触感控制引擎1100可附加在至少一个器械110上，从而控制振动触觉致动器1110并且还可能控制与该器械110关联的(多个)传感器630。混合现实处理引擎650可因此计算：
-用于一级触感控制引擎电路600的运动触感力反馈指令，从而例如根据计算出的图10b的信号驱动器械复制品100和器械保持管体130形成的EM设置；以及
-用于二级触感控制引擎电路1100的振动触觉触感指令，从而例如根据计算出的图10c的信号驱动器械110上的器械振动触觉致动器1110。
混合现实处理引擎可因此结合采用可变的运动触感力反馈信号的计算结果和/或振动触觉触感指令的结算结果来产生操作模拟器系统的受训者将会感知到的最具真实性的组合的触感效果。
在可行实施方式中，触感控制引擎电路1100和振动触觉致动器1110可以是分离的部件。在替代的可行实施方式中，它们可以集成到同一个小电路中从而例如在器械操作方面帮助形成紧凑的整体。
通过空间扭曲渲染产生的轴向力反馈
虽然如上所述的方法可能足以通过所提出的LEM布置并且在可能的情况下通过另外的振动触觉致动器来模拟对于虚拟对象材料特性和变形力的多种组合来说足够真实的触觉反馈，但还可以通过不仅考虑到触觉而且还考虑到大多数人的手眼协调和视觉主导性来进一步调节触觉信号而进一步提高受训者感知到的模拟情景的真实性。
因此，在另一个可行的实施方式中，所提出的模拟器还可集成增强现实设置与混合现实空间扭曲方法。例如，如美国专利第9330502号所述，混合现实处理引擎650可应用根据混合现实情景参数的Kohli的空间扭曲方法，例如要进行渲染的虚拟对象的材料特性和/或模拟情景中周围的物体，从而在显示器150上渲染出与它们的物理设置对应物相比具有不同的对象几何形状的虚拟场景，从而将触摸从没有物理对应物(例如，膝盖半月板)的虚拟对象表面重定向到物理模拟器设置中存在的真实对象表面(例如，股骨)。在一个可行实施方式中，对于特定的模拟场景事件，混合现实处理引擎650可以根据器械复制手持工具110的追踪的位置和取向以及虚拟对象的位置、取向和材料特性(例如，识别出刚性表面)来确定对于所提出的模拟器的主动触觉力和/或振动触觉驱动来说被动触觉重定向作为主动触觉信号命令的替代和/或补充可能适用于更好的感知操纵真实性。
在一个可行实施方式中，混合现实处理引擎可进一步平衡空间扭曲的“视觉欺骗”、力重调节的“力反馈欺骗”和/或振动触觉的“效果欺骗”，以尽可能增大模拟的真实性并帮助最终用户达到训练目标。
腹腔镜检查模拟的示例性应用-与现有技术相比的优势
对于触觉模拟领域的技术人员来说显而易见的是，即使所提出的紧凑型模拟器布置仅能够进行单一的1DOF的触觉力反馈驱动，但是通过本文公开的所提出的新颖实施方式，与现有技术的笨重的医疗模拟器系统相比也可以实现增强的训练功能，同时大大促进了多功能医务人员培训室的设置、操作和维护。
可以使用上述方法来模拟多种医疗场景，例如：
1.与器官组织碰撞：碰撞前信号为零，然后是衰减的短振动冲击，接合线性运动觉阻力沿线性轴方向增加并随后趋于稳定。
2.抓取弹性器官壁：碰撞前信号为零，然后线性运动觉阻力随着组织伸长而增大，随后可能产生振动，从而模拟组织层撕裂或薄组织层与器官分离。
3.沿器官组织壁滑动(例如，膀胱侧)：碰撞前无信号，然后根据器械头端在组织上的压力来调整振动信号的幅值并且根据表面结构和器官组织上滑动运动的速度来调整频率。
与现有技术相比，本文公开的所提出的新颖实施方式还提供了帮助进行医疗训练操作的多种额外的优势，例如：
·支持入口的自由放置；
·可像现实情况那样从训练系统中自由移除器械；
·与现有技术的模拟器相比实现了致动器的更真实的无摩擦设置，产生器械的更真实的操作；
·由于在器械上设置有位置传感器，可以对更精确的力反馈驱动进行控制，从而不会产生许多现有技术系统中观察到的任何振动或类似的伪影。
其他实施方式和应用
虽然本文已描述了示例性腹腔镜检查模拟器的各种实施方式，但应当理解，它们是通过举例而非限制性的方式提供的。对于相关领域的技术人员来说显而易见的是，所提出的模拟器、适配的解剖模型、适配的器械和虚拟现实模拟系统可以推广到使用成像仪器的任何类型的医疗和外科模拟应用而不仅仅是腹腔镜检查，例如人类医学和兽医实践中的胸腔镜检查、肛门镜检查、结肠镜检查、经肛门内窥镜检查、经阴道内窥镜检查、神经外科检查、进针程序等等。可以在不脱离精神和范围的情况下做出形式和细节上的各种变化。事实上，在阅读了上述说明之后，对于相关领域的技术人员来说，如何实现替代实施方式将是显而易见的。因此，所提出的实施方式不应受到上述任何实施方式的限制。
虽然示例性腹腔镜检查模拟器已被描述为每个套管一个入口，如图1、图2a和图2b、图3a和图3b所示，但对于本领域技术人员来说显而易见的是，所提出的系统和布置不限于这种构造。例如，它们也可用于模拟多通道单端口新兴腹腔镜程序，例如使用MedtronicsCovidien公司的SILSTM端口(http://www.medtronic.com/covidien/en-us/products/trocars-access/single-incision-transanal-surgery.html)，更普遍的是三端口或四端口腹腔镜检查模拟，其中三到四个套管可以从一个端口插入。
虽然示例性LEM布置主要被描述为套管作为定子并且细长器械作为线性电磁马达的转子，但颠倒的构造也是可能的。这将使得被动套管仅保持永磁铁，而不需要套管状器械保持管道上的缆线，同时触觉控制引擎将与器械复制品相关联。
虽然本文在用于训练外科医生的医学解剖模拟器的上下文中详细描述了示例性外科模拟方法，但所提出的方法可更普遍地适用于器械主要沿线性轴通过物理模拟器入口插入的任何VR/AR程序。在本公开文件中，术语“空间扭曲”因此用于指将虚拟现实场景坐标重映射到实际物理模拟器对象几何体，以用于VR渲染。因此，空间扭曲方法可以修改混合现实处理引擎根据要模拟的VR/AR场景计算出的虚拟场景对象或器械的一个或多个理论位置坐标、取向坐标和变形方向，然后通过最终用户在VR/AR模拟器显示器上对其进行可视化渲染。混合现实技术领域的技术人员应熟知的是，术语“空间扭曲”不应限于本公开文件和/或美国专利9330502中描述的示例性实施方式，而是可以更普遍地包括来自Kohli的研究工作的触觉重调节或重定向触摸方法(Culbertson等人，《触觉：人工触感的现状和未来》，控制、机器人和自主系统年鉴，2018年第1期：385-409页)。
虽然混合现实处理引擎信号计算方法主要通过示例性力反馈模型和方法进行了描述，但后者可进一步与补充模型结合，以更好地实现模拟器设置的物理学和/或虚拟生理医学场景。在一个可行实施方式中，温度传感器620可以向触觉控制引擎600和/或混合现实处理引擎650报告测量结果。然后，触觉控制引擎600和/或混合现实处理引擎650可实时计算热模型，其随后可调整通过触觉控制引擎600的放大器传回的供电信号，以避免LEM线圈610过热。其他实施方式也是可能的。
虽然主要通过触觉力反馈与LEM布置的组合以及模拟器显示器上的视觉渲染描述了用户感官交互，但所提出的模拟器可进一步对相同的或其他的感官模式使用附加刺激，例如作为警告或状态信息的附加LED灯、可使用所提出的LEM线圈610或振动触觉设备1010或附加触觉装置生成的振动警报；和/或音频反馈信号。在一个可行实施方式中，音频反馈可由混合现实处理引擎650计算，发送到触觉控制引擎600，并在LEM定子线圈610上播放。
在本说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。尽管一种或多种方法的独立的操作被示出和描述为单独的操作，但也可以同时执行一个或多个独立的操作，并且不要求按照所示顺序执行操作。在示例构造中呈现为分别的组件的结构和功能可以实现为组合的结构或组件。类似地，呈现为单一组件的结构和功能可以实现为分别的组件。这些和其他的变化、修改、添加和改进处于本文主题的范围内。
本文将某些实施方式描述为包括逻辑或多个组件、模块或机构。模块可以构成软件模块(例如，体现在机器可读介质或传输信号中的代码)或硬件模块。“硬件模块”是能够执行特定操作的有形单元，并且可以通过特定的物理方式进行配置或布置。在各种示例性实施方式中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或处理器组)可通过软件(例如，应用程序或应用程序部分)构造为用于执行本文所述的特定操作的硬件模块。
在一些实施方式中，硬件模块可以机械地、电子地或通过任何合适的组合来实现。例如，硬件模块可包括永久配置为执行特定操作的专用电路或逻辑。例如，硬件模块可以是专用处理器，例如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时配置以执行特定操作的可编程逻辑或电路。例如，硬件模块可以包括包含在通用处理器或其他可编程处理器内的软件。应理解，可以通过成本和时间考虑来得出是否在专用和永久配置的电路中或在临时配置的电路(例如，通过软件配置)中机械地实现硬件模块。
因此，短语“硬件模块”应理解为包括有形实体，即物理构造、永久配置(例如，硬接线)或临时配置(例如，编程)的以特定方式操作或执行本文所述的特定操作的实体。在本文中使用时，“硬件实现的模块”是指硬件模块。考虑到临时配置(例如，编程)的硬件模块的实施方式，不需要在任何时间实例中配置或实例化每个硬件模块。例如，在硬件模块包括通过软件配置为专用处理器的通用处理器的情况下，通用处理器可以在不同时间分别被配置为不同的专用处理器(例如，包括不同的硬件模块)。例如，软件可以相应地将处理器配置为在一个时间实例构成特定的硬件模块，并在不同的时间实例构成不同的硬件模块。
本文描述的示例性方法的各种操作可由临时配置(例如，通过软件)或永久配置为执行相关操作的一个或多个处理器至少部分地执行。无论是临时配置还是永久配置，这些处理器都可以构成处理器实现的模块，这些模块进行操作来执行本文所述的一个或多个操作或功能。在本文中使用时，“处理器实现的模块”是指使用一个或多个处理器实现的硬件模块。
类似地，本文描述的方法可以至少部分地由处理器实现，处理器是硬件的示例。例如，方法的至少一些操作可由一个或多个处理器或处理器实现的模块来执行。
本文讨论的主题的一些部分可以根据在机器存储器(例如，计算机存储器)内存储为位或二进制数字信号的数据的运算的算法或符号表示来呈现。这些算法或符号表示是数据处理领域的一般技术人员用于将它们工作的实质传达给本领域的其他技术人员的技术的示例。在本文中使用时，“算法”是产生期望的结果的操作或类似处理的自洽序列。在这种情况下，算法和操作涉及物理量的物理操作。通常，但非必须地，这些量可以采用能够由机器存储、访问、传输、组合、比较或以其他方式操纵的电、磁或光信号的形式。有时，主要出于常用的原因，方便的是使用诸如“数据”、“内容”、“位”、“值”、“元素”、“符号”、“字符”、“术语”、“编号”、“数字”等词语来指代这些信号。然而，这些词语仅仅是便利的标签并且与适当的物理量相关联。
此外，应当理解，任何强调功能性和优点的附图都仅用于示例的目的。所公开的方法和系统各自具有足够的灵活性和可配置性，使得它们可以通过所示出以外的方式使用。
尽管术语“至少一个”通常可用于说明书、权利要求和附图，但术语“一”、“该”、“所述”等也表示说明书、权利要求和附图中的“至少一个”或“所述至少一个”。
最后，申请人的意图是，根据《美国法典》第35卷第112节第6段，仅对包含明确词语“用于……的装置”或“用于……的步骤”的权利要求进行解释。未明确包含词语“用于……的装置”或“用于……的步骤”的权利要求不得根据《美国法典》第35卷第112节第6段进行解释。

Claims (15)

1.一种为与医疗模拟解剖模型(105)交互的至少一个操作者模拟出医疗程序情景的方法，所述解剖模型(105)被安装在允许改变所述解剖模型(105)的取向的旋转元件上，所述方法包括：
-检测所述解剖模型(105)的取向；
-检测进入到所述医疗程序情景中的虚拟对象的位置，所述虚拟对象的特征在于至少一种材料和/或物理特性参数以及虚拟变形模型；
-根据所述解剖模型的取向来更新至少一个所述虚拟对象的位置、变形模型以及材料/物理特性；
-获取通过所述操作者操纵的至少一个器械复制品(110)的位置和取向，所述器械复制品(110)适于滑入到安装在所述解剖模型(105)的进入口(100)上的器械保持管体(130)中，所述器械保持管体(130)和所述器械复制品(110)形成线性电磁马达；
-检测所获取的所述器械复制品(110)的位置与所述医疗程序情景中更新的所述虚拟对象的位置之间的虚拟接触，所述虚拟接触在所述医疗程序情景中根据更新的所述虚拟对象的虚拟变形模型导致所述虚拟对象的虚拟变形；
-计算轴向力反馈信号，以在触感上渲染出所述虚拟对象与所述器械复制品(110)之间的相互作用，所述轴向力反馈信号的幅值随所述虚拟对象的位置、更新的虚拟对象变形模型、更新的所述虚拟对象的材料和/或物理特性参数以及所述器械复制品(110)的位置和取向而变化；
-将计算出的可变的所述轴向力反馈信号发送至所述线性电磁马达的控制器，从而沿着所述器械保持管体(130)的轴线产生轴向力。
2.根据权利要求1所述的方法，其中，所述虚拟对象的特征在于虚拟对象表面，所述方法还包括确定所述器械复制品(115)的位置和取向与更新的所述虚拟对象表面之间的接触角度，并且其中所述轴向力反馈信号的幅值进一步根据所述接触角度来计算。
3.根据权利要求1或2所述的方法，其还包括：
-确定计算出的所述轴向力反馈信号不足以用于对所述虚拟对象与所述器械复制品之间的相互作用进行现实的触感渲染；
-根据操作者操纵的器械复制品的位置和取向来增大所述轴向力反馈的幅值，从而增强触感渲染。
4.根据权利要求1-3中任一项所述的方法，其还包括：
-计算振动信号，以增强触感渲染，所述振动信号的幅值和/或频率根据所更新的所述虚拟对象的位置、变形模型、材料和/或物理特性参数以及所获取的所述器械复制品(110)的位置和取向而随时间变化；
-将计算出的所述振动信号发送至所述线性电磁马达的所述控制器，从而控制所述器械复制品(110)与所述器械保持管体(130)形成的所述线性电磁马达的振荡部件。
5.根据权利要求1-4中任一项所述的方法，其还包括：
-计算振动触觉信号，以增强触感渲染，所述振动触觉信号的幅值和/或频率根据所更新的所述虚拟对象的位置、变形模型、材料和/或物理特性参数以及所获取的所述器械复制品(110)的位置和取向而随时间变化；
-将计算出的所述振动触觉信号发送至安装在所述器械复制品(110)上的振动触觉致动器的控制器。
6.根据前述任一项权利要求所述的方法，其还包括：
-确定计算出的所述轴向力反馈信号不足以用于对所述虚拟对象与所述器械复制品之间的相互作用进行现实的触感渲染；
-计算所述虚拟对象在所述医疗程序情景中的重定向的位置，所述重定向的位置与初始确定的位置不同；
-在显示器上渲染出位于计算出的所述重定向的位置处的所述虚拟对象；
-根据所述虚拟对象的所述重定向的位置来调节所述轴向力反馈信号的幅值。
7.根据前述任一项权利要求所述的方法，其还包括：
-确定计算出的所述轴向力反馈信号达到了稳定状态；
-减小所述轴向力反馈的幅值，以扩大所述线性电磁马达的动态。
8.根据前述任一项权利要求所述的方法，其还包括：
-确定计算出的所述轴向力反馈信号可能使所述线性电磁马达过热；
-减小所述轴向力反馈的幅值，以防止所述线性电磁马达发生过热。
9.根据前述任一项权利要求所述的方法，其中，所述解剖模型(105)包括多个进入口(100)，所述方法还包括：
-通过器械保持管体传感器来检测所述器械复制品(110)在所述器械保持管体(130)中的插入；
-通过所获取的所述器械复制品的位置和取向来确定安装有所述器械保持管体的所述进入口的位置；
-确定所述虚拟对象进入到所述医疗程序情景中的更新的位置，以根据使所述器械复制品滑入到所述器械保持管体中的医疗程序的所述进入口的位置来进行模拟。
10.根据前述任一项权利要求所述的方法，其中，可变的所述力反馈信号的幅值在检测到所获取的所述器械复制品的头端的位置离开所述器械保持管体之前都为零。
11.一种医疗模拟系统，其包括：
-具有至少一个进入口(100)的解剖模型(105)，所述解剖模型(105)被安装在允许改变所述解剖模型(105)的取向的旋转元件上；
-安装在所述进入口(105)上的器械保持管体(130)；
-适于滑入到所述器械保持管体(130)中的器械复制品(110)；
-至少一个器械位置追踪系统，其用于追踪所述器械复制品(110)的位置和取向；
-混合现实处理引擎；
-触感控制器，
其特征在于，所述器械保持管体和所述器械复制品被设置为一起形成线性电磁马达，所述混合现实处理引擎被构造为：
a.通过所述器械位置追踪系统来获取所述器械复制品的位置和取向；
b.获取所述解剖模型(105)的取向；
c.通过所述混合现实处理引擎根据所述解剖模型的取向来更新至少一个虚拟对象的位置、变形模型和材料/物理特性，
d.检测所获取的所述器械复制品(110)的位置和取向与医疗程序情景中更新的所述虚拟对象的位置和取向之间的虚拟接触，所述虚拟接触在所述医疗程序情景中根据所述虚拟对象的虚拟变形模型导致所述虚拟对象的虚拟变形；
e.计算轴向力反馈信号，以在触感上渲染出所述虚拟对象与所述器械复制品(110)之间的相互作用，所述轴向力反馈信号的幅值随更新的所述虚拟对象的位置、变形模型、材料和/或物理特性参数以及所述器械复制品(110)的位置和取向而变化；
f.将计算出的可变的所述轴向力反馈信号发送至所述触感控制器，所述触感控制器对所述线性电磁马达进行控制从而沿着所述器械保持管体(130)的轴线产生轴向力。
12.根据权利要求11所述的系统，其中，所述线性电磁马达还包括被设计为产生触感振动的振荡部件，所述混合现实引擎被构造为：
-计算振动信号，以增强触感渲染，所述振动信号的幅值和/或频率根据所述虚拟对象的位置、变形模型、材料和/或物理特性参数以及所获取的所述器械复制品(110)的位置和取向而随时间变化；
-将计算出的所述振动信号发送至所述线性电磁马达的所述振荡部件的控制器。
13.根据权利要求11所述的系统，其中，所述器械复制品还包括振动触觉致动器，其被安装在所述器械复制品(110)上并且被设计为产生触感振动，所述混合现实引擎适于：
-计算振动触觉信号，以增强触感渲染，所述振动触觉信号的幅值和/或频率根据所述虚拟对象的位置、变形模型、材料和/或物理特性参数以及所获取的所述器械复制品(110)的位置和取向而随时间变化；
-将计算出的所述振动触觉信号发送至所述器械复制品(110)的所述振动触觉致动器的控制器。
14.根据权利要求11-13中任一项所述的系统，其中，所述传感器位于所述器械复制品的头端。
15.根据权利要求11-13中任一项所述的系统，其中，所述器械保持管体(130)还包括插入传感器，所述插入传感器将所述器械复制品(110)的插入通知给所述混合现实引擎。
CN202080013940.8A 2019-02-15 2020-01-13 紧凑型触感混合现实模拟器 Active CN113490974B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19157591.9 2019-02-15
EP19157591.9A EP3696794A1 (en) 2019-02-15 2019-02-15 Compact haptic mixed reality simulator
PCT/EP2020/050731 WO2020164829A1 (en) 2019-02-15 2020-01-13 Compact haptic mixed reality simulator

Publications (2)

Publication Number Publication Date
CN113490974A true CN113490974A (zh) 2021-10-08
CN113490974B CN113490974B (zh) 2024-02-23

Family

ID=65493827

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080013940.8A Active CN113490974B (zh) 2019-02-15 2020-01-13 紧凑型触感混合现实模拟器
CN202020177778.0U Active CN211827846U (zh) 2019-02-15 2020-02-17 医疗模拟系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202020177778.0U Active CN211827846U (zh) 2019-02-15 2020-02-17 医疗模拟系统

Country Status (5)

Country Link
US (1) US20220139260A1 (zh)
EP (2) EP3696794A1 (zh)
CN (2) CN113490974B (zh)
CA (1) CA3130009A1 (zh)
WO (1) WO2020164829A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114377381A (zh) * 2022-03-23 2022-04-22 广州奇境科技有限公司 应用于vr设备的三相线性磁轴力反馈装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129678A (zh) * 2021-04-30 2021-07-16 中国人民解放军陆军军事交通学院军事交通运输研究所 基于虚拟现实的通用操作模拟训练系统
FR3131970B1 (fr) * 2022-01-14 2024-02-23 Univ D’Aix Marseille Amu Dispositif pour la simulation en chirurgie abdominale
WO2024006348A1 (en) * 2022-06-28 2024-01-04 University Of Cincinnati Systems and methods for clinical procedure training using mixed environment technology

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050202384A1 (en) * 2001-04-20 2005-09-15 Medtronic, Inc. Interactive computer model of the heart
EP1609431A1 (en) * 2004-06-22 2005-12-28 Simsurgery AS Kit, operating element and haptic device for use in surgical smulation systems
WO2007112486A1 (en) * 2006-03-30 2007-10-11 Monash University Method of modelling the interaction between deformable objects
EP3046093A1 (en) * 2013-11-29 2016-07-20 Eidos-Medicine LLC Drive for generating force-related tactile feedback on an instrument
CN106030683A (zh) * 2013-12-20 2016-10-12 直观外科手术操作公司 用于医疗程序培训的模拟器系统
CN205992366U (zh) * 2016-05-08 2017-03-01 梁长安 一种人体解剖医学模型内嵌装置
CN107221223A (zh) * 2017-06-01 2017-09-29 北京航空航天大学 一种带有力/触觉反馈的虚拟现实飞机座舱系统
US20170287361A1 (en) * 2016-03-30 2017-10-05 Cae Healthcare Canada Inc Body cavity simulator for capturing a simulated medical instrument

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2004265189B2 (en) * 2003-08-15 2010-03-04 Banyu Pharmaceutical Co., Ltd. Imidazopyridine derivatives
US10936074B2 (en) * 2003-11-20 2021-03-02 National Institute Of Advanced Industrial Science And Technology Haptic information presentation system and method
JP2017073101A (ja) * 2015-10-05 2017-04-13 株式会社ミライセンス 触力覚情報提示システム
US10416767B2 (en) * 2003-11-20 2019-09-17 National Institute Of Advanced Industrial Science And Technology Haptic information presentation system and method
US6970662B2 (en) * 2003-12-22 2005-11-29 Xerox Corporation Systems and methods for in situ setting charge voltages in a dual recharge system
US20050288740A1 (en) * 2004-06-24 2005-12-29 Ethicon Endo-Surgery, Inc. Low frequency transcutaneous telemetry to implanted medical device
CN102812504B (zh) * 2009-10-15 2016-06-15 道格拉斯·W·米雅萨基 骨盆手术解剖模型
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8992230B2 (en) 2012-01-23 2015-03-31 Virtamed Ag Medical training systems and methods
EP2896034B1 (en) 2012-09-12 2018-07-25 Virtamed AG A mixed reality simulation method and system
US20170287362A1 (en) 2016-03-30 2017-10-05 Cae Healthcare Canada Inc Body cavity simulator for detecting a simulated medical instrument
US11127306B2 (en) * 2017-08-21 2021-09-21 Precisionos Technology Inc. Medical virtual reality surgical system
WO2019204615A1 (en) * 2018-04-18 2019-10-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Mixed-reality endoscope and surgical tools with haptic feedback for integrated virtual-reality visual and haptic surgical simulation
US10948989B1 (en) * 2018-10-31 2021-03-16 Facebook Technologies, Llc Apparatuses, systems, and methods for actuating a contact surface
IT201900000583A1 (it) * 2019-01-14 2020-07-14 Upsurgeon S R L Dispositivo di apprendimento medico basato sull'integrazione di realtà fisica e virtuale finalizzato allo studio e alla simulazione degli approcci chirurgici ai distretti anatomici
US11263923B2 (en) * 2019-10-24 2022-03-01 Covidien Lp Vasculature models and associated systems and methods
US20220354579A1 (en) * 2021-05-10 2022-11-10 Synaptive Medical Inc. Systems and methods for planning and simulation of minimally invasive therapy
US20240029367A1 (en) * 2022-07-22 2024-01-25 Covidien Lp Extended reality training platform

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050202384A1 (en) * 2001-04-20 2005-09-15 Medtronic, Inc. Interactive computer model of the heart
EP1609431A1 (en) * 2004-06-22 2005-12-28 Simsurgery AS Kit, operating element and haptic device for use in surgical smulation systems
WO2007112486A1 (en) * 2006-03-30 2007-10-11 Monash University Method of modelling the interaction between deformable objects
EP3046093A1 (en) * 2013-11-29 2016-07-20 Eidos-Medicine LLC Drive for generating force-related tactile feedback on an instrument
CN106030683A (zh) * 2013-12-20 2016-10-12 直观外科手术操作公司 用于医疗程序培训的模拟器系统
US20170287361A1 (en) * 2016-03-30 2017-10-05 Cae Healthcare Canada Inc Body cavity simulator for capturing a simulated medical instrument
CN205992366U (zh) * 2016-05-08 2017-03-01 梁长安 一种人体解剖医学模型内嵌装置
CN107221223A (zh) * 2017-06-01 2017-09-29 北京航空航天大学 一种带有力/触觉反馈的虚拟现实飞机座舱系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114377381A (zh) * 2022-03-23 2022-04-22 广州奇境科技有限公司 应用于vr设备的三相线性磁轴力反馈装置
CN114377381B (zh) * 2022-03-23 2022-06-07 广州奇境科技有限公司 应用于vr设备的三相线性磁轴力反馈装置

Also Published As

Publication number Publication date
WO2020164829A1 (en) 2020-08-20
CA3130009A1 (en) 2020-08-20
EP3924954A1 (en) 2021-12-22
CN113490974B (zh) 2024-02-23
US20220139260A1 (en) 2022-05-05
CN211827846U (zh) 2020-10-30
EP3696794A1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
CN113490974B (zh) 紧凑型触感混合现实模拟器
US10610303B2 (en) Virtual reality laparoscopic tools
Westebring–van der Putten et al. Haptics in minimally invasive surgery–a review
EP2068295B1 (en) Laparoscopic training apparatus
EP1609431B1 (en) Haptic device for use in surgical simulation systems
Tendick et al. Human-machine interfaces for minimally invasive surgery
Vuskovic et al. Realistic force feedback for virtual reality based diagnostic surgery simulators
Sun et al. Design and development of a da vinci surgical system simulator
US20130189663A1 (en) Medical training systems and methods
US20130230837A1 (en) Microsurgery simulator
Riener et al. VR for medical training
Keehner et al. Seeing with the hands and with the eyes: the contributions of haptic cues to anatomical shape recognition in surgery
Tagawa et al. Laparoscopic surgery simulator using first person view and guidance force
Marecik et al. A lifelike patient simulator for teaching robotic colorectal surgery: how to acquire skills for robotic rectal dissection
Juo et al. Center for advanced surgical and interventional technology multimodal haptic feedback for robotic surgery
US11657730B2 (en) Simulator for manual tasks
Ahn et al. Development of a Virtual Reality Simulator for Natural Orifice Translumenal Endoscopic Surgery (NOTES) Cholecystectomy Procedure.
US20230149085A1 (en) Surgical simulation device
Devarajan et al. Bimanual haptic workstation for laparoscopic surgery simulation
GB2554756A (en) Simulator for manual tasks
Pednekar et al. Applications of virtual reality in surgery
Chmarra TrEndo tracking system
Riener et al. A new haptic interface for VR medical training
Brown et al. Engineering design of a virtual reality simulator for gynaecological endoscopy
De Donno et al. A simulator for assessing control strategies for a novel flexible robot in no-scar surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant