CN116634961A - 用于医疗机器人的增强现实导航系统 - Google Patents

用于医疗机器人的增强现实导航系统 Download PDF

Info

Publication number
CN116634961A
CN116634961A CN202180068553.9A CN202180068553A CN116634961A CN 116634961 A CN116634961 A CN 116634961A CN 202180068553 A CN202180068553 A CN 202180068553A CN 116634961 A CN116634961 A CN 116634961A
Authority
CN
China
Prior art keywords
augmented reality
control unit
patient
marker
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180068553.9A
Other languages
English (en)
Inventor
L·布隆代尔
B·纳胡姆
F·巴达诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quantum Surgical
Original Assignee
Quantum Surgical
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quantum Surgical filed Critical Quantum Surgical
Publication of CN116634961A publication Critical patent/CN116634961A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00699—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种增强现实导航系统(10)用于在对患者(30)的目标解剖结构进行外科手术期间协助医生(31)。手术计划在术前医学图像上进行。该导航系统包括旨在由医生戴在他们的头上的照相机(11)、用于实时显示照相机获取的真实图像和叠加在真实图像上的增强现实内容的显示装置(12)，以及连接到照相机和显示设备的控制单元(13)。控制单元被配置为基于在患者的一个或多个呼吸周期期间标记所遵循的运动生成放置在目标解剖结构附近的标记(20)运动的预测模型。预测模型用于确定在术前图像上按计划执行外科手术的适当时刻，和/或在增强现实中显示目标解剖结构的三维解剖模型。

Description

用于医疗机器人的增强现实导航系统
技术领域
本申请涉及在机器人辅助微创外科手术背景下使用的设备领域。具体而言，本申请涉及一种增强现实导航系统，旨在与医疗机器人协作以协助医生执行外科手术。
背景技术
微创外科手术包括将一个或多个医疗器械插入患者的目标解剖结构中。例如，微创外科手术可能旨在进行活组织检查或消融病变如肿瘤。
在微创外科手术中，医生通常无法用肉眼看到患者的目标解剖结构。医疗器械的插入通常由医学影像学引导。为了提高医疗器械的插入精度，可以借助机器人设备进行微创手术。为了使医生能够看到目标解剖结构，可以将目标解剖结构的医学图像内容转换为覆盖在患者身体上的增强现实内容。然而，为了在手术介入期间监测医疗器械插入目标解剖结构，需要获得大量医学图像，这需要使用侵入性手段(例如内窥镜)或者在整个手术介入期间使患者暴露于辐射的医学成像设备。
在软器官的特定情况下，由于插入医疗器械导致器官局部变形，或者介入时患者的不自主运动，医学图像无法再现与呼吸相关的运动。因此，病变在目标解剖结构中的位置在获取医学图像时和介入时可能不同。如果基于医学图像规划插入医疗器械，则存在医疗器械可能无法精确到达病灶的风险。
因此，目前用于协助医生进行微创外科手术的手段无法让医生以简单可靠的方式考虑与患者呼吸相关的运动、与目标解剖结构的内部变形相关的运动、或与在外科手术过程中患者的不自主运动相关的运动。
发明概述
本申请的目的是克服现有技术的全部或部分缺陷，尤其是上文列出的缺陷。
为此，根据第一方面，本申请提出了一种增强现实导航系统，用于在对患者的目标解剖结构执行外科手术时辅助医生。所述系统特别包括：
-照相机，用于获取真实图像，所述照相机旨在由医生戴在他们的头上，
-显示设备，用于实时显示照相机获取的真实图像以及叠加在所述真实图像上的增强现实内容，
-连接到照相机和显示设备的控制单元。
所述增强现实导航系统的控制单元配置为：
-在真实图像上检测在所述目标解剖结构附近放置在患者身上的标记的位置，
-在对应于患者的一个或多个呼吸周期的记录期间记录标记所遵循的运动，
-在属于所述记录周期并且对应于通过医学成像设备获取患者的目标解剖结构的介入前医学图像的时刻的第一时刻确定标记的位置，
-根据记录期间标记所遵循的运动制定标记运动的预测模型。
在本申请中，除非另有说明，术语“位置”包含物体在通常为三维坐标系的给定参考系中的位置和方向的概念。英语文学中使用术语“姿势”来表示物体在空间中的位置和方向的这种组合。在本申请中，除非另有说明，术语“位置”因此等同于术语“位置/方向”。
微创外科手术包括，例如，将一个或更多用于活组织检查、消融病变(例如肿瘤)、定位植入物(例如螺钉、钢板、假体)或插入其他材料(例如胶合剂或人造椎间盘)的医疗器械插入患者目标解剖结构(例如，诸如肝、肺、肾的软器官或诸如骨的刚性结构)中。在这种类型的介入中，肉眼看不到目标解剖结构。
有利地，增强现实导航系统的照相机由医生佩戴在他们的头上，使得照相机保持患者的直接视线(并且特别是使得医生不能阻挡该直接视线)。
增强现实导航系统允许信息以增强现实内容的形式显示在显示设备上，这意味着该信息叠加在真实图像上，否则医生将看不到。有利地，显示设备也可以由医生戴在他们的头上，直接在医生眼前(例如以口罩/面罩、头戴式耳机或眼镜/护目镜的形式)。这种设备允许医生从显示设备读取信息，而无需将视线从患者身上移开。这也使得可以限制进行介入的空间的大小。然而，在变型中，没有什么可以阻止显示设备是在进行介入的空间中出现的几个人可见的屏幕(例如固定在患者上方的手术台上的屏幕)。
控制单元也可以由医生戴在他们的头上。或者，控制单元可以属于不同于医生戴在他们头上的实体。控制单元例如通过有线通信方式或通过无线通信方式连接到照相机和显示设备。
由于一个或多个已知几何形状的光学标记，放置在患者身上靠近目标解剖结构的标记可以由增强现实导航系统识别。该标记还包括已知几何形状的不透射线标记，其在由医学成像设备(例如通过计算机断层摄影、通过磁共振、通过超声、通过断层摄影、通过位置发射断层摄影等)获取的医学图像上可见。介入前医学图像例如是在患者呼吸受阻的时刻获取的。然而，在另一个实例中，没有什么可以阻止在患者自由呼吸的时刻获取介入前医学图像，例如当呼吸在吸气结束或呼气结束时达到平稳时(当到达其中一个平台时，与患者呼吸相关的运动在两到三秒内可以忽略不计)。
可以基于介入前医学图像来计划外科手术，并且特别地限定医疗器械需要对应于标记的位置采取的位置，以便执行所述外科手术。然而，由于与患者呼吸、器官的内部变形或介入时患者的无意识运动相关的运动，目标解剖结构的位置可能相对于标记的位置发生变化。因此，确保当执行外科手术时，患者处于与获取介入前医学图像时相同的位置或处于呼吸周期的相同阶段是合适的。
在本申请中，控制单元被配置为在患者的一个或多个呼吸周期期间记录标记所遵循的运动，以确定标记在获取介入前医学图像的时刻的位置，并根据所记录的运动来制定标记运动的预测模型。
这些措施尤其使得可以在介入前医学图像上计划外科手术，并确保在插入医疗器械的时刻，标记处于与获取介入前医学影像的时刻标记的位置相同的位置(或者换句话说，以确保在插入医疗器械时，患者处于与获取介入前医学图像时相同的位置或呼吸周期的相同阶段)。
此外，标记运动的预测模型可以用于连续地、实时地更新目标解剖结构的三维解剖模型，该模型是从介入前医学图像生成的。然后，该解剖模型可以以叠加在真实图像上的增强现实内容的形式显示在显示设备上。
在其最简单的形式中，预测模型对应于在一个呼吸周期或几个呼吸周期期间记录的标记的运动。然而，有利地，该预测模型可以使用关于标记在几个连续呼吸周期中所采用的位置的统计计算来制定。尤其可以考虑采用机器学习算法来制定预测模型。
医学成像设备是不同于增强现实导航系统的实体。存在各种可想到的同步手段，使得增强现实导航系统检测获取介入前医学图像的时刻。
增强现实导航系统检测标记在真实图像上的位置。光学导航设备(立体相机、飞行时间(TOF)相机等)或电磁导航设备可以潜在地促进标记位置的这种检测或使其更可靠。
在具体实施方案中，本申请还可以包括以下特征中的一个或多个，单独考虑或以任何技术上可能的组合考虑。
在具体实施方案中，控制单元还被配置为：
-根据预测模型确定与将医疗器械插入患者的目标解剖结构的候选时刻相对应的第二时刻，
-将标记在第一时刻的位置与标记在第二时刻的位置进行比较，
-以叠加在真实图像上的增强现实内容的形式在显示设备上显示比较结果。
将标记在第一时刻(其对应于在记录期间获取介入前医学图像的时刻)的的位置与标记在第二时刻(其相应于将医疗器械插入目标解剖结构)的位置进行比较，然后可以检查标记是否处于与在获取介入前医学图像的时刻标记所占据的位置相同的位置(或者换言之，在插入医疗器械的时刻，检查患者是否处于与获取介入前医学图像的时刻相同的呼吸周期阶段)。第二时刻例如对应于患者呼吸被阻断的时刻。然而，没有什么可以阻止患者在介入期间自由呼吸。第二时刻可以使用预测模型通过将由患者呼吸引起的标记的运动与预测模型同步来确定。
在具体实施方案中，控制单元还被配置为接收来自医学成像设备的介入前医学图像，并根据介入前医学图像生成患者目标解剖结构的三维解剖模型，并以叠加在真实图像上的增强现实内容的形式在显示设备上显示所述解剖模型。根据标记运动的预测模型和人体解剖结构的生物力学模型，连续实时更新叠加在真实图像上的解剖模型的位置。
“生物力学模型”的意思是人体的各种解剖结构(肌肉、肌腱、骨骼结构、器官、血管网络等)的数学模型，因此是患者在所考虑的解剖区域中的数学模型，这使得可以对解剖结构的变形以及解剖结构之间的机械相互作用进行建模。因此，这种生物力学模型尤其可以确定患者内部解剖结构的变形和机械相互作用(以及运动)，例如，由对患者的外包膜的修改、器官血管位置的改变、器官外包膜的改变等引起的。这种修改例如可以通过患者的呼吸(由胸腔和隔膜的运动引起的器官的运动)、患者的位置变化(由重力引起的器官运动)、与医疗器械的接触(局部变形)等来实现。
标记的运动例如指示由患者呼吸引起的患者胸腔的运动。因此，生物力学模型可以定义解剖模型的位置在患者呼吸周期过程中如何受到这些运动的影响。
使用这些措施，医生能够“透过”患者身体的外包膜在显示设备上查看目标解剖结构，即使目标解剖结构对于肉眼是不可见的，因为它在病人的身体内部。
在具体实施方案中，控制单元还被配置为在解剖模型上以叠加在真实图像上的增强现实内容的形式显示医疗器械所遵循的预期路径，根据解剖模型的位置所述路径被实时更新。
医疗器械所遵循的路径是来自外科手术规划的数据并且例如根据介入前医学图像确定。该路径尤其限定了医疗器械相对于标记的位置所要采用的位置，以便执行所述外科手术。该路径包括例如在目标解剖结构内的待治疗区域(例如肿瘤)中要到达的靶点，以及医疗器械在目标解剖结构表面的进入点。
在具体实施方案中，医疗器械所遵循的预期路径是预先在术前医学图像上定义的，并且控制单元被配置为接收所述术前医学图像，并将术前图像重新对准介入前医学图像，以便在解剖模型上显示路径。
“术前”图像的意思是在用于治疗所述病理的外科手术之前几天、几周甚至几个月诊断出的病理的图像。“介入前”图像的意思是在外科手术时，当患者被安置在介入台上但在执行手术动作之前(即在插入医疗器械之前)获取的图像。
在具体实施方案中，该系统还包括允许医生靶向解剖模型上的特定位置的交互设备，并且其中医疗仪器所遵循的预期路径由医生使用交互设备确定。
在具体实施方案中，控制单元被配置为从以下元件中分割解剖模型上的至少一个元件：
-目标解剖结构内的不同解剖结构，
-在目标解剖结构内待治疗的区域，
-根据手术介入的参数估计的消融区域，
-目标解剖结构内、并通过比较待治疗区域和估计的消融区域来确定的待治疗区域的消融边界，并且以叠加在真实图像上的增强现实内容的形式在解剖模型上显示所述分割元件。然后根据解剖模型的位置实时更新所述分割元件。
“解剖结构”的意思是例如器官、骨骼、血管等。待治疗的区域对应于例如待消融的肿瘤。消融区域可以根据手术介入参数来估计，例如治疗的类型、用于治疗的医疗器械的类型、治疗的持续时间、治疗的功率等。
在具体实施方案中，控制单元被配置为在显示设备上以增强现实内容的形式显示至少一个关于手术治疗参数的虚拟配置对象。该系统包括允许医生与所述虚拟配置对象交互以便为所述参数选择特定值的交互设备。
虚拟配置对象对应于例如菜单、按钮、多项选择列表等，使得可以为要执行的治疗定义一个特定参数值。
在具体实施方案中，显示设备旨在由医生齐眼佩戴。
在具体实施方案中，控制单元被配置为根据医生头部的位置修改增强现实内容的位置。
在具体实施方案中，医生头部的位置使用医生头部运动传感器或直接从真实图像上标记的位置来确定。
本申请的第二方面涉及一种由根据任一前述实施方案的增强现实导航系统和医疗机器人形成的组件，医疗机器人用于辅助医生对患者目标解剖结构进行外科手术。该医疗机器人包括移动底座、关节臂和控制单元。关节臂的一端固定在移动底座上，另一端具有用于持握医疗器械的工具导向器。医疗机器人的控制单元被配置为确定关节臂的构型，该构型允许医疗器械沿着预定路径执行手术动作。关节臂的构型根据与标记位置相关的信息来确定，该信息由导航系统发送。
增强现实导航系统和医疗机器人相互协作。增强现实导航系统和医疗机器人例如包括用于交换信息的通信方式。这些通信方式可以是有线或无线类型。
增强现实导航系统将与标记位置相关的信息发送到医疗机器人，以便医疗机器人可以将其关节臂定位在允许医疗器械沿着预定路径执行手术动作的构型中。医疗器械所遵循的路径是来自手术介入规划的数据，例如基于介入前医学图像确定的。
医疗动作可以由医生执行(此时医疗机器人的关节臂主要用于引导医疗器械，以辅助医生执行医疗动作)，也可以由医疗机器人直接执行。
在具体实施方案中，本申请还可以包括以下特征中的一个或多个，单独考虑或以任何技术上可能的组合考虑。
在具体实施方案中，与标记位置相关的信息是标记在第一时刻(其对应于在记录时段期间获取介入前医学图像的时刻)的位置与标记在第二时刻(其对应于将医疗器械插入目标解剖结构的候选时刻)的位置之间的比较结果满足特定标准的指示。
例如，患者的呼吸可能因插入医疗器械而被阻断。在呼吸被阻断的时刻，如果标记的位置与标记在获取介入前医学图像的时刻的位置足够接近，则增强现实导航系统向医疗机器人发送指示可以基于介入前医学图像，按规划进行介入(因为患者处于与获取介入前医学图像时相同的呼吸周期阶段)。
例如，如果位置差异低于预定阈值，则可以在医生验证了比较结果之后由增强现实导航系统发送指示，或者自动发送指示。
在具体实施方案中，与标记位置相关的信息对应于指示解剖模型在患者呼吸周期期间的位置的预测模型。医疗机器人的控制单元被配置为根据指示解剖模型的位置的所述预测模型连续地实时调整关节臂的构型。
通过这些措施，关节臂被定位在一种构型中，允许在患者呼吸周期的任何时刻进行外科手术。
在具体实施方案中，增强现实导航系统的控制单元被配置为对患者身体的外包膜进行建模，以确定医疗机器人的关节臂或工具导向器的位置，并且当工具导向器与所述患者的外包膜之间的距离低于预定阈值时，检测存在碰撞风险的情况。
患者身体的外包膜例如基于对真实图像中患者身体轮廓的检测来建模。这些措施可以使得连续和实时地测量关节臂和患者之间的距离或工具导向器和患者之间的距离成为可能。然后可以立即采取措施以避免在定位关节臂时关节臂或工具导向器与患者之间的不希望的接触(例如，当患者的体重大于规划介入时所估计的体重时)。
在具体实施方案中，一旦关节臂或工具导向器与患者的外包膜之间的距离不足，例如小于5cm或甚至小于1cm，控制单元就中断关节臂的运动。
在具体实施方案中，增强现实导航系统的控制单元被配置为，当相对于标记运动的预测模型标记的位置的偏差高于预定阈值时，检测存在来自医疗器械的伤害风险的情况。这些措施使得可以检测以下情况：患者在插入医疗器械的过程中做出意外运动，或者当医疗器械已经插入但尚未从工具导向器中释放时。这种情况可能有效地导致患者被医疗器械伤害(例如医疗器械对目标解剖结构的健康组织或患者身体的另一部分的损伤)。当检测到这种情况时，可以立即采取措施以避免伤害患者。
在具体实施方案中，医疗机器人的工具导向器包括允许医疗器械被立即释放的致动器。致动器由医疗机器人的控制单元控制。增强现实导航系统的控制单元被配置为向医疗机器人的控制单元发送命令以在检测到受伤风险情况时立即释放医疗器械。
在具体实施方案中，关节臂具有至少六个自由度，使得关节臂的多个不同候选构型允许利用医疗器械沿着预定路径执行手术动作。增强现实导航系统的控制单元被配置为在显示设备上以叠加在真实图像上的增强现实内容的形式显示所述候选构型，并接收与医生从各种候选构型中选择一种特定构型有关的指示。
各种候选构型叠加在真实图像上，并允许医生选择一种特定构型，使得医疗机器人的存在在外科手术期间不会(或很少)形成障碍。
在具体实施方案中，当医疗器械沿着预定路径插入患者体内时，增强现实导航系统的控制单元被配置为在显示设备上以叠加在真实图像上的增强现实内容的形式显示医疗器械的插入到所述患者体内的部分。为此，例如，增强现实导航系统的控制单元使用“计算机视觉”类型的已知算法，在摄像机获取的真实图像上检测医疗器械的位置。
使用这样的部署，医生能够连续实时地监测医疗器械插入患者目标解剖结构的情况，使得医疗器械的肉眼不可见的部分叠加在真实图像上。
在具体实施方案中，增强现实导航系统的控制单元被配置为以叠加在真实图像上的增强现实内容的形式计算并在显示设备上显示医疗器械与目标解剖结构上的靶点之间的距离，和/或检测医疗器械到达所述靶点的时刻。
附图说明
通过阅读以非限制性示例的方式给出并参考图1至10进行的以下描述，将更好地理解本申请，图1至10描述了：
图1是根据本申请的增强现实导航系统的一个实施方案的示意图；
图2是旨在放置在患者身上靠近目标解剖结构的标记的示意图；
图3是在导航系统坐标系的平面XY中记录期间标记所遵循运动的描绘；
图4是在记录期间标记沿主轴所遵循运动的连续线描绘，以及标记运动的预测模型的虚线描绘；
图5是在记录期间确定与获取患者目标解剖结构的介入前医学图像的时刻相对应的第一时刻的图示；
图6是确定对应于用于插入医疗器械的候选时刻的第二时刻，以及标记在第一时刻的位置与标记在第二时刻的位置之间比较的图示；
图7是从介入前医学图像生成目标解剖结构的三维解剖模型的示意图；
图8是根据标记运动的预测模型和根据人体解剖结构的生物力学模型实时和连续更新解剖模型的示意图；
图9是根据本申请的增强现实导航系统与用于协助医生执行外科手术的医疗机器人之间协作的示意图；
图10是以增强现实内容的形式显示允许执行外科手术的医疗机器人的关节臂的几种候选构型的示意图。
在这些图中，从一幅图到另一幅图保持相同的标号表示相同或类似的元件。为清楚起见，除非另有说明，所描绘的元件不一定按相同比例绘制。
具体实施方案
图1示意性地描绘了增强现实导航系统10的一种实施方案，所述增强现实导航系统10用于辅助医生31对躺在介入台32上的患者30的目标解剖结构进行外科手术。
增强现实导航系统10包括用于获取真实图像的照相机11。照相机11旨在由医生戴在他们的头上。在图1所考虑和说明的示例中，系统10采用增强现实头戴式耳机的形式。照相机11因此被集成到头戴式耳机中。这样的布置允许导航系统10保持照相机11到患者30的直接视线。特别地，医生31不能阻挡该直接视线(如果将照相机安装在正在进行介入的房间的柱子上，他们就能做到这一点)。
增强现实导航系统10还包括显示设备12，其用于实时显示由照相机11获取的真实图像以及叠加在所述真实图像上的增强现实内容。有利地，显示设备12也能够由医生戴在他们的头上，直接在医生31的眼前，如图1所示的示例中的情况，其中显示设备是集成到增强现实头戴式耳机中的显示屏12a。这样的布置允许医生31阅读显示设备上的信息而不必将他们的目光从患者30移开。可选地或附加地，显示设备12也可以采用显示屏12b的形式，例如固定到介入台32，并且在进行介入的房间里的几个人都可以看到。
增强现实导航系统10还包括连接到照相机11和显示设备12的控制单元13。通常，控制单元可以通过有线通信方式(尤其是当所有这些元件都集成到医生佩戴的增强现实头戴式耳机中时)或通过无线通信方式(例如，当显示设备12b和/或控制单元13位于一定距离时)连接到照相机和显示设备12。
控制单元13包括一个或多个处理器来运行增强现实算法，该算法根据“计算机视觉”原理运行以检测真实宇宙中的独特元件，然后在其上叠加虚拟内容。可选地或附加地，控制单元13包括一个或多个可设计的逻辑电路(FPGA、PLD等)和/或一个或多个专用集成电路(ASICs)和/或离散电子元件的集合等以运行这些算法。换句话说，控制单元由软件和/或硬件方式配置以运行这些增强现实算法。
控制单元13特别地被配置为在真实图像上检测放置在患者30上接近目标解剖结构的标记20的位置。
控制单元13还可以被配置为在真实图像上检测由医生操纵的、或者由固定到用于辅助医生的医疗机器人关节臂末端的工具导向器持有的医疗器械的位置。
图2示意性地描绘了这样的标记20，其旨在靠近目标解剖结构放置在患者身上。在图2所考虑和图示的实例中，标记20包括三个光学标记21，其几何形状和各自的位置是已知的。这样的布置使得可以精确地确定标记20在导航系统10的固定参照系中的位置。该参照系是基于固定物体(例如介入台32)定义的三维坐标系。
标记20还包括不透射线的标记22，其几何形状和各自的位置是已知的，并且在由医学成像设备获取的介入前医学图像中可见(例如使用计算机断层扫描、磁共振、超声、断层扫描、位置发射断层扫描等)。因此可以精确地确定目标解剖结构的目标解剖区域相对于标记20位置的位置，并且可以基于介入前医学图像来计划外科手术。尤其可以定义医疗器械相对于标记20的位置所要采取的位置以便执行外科手术。
然而，由于与患者呼吸、在介入时刻患者器官的内部变形或患者无意识运动相关的运动，目标解剖结构的位置可能相对于标记20的位置发生变化。因此，确保当执行外科手术时，患者处于与获取介入前医学图像的时刻相同的位置或处于呼吸周期的相同阶段是合适的。
为此，控制单元13被配置为记录在患者30的一个或多个呼吸周期中标记20所遵循的运动，以确定标记20在介入前医学图像获取的时刻的位置(隐含地，这意味着控制单元被配置为首先确定介入前医学图像的采集时刻，其次确定在所述采集时刻标记的位置)，并根据所记录的运动来制定标记的运动的预测模型。然后，标记运动的预测模型可以确定将医疗器械插入到患者目标解剖结构中的第二时刻。第二时刻以这样的方式确定，即在第二时刻，标记20的位置基本上与标记20在第一时刻的位置相同。这使得可以确保，在插入医疗器械的时刻(第二时刻)，患者处于与获取干预前医学图像的时刻(第一时刻)相同的位置或呼吸周期的相同阶段。控制单元13可以被配置为将第一时刻的标记位置与第二时刻的标记的位置进行比较，并以叠加在真实图像上的增强真实度内容的形式在显示设备上显示比较的结果。
图3以示例的方式描绘了在与患者的几个呼吸周期相对应的预定持续时间的记录周期期间标记20所遵循的运动40的记录。每个点对应于标记20在导航系统10的坐标系的平面XY中随时间历程采用的位置。可以注意到，在该实例中，标记20的运动主要沿着轴44，在图3中以虚线绘制。
标记20的运动40表示患者的呼吸引起的患者胸腔的运动。为了更好地解释标记的运动，并通过与患者的呼吸周期类比，最好获得一维曲线，说明标记随时间的振荡运动。有多种方法可以获得该一维曲线。例如，可以考虑标记的运动主要是垂直的，因此只考虑Y轴。然而，在这种情况下，标记运动的一些幅度将丢失。在另一个实例中，可以想象根据标记的关键组件对标记的位置进行分析。可以特别地根据与标记运动的主轴44相对应的主要组件来显示标记的位置。
图4以实线描绘了标记20在记录周期42期间沿主轴44在一段时间内的运动40。标记20沿主轴线44的位置p沿纵坐标轴描绘；时间描绘在横坐标轴上。记录周期包括患者的几个呼吸周期41。
图4还以虚线描绘了标记20的运动的预测模型43，该模型由标记20在记录周期42期间进行的运动40制定。在图4中考虑和图示的实例中，预测模型43是在记录周期42期间记录的标记20的运动40的简单重复。然而，应当注意，可以设想其他方法来获得标记运动的预测模型。例如，可以设想对对应于在记录周期期间观察到的呼吸周期的平均值的呼吸周期进行建模。在变型中，机器学习算法可用于根据在记录周期期间记录的标记的运动来制定标记运动的预测模型。
图5示出了属于记录周期42的第一时刻t1的确定，该时刻对应于获取患者的目标解剖结构的介入前医学图像的时刻。请记住，介入前医学图像是由不构成根据本申请导航系统一部分的医学成像设备采集的。
可以想到使用多种方法使得增强现实导航系统10的控制单元13能够确定第一时刻t1。根据第一实例，医学成像设备可以例如经由有线通信方式或无线通信方式连接到导航系统10的控制单元13。在这种情况下，医学成像设备可以在获取介入前医学图像的时刻向控制单元13发送指示。根据第二实例，当患者进入呼吸暂停状态时，标记20在第一时刻t1的位置由控制单元13自动记录。在那种情况下，呼吸或通气装置例如通过有线通信方式或无线通信方式连接到导航系统10的控制单元13，，并且一旦患者呼吸受阻或进入呼吸暂停状态就向控制单元13发送指示。根据第三实例，当患者处于呼吸暂停状态时，标记20在第一时刻t1的位置由操作者手动记录。根据第四实例，一旦标记20基本静止超过两秒(例如对应于吸气末端或呼气末端的呼吸周期的平稳期)，控制单元13就会自动记录标记20在第一时刻t1的位置。根据第五实例，X射线检测器(例如剂量计或闪烁体)可以连接到导航系统10的控制单元13。在那种情况下，X射线检测器可以在获取介入前医学图像的时刻向控制单元13发送指示。对于第二、第三和第四实例，在患者呼吸受阻的时刻获取介入前医学图像。对于第一实例和第五实例，不一定非要在患者呼吸受阻的时刻获取介入前医学图像。
在图5所示的实例中，第一时刻t1对应于医学图像采集持续时间中的中间时刻。因此可以确定标记20在所述时刻t1所采用的位置。然而，需要注意的是，第一时刻t1可以具有一定的持续时间(与获取医学图像或甚至几个连续医学图像所花费的时间相对应的X射线曝光时间)。在这种情况下，标记20在第一时刻t1所采用的位置可以根据X射线曝光时间期间标记20所采用的位置的平均值来确定。还可以想到，该平均值由在每个位置接收到的X射线剂量加权。
在图5所示的实例中，介入前医学图像是在患者呼吸受阻的时刻获取的。然而，在另一个实例中，没有什么可以阻止在患者自由呼吸的时刻获取介入前医学图像。
图6说明了对应于用于插入医疗器械的候选时刻的第二时刻t2的确定，以及标记在第一时刻t1的位置(“靶”位置)与标记在第二个时刻t2的位置(“候选”位置)之间的比较。第二时刻t2由预测模型确定，使得候选位置或多或少对应于靶位置。如图6所示，连续监测标记20的实际运动。因此可以将标记20在时刻t2的候选位置与标记20在时刻t1的靶位置进行比较。在图6所示的实例中，碰巧候选位置距离靶位置太远。因此，根据预测模型确定了新的第二个时刻t2'。标记在时刻t2’的位置这时足够接近靶位置。这意味着手术动作(医疗器械的插入)可以按照介入前医学图像上的计划在时刻t2'发生。
为了在候选位置和靶位置之间进行比较，使用了公差带。例如，如果候选位置在靶位置的±10％以内，则认为候选位置与靶位置基本相同。作为优选，使用靶位置的±5％的公差带。
比较的结果显示在显示设备12上以向医生31指示现在是否是在所考虑的候选时刻继续插入器械的好时机。
在具体实施方案中，增强现实导航系统10被配置为与医疗机器人协作，该医疗机器人用于辅助医生执行手术动作，或直接、自主地执行手术动作。然后比较的结果由导航系统10发送给医疗机器人，以便在适当的情况下激活医疗机器人的关节臂的定位以适合于执行手术动作。
独立于执行手术动作的适当时刻的确定，如图7和8所示，标记20运动的预测模型43也可用于连续和实时更新由控制单元13从介入前医学图像50生成的目标解剖结构的三维解剖模型51。然后，该解剖模型可以以覆盖在真实图像上的增强现实内容的形式显示在显示设备12上。
为了接收医学成像装置获取的介入前医学图像，控制单元例如通过有线通信方式或无线通信方式连接到成像装置。根据另一实例，控制单元可以连接到外围存储设备，例如USB(“通用串行总线”的首字母缩写词)棒，其上存储了介入前医学图像。
在图7和图8中考虑和图示的实例中，目标解剖结构是患者的肝脏，并且外科手术试图消融存在于所述目标解剖结构中的肿瘤。通过执行计算机断层摄影(CT)扫描获取介入前医学图像50。获取医学图像的时刻、以及该时刻标记20对应的位置，由导航系统10的控制单元13确定。
控制单元13被配置为以叠加在真实图像上的增强现实内容的形式在显示设备12上显示解剖模型51。然而，患者呼吸引起的运动导致目标解剖结构移动。如图8所示，控制单元被配置为允许解剖模型51的位置根据标记运动的预测模型43和根据人体解剖结构的生物力学模型60被连续实时地更新。因此，显示在显示设备12上作为真实图像上的叠加层的解剖模型51以与患者的呼吸同步的方式移动。
获取介入前医学图像时，解剖模型51的位置对应于解剖模型51相对于标记20的特定位置的参考位置。由于标记20运动的预测模型43，可以预测标记20随时间将要采用的位置。由于生物力学模型60，可以根据标记20随时间采用的位置来调整解剖模型51的位置。
生物力学模型60优选包括胸腹骨盆区域，例如胸壁和腹壁、肌肉、肌腱、骨骼和关节、器官、血管网络等的主要解剖结构，以及它们的变形和机械相互作用的模型。生物力学模型60还优选地根据患者30的位置考虑重力的影响。这样的生物力学模型在科学文献中已知，例如参见以下出版物：
-“SOFA:A Multi-Model Framework for Interactive Physical Simulation”,F.
Faure et al.,Soft Tissue Biomechanical Modeling for ComputerAssistedSurgery–Studies in Mechanobiology,Tissue Engineering andBiomaterials,Volume 11,Springer,
-“A Personalized Biomechanical Model for Respiratory MotionPrediction”,B.Fuerst et al.,International Conference on Medical ImageComputing andComputer Assisted Intervention,2012,
-“Patient-Specific Biomechanical Model as Whole-Body CTImageRegistration Tool”,Mao Li et al.,Medical Image Analysis,2015,May,pages22–34.
需要注意的是，人体的生物力学模型不一定是特定于相关患者的，可以是一般患者的生物力学模型，例如与将在其上执行手术操作的相关患者具有相同的性别、体型、体重等。
控制单元13集成了用于协调生物力学模型60与标记20位置的算法，该标记20位于患者30的皮肤上并靠近目标解剖结构。例如，一种算法可以将皮肤表面的运动传播到内部体积并正确计算内部解剖结构的位置。
控制单元13还可以被配置为在解剖模型51上以叠加在真实图像上的增强现实内容的形式显示医疗仪器所遵循的预期路径。然后根据解剖模型的位置实时更新路径。在图8所示的示实例中，路径包括目标解剖结构上的靶点52。该靶点52例如对应于待治疗肿瘤的中心。该路径还可以包括医疗器械在目标解剖结构的表面处的进入点。医疗仪器所遵循的预期路径通常是基于介入前医学图像50来定义的。
然而，也可以设想在介入前数天甚至数月在术前图像上定义该路径。在这种情况下，控制单元13被配置为将术前图像与介入前图像重新对准。为此，控制单元可以运行传统的医学图像重新排列和/或融合算法。
控制单元例如通过有线通信方式或无线通信方式接收术前医学图像。根据另一个实例，控制单元可以连接到其上存储有术前医学图像的外围存储设备(例如USB棒)。
某些元件可以在解剖模型51上被分割，例如，待治疗的区域(待消融的肿瘤)、基于治疗参数估计的消融区域，或待治疗区域的消融边界(待治疗的区域与估计的消融区域之间的比较)。这些元件也可以以增强现实内容的形式显示。然后根据解剖模型的位置实时更新它们的位置。
在具体实施方案中，增强现实导航系统10包括允许医生31与所述系统10交互的交互设备。交互设备例如采用虚拟现实手套的形式，该虚拟现实手套能够捕捉手指施加的准确位置和压力，并提供触觉反馈，使用户能够感觉到虚拟对象。在另一个实例中，交互设备可以采用能够瞄准虚拟对象或解剖模型上的特定位置的手写笔的形式。交互设备可以特别地使医生能够定义或修改医疗器械所遵循的预期路径。交互设备还可以允许与诸如设置菜单、按钮、多项选择列表等的虚拟对象交互，以便为要执行的治疗定义特定参数值(例如要执行的治疗类型、治疗的持续时间、用于治疗的功率或剂量等)。或者，医疗器械要遵循的路径和/或治疗参数由机器学习算法自动确定。然后医生可以验证或修改路径和/或建议的治疗参数。
显示设备12上显示的某些增强现实内容的位置可以根据医生头部的位置进行调整。例如，当医生的头部向左弯曲时，增强现实中显示的某些虚拟配置对象(特别是文本形式的虚拟对象)可以逆时针旋转，使得这些元件在医生看来就好像头部没有被弯曲一样。医生头部的位置尤其可以使用医生头部运动传感器或者直接从真实图像上的标记20的位置来确定。
如图9中所示，增强现实导航系统10可以与用于在手术介入期间协助医生31的医疗机器人70协作。医疗机器人包括移动底座71、关节臂72和控制单元75。关节臂72的一端固定在移动底座71上，另一端具有用于支撑医疗器械74的工具导向器73。医疗机器人的控制单元75被配置为确定允许医疗器械沿着预定路径执行手术动作的关节臂的构型。关节臂的构型根据与标记20的位置相关的信息来确定，该信息由导航系统10发送。增强现实导航系统10和医疗机器人70例如包括用于交换信息的通信方式。这些通信方式可以是有线或无线类型。
工具导向器73包括例如两个夹持器，由线性致动器通过两个连杆驱动，以便保持或释放医疗器械74。线性致动器可以是可逆的(然后可以根据来自控制单元75的命令手动或自动地打开工具导向器73)或不可逆的(工具导向器73只能根据来自控制单元75的命令自动打开)。有利地，工具导向器73能够引导不同直径的医疗器械74，同时保持医疗器械74的引导轴线的位置并且能够在介入期间的任何时刻侧向地释放医疗器械74。例如，这样的工具导向器73能够引导外径在11和21规(G)之间的器械(规(gauge)是通常用于定义医疗器械(如针、探头或导管)的外径的测量单位；11规对应于2.946mm的直径；21规对应于0.812mm的直径)。
医疗动作可以由医生31执行(此时医疗机器人70的关节臂72主要用于引导医疗器械74以辅助医生执行医疗动作)或直接由医疗机器人70执行。
在所考虑的实例中，与标记20的位置有关的信息对应于预测模型，该预测模型指示患者呼吸周期过程中解剖模型51的位置。医疗机器人70的控制单元75因此可以根据指示解剖模型的位置的所述预测模型连续且实时地调整关节臂72的构型。因此，医疗机器人70的关节臂72始终保持在能够执行计划的手术动作的构型中。
在具体实施方案中，并且如图9所示，关节臂72具有至少六个自由度，使得关节臂的多个不同候选构型81、82允许医疗器械74沿着计划路径执行手术动作。增强现实导航系统10的控制单元13被配置为以叠加在真实图像上的增强现实内容的形式在显示设备12上显示所述候选构型81、82。然后医生可以使用交互设备(例如虚拟现实手套或手写笔)选择这些候选构型之一。导航系统10的控制单元13然后可以将选择的构型传送给医疗机器人70的控制单元75。
可能会发生为关节臂选择的构型不合适的情况，因为患者的体重太大。此外，在介入的过程中，患者30可能会意外地突然移动。在这种情况下，确保患者不会因患者的身体包膜与医疗器械或关节臂之间的意外接触而受伤是适当的。
为此，在具体实施方案中，增强现实导航系统10的控制单元13被配置为模拟患者30身体的外包膜。患者身体的外包膜可以从介入前医学图像50或从解剖模型51生成，可能借助于与患者的构造有关的数据。可选地或附加地，可以根据由导航系统10的照相机11获取的真实图像(例如经由轮廓检测算法)来确定患者身体的外包膜。导航系统10的控制单元13还被配置为确定医疗机器人70的关节臂72或工具导向器73的位置，并在关节臂72或工具导向器73与患者30身体外包膜之间的距离低于预定阈值时检测碰撞风险情况。一旦关节臂72或工具导向器73与患者外包膜之间的距离不足，控制单元75然后可被配置成中断关节臂72的运动。
可选地或附加地，在具体实施方案中，增强现实导航系统10的控制单元13被配置为测量标记20的位置相对于标记20运动的预测模型43的偏差(给定时刻的偏差例如对应于标记在所述时刻的实际位置与患者呼吸周期中对应时刻的预测模型43中标记的位置之间的距离)。增强现实导航系统10的控制单元13然后被配置成当如此测量的偏差高于预定阈值时，检测存在医疗器械74伤害风险的情况。当检测到这种情况时，可以采取措施避免伤害患者。当检测到受伤风险情况时，增强现实导航系统10的控制单元13立即将该信息传输到医疗机器人70的控制单元75。控制单元75然后可以被配置为在检测到受伤风险情况时执行特定动作，例如命令工具导向器73的致动器立即释放医疗器械74。
当医疗器械74沿着预定路径插入患者30的身体时，增强现实导航系统10的控制单元13可以被配置为以叠加在真实图像上的增强现实内容的形式显示在显示设备12上显示插入患者30体内的医疗器械74的一部分。还可以想到计算和显示医疗器械74和目标解剖结构上的靶点52之间的距离。还可以检测医疗器械74到达所述靶点52的时刻，并显示一个指示，将此告知医生。
前面的描述清楚地说明，通过其各种特征及其优点，本申请实现了既定目标，即提供一种解决方案，用于协助医生进行微创手术介入，同时以可靠的方式考虑与患者的呼吸相关联的运动或在手术介入过程中患者的不自主运动。

Claims (20)

1.增强现实导航系统(10)，用于在对患者(30)的目标解剖结构执行外科手术时辅助医生(31)，所述系统(10)包括：
-照相机(11)，用于获取真实图像，所述照相机(11)旨在由医生(31)戴在他们的头上，
-显示设备(12)，用于实时显示由照相机(11)获取的真实图像以及叠加在所述真实图像上的增强现实内容，
-与照相机(11)和显示设备(12)相连的控制单元(13)；所述增强现实导航系统(10)的特征在于，所述控制单元(13)被配置为：
-在真实图像上检测在所述目标解剖结构附近放置在患者(30)上的标记(20)的位置/方向，
-在对应于患者(30)的一个或多个呼吸周期(41)的记录期间(42)记录标记(20)所遵循的运动(40)，
-在属于所述记录周期(42)并且对应于通过医学成像设备获取患者目标解剖结构的介入前医学图像的时刻的第一时刻(t1)确定标记(20)的位置/方向，
-根据所述记录期间(42)标记所遵循的运动(40)制定标记(20)运动的预测模型(43)。
2.根据权利要求1所述的系统(10)，其中，控制单元(13)还被配置为：
-根据预测模型(43)确定对应于将医疗器械插入患者目标解剖结构中的候选时刻的第二时刻(t2)，
-比较标记(20)在第一时刻(t1)的位置/方向与标记(20)在第二时刻(t2)的位置/方向，
-以叠加在真实图像上的增强现实内容的形式在显示设备(12)上显示比较结果。
3.根据权利要求1或2所述的系统(10)，其中控制单元(13)还被配置为接收来自医学成像设备的介入前医学图像(50)，并根据所述介入前医学图像(50)生成患者(30)的目标解剖结构的三维解剖模型(51)，并以叠加在真实图像上的增强现实内容的形式在显示设备(12)上显示所述解剖模型(51)，根据标记运动的预测模型(43)和根据人体解剖结构的生物力学模型(60)，连续实时地更新叠加在所述真实图像上的解剖模型(51)的位置/方向。
4.根据权利要求3所述的系统(10)，其中控制单元(13)还被配置为以叠加在真实图像上的增强现实内容的形式在解剖模型(51)上显示医疗器械要遵循的预期路径，所述路径根据所述解剖模型的位置/方向实时更新。
5.根据权利要求4所述的系统(10)，其中在术前医学图像上预先定义医疗器械要遵循的预期路径，并且控制单元(13)被配置为接收所述术前图像并将所述术前图像重新对准介入前医学图像(50)，以便在解剖模型(51)上显示路径。
6.根据权利要求4所述的系统(10)，其还包括交互设备，该交互设备允许医生(31)以解剖模型(51)上的特定位置为目标，并且其中所述医疗器械要遵循的预期路径由医生使用所述交互设备来限定。
7.根据权利要求3至6中任一项所述的系统(10)，其中控制单元(13)被配置为从以下元件中分割解剖模型(51)上的至少一个元件：
-目标解剖结构内的不同解剖结构，
-目标解剖结构内待治疗的区域，
-根据手术介入的参数估计的消融区域，
-在目标解剖结构内通过比较待治疗区域和估计的消融区域来确定的待治疗区域的消融边界，
并且以叠加在真实图像上的增强现实内容的形式在解剖模型(51)上显示所述分割的元件，然后根据所述解剖模型的位置/方向实时更新所述分割的元件。
8.根据权利要求1至7中任一项所述的系统(10)，其中控制单元(13)被配置为以增强现实内容的形式在显示设备(12)上显示关于手术治疗参数的至少一个虚拟配置对象，并且系统(10)包括交互设备，该交互设备允许医生(31)与所述虚拟配置对象交互以便为所述参数选择特定值。
9.根据权利要求1至8中任一项所述的系统(10)，其中显示设备(12)是集成到增强现实头戴式耳机中的显示屏(12a)。
10.根据权利要求1至9中任一项所述的系统(10)，其中控制单元(13)被配置为根据医生(31)头部的位置/方向修改增强现实内容的位置/方向。
11.根据权利要求10所述的系统(10)，其中使用医生头部运动传感器来确定医生(31)头部的位置/方向。
12.由根据权利要求1至11中任一项所述的增强现实导航系统(10)和医疗机器人(70)形成的组件，所述医疗机器人(70)用于协助医生(31)对患者(30)的目标解剖结构进行手术介入，所述医疗机器人(70)包括：
-移动底座(71)，
-关节臂(72)，其一端固定到移动底座(71)，另一端具有用于持握医疗器械(74)的工具导向器(73)，
-控制单元(75)，其被配置为确定关节臂(72)的构型，所述构型允许所述医疗器械(74)沿预定路径执行手术动作，关节臂的构型根据与标记(20)的位置/方向相关的信息来确定，所述信息由所述导航系统(10)发送。
13.根据结合权利要求2的权利要求12所述的组件，其中与标记(20)的位置/方向有关的信息指示标记(20)在第一时刻(t1)的位置/方向与标记(20)在第二时刻(t2)的位置/方向之间的差异低于预定阈值。
14.根据结合权利要求3的权利要求12所述的组件，其中与标记(20)的位置/方向相关的信息对应于在患者的呼吸周期期间指示解剖模型(51)的位置/方向的预测模型，并且医疗机器人(70)的控制单元(75)被配置为根据指示所述解剖模型的位置/方向的预测模型连续实时地调整关节臂(72)的构型。
15.根据权利要求12至14中任一项所述的组件，其中增强现实导航系统(10)的控制单元(13)被配置为：
-模拟患者(30)身体的外包膜，
-确定医疗机器人(70)的关节臂(72)或工具导向器(73)的位置/方向，
-当医疗机器人(70)的关节臂(72)或工具导向器(73)与患者(30)外包膜之间的距离低于预定阈值时，检测存在碰撞风险的情况。
16.根据权利要求12至15中任一项所述的组件，其中增强现实导航系统(10)的控制单元(13)被配置为，当相对于标记(20)运动的预测模型(43)所述标记(20)的位置/方向的偏差高于预定阈值时，检测存在来自医疗器械(74)的伤害风险的情况。
17.根据权利要求16所述的组件，其中医疗机器人(70)的工具导向器(73)包括允许立即释放医疗器械(74)的致动器，所述致动器由医疗机器人(70)的控制单元(75)所控制，并且增强现实导航系统(10)的控制单元(13)被配置为向医疗机器人(70)的控制单元(75)发送命令，以在检测到有受伤风险情况时立即释放医疗器械(74)。
18.根据权利要求12至17中任一项所述的组件，其中关节臂(72)具有至少六个自由度，使得关节臂(72)的多个不同的候选构型(81、82)允许医疗器械(74)沿着预定路径执行手术动作；并且增强现实导航系统(10)的控制单元(13)被配置为以叠加在真实图像上的增强现实内容的形式在显示设备(12)上显示所述候选构型(81、82)，以及由医生(31)接收与从各种候选构型(81、82)中选择一个特定构型有关的指示。
19.根据权利要求12至18中任一项所述的组件，其中当医疗器械(74)沿预定路径插入患者(30)体内时，增强现实导航系统(10)的控制单元(13)被配置为以叠加在真实图像上的增强现实内容的形式在显示设备(12)上显示医疗器械(74)的插入患者(30)体内的部分。
20.根据权利要求19所述的组件，其中增强现实导航系统(10)的控制单元(13)被配置为以叠加在真实图像上的增强现实内容的形式计算并在显示设备(12)上显示医疗器械(74)与目标解剖结构上的靶点(52)之间的距离，和/或检测医疗器械(74)到达所述靶点(52)的时刻。
CN202180068553.9A 2020-10-08 2021-10-05 用于医疗机器人的增强现实导航系统 Pending CN116634961A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FRFR2010309 2020-10-08
FR2010309A FR3114957B1 (fr) 2020-10-08 2020-10-08 Système de navigation en réalité augmentée pour un robot médical
PCT/FR2021/051719 WO2022074325A1 (fr) 2020-10-08 2021-10-05 Système de navigation en réalité augmentée pour un robot médical

Publications (1)

Publication Number Publication Date
CN116634961A true CN116634961A (zh) 2023-08-22

Family

ID=74183303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180068553.9A Pending CN116634961A (zh) 2020-10-08 2021-10-05 用于医疗机器人的增强现实导航系统

Country Status (9)

Country Link
US (1) US20230372050A1 (zh)
EP (1) EP4203840A1 (zh)
JP (1) JP2023544960A (zh)
KR (1) KR20230083279A (zh)
CN (1) CN116634961A (zh)
CA (1) CA3192826A1 (zh)
FR (1) FR3114957B1 (zh)
IL (1) IL301615A (zh)
WO (1) WO2022074325A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2192855B1 (en) * 2007-07-09 2020-03-25 Covidien LP Patent breathing modeling
CA3034314C (en) * 2016-08-17 2021-04-20 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
WO2019051464A1 (en) * 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
EP3852623A1 (en) * 2018-11-07 2021-07-28 St. Jude Medical International Holding S.à r.l. Method for medical device localization based on magnetic and impedance sensors

Also Published As

Publication number Publication date
CA3192826A1 (fr) 2022-04-14
JP2023544960A (ja) 2023-10-26
EP4203840A1 (fr) 2023-07-05
IL301615A (en) 2023-05-01
KR20230083279A (ko) 2023-06-09
US20230372050A1 (en) 2023-11-23
FR3114957A1 (fr) 2022-04-15
WO2022074325A1 (fr) 2022-04-14
FR3114957B1 (fr) 2022-09-30

Similar Documents

Publication Publication Date Title
KR102590620B1 (ko) 연조직에 대한 최소 절개 의료 개입을 위한 로봇 장치
US20200409306A1 (en) Method and system for displaying holographic images within a real object
JP7221862B2 (ja) 医療器具の位置計画及び器具誘導のための解剖学的モデル
TWI615126B (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
CN107995855B (zh) 用于使用运动捕获数据来规划和执行关节置换流程的方法和系统
US7318805B2 (en) Apparatus and method for compensating for respiratory and patient motion during treatment
TWI741359B (zh) 與手術導航系統整合之混合實境系統
US20140031668A1 (en) Surgical and Medical Instrument Tracking Using a Depth-Sensing Device
JP2016512973A (ja) 身体に対して対象を追跡するための追跡装置
EP2277441A1 (en) Method for generating images of a human body zone undergoing a surgical operation by means of an apparatus for minimally invasive surgical procedures
KR101458585B1 (ko) 심혈관 진단 및 치료영상의 실시간 정합을 위한 방사선 불투과성 반구형 표지
KR20160069180A (ko) 중재시술 로봇용 공간정합 시스템
WO2012033739A2 (en) Surgical and medical instrument tracking using a depth-sensing device
KR101703564B1 (ko) 혈관 정보를 포함하는 의료 영상을 디스플레이하는 장치 및 방법
EP3628263A1 (en) Guidance in lung intervention procedures
CN116434944A (zh) 预设的提供
CN116634961A (zh) 用于医疗机器人的增强现实导航系统
JP2014135974A (ja) Ｘ線診断装置
US11250565B2 (en) Medical assistance device, system, and method for determining a deformation of a subject, computer program, corresponding computer-readable storage medium
TWI501749B (zh) 手術導引系統之器械導引方法
CN117425448A (zh) 用于实时引导经皮干预治疗的配备超声探头的机器人
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR101529659B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
WO2023129934A1 (en) Systems and methods for integrating intra-operative image data with minimally invasive medical techniques
Marcacci et al. Computer-Aided Surgery in Orthopaedics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination