CN113950301A - 用于计算机引导手术的系统 - Google Patents

用于计算机引导手术的系统 Download PDF

Info

Publication number
CN113950301A
CN113950301A CN202080042753.2A CN202080042753A CN113950301A CN 113950301 A CN113950301 A CN 113950301A CN 202080042753 A CN202080042753 A CN 202080042753A CN 113950301 A CN113950301 A CN 113950301A
Authority
CN
China
Prior art keywords
target
image
kinematic chain
surgical tool
digital model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080042753.2A
Other languages
English (en)
Inventor
布莱斯·布伦旺
西里尔·穆兰
索菲·卡昂
尼古拉斯·洛伊·罗达斯
米歇尔·博南
塔里克·艾特·西·塞尔米
马里恩·德克鲁伊兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commed Robotics
Original Assignee
Commed Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commed Robotics filed Critical Commed Robotics
Publication of CN113950301A publication Critical patent/CN113950301A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurosurgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于计算机引导手术的方法和系统，包括将在虚拟环境中相对于虚拟参考RP规划的动作转换为在真实手术室环境中针对患者骨科手术利用手术工具(20)执行的物理动作。

Description

用于计算机引导手术的系统
技术领域
本发明涉及一种计算机引导手术。该领域包括设计为辅助外科医生规划和/或执行手术干预的一套计算机和/或物理系统。它包括以下三个系列的系统：导航系统、机器人系统和增强和/或混合现实引导系统。
当前计算机引导手术系统的主要元素如下。
第一，根据以下方式来创建患者的数字模型：或者来自医学成像(CT扫描、MRI、X射线等)获得的患者特定术前数据，或者通过结合通用数据库(例如解剖图谱、统计形状模型)和对术中图像(透视、超声等)采集的计算机处理在手术期间生成的数据，或使用三维定位器和触诊系统所获得的患者解剖数据。
第二，从数字患者模型的计算机处理中生成手术规划。如果患者模型来源于术前数据，则在手术前执行此任务，或者如果患者模型来源于术中数据，则在手术开始时执行该任务。
第三，基于术前数据与术中数据的匹配方法的手术导航。手术导航允许外科医生将手术器械相对于患者解剖结构的当前定位可视化，并根据手术规划跟踪手术进展。在标准导航系统中，此信息显示在屏幕上。在混合现实导航系统中，手术导航通过头盔或护目镜以增强或虚拟现实方式通过增强或虚拟现实来显示。
第四，辅助实现手术姿势的系统：能够从术前规划中产生患者特定的器械(例如定制的切割或铣削引导器)。替代地，向外科医生提供视觉决策支持信息。如果机电系统协助外科医生执行手术程序，则它是机器人系统。
本发明属于用于机器人系统导航的计算机引导手术领域，单室和膝关节置换术是主要但并非唯一的应用。
计算机辅助机器人关节置换术使用主动或协作系统(将外科医生和机器人的技能相结合以形成性能增强的合作关系的协同系统)和被动导航系统。
背景技术
现有技术中一般采用两种主要解决方案。
第一种解决方案涉及使用放置在骨骼和手术器械上的标记，并结合光学跟踪系统来确保真实的和数字的参考点相匹配，并确定骨骼和手术器械在空间中的确切位置。在美国专利US10,136,950 B2中提出了这种解决方案的一个示例，其使用手术标记来匹配被配置为由导航系统跟踪的患者解剖结构。为了在手术程序中利用手术导航完成手术器械、工具和/或医疗设备的准确规划、跟踪和导航，外科医生通常将“跟踪阵列”耦合到手术标记。这些跟踪阵列允许外科医生在手术期间跟踪这些手术部件以及患者骨骼的物理位置。通过确定跟踪阵列的物理位置，与跟踪系统相关联的软件能够准确计算被跟踪部件相对于手术规划图像的位置。然而，使用固定在骨骼上的标记会在锚固点处产生骨折风险并延长手术时间。此外，在整个手术期间必须保证标记的可见性(视线，Line Of Sight)，因此这些解决方案对遮挡不具有鲁棒性，并且限制了手术人员相对于手术区的定位。它们使步骤和工具(标记、探针)的数量增加，并且需要对解剖结构进行机械触诊以与数字模型匹配。这些限制因繁琐的工作而增加了手术时间，并且需要外科医生和手术人员学习如何放置标记以及如何进行操作。最后，相关的光学跟踪系统既笨重又昂贵。
此外，没有纯光学跟踪允许实时控制回路。为了达到这种性能水平，需要进行机械跟踪。
第二种解决方案涉及电离术中可视化解决方案，例如荧光透视。在骨科和创伤手术期间，基于荧光透视的导航系统允许实时跟踪手术器械并将其轮廓叠加到荧光透视图像上。对于荧光导航，在手术干预期间使用的器械配备有与定位系统耦合的标记。
然而，第二种解决方案也具有与有第一种解决方案相同的缺点：对遮挡缺乏鲁棒性、限制了手术人员相对于手术区的定位、增加了所需器械的数量、给手术室带来了附加的笨重设备(C型臂装置)。该第二种解决方案还意味着使用电离辐射，这对患者和周围进行手术的医务人员都是有害的。
发明内容
本发明是一种允许将在虚拟环境中定义的至少一个规划的手术动作与真实环境(更具体地是用于骨科手术的手术室)中的物理手术动作对齐的方法。
本发明的实施方式涉及以下情况，首先通过虚拟参考中的数字模拟(例如手术规划模拟)确定轨迹、位置、位移或其他动作。为了在真实环境中可用，有必要将这个轨迹、位置、位移或其他动作转换成患者的真实参考，并在其上应用这些动作。为此，必须确定多个变换以将虚拟参考与患者的真实参考相匹配。
优选地，本发明涉及用于骨骼加工工具的支架的自动控制，以符合手术规划。
本发明的应用的另一个示例涉及增强现实，用于控制通过增强视觉护目镜或投影仪叠加在操作者(例如外科医生)的视场区域上的图像的位置。
本发明涉及一种用于计算机引导手术的系统，其包括将在虚拟环境中相对于虚拟参考RP所规划的动作转换为在用于患者的骨科手术的真实手术室环境中利用手术工具执行的物理动作，所述手术工具固定到运动链，该运动链包括具有至少一个传感器的传感器单元，该至少一个传感器被配置为实时跟随运动链的空间配置；所述系统包括：
-接收模块，其配置为接收从至少一个3D成像传感器获取的至少一个3D图像；所述3D图像包括患者的目标解剖结构的至少一部分；
-计算模块，配置为：
ο通过将目标的数字模型与包括在3D图像中的目标的至少一部分进行配准来计算虚拟参考RP与目标参考RC之间的变换CTP以及3D成像传感器RA的采集参考与目标参考RC之间的变换CTA；
ο施加变换CTP以便在目标参考RC中配准所述目标的数字模型，使得包括在目标的数字模型中的每个点在目标参考RC中具有已知定位；
ο计算手术工具的参考RO与目标参考RC之间的变换CTO；
ο将变换CTO施加到手术工具的参考RO，以便确定手术工具在目标参考RC中的位置和空间定向；
从而确定所述手术工具在虚拟参考RP和目标参考RC中的位置和空间定向，以便在目标参考RC中再现在虚拟参考RP中所规划的动作。
根据一个实施例，计算模块还配置为通过以下来计算变换CTA：
-在包括所述目标的3D图像中定义感兴趣区域；
-将包括目标的所述感兴趣区域配准到目标的数字模型以确定CTA。
根据一个实施例，定义感兴趣区域包括借助于分割算法来自动检测所述感兴趣区域。
根据一个实施例，运动链包括刚性地固定到目标解剖结构的至少一个机械基准，并且至少一个3D图像包括机械基准的至少一部分；计算模块还配置为：
-使用从包括在运动链中的传感器单元所获得的数据来计算手术工具的参考RO与机械基准的参考RM之间的变换OTM；
-通过将机械基准的数字模型与包括在3D图像中的机械基准的至少一部分相匹配来计算机械基准的参考RM与采集参考RA之间的变换MTA；
使得CTO变换是从采集参考RA、机械基准参考RM和目标参考RC之间的变换OTM、MTA和CTA的组合中获得的。
根据一个实施例，其中目标解剖结构固定在至少一个机械基准上，该系统还包括校正模块，该校正模块配置为使用运动链的传感器单元来跟踪目标相对于手术工具的运动，以及，因此每当检测到目标的位置和/或空间定向的偏差时，针对所述偏差来校正规划动作从虚拟环境到真实环境的转换。
该实施例有利地允许在患者移动时避免需要视觉跟踪或新的配准程序。
根据一个实施例，所述至少一个3D成像传感器固定到运动链，计算模块还被配置为根据从运动链的传感器单元获得的数据来计算手术工具的参考RO与3D成像传感器的采集参考RA之间的变换ATO，使得CTO变换是从采集参考RA与目标参考RC之间的变换ATO和变换CTA的组合中获得的。
根据一个实施例，由接收模块来接收采集的3D图像是使用至少两个传感器和投影仪来执行的，以通过立体视觉或结构光来执行采集。
根据一个实施例，固定在运动链上的3D成像传感器沿已知轨迹运动，并且沿该轨迹采集多个3D图像，计算模块还配置为联合处理沿轨迹采集的多个3D图像，以使用多个3D图像与目标数字模型进行配准。
根据一个实施例，接收模块还配置为接收热图像、超声图像、多光谱图像、显微尺度上的图像和/或单目彩色图像。
根据一个实施例，当3D成像传感器固定到运动链时，该系统还包括校正模块，该校正模块被配置为使用3D成像传感器和视觉跟踪算法来跟踪目标相对于手术工具的运动，使得每当检测到目标的位置和/或空间定向的偏差时，针对所述偏差校正规划动作从虚拟环境到真实环境的转换。
本发明涉及一种用于计算机引导手术的方法，其包括将在虚拟环境中相对于虚拟参考RP所规划的动作转换为在用于患者的骨科手术的真实手术室环境中利用手术工具执行的物理动作，所述手术工具固定到运动链，该运动链包括具有至少一个传感器的传感器单元，该至少一个传感器被配置为实时跟随运动链的空间配置；所述方法包括以下步骤：
-接收从至少一个3D成像传感器获取的至少一个3D图像；所述3D图像包括患者的目标解剖结构的至少一部分；
-通过将目标的数字模型与包括在3D图像中的目标的至少一部分进行配准来计算虚拟参考RP与目标参考RC之间的变换CTP以及3D成像传感器RA的采集参考与目标参考RC之间的变换CTA；
-施加变换CTP以便在目标参考RC中配准所述目标的数字模型，使得包括在目标的数字模型中的每个点在目标参考RC中具有已知定位；
-计算手术工具的参考RO与目标参考RC之间的变换CTO；
-将变换CTO施加到手术工具的参考RO，以确定手术工具在目标参考RC中的位置和空间定向；
从而确定所述手术工具在虚拟参考RP和目标参考RC中的位置和空间定向，以便在目标参考RC中再现在虚拟参考RP中所规划的动作。
根据一个实施例，计算变换CTA包括以下步骤：
-在包括所述目标的3D图像中定义感兴趣区域；
-将包括目标的所述感兴趣区域配准到目标的数字模型以确定CTA。
根据一个实施例，定义感兴趣区域的步骤包括借助于分割算法来自动检测所述感兴趣区域。
根据一个实施例，至少一个3D成像传感器固定到运动链，该方法还包括以下步骤：根据从运动链的传感器单元获得的数据来计算手术工具的参考RO与3D成像传感器的采集参考RA之间的变换ATO，使得CTO变换是从变换ATO和采集参考RA与目标参考RC之间的变换CTA的组合中获得的。
根据一个实施例，运动链包括刚性固定到目标解剖结构的至少一个机械基准，并且至少一个3D图像包括机械基准的至少一部分；方法还包括以下步骤：
-使用从包括在运动链中的传感器单元所获得的数据来计算手术工具的参考RO与机械基准的参考RM之间的变换OTM；
-通过将机械基准的数字模型与包括在3D图像中的机械基准的至少一部分相匹配来计算机械基准的参考RM与采集参考RA之间的变换MTA；
使得CTO变换是从采集参考RA、机械基准指称RM和目标参考RC之间的变换OTM、MTA和CTA的组合中获得的。
根据一个实施例，其中机械基准刚性地固定到目标解剖结构，通过运动链的传感器单元来跟踪目标相对于手术工具的运动，以及，因此每当检测到目标的位置和/或空间定向的偏差时，针对所述偏差来校正规划动作从虚拟环境到真实环境的转换。
根据一个实施例，所述运动链由包括通过关节连接的多个刚性元件的可变形结构组成。
根据一个实施例，所述运动链还包括用于测量施加到其元件的力的传感器。
根据一个实施例，由接收模块来接收采集的3D图像是使用至少两个传感器和投影仪来执行的，以通过立体视觉或结构光来执行采集。
根据一个实施例，固定在运动链上的3D成像传感器沿已知轨迹运动，并且沿该轨迹采集多个3D图像，该方法还包括以下步骤：联合处理沿轨迹采集的多个3D图像，以使用多个3D图像与目标数字模型进行配准。
根据一个实施例，该方法还包括接收热图像、超声图像、多光谱图像、显微尺度上的图像和/或单目彩色图像。
根据一个实施例，其中3D成像传感器固定在运动链上，通过3D成像传感器和视觉跟踪算法来跟踪目标相对于所述手术工具的运动，使得每当检测到目标的位置和/或空间定向的偏差时，针对所述偏差校正规划动作从虚拟环境到真实环境的转换。
根据一个实施例，目标的三维数字模型是根据计算机断层扫描图像或MRI图像生成的。
根据一个实施例，目标的三维数字模型是使用2D X射线照片来生成的，所述2D X射线照片包括目标、目标的统计形状模型和/或由3D成像传感器在手术中采集的3D图像。
根据一个实施例，对目标的三维数字模型进行数字地修改以模拟测量噪声或软骨的存在，所述修改根据训练数据或生物力学模拟数据来计算。
根据一个实施例，将目标的数字模型与包括在3D图像中的目标的至少一部分进行匹配的动作是非刚性变换。
本发明还涉及一种包括指令的计算机程序产品，当该程序由计算机执行时，该指令使计算机实施如本文所述的根据任一实施例的方法的步骤。
本发明还涉及一种包含指令的计算机可读存储介质，当其由计算机执行时，该指令使计算机实施如本文所述的根据任一实施例的方法的步骤。
如上所述，本发明的一个实施例涉及一种用于使用运动链的计算机引导手术的方法，该运动链包括刚性地固定到目标解剖结构的至少一个机械基准。以下段落涉及该特定实施例。
该方法实现了通过运动链与手术工具进行运动链接的机械基准：在整个手术期间，手术工具相对于机械基准的位置和定向是已知的，这要归功于运动链的部件的位置和/或位移传感器。另一方面，机械基准与待加工的骨骼元件(即目标)刚性链接。在手术期间，本发明使用深度数据(也称为3D图像)将骨骼元件与术前或术中(在手术开始时，在软组织切开后但在骨切除之前)获得的规划数据进行配准，所述规划数据包括目标的数字模型和在骨科手术期间要执行的规划手术动作。以此方式，确定机械基准相对于目标的位置和定向。配准过程和运动链几何结构的知识使得可以确定手术工具在目标参考系中的轨迹。手术工具相对于骨骼元件的位置和定向始终是已知的，并且其路径能够在例如患者移动的情况下被校正，以符合先前建立的手术规划。
本发明克服了现有技术的缺点，因为它不需要电离成像或多个光学标记来控制手术工具保持器以执行包括在手术规划中的动作。考虑到潜在的危害性和耗时性，本发明显示了对于医疗团队和患者的直接的健康益处。它还为外科医生提供了手术长度和易用性方面的优势。
本发明涉及一种包括以下步骤的方法。
从场景的3D图像传感器采集至少一个3D图像的第一步骤，所述第一步骤包括：
-目标的至少一部分(即待加工的骨骼元件)；
-与所述工具运动链接的机械基准的至少一部分。
第二步骤，通过应用图像处理算法将所述3D图像映射到目标的数字模型以确定定义采集参考RA相对于目标的指称RC的定位和空间定向的变换CTA。
第三步骤，将所述3D图像映射到机械基准的数字模型，使得可以确定变换MTA，该变换MTA限定了3D图像传感器的采集参考RA相对于机械基准的参考RM的位置和定向。
第四步骤，使用CTA和MTA变换矩阵来计算目标参考RC与机械基准参考RM之间的变换矩阵。
第五步骤，将初始规划变换为目标参考RC。
并行地，该方法包括以下步骤：实时采集运动链的元件的位置、空间定向和/或位移，该运动链在使用手术工具的所述物理动作期间将所述机械基准链接到所述手术工具。
有利地，本方法不依赖于场景的实时光学监控。因此，它避免了与标准手术导航系统相关联的问题，诸如标记的多样性和在手术区域被遮挡的情况下失去跟踪。事实上，一旦在目标参考RC中知道规划数据，运动链的传感器就可随时提供手术工具相对于待计算目标的位置和定向的知识。
根据变型方案，所述第二和第三映射步骤由以下步骤代替。
感兴趣区域提取步骤包括提取对应于所述目标的第一感兴趣区域和对应于所述机械基准的第二感兴趣区域，以确定：
-与所述目标相关联的所述3D数字图像的第一子集；
-与所述机械基准相关联的所述3D数字图像的第二子集。
感兴趣区域的提取能够通过分割算法来自动执行。
将与所述目标相关联的所述第一子集映射到所述目标的数字模型以确定变换CTA的步骤。
将与所述机械基准相关联的所述子集映射到所述机械基准的数字模型以确定变换MTA的步骤。
根据该实施例的变型方案，单独地或以技术上实际的组合来进行地，本发明还涉及以下附加特征：
-运动链由刚性可变形结构组成，该刚性可变形结构包括测量其组成部分的相对位置的传感器；
-获取3D图像的所述第一步骤是通过使用至少两个摄像头和投影仪来进行由立体视觉所采集的纹理化3D图像采集来进行的；
-获取3D图像的所述第一步骤是通过使用至少两个传感器和投影仪来进行由结构光所采集的纹理化3D图像采集来进行的；
-所述第一采集步骤还包括采集RGB-D图像；
-所述第一采集步骤还包括采集热图像；
-所述第一采集步骤还包括采集超声图像；
-所述第一采集步骤还包括采集多光谱图像；
-所述第一采集步骤还包括采集显微尺度上的图像；
-所述第一采集步骤还包括采集单目彩色图像；
-所述手术工具相对于目标的运动借助于目标与所述手术工具之间的运动链的元件的位置和/或位移传感器来进行跟踪，使得可以校正规划动作从虚拟环境到真实环境的转换；
-目标的所述三维数字模型由扫描仪或MRI图像生成；
-目标的所述三维数字模型已经被数字地修改以模拟测量噪声或软骨的存在，所述修改根据训练数据或生物力学模拟数据来计算；
有利地，使得能够确定定义采集参考RA相对于目标参考RC的位置和定向的变换CTA的第二步骤的所述数字重置处理是非刚性的。
定义
在本发明中，以下术语具有以下含义：
-“3D传感器”或“3D相机”或“深度相机”或“3D扫描仪”是指3D传感器是一种用于采集真实场景3维拓扑数据的系统。这些拓扑数据以点云和/或深度图谱的形式记录。
多种采集技术允许获得这些拓扑数据，例如：
·基于波传播时间测量的技术，诸如超声波或光(激光雷达LIDAR，飞行时间)；
·立体相机或传感器，其是一种具有两个或更多个镜头的摄像头，每个镜头具有单独的图像传感器或胶片框。这允许摄像头模拟人类双眼视觉，并因此能够捕捉三维图像；
·基于光变形的技术，诸如结构光3D扫描仪，其将光的图案投影到物体上并观察物体上图案的变形。结构光3D扫描仪的优势在于速度和精度。结构光扫描仪不是一次扫描一个点，而是一次扫描多个点或整个视场。在几分之一秒内扫描整个视场可以减少或消除运动失真问题；
·基于激光扫描样本或使用激光技术扫描表面的技术，诸如手持式激光器或飞行时间3D激光扫描仪；
这些术语也可以指RGB-D、彩色、多光谱或热像仪。
-“参考”是指使用一个或更多个数字或坐标来唯一确定点或其他几何元素在流形(例如欧几里得空间)上的位置的坐标系。
-“跟踪”，在计算机视觉中是指在连续图像流之间跟踪对象的位置和空间定向的行为。基于标记的跟踪依赖于使用与附接到关注对象的标记相关联的定位设备。无标记跟踪依赖于从感兴趣对象本身提取视觉特征，并在帧到帧的基础上进行匹配。
-“配准”或“匹配”或“姿态估计”是指将不同的数据集变换为一个坐标系的过程。
-“三维数字模型”是指三维数字(或虚拟)模型是三维虚拟对象。模型的位置和定向在相关联的数字参考中是已知的。
-“规划”，在手术的背景下，是指在不同手术阶段期间要执行的一系列动作。该手术规划可以借助于在手术之前执行的模拟程序来获得，该模拟程序使用作为手术目标的患者的骨骼的三维数字模型。例如，在膝关节置换术的情况下，术前规划将由定义加工平面和与股骨和胫骨的三维模型有关的钻孔轴组成。
-“术前数据”是指通过医学成像(CT、MRI、PET等)获得的患者的图像(或切片)。患者的三维模型是通过对每个图像进行分割处理，然后在图像之间进行插值而获得的。
-“术中数据”是指在手术期间采集的数据。这可以包括医学成像(透视、超声等)、三维数据、颜色和温度信息、来自本体感觉传感器的信息、与手术工具相关的力反馈等。
-“加工”是指切削或其他去除材料的机械过程。加工的目的是修改成品元件的所有表面的尺寸、精度、几何形状和表面状态，以便根据预定义的模型从原始初状态移动到最终状态。
具体实施方式
当结合附图阅读时，将更好地理解以下详细描述。为了说明的目的，在优选实施例中示出了该系统实现的步骤以及该方法。然而，应当理解，本发明不限于所示出的精确布置、结构、特征、实施方式和方面。附图未按比例绘制，并且无意将权利要求的范围限制于所描绘的实施例。因此，应当理解，在所附权利要求中提到的特征后面跟随有附图标记的情况下，包括这些附图标记仅是为了增强权利要求的可理解性，而不以任何方式限制权利要求的范围。
本发明的特征和优点将从以下系统实施例的描述中变得显而易见，该描述仅作为示例并参考附图给出，其中：
图1和1B示出了根据其中运动链包括至少一个机械基准的实施例的本发明中定义的不同参考系统的示意图。
图2示出了过程步骤的示意图，其中目标参考RC和虚拟参考RP对齐以确定定义了采集参考RA相对于RC的定位和定向的CTA变换。CTA是由CRA旋转矩阵和CTA平移向量组成的齐次变换矩阵。它定义了目标参考RC相对于采集参考RA的位置。
图3示出了根据本发明的一个实施例的第四步骤，其中确定机械基准参考RM相对于采集参考RA的位置和空间定向(变换矩阵MTA)。MTA是一个齐次变换矩阵，由旋转矩阵MRA和平移向量MTA组成。它定义了机械基准的参考RM相对于采集参考RA的位置和空间定向。
图4表示机械基准与目标之间的CTM变换是通过ATC(逆CTA矩阵)和MTA矩阵的组合来计算的。
图5对应于该过程的第六步骤。由链接机械基准和手术工具的运动链所确定的变换OTM与变换CTM相结合以计算CTO(手术工具在目标和规划参考中的位置)。
图6和7示出了根据一个实施例如何构造系统和运动链的两个示例，其中机械基准以运动方式链接到手术工具。此处由屏幕60表示的人机界面提供关于各个过程步骤的视觉反馈。
图8示出了在膝关节置换术中植入股骨膝关节植入物I，股骨F和胫骨T的一些加工平面P1、P2、P3、P4、P5、P6。
图9示出了本发明的系统和在一端处包括手术工具的运动链的一个示例，3D成像传感器相对于患者具有已知定位。
图10示意性地表示计算虚拟参考RP与目标参考RC之间的变换CTP以及3D成像传感器的采集参考RA与目标参考RC之间的变换CTA的步骤。
图11示意性地表示计算手术工具的参考RO与目标参考RC之间的变换CTO的步骤。
图12是至少一个3D成像传感器固定在运动链上的实施例的示意图。该图中还说明了手术工具的参考RO与3D成像传感器的采集参考RA之间的变换ATO和采集参考RA与目标参考RC之间的变换CTA，该变换ATO和变换CTA用于计算变换CTO。
尽管已经描述和示出了各种实施例，但是详细描述不应解释为限于此。不脱离如权利要求所限定的本公开的真实精神和范围的情况下，本领域技术人员可以对实施例进行各种修改。
本发明的目的是以不间断和实时的方式将术前规划数据与手术室中发生的实际手术进行匹配。
术前手术规划包括患者的至少一部分的3D数字模型，尤其包括目标骨骼元素，以及表征对患者的目标骨骼元素的加工动作的一组有序几何方程。在一个优选实施例中，术前手术规划包括对应于每个手术动作的加工规划。术语术前手术规划应理解为在目标骨骼元素在目标骨骼上的手术动作开始之前暴露时，使用手术前(术前)或在手术第一阶段期间术中地获得的规划数据来定义手术规划的手术动作。
目标的数字模型可以从手术之前采集的医学图像来生成。能够对其进行修改以考虑在医学图像中不可见的元素，例如在CT扫描图像中不可见的软骨。在这种情况下，修改是从训练数据或生物力学模拟数据中生成的。数字模型也也可以由统计模型或算盘以及与术前医学图像相关或不相关的患者数据生成。此外，能够考虑在操作期间采集的数据来调整数字模型。
用于确定术前手术规划的规划数据是在患者相对于成像装置的地点、时间和位置中采集的，该成像装置能够完全独立于手术的成像装置。然而，数字规划模型的数字数据必须更接近物理现实，以允许根据数字规划数据来控制真实加工工具的运动。
对于描述的其余部分，将考虑以下参考：
-存储在计算机存储器中的数字规划图像和手术规划的手术动作的规划或虚拟参考RP。在目标的数字模型中的待加工骨骼元素(在所描述的示例中为股骨10)在该虚拟参考RP中具有已知定位和空间定向。手术规划数据和手术动作(例如切割平面11或钻孔轴的位置)在同一参考RP中是已知的；
-目标参考RC对应于待加工的骨骼元素(即目标)(在这种情况下是股骨头的表面)的物理坐标系；
-手术工具参考RO对应于手术工具20的物理坐标系；
-采集参考RA对应于3D成像传感器30坐标系，其中表示操作期间采集的数据；
-机械参考RM对应于机械基准40的物理坐标系，该机械基准通过运动链的元素运动地链接到手术工具20。手术工具20相对于机械基准40的位置和空间定向由运动链的传感器已知，从而提供代表手术工具20相对于机械基准40的角位移和/或线位移的信号。
骨骼目标10、运动链70、手术工具20、3D成像传感器30及其各自的参考的定位如图9所示。
本方法旨在精确地引导可移动地固定到运动链70的手术工具20。所述手术工具20可以是例如加工工具。
在本发明中，术语运动链是指由关节连接以限制或以期望的方式提供运动的刚性元件的集合。
根据一个实施例，所述运动链由包括通过关节连接的多个刚性元件的可变形结构组成。
根据本发明，运动链包括具有至少一个传感器的传感器单元，该传感器被配置为实时跟随所述运动链的空间配置。
传感器单元的传感器可以是编码器或包括加速度计和/或陀螺仪的惯性单元。
根据一个实施例，所述运动链还包括用于测量施加到其元件的力的传感器。
在一个实施例中，本方法的第一步骤包括接收从至少一个3D成像传感器30采集的至少一个3D图像，其中3D图像采集为包括患者的目标解剖结构10的至少一部分。
从本发明的3D成像传感器30获得的3D图像包括图像中采集的场景的每个点与3D成像传感器30之间的距离信息。因此，由3D成像传感器30获得的原始3D图像是所谓的深度图谱或深度图像，其可以以表示灰度图像或RGB图像的二维阵列的形式呈现，其中阵列的大小取决于摄像机类型和传感器尺寸。
根据一个实施例，3D图像的采集是使用至少两个摄像机和投影仪来执行的，以通过立体视觉或结构光来执行采集。
3D成像传感器的使用有利地允许以简单且快速的方式获得关于骨骼表面形态的信息，因为一个图像允许捕获所有手术区域，而无需与患者接触(如对于触诊技术而言的)。
根据一个实施例，该方法还包括执行降噪算法的预处理步骤。
根据一个实施例，至少一个3D成像传感器30相对于手术室中的目标10具有固定位置。在该实施例中，3D成像传感器30独立于运动链(即3D成像传感器不固定到运动链)。在一个示例中，3D成像传感器30固定在手术室的壁上或定位在三脚架上或借助于关节臂固定。在3D成像传感器30被移位以捕获多个3D图像的情况下，固定到3D成像传感器30的惯性测量单元(IMU)能够测量其相对运动并确定运动轨迹。
根据一个替代实施例，如图12所示，至少一个3D成像传感器30固定到运动链。这有利地允许在手术期间始终接近手术工具20的相对于3D成像传感器30的相对位置。
当至少一个3D成像传感器30固定到运动链70时，3D成像传感器沿着已知轨迹移动，3D成像传感器30可以沿着该轨迹采集多个3D图像。
根据一个实施例，第一步骤还包括接收热图像、超声图像、多光谱图像、显微尺度上的图像和/或彩色图像。
根据一个实施例，该方法包括从计算机可读存储介质、服务器等检索在手术期间使用手术工具20治疗的目标骨骼的数字模型。所述数字模型是目标骨骼10的三维虚拟表示。
在一个实施例中，使用计算机断层扫描或MRI系统采集的成像数据来生成目标的三维数字模型。也可以使用其他成像技术，例如X射线、荧光透视、超声或其他成像手段。在这种情况下，三维数字模型是在手术之前获得的。
在一个实施例中，目标的三维数字模型是使用2D X射线照片来生成的，所述2D X射线照片包括目标、目标的统计形状模型和/或由3D成像传感器30在术中采集的3D图像。该实施例也有利地允许即使在3D成像数据(即计算机断层扫描或MRI)不可用时也生成三维模型。
在一个实施例中，对目标的三维数字模型进行修改以模拟测量噪声或软骨的存在。所述修改可以从训练数据或生物力学模拟数据来计算。
根据图2和图10所示的一个实施例，该方法的另一步骤包括：通过将目标的数字模型与包括在3D图像中的目标10的至少一部分进行配准来计算虚拟参考RP与目标参考RC之间的变换CTP以及3D成像传感器RA的采集参考与目标参考RC之间的变换CTA。
3D配准包括找到同一对象的两个3D模型之间的变换，使得它们的重叠区域尽可能匹配。这能够通过一种算法来执行，该算法通过交替匹配步骤将术中图像的每个点与其在术前模型中的最近邻点相关联，以及交替匹配对术中模型进行变换以最佳拟合估计的匹配的变换估计步骤，来迭代地对齐两个模型。重复这个过程，直到术中和术前模型的每个点之间的距离最小化，低于阈值。
该步骤有利地允许确定在手术室中将虚拟参考RP与目标参考RC对齐的变换。此外，使用骨骼的数字模型以及其与手术领域中目标的至少一个3D图像的配准允许独立于附加到患者的任何外部标记来确定虚拟参考RP与目标参考RC之间的变换。
在一个实施例中，将目标的数字模型与包括在3D图像中的目标的至少一部分进行配准是从刚性变换中获得的。
替代地，将目标的数字模型与包括在3D图像中的目标的至少一部分进行配准可以是非刚性变换。有利地，该实施例允许将从预先采集的图像获得的目标的数字模型的形状适应于在手术期间采集的3D图像。
根据一个实施例，计算变换CTA的步骤包括：在包括目标的至少一部分的3D图像中定义感兴趣区域的第一步骤。
根据一个实施例，定义感兴趣区域的步骤包括借助于分割算法来自动检测所述感兴趣区域。
替代地，操作者可以提供包括目标的感兴趣区域的轮廓的手动描绘的信息作为方法的输入。
包括目标的所述感兴趣区域然后配准到目标的数字模型以确定CTA。
在一个实施例中，该方法还包括以下步骤：施加变换CTP以便在目标参考RC中配准所述目标的数字模型，使得包括在目标的数字模型中的每个点在目标参考RC中具有已知定位。该步骤有利地允许将与目标的数字模型和手术规划的动作相关联的虚拟参考与手术室中的目标参考RC对齐。
在图11所示的一个实施例中，该方法包括计算手术工具的参考RO与目标参考RC之间的变换CTO的步骤。
该方法然后可以实施将变换CTO施加到手术工具的参考RO，以确定手术工具20在目标参考RC中的位置和空间定向的步骤。该最后步骤允许确定所述手术工具20在虚拟参考RP和目标参考RC中的定位和空间定向，以便在目标参考RC中再现在虚拟参考RP中所规划的动作。
当所述手术工具20在虚拟参考RP和目标参考RC中的定位和空间定向已知时，可以利用承载所述手术工具20的运动链来指导最初手术规划中所规划的动作的执行。然而，在执行这些动作期间，目标的空间定向和位置可能会发生改变，例如由一名医务人员移动目标。
这将导致虚拟参考RP与目标参考RC之间的不匹配，并且因此，执行参考虚拟参考RP的规划动作的手术工具20将处于错误定位。
为了防止这种不期望的情况，可以跟踪目标10相对于所述手术工具20的运动，使得每当检测到目标的定位和空间定向的偏差时，立即针对所述偏差来校正从虚拟参考RP和目标参考RC的所规划动作的配准。
根据如图12所示3D成像传感器30固定到运动链70的一个实施例，该方法配置为根据从运动链的传感器单元获得的数据来计算手术工具RO的参考与3D成像传感器的采集参考RA之间的变换ATO，并通过将所述变换ATO组合到变换CTA，以便获得手术工具RO与目标参考RC之间的CTO变换。
如图12所示，在3D成像传感器30固定到运动链70的情况下，根据一个实施例，目标10相对于所述手术工具20的运动是通过视觉跟踪算法来计算的，该算法使用由3D成像传感器30针对目标10相对于3D成像传感器30的连续姿态(即空间定向和定位)估计所捕获的实时3D图像作为输入。3D成像传感器30和目标10的相对运动是通过执行帧到帧配准来计算的，即通过配准当前3D图像(时间步长i)与前一个3D图像(时间步长i-1)。由于3D成像传感器30机械链接到手术工具20，从视觉跟踪估计的相对运动应该与从运动链70的传感器单元计算的相对运动相匹配。如果不是这种情况，则意味着目标10已经移动并且需要再次执行来自虚拟参考RP和目标参考RC的规划动作的配准(本方法的前三个步骤)以校正偏差。
根据运动链70独立于3D成像传感器30的替代实施例，运动链70包括刚性固定到目标解剖结构10的至少一个机械基准40。根据图1和1B中表示的这个实施例，至少一个3D图像必须包括机械基准的至少一部分。
根据图3所示的本实施例，该方法还包括以下步骤：
-使用从包括在运动链70中的传感器单元所获得的数据来计算手术工具的参考RO与机械基准的参考RM之间的变换OTM；
-通过将机械基准的数字模型与包括在至少一个3D图像中的机械基准的至少一部分相匹配来计算机械基准的参考RM与采集参考RA之间的变换MTA；
使得CTO变换是从采集参考RA、机械基准参考RM和目标参考RC之间的变换OTM、MTA和CTA的组合中获得的。
如图1、1B和7所示，当机械基准40固定到目标10时，根据一个实施例，目标10相对于所述手术工具20的运动由运动链70的传感器单元来跟踪，使得每当检测到目标10的位置和空间定向的偏差时，针对所述偏差立即校正来自虚拟参考RP和目标参考RC的所规划动作的配准。实际上，由于机械基准40刚性固定到目标解剖结构10同时是运动链70的一部分，因此可以使用从传感器单元采集的信息来检测目标10相对于所述手术工具20的所有运动。该校正可以包括计算新目标参考RC与虚拟参考RP之间的校正变换CnewTP，使得包括在目标的数字模型中的每个点在具有机械基准的新目标参考RC中具有已知定位。
以下段落中详细描述了当使用包括至少一个机械基准40的运动链70时要实施的方法的步骤的特定实施例。
作为示例，手术工具20与连接到机械基准的工具保持器(诸如夹具或螺钉)相关联，其机械地固定到待加工的骨骼。该工具支架与机械基准之间的机械连接由具有可变形结构的运动链提供，该结构包括至少两个元件，例如包括多个铰接元件的铰接组件和具有至少一个传感器的传感器单元，该传感器单元根据铰接元件的相对空间定向和位置实时提供信号。该传感器单元因此提供数字信息，使得能够实时确定手术工具的活动端相对于固定在骨骼上的元件的固定点在空间中的位置。
此外，术中数据采集及其与数字手术规划的匹配允许固定在骨骼上的机械基准相对于待加工的骨骼元件表面的位置已知。可以通过虚拟参考中的模拟将已知轨迹变换到现实世界中，例如以确保在手术规划期间加工工具引导、其运动的控制或与相对于预定位置的位置控制。
第一步骤
为此，3D图像由3D成像传感器30(例如相机)采集，其视场包含手术区的一部分，其中包括待加工表面10(例如股骨)的至少一部分和机械基准40的一部分。采集的结果能够显示在屏幕60上。
采集能够由3D相机、以主动立体视觉采集图像的一对相机、3D扫描仪或激光雷达来执行，以提供类型(x,y,z；a)的三维图像或深度图、点云、指定参数(诸如颜色或强度)。
手术场景的3D图像采集
纹理3D数字化解决方案使用两个或更多校准的相机和投影仪来执行立体视觉采集和相移结构光采集，以实现手术区域的精确3D重建。所提出的解决方案将时空超分辨率方案与非刚性3D配准集成在一起，以校正3D信息并完成扫描视图。
结构光通过时间复用进行编码。相位相反的两个正弦图案和第三白色图案相继投影到手术场景上。首先对每个相机分别施加2D采样以定位条纹交点。然后通过获得的图元与光学三角测量之间的立体匹配，为每对摄像机估计场景的非密集3D模型。该模型的空间分辨率取决于形成所用图案的条纹数量。
然后通过估计位于条纹内的点的相位信息来分别为使用的每个相机-投影仪对获得密集的3D模型。传统的基于相移结构光的方法需要使用相机对投影仪进行离线校准和相位解卷步骤。
空间和时间的超分辨率使得可以完成并校正观察场景的3D模型，因为3D扫描能够生成主要由遮挡、位置变化甚至采集表面上的光反射所引起的失真和伪影。因此，一方面利用所有相机对提供的不同3D模型，另一方面利用t-1时刻计算的3D帧，得到在t时刻校正的高分辨率3D模型。时空超分辨率首先通过第一3D匹配步骤提供，然后由合并和去噪步骤来提供。
非刚性3D匹配方法允许处理非刚性观察区域的可能扭曲或变形。获得的3D点云的网格和纹理镀层允许完成瞬时t的纹理3D帧。
该第一步骤的结果是以点云的形式在包含骨骼50的可见部分和参考40的可见部分的区域的3D图像的计算机的存储器中记录，每个点云由采集参考RA中的发光强度、颜色和坐标(x,y,z)限定。
附加成像模态
一个特定的解决方案是在同一采集参考RA中或在利用RA校准的参考中采集不同性质的附加图像以获得附加信息。附加模态的校准需要使用由3D成像传感器30和附加模态两者从不同视角可见的几何测试图案。对得到的图像对进行处理和重新缩放以导出校准矩阵。
附加图像能够例如是由热像仪产生的热图像，该热像仪以接近于3D成像传感器30的定向和距离来捕获手术区。该图像有利地使得更容易区分患者组织与手术工具。
它也能够是彩色相机、超声波探头或多光谱传感器的采集。
步骤2：提取感兴趣区域
以下处理步骤包括利用在采集步骤期间记录的至少一个3D图像来隔离对应于目标10(股骨)的图像的部分和对应于机械基准40的图像的部分。
为此，整个场景的所述3D数字图像以及通过所述附加图像(如果存在)获得的图像由用于表征深度图谱或点云的子集的算法进行处理。
这一处理的结果将是分割或分类：
-利用与对应于3D图像的点的第一子集的机械基准相关联的第一指示符(标签)，
-利用与对应于3D图像的点的第二子集的目标(股骨)相关联的第二指示符(标签)，
-利用背景(图像的非相关子集)的第三指示符(标签)。
该处理步骤将通过连续的轮廓、颜色和替代地使用经训练的分类器、或通过人工智能、或通过考虑机械基准和目标相对于采集系统的定位的几何先验来执行。
如果在第三和第四步骤中施加的匹配算法对异常值足够稳健，那么提取关注区域的步骤是可选的。
第三步骤：将链接到目标的物理参考系与采集参考系进行匹配。
第三步骤包括通过以下之间的配准处理将与所述物理目标相关联的目标参考RC与采集参考RA进行匹配：
-与在前面的步骤中确定的目标相关联的三维数字图像的子集，以及
-与规划数据一起记录的目标的三维数字模型。
该处理包括确定CTA变换、给出采集参考RA相对于目标参考RC的位置和定向，如图2所示。
这种处理使用配准技术来找到相同性质的两个几何结构共有的潜在变形，使它们能够链接起来，即试图通过应用空间变换将第二结构描述为从第一结构获得。
本领域技术人员已知基于特征点的先验提取的匹配技术，从特征点诱导变形，或利用从原始图像导出的几何结构：通过分割获得的点、曲线或表面的部分，只要这些捕捉图像的基本信息，无论是几何的-点或强曲率的线-还是解剖学。
一种合适的技术是基于点对点配准，通过估计两组数据之间的最佳变换的过程，使得它们的重叠区域尽可能匹配。这能够通过一种算法来执行，该算法通过交替将术中图像的每个点与其术前模型中的最近邻点相关联的匹配步骤和将术中云变换为最佳拟合估计匹配的变换估计步骤来迭代地对齐两个模型。重复这个过程，直到术中和术前模型的每个点之间的距离最小化，低于阈值。
如果几何变换包括旋转和平移，则称配准是刚性的。如果几何变换是高阶(多项式、样条曲线...)或者如果变换不是参数化的，则称配准是非刚性的。
在本发明的上下文中，刚性配准通常足以计算从目标参考到虚拟参考RP的变换矩阵。
第四步骤：将链接到机械基准的物理参考系映射到采集系。
第四步骤包括通过以下之间的配准处理将与所述机械基准相关联的机械基准参考RM与采集参考RA进行匹配：
-所述机械基准的3D图像，以及
-所述机械基准的三维数字模型。
使用与机械基准对应的3D图像点的子集及其在计算机存储器中的数字表示，应用相同类型的刚性配准处理。
图3所示处理的结果用于确定MTA变换、给出机械参考RM相对于采集参考RA的位置和定向。
第五步骤：目标参考RC与机械参考RM之间的变换
图4所示过程的第五步骤包括计算目标参考RC与机械参考RM之间的变换。由于前面的两个步骤，已知CTA和MTA矩阵(如图2和图3所示)，可以推导出表示目标参考RC与机械参考RM之间关系的变换矩阵MTC。
第六步骤：从最初的规划转向物理规划
图5中表示的第六步骤涉及通过根据如此转置的数字规划数据定位工具的支撑，来将初始手术规划的规划动作转换为在目标参考RC中执行的物理动作。使用从包括机械基准和加工工具的运动链的传感器中获得的数据来确定的OTM变换与MTC结合以计算变换CTO，从而允许计算目标参考中的加工工具定位，并因此将规划数据转置到真实环境。
然后，变换CTO的知识可以根据干预期间目标的移动来校正加工工具轨迹。
转置在术中图像上的手术规划数据能够显示在手术室的屏幕60上。这为外科医生提供了与时间表相关的手术进展的视觉反馈。
根据一个实施例，步骤2和3在不经过子集提取步骤的情况下通过使用对异常值鲁棒的算法的单个处理来实现，例如随机样本一致性(RANSAC)。
图8提供确定剖结构A的一个示例，该结构是众所周知的经常需要手术的典型解剖结构，即，膝关节。众所周知，膝关节包括三个骨骼，股骨F、胫骨T和髌骨。(我们有意将髌骨排除在外，因为它不具有解释价值)。因此本说明书中描述的示例涉及骨科手术领域，并更具体地涉及用于植入股骨膝关节植入物I的股骨F和胫骨T的准备。
根据该示例的该准备包括一系列众所周知的步骤，每个步骤是根据包含在手术规划中的给定的预先计算的加工规划P1、P2、P3、P4、P5、P6(见图8)来加工骨骼F或T之一(传统上使用摆锯切割骨骼)。这些加工步骤本身是众所周知的，并且它们通常以相同的顺序进行，这取决于操作者(外科医生)采用的策略。在图8中，每个加工规划P1、P2、P3、P4、P5、P6按公认的时间顺序编号。这些加工规划P1、P2、P3、P4、P5、P6通常由术前手术规划来确定。
术前手术计划仅适用于某一特定患者的某一特定手术的某一特定类型的植入物(尺寸、设计、品牌等)。每个患者(和每个手术)都会获得个性化的术前手术规划。因此，每次手术的加工规划P1、P2、P3、P4、P5、P6略有变化。通常的术前手术规划的第一步骤是建立目标骨骼F、T的3D数字模型。获得诸如3D数字骨骼F、T模型的一种方式是使用诸如计算机断层扫描、X射线、MRI、荧光透视、超声或其他成像手段等的医学成像。X射线或扫描仪，甚至MRI，采集通常在完全负重时进行，通常为正面(也称为冠状或前后)视图，膝盖完全伸展和/或弯曲20°-30°的侧面(或侧面)视图，长腿视图，包括从股骨头部到踝关节的下肢，最后是30°弯曲时的膝盖视图，也称为天际线视图。根据这些图像，可以构建要在手术期间加工的骨骼F、T的数字模型。然后基于对3D数字骨骼F、T模型的分析来选择特定的膝关节植入物I。
本发明旨在借助于包括运动链70的手术设备和如图6、7或9所示的手术工具20来精确且安全地加工骨骼F、T。
F、T骨骼3D数字模型建立后，可以存储在所述手术设备的控制单元的存储器中。
在一个示例中，手术设备可以包括3D成像传感器30，其在手术设备内的位置是众所周知的。该3D成像传感器30允许操作者与存储在控制单元的存储器中的骨骼F、T模型协作。一旦确定了给定患者的F、T骨骼3D数字模型，并将其存储在控制单元(手术设备)的存储器中，就能够用于手术。一旦正确安置了患者、要看到的解剖结构A和手术设备相对于患者正确放置，则拍摄解剖结构A的至少一个3D图像。该3D图像是利用3D成像传感器30拍摄的。手术设备的控制单元可以被配置为执行本发明的方法的步骤。这使得控制单元能够相对于3D成像传感器30并因此相对于手术设备来定位解剖结构A。然后，这使得控制单元能够在目标参考RA内为该特定手术设置精确的加工规划P1、P2、P3、P4、P5、P6。
待加工的骨骼F、T的自由表面是有限的，并因此只有少数几个区域能够让手术工具20与骨骼F、T接触。这种接触必须尽可能微创以使得既不损伤骨骼F、T也不损伤周围的软组织，同时确保手术工具20相对于骨骼F、T的精确相对定位。
如图6、7或9所示，手术设备旨在加工定位在手术台上的患者的解剖结构A(在这种情况下为膝部)。患者通常被麻醉并借助于特定且众所周知的固定装置维持在手术台上。此外，在图6和图7所示的一个实施例中，患者的肢体整体固定到手术设备的运动链70。
例如，除了运动链70和手术工具20之外，手术设备可以包括旨在固定到手术台的基座单元和设计为固定解剖结构A的机械基准40。手术工具20可以配置为由操作员来移位。
在一个实施例中，用于计算机引导手术的系统对应于所述手术设备的控制单元。所述控制单元80例如能够是计算机。该控制单元80可以包括存储器、实时计算元件、电源、功率变换器、熔断器和/或致动器。控制单元80还可包括允许控制单元80与操作者之间交互的操作者界面60。
该操作者界面60可以被配置为
-显示由3D传感器采集的图像和步骤一到三的输出，
-显示实时信息，诸如手术工具20相对于解剖结构A的位置，
-显示规划的植入体位置和手术规划，以便帮助操作者选择最佳植入体及其位置，
-配置工具支架的加工目标的位置。
本发明的用于计算机引导手术的系统可以集成在手术设备中作为如上所述的控制单元，或者可以是配置成执行本发明方法的步骤并通过有线连接或无线方式与手术设备通信的处理器。
本发明还包括一种用于计算机引导手术的计算机程序产品，该计算机程序产品包括指令，当该程序由计算机执行时，该指令使计算机实施如上所述的根据任一实施例的方法的步骤。
用于执行上述方法的计算机程序产品可以编写为计算机程序、代码段、指令或它们的任何组合，用于单独或共同指示或配置处理器或计算机作为机器或专用计算机来操作以执行由硬件组件执行的操作。在一个示例中，计算机程序产品包括由处理器或计算机直接执行的机器代码，诸如由编译器产生的机器代码。在另一个示例中，计算机程序产品包括由处理器或使用解释器的计算机执行的更高级别代码。本领域普通程序人员能够根据附图中所示的框图和流程图以及说明书中的对应描述来容易地编写指令或软件，说明书中公开了用于执行上述方法的操作的算法。
本发明还包括一种包括指令的计算机可读存储介质，当该程序由计算机执行时，该指令使计算机实施如上所述的根据任一实施例的方法的步骤。
根据一个实施例，计算机可读存储介质是非暂时性计算机可读存储介质。
实施本发明方法的计算机程序通常可以在诸如但不限于SD卡、外部存储设备、微芯片、闪存设备、便携式硬盘和软件网站之类的分布式计算机可读存储介质上分发给用户。可以从分发介质来将计算机程序复制到硬盘或类似的中间存储介质。
计算机程序能够通过将计算机指令从其分配介质或其中间存储介质加载到计算机的执行存储器来运行，并将计算机配置为按照本发明的方法进行操作。所有这些操作对于计算机系统领域的技术人员而言是众所周知的。
用于控制处理器或计算机以实现硬件组件并执行上述方法的指令或软件，以及任何相关联数据、数据文件和数据结构，被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁带、软盘、磁光数据存储设备、光学数据存储设备、硬盘、固态盘，以及本领域普通技术人员已知的能够将指令或软件以及任何相关联数据、数据文件和数据结构以非暂时性方式存储并将指令或软件以及任何相关联数据、数据文件和数据结构提供给处理器或计算机以便处理器或计算机能够执行指令的任何设备。在一个示例中，指令或软件以及任何相关联数据、数据文件和数据结构分布在网络耦合的计算机系统上，以便由处理器或计算机以分布式方式存储、访问和执行指令和软件以及任何相关联数据、数据文件和数据结构。

Claims (34)

1.一种用于计算机引导手术的系统，其包括将在虚拟环境中相对于虚拟参考RP所规划的动作转换为在用于患者的骨科手术的真实手术室环境中利用手术工具(20)执行的物理动作，所述手术工具(20)固定到运动链(70)，所述运动链包括具有至少一个传感器的传感器单元，所述至少一个传感器被配置为实时跟随运动链(70)的空间配置；所述系统包括：
-接收模块，其配置为接收从至少一个3D成像传感器(30)获取的至少一个3D图像；所述3D图像包括患者的目标解剖结构(10)的至少一部分；
-计算模块配置为：
ο通过将目标的数字模型与包括在3D图像中的目标(10)的至少一部分进行配准来计算虚拟参考RP与目标参考RC之间的变换CTP以及3D成像传感器RA的采集参考与目标参考RC之间的变换CTA；
ο施加变换CTP以便在目标参考RC中配准所述目标的数字模型，使得包括在目标的数字模型中的每个点在目标参考RC中具有已知定位；
ο计算手术工具的参考RO与目标参考RC之间的变换CTO；
ο将变换CTO施加到手术工具(20)的参考RO，以便确定手术工具在目标参考RC中的位置和空间定向；
从而确定所述手术工具(20)在虚拟参考RP和目标参考RC中的位置和空间定向，以便在目标参考RC中再现在虚拟参考RP中所规划的动作。
2.根据权利要求1所述的系统，其中，所述计算模块还配置为通过以下来计算所述变换CTA：
-在包括所述目标(10)的3D图像中定义感兴趣区域；
-将包括目标(10)的所述感兴趣区域配准到目标的数字模型以确定CTA。
3.根据权利要求2所述的系统，其中，定义感兴趣区域包括借助于分割算法来自动检测所述感兴趣区域。
4.根据权利要求1至3中任一项所述的系统，其中，所述运动链(70)包括刚性地固定到目标解剖结构(10)的至少一个机械基准(40)，并且所述至少一个3D图像包括机械基准(40)的至少一部分，所述计算模块还配置为：
-使用从包括在运动链(70)中的传感器单元所获得的数据来计算手术工具的参考RO与机械基准的参考RM之间的变换OTM；
-通过将机械基准的数字模型与包括在3D图像中的机械基准的至少一部分相匹配来计算机械基准的参考RM与采集参考RA之间的变换MTA；
使得CTO变换是从采集参考RA、机械基准参考RM和目标参考RC之间的变换OTM、MTA和CTA的组合中获得的。
5.根据权利要求4所述的系统，还包括校正模块，所述校正模块配置为使用运动链(70)的传感器单元来跟踪刚性地固定到至少一个机械基准(40)的目标(10)的相对于手术工具(20)的运动，使得每当检测到目标的位置和/或空间定向的偏差时，针对所述偏差来校正规划动作从虚拟环境到真实环境的转换。
6.根据权利要求1至3中任一项所述的系统，其中，所述至少一个3D成像传感器(30)固定到运动链(70)，计算模块还被配置为根据从运动链(70)的传感器单元获得的数据来计算手术工具的参考RO与3D成像传感器的采集参考RA之间的变换ATO，使得CTO变换是从采集参考RA与目标参考RC之间的变换ATO和变换CTA的组合中获得的。
7.根据权利要求1至6中任一项所述的系统，其中，所述运动链(70)由可变形结构构成，所述可变形结构包括通过关节连接的多个刚性元件。
8.根据权利要求1至7中任一项所述的系统，其中，所述运动链(70)还包括用于测量施加到其元件的力的传感器。
9.根据权利要求1至8中任一项所述的系统，其中，由接收模块来接收采集的3D图像是使用至少两个传感器和投影仪来执行的，以通过立体视觉或结构光来执行采集。
10.根据权利要求6至9任一项所述的系统，其中，固定在运动链(70)上的3D成像传感器(30)沿已知轨迹运动，并且沿该轨迹采集多个3D图像，计算模块还配置为联合处理沿轨迹采集的多个3D图像，以使用多个3D图像与目标数字模型进行配准。
11.根据权利要求6至10中任一项所述的系统，还包括校正模块，所述校正模块被配置为使用3D成像传感器(30)和视觉跟踪算法来跟踪目标(10)相对于手术工具(20)的运动，使得每当检测到目标的位置和/或空间定向的偏差时，针对所述偏差校正规划动作从虚拟环境到真实环境的转换。
12.根据权利要求1至11中任一项所述的系统，其中，所述接收模块还配置为接收热图像、超声图像、多光谱图像、显微尺度上的图像和/或单目彩色图像。
13.根据权利要求1至12中任一项所述的系统，其中，所述目标的三维数字模型是根据计算机断层扫描图像或MRI图像生成的。
14.根据权利要求1至12中任一项所述的系统，其中，所述目标的三维数字模型是使用2D X射线照片来生成的，所述2D X射线照片包括所述目标、所述目标的统计形状模型和/或由3D成像传感器在手术中采集的3D图像。
15.根据权利要求1至14中任一项所述的系统，其中，对所述目标的三维数字模型进行数字地修改以模拟测量噪声或软骨的存在，所述修改是根据训练数据或生物力学模拟数据来计算的。
16.根据权利要求1至15中任一项所述的系统，其中，所述目标的数字模型与包括在所述3D图像中的目标(10)的至少一部分的配准是非刚性变换。
17.一种用于计算机引导手术的方法，其包括将在虚拟环境中相对于虚拟参考RP所规划的动作转换为在用于患者的骨科手术的真实手术室环境中利用手术工具(20)执行的物理动作，所述手术工具(20)固定到运动链(70)，所述运动链包括具有至少一个传感器的传感器单元，所述至少一个传感器被配置为实时跟随运动链(70)的空间配置；所述方法包括以下步骤：
-接收从至少一个3D成像传感器(30)采集的至少一个3D图像；所述3D图像包括患者的目标解剖结构的至少一部分；
-通过将目标的数字模型与包括在3D图像中的目标的至少一部分进行配准来计算虚拟参考RP与目标参考RC之间的变换CTP以及3D成像传感器RA的采集参考与目标参考RC之间的变换CTA；
-施加变换CTP以便在目标参考RC中配准所述目标的数字模型，使得包括在目标的数字模型中的每个点在目标参考RC中具有已知定位；
-计算手术工具的参考RO与目标参考RC之间的变换CTO；
-将变换CTO施加到手术工具的参考RO，以确定手术工具(20)在目标参考RC中的位置和空间定向；
从而确定所述手术工具(20)在虚拟参考RP和目标参考RC中的位置和空间定向，以便在目标参考RC中再现在虚拟参考RP中所规划的动作。
18.根据权利要求17所述的方法，其中，所述变换CTA的计算包括以下步骤：
-在包括所述目标的3D图像中定义感兴趣区域；
-将包括目标的所感兴趣区域配准到目标的数字模型以确定CTA。
19.根据权利要求18所述的方法，其中，定义感兴趣区域的步骤包括借助于分割算法来自动检测所述感兴趣区域。
20.根据权利要求17至19中任一项所述的方法，其中，所述运动链(70)包括刚性地固定到目标解剖结构(10)的至少一个机械基准(40)，并且所述至少一个3D图像包括机械基准(40)的至少一部分；所述方法还包括以下步骤：
-使用从包括在运动链(70)中的传感器单元所获得的数据来计算手术工具的参考RO与机械基准的参考RM之间的变换OTM；
-通过将机械基准的数字模型与包括在3D图像中的机械基准的至少一部分相匹配来计算机械基准的参考RM与采集参考RA之间的变换MTA；
使得CTO变换是从采集参考RA、机械基准参考RM和目标参考RC之间的变换OTM、MTA和CTA的组合中获得的。
21.根据权利要求20所述的方法，其中，通过运动链(70)的传感器单元来跟踪目标(10)相对于手术工具(20)的运动，使得每当检测到目标的位置和/或空间定向的偏差时，针对所述偏差来校正规划动作从虚拟环境到真实环境的转换。
22.根据权利要求17至19中任一项所述的方法，其中，所述至少一个3D成像传感器(30)固定到运动链(70)，所述方法还包括以下步骤：根据从运动链(70)的传感器单元获得的数据来计算手术工具的参考RO与3D成像传感器的采集参考RA之间的变换ATO，使得CTO变换是从采集参考RA与目标参考RC之间的变换ATO和变换CTA的组合中获得的。
23.根据权利要求17至22中任一项所述的方法，其中，所述运动链(70)由可变形结构构成，所述可变形结构包括通过关节连接的多个刚性元件。
24.根据权利要求17至23中任一项所述的方法，其中，所述运动链(70)还包括用于测量施加到其元件的力的传感器。
25.根据权利要求17至24中任一项所述的方法，其中，由接收模块来接收采集的3D图像是使用至少两个传感器和投影仪来执行的，以通过立体视觉或结构光来执行采集。
26.根据权利要求22至25任一项所述的方法，其中，固定在运动链(70)上的3D成像传感器(30)沿已知轨迹运动，并且沿该轨迹采集多个3D图像，所述方法还包括以下步骤：联合处理沿轨迹采集的多个3D图像，以使用多个3D图像与目标数字模型进行配准。
27.根据权利要求22至26中任一项所述的方法，其中，通过3D成像传感器(30)和视觉跟踪算法来跟踪目标(10)相对于手术工具(20)的运动，使得每当检测到目标的位置和/或空间定向的偏差时，针对所述偏差校正规划动作从虚拟环境到真实环境的转换。
28.根据权利要求17至27中任一项所述的方法，还包括接收热图像、超声图像、多光谱图像、显微尺度上的图像和/或单目彩色图像。
29.根据权利要求17至28中任一项所述的方法，其中，所述目标的三维数字模型是根据计算机断层扫描图像或MRI图像生成的。
30.根据权利要求17至28中任一项所述的方法，其中，所述目标的三维数字模型是使用2D X射线照片来生成的，所述2D X射线照片包括所述目标、所述目标的统计形状模型和/或由3D成像传感器在手术中采集的3D图像。
31.根据权利要求17至30中任一项所述的方法，其中，对所述目标的三维数字模型进行数字地修改以模拟测量噪声或软骨的存在，所述修改根据训练数据或生物力学模拟数据来计算的。
32.根据权利要求17至31中任一项所述的方法，其中，所述目标的数字模型与包括在所述3D图像中的目标的至少一部分的匹配是非刚性变换。
33.一种包含指令的计算机程序产品，当计算机执行所述程序时，所述指令使所述计算机执行根据权利要求17至32中任一项所述的方法的步骤。
34.一种包含指令的计算机可读存储介质，当计算机执行所述指令时，所述指令使所述计算机执行根据权利要求17至32中任一项所述的方法的步骤。
CN202080042753.2A 2019-04-26 2020-04-24 用于计算机引导手术的系统 Pending CN113950301A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FRFR1904453 2019-04-26
FR1904453A FR3095331A1 (fr) 2019-04-26 2019-04-26 Procédé de chirurgie orthopédique assistée par ordinateur
PCT/EP2020/061522 WO2020216934A1 (en) 2019-04-26 2020-04-24 System for computer guided surgery

Publications (1)

Publication Number Publication Date
CN113950301A true CN113950301A (zh) 2022-01-18

Family

ID=69024275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080042753.2A Pending CN113950301A (zh) 2019-04-26 2020-04-24 用于计算机引导手术的系统

Country Status (8)

Country Link
US (2) US20220296302A1 (zh)
EP (1) EP3958779A1 (zh)
JP (1) JP2022530490A (zh)
CN (1) CN113950301A (zh)
AU (1) AU2020261291A1 (zh)
CA (1) CA3137982A1 (zh)
FR (1) FR3095331A1 (zh)
WO (1) WO2020216934A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113440155A (zh) * 2021-08-04 2021-09-28 杭州键嘉机器人有限公司 一种医疗导航系统中测量膝关节间隙曲线的方法
CN114757995A (zh) * 2022-06-16 2022-07-15 山东纬横数据科技有限公司 一种基于数据识别的医疗器械可视化仿真方法
CN117653267A (zh) * 2024-01-31 2024-03-08 鑫君特(苏州)医疗科技有限公司 膝关节截骨规划装置、膝关节自动截骨装置和相关设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3137721A1 (en) * 2019-04-22 2020-10-29 Navisect, Inc. System and method to conduct bone surgery
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
EP4082469B8 (en) * 2021-04-26 2023-11-29 Institut National de la Santé et de la Recherche Médicale Automatic determination of an appropriate positioning of a patient-specific instrumentation with a depth camera
US20230013884A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with synthetic aperture multispectral camera array
CN113940755B (zh) * 2021-09-30 2023-05-02 南开大学 一种术像一体的外科手术规划与导航方法
US20230115512A1 (en) * 2021-10-08 2023-04-13 Medtronic Navigation, Inc. Systems and methods for matching images of the spine in a variety of postures
EP4216163A1 (en) * 2022-01-19 2023-07-26 Ganymed Robotics Method and device for segmentation and registration of an anatomical structure
CN114494190A (zh) * 2022-01-25 2022-05-13 北京工业大学 一种基于空间变换的人体结构关系描述方法及装置
US20230355333A1 (en) * 2022-05-06 2023-11-09 Jpi Consulting Method and system for remote robotic control of positioning of an instrument
WO2024044188A1 (en) * 2022-08-23 2024-02-29 Smith & Nephew, Inc. Multi-class image segmentation with w-net architecture
FR3141054A1 (fr) * 2022-10-24 2024-04-26 Areas Systeme d’aide en temps reel a la realisation d’au moins un tunnel osseux par arthroscopie

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106999245A (zh) * 2014-12-08 2017-08-01 思想外科有限公司 用于全关节成形术中的基于计划、数字化、以及配准的植入物
WO2017185170A1 (en) * 2016-04-28 2017-11-02 Intellijoint Surgical Inc. Systems, methods and devices to scan 3d surfaces for intra-operative localization
CN107753105A (zh) * 2016-08-16 2018-03-06 株式会社高永科技 定位手术用手术机器人系统及其控制方法
US20180071032A1 (en) * 2015-03-26 2018-03-15 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
WO2018198095A1 (en) * 2017-04-28 2018-11-01 Neocis Inc. Methods for conducting guided oral and maxillofacial procedures, and associated system
CN109152615A (zh) * 2016-05-23 2019-01-04 马科外科公司 在机器人手术过程期间识别和跟踪物理对象的系统和方法
CN109640860A (zh) * 2016-08-25 2019-04-16 威里利生命科学有限责任公司 机器人系统的运动执行

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511689A (ja) * 1991-06-29 1993-01-22 Sekisui Chem Co Ltd 内臓または器官類の立体モデル製造方法
US6701174B1 (en) 2000-04-07 2004-03-02 Carnegie Mellon University Computer-aided bone distraction
US6711432B1 (en) 2000-10-23 2004-03-23 Carnegie Mellon University Computer-aided orthopedic surgery
JP3780146B2 (ja) * 2000-04-12 2006-05-31 オリンパス株式会社 手術ナビゲーション装置
FR2838628B1 (fr) * 2002-04-18 2005-02-18 Univ Rennes Procede d'assistance et de guidage de navigation d'un outil dans des structures anatomiques
WO2004001569A2 (en) 2002-06-21 2003-12-31 Cedara Software Corp. Computer assisted system and method for minimal invasive hip, uni knee and total knee replacement
US7492930B2 (en) 2003-02-04 2009-02-17 Aesculap Ag Method and apparatus for capturing information associated with a surgical procedure performed using a localization device
FR2871363B1 (fr) * 2004-06-15 2006-09-01 Medtech Sa Dispositif robotise de guidage pour outil chirurgical
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
WO2012027816A1 (en) * 2010-08-31 2012-03-08 Ortosoft Inc. Tool and method for digital acquisition of a tibial mechanical axis
EP4218647A1 (en) * 2012-08-08 2023-08-02 Ortoma AB System for computer assisted surgery
GB2532004A (en) * 2014-10-31 2016-05-11 Scopis Gmbh Hybrid navigation system for surgical interventions
US10327624B2 (en) * 2016-03-11 2019-06-25 Sony Corporation System and method for image processing to generate three-dimensional (3D) view of an anatomical portion
CN206102735U (zh) 2016-06-23 2017-04-19 广州希润迪医疗技术有限公司 智能骨科膝髋关节手术机器人
EP3484398A1 (en) * 2016-07-15 2019-05-22 MAKO Surgical Corp. Systems for a robotic-assisted revision procedure
JP7328653B2 (ja) * 2016-09-07 2023-08-17 インテリジョイント サージカル インク． 患者の頭部の画像誘導ナビゲーションを含む手術ナビゲーションのシステム及び方法
TWI670681B (zh) * 2017-06-04 2019-09-01 鈦隼生物科技股份有限公司 判定手術路徑上一個或多個點之方法和系統
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106999245A (zh) * 2014-12-08 2017-08-01 思想外科有限公司 用于全关节成形术中的基于计划、数字化、以及配准的植入物
US20180071032A1 (en) * 2015-03-26 2018-03-15 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
WO2017185170A1 (en) * 2016-04-28 2017-11-02 Intellijoint Surgical Inc. Systems, methods and devices to scan 3d surfaces for intra-operative localization
CN109152615A (zh) * 2016-05-23 2019-01-04 马科外科公司 在机器人手术过程期间识别和跟踪物理对象的系统和方法
CN107753105A (zh) * 2016-08-16 2018-03-06 株式会社高永科技 定位手术用手术机器人系统及其控制方法
CN109640860A (zh) * 2016-08-25 2019-04-16 威里利生命科学有限责任公司 机器人系统的运动执行
WO2018198095A1 (en) * 2017-04-28 2018-11-01 Neocis Inc. Methods for conducting guided oral and maxillofacial procedures, and associated system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113440155A (zh) * 2021-08-04 2021-09-28 杭州键嘉机器人有限公司 一种医疗导航系统中测量膝关节间隙曲线的方法
CN114757995A (zh) * 2022-06-16 2022-07-15 山东纬横数据科技有限公司 一种基于数据识别的医疗器械可视化仿真方法
CN117653267A (zh) * 2024-01-31 2024-03-08 鑫君特(苏州)医疗科技有限公司 膝关节截骨规划装置、膝关节自动截骨装置和相关设备
CN117653267B (zh) * 2024-01-31 2024-04-23 鑫君特(苏州)医疗科技有限公司 膝关节截骨规划装置、膝关节自动截骨装置和相关设备

Also Published As

Publication number Publication date
CA3137982A1 (en) 2020-10-29
US20220296302A1 (en) 2022-09-22
JP2022530490A (ja) 2022-06-29
WO2020216934A1 (en) 2020-10-29
FR3095331A1 (fr) 2020-10-30
AU2020261291A1 (en) 2021-11-25
EP3958779A1 (en) 2022-03-02
US20230355312A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US20230355312A1 (en) Method and system for computer guided surgery
EP3273854B1 (en) Systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US11826111B2 (en) Surgical navigation of the hip using fluoroscopy and tracking sensors
JP7204663B2 (ja) 慣性計測装置を使用して手術の正確度を向上させるためのシステム、装置、及び方法
Burschka et al. Scale-invariant registration of monocular endoscopic images to CT-scans for sinus surgery
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
CN110621253A (zh) 用于导航手术中的增强现实显示的系统和方法
US20210161597A1 (en) Sagittal rotation determination
Wengert et al. Markerless endoscopic registration and referencing
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
US20200069372A1 (en) Method and system for navigating a bone model in computer-assisted surgery
Bong et al. Development of a surgical navigation system for corrective osteotomy based on augmented reality
US20230233257A1 (en) Augmented reality headset systems and methods for surgical planning and guidance
US20220175456A1 (en) System and method for assisting orthopeadics surgeries
US20230020760A1 (en) Registration and/or tracking of a patient's bone employing a patient specific bone jig
JP2023518089A (ja) 患者固有の骨用ジグを用いた患者の骨のレジストレーションおよび／またはトラッキング
Jianxi et al. Design of a computer aided surgical navigation system based on C-arm
Ciucci et al. The NEAR project: Active endoscopes in the operating room

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination