CN116528786A - 基于超声的多重骨配准手术系统及在计算机辅助手术中的使用方法 - Google Patents

基于超声的多重骨配准手术系统及在计算机辅助手术中的使用方法 Download PDF

Info

Publication number
CN116528786A
CN116528786A CN202180080158.2A CN202180080158A CN116528786A CN 116528786 A CN116528786 A CN 116528786A CN 202180080158 A CN202180080158 A CN 202180080158A CN 116528786 A CN116528786 A CN 116528786A
Authority
CN
China
Prior art keywords
bone
point cloud
patient
registration
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180080158.2A
Other languages
English (en)
Inventor
P·齐默尔曼
R·普雷沃斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mako Surgical Corp
Original Assignee
Mako Surgical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mako Surgical Corp filed Critical Mako Surgical Corp
Publication of CN116528786A publication Critical patent/CN116528786A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本文公开了一种用于将患者骨与手术计划进行手术配准的手术系统。作为其执行手术配准能力的一部分，该系统被配置为处理患者骨的超声图像，该超声图像包括每个患者骨的骨表面。该系统包括计算设备，该计算设备包括处理设备和其上存储有一个或多个可执行指令的计算机可读介质。处理设备被配置为执行该一个或多个可执行指令。该一个或多个可执行指令：i)检测超声图像中每个患者骨的骨表面；以及ii)分离与每个患者骨的骨表面相关联的超声图像像素的第一点云。

Description

基于超声的多重骨配准手术系统及在计算机辅助手术中的使 用方法
相关申请的交叉引用
本申请要求2020年10月27日提交的美国临时申请第63/105,973号的权益，该临时申请的全部内容通过引用并入本申请。
技术领域
本公开涉及用于计算机辅助手术的医疗系统和方法。更具体地，本公开涉及计算机辅助手术中的手术配准系统和方法。
背景技术
现代矫形关节置换手术通常涉及至少一定程度的手术术前计划，以提高特定程序的有效性和效率。特别是，术前计划可以提高骨切除和植入物放置的准确性，同时减少程序的总时间和患者关节被打开和暴露的时间。
在矫形关节置换手术的执行中使用机器人系统可以大大减少特定程序的术中时间。越来越多地，程序的有效性可能基于在术前计划阶段使用的工具、系统和方法。
术前计划中涉及的步骤示例可涉及确定：植入物尺寸、位置和取向；切除平面和深度；到达手术部位的进入轨迹；等等。在某些情况下，术前计划可能涉及生成患者骨和软组织的三维(“3D”)患者特定模型以进行关节置换。3D患者模型可用作计划植入物尺寸、植入物取向、植入物位置和对应的切除平面和深度以及其他参数的各种可能性的视觉辅助。
但是，在机器人系统可以执行关节置换之前，机器人系统和导航系统必须与患者进行配准。配准涉及将术前计划中定义的虚拟边界和约束映射到物理空间中的患者，因此可以相对于患者准确跟踪机器人系统，并相对于应用于患者解剖结构的边界进行约束。
虽然用于手术配准的某些方面的框架在本领域中可能是已知的，但是需要系统和方法来进一步细化配准的某些方面以进一步提高机器人和机器人辅助矫形关节置换手术的效率和有效性。
发明内容
本公开的方面可以包括各种神经网络中的一种或多种神经网络的组合被训练以检测超声图像中的骨表面并任选地对该超声图像中的骨表面进行分类。
本公开的方面还可以包括能够在超声模态和第二模态(例如，CT/MRI，或采用根据患者解剖数据变形的一种或多种统计/通用模型)之间将N个骨(通常形成关节)的骨表面同时共配准的算法，通过优化以下来捕获这些骨：从超声模态到第二模态的至少Nx6DOF变换；以及将超声模态图像数据中的区域分配给N个捕获的骨中的一个骨的分类信息。
在某些情况下，为了将单独的超声图像(仅捕获骨的切片/一小部分)拼接成一个一致的3D图像数据集，相对于附接到N个捕获的骨中的每一个的解剖结构跟踪器跟踪超声探头。在被扫描的骨被固定的情况下，超声图像可以通过仅跟踪超声探头而被拼接在一起。
在某些情况下，多重配准可以是基于3D点云/网格的。在这种情况下，可以在第二模态(CT/MRI骨分割)中分割N个骨，获得三角网格。
在某些情况下，多重配准可以是基于图像的。在这种情况下，分类的超声数据直接匹配到第二模态而不需要检测超声图像的骨表面。
本公开的方面可以包括用于将患者骨与手术计划进行手术配准的系统，该手术配准采用患者骨的超声图像，超声图像包括单个超声图像，该单个超声图像包括多个骨的骨表面，单个超声图像是从超声扫描产生的，该超声扫描是由超声探头穿过患者骨的单个扫描带产生的。在这样的系统中，该系统包括计算设备，该计算设备包括处理设备和其上存储有一个或多个可执行指令的计算机可读介质。处理设备被配置为执行该一个或多个指令。一个或多个可执行指令包括一个或多个神经网络，该神经网络被训练以：i)检测单个超声图像中的骨表面；和ii)根据骨的类型对单个超声图像中的每个骨表面进行分类以得到分类的骨表面。
一个或多个神经网络可以包括检测单个超声图像中的骨表面的卷积网络。根据实施例，一个或多个神经网络可以包括像素分类网络和/或对每个骨表面进行分类的似然分类网络。
该系统是有利的，因为它可以接收具有多个骨的骨表面的单个超声图像，然后：i)检测单个超声图像中的骨表面；ii)根据骨的类型对每个骨表面进行分类，以得到分类的骨表面。换句话说，尽管单个超声图像包括多个骨的骨表面，该系统仍然可以检测骨表面以及对骨表面分类。该能力有利地允许从超声扫描生成单个超声图像，该超声扫描由跨越形成关节的患者骨的超声波探头的单个扫描带产生。因此，由于这种能力，不需要将跨越患者关节骨的超声探头的扫描带限制在单个骨上；扫描带可以简单地延伸到关节的所有骨，这样得到的超声图像包含多个骨，并且系统能够检测骨表面并对它们进行分类，以便由系统对骨表面进行分选。
在系统的一个变化形式中，处理设备执行一个或多个指令以计算单个超声图像的分类的骨表面的2D图像像素到3D点的变换，从而生成分类的3D骨表面点云。根据实施例，在计算单个超声图像的分类的骨表面的2D图像像素到3D点的变换时，可以考虑超声波在特定介质中的传播速度，超声探头的已知姿态集合可以关于超声探头坐标系相对于探头跟踪器来获取，并且可以计算探头跟踪器空间和超声探头坐标系之间的变换。
在系统的一个变化形式中，处理设备执行一个或多个指令以计算患者骨到患者骨的计算机模型的初始或粗略配准。
在系统的一个实施例中，在计算患者骨到患者骨的计算机模型的初始或粗略配准时，由系统生成第一点云和第二点云，第一点云是患者骨中的第一骨相对于与第一骨相关联的第一跟踪器的点云，第二点云是患者骨中的第二骨相对于与第二骨相关联的第二跟踪器的点云。因此，在患者膝盖的背景下，第一点云是患者骨中的股骨相对于固定到股骨的第一跟踪器的点云，第二点云是胫骨相对于固定到胫骨的第二跟踪器的点云。在计算患者骨与患者骨的计算机模型的初始或粗略配准时，系统将第一点云的骨表面点匹配到第一骨的计算机模型上，并将第二点云的骨表面点匹配到第二骨的计算机模型上。
在系统的其他实施例中，在计算患者骨到患者骨的计算机模型的初始或粗略配准时，系统可以采用基于界标的配准和/或基于解剖结构跟踪器销的配准。
在系统的一个变化形式中，处理设备执行一个或多个指令以计算最终的多重骨配准，该配准采用初始或粗略配准和分类的3D骨表面点云，其中最终的多重骨配准实现分类的3D骨表面点云与患者骨之间的收敛。取决于实施例，在计算其中在分类的3D骨表面点云与患者骨之间存在收敛的最终多重骨配准时，系统可以参考第一跟踪器将初始或粗略配准应用于分类的3D骨表面点云。在膝关节的背景下，第一跟踪器可以附接到股骨。
根据实施例，在计算其中在分类的3D骨表面点云与患者骨之间存在收敛的最终多重骨配准时，系统迭代地计算分类的3D表面点云到患者骨的计算机模型的最近点。
本公开的方面可以包括一种将患者关节的多个骨配准到手术计划的方法。根据实施例，该方法可以包括：接收患者关节的超声图像，其中至少一些超声图像描绘了多个骨；使用卷积网络在超声图像中检测多个骨的骨表面；采用似然分类器网络或像素分类器网络中的至少一个，根据骨的类型对每个骨表面进行分类，从而得到分类后的骨表面；将分类后的骨表面的2D超声图像像素点变换为3D，得到分类的3D骨表面点云；生成患者关节的多个骨到患者关节的多个骨的医学图像表示的初始粗略配准；并通过将初始粗略配准应用于分类的3D骨表面点云来计算患者关节的多个骨与手术计划的最终多重骨配准。
在一个实施例中，在将分类的骨表面的2D超声图像像素变换为3D时，可以考虑超声波在特定介质中的传播速度。
在一个实施例中，在将分类的骨表面的2D超声图像像素变换为3D时，可以将分类的骨表面的2D超声图像像素从2D像素空间映射到超声探头坐标系的3D度量坐标系中。
在一个实施例中，在将分类的骨表面的2D超声图像像素变换为3D时，可以获取超声探头相对于超声探头坐标系的探头跟踪器的已知姿态集合。
在一个实施例中，在将分类的骨表面的2D超声图像像素变换为3D时，可以计算探头跟踪器空间和超声探头坐标系之间的变换。
在一个实施例中，在生成患者关节的多个骨到患者关节的多个骨的医学图像表示的初始粗略配准时，可以生成第一点云和第二点云，第一点云是多个骨中的第一骨相对于与第一骨相关联的第一跟踪器的点云，第二点云是多个骨中的第二骨相对于与第二骨相关联的第二跟踪器的点云。
在一个实施例中，在生成患者关节的多个骨与患者关节的多个骨的医学图像表示的初始粗略配准时，可以将第一点云的骨表面点匹配到第一骨的计算机模型上，并且将第二点云的骨表面点匹配到第二骨的计算机模型上。
在一个实施例中，在生成患者关节的多个骨到患者关节的多个骨的医学图像表示的初始粗略配准时，可以采用基于界标的配准。
在一个实施例中，在生成患者关节的多个骨到患者关节的多个骨的医学图像表示的初始粗略配准时，可以采用基于解剖结构跟踪器销的配准。
在一个实施例中，在通过将初始粗略配准应用于分类的3D骨表面点云来计算患者关节的多个骨与手术计划的最终多重骨配准时，最终多重骨配准实现分类的3D骨表面点云与患者骨之间的收敛。这样做时，可以参考第一跟踪器将初始粗略配准应用于分类的3D骨表面点云。取决于实施例，在该最终配准期间，所采用的算法收敛直到其结果达到稳定状态，并且该算法还可以细化分类的3D骨表面点云本身的分类，使得分类中的任何初始错误可以被消除或至少减少。在实现最终配准的这些方面时，分类的3D骨表面点云和初始或粗略配准变得很好配准，从而导致最终的多重骨配准。
在一个实施例中，在通过将初始粗略配准应用到分类的3D骨表面点云来计算患者关节的多个骨与手术计划的最终多重骨配准时，可以对分类的3D表面点云到患者骨的计算机模型的最近点进行迭代计算。
本公开的方面可以包括用于将患者骨手术配准到手术计划的方法。根据实施例，该方法可以包括：接收患者骨的超声图像，该超声图像包括单个超声图像，该单个超声图像包括多个骨的骨表面，该单个超声图像已经从超声扫描产生，该超声扫描由穿过患者骨的超声探头的单个扫描带产生；并采用一个或多个神经网络，神经网络被训练以：检测单个超声图像中的骨表面；并根据骨的类型对单个超声图像中的每个骨表面进行分类，从而得到分类后的骨表面。
本公开的方面可以包括配置成处理患者骨的超声图像的手术系统，该超声图像包括每个患者骨的骨表面。在一个实施例中，该系统包括计算设备，该计算设备包括处理设备和其上存储有一个或多个可执行指令的计算机可读介质。处理设备被配置为执行一个或多个可执行指令。一个或多个可执行指令i)检测超声图像中每个患者骨的骨表面；ii)分离与每个患者骨的骨表面相关联的超声图像像素的第一点云。
在该实施例的一个变化形式中，骨表面的检测可以通过形成一个或多个可执行指令的至少一部分的图像处理算法发生。图像处理算法可以包括机器学习模型。分离所述第一点云可以通过形成所述一个或多个可执行指令的至少一部分的像素分类神经网络发生。分离所述第一点云可以通过形成所述一个或多个可执行指令的至少一部分的基于图像的分类神经网络发生。
在实施例的一个变化形式中，处理设备可以执行所述一个或多个可执行指令以计算所述第一点云到分离的3D点云的变换，所述分离的3D点云被分离使得所述分离的3D点云的所述超声图像像素各自与所述患者骨的相应骨表面相关。在计算第一点云到分离的3D点云的变换时，可以针对超声探头跟踪器校准所述超声图像像素并且针对跟踪相机校准所述超声探头跟踪器。在针对超声探头跟踪器校准超声图像像素时，可以考虑超声波在特定介质中的传播速度。在计算所述第一点云到所述分离的3D点云的变换时，针对超声探头跟踪器校准所述超声图像像素，可以针对跟踪相机校准超声探头跟踪器，并且坐标系是经由位于所述患者骨的骨表面上的解剖结构跟踪器相对于所述骨表面的。分离第一点云可以通过对第一点云的几何分析发生。
在实施例的一个变化形式中，一个或多个可执行指令可以计算从所述患者骨取得的第二点云到所述患者骨的骨模型的初始或粗略配准。第二点云可以包括相对于所述患者骨上的多个跟踪器的多个点云。多个点云可以包括与患者骨的骨模型中的一个骨模型配准的一个点云和与患者骨的骨模型中的另一个骨模型配准的另一个点云。
初始或粗略配准可以是基于界标的。可以根据解剖结构跟踪器的位置和取向计算初始或粗略配准。在计算初始或粗略配准时，所述系统可以生成第三点云和第四点云，第三点云是患者骨中的第一骨相对于与第一骨相关联的第一跟踪器的点云，第四点云是患者骨中的第二骨相对于与第二骨相关联的第二跟踪器的点云。
在实施例的一个变化形式中，在计算初始或粗略配准时，所述系统可以将第三点云的骨表面点匹配到第一骨的计算机模型上，并将第四点云的骨表面点匹配到第二骨的计算机模型上。
在该实施例的一个变化形式中，处理设备可以执行一个或多个指令以使用初始或粗略配准和分离的3D点云来计算最终多重骨配准，其中最终多重骨配准实现分离的3D点云与所述患者骨之间的最终配准。在计算其中在分类的3D骨表面点云与所述患者骨之间存在所述最终配准的所述最终多重骨配准时，所述系统可以迭代地细化所述分离的3D点云到患者骨的计算机模型的配准，并迭代地细化分离的3D点云的分离。
本公开的方面可以包括一种处理患者骨的超声图像的方法，该超声图像包括每个患者骨的骨表面。这种方法的一个实施例可以包括：检测所述超声图像中的每个所述患者骨的骨表面；以及分离与每个所述患者骨的骨表面相关联的超声图像像素的第一点云。
在该实施例的一个变化形式中，骨表面的检测可以通过图像处理算法发生。图像处理算法可以包括机器学习模型。分离第一点云可以通过像素分类神经网络发生。分离第一点云可以通过基于图像的分类神经网络发生。
在该实施例的一个变化形式中，该方法还包括：计算第一点云到分离的3D点云的变换，分离的3D点云被分离使得分离的3D点云的超声图像像素各自与患者骨的相应骨表面相关。在计算所述第一点云到所述分离的3D点云的变换时，可以针对超声探头跟踪器校准所述超声图像像素并且针对跟踪相机校准所述超声探头跟踪器。在针对所述超声探头跟踪器校准所述超声图像像素时，可以考虑超声波在特定介质中的传播速度。
在该实施例的一个变化形式中，在计算第一点云到分离的3D点云的变换时，可以针对超声探头跟踪器校准超声图像像素，针对跟踪相机校准超声探头跟踪器，并且坐标系是经由位于患者骨的骨表面上的解剖结构跟踪器相对于骨表面的。分离第一点云可以通过对第一点云的几何分析发生。
在该实施例的一个变化形式中，该方法还包括：计算从患者骨取得的第二点云到患者骨的骨模型的初始或粗略配准。第二点云可以包括相对于所述患者骨上的多个跟踪器的多个点云。所述多个点云可以包括与所述患者骨的骨模型中的一个骨模型配准的一个点云和与所述患者骨的所述骨模型的另一个骨模型配准的另一个点云。初始或粗略配准可以是基于界标的。可以根据解剖结构跟踪器的位置和取向计算初始或粗略配准。
在该实施例的一个变化形式中，在计算初始或粗略配准时，可以生成第三点云和第四点云，第三点云是患者骨中的第一骨相对于与第一骨相关联的第一跟踪器的点云，第四点云是患者骨中的第二骨相对于与第二骨相关联的第二跟踪器的点云。在计算初始或粗略配准时，可以将第三点云的骨表面点匹配到第一骨的计算机模型上，并将第四点云的骨表面点匹配到第二骨的计算机模型上。
在该实施例的一个变化形式中，该方法还包括：使用初始或粗略配准和分离的3D点云来计算最终多重骨配准，其中最终多重骨配准实现分离的3D点云与患者骨之间的最终配准。在计算其中在分类的3D骨表面点云与患者骨之间存在最终配准的最终多重骨配准时，可以迭代地细化分离的3D点云到患者骨的计算机模型的配准，并且迭代地细化分离的3D点云的分离。
附图说明
本专利或申请文件包含至少一幅彩色绘图。带有彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用后由局提供。
图1是手术系统的图示。
图2是说明关节成形术的手术计划和执行的流程图。
图3A和3B图示了在执行关节成形术期间的触觉引导。
图4A是显示股骨和胫骨的膝关节的冠状图像。
图4B是显示股骨和髌骨的膝关节的轴向图像。
图4C是显示股骨、髌骨和胫骨的膝关节的矢状图。
图4D是显示股骨和胫骨的膝关节的冠状图像。
图4E是3D关节模型，包括股骨、髌骨和胫骨的3D模型。
图5A是示出图2所示的配准过程的术前方面和术中方面的流程图，该配准过程是基于超声的多重骨配准过程。
图5B是图5A的配准过程的一部分的各方面的图形描绘，即从超声扫描创建分类或分离的三维(“3D”)骨表面点云的过程。
图6A是图5A的配准过程的一部分的流程图，即利用像素分类进行超声图像骨表面检测的过程。
图6B是图6A的过程的图形描绘。
图7A是图5A的配准过程的一部分的流程图，即利用似然分类进行超声图像骨表面检测的过程。
图7B是图7A的过程的图形描绘。
图8A是图5A的配准过程的一部分的流程图，即用于计算超声二维(“2D”)图像像素到3D点的变换的过程。
图8B是图8A的过程的图形描绘。
图9A是图5A的配准过程的一部分的流程图，即在CAD模型空间中获得一般配准数据(探头姿态/界标)的过程。
图9B是图9A的过程的图形描绘。
图10A是图5A的配准过程的流程图，即其中初始配准是在术中获得的。
图10B和图10C是图10A的过程的替代方面的图形描绘。
图11A是图5A的配准过程的一部分的流程图，即“一次点击/一个姿态”配准的过程。
图11B和图11C是图11A的过程的各方面的图形描绘。
图12是图5A的配准过程的一部分的流程图，即基于界标的配准过程。
图13A是图5A的配准过程的一部分的流程图，即基于解剖结构跟踪器销的配准过程。
图13B是图13A的过程的方面的图形描绘。
图14A是图5A的配准过程的一部分的流程图，即最终多重骨配准的计算过程。
图14B和图14C是图14A的过程的各方面的图形描绘。
图15是配准系统或验证手术目标的图示。
图16是具有一个或多个计算单元的示例计算系统，该计算单元可以实现在此讨论的各种系统和方法。
具体实施方式
本申请通过引用整体并入以下申请：国际申请PCT/US2017/049466，于2017年8月30日提交，题为“用于术中骨盆配准的系统和方法(SYSTEMS AND METHODS FOR INTRA-OPERATIVE PELVIC REGISTRATION)”；PCT/US2016/034847，于2016年5月27日提交，题为“用于手术系统的术前计划和关联的术中配准(PREOPERATIVE PLANNING AND ASSOCIATEDINTRAOPERATIVE REGISTRATION FOR A SURGICAL SYSTEM)”；美国专利申请第12/894,071号，于2010年9月29日提交，题为“用于定位假体部件和/或用于约束手术工具运动的手术系统(SURGICAL SYSTEM FOR POSITIONING PROSTHETIC COMPONENT AND/OR FORCONSTRAINING MOVEMENT OF SURGICAL TOOL)”；美国专利申请第13/234,190号，2011年9月16日提交，题为“关节置换手术中测量参数的系统和方法(SYSTEMS AND METHOD FORMEASURING PARAMETERS IN JOINT REPLACEMENT SURGERY)”；美国专利申请第11/357,197号，于2006年2月21日提交，题为“触觉引导系统和方法(HAPTIC GUIDANCE SYSTEM ANDMETHOD)”；美国专利申请第12/654,519号，于2009年12月22日提交，题为“利用第一和第二传输元件传输(TRANSMISSION WITH FIRST AND SECOND TRANSMISSION ELEMENTS)”；美国专利申请第12/644,964号，于2009年12月22日提交，题为“能够通过耦合组装的设备(DEVICE THAT CAN BE ASSEMBLED BY COUPLING)”；以及美国专利申请第11/750,807号，于2007年5月18日提交，题为“用于验证手术设备的校准的系统和方法(SYSTEM AND METHODFOR VERIFYING CALIBRATION OF ASURGICAL DEVICE)”。
本文公开了与手术系统100结合使用的手术配准系统和方法。手术配准需要将在术前计划中确定的虚拟边界例如与物理空间中的工作边界进行映射。可以允许手术机器人在虚拟边界内执行某些动作，例如钻孔或切除骨表面。一旦将虚拟边界映射到患者的物理空间，机器人就可以按照计划的位置和取向钻孔或切除骨表面，但可能会受到约束，无法在预先计划的虚拟边界之外执行此类操作。患者解剖结构的准确和精确配准允许在手术程序期间对手术机器人进行准确导航。配准过程中对准确度和精确度的需求必须与执行配准所需的时间相平衡。
在机器人辅助手术的情况下，可以在术前计划中定义虚拟边界。在完全机器人手术的情况下，可以在术前计划中定义虚拟工具路径。在任何一种情况下，术前计划都可以包括，例如，定义骨切除深度，并识别股骨前皮质的不可接受的切迹是否与拟议的骨切除深度和拟议的候选植入物的姿态相关联。假设术前计划的骨切除深度和植入物姿态没有不可接受的股骨前皮质切迹并得到外科医生的批准，则可以通过将实际患者骨的软骨髁表面与术前计划中采用的患者骨模型进行术中配准来更新骨切除深度以考虑软骨厚度。通过这样考虑软骨厚度，实际植入物在经由手术系统100植入时将使它们各自的髁表面定位成代替实际患者骨的切除的软骨髁表面起作用。术前计划的进一步描述可见PCT/US2016/034847，其于2016年5月27日提交，题为“手术系统的术前计划和关联术中配准(PREOPERATIVEPLANNING AND ASSOCIATED INTRAOPERATIVE REGISTRATION FOR A SURGICAL SYSTEM)”，其通过引用整体并入本文。
在开始详细讨论手术配准之前，现在将如下给出手术系统及其操作的概述。
I.手术系统概述
为了开始对手术系统的详细讨论，参考图1。从图1可以看出，手术系统100包括导航系统42、计算机50和触觉设备60(也称为机械臂60)。导航系统跟踪患者的骨(即，胫骨10、股骨11)以及手术期间使用的手术工具(例如指针设备、探头、切割工具)，使外科医生能够在切骨术程序期间中在显示器56上可视化骨和工具。
导航系统42可以是任何类型的导航系统，其被配置为跟踪骨的姿态(即，位置和取向)。例如，导航系统42可包括非机械跟踪系统、机械跟踪系统或非机械和机械跟踪系统的任何组合。导航系统42包括检测设备44，该检测设备44获得对象相对于检测设备44的参考坐标系的姿态。当对象在参考坐标系中移动时，检测设备跟踪对象的姿态来检测对象的运动。
在一个实施例中，导航系统42包括如图1所示的非机械跟踪系统。非机械跟踪系统是一种光学跟踪系统，具有检测设备44和可跟踪元件(如导航标记46、47)，分别设置在被跟踪对象(例如，患者胫骨10和股骨11)上，并可通过检测设备44检测。在一个实施例中，检测设备44包括基于可见光的检测器，例如MicronTracker(加拿大多伦多的ClaronTechnology Inc.)，该检测器检测可跟踪元件上的图案(例如，棋盘图案)。在另一个实施例中，检测设备44包括对红外辐射敏感并且可定位在将执行关节成形术程序的手术室中的立体相机对。可跟踪元件以安全和稳定的方式固定到被跟踪对象，并且包括与被跟踪对象具有已知几何关系的标记的阵列。众所周知，可跟踪元件可以是有源的(例如，发光二极管或LED)或无源的(例如，反射球、棋盘图案等)，并具有独特的几何形状(例如，标记的独特几何排列)或者，在有源、有线或无线标记的情况下，具有独特的发射模式。在操作中，检测设备44检测可跟踪元件的位置，并且手术系统100(例如，使用嵌入式电子设备的检测设备44)基于可跟踪元件的位置、独特的几何形状和与被跟踪对象的已知几何关系来计算被跟踪对象的姿态。跟踪系统42包括用于用户希望跟踪的每个对象的可跟踪元件，例如位于胫骨10上的导航标记46和位于股骨11上的导航标记47。在触觉引导的机器人辅助手术期间，导航系统还可以包括触觉设备标记48(以跟踪触觉设备60的全局或总体位置)、末端执行器标记54(以跟踪触觉设备60的远端)和用于配准过程的徒手导航探头55、57，该徒手导航探头55、57为被跟踪超声探头55和被跟踪笔57的形式，被跟踪笔57具有用于触摸患者身上某些相关解剖标志和系统100的各部分上的某些配准位置的尖头。另外或者备选地，系统100可以采用电磁跟踪。
虽然本文所公开的系统和方法是在采用上述导航系统的机器人辅助手术系统的背景下给出的，例如的/>手术机器人所采用的机器人辅助手术系统，但本公开是很容易适用于其他导航手术系统。例如，附加地或备选地，本文公开的系统和方法可以应用于采用导航关节成形术夹具来准备骨的手术程序，例如在/>的eNact膝导航(eNact Knee Navigation)软件的上下文中。类似地并且另外地或备选地，本文公开的系统和方法可以应用于采用导航锯或手持机器人来准备骨的手术程序。
如图1所示，手术系统100还包括处理电路，在图中表示为计算机50。处理电路包括处理器和存储器设备。处理器可以实现为通用处理器、专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一组处理组件、专用处理器或其他合适的电子处理组件。存储器设备(例如，存储器、存储器单元、存储设备等)是一个或多个设备(例如，RAM、ROM、闪存、硬盘存储等)，用于存储数据和/或计算机代码以完成或促进本申请中描述的各种过程、层和功能。存储器设备可以是或包括易失性存储器或非易失性存储器。存储器设备可以包括数据库组件、目标代码组件、脚本组件或用于支持本申请中描述的各种活动和信息结构的任何其他类型的信息结构。根据示例性实施例，存储器设备经由处理电路可通信地连接到处理器并且包括用于执行(例如，通过处理电路和/或处理器)本文描述的一个或多个过程的计算机代码。
计算机50被配置为与导航系统42和触觉设备60通信。此外，计算机50可以接收与矫形外科/关节成形术程序相关的信息并执行与切骨术程序的执行相关的各种功能。例如，计算机50可以具有必要的软件以执行与图像分析、手术计划、配准、导航、图像引导和触觉引导相关的功能。更具体地，导航系统可以与自主机器人或外科医生辅助设备(触觉设备)一起操作以执行关节成形术程序。
计算机50接收要执行关节成形术程序的患者解剖结构的图像。参考图2，在执行关节成形术之前，可以使用任何已知的成像技术扫描患者的解剖结构，例如用医学成像机器捕获的CT或MRI(步骤801)。并且，虽然本公开参考了用诸如CT或MRI机器的医学成像机器捕获或生成的医学图像，但是生成医学图像的其他方法是可能的并且在本文中被考虑。例如，骨的图像可以通过医学成像机器(例如扫描或配准骨表面的形貌的手持扫描或成像设备)在术中生成。作为又一示例，通过根据患者解剖数据变形一个或多个统计/通用模型，可以使用在术前或术中从多种模态取得的患者解剖数据来生成医学图像。因此，术语医学成像机器旨在涵盖位于成像中心或在术中使用的各种尺寸的设备(例如，C型臂、手持设备)，术语医学图像旨在涵盖对计划和执行关节成形术程序有用的图像、模型或其他患者解剖学代表性数据。
继续，扫描数据然后被分割以获得患者解剖结构的三维表示。例如，在执行膝关节成形术之前，创建股骨和胫骨的三维表示。使用三维表示并作为计划过程的一部分，可以选择股骨和胫骨界标，并计算患者的股骨-胫骨对准以及拟议的股骨和胫骨植入物的取向和位置，这可以选择为通过计算机50建模和确定尺寸。股骨和胫骨界标可以包括股骨头中心、远端滑车沟、髁间隆起的中心、胫骨-踝中心和内侧胫骨棘等。股骨-胫骨对准是股骨机械轴(即从股骨头中心到远端滑车沟的线)和胫骨机械轴(即从踝中心到髁间隆起中心的线)之间的角度。基于患者当前的股骨-胫骨对准和通过关节成形术程序要实现的所需股骨-胫骨对准，并进一步包括拟议的股骨和胫骨植入物的尺寸、型号和位置，包括所需的延伸度、内翻-外翻角，以及与拟议的植入物植入相关的内-外旋转，计算机50被编程为计算拟议植入物的期望植入或至少协助拟议植入物的植入的术前计划，包括在执行关节成形术程序的过程中经由触觉设备60要进行的切除(步骤803)。将通过步骤803实现的术前计划提供给外科医生进行审查、调整和批准，并且根据外科医生的指示更新术前计划(步骤802)。
由于计算机50用于根据步骤803制定手术计划，因此应该理解，用户可以在手术计划期间的任何阶段与计算机50交互以输入信息和修改手术计划的任何部分。手术计划可以包括多个计划的虚拟边界(在基于触觉的机器人辅助手术的情况下)或工具路径计划(在自主机器人手术的情况下)。虚拟边界或工具路径可以表示在关节成形术程序中要在骨10、11中制作的孔和/或切口。一旦制定了手术计划，触觉设备60用于帮助用户在骨10、11中创建计划的孔和切口。将在下面更充分地解释术前计划，特别是关于骨切除深度计划和预防股骨前轴切迹。
在骨10、11中钻孔和切口或切除的产生可以在触觉引导的交互式机器人系统的帮助下完成，例如在以下文献中描述的触觉引导系统：美国专利第8,010,180号，题为“触觉引导系统和方法(Haptic Guidance System and Method)”，于2011年8月30日授予，特此通过引用将其全部内容并入本文。当外科医生操纵机械臂在骨上钻孔或使用高速钻头、矢状锯或其他合适的工具进行切割时，系统会提供触觉反馈以指导外科医生雕刻孔并切割成合适的形状，它被预先编程到机械臂的控制系统中。将在下面更全面地解释触觉引导和反馈。
在手术计划期间，计算机50还接收与将在关节成形术程序中植入的股骨和胫骨植入物相关的信息。例如，用户可以使用输入设备52(例如键盘、鼠标等)将选定的股骨和胫骨植入物的参数输入到计算机50中。备选地，计算机50可以包含各种植入物及其参数的预先建立的数据库，并且用户可以从该数据库中选择所选择的植入物。在又一个实施例中，植入物可以根据患者特定的手术计划进行定制设计。植入物的选择可能发生在手术计划的任何阶段。
手术计划还可基于植入物的至少一个参数或植入物参数的函数。因为可以在手术计划过程的任何阶段选择植入物，所以可以在计算机50确定计划的虚拟边界之前或之后选择植入物。如果首先选择植入物，则计划的虚拟边界可以至少部分地基于植入物的参数。例如，可以基于期望的内翻-外翻股骨-胫骨对准、延伸、内-外旋转或与植入关节成形术植入物的期望手术结果相关的任何其他因素来计划表示要在骨10、11中造出的孔或切口的计划的虚拟边界之间的距离(或任何其他关系)。以这种方式，手术计划的实施将导致被切除的骨表面和孔的正确对准，以允许选定的植入物实现期望的手术结果。备选地，计算机50可以在植入物选择之前制定手术计划，包括计划的虚拟边界。在这种情况下，可以至少部分地基于计划的虚拟边界来选择(例如，输入、选取或设计)植入物。例如，可以基于计划的虚拟边界来选择植入物，使得手术计划的执行将导致被切除的骨表面和孔的正确对准，以允许所选择的植入物实现期望的手术结果。
虚拟边界或工具路径存在于虚拟空间中，并且可以代表物理(即真实)空间中存在或将要创建的特征。虚拟边界对应于能够与物理空间中的对象交互的物理空间中的工作边界。例如，工作边界可以与耦合到触觉设备60的手术工具58交互。虽然手术计划在本文中经常被描述为包括表示孔和切除的虚拟边界，但是手术计划可以包括表示对骨10、11的其他修改的虚拟边界。此外，虚拟边界可以对应于物理空间中能够与物理空间中的对象交互的任何工作边界。
应当注意，虽然本文公开的系统和方法是在关节成形术的背景下，但它们在不使用植入物的手术背景下很容易使用。因此，例如但不作为限制，导航和触觉可以在术前计划以允许本文公开的系统在通常执行任何类型的导航手术时切除骨肿瘤(肉瘤)或在骨或软组织中进行其他类型的切口或切除。
再次参考图2，在手术计划之后和执行关节成形术程序之前，使用配准技术将物理解剖结构(例如，骨10、11)与解剖结构的虚拟表示(例如术前三维表示)配准(步骤804)，如下详述。患者解剖结构的配准允许在手术程序期间进行准确导航(步骤805)，这使得虚拟边界中的每一个能够对应于物理空间中的工作边界。例如，参考图3A和图3B，代表胫骨10中的切除的虚拟边界62被显示在计算机或其他显示器63上并且虚拟边界62对应于物理空间69中的工作边界66，例如外科手术房间中的手术部位。工作边界66的一部分又对应于胫骨10中的计划的切除位置。
虚拟边界以及相应的工作边界可以是任何配置或形状。参考图3A，表示要在胫骨10中创建的近端切除的虚拟边界62可以是适合于在胫骨10中创建近端切除期间帮助用户的任何配置。在胫骨10的虚拟表示中示出的虚拟边界62的部分代表要通过手术工具去除的骨。可以为要在胫骨10中钻孔或铣削的孔生成类似的虚拟边界，以便于将胫骨植入物植入到切除的胫骨10上。虚拟边界(以及因此对应的工作边界)可以包括完全封闭和包围三维体积的一个或多个表面。在替代实施例中，虚拟边界和工作边界不完全包围三维体积，而是包括“活动”表面和“开放”部分。例如，代表胫骨中的近端切除的虚拟边界62可以具有基本上矩形盒状的“活动”表面62a和连接到矩形盒状部分的塌陷漏斗或三角形盒状“活动”表面62b，具有“开放”部分64。在一个实施例中，虚拟边界62可以用以下文献中描述的塌陷漏斗来创建：美国申请序列第13/340,668号，题为“选择性激活触觉引导区的系统和方法(Systems and Methods for Selectively Activating Haptic Guide Zones)”，于2011年12月29日提交，在此通过引用将其全部内容并入本文。对应于虚拟边界62的工作边界66具有与虚拟边界62相同的配置。换句话说，引导胫骨10中的近端切除的工作边界66可以具有基本上矩形盒状的“活动”表面66a和连接到矩形盒状部分的塌缩漏斗或三角形盒状“活性”表面66b，具有“开放”部分67。
在另外的实施例中，表示骨10中的切除的虚拟边界62仅包括大致矩形盒状部分62a。仅具有矩形盒状部分的虚拟边界的一端可具有“开口”顶部，使得相应工作边界的开口顶部与骨10的外表面重合。备选地，如图3A和图3B所示，对应于虚拟边界部分62a的矩形盒状工作边界部分66a可以延伸超过骨10的外表面。
在一些实施例中，表示通过骨的部分的切除的虚拟边界62可具有基本上平面的形状，具有或不具有厚度。备选地，虚拟边界62可以是弯曲的或具有不规则形状。在虚拟边界62被描绘为线或平面形状并且虚拟边界62也具有厚度的情况下，虚拟边界62可以比用于在骨中产生切除的手术工具稍厚，使得工具可以是在骨内时被约束在工作边界66的活动表面内。这种线性或平面虚拟边界62可以设计成使得相应的工作边界66以漏斗或其他适当的形状延伸经过骨10的外表面，以在手术工具58接近骨10时帮助外科医生。可以基于手术工具58和工作边界的活动表面之间的关系向用户提供触觉引导和反馈(如下所述)。
手术计划还可以包括虚拟边界以促进触觉控制的进入和退出，包括手术工具的自动对准，如在以下文献中所描述的那样：美国申请序列第13/725,348号，题为“用于手术工具的触觉控制的系统和方法(Systems and Methods for Haptic Control of a SurgicalTool)”，于2012年12月21日提交，其全部内容通过引用并入本文。
可以基于与患者的骨密度相关的信息来制定包括虚拟边界的手术计划。使用从患者解剖结构的CT、MRI或其他成像获得的数据来计算患者骨的密度。在一个实施例中，代表人体骨并具有已知钙含量的校准对象被成像以获得图像强度值和骨密度测量值之间的对应关系。然后可以应用此对应关系将患者解剖结构的各个图像的强度值转换为骨密度测量值。然后分割患者解剖结构的各个图像以及相应的骨密度测量值图，并将它们用于创建患者解剖结构的三维表示(即，模型)，包括患者的骨密度信息。然后可以对模型执行图像分析，例如有限元分析(FEA)，以评估其结构完整性。
评估患者解剖结构完整性的能力提高了关节成形术计划的有效性。例如，如果患者骨的某些部分看起来密度较低(即骨质疏松)，则可以计划孔、切除和植入物放置，以最大限度地降低骨脆弱部分骨折的风险。此外，还可以在术前评估在实施手术计划(例如术后骨和植入物布置)后骨和植入物组合的计划结构的结构完整性，以改进手术计划。在该实施例中，计划孔和/或切口并且操纵骨模型和植入物模型以表示在执行关节成形术和植入程序之后患者的骨和植入物布置。可以考虑影响术后骨和植入物布置的结构完整性的各种其他因素，例如患者的体重和生活方式。分析术后骨和植入物布置的结构完整性以确定该布置在术后是否结构合理且运动学上起作用。如果分析发现结构弱点或运动学问题，则可以修改手术计划以实现所需的术后结构完整性和功能。
在一个实施例中，一旦手术计划已经最终确定，外科医生就可以在触觉设备60的帮助下执行关节成形术程序(步骤806)。在一个实施例中，作为触觉设备60的替代或补充(步骤806)，手术系统100采用的Advanced Guidance Technologies的精密膝导航(Precision Knee navigation)软件。/>精密膝导航软件有助于将切割指南导航到位。
在根据步骤806采用触觉设备60的实施例的上下文中，通过触觉设备60，手术系统100向外科医生提供触觉引导和反馈以帮助外科医生准确地实施手术计划。与传统的关节成形术技术相比，关节成形术程序期间的触觉引导和反馈使得可以更好地控制手术工具，从而使植入物的对准和放置更加准确。此外，触觉引导和反馈旨在消除使用克氏针和荧光透视用于计划目的的需要。相反，手术计划是使用患者解剖结构的三维表示来创建和验证的，并且触觉设备在手术程序期间提供指导。
“触觉”是指触摸感觉，并且触觉领域涉及向操作者提供触和/或力反馈的人类交互设备。触反馈通常包括触感觉，例如振动。力反馈(也称为“扳手”)是指力(例如，运动阻力)和/或扭矩形式的反馈。扳手包括，例如，力、扭矩或力和扭矩组合形式的反馈。触觉反馈还可以包括禁用或改变提供给手术工具的动力的量，这可以向用户提供触和/或力反馈。
手术系统100基于手术工具58与工作边界中的至少一个之间的关系向外科医生提供触觉反馈。手术工具58与工作边界之间的关系可以是手术工具58与工作边界之间的任何合适的关系，其可由导航系统获得并由手术系统100利用以提供触觉反馈。例如，该关系可以是手术工具58相对于一个或多个工作边界的位置、取向、姿态、速度或加速度。该关系还可以是手术工具58相对于一个或多个工作边界的位置、取向、姿态、速度和加速度的任意组合。手术工具58和工作边界之间的“关系”也可以指由手术工具58和工作边界之间的另一种关系产生的量或测量值。换句话说，一种“关系”可以是另一种关系的函数。作为具体示例，手术工具58与工作边界之间的“关系”可以是由手术工具58与工作边界之间的位置关系产生的触觉力的大小。
在手术期间，外科医生操纵触觉设备60以引导耦合到该设备的手术工具58。手术系统100通过触觉设备60向用户提供触觉反馈，以在促进股骨和胫骨植入物的植入所需的对患者骨产生计划的孔、切口或其他修改期间协助外科医生。例如，手术系统100可以通过基本上防止或约束手术工具58越过工作边界来辅助外科医生。手术系统100可以通过任何数量和组合的触觉反馈机制，包括通过提供触反馈、通过提供力反馈和/或通过改变提供给手术工具的动力的量，来约束手术工具以免越过工作边界。如本文所用，“约束”用于描述限制运动的趋势。因此，手术系统可以通过向触觉设备60施加反作用力来直接约束手术工具58，这倾向于限制手术工具58的运动。手术系统也可以通过提供触觉反馈来间接地约束手术工具58来提醒用户改变他或她的动作，因为提醒用户改变他或她的动作往往会限制手术工具58的运动。在又一个实施例中，手术系统100可以通过对提供给手术工具58的动力进行限定来约束手术工具58，其再次倾向于限制工具的运动。
在各种实施例中，手术系统100在手术工具58接近工作边界时、在手术工具58与工作边界接触时和/或在手术工具58已经穿透工作边界预定深度之后向用户提供触觉反馈。外科医生可以将触觉反馈体验为例如振动、抵抗或主动反抗触觉设备的进一步运动的扳手或者作为实质上阻止触觉设备的进一步运动的实心“壁”。备选地，用户可以将触觉反馈体验作为提供给手术工具58的动力的改变引起的触感觉(例如，振动的变化)，或提供给工具的动力的停止引起的触感觉。如果在手术工具58直接在骨上钻孔、切割或以其他方式操作时改变或停止提供给手术工具的动力，则外科医生将感觉到抵抗进一步运动的形式的触觉反馈，因为工具不再能够钻孔、切割或以其他方式穿过骨。在一个实施例中，在手术工具58与工作边界之间接触时，手术工具的动力被改变(例如，工具的动力被减少)或停止(例如，工具被禁用)。备选地，提供给手术工具58的动力可以随着手术工具58接近工作边界而改变(例如，减少)。
在另一个实施例中，手术系统100可以通过提供触觉反馈来朝向或沿着工作边界引导手术工具58来帮助外科医生创建计划的孔、切口和对骨的其他修改。作为一个示例，手术系统100可以基于手术工具58的尖端和工作边界的最近坐标之间的位置关系来向触觉设备60提供力。这些力可使手术工具58接近最近的工作边界。一旦手术工具58基本靠近或接触工作边界，手术系统100就可以施加倾向于引导手术工具58沿着工作边界的一部分移动的力。在另一个实施例中，力倾向于引导手术工具58从工作边界的一部分移动到工作边界的另一部分(例如，从工作边界的漏斗形部分移动到工作边界的矩形盒状部分)。
在又一个实施例中，手术系统100被配置为通过提供触觉反馈以将手术工具从一个工作边界引导至另一个工作边界来帮助外科医生创建计划的孔、切口和对骨的修改。例如，当用户将手术工具58引向工作边界66时，外科医生可能会受到倾向于将手术工具58拉向工作边界66的力。当用户随后将手术工具58从工作边界66包围的空间移除且和操纵触觉设备60使得手术工具58接近第二工作边界(未示出)时，外科医生可能会受到从工作边界66推开并推向第二工作边界的力。
本文所述的触觉反馈可以结合手术系统100对工作边界的修改进行操作。尽管本文中讨论的是对“工作边界”的修改，但应该理解的是，手术系统100修改了虚拟边界，而虚拟边界对应于工作边界。修改工作边界的一些示例包括：1)工作边界的重新配置(例如形状或大小的改变)，以及2)激活和停用整个工作边界或工作边界的部分(例如，将“开放”部分转换到“活动”表面并将“活动”表面转换到“开放”部分)。类似于触觉反馈，对工作边界的修改可以由手术系统100基于手术工具58和一个或多个工作边界之间的关系来执行。对工作边界的修改通过促进各种动作，例如手术工具58朝向骨的移动和通过手术工具58切割骨，来进一步帮助用户在关节成形术程序期间产生所需的孔和切口。
在一个实施例中，对工作边界的修改有利于手术工具58朝向骨10的运动。在手术程序过程中，因为患者的解剖结构被导航系统跟踪，所以手术系统100对应于患者解剖结构的运动来移动整个工作边界66。除了该基线运动之外，工作边界66的部分可以被重塑和/或重新配置以促进手术工具58朝向骨10的运动。作为一个示例，手术系统可以基于手术工具58和工作边界66之间的关系，在手术程序期间将工作边界66的漏斗形部分66b相对于矩形盒状部分66a倾斜。因此，工作边界66可以在手术程序期间被动态地修改，使得在手术工具58接近骨10时手术工具58保持在由工作边界66的部分66b包围的空间内。
在另一个实施例中，工作边界或工作边界的部分被激活和停用。当手术工具58正在接近骨10时，激活和停用整个工作边界可以帮助用户。例如，第二工作边界(未示出)可以在外科医生正在接近第一工作边界66时或当手术工具58在第一工作边界66所包围的空间内的时间期间停用。类似地，在外科医生已经完成第一对应切除的创建并且准备好创建第二切除之后，第一工作边界66可以被停用。在一个实施例中，工作边界66可以在手术工具58进入通向第二工作边界的漏斗部分内但仍在第一漏斗部分66b之外的区域之后被停用。激活工作边界的一部分会将先前开放部分(例如开口的顶部67)转换为工作边界的活动表面。相反，停用工作边界的一部分会将工作边界的先前活动表面(例如工作边界66的端部66c)转换为“开放”部分。
激活和停用整个工作边界或其部分可以在手术程序期间由手术系统100动态地完成。换句话说，手术系统100可以被编程为在手术程序期间确定触发虚拟边界或虚拟边界的部分的激活和停用的因素和关系的存在。在另一个实施例中，用户可以与手术系统100交互(例如通过使用输入设备52)以指示关节成形术程序的各个阶段的开始或完成，从而触发工作边界或其部分激活或停用。
鉴于如上所述的手术系统100的操作和功能，现在讨论将转向术前计划通过手术系统100执行的手术的方法，随后详细讨论将术前计划与患者的实际骨以及手术系统100的适用组件配准的方法。
触觉设备60可以被描述为外科医生辅助设备或工具，因为设备60由外科医生操纵以执行各种切除术、钻孔等。在某些实施例中，设备60可以是自主机器人，与外科医生辅助不同。即，与触觉边界相反的工具路径可被定义为用于切除骨和钻孔，因为自主机器人可能仅沿着预定工具路径操作从而不需要触觉反馈。在某些实施例中，设备60可以是与导航系统42结合操作的具有至少一个自由度的切割设备。例如，切割工具可以包括在工具上具有跟踪器的旋转毛刺。切割工具可以由外科医生自由操纵和手持。在这种情况下，触觉反馈可能仅限于毛刺在遇到虚拟边界时停止旋转。因此，设备60被广泛地视为包含本申请中描述的任何设备以及其他设备。
在手术程序完成之后，可以立即或在一段时间后进行术后分析(步骤807)。术后分析可以确定实际手术程序与计划手术相比的准确性。即，可以将实际植入物放置位置和取向与计划值进行比较。可以将诸如内翻-外翻股骨-胫骨对准、伸展、内-外旋转等因素或与植入关节成形术植入物的手术结果相关的任何其他因素与计划的值进行比较。
II.关节成形术程序的术前步骤
关节成形术程序的术前步骤可包括患者的成像和术前计划过程，术前计划过程可包括植入物放置、骨切除深度确定和前轴切迹评估，以及其他评估。骨切除深度确定包括相对于患者股骨远端和胫骨近端的三维计算机模型选择和定位候选股骨和胫骨植入物的三维计算机模型，以确定将实现关节成形术程序的期望手术结果的植入物的位置和取向。作为该评估的一部分，计算必要的胫骨和股骨切除的深度，以及这些切除的平面的取向。
前轴切迹评估包括确定当植入物三维模型被相对于骨切除深度确定期间拟议的股骨三维模型定位且定向时，所选股骨植入物的三维模型的前凸缘部分是否将与患者股骨远端的三维模型的前轴相交。两个模型的这种相交表明前股骨轴有切迹，必须避免。
在全部内容通过引用并入本文的2016年5月27日提交的PCT/US2016/034847中描述了确定骨切除深度和执行前轴切迹评估。
A.术前成像
在准备手术程序(例如，膝关节成形术、髋关节成形术、踝关节成形术、肩关节成形术、肘关节成形术、脊柱程序(例如，融合、植入、脊柱侧弯矫正等))时，患者可以例如在成像中心进行术前成像。患者可以进行手术关节的磁共振成像(“MRI”)、计算机断层扫描(“CT”)扫描、射线照相扫描(“X射线”)以及其他成像模态。如图4A所示，图4A是包括股骨104、髌骨105(在其他图中显示)和胫骨106的患者膝关节102的示例冠状图像扫描，患者膝盖可以经历CT扫描。CT扫描可以包括打包为医学数字成像和通信(“DICOM”)文件的膝关节102的螺旋扫描。从文件中，可以在多个平面(例如冠状、矢状、轴向)中查看二维图像切片或横截面。从图4B、图4C和图4D可以理解，可以通过在骨轮廓线上应用样条110来对二维图像108执行分割过程。或者，可以在不需要将样条110应用于2D图像切片的情况下对图像108整体执行分割过程。这种术前成像和计划步骤可以在2019年12月13日提交的PCT/US2019/066206中找到，其全部内容通过引用并入本文。
图4B、图4C和图4D分别示出了股骨104和髌骨105的轴向图像108，在骨表面上具有样条110，关节102的矢状图像108，在股骨104、髌骨105和胫骨106的骨表面上具有样条110，以及关节102的冠状图像108，在股骨104和胫骨106上具有样条110。在某些情况下，分割过程可以是手动过程，由人识别每个二维图像切片108上的样条110。在某些情况下，分割过程可以是自动化的，其中样条110自动应用于图像切片108中的骨轮廓线。并且在某些情况下，分割过程可以是手动过程和自动过程的组合。
在分割过程完成之后，可以组合分割的图像108以便生成关节102的三维(“3D”)骨模型111，包括3D股骨模型112、3D髌骨模型113、和3D胫骨模型114。
如图4E所示，图4E是3D关节模型111的等距轴向-冠状-矢状视图，模型111代表在执行任何改变骨的手术程序之前的关节102，更具体地，处于退化状态的其股骨104、髌骨105和胫骨106。从这个3D关节模型111，可以执行术前计划过程的各个步骤。这些3D骨模型112-114中的每一个都可以相对于用于生成二维图像切片108的医学成像系统的坐标系生成。例如，在通过CT成像生成图像切片108的情况下，可以相对于CT坐标系115生成3D骨模型。
在某些情况下，可以从这些骨和关节的统计模型或通用模型生成患者关节的3D模型111，包括患者关节102的每个骨104、105和106的3D模型112、113和114，基于某些不需要用样条110分割2D图像切片108的因素将统计模型或通用模型变形或以其他方式修改来近似患者关节102的骨104、105和106。在某些情况下，分割过程可以手动、自动或手动和自动结合将3D统计或通用骨模型拟合到股骨104、髌骨105和胫骨106的扫描图像108。在这种情况下，分割过程将不需要对每个二维图像切片108应用样条110。相反，3D统计或通用骨模型将被拟合或变形为扫描图像108中的股骨104、髌骨105和胫骨106的形状。因此，变形或拟合的3D骨模型将需要图4E中所示的3D关节模型111。
在一个实施例中，通用骨模型可以是许多(例如，数千或数万)实际骨的医学图像(例如，CT、MRI、X射线等)的关于大小和形状的分析结果，此分析用于生成通用骨模型，该通用骨模型是许多实际骨的统计平均值。在另一个实施例中，导出描述人口统计分布的统计模型，包括图像中大小、形状和外观的变化。
在某些情况下，可以采用其他生成患者模型的方法。例如，患者骨模型或其部分可以通过在骨的一个或多个区域中配准骨或软骨表面而在术中生成。这样的过程可以产生一个或多个骨表面轮廓。因此，本文描述的各种方法旨在涵盖从分段医学图像(例如，CT、MRI)以及术中成像方法等生成的三维骨模型。
虽然参照膝关节102描述了该方法的成像和后续步骤，但本公开中的教导同样适用于其他关节，例如髋、踝、肩、腕、肘和脊柱等等。
B.植入物选择、植入物定位和定向的术前计划
在生成患者关节102的3D股骨模型112之后，可以开始术前计划的剩余部分。例如，外科医生或手术系统100可以选择合适的植入物，并且可以确定植入物的位置和取向。这些选择可以确定对患者骨的适当切割或切除，以便适合所选择的植入物。此类术前计划步骤可在2016年5月27日提交的PCT/US2016/034847中找到，其全部内容通过引用并入本文。
III.手术程序
在术前计划步骤完成之后，手术可以根据计划开始。也就是说，外科医生可以使用手术系统100的触觉设备60来执行患者骨的切除，并且外科医生可以植入植入物以恢复关节的功能。手术程序的步骤可包括以下内容。
A.配准
配准是将包括骨模型111-114(图4E)和关联的虚拟边界或工具路径的术前计划映射到患者的物理骨的过程，因此机械臂60相对于患者的物理骨在空间上定向，以便准确地执行手术程序。包括骨模型111-114和关联的虚拟边界或工具路径的术前计划可以第一坐标系(x1，y1，z1)存储在计算机50上。经由各种跟踪器阵列(例如，48、54)跟踪机械臂60的运动的导航系统42也与计算机50通信。导航系统42还经由分别定位在胫骨10和股骨11上的各种跟踪器阵列46、47跟踪患者的身体。这样，机械臂60和手术的骨10、11的位置和取向(即，姿态)在计算机50中的第二坐标系(x2，y2，z2)中相对于彼此是已知的。将第一坐标系(x1，y1，z1)和第二坐标系(x2，y2，z2)一起映射、变换或配准在公共坐标系中的过程称为配准。
一旦配准，骨模型111-114和虚拟边界或工具路径可以被“锁定”到患者物理骨上的适当位置，使得患者物理骨的任何运动将导致骨模型111-114和虚拟边界或工具路径相应地移动。因此，机械臂60可能会被约束为使用虚拟边界或沿着工具路径操作，该工具路径在术前计划中定义，并且随着患者骨的移动而移动。以这种方式，机械臂60通过配准过程在空间上知道患者身体的姿态。
i.从术中超声数据创建分类/分离的3D骨表面点云
如下文详细讨论的，手术系统100的计算机50，更具体地，计算机的处理器和存储器，存储和执行一种或多种算法，这些算法采用各种神经网络中的一种或组合，神经网络经过训练以：检测超声图像中的骨表面；并根据捕获的解剖结构对超声图像中的那些骨表面进行分类。
还如下文详细讨论的，手术系统100的计算机50，更具体地，计算机的处理器和存储器，存储和执行一种或多种算法，算法允许在超声模态和捕获N个骨的第二模态(例如CT/MRI)之间同时共同配准N个骨(通常形成关节)的骨表面。两种模态之间的N个骨的骨表面的共同配准是通过一种或多种算法实现的，算法优化：从超声模态到第二模态的Nx6DOF变换；以及将超声模态的图像数据中的区域分配给N块捕获的骨之一的分类信息。
在一个实施例中，两种模态之间的N个骨的骨表面的共同配准可以发生在3D点云和三角网格之间以成为基于3D点云/网格的。在这种情况下，需要在第二模态(例如CT/MRI骨分割)中对N个骨进行分割以获得三角网格，并将3D点云应用于三角网格。
在另一个实施例中，两种模态之间的N个骨的骨表面的共同配准可以是基于图像的。换句话说，分类后的超声图像数据直接匹配到第二模态，而不需要检测骨表面。
为了开始讨论用于在捕获N个骨的两种模态之间同时共同配准N个骨的骨表面的一种或多种算法，参考图5A。图5A是流程图，其更详细地说明了关于图2所示的由图1所示的手术系统100采用的整个配准过程(步骤804)。图5A中描述的过程是采用两步程序的基于超声的多重骨配准过程503，其中由步骤610、612、776产生的初始或粗略配准(步骤776)与从步骤512、527、580、600产生并从对手术目标区域(即，患者关节成形术背景下的患者关节区域)进行的超声扫描创建的分类或分割的3D骨表面点云(步骤600)组合(步骤900)。因此，可以说基于超声的多重骨配准过程503具有两个主要步骤或方面，其中初始配准建立配准对准的第一猜测，然后通过从其计算高度准确的对准来细化起点。
基于超声的多重骨配准过程503的分类或分离的3D骨表面点云(步骤600)开始于取得患者关节周围患者表面区域以及患者关节附近的其每个骨的大部分(如果不是全部的话)的术中超声图像。例如，对于膝关节成形术，超声扫描遍及膝盖的大部分(如果不是全部)，上下扫描一次或多次以获得患者膝盖的每个骨(股骨、胫骨和髌骨)的骨表面的超声图像数据。然后，通过机器学习对术中超声图像进行算法分析，以确定所获取的超声图像点的数百万个单独点中的哪些单独点属于患者关节的每个骨，从而产生与每个骨相关的分类或分离的点云。换句话说，在膝关节成形术的背景下，该算法将术中超声图像的每个点或像素适当地分配给膝关节的相应骨，这样每个点或像素都可以说是分类或分离的，以对应于它各自的骨，从而产生分类或分割的3D骨表面点云。换句话说，术中超声图像的每个点或像素被变换为分类或分离的3D骨表面点云，使得分类或分离的3D骨表面点云的超声图像像素或点各自与患者骨的相应的骨表面相关。
从图5A中可以理解，初始或粗略配准(步骤776)开始于被跟踪探头57在术中按照特定的术前计划姿态或相对于患者解剖结构的界标集合应用于患者膝盖，以生成将物理跟踪骨与从患者膝盖骨的分割医学成像(CT、MRI等)生成的3D CAD骨模型111配准的变换。最终配准通过步骤776的初始配准与步骤600的分类3D骨表面点云的算法组合发生，其中分类点云的各个部分在算法上与初始配准的点云及3D CAD骨模型的其各自表面匹配(步骤900)。在此最终配准期间，所采用的算法会收敛，直到其结果达到稳定状态，并且该算法还可以细化分类或分离的3D骨表面点云本身的分类或分离，以便分类/分离中的任何初始错误可以被消除或至少减少。在实现最终配准的这些方面时，分类或分离的3D骨表面点云和初始或粗略配准变得很好配准，从而导致最终的多重骨配准。然后，手术系统100可以在对患者关节执行手术时采用步骤900的这种最终多重骨配准。
手术系统100的这种基于超声的配准过程503是有效的，因为配准可以通过医疗专业人员简单地对患者关节区域进行超声扫描来实现，然后机器学习接管以识别超声扫描中的哪些点属于患者关节的哪个骨，然后将这些点分配/匹配到3D骨模型的正确骨。因此，配准过程503允许患者关节的所有多个骨一次通过超声成像，然后系统识别和分离点云中与关节的每个骨相关的点，然后将点分配/匹配到关节的3D模型的适当骨以完成最终配准过程，这些点不仅被分配到适当的骨，而且定位在骨上相应的解剖学位置。
如图5A所示，手术系统100的基于超声的配准过程503包括术前方面500和术中方面502，并且术前方面500和术中方面502各自被分成工作流和数据流部分。对于工作流部分，一个人操作机器/工具/设备/系统或以物理方式执行已识别的工作流步骤。对于数据流部分，如下面参考图16更详细地讨论的，与图1中描绘的手术系统100相关联的计算机系统1300的一个或多个硬件处理器1302在执行识别的数据流步骤时执行程序。
在术前方面500的工作流程部分，获取患者关节的医学图像(步骤504)，如上文在该具体实施方式的“A.术前成像”小节中所讨论的。如图5A所示，术前方面500继续数据流部分，其中医学图像随后用于生成形成患者关节的骨的3D CAD模型(步骤506)，如上文参考图4A-4E在该具体实施方式的“A.术前成像”小节中所讨论的。术前方面500的数据流部分以在CAD模型空间中相对于患者关节图像108的患者骨104-106(图4A-4D)的3D CAD模型111-114(图4E)生成初始配准数据而结束(步骤508)。具体而言，初始配准数据的该生成(步骤508)包括在3D CAD模型空间中定义上述探头姿态和解剖界标。
转到图5A的基于超声的多重骨配准过程503的术中方面502的工作流程部分，医疗专业人员将解剖结构跟踪器(例如，参见图1中的46、47)安装在患者的骨(例如，图1中的胫骨10和股骨11)上(步骤510)。虽然在优选实施例中，跟踪器46、47通常在如步骤510中所示的图5A的整个配准过程503的术中部分502开始时安装在患者骨10、11中，在一个替代实施例中，如果目标肢体(例如，腿)充分固定，则可以在跟踪器46、47(图1)附接到骨10、11之前完成部分配准。例如，初始配准(步骤776)完成之后是分类点云的创建(步骤600)，如以下关于图5A等更详细地讨论的那样。然后可以识别跟踪器46、47的位置，并相应地将跟踪器安装在患者骨10、11上。重复初始配准776，之后可以组合步骤776的初始配准和步骤600的分类点云以实现最终配准(步骤900)。
再次参考图5A以继续优选实施例，其中在整个配准过程503的术中部分502开始时根据步骤510将跟踪器46、47安装在患者骨10、11上，医疗专业人员然后利用可跟踪的超声探头(例如，参见图1中的55)以记录跨关节区域的患者骨的多次超声扫描(步骤512)。这些扫描可能是以一般方式针对关节区域进行的，在未定义哪个数据点属于哪个骨以及在骨上的位置的超声图像数据点的拼贴画中捕获各种骨(例如，膝关节背景下的股骨、胫骨和髌骨)。
从图5B中可以理解，图5B是用于从超声扫描创建分类的三维(“3D”)骨表面点云的过程的图形描绘，由图5A的步骤512产生的超声扫描514具有与股骨11、髌骨(未示出)和胫骨10(例如，参见图1)相关联的超声图像数据，其未定义是哪个骨和骨上的位置。虽然在这个过程中的此点实际上并没有定义，如图5B所示，超声扫描514可以被理解为具有股骨数据点516、髌骨数据点518和胫骨数据点520。该数据可以以2D超声图像集合523的形式放置，包括股骨超声图像522、髌骨超声图像(未显示)和胫骨超声图像524，尽管这些超声图像具有未定义特定点是骨还是软组织的一部分的数据点，并且未定义特定数据点属于关节的哪个特定骨以及在特定骨上的位置。手术系统100然后将该组2D超声图像523经由图5A的分类模块(步骤527)转换成分类的骨表面像素526，如图5B中所示。应当注意，虽然在图5B中描绘了且在本文讨论了2D超声图像，本文所描述的过程可以通过使用代替2D超声图像或与2D超声图像混合的3D超声图像来容易地完成。因此，贯穿本公开，对2D超声图像的任何提及都应被理解为还包括3D超声图像。
如图5A所示，在一个实施例中，从2D超声图像的集合523生成分类的骨表面像素526，分类模块(步骤527)可以采用两个备选分类过程中的任一个，即通过经由像素分类神经网络的超声图像骨表面(步骤528)或通过经由似然分类神经网络的超声图像骨表面检测(步骤530)。在其他实施例中，从该组2D超声图像523生成分类骨表面像素526，分类模块(步骤527)可以采用其他过程，例如，从固定在骨10、11上的两个导航标记46、47的距离推导出无分类，和/或在产生的点云本身上运行分类算法，无需查看图像，而只需查看不同点的3D排列。在其他实施例中，点云的分类通过其他非机器学习过程或除分类和卷积之外的其他网络解决，例如随机森林。在更进一步的实施例中，点云的分类可以通过非机器学习过程来解决。在一个实施例中，点云的分类可以通过点云的几何分析来解决。例如，点云的这种几何分析可能包括像主成分分析(例如在膝关节成形术的背景下)这样的主轴分裂，像连接成分分析(例如在脊柱/椎骨程序的背景下)的聚类方法，以及像凸/凹/管状/等的形状属性。最后，为了不过分限制本公开，设有分类模块527，分类模块527接收图像作为输入并且骨分类点云从分类模块输出，并且设有许多可以是分类模块的一部分的不同过程以达到这些目的。
图6A是利用像素分类进行超声图像骨表面检测的手术系统100的过程的流程图(步骤528)，图6B是图6A的过程的图形描绘。如图6A所示，该过程采用超声图像骨表面检测器532和超声图像像素分类器534，它们都被分成输入部分、处理部分和输出部分。如图6A和图6B所示，超声图像骨表面检测器532接收图5B的2D超声图像523作为输入(步骤536)并通过卷积网络处理它们以检测每个超声图像中每个点是否存在骨表面点(步骤538)，输出二进制图像540，其中“零(0)等于没有骨表面”542和“一(1)等于骨表面”544(步骤546)。
类似地，超声图像像素分类器534接收图5B的2D超声图像523作为输入(步骤548)并通过分类网络处理它们以确定在每个超声图像的每个点处存在的特定解剖结构类型(步骤550)，输出单个数字552表示解剖结构类型，其中“零(0)等于胫骨”，“一(1)等于股骨”和“二(2)等于髌骨”(步骤554)。应该记住，虽然在本详细讨论中给出的示例是在膝关节的背景下，但本文教导的概念同样适用于任何类型的关节，例如但不限于脊柱、肩、肘、腕、髋、踝等。
图7A是手术系统100利用似然分类进行超声图像骨表面检测的过程(步骤530)的流程图，图7B是图7A的过程的图形描绘。此过程分为输入部分、处理部分和输出部分。如图7A和图7B所示，卷积网络556接收图5B的2D超声图像523作为输入(步骤558)并处理它们以检测骨表面点并通过定义点属于特定解剖结构的可能性对每个点进行分类(步骤560)。例如，在膝盖的背景下，卷积网络556检测2D超声图像523中的骨表面点，然后计算任何特定检测到的骨表面点属于股骨、胫骨或髌骨的可能性(步骤560)。卷积网络556输出N个二进制图像562，其中N是所考虑骨的数量，并且每个二进制图像的每个像素根据像素是否表示骨表面来用“零(0)”或“一(1)”进行译码(步骤563)。
从图7B可以理解，在说明性示例中，仅为了这个示例而忽略了髌骨，二值图像的数量N将是两个，因为存在股骨和胫骨。如果本示例中也使用了髌骨，则二值图像的N数将为三，因为有股骨、髌骨和胫骨。
继续二值图像的数量N为二的示例，卷积网络556分析超声图像523并根据图像代表胫骨图像564或股骨图像566的可能性对图像523进行分类，分类通过在机器学习的背景下超声图像523的算法评估来进行(图7B的步骤562)。然后，根据步骤562分类的每个分类图像564的像素关于每个特定像素是否表示骨表面来进行译码(图7B的步骤568)。例如，评估分类的胫骨图像564以识别其非骨表面像素570及其骨表面像素572，骨表面像素572将是胫骨骨表面像素572(步骤568)。类似地，评估分类的股骨图像566以识别其非骨表面像素574及其骨表面像素576，骨表面像素576将是股骨骨表面像素576(步骤568)。
返回图5A和图5B，一旦分类的骨表面像素526已经经由分类模块从该组2D超声图像523生成(步骤527)以提供2D股骨分类的骨表面像素526F和2D胫骨分类的骨表面像素526T，计算这些2D表面像素526F、526T的2D至3D变换以将2D表面像素526F、526T转换为3D表面像素578F、578T(步骤580)。
图8A是用于计算将2D表面像素526F、526T变换成3D表面像素578F、578T(步骤580)的过程的流程图，并且图8B是图8A的过程的图形描绘。如图8A和图8B所示，该过程采用超声探头时间校准(步骤582)，其中当经由超声探头远侧尖端55A投射和检测到的超声波583对骨(图1中的10、11)进行超声扫描(图5B中的514)时考虑超声波583在某些介质/组织中的传播速度，当超声探头55在术中被跟踪时，超声探头可跟踪元件55B被导航系统42的检测设备44检测到(步骤584)。远侧尖端55A包括具有其自身固有坐标系586的传感器阵列。这样做时，超声图像522、524的2D表面像素526F、526T经历变换585以从2D像素空间(2D像素坐标系)586映射到3D度量坐标系588，将2D表面像素526F、526T变换为3D表面像素578F、578T，并将其2D像素坐标变换为固有超声探头坐标系588中的3D坐标(步骤590)。
如图8A所示且从图8B中可以理解的是，在完成超声探头时间校准后(步骤582)，过程移动到超声探头到探头跟踪器校准(步骤592)。这样做时，系统获取超声探头55相对于导航系统42的探头检测设备44关于固有超声探头坐标系588的已知姿态集合(步骤594)。然后系统完成探头跟踪器空间和固有超声探头坐标系之间的变换(步骤596)。
关于根据步骤580或其变化形式计算2D表面像素526F、526T到3D表面像素578F、578T的变换相关联的补充和/或替代过程的附加信息，参考PCT申请号PCT/IB2018/056189(国际公开号WO2019/035049A1)，其国际申请日期为2018年8月16日，题为“利用基于学习的分割和声速校准的超声骨配准(ULTRASOUND BONE REGISTRATION WITH LEARNING-BASEDSEGMENTATION AND SOUND SPEED CALIBRATION)”，该申请特此以引用方式整体并入本公开。
虽然前面的讨论是在2D超声探头的背景下进行的，但应该理解，2D超声探头可以用3D超声探头代替，以执行该具体实施方式中公开的过程。因此，该具体实施方式中公开的过程不应限于2D超声探头和2D像素/点，而应被视为包括图像坐标系中的3D超声探头和任何类型的超声像素/点，无论那些超声像素/点是2D还是3D。
使用超声探头的每个单独的超声扫描将生成捕获患者骨的切片或小部分的单独的超声图像。当对患者骨进行超声成像时，通常需要使用超声探头进行多次单独的超声扫描。为了将各个单独的超声图像拼接成一个一致的3D超声图像数据集，相对于附接到N个捕获骨中的每个骨的解剖结构跟踪器对超声探头进行跟踪。
在超声扫描的骨被固定的情况下，可以简化将单独的超声图像拼接在一起的过程。具体地，在这种情况下，每个单独的超声图像可以通过仅跟踪超声探头而与其他单独的超声图像拼接在一起。
从图5A和图5B可以理解，一旦系统完成步骤580，它就创建分类的3D骨表面点云598(步骤600)。分类的3D骨表面点云598将具有分类为股骨的股骨点602、分类为髌骨的髌骨点604以及分类为胫骨的胫骨点606。对于使用超声探头配准过程的附加补充方面或替代方面，参考于2013年12月31日提交的题为“使用超声探头配准的系统和方法(SYSTEMS ANDMETHODS OF REGISTRATION USING AN ULTRASOUND PROBE)”的美国专利申请第14/144,961号，其公开内容通过引用整体并入本文。
ii.初始粗略配准
如上文所讨论和图5A所示，在术前方面500的工作流程部分期间，获取患者关节的医学图像(步骤504)，如上文在该具体实施方式的“A.术前成像”小节中所讨论的那样。如图5A所示，术前方面500继续数据流部分，其中医学图像随后用于生成形成患者关节的骨的3DCAD模型(步骤506)，如上文参考图4A-4E在该具体实施方式的“A.术前成像”小节中所讨论的那样。术前方面500的数据流部分以在CAD模型空间中相对于患者关节图像108的患者骨104-106(图4A-4D)的3D CAD模型111-114(图4E)生成初始配准数据而结束(步骤508)。具体而言，该初始配准数据的生成(步骤508)包括在3D CAD模型空间中定义上述探头姿态和解剖界标。
为了讨论根据图5A的步骤508定义探头姿态和解剖界标的术前过程，现在参考图9A，图9A为步骤508的流程示意图。如图9A中所示，步骤508开始于定义探头相对于待配准的患者解剖结构的任意姿态P(步骤700)。从图9A和图9B中可以理解，探头57(图1)的3D CAD模型(即，3DCAD探头模型57M)随后相对于图4E所示的3D CAD骨模型111以定义的任意姿态P定位，并且记录变换(TProbe-to-3Dimage)701，变换701将3DCAD探头模型57M映射到3D CAD骨模型111，从探头坐标系CSprobe到3D图像坐标空间CS3Dimage(步骤702)。具体地，作为许多可能的任意姿态P的一个非限制性示例，放置3D CAD探头模型57M使得它垂直于膝盖区域102的3DCAD骨模型111的3D CAD股骨模型112的股骨前皮质的中心指向并面朝内侧，如图9B中所图示的。当然，可以定义适合特定手术应用的任何其他任意姿态P。步骤702可以由专门的手术计划者或外科医生执行。膝盖区域102的3D CAD骨模型111可以是体积渲染或其他类型的CT图像或医学图像或从CT图像或医学图像定义的模型。
如图5A所示，一旦初始配准数据的生成已如上文关于步骤508所讨论的那样完成，则获取初始配准数据(步骤610)作为基于超声的多重骨配准过程503的术中方面502的工作流程部分的一部分。对于根据图5A的步骤610获取初始配准数据的术中过程的讨论，现在参考图10A，图10A为概括步骤610的过程的流程图。如图10A所示，步骤610开始于根据步骤508的定义的姿态P相对于患者解剖结构定位被跟踪探头57(步骤704)。换句话说，对于步骤704，在该示例中，图9B中所描绘的3D CAD探头模型57M和3D CAD骨模型111的3D CAD股骨模型112之间的姿态P在手术中被复制在实际物理探头57和患者的实际股骨11之间。然后记录该术中姿态P(步骤706)。
从图10B中可以理解，步骤706的术中姿态P的记录可以用跟踪系统42的跟踪相机44实现，该跟踪系统42获得变换(TProbe-to-NavCamera)705。备选地，如图10C所示，步骤706的术中姿态P的记录可以用获得变换(TProbe-to-AnatomyTracker)707的跟踪系统42的解剖结构跟踪器47来实现。
步骤610的过程以经由4x4矩阵乘法计算初始配准而结束，其中TNavCamera-to-3Dimage＝TProbe-to-3Dimage*inv(TProbe-to-NavCamera)，其中如图10B所示采用跟踪相机44，或者其中TAnatomyTracker to-3Dimage＝TProbe-to-3Dimage*inv(TProbe-to-AnatomyTracker)，其中如图10C所示采用解剖结构跟踪器47(步骤710)。如图5A所示，该初始配准数据然后作为基于超声的多重骨配准过程503的术中方面502的数据流部分的一部分进入配准模块612。
如图5A所示，配准模块(步骤612)可以采用多种备选配准过程中的任何一种，例如对于三个非限制性示例，“一次点击/一个姿态”配准(步骤614)、“基于界标”的配准(步骤616)，或“基于解剖结构跟踪器销的”的配准(618)。这三个应用614、616、618中的任何一个都能够建立从解剖结构跟踪器空间到CAD模型(CT/MRI)坐标系的变换的初始配准(即，“粗略”猜测)。可以是配准模型的一部分的其他备选配准过程(步骤612)可以包括例如“基于探头的”配准、“基于探头微型扫描”的配准，或者甚至利用校准的数码相机来生成待配准患者解剖结构的照片并据此估计姿态和位置。
图11A是手术系统100使用“一次点击/一个姿态”配准(步骤614)进行配准的过程的流程图，并且图11B和图11C是图11A的过程的图形描绘。如图11A和图11B所示，该过程(步骤614)开始于通过在术中使用图1、图10B和图10A中的跟踪探头57生成两个点云620、622来记录股骨11、胫骨10和任选地髌骨的骨表面点(步骤624)。在这个步骤624中，一个点云(即，股骨跟踪器相对点云(“FTRPC”)620是相对于图1中的股骨跟踪器47取得的)和另一个点云(即，胫骨跟踪器相对点云(“TTRPC”)622是相对于胫骨跟踪器46取得的)(步骤624)。换句话说，基本上获取了两个点云620、622，一个点云620是关于股骨跟踪器47的，另一个点云622是关于胫骨跟踪器46的。
从图11B中可以理解，FTRPC 620将具有股骨数据点620F、髌骨数据点620P和胫骨数据点620T，尽管这些数据点中没有一个被如此识别并且只是整个FTRPC 620的数据点。类似地，TTRPC 622将具有股骨数据点622F、髌骨数据点622P和胫骨数据点622T，尽管这些数据点中没有一个被如此识别并且只是整个TTRPC 622的数据点。
如图11A和图11B所示，“一次点击/一个姿态”配准过程(步骤614)通过术中对FTRPC 620和TTRPC 622应用分类算法以输出相对于股骨跟踪器(“FOPCRFT”)626的仅股骨点云和相对于胫骨跟踪器(“TOPCRTT”)628的仅胫骨点云而继续(步骤630)。这种点云的分离是有利的，因为术前3D CAD骨模型中膝盖的姿态可能与术中膝盖的姿态不同。
从图11A和图11C可以理解，在步骤630之后，“一次点击/一个姿态”配准过程(步骤614)通过术中分别计算股骨11和胫骨10的配准变换632、634而继续(步骤636)。这种配准变换的计算可以采用配准算法(例如，“迭代最近点(Iterative Closest Point)”)。例如，将FOPCRT 626的骨表面点匹配到股骨CAD模型112上以获得股骨配准(TFemurTracker-to-CAD Femur Model)(步骤638)。类似地，将TOPCRTT 628的骨表面点匹配到胫骨CAD模型114上以获得胫骨配准(TTibiaTracker-to-CAD Tibia Model)(步骤640)。步骤614的这种“一次点击/一个姿态”配准是有益的，因为它至少部分地促进了步骤512的术中超声表面捕获过程，其中通过超声探头55同时获取多个骨表面。
图12是手术系统100使用基于界标的配准进行配准的过程的流程图(步骤616)。如图12所示，该过程(步骤616)开始于通过定义CAD模型空间中骨的每个3D CAD模型上的三个或更多个解剖界标的X-Y-Z坐标来生成第一点集(步骤750)。在本示例中，手术是在膝关节成形术的背景下进行的，骨是胫骨10和股骨11(参见图1)，该步骤750通过定义3DCAD股骨模型112和3D CAD胫骨模型114中的每个上的三个或更多解剖界标的X-Y-Z坐标来生成第一点集。该步骤750可以在术前或术中完成。
在步骤750之后，通过经由导航探头57在术中数字化解剖界标来生成第二点集，以获得在步骤750中定义的每个解剖界标的解剖结构跟踪器空间中的X-Y-Z坐标(步骤755)。换句话说，对于步骤755，第二点在实际胫骨11和股骨12上在那些骨上的界标处进行术中数字化，这些界标分别对应于对应的3D CAD胫骨模型114和3D CAD股骨模型112上定义的那些界标。对于步骤616的最后方面，使用经典的点对点匹配算法将第一点集和第二点集彼此匹配，从而实现每个骨的初始配准(步骤760)。在替代实施例中，步骤760的点对点算法可以由点对面算法代替，其中术前3DCAD股骨模型112和3D CAD胫骨模型114没有点云，而是都是表面模型。
总之，可以说图12中描述的基于界标的配准616包括CAD空间(术前计划)和解剖结构跟踪器空间(术中)中界标的数字化。当采用基于界标的配准616(参见图5A)时，具有这两个界标集足以计算通过配准模块612完成的初始配准。
图13A是手术系统100利用基于解剖结构跟踪器销的配准进行配准的过程的流程图(步骤618)。如图13A和图13B所示，该过程(步骤618)开始于安装用于将解剖结构跟踪器46、47刚性附接至患者骨(例如，本示例上下文中的胫骨10和股骨11，其为膝关节成形术)的销，对于每种类型的手术程序，以一致、可重复的方式安装销(步骤770)。然后，导航系统42(图1)跟踪解剖结构跟踪器46、47以获得关于患者骨10、11相对于解剖结构跟踪器46、47的位置的粗略估计(步骤772)。
从图13A和图13B可以理解，对于步骤618的最后方面，膝关节762被定位并且其自由度被确定(步骤774)。这样做时，患者股骨11和胫骨10(图1)在术中围绕膝关节762相对于彼此铰接，导致第二点云764(其参考安装在患者胫骨10和股骨11上的跟踪器46、47)偏转使得点云764的胫骨部分766和点云764的股骨部分768在膝关节762处相对于彼此铰接。该铰接被变换为股骨模型112和胫骨模型114。
总而言之，可以说图13A和图13B中描述的基于解剖结构跟踪器销的配准618采用了关于放置解剖跟踪器的典型位置以及膝盖如何弯曲的一些假设(例如，解剖跟踪器销安装在前中轴，膝盖处于中间屈曲状态(例如30°到70°))。通过使用这些知识，可以粗略估计在3D空间中相对于解剖结构跟踪器销的膝关节中心的位置及其取向。最终，该位置和取向用于定义初始配准变换，当采用基于解剖结构跟踪器销的配准618(参见图5A)时，这足以计算经由配准模块612完成的初始配准。
如图5A所示，一旦配准模块(步骤612)已经通过三个备选配准过程(即“一次点击/一个姿态”配准(步骤614)、“基于界标”的配准(步骤616)，或“基于解剖结构跟踪器销的”配准(618))中的任何一个完成了初始或“粗略猜测”配准过程，配准模块输出初始或“粗略猜测”配准数据(例如，从跟踪器46、47到3D CAD骨模型111、112、113、114的变换的猜测)(步骤776)。
iii.最终多重骨配准的计算
从图5A和图5B可以理解，步骤776的初始配准数据与步骤600的分类3D骨表面点云598一起使用以计算最终的多重骨配准(步骤900)，如现在将关于图14A-14C讨论的那样，其中图14A是图5A中步骤900的过程的流程图，图14B和图14C是图14A的过程的各方面的图形描绘。如图14A和图14B所示，图5A的步骤776的初始或粗略配准数据902应用于参考股骨跟踪器47的图5A的步骤600的分类3D点云598(步骤904)。如上面关于图5B所讨论的且如图14B中所示的，分类3D点云598具有分类为股骨的股骨点602、分类为髌骨的髌骨点604和分类为胫骨的胫骨点606。如上文在图5A中的步骤612的初始配准模块的上下文中所讨论的和在图14B中描绘的那样，初始配准数据902包括股骨点云912、髌骨点云913(任选)和胫骨点云914，每个点云都是通过步骤612的初始配准模块的三个初始配准过程614、616、618中的任何一个生成的，每个点云912、913、914经由步骤612的初始配准模型被配准到适用的3D CAD骨模型112、113、114并且根据步骤776从其输出。
如图14A所示，最终配准过程(步骤900)通过迭代地计算分类3D点云602、604、606到初始配准或变换的3D CAD骨模型112、113、114上的点云912、913、914的点的最近点而继续(步骤920)。更具体地说，通过将分类3D点云602、604、606的点与初始配准或变换的3DCAD骨模型112、113、114上的点云912、913、914的点相匹配，将配准变换从CAD模型空间更新到解剖结构跟踪器坐标系(步骤925)。步骤925之后是基于点到最近点距离分析更新从步骤925产生的分类3D点云的点的分类，惩罚任何骨到骨干涉(步骤930)。然后进行检查以确定分类的3D点云602、604、606与3D CAD骨模型112、113、114上的点云912、913、914之间是否已经达到收敛(步骤935)。如果尚未达到收敛，则最终多重骨配准的计算从步骤935的收敛检查返回到步骤920。如果已经达到收敛，则最终配准完成(步骤940)，收敛的初始或粗略配准数据(例如，3D CAD骨模型112、113、114和其上的点云912、913、914)最终与分类的3D点云602、604、606配准，两组点云912、913、914和602、604、606关于3DCAD骨模型112、113、114分别彼此匹配并且大体上共同延伸，如图14C中所示。如图2所示，根据图5A的步骤900完成最终配准，手术系统100和程序然后可以从配准(步骤805)进行到导航(步骤805)等等，在通过手术系统100对患者进行手术的整个过程中根据需要使用来自步骤805的最终配准数据。
作为上面刚刚关于图14A-14C讨论的图5A的最终配准过程(900)的转折，在一个实施例中，最终配准过程900通过迭代地计算分类的3D点云602、604、606到初始配准或变换的3D CAD骨模型112、113、114上的三角网格骨表面的最近点来继续。更具体地说，通过将分类的3D点云602、604、606的点与初始配准或变换的3D CAD骨模型112、113、114上的三角网格骨表面相匹配来将配准变换从CAD模型空间更新到解剖结构跟踪器坐标系。最终配准过程900继续运行优化算法，其中成本函数被最小化。在一个实施例中，该成本函数取决于当时存在的配准矩阵，是以下不同项的加权和：(1)对于分类的3D点云602、604、606的每个点，在应用配准矩阵之后到初始配准或变换的3D CAD骨模型112、113、114上最接近的三角网格骨表面的最小距离；(2)对于分类的3D点云602、604、606的每个点，固定惩罚分配给与其初始猜测不匹配的3D CAD骨模型112、113、114以防止3D CAD骨模型112、113、114被交换；(3)对于每个3DCAD骨模型112、113、114的三角网格表面上的每个点或位置，如果该点或位置位于另一个3D CAD骨模型112、113、114内，则为固定惩罚以避免骨冲突；(4)对于寻求配准的每个自由度，在初始配准之上应用的平移/配准量级的惩罚项，假设初始配准足够准确，因此不需要偏离它。在一个实施例中，骨分配是在第一步中隐式计算的，因此不需要在点云分配优化和变换优化之间显式交替，而这在采用迭代最近点算法时可能需要。
最终配准过程900继续进行检查以确定在分类的3D点云602、604、606和3D CAD骨模型112、113、114上的三角网格骨表面之间是否已经达到收敛。如果尚未达到收敛，则最终多重骨配准的计算从收敛检查返回以再次迭代地计算分类的3D点云602、604、606到初始配准或变换的3DCAD骨模型112、113、114上的三角网格骨表面的最近点，继续进行上述过程的其余部分，直到再次检查收敛。
如果已经达到收敛，则最终配准完成，收敛的初始或粗略配准数据(例如，3D CAD骨模型112、113、114的三角网格骨表面)最终与分类的3D点云602、604、606配准，点云912、913、914分别与3D CAD骨模型112、113、114的三角网格骨表面的相应区域匹配并大致共同延伸。同样，如图2所示，根据图5A的步骤900完成最终配准，手术系统100和程序然后可以从配准(步骤805)进行到导航(步骤805)等等，在通过手术系统100对患者进行手术的整个过程中根据需要使用来自步骤805的最终配准数据。
本文公开的配准过程的优点在于，单个骨的一致配准可以是非强制的，使得在所得到的配准中没有重叠的骨。此外，该过程灵活/用户友好，并提供更快的工作流程，因为医疗专业人员不需要避免扫描不止一个骨。该过程也不会受到其他骨的异常值的不利影响。因此，当仅配准一个骨时，用户无需避免不小心扫描附近的另一个骨。
最后，本文公开的配准过程是有利的，因为它不依赖于程序的切口尺寸，而本领域已知的配准过程并非如此。这对臀部和肩部程序特别有帮助，对脚踝程序更是如此，这些程序的切口非常小，因此很难使用典型的数字化工具(导航指针、尖锐探头等)接近相关的骨结构。超声有利地能够接近整个骨的基本上所有的骨结构。
此外，本文公开的配准过程是有利的，因为它不限于完全机器人或机器人辅助的应用。具体来说，配准过程也可以是任何采用术前成像的导航手术。例如，配准过程可以用作导航切割夹具应用、导航ACL重建或者甚至导航程序的一部分以移除骨肉瘤。
IV.用于验证手术目标的配准系统
继续高度关注将在患者的错误一侧完成手术程序的风险最小化，例如，当应该在左膝上进行手术时在患者的右膝上进行关节成形术。因此，需要一种配准系统1500，其可用于在手术团队在进行手术中采取任何重要的步骤之前快速确认或验证手术团队将在正确的目标上进行手术。
图15是配准系统1500的示意图。如图15所示，配准系统1500包括导航或跟踪系统42、计算机50和配准工具55、57。导航或跟踪系统42包括跟踪配准工具55、57的检测设备44，计算机50包括输入设备和显示器56。配准工具可以是被跟踪超声探头55和/或被跟踪笔57的形式，可用于在将患者解剖结构配准到患者特定模型和/或患者解剖结构的术前生成的图像中对手术目标1502附近的患者的某些解剖界标进行成像和/或触摸。配准系统1500的所有这些组件被配置成与如上所述的图1的手术系统100的相同元件起作用。
导航或跟踪系统42跟踪在患者的手术目标1502的配准中使用的配准工具55、57以验证手术目标是正确的。在图15中，手术目标1502是患者的膝盖1502，但也可以是肩、肘、髋、踝、脊柱等。
在操作中，配准系统1500可以用作机器人或机器人辅助手术的先驱，机器人或机器人辅助手术是用图1的上述手术系统100执行的。类似地，配准系统1500可以用作传统非机器人手术的先驱。在任何一种情况下，医务人员都可以在术前利用患者身上的配准系统1500来正确识别预期的手术目标1502。例如，在膝关节成形术或其他关节成形术的情况下，配准系统1500用于通过扫描和/或触摸邻近目标膝盖1502的患者胫骨10和/或股骨11的界标将目标膝盖1502与另一个非目标膝盖区分开。在脊柱程序的情况下，配准系统1500可用于识别椎骨的骨边界并识别作为手术目标的适当椎骨水平。在任何一种情况下，都采用配准系统来确定第一个切口和后续切口的正确位置。
在一个实施例中，可以通过保持患者的可疑手术目标1502静止并用跟踪的超声探头扫描患者的可疑手术目标1502来进行用于手术目标验证目的的术前配准。根据图5A中概述且在上面详细描述的方法，通过计算机50处理所得图像并将所得图像与患者手术目标的术前患者特定图像或计算机模型配准。如果患者的可疑手术目标1502成功配准到患者手术目标的术前患者特定图像或计算机模型，则验证患者的可疑手术目标1502实际上是正确的手术目标。然后可以在正确识别的手术目标上进行机器人、机器人辅助或传统手术。
V.示例性计算系统
参考图16，提供了具有一个或多个计算单元的示例计算系统1300的详细描述，该计算单元可以实现这里讨论的各种系统和方法。计算系统1300可适用于在关节成形术程序的术前计划、配准和术后分析中使用的任何计算机或系统，以及其他计算或网络设备。应当意识到，这些设备的具体实现方式可以是不同的可能的特定计算架构，这里并未具体讨论所有这些架构，但本领域的普通技术人员将理解这些架构。
计算机系统1300可以是能够执行计算机程序产品以执行计算机过程的计算系统。数据和程序文件可以输入到计算机系统1300，该计算机系统1300读取文件并执行其中的程序。计算机系统1300的一些元件在图16中示出，包括一个或多个硬件处理器1302、一个或多个数据存储设备1304、一个或多个存储器设备1308和/或一个或多个端口1308-1310。此外，本领域技术人员将认识到的其他元件可以包括在计算系统1300中但未在图16中明确描绘或在本文中进一步讨论。计算机系统1300的各种元件可以通过一个或多个通信总线、点对点通信路径或图16中未明确描绘的其他通信方式相互通信。
处理器1302可以包括例如中央处理单元(CPU)、微处理器、微控制器、数字信号处理器(DSP)和/或一个或多个内部缓存级。可以有一个或多个处理器1302，使得处理器1302包括单个中央处理单元，或多个能够彼此并行地执行指令和执行操作的处理单元，其通常称为并行处理环境。
计算机系统1300可以是传统计算机、分布式计算机或任何其他类型的计算机，例如通过云计算架构可用的一个或多个外部计算机。当前描述的技术任选地以存储在数据存储设备1304上、存储在存储器设备1306上和/或经由端口1308-1310中的一个或多个通信的软件来实现，从而将图16的计算机系统1300变换成用于实现本文描述的操作的专用机器。计算机系统1300的示例包括个人计算机、终端、工作站、移动电话、平板电脑、膝上型计算机、个人计算机、多媒体控制台、游戏控制台、机顶盒等。
一个或多个数据存储设备1304可以包括能够存储在计算系统1300内生成或采用的数据的任何非易失性数据存储设备，例如用于执行计算机过程的计算机可执行指令，其可以包括应用程序和管理计算系统1300的各种组件的操作系统(OS)两者的指令。数据存储设备1304可以包括但不限于磁盘驱动器、光盘驱动器、固态驱动器(SSD)、闪存驱动器等。数据存储设备1304可以包括可移动数据存储介质、不可移动数据存储介质和/或通过有线或无线网络架构与这样的计算机程序产品一起可用的外部存储设备，包括一个或多个数据库管理产品、网络服务器产品、应用服务器产品和/或其他附加软件组件。可移动数据存储介质的示例包括压缩盘只读存储器(CD-ROM)、数字通用盘只读存储器(DVD-ROM)、磁光盘、闪存驱动器等。不可移动数据存储介质的示例包括内部磁硬盘、SSD等。一个或多个存储器设备1306可以包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和/或非易失性存储器(例如，只读存储器(ROM)、闪存等)。
包含实现根据当前描述的技术的系统和方法的机制的计算机程序产品可以驻留在数据存储设备1304和/或存储器设备1306中，其可以被称为机器可读介质。应当意识到，机器可读介质可以包括任何有形的非暂时性介质，其能够存储或编码指令以执行本公开的任何一个或多个操作以供机器执行，或者能够存储或编码由此类指令使用或与之相关联的数据结构和/或模块。机器可读介质可以包括存储一个或多个可执行指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库，和/或关联的缓存和服务器)。
在一些实现方式中，计算机系统1300包括一个或多个端口，例如输入/输出(I/O)端口1308和通信端口1310，用于与其他计算、网络或车辆设备通信。应当意识到，端口1308-1310可以组合或分开，并且计算机系统1300中可以包括更多或更少的端口。
I/O端口1308可以连接到I/O设备或其他设备，信息通过它输入到计算系统1300或从计算系统1300输出。这样的I/O设备可以包括但不限于一个或更多输入设备、输出设备和/或其他设备。
在一种实现方式中，输入设备将人类生成的信号(例如人类语音、物理运动、物理触摸或压力等)转换成电信号作为输入数据经由I/O端口1308输入到计算系统1300。类似地，输出设备可以将经由I/O端口1308从计算系统1300接收的电信号转换成可以被人类感知为输出的信号，例如声音、光和/或触摸。输入设备可以是字母数字输入设备，包括用于通过I/O端口1308将信息和/或命令选择传送到处理器1302的字母数字和其他键。输入设备可以是另一种类型的用户输入设备，包括但不限于：方向和选择控制设备，例如鼠标、轨迹球、光标方向键、操纵杆和/或滚轮；一个或多个传感器，例如相机、麦克风、位置传感器、取向传感器、重力传感器、惯性传感器和/或加速度计；和/或触敏显示屏(“触摸屏”)。输出设备可以包括但不限于显示器、触摸屏、扬声器、触感和/或触觉输出设备等。在一些实现方式中，输入设备和输出设备可以是相同的设备，例如，在触摸屏的情况下。
在一种实现方式中，通信端口1310连接到网络，计算机系统1300可以通过该网络接收在执行本文阐述的方法和系统中有用的网络数据，以及传输由此确定的信息和网络配置改变。换言之，通信端口1310将计算机系统1300连接到一个或多个通信接口设备，该通信接口设备被配置为通过一个或多个有线或无线通信网络或连接而在计算系统1300和其他设备之间发送和/或接收信息。此类网络或连接的示例包括但不限于通用串行总线(USB)、以太网、Wi-Fi、近场通信(NFC)、长期演进(LTE)等。可以通过通信端口1310使用一个或多个这样的通信接口设备来直接通过点对点通信路径、通过广域网(WAN)(例如因特网)、通过局域网(LAN)、通过蜂窝网络(例如第三代(3G)或第四代(4G))网络或其他通信方式与一台或多台其他机器进行通信。此外，通信端口1310可以与天线或用于电磁信号发送和/或接收的其他链路通信。
在示例实现方式中，患者数据、骨模型(例如，通用的、患者特定的)、变换软件、配准软件、植入物模型和其他软件以及其他模块和服务可以通过存储在数据存储设备1304和/或存储器设备1306上并由处理器1302执行的指令来体现。计算机系统1300可以与手术系统100集成或以其他方式形成手术系统100的一部分。
图16中阐述的系统只是可以根据本公开的各方面采用或配置的计算机系统的一个可能示例。应当意识到，可以使用存储用于在计算系统上实施当前公开的技术的计算机可执行指令的其他非暂时性有形计算机可读存储介质。
在本公开中，本文公开的方法，例如，图5A-14C中所示的那些方法等，可以实现为设备可读的指令集或软件。此外，应当理解，所公开的方法中步骤的特定顺序或层次结构是示例方法的实例。基于设计偏好，可以理解，可以重新安排方法中步骤的特定顺序或层次结构，同时保持在所公开的主题内。随附的方法权利要求以示例顺序呈现各个步骤的元素，并且不一定意味着限于呈现的特定顺序或层次结构。
包括本文描述的任何方法的所描述的公开可以作为计算机程序产品或软件提供，其可以包括其上存储有指令的非暂时性机器可读介质，指令可以用于对计算机系统进行编程(或其他电子设备)以执行根据本公开的过程。机器可读介质包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用程序)存储信息的任何机制。机器可读介质可以包括但不限于磁存储介质、光存储介质；磁光存储介质，只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如EPROM和EEPROM)；闪存；或其他类型的适合存储电子指令的介质。
虽然已经参考各种实现方式描述了本公开，但是应当理解，这些实现方式是说明性的并且本公开的范围不限于它们。许多变化、修改、添加和改进是可能的。更一般地，已经在特定实现方式的上下文中描述了根据本公开的实施例。在本公开的各种实施例中或用不同的术语描述的功能可以不同地分离或组合在块中。这些和其他变化、修改、添加和改进可以落入所附权利要求中定义的公开范围内。
总的来说，虽然这里描述的实施例是参考特定实施例描述的，但是在不脱离本公开的精神和范围的情况下可以对其进行修改。还请注意，此处使用的术语“包括”旨在包含在内，即“包括但不限于”。
各种示例性实施例中所示的系统和方法的构造和布置仅是说明性的。尽管在本公开中仅详细描述了几个实施例，但许多修改是可能的(例如，各种元件的尺寸、维度、结构、形状和比例、参数值、安装布置、材料的使用、颜色、取向等的变化)。例如，元件的位置可以颠倒或以其他方式变化，并且离散元件或位置的性质或数量可以改变或变化。因此，所有此类修改旨在包括在本公开的范围内。根据替代实施例，任何过程或方法步骤的顺序或次序可以改变或重新排序。在不脱离本公开的范围的情况下，可以在示例性实施例的设计、操作条件和布置中进行其他替换、修改、改变和省略。

Claims (38)

1.一种配置为处理患者骨的超声图像的手术系统，该超声图像包括每个所述患者骨的骨表面，该系统包括：
计算设备，其包括处理设备和其上存储有一个或多个可执行指令的计算机可读介质，所述处理设备被配置为执行所述一个或多个可执行指令，所述一个或多个可执行指令i)检测所述超声图像中的每个所述患者骨的骨表面；以及ii)分离与每个所述患者骨的骨表面相关联的超声图像像素的第一点云。
2.如权利要求1所述的系统，其中，所述骨表面的检测通过形成所述一个或多个可执行指令的至少一部分的图像处理算法发生。
3.如权利要求2所述的系统，其中，所述图像处理算法包括机器学习模型。
4.如权利要求2所述的系统，其中，分离所述第一点云通过形成所述一个或多个可执行指令的至少一部分的像素分类神经网络发生。
5.如权利要求2所述的系统，其中，分离所述第一点云通过形成所述一个或多个可执行指令的至少一部分的基于图像的分类神经网络发生。
6.如权利要求1所述的系统，其中，所述处理设备执行所述一个或多个可执行指令以计算所述第一点云到分离的3D点云的变换，所述分离的3D点云被分离使得所述分离的3D点云的所述超声图像像素各自与所述患者骨的相应骨表面相关。
7.如权利要求6所述的系统，其中，在计算所述第一点云到所述分离的3D点云的变换时，针对超声探头跟踪器校准所述超声图像像素并且针对跟踪相机校准所述超声探头跟踪器。
8.如权利要求7所述的系统，其中，在针对所述超声探头跟踪器校准所述超声图像像素时，考虑超声波在特定介质中的传播速度。
9.如权利要求6所述的系统，其中，在计算所述第一点云到所述分离的3D点云的变换时，针对超声探头跟踪器校准所述超声图像像素，针对跟踪相机校准超声探头跟踪器，并且坐标系是经由位于所述患者骨的骨表面上的解剖结构跟踪器相对于所述骨表面的。
10.如权利要求6所述的系统，其中，分离所述第一点云通过对所述第一点云的几何分析发生。
11.如权利要求6所述的系统，其中，所述一个或多个可执行指令计算从所述患者骨取得的第二点云到所述患者骨的骨模型的初始或粗略配准。
12.如权利要求11所述的系统，其中，所述第二点云包括相对于所述患者骨上的多个跟踪器的多个点云。
13.如权利要求12所述的系统，其中，所述多个点云包括与所述患者骨的骨模型中的一个骨模型配准的一个点云和与所述患者骨的骨模型中的另一个骨模型配准的另一个点云。
14.如权利要求11所述的系统，其中，所述初始或粗略配准是基于界标的。
15.如权利要求11所述的系统，其中，所述初始或粗略配准是根据解剖结构跟踪器的位置和取向计算的。
16.如权利要求11所述的系统，其中，在计算所述初始或粗略配准时，由所述系统生成第三点云和第四点云，所述第三点云是所述患者骨中的第一骨相对于与所述第一骨相关联的第一跟踪器的点云，所述第四点云是所述患者骨中的第二骨相对于与所述第二骨相关联的第二跟踪器的点云。
17.如权利要求16所述的系统，其中，在计算所述初始或粗略配准时，所述系统将所述第三点云的骨表面点匹配到所述第一骨的计算机模型上，并将所述第四点云的骨表面点匹配到所述第二骨的计算机模型上。
18.如权利要求11所述的系统，其中，所述处理设备执行所述一个或多个指令以使用所述初始或粗略配准和所述分离的3D点云来计算最终多重骨配准，其中所述最终多重骨配准实现所述分离的3D点云与所述患者骨之间的最终配准。
19.如权利要求18所述的系统，其中，在计算其中在分类的3D骨表面点云与所述患者骨之间存在所述最终配准的所述最终多重骨配准时，所述系统迭代地细化所述分离的3D点云到所述患者骨的计算机模型的配准，并迭代地细化所述分离的3D点云的分离。
20.一种处理患者骨的超声图像的方法，该超声图像包括每个所述患者骨的骨表面，该方法包括：
检测所述超声图像中的每个所述患者骨的骨表面；以及
分离与每个所述患者骨的骨表面相关联的超声图像像素的第一点云。
21.如权利要求20所述的方法，其中，所述骨表面的检测通过图像处理算法发生。
22.如权利要求21所述的方法，其中，所述图像处理算法包括机器学习模型。
23.如权利要求21所述的方法，其中，分离所述第一点云通过像素分类神经网络发生。
24.如权利要求21所述的方法，其中，分离所述第一点云通过基于图像的分类神经网络发生。
25.如权利要求20所述的方法，还包括：计算所述第一点云到分离的3D点云的变换，所述分离的3D点云被分离使得所述分离的3D点云的超声图像像素各自与患者骨的相应骨表面相关。
26.如权利要求25所述的方法，其中，在计算所述第一点云到所述分离的3D点云的变换时，针对超声探头跟踪器校准所述超声图像像素并且针对跟踪相机校准所述超声探头跟踪器。
27.如权利要求26所述的方法，其中，在针对所述超声探头跟踪器校准所述超声图像像素时，考虑超声波在特定介质中的传播速度。
28.如权利要求25所述的方法，其中，在计算所述第一点云到所述分离的3D点云的变换时，针对超声探头跟踪器校准所述超声图像像素，针对跟踪相机校准所述超声探头跟踪器，并且坐标系是经由位于所述患者骨的骨表面上的解剖结构跟踪器相对于所述骨表面的。
29.如权利要求25所述的方法，其中，分离所述第一点云通过对所述第一点云的几何分析发生。
30.如权利要求25所述的方法，还包括计算从所述患者骨取得的第二点云到所述患者骨的骨模型的初始或粗略配准。
31.如权利要求30所述的方法，其中，所述第二点云包括相对于所述患者骨上的多个跟踪器的多个点云。
32.如权利要求31所述的方法，其中，所述多个点云包括与所述患者骨的骨模型中的一个骨模型配准的一个点云和与所述患者骨的所述骨模型的另一个骨模型配准的另一个点云。
33.如权利要求30所述的方法，其中，所述初始或粗略配准是基于界标的。
34.如权利要求30所述的方法，其中，根据解剖结构跟踪器的位置和取向来计算所述初始或粗略配准。
35.如权利要求30所述的方法，其中，在计算所述初始或粗略配准时，生成第三点云和第四点云，所述第三点云是所述患者骨中的第一骨相对于与所述第一骨相关联的第一跟踪器的点云，所述第四点云是所述患者骨中的第二骨相对于与所述第二骨相关联的第二跟踪器的点云。
36.如权利要求35所述的方法，其中，在计算所述初始或粗略配准时，将所述第三点云的骨表面点匹配到所述第一骨的计算机模型上，并将所述第四点云的骨表面点匹配到所述第二骨的计算机模型上。
37.如权利要求30所述的方法，还包括：使用所述初始或粗略配准和所述分离的3D点云来计算最终多重骨配准，其中所述最终多重骨配准实现所述分离的3D点云与所述患者骨之间的最终配准。
38.如权利要求37所述的方法，其中，在计算其中在所述分类的3D骨表面点云与所述患者骨之间存在所述最终配准的所述最终多重骨配准时，迭代地细化所述分离的3D点云到所述患者骨的计算机模型的配准，并且迭代地细化所述分离的3D点云的分离。
CN202180080158.2A 2020-10-27 2021-10-26 基于超声的多重骨配准手术系统及在计算机辅助手术中的使用方法 Pending CN116528786A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063105973P 2020-10-27 2020-10-27
US63/105,973 2020-10-27
PCT/US2021/072042 WO2022094554A1 (en) 2020-10-27 2021-10-26 Ultrasound based multiple bone registration surgical systems and methods of use in computer-assisted surgery

Publications (1)

Publication Number Publication Date
CN116528786A true CN116528786A (zh) 2023-08-01

Family

ID=81258781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180080158.2A Pending CN116528786A (zh) 2020-10-27 2021-10-26 基于超声的多重骨配准手术系统及在计算机辅助手术中的使用方法

Country Status (7)

Country Link
US (1) US20220125517A1 (zh)
EP (1) EP4236810A1 (zh)
JP (1) JP2023548466A (zh)
KR (1) KR20230093023A (zh)
CN (1) CN116528786A (zh)
AU (1) AU2021369585A1 (zh)
WO (1) WO2022094554A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239611A1 (en) * 2022-06-09 2023-12-14 Howmedica Osteonics Corp. Prediction of bone based on point cloud
US11806093B1 (en) 2022-10-14 2023-11-07 Verdure Imaging, Inc. Apparatus and method for tracking hand-held surgical tools
WO2024089423A1 (en) * 2022-10-25 2024-05-02 Through Leaves Limited System and method for three-dimensional imaging
CN115861329B (zh) * 2023-03-01 2023-05-12 深圳惟德精准医疗科技有限公司 皮肤区域的配准方法及相关产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5575794A (en) * 1993-02-12 1996-11-19 Walus; Richard L. Tool for implanting a fiducial marker
US20070225595A1 (en) * 2006-01-17 2007-09-27 Don Malackowski Hybrid navigation system for tracking the position of body tissue
US20130144135A1 (en) * 2011-08-02 2013-06-06 Mohamed R. Mahfouz Method and apparatus for three dimensional reconstruction of a joint using ultrasound
AU2018316801B2 (en) * 2017-08-16 2023-12-21 Mako Surgical Corp. Ultrasound bone registration with learning-based segmentation and sound speed calibration
US11776243B2 (en) * 2018-07-29 2023-10-03 Nano-X Ai Ltd. Systems and methods for automated detection of visual objects in medical images

Also Published As

Publication number Publication date
AU2021369585A1 (en) 2023-06-22
JP2023548466A (ja) 2023-11-17
US20220125517A1 (en) 2022-04-28
EP4236810A1 (en) 2023-09-06
WO2022094554A1 (en) 2022-05-05
KR20230093023A (ko) 2023-06-26

Similar Documents

Publication Publication Date Title
AU2020260503B2 (en) Preoperative planning and associated intraoperative registration for a surgical system
US20220104881A1 (en) Preoperative planning and associated intraoperative registration for a surgical system
US11737826B2 (en) Systems and methods for preoperative planning and postoperative analysis of surgical procedures
CN113164209B (zh) 外科手术系统、计算机可读介质
US9275192B2 (en) Systems and methods for customizing interactive virtual boundaries
US20220125517A1 (en) Ultrasound based multiple bone registration surgical systems and methods of use in computer-assisted surgery
AU2023202057A1 (en) Surgical registration tools, systems, and methods of use in computer-assisted surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination