CN115942913A - 用于在关节手术程序期间视觉引导骨去除的系统和方法 - Google Patents

用于在关节手术程序期间视觉引导骨去除的系统和方法 Download PDF

Info

Publication number
CN115942913A
CN115942913A CN202180030039.6A CN202180030039A CN115942913A CN 115942913 A CN115942913 A CN 115942913A CN 202180030039 A CN202180030039 A CN 202180030039A CN 115942913 A CN115942913 A CN 115942913A
Authority
CN
China
Prior art keywords
dimensional
dimensional image
image
bone removal
overlay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180030039.6A
Other languages
English (en)
Inventor
B·福特斯
R·戈比
C·泽
U·霍夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker Corp
Original Assignee
Stryker Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stryker Corp filed Critical Stryker Corp
Publication of CN115942913A publication Critical patent/CN115942913A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

用于在手术程序期间引导骨去除的方法包括：在手术程序期间接收关节的至少一部分的二维图像；基于二维图像中与关节的至少一部分相关的一个或多个特征来确定关节的至少一部分的预生成三维模型与二维图像的对齐，其中预生成三维模型包含规划骨去除的表示；基于确定的对齐来生成叠加图像，该叠加图像包含二维图像上规划骨去除的表示的至少一部分的叠加；和显示叠加图像以引导在手术程序期间的骨去除。

Description

用于在关节手术程序期间视觉引导骨去除的系统和方法
相关申请的交叉参考
本申请权利要求2020年2月21日递交的美国临时申请号62/979,993的权益，所述申请的全部内容特此通过参考结合至本文中。
领域
本公开总体上涉及骨科，并且更具体地涉及用于治疗关节的手术方法和系统。
背景
骨科为专注于骨骼病症患者的诊断、矫正、预防和治疗的医学专业，所述骨科病症包括例如组成肌肉骨骼系统的骨、关节、肌肉、韧带、肌腱、神经和皮肤的病症或障碍。由过度使用或过度拉伸或者由于其他因素(包括可导致偏离“正常”关节形态的遗传因素)可发生关节损伤或病症，比如髋关节或其他关节的那些。
关节易受多种不同病变(例如其可导致偏离正常关节形态的病症或障碍)的影响。这些病变可能具有先天性和损伤相关的起源两者。在一些情况下，病变可能一开始就为严重的。在其他情况下，病变可能一开始轻微，但如果不治疗，便可能随着时间的推移而恶化。更具体地，在许多情况下，例如由于关节的动态特性、施加于关节上的大量重量负荷或其组合，现有的病变可能加剧。病变可能在最初或之后明显干扰患者的舒适度和生活方式，并且可能需要手术治疗。
骨科手术的当前趋势为使用微创技术比如关节的关节镜检查来治疗关节病变，在所述关节镜检查中将内窥镜通过小切口插入到关节中。关节镜下进行的程序包括骨病变的清创，其中关节中偏离“正常”或目标形态的骨部分被去除。在清创程序期间，外科医生使用内窥镜摄像机查看清创区域，但由于所得内窥镜图像的视野有限且有些扭曲，因此外科医生无法一次性查看全部病变。因此，外科医生通常很难确切地确定应当去除的骨的量，以及剩余骨的形状是否具有期望的几何形状。
概述
根据一个方面，系统和方法包括在关节的二维图像上显示规划骨去除的三维表示的叠加。二维图像可为关节的术前生成或术中生成图像，其显示在医学程序之前或期间处于其当前状态的关节，并且规划骨去除的三维表示可指示在三维空间中应从关节中去除骨的位置，使得该叠加说明了应在二维图像中捕获的骨轮廓和超出二维成像平面的关节部分两者处去除骨的位置。通过提供作为关节二维图像上的叠加的规划骨去除的三维表示，执业医师可更好地理解恰好超出二维图像中捕获的骨轮廓的应去除骨的位置。
根据一个方面，系统和方法可通过从二维图像提取与目标骨位置相关的一个或多个特征并使用这些特征来确定关节的三维模型与二维图像的对齐来生成叠加。然后可将二维图像中规划骨去除的表示渲染为在适当位置和适当方向上的叠加，以使得执业医师能够将成像平面之外应去除骨的位置和量可视化。任选地，随着手术进行，可对生成的新生成的二维图像重复该过程。
根据一个方面，用于可视化与关节相关的规划骨去除的方法包括：接收关节的至少一部分的二维图像；基于二维图像中与关节的至少一部分相关的一个或多个特征来确定关节的至少一部分的预生成三维模型与二维图像的对齐，其中预生成三维模型包含规划骨去除的表示；基于确定的对齐来生成叠加图像，该叠加图像包含二维图像上规划骨去除的表示的至少一部分的叠加；和显示叠加图像。
任选地，三维模型可为基于关节的一次或多次扫描而预生成的。
任选地，关节可包括股骨，并且一个或多个特征可与股骨头的中心、股骨颈的中心线和股骨头的外缘中的至少一个相关联。
任选地，关节可包括骨盆，并且一个或多个特征可与髋臼中心、闭孔和耻骨联合中的至少一个相关联。
任选地，关节可包括胫骨，并且一个或多个特征可与胫骨平台、胫骨干和髁间隆突中的至少一个相关联。
任选地，关节可包括脊椎骨，并且一个或多个特征可与椎弓根、小面、上终板和下终板中的至少一个相关联。
任选地，确定关节的至少一部分的预生成三维模型与二维图像的对齐可包括基于一个或多个特征平移和旋转三维模型。
任选地，确定关节的至少一部分的预生成三维模型与二维图像的对齐可包括检测二维图像中与骨周边相关的边缘。
任选地，确定关节的至少一部分的预生成三维模型与二维图像的对齐可包括确定二维图像中股骨头的中心，确定二维图像中股骨颈的中心线，将三维模型中的模型股骨头中心与二维图像中的股骨头中心对齐，和将三维模型中模型股骨颈的中心线与二维图像中股骨颈的中心线对齐。
任选地，规划骨去除的表示可包括指示规划骨去除的位置和量的热图、指示规划骨去除的位置和量的等高线图以及规划骨去除区域的轮廓中的至少一个。
任选地，三维模型可包括规划骨去除之外的骨的表示，且规划骨去除之外的骨的表示可从叠加中省略。
任选地，该方法可进一步包括确定与手术程序期间已去除的骨相关的三维模型的一部分以及从叠加中省略三维模型的该部分。任选地，从叠加中省略的三维模型的该部分可为与规划骨去除相关的热图的一部分。
任选地，该方法可进一步包括在显示叠加图像之后，响应于用户输入来修改二维图像上规划骨去除的表示的至少一部分的叠加的位置。
任选地，该方法可进一步包括在新位置捕获该关节部分的新二维图像，确定预生成三维模型与新二维图像的更新的对齐，基于确定的更新的对齐来生成更新的叠加图像，和显示更新的叠加图像以指示骨去除的进度。
任选地，规划骨去除的表示可为三维的，并且生成叠加图像可包括将规划骨去除的表示投影到二维平面上。
任选地，规划骨去除的表示可指示与凸轮型股骨髋臼撞击症相关的规划骨去除。
任选地，规划骨去除的表示可指示与钳夹型股骨髋臼撞击症相关的规划骨去除。
任选地，规划骨去除的表示可指示在胫骨高位截骨术(HTO)期间锯切胫骨和使胫骨变形以治疗膝关节变形。
任选地，规划骨去除的表示可指示在脊柱融合期间用于放置椎弓根螺钉的规划钻孔。
任选地，二维图像可在术中接收自x-射线系统，比如C臂型荧光镜。
任选地，三维模型可基于来自第一类型成像系统的成像数据，而二维图像可从不同于第一类型的第二类型成像系统接收。任选地，第一类型成像系统可为MRI系统或CT系统，而第二类型成像系统可为C臂型荧光镜。
根据一个方面，用于在手术程序期间引导骨去除的系统可包括一个或多个处理器、存储器和一个或多个程序，其中一个或多个程序被存储于存储器中并配置为由一个或多个处理器执行，所述一个或多个程序包括用于以下的指令：接收关节的至少一部分的二维图像；基于二维图像中与关节的至少一部分相关的一个或多个特征来确定关节的至少一部分的预生成三维模型与二维图像的对齐，其中预生成三维模型包含规划骨去除的表示；基于确定的对齐来生成叠加图像，该叠加图像包含二维图像上规划骨去除的表示的至少一部分的叠加；和将叠加图像传输到显示器。
任选地，可配置系统用于以通信方式连接于生成二维图像的术中成像系统。
任选地，一个或多个程序可包括用于接收用户输入以在二维图像上重新定位规划骨去除的表示的至少一部分的叠加的指令。
任选地，系统可包括用于显示二维图像和接收用户输入的触摸屏显示器或增强现实系统。
任选地，三维模型可为基于关节的一次或多次扫描而预生成的。
任选地，一个或多个特征可与股骨头的中心、股骨颈的中心线和股骨头的外缘中的至少一个相关联。
任选地，确定关节的至少一部分的预生成三维模型与二维图像的对齐可包括基于一个或多个特征平移和旋转三维模型。
任选地，确定关节的至少一部分的预生成三维模型与二维图像的对齐可包括检测二维图像中与骨周边相关的边缘。
任选地，确定关节的至少一部分的预生成三维模型与二维图像的对齐可包括确定二维图像中股骨头的中心，确定二维图像中股骨颈的中心线，将三维模型中的模型股骨头中心与二维图像中的股骨头中心对齐，和将三维模型中模型股骨颈的中心线与二维图像中股骨颈的中心线对齐。
任选地，规划骨去除的表示可包括指示规划骨去除的位置和量的热图、指示规划骨去除的位置和量的等高线图以及规划骨去除区域的轮廓中的至少一个。
任选地，三维模型可包括规划骨去除之外的骨的表示，且规划骨去除之外的骨的表示可从叠加中省略。
任选地，一个或多个程序可包括用于确定与手术程序期间已去除的骨相关的三维模型的一部分以及从叠加中省略三维模型的该部分的指令。任选地，从叠加中省略的三维模型的该部分可为与规划骨去除相关的热图的一部分。
任选地，一个或多个程序可包括用于在显示叠加图像之后，响应于用户输入来修改二维图像上规划骨去除的表示的至少一部分的叠加的位置的指令。
任选地，一个或多个程序可包括用于以下的指令：在新位置捕获该关节部分的新二维图像，确定预生成三维模型与新二维图像的更新的对齐，基于确定的更新的对齐来生成更新的叠加图像，和显示更新的叠加图像以指示骨去除的进度。
任选地，规划骨去除的表示可为三维的，并且生成叠加图像包括将规划骨去除的表示投影到二维平面上。
任选地，规划骨去除的表示可指示与凸轮型股骨髋臼撞击症相关的规划骨去除。
任选地，规划骨去除的表示可指示与钳夹型股骨髋臼撞击症相关的规划骨去除。
任选地，二维图像可在术中从x-射线系统接收。
任选地，三维模型可基于来自第一类型成像系统的成像数据，而二维图像可从不同于第一类型的第二类型成像系统接收。任选地，第一类型成像系统可为MRI系统或CT系统，而第二类型成像系统可为C臂x-射线系统。
根据一个方面，非暂时性计算机可读介质存储用于由成像系统的一个或多个处理器执行以实施任何上述方法的指令。
根据一个方面，计算机程序产品包括计算机可执行指令，所述指令当由可编程计算机执行时，使得计算机实施任何上述方法。
应当意识到，鉴于系统描述的任何变化、方面、特征和选项同样适用于方法，反之亦然。还应当清楚的是，可组合上述变化、方面、特征和选项中的任何一个或多个。
附图简述
现将参照附图仅通过实例描述本发明，其中：
图1A-1D为显示例如髋部运动的各个方面的示意图；
图2为髋关节区域骨结构示意图；
图3为股骨的示意性前视图；
图4为股骨顶端的示意性后视图；
图5为骨盆的示意图；
图6-12为显示髋关节区域骨和软组织结构的示意图；
图13为显示凸轮型股骨髋臼撞击症(即凸轮型FAI)的示意图；
图14为显示钳夹型股骨髋臼撞击症(即钳夹型FAI)的示意图；
图15为显示盂唇撕裂的示意图；
图16为显示患者髋部α角测定的示意图；
图17为显示患者髋部中心边缘角测定的示意图；
图18为根据一些实施方案的手术套件的示意图；
图19说明根据一些实施方案用于在手术程序期间引导外科医生从关节的一部分去除骨的方法1900；
图20说明根据一些实施方案应用于股骨的方法1900的方面；
图21说明用于提取股骨特征的步骤1904的实施方案的实施方式；
图22说明根据一些实施方案显示由x-射线成像系统捕获的髋关节的一部分的二维x-射线图像的实例，其中用户提示被置于图像上；
图23说明根据一些实施方案股骨头边缘检测算法的结果的实例；
图24说明根据一个实施方案来自霍夫变换的环绕经边缘检测所检测到的股骨头边缘的圆形的实例；
图25说明根据一些实施方案用于确定三维模型与二维图像的对齐的方法；
图26说明应用图25的方法的实施方案，所述方法用于将受试者股骨的至少上部的三维模型与手术程序期间对股骨捕获的受试者股骨的至少上部的二维图像对齐；
图27说明根据一些实施方案用于模型对齐的可用自由度；
图28A和28B说明一些实施方案的叠加图像；
图29A和29B说明根据一些实施方案提供用户叠加调整的叠加图像用户界面；
图30说明根据一些实施方案用于生成叠加图像的方法，所述叠加图像具有反映在手术程序期间已去除的骨的规划骨去除的更新表示；
图31A-31C说明根据一个实施方案的图30的方法的结果；
图32说明根据各种实施方案用于生成并显示叠加图像给执业医师以在手术程序期间引导执业医师进行骨去除的系统；
图33说明根据一些实施方案的计算系统的实例；
图34说明根据一些实施方案的反向投影技术；
图35说明根据各种实施方案使用经训练以检测股骨头和股骨颈的机器学习模型生成得分的边界框；
图36说明根据各种实施方案包括工具的钟面位置的指示的图形用户界面；和
图37说明根据各种实施方案用于确定三维模型与二维图像的对齐的示例性机器学习算法。
详述
现将详细参考本发明各个方面和变化的实施方式和实施方案，其实例在附图中说明。本文描述了各种设备、系统和方法。尽管描述了设备、系统和方法的至少两种变化，但其他变化可包括具有所描述的所有或一些方面的组合、以任何合适方式组合的本文描述的设备、系统和方法的方面。下文现将参照附图更全面地描述实例实施方案；然而，它们可以不同的形式体现，并且不应解释为限于本文阐述的实施方案。相反，提供这些实施方案以使得本公开将为彻底和完整的，并且将向本领域的技术人员充分传达示例性实施方式。
根据各种实施方案，根据本文所述原理的系统和方法可提供偏离基线关节形态的关节的至少一个三维区域的可视化。可在对关节的手术程序之前、期间和/或之后提供可视化。可视化可指示使该区域达到基线关节形态的骨去除规划。可视化可被用于引导医生，比如引导外科医生规划手术治疗和/或实施手术治疗。可视化可被叠加在术前捕获的骨的二维图像上以引导医生在术中规划医学程序；叠加在术中捕获的骨的二维图像上以使得外科医生可相对于骨的术中状态来可视化规划骨去除；或叠加在术后捕获的骨的二维图像上以评价骨相对于规划的状态。应当理解，本文所述的系统和方法可用于非手术目的，比如助于评价关节病变或助于评价手术或非手术程序的成功。
可从术前由受试者的一次或多次扫描生成的受试者关节的三维模型提取规划骨去除的可视化。规划骨去除的可视化可与通过将三维模型与代表目标关节形态的基线数据相比较而鉴定的所建模关节自基线关节形态的偏离相关。如下文进一步讨论的，可视化可通过确定三维模型与二维图像的对齐而被叠加在关节的术中生成的二维图像上。
如本文使用的“骨去除”包括任何切除骨的方法，包括钻孔、锯切、打孔和使用骨凿的骨去除。
在以下描述中，应当理解以下描述中使用的单数形式“一(a)”、“一种(an)”和“该(the)”也预期包括复数形式，除非上下文另外明确指明。还应当理解，如本文使用的术语“和/或”是指并且包括一个或多个相关列出项目的任何和所有可能的组合。应当进一步理解，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”，当在本文中使用时，指定所述特征、整数、步骤、操作、元件、组件和/或单元的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件、单元和/或其组的存在或添加。
本公开的某些方面包括本文以算法形式描述的过程步骤和指令。应当注意的是，本公开的过程步骤和指令可体现在软件、固件或硬件中，并且当体现在软件中时，可被下载以驻留在各种操作系统使用的不同平台上并由其操作。除非如从以下讨论中显而易见的那般另外具体地说明，否则应当意识到，在整个描述中，使用术语比如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“显示”、“生成”等的讨论是指计算机系统或类似的电子计算设备的动作和过程，所述计算机系统或类似的电子计算设备在计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备中操纵和转换表示为物理(电子)量的数据。
本公开在一些实施方案中还涉及用于实施本文中操作的设备或系统。设备或系统可为专门为所需目的构建的，可包含由存储于计算机中的计算机程序选择性地激活或重新配置的通用计算机，或者可包括其任何组合。用于实施本文中操作的计算机指令可被存储于非暂时性计算机可读存储介质的任何组合中，所述存储介质比如但不限于任何类型的盘，包括软盘、USB闪存驱动器、外部硬盘驱动器、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡或者适合于存储电子指令的任何类型的介质，并且每个都连接于计算机系统总线。用于实施本文中操作的一个或多个指令可由一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理单元(DSP)、图形处理单元(GPU)或中央处理单元(CPU)实施或在其中执行。此外，本文提及的计算机可包括单个处理器，或者可为采用多个处理器设计以增加计算能力的架构。
本文描述的方法、设备和系统与任何特定计算机或其他装置没有内在联系。各种通用系统也可与根据本文讲授的程序一起使用，或者其可证明构建更专用装置来实施所需的方法步骤为便利的。各种这些系统所需的结构将从以下描述中显现。另外，本发明没有参考任何特定编程语言来描述。应当意识到，可使用各种编程语言来实施如本文所述发明的讲授。
尽管以下实例通常涉及髋关节、髋关节病理学以及髋关节特征和测量，但是应当理解，本文根据各种实施方案描述的系统、方法、技术、可视化等可被用于分析和可视化其他关节，包括膝盖、肩膀、肘部、脊柱、脚踝等。
根据一些实施方案，可向医师提供关于关节形态自目标形态的偏离程度以及为实现目标形态所应去除的骨的量的改进引导，例如在微创关节镜程序或开放式手术程序期间。根据一些实施方案，可视化可提供给医师关于髋关节形态测量的改进引导，所述测量包括α角、外侧中心边缘角、髋臼倾转和股骨扭转、Tönnis角、颈干角和髋臼覆盖度，它们可帮助执业医师衡量对象形态自目标形态的偏离。
目标关节形态可为给定受试者可能期望的任何关节形态。目标关节形态可基于任何参考患者群体(比如正常患者群体)的解剖结构代表。例如，基线数据可为源于对健康患者群体的研究和/或源于基于测量、计算机模拟、计算等生成的模型的“正常”关节的模型。术语目标、基线和参考在本文中可互换使用，以描述与受试者的关节形态进行比较的关节形态的特征。
可从对关节的解剖结构更精确的理解中获得对各种关节病理学以及根据本文所述的各种实施方案提供的优点的更好理解。髋关节形成于股骨与髋部的接合处。髋关节为球窝关节，并且能够进行大范围的不同运动，例如屈伸、外展和内收、内外旋等，如图1A-1D所示。可能除肩关节外，髋关节也许为身体中最灵活的关节。在一天的大部分时间里，在静态(例如站立和坐着)和动态(例如步行和跑步)条件两者下，髋关节均会承受大量重量负荷。
更具体地，并参见图2，股骨球被接收在髋部的髋臼杯中，其中多个韧带和其他软组织用于使骨保持在关节连接状态下。如图3所示，股骨其总体特征为细长主体，在其顶端处以成角度的颈终止，该颈支撑半球形头部(有时也被称为球)。如图3和4所示，被称为大转子的大突出部从邻近于颈的细长主体向外侧和向后突出。被称为小转子的第二略小的突出部从邻近于颈的细长主体向内侧和向后突出。转子间嵴沿股骨的周边在大转子和小转子之间延伸。
参见图5，骨盆由3块构成骨组成：髂骨、坐骨和耻骨。这3块骨彼此合作(它们一般到25岁时骨化成单个“髋骨”结构)，从而形成髋臼杯。髋臼杯接收股骨头。
股骨头和髋臼杯两者都覆盖有一层关节软骨，其保护下面的骨并促进运动(参见图6)。各种韧带和软组织用于将股骨球在髋臼杯内保持于适当位置。更具体地，并且参见图7和8，圆韧带在股骨球和髋臼杯的基部之间延伸。参见图9，盂唇被设置围绕髋臼杯的外缘。盂唇用于增加髋臼杯的深度，并且有效地在股骨球和髋臼杯边缘之间建立吸力密封，从而助于将股骨头保持在髋臼杯中。另外，并且参见图10，纤维囊在股骨颈和髋臼杯边缘之间延伸，有效地将髋关节的球窝构件与身体的其余部分密封隔开。前述结构被在股骨和髋部之间延伸的一组3个主要韧带(即髂股韧带、坐股韧带和耻股韧带)环绕和加强(参见图11和图12)。
髋关节易受多种不同病变的影响。这些病变可能具有例如先天性和损伤相关的起源两者。例如，髋关节的先天性病变涉及股骨颈和髋臼杯边缘之间的撞击。在一些情况下，并且参见图13，该撞击可能由于股骨几何形状的不规则而发生。该类型的撞击有时被称为凸轮型股骨髋臼撞击症(即凸轮型FAI)。在其他情况下，并且参见图14，撞击可能由于髋臼杯几何形状的不规则而发生。该后者类型的撞击有时被称为钳夹型股骨髋臼撞击症(即钳夹型FAI)。撞击可能导致运动范围缩小、显著疼痛以及在一些情况下的髋关节显著退化。
髋关节先天性病变的另一个实例涉及球的关节面和/或髋臼杯的关节面中的缺陷。该类型的缺陷有时开始相当小，但通常随着时间的推移尺寸增大，这通常是由于髋关节的动态特性以及由于髋关节的承重特性。关节缺陷可能导致显著疼痛，诱发或加剧关节炎病症，以及在一些情况下导致髋关节的显著退化。
髋关节的损伤相关病变的实例涉及对于盂唇的创伤。在许多情况下，事故或运动相关的损伤可导致盂唇撕裂，一般伴随延伸通过盂唇主体的撕裂(例如参见图15)。这些类型的损伤对于患者可为疼痛的，并且如果不治疗，则可能导致髋关节的显著退化。
骨科手术的当前趋势为使用微创技术治疗关节病变。例如，常见的是使用微创“锁孔”技术将肩关节中的韧带重新附接，该项技术不需要“摊开”肩关节囊。此外，常见的是例如使用微创技术来修复膝关节中撕裂的半月板软骨和/或置换膝关节中断裂的ACL韧带。尽管此类微创方法可能就外科医生而言需要另外的培训，但是此类程序通常为患者提供显著的优点，并且现已成为许多肩关节和膝关节病变的标准护理。
除上述之外，由于用于治疗肩关节和膝关节病变的微创方法的广泛可用性，当前趋势为在病变的生命周期中更早地提供此种治疗，从而尽快地解决患者疼痛，并从而最小化病变本身的任何恶化。这与传统的手术实践形成鲜明对比，传统的手术实践通常要求尽可能长时间地推迟手术程序，从而使患者免受通常与侵入性手术相关的显著创伤。
用于髋关节病变的微创治疗滞后于肩关节和膝关节病变的微创治疗。这可能例如是由于(i) 髋关节本身的几何形状，以及(ii) 一般必须在髋关节中解决的病变的特性。
髋关节总体上被认为是“紧密”关节，就此意义而言，在关节自身的范围内存在相对小的操纵空间。这与膝关节形成对比，当与髋关节相比较时，膝关节总体上被认为是相对宽敞的。因此，外科医生对髋关节实施微创手术相对地更具挑战性。
此外，进入髋关节内部的自然通路(即相邻骨之间自然存在的通路)通常对髋关节的约束比对肩关节或膝关节大得多。这种有限的访问使对髋关节有效地实施微创程序进一步复杂化。
除上述之外，髋关节病变(例如可能导致关节偏离基线解剖结构的病症或障碍)的特性和位置也使得实施微创程序复杂化。例如，在髋关节中盂唇的典型撕裂的情况下，通常必须使用接近线将器械引入到关节空间中，接近线在一些位置中被设定为与修复线成25度或更大的角度。这使得钻到骨中例如比其中接近线与修复线有效对齐(比如在肩关节中经常是所述情况)的情况要复杂得多。此外，髋关节内的工作空间一般地极其有限，这使得其中接近线不与修复线对齐的修复进一步复杂化。
由于上述原因，微创髋关节程序仍然相对困难，并且患者必须经常尽可能长时间地设法控制其髋关节病变，直至无法再避免部分或全髋置换，然后该程序通常作为高度侵入性的开放式程序进行，具有与高度侵入性的开放式程序相关的所有缺点。
如上所述，髋关节镜检查在各种髋部病变的诊断和治疗中变得越来越常见。然而，由于髋关节的解剖结构和与之相关的病变，髋关节镜检查目前似乎仅适用于选定的病变，并且即使如此，髋关节镜检查通常也取得了有限成功。
有时在关节镜下尝试的一种程序涉及用于治疗凸轮型股骨髋臼撞击症(即凸轮型FAI)的股骨清创。更具体地，对于凸轮型股骨髋臼撞击症，股骨几何形状的不规则可导致股骨和髋臼杯边缘之间的撞击。对于凸轮型股骨髋臼撞击症的治疗一般涉及使用诸如磨锥和骨凿等器械对股骨颈和/或股骨头进行清创，以去除导致撞击的骨畸形。重要的是将股骨小心清创，因为只有不符合期望的几何形状的骨应当被去除，以确保阳性结果以及使治疗之后骨折的可能性最小化。因此，当清创作为开放式手术程序实施时，外科医生通常使用具有预成形曲率的清创模板来引导他们从股骨中去除适当量的骨。
然而，当在关节镜下尝试清创程序时，具有预成形曲率的常规清创模板不能穿过狭窄的锁孔切口，并且因此清创模板通常无法引导外科医生重塑骨表面。因此，清创通常必须“徒手”实现。除上述之外，凸轮病变的视域也普遍受到限制。首先，外科医生使用窥镜和摄像机来查看切除区域，但窥镜图像的视野有限并且有些扭曲。此外，由于窥镜被置于靠近骨表面，因此外科医生无法“一次性”查看全部病变。其次，外科医生还利用荧光屏拍摄解剖结构的X-射线图像。这些X-射线图像补充来自窥镜的关节镜视图，但仍仅限于三维凸轮病变的二维表示。
由于上述原因，外科医生通常很难确切地确定应当去除的骨的量，以及剩余骨的形状是否具有期望的几何形状。在实践中，外科医生倾向于过于谨慎并去除较少的骨。重要的是，凸轮病变切除不足为髋关节镜翻修术的主要原因。
有时在关节镜下尝试的另一种程序的实例涉及钳夹型股骨髋臼撞击症(即钳夹型FAI)的治疗。更具体地，对于钳夹型股骨髋臼撞击症，髋臼几何形状的不规则可导致股骨和髋臼杯边缘之间的撞击。对于钳夹型股骨髋臼撞击症的治疗一般涉及使用诸如磨锥和骨凿等器械对髋臼杯边缘进行清创，以去除导致撞击的骨畸形。在一些情况下，在对髋臼杯边缘进行清创之前，从髋臼骨释放盂唇，从而暴露下面的髋臼杯边缘，并且然后将盂唇重新附接于经清创的髋臼杯边缘。重要的是将髋臼杯边缘小心清创，因为只有不符合期望的几何形状的骨应当被去除，以减轻撞击同时使从髋臼杯边缘去除太多骨(这可导致关节不稳定性)的可能性最小化。
然而，当在关节镜下尝试清创程序时，清创通常必须徒手实现。在这种情况下，外科医生通常很难确切地确定应当去除的骨的量，以及剩余的骨是否具有期望的几何形状。在实践中，外科医生倾向于过于谨慎并去除较少的骨。重要的是，钳夹病变切除不足可能使得需要髋关节镜翻修术。
用于诊断股骨髋臼撞击症(FAI)的两种常见解剖测量为用于凸轮型撞击的α角(图16)和用于钳夹型撞击的中心边缘角(图17)。这些测量一般从术前图像(例如术前X-射线图像)中测量。这些测量用于确定患者的髋解剖结构偏离正常(例如基线)健康髋解剖结构的程度。
例如，健康的髋部一般具有各处小于约42度至约50度的α角；因此，具有大于约42度至约50度的α角的患者可为FAI手术的候选者。这些仅为示例性的α角范围并且不将本文的系统和方法限于α角的任何特定范围。在对患者进行初步检查期间，外科医生一般会拍摄患者髋部的X-射线。如果患者初始诊断为FAI，则患者还可获得其髋部的MRI或CT扫描以进一步评估导致FAI的骨病变。
大多数的现今成像技术(例如X-射线、CT、MRI)为数字的，并且因此图像可被导入到计算机软件中，并由计算机软件操纵。使用导入的数字图像，外科医生能够测量α角(和/或中心边缘角)。例如，外科医生将数字图像导入到对于医学成像使用DICOM (医学数字成像和通信)标准的许多可用软件程序之一中。为用数字图像进行α角(或中心边缘角)测量，外科医生必须首先手动创建几何形状并将其叠加到数字医学图像上。
例如，并且参见图16，为测量α角，外科医生手动创建圆形5并将其置于股骨头10上，且然后手动确定圆形的尺寸，使得圆形的边缘与股骨头的边缘匹配。外科医生然后手动创建线15并沿股骨颈20的中线放置该线15。外科医生然后手动绘制第二条线25，其始于股骨头的中心处并穿过表示凸轮病变开始的位置30(即其中骨首先延伸到围绕股骨头设定的圆形外部的位置)。外科医生然后手动选择这两条线并指示软件计算这两条线之间的角度；结果为α角35。
相应地，并且参见图17，为测量中心边缘角，外科医生手动创建垂直线40，其始于股骨头的中心并垂直于骨盆横轴。外科医生然后手动绘制第二条线45，其始于股骨头的中心并穿过表示钳夹病变开始的位置50(即髋臼杯的边缘)。外科医生然后手动选择这两条线并指示软件计算这两条线之间的角度；结果为中心边缘角55。
这些α角测量(或中心边缘角测量)一般大约在患者最初接受检查的时间实施，这一般发生在手术之前数周或数月。在手术时，外科医生可将α角测量(或中心边缘角测量)的副本(例如打印输出)带去手术室，使得打印输出可在手术期间用作参考。外科医生还可用位于或靠近手术室的计算机访问这些测量结果，该计算机连接于医院的PACS系统(图片存档和通信系统)。无论哪种方式，外科医生均可在手术期间把术前测量结果用作参考。
然而，当外科医生在对凸轮(或钳夹)上的骨清创时，由于难以将外科医生在内窥镜图像中所见的与术前测量结果进行比较，因此术前测量结果可能不足以充分地引导外科医生关于应当去除的骨的位置和量。因此，如下文关于各种实施方案进一步讨论的，系统和方法可通过显示在手术程序期间捕获的关节的二维图像上规划骨去除的三维图像表示的叠加而在对关节的手术程序期间引导外科医生。规划骨去除的三维表示可指示三维空间中应从关节去除的骨的位置，使得外科医生可更好地理解规划骨去除与外科医生经内窥镜成像所见的内容如何关联。
图18说明包括根据一些实施方案并入用于在手术程序期间引导外科医生从关节的一部分去除骨的系统的手术套件。在典型的关节镜手术套件中，外科医生使用关节镜105和显示器110以直接查看内部手术部位。另外，外科医生还可使用C臂X-射线机115和荧光镜显示器120以使内部手术部位成像。根据各种实施方案，手术套件可包括根据本文描述的原理用于在手术程序期间引导外科医生的视觉引导系统125，该系统可生成叠加图像，其中从骨的三维模型提取的骨去除的表示被叠加在术中捕获的骨的二维图像上，比如通过C臂X-射线机115。
根据一些实施方案，视觉引导系统125包含用于使视觉引导系统提供本文公开的功能的一个或多个处理器、存储器和存储于存储器中的一个或多个程序。根据一些实施方案，视觉引导系统125包含具有集成计算机处理器和用户输入/输出功能的平板设备，例如触摸屏。视觉引导系统125可至少部分地位于无菌区中，例如视觉引导系统125可包含安装于手术台或悬臂式平板支撑件的触摸屏平板电脑。视觉引导系统125可被无菌布覆盖以在外科医生操作触摸屏平板电脑时保持外科医生的无菌状态。视觉引导系统125可包含具有适当编程和输入/输出功能的其他通用计算机，例如具有键盘、鼠标、触摸屏显示器、抬头显示器、手势识别设备、语音激活特征、瞳孔读取设备的台式或笔记本计算机等。
图19说明根据一些实施方案用于在手术程序期间引导外科医生从关节的一部分去除骨的方法1900。方法1900可通过视觉引导系统、比如图18的视觉引导系统125来实施，以显示包括对关节的一部分的规划骨去除的三维可视化的渲染的叠加图像，所述三维可视化叠加在手术程序期间捕获的关节的该部分的二维图像(例如荧光图像)上。叠加图像可指示外科医生在二维图像中没有捕获到(即在成像平面之外)的关节部分中应当去除的骨的位置和量。通过允许外科医生更好地将规划骨去除与外科医生在内窥镜成像中所见的内容相关联，该方法对于外科医生可为有利的。由于关节的二维图像仅显示在成像平面处关节的二维轮廓，因此外科医生通常难以识别内窥镜成像中与二维图像中的轮廓相对应的位置以及因此应当确切地去除的骨的位置。方法1900使得外科医生能够可视化成像平面之外用于去除的骨位置，这使得外科医生能够更好地将规划骨去除与外科医生经内窥镜成像所见的内容进行比较。方法1900可被用于身体的任何关节，包括髋关节、肩关节、膝关节、脊柱关节等。
通常，如下文进一步讨论的，规划骨去除的渲染为基于患者关节的三维扫描生成的患者关节或其部分的术前生成的三维模型1950的一部分，比如在术前规划阶段期间。三维模型1950对作为手术治疗目标的关节的至少一部分进行建模，所述关节比如股骨或髋臼的上部。该模型还包括可识别偏离目标关节形态的骨部分的规划骨去除的表示。例如，在一些实施方案中，骨去除的表示为对与通过手术治疗的病变目标相关的骨部分提供的热图。可视化可指示在清创程序期间应当去除的骨的位置以及在一些实施方案中的量。方法1900通常包括确定当投影到二维平面上时将与二维图像对齐的三维模型与二维图像的对齐，以及基于对齐将来自模型的规划骨去除的表示至少叠加在二维图像上。
图20说明根据一些实施方案用于针对髋关节股骨头上的CAM病灶进行清创的实施方案的方法1900的一般原理。在所示的实例中，三维模型2002对股骨的上部进行建模，并且包括呈热图2004形式的规划骨去除的表示，热图2004覆盖偏离目标形态并且因此确定为去除(例如经清创)的骨的部分。热图2004根据规划骨去除深度进行颜色编码。如下文进一步讨论的，方法1900包括用于对齐三维模型2002的步骤，使得模型在与成像平面相对应的二维平面2008上的投影2006与二维图像2012中的股骨2010对齐。从概念上讲，根据一些实施方案，模型2002根据可用自由度来进行操纵，比如在x、y和z方向上平移、围绕这些轴旋转以及相对于观察者(在图20中描述为摄像机)的视点缩放，直至其投影2006与二维图像2012中的股骨2010充分对齐。一旦实现这种令人满意的对齐，并且继续参见图20的实例，则将三维热图2004投影到二维平面2008上，并渲染为术中显示给外科医生的二维图像2012上的叠加2014。
在描述方法1900的步骤之前，将描述根据各种实施方案的三维模型1950的各个方面。通常，三维模型为使用三维成像数据术前生成的。该模型可包括关节的一个或多个骨的一个或多个部分。例如，对于髋关节，可将患者的髋关节成像，并且可从包括髋关节各个部分的成像构建模型，所述髋关节各个部分包括例如股骨头、股骨颈、髋臼杯、骨盆、股骨髁等。可使用任何合适的成像系统，包括例如CT成像系统、超声断层摄影系统、O-armTM成像系统、锥形束CT成像系统和MRI成像系统。然后可分析三维模型以识别成像的解剖结构中可能需要手术治疗的部分，比如切除FAI病灶。
根据一些实施方案，根据本文描述的原理的系统和方法可生成关节的至少一部分的三维模型，该模型包括偏离目标形态的关节部分的至少一个区域的表示。该模型可被用于帮助执业医师规划在关节的至少一个区域上进行手术程序，比如通过指示执业医师应当去除的骨的位置和量。例如，可生成受试者髋关节的一部分的三维模型，该模型包括识别髋关节病变(例如病症或障碍，比如FAI)的位置的信息，以及可能被去除以匹配基线解剖结构的骨的量。三维模型可被用于生成关节部分的渲染，其包括待去除的骨的位置和量的视觉表示，比如覆盖偏离目标的骨部分和包括指示偏离目标形态的程度的颜色、对比度或其他合适的视觉指示的变化的热图。
三维模型和关于偏离基线/目标解剖结构的信息可被用于生成关节的三维渲染，其包括偏离基线/目标解剖结构的视觉表示。在一些实施方案中，该视觉表示可指示应当去除以实现目标形态的骨的位置和量。在一些实施方案中，用户比如外科医生或第三方可为手术规划的目的而定制视觉表示，比如通过改变一个或多个确定自目标骨形态的偏离的参数，这可增加或减少指示以骨去除区域的尺寸和/或增加或减少指示以去除的骨的量。
在一些实施方案中，预先生成三维模型并将其存储以供在手术会话期间使用。在一些实施方案中，三维模型可在术中生成，比如使用O-armTM成像系统。在一些实施方案中，可基于在手术程序期间捕获的图像来更新三维模型以反映在手术程序期间骨的去除，这将在下文进一步讨论。
返回至图19，方法1900包括在手术程序期间于步骤1902接收关节的至少一部分的二维图像。二维图像通常包括正在手术治疗的骨部分以及骨的周围部分，这使得外科医生能够通常将图像中显示的内容与外科医生内窥镜所见的内容进行比较。例如，在涉及清创以解决CAM病变的实施方案中，二维图像通常包括股骨头和股骨颈。二维图像可从术中成像系统接收，比如与实施方法1900的手术引导系统通信连接的X-射线成像仪(例如图18的C臂X-射线机115)。在一些实施方案中，将一种或多种预处理操作应用于X-射线图像，比如一种或多种缩放操作、裁剪操作、降采样、升采样等。在一些实施方案中，对X-射线图像应用去扭曲操作以校正由成像系统引起的扭曲。在一些实施方案中，基于附接于成像系统检测器的参考标记的已知图案与X-射线图像中可见的参考标记之间确定的关系来实施X-射线图像的去扭曲。例如，可检测X-射线图像中的参考标记，可计算将参考标记的已知位置映射到图像中可见标记的非刚性变换，并且可将变换应用于图像，导致图像去扭曲。在一些实施方案中，然后可从图像中去除参考标记。
在步骤1904，分析二维图像以提取与二维图像中目标骨的位置相关的可被用于将骨的三维模型与二维图像对齐的一个或多个特征。根据一些实施方案，提取的特征包括图像中骨的边缘，其可使用一种或多种边缘检测技术来提取。在一些实施方案中，基于检测到的边缘提取另外的特征，其可包括例如骨的尺寸和位置。
图21说明用于提取股骨特征的步骤1904的实施方案的实施方式。可使用方法2100用于在股骨的骨清创期间给外科医生提供视觉引导以治疗CAM股骨损伤。
在步骤2102，关节的一部分的二维图像2130在显示器上(比如在图18的视觉引导系统125和/或显示器110上)显示给外科医生。图22说明通过x-射线成像系统(例如C臂x-射线机115)捕获的髋关节的一部分的二维x-射线图像的显示的实例。所显示的图像2130可使得外科医生能够确定图像2130是否为充分的图像(例如其足够清晰，其是否具有正确的位置)。
在一些实施方案中，在任选的步骤2104，图像2130可显示为被配置用于从外科医生(或其他手术室人员)接收关于图像中股骨的一个或多个特征的“提示”的用户界面的一部分。这些“提示”可被用于加快图像中骨的特征的识别。来自外科医生的一个或多个提示可经任何合适的输入来接收，所述适合的输入包括例如对显示二维图像2130的触摸屏显示器的相应部分的触摸输入，或者并入或连接于视觉引导系统125的增强现实或虚拟现实系统的手势识别系统。在一些实施方案中，并且参见图22，外科医生可提供与图像中骨的标志相关的一个或多个提示。例如，可在图像中的股骨头上提供股骨头提示“H”，以及可在图像中的股骨颈上提供股骨颈提示“N”。在一些实施方案中，可在图像2130中的股骨干上提供股骨干提示“S”。可通过显示器上向外科医生指示正在寻找什么提示的一个或多个提示符来外科医生引导通过该过程。在一些实施方案中，视觉引导系统可被配置为根据对提示满足一个或多个预定义标准的确定来显示一个或多个警告。例如，系统可被配置为确定由外科医生提供的提示是否在预定义范围之外，或者由外科医生提供的提示是否似乎在图像的不正确区域中，或者由外科医生提供的提示是否不能使得系统能够基于提示来确定关于一个或多个解剖特征的位置。如果满足了响应于接收的提示而显示警告的一个或多个预定义标准，则系统可显示呈弹出窗口或下拉窗口形式的警告。在一些实施方案中，警告可显示关于已满足的导致警告显示的标准的信息。在一些实施方案中，警告可提示外科医生重新输入新提示，如上所述，接收用户提示为任选的。
在一些实施方案中，特征识别过程为完全自动的，不需要来自用户的引导。例如，可使用经训练以检测图像中骨的一个或多个特征的对象检测机器学习模型。例如，可训练对象检测机器学习模型以检测股骨头、股骨颈、大转子、小转子和/或股骨干。对象检测机器学习模型可利用卷积神经网络(CNN)，比如R-CNN或YOLO架构，或任何其他合适的对象检测模型。在一些实施方案中，经训练的机器学习模型提供潜在的边界框及其分类(例如股骨头、股骨颈、股骨干等中的一个或多个)。机器学习模型结果的后处理可确定每个分类的最高得分的边界框。可将得分与一个或多个阈值进行比较，并且如果得分满足阈值，则可以与上述用户提供的提示类似的方式将每个边界框的中心用作用于进一步特征检测的起点。图35说明根据各种实施方案使用经训练以检测股骨头和股骨颈的机器学习模型生成得分的边界框。机器学习模型可提供形成X-射线图像3500中捕获的股骨头3504的边界的边界框3502和形成图像3500中股骨颈3508的边界的边界框3506。股骨头边界框3502的得分为97%和股骨颈边界框3506的得分为96%。如果这些得分满足预定的阈值，则可将各个边界框的中心用作用于识别股骨头和股骨颈的进一步特征识别步骤的起点，如下文进一步讨论的。在一些实施方案中，如果得分不满足阈值，则系统可提示用户提供如上所述的提示。
方法2100以步骤2106继续，在该步骤中对二维图像2130实施边缘检测以识别图像中股骨的至少一部分的边缘，比如股骨头、股骨颈、大转子、小转子和/或股骨的任何其他部分的边缘。存在多种方式来实施该边缘检测步骤，包括行业标准方法，比如Sobel、Canny和Scharr边缘检测方法。图23说明根据一些实施方案用于股骨上部的边缘检测算法的结果的实例。
在完成边缘检测之后，在任选步骤2108中查找并去除搜索区域中任何器械的边缘可为有利的，因为图像中器械边缘的存在可能使后续处理步骤(例如查找股骨头、查找股骨颈等)复杂化。可根据图像处理领域众所周知的算法来实施查找和去除器械边缘。
在一些实施方案中，在步骤2110，基于步骤2106中检测到的边缘确定股骨头的中心。根据一些实施方案，可通过首先检测图像中股骨头的外缘来检测股骨头的中心。根据一些实施方案，这可使用霍夫变换来进行，霍夫变换寻找与股骨头边缘匹配的圆形。这些圆形可被限制在最大和最小可能股骨头的范围内。霍夫变换产生一个可能答案的列表，并且选择可能的最佳答案。图24说明根据一个实施方案来自霍夫变换的环绕经边缘检测检测到的股骨头边缘的圆形2400的实例。
尽管霍夫变换相对较快，但由于股骨头可能不是一个完美圆形，因此其可能不如期望的那样准确。因此，在一些实施方案中，使用备选方法，其中选择中心点(比如使用由外科医生在步骤2104提供的提示)并然后视觉引导系统125沿着寻找在最小和最大可能半径(其与最小和最大可能股骨头相关)之间的边缘的线开始跟踪。在该方法中，视觉引导系统125选择在每条射线中具有最强边缘的点，并然后检查这些点是否以圆形结束。然后选择另一个点，并重复该过程。这是使用先前的点作为下一步寻找的引导迭代地进行的，直至找到最佳点。可使用任何其他合适的技术来定位股骨头的外缘，包括在具有类似解剖结构的图像上训练的机器学习模型。
一旦识别股骨头，就可确定股骨头在x和y维度上的中心，如图24终在2402所示。在一些实施方案中，也可在步骤2112中通过测量从股骨头中心到股骨头外缘的距离来确定股骨头的半径，如图24中的2404所示。
在一些实施方案中，方法2100以步骤2114继续，其中识别了股骨颈的中线。图24的实例中的中线以2406指示。存在多种查找股骨颈的方式；然而，一旦识别了股骨头，通常就更易于查找股骨颈。在一些实施方案中，使用扫框(Box Sweep)方法来查找股骨颈。围绕股骨头扫过一个框(框中线的位置穿过股骨头的中心)直至框的侧面与股骨颈的边缘对齐(如经边缘检测识别的)。对于多种尺寸的框重复该操作。可选择与股骨颈最强边缘对齐的框。然后使用框的中心来确定股骨颈的中线。
由方法2100产生的为二维图像中骨的一组特征2150，其可被用于将三维模型与二维图像对齐。如上所述，特征组2150可包括二维图像中至少股骨头和股骨颈的边缘、股骨头中心在x和y中的坐标、股骨头的半径以及股骨颈中线的方向。这些特征仅为可识别的股骨上部特征的实例。各种实施方案可包括识别出的这些特征中的一个或多个和/或一个或多个另外特征，比如股骨干的中线、上转子和/或下转子。
方法2100仅为如应用于股骨时方法1900的特征检测步骤1904的实例。根据各种实施方案，可在整个方法1900中多次实施特征检测。例如，可在对齐确定过程的初始阶段实施第一特征检测步骤以提供对齐的起点，如下文进一步讨论的，并且可在细化模型对齐时于稍后的阶段实施第二特征检测步骤。因此，可在迭代特征检测和对齐过程中实施多个特征检测步骤。可在不同时间以不同方式实施特征检测。例如，初始特征检测步骤可检测边缘，并且也可检测可衍生于这些边缘的特征，比如股骨头中心的位置，而随后的特征提取步骤可仅包括边缘检测。根据一些实施方案，特征提取可限于使用如上所述的一种或多种边缘检测算法的简单边缘检测。
在一些实施方案中，可在步骤1904检测骨盆的一个或多个特征。例如，骨盆的特征可与髋臼中心、闭孔和耻骨联合中的至少一个相关联。在一些实施方案中，方法1900被应用于膝关节，并且一个或多个特征可与胫骨平台、胫骨干和髁间隆突中的至少一个相关联。在一些实施方案中，方法1900被应用于一个或多个椎骨并且一个或多个特征可与椎弓根、小面、上终板和下终板中的至少一个相关联。
返回至图19，一旦在步骤1904中检测到二维图像中的骨特征，一个或多个检测到的特征就可被用于在步骤1906中确定三维模型1950与二维图像的对齐。通常，确定对齐包括根据可用空间自由度来操纵三维模型1950，直至该模型在二维平面上的投影与二维图像中的骨对齐。根据一些实施方案，从二维模型提取的特征可像二维图像中的骨轮廓一样简单(例如使用边缘检测提取)，并且对齐过程可包括迭代地重新定位三维图像，直至三维模型的投影与骨轮廓对齐。根据一些实施方案，在二维图像中检测到的另外特征被用于提供模型对齐的初始估计，这可助于减少找到正确对齐所需的处理时间。
图25说明根据一些实施方案用于确定三维模型与二维图像的对齐的方法2500。在步骤2502，三维模型的初始位置和方向被设定为确定三维模型的对齐的迭代过程的起点，该三维模型在投影到二维平面上时与二维图像对齐。设定初始位置和方向可包括设定模型的可用自由度，包括3个位置自由度、3个旋转自由度和模型的比例。在一些实施方案中，设定模型的多个初始位置和方向，使得可并行分析多个位置。
在一些实施方案中，三维模型的初始位置和方向根据一个或多个预定义标准设定。例如，在一些实施方案中，初始位置和方向根据与三维模型相关的默认值设定，比如通过将所有平移和旋转设定为零数值并将缩放设定为数值一。在一些实施方案中，初始位置可根据解剖结构在手术程序期间一般可采取的一个或多个位置来设定。例如，三维模型的初始位置和方向可根据当处于身体在手术程序期间通常采取的位置时解剖结构的位置和方向来设定。例如，在某些医学程序中，可为标准做法的是医师在预定义患者位置和/或从预定义角度捕获解剖图像，比如X-射线图像。例如，对于凸轮切除程序，一般对6种标准患者位置进行成像，以确保评价股骨上所有潜在的凸轮病变位置，如在作者为James R. Ross并且于2014年4约15日在线发表在The American Journal of Sports Medicine上的标题为“Intraoperative Fluoroscopic Imaging to Treat Cam Deformities: Correlationwith 3-Dimensional Computed Tomography”的文章中所述，该文章的全部内容特此通过参考结合。如Ross文章中所述，6种标准位置为：膝盖和髋部完全伸展(即0度屈曲)且腿部(1) 30度内旋，(2) 中性旋转，和(3) 30度外旋；以及髋部和膝盖处于50度屈曲且髋部处于(4) 中性旋转、(5) 40度外旋和(6) 60度外旋。因此，在一些实施方案中，三维模型的初始位置和方向根据这6种标准位置中的一个或多个来设定。
在一些实施方案中，根据从二维图像确定的一个或多个特征2550来设定初始位置和方向。例如，图像中骨的中心和/或中线的估计可被用于使相应的骨在三维图像中居中。在一些实施方案中，根据一个或多个预定义标准和从二维图像确定的一个或多个特征的组合来设定初始位置和方向。例如，所确定的特征被可用于设定一个或多个但少于全部的自由度，并且预定义标准可被用于设定剩余的自由度。
一旦为初始模型对齐的数量设定三维模型的初始位置和方向(可使用多种初始对齐来加速该过程)，根据每个对齐的模型在步骤2504投影到二维平面上。如本文使用的，将模型投影到二维平面上意指找到模型相对于步骤2502中设定的模型位置和方向的轮廓边缘。将三维模型投影到二维平面上会产生骨的二维轮廓。对于其中并行分析多个位置的实施方案，为在步骤2502中设定的每个初始位置和方向生成投影。
在步骤2506，将在步骤2504中生成的投影与从二维图像确定的一个或多个特征2550进行比较。在一些实施方案中，从二维图像确定的特征为在二维图像中检测到的边缘，并将投影与检测到的边缘进行比较，以确定投影中的边缘与检测到的边缘的相似程度。这种边缘比较可包括生成将投影与检测到的边缘进行比较的相似性度量。在一些实施方案中，相似性度量为基于边缘的相似性度量。基于边缘的相似性度量可考虑在二维图像中检测到的任何合适的边缘属性，比如边缘的强度、边缘面对的方向以及与邻近边缘的连续性，并且可比较一个或多个检测到的边缘属性与三维模型的相应部分。在一些实施方案中，基于边缘的相似性度量基于将从投影中边缘上的点到从二维图像提取的最近边缘的距离加权，并产生与这些距离相关的数值。在一些实施方案中，基于边缘的相似性度量基于从二维图像为投影中每个边缘提取的边缘的强度。在一些实施方案中，基于边缘的相似性度量基于从二维图像提取的边缘到投影中相应边缘的匹配角度。对于其中并行分析多个位置的实施方案，将每个投影与从二维图像提取的特征进行比较。
在步骤2508，可作出决定是继续搜索三维模型的适当对齐还是完成对齐步骤。在一些实施方案中，该决定可基于步骤2506的结果，比如通过确定步骤2506的结果是否指示充分的对齐。例如，在一些实施方案中，步骤2506可产生相似性度量值，其与预定义阈值进行比较以确定对齐是否足够接近或者是否期望进一步的迭代。在一些实施方案中，是否继续迭代的决定基于预定义标准，比如是否已完成预定义的迭代次数。
如果在步骤2508的决定为继续，则然后在步骤2510设定新模型位置和方向。新模型的位置和方向可通过在一个或多个自由度上相对于先前的位置和方向移动一个固定的量来设定。在其中并行分析多个位置和方向的实施方案中，可在步骤2510中选择与二维模型的特征最佳匹配的位置和方向，并可相对于该所选位置和方向扰动模型。例如，可选择在步骤2506中产生最佳相似性得分的位置和方向，并且可相对于选择的位置和方向经一个或多个自由度中的预定量来重新定位模型。在一些实施方案中，设定了多个新模型位置和方向。例如，模型可相对于选择的位置和方向在第一自由度中移动一个固定的量以提供第一新模型位置和方向，并且在第二自由度中移动一个固定的量以提供第二新模型位置和方向。
在步骤2510中新模型位置和方向(或多个新位置和方向组)的情况下，过程返回至步骤2504，其中每个新模型对齐都被投影到二维平面上。该过程在循环中继续，直至在步骤2508的决定为停止迭代，例如由于所得投影足够接近或者因为完成了预定的迭代次数，导致产生确定的模型对齐2575，其产生与二维图像充分对齐的投影。
图26说明方法2500的应用的一个实施方案，所述方法2500用于将受试者股骨的至少上部的三维模型与对股骨的外科程序期间(比如股骨的骨清创期间)捕获的受试者股骨的至少上部的二维图像对齐，以校正CAM型FAI。
方法2600步骤2602处开始，中模型2650的初始对齐基于从二维图像2630提取的特征2660设定，所述特征比如由图21的方法2100产生。初始对齐可根据7个自由度来设定，其可包括3个平移自由度、3个旋转自由度和缩放。出于解释的目的，与投影平面内的平移相关的平移自由度在本文中称为x和y方向。z方向正交于投影平面延伸。
在一些实施方案中，用于初始对齐的特征包括二维图像中股骨头中心的位置、股骨颈中线的方向以及股骨头的半径。图像中股骨头的中心可被用于设定模型的x和y位置。将模型在概念上相对于投影平面进行操纵，使得模型中的股骨头中心相对于投影平面定位于与二维图像中的股骨头中心相同的位置。例如，根据一些实施方案，如果二维图像中的股骨头中心处于图像的中心，则将模型相对于投影平面进行操纵，使得模型的股骨头中心投影到投影平面的中心。
将模型定位在z方向上，从而获得与二维图像中的骨尺寸匹配的骨尺寸(例如以像素为单位)。
然后将模型相对于投影平面进行操纵，使得股骨颈的中线从股骨头的中心沿与二维图像中的中线相同的方向延伸。该步骤可被认为是围绕z轴旋转模型，直至中线相对于投影平面处于与二维图像中的股骨颈中线相同的位置。
通过这些初始对齐步骤，模型的位置在x、y和z位置、比例和围绕z轴的旋转方面近似于二维图像中骨的位置。在该实例中，未经由从图像确定的特征来进行近似的自由度为围绕二维投影平面内延伸的轴的旋转，即围绕x和y轴的旋转。通过将x和y轴中的一个定义为通过股骨颈中线延伸，两个未知的自由度为围绕穿过股骨颈中线延伸的轴的旋转和围绕位于投影平面内且与中线轴线正交的轴的旋转。
根据一些实施方案，模型对齐的自由度在图27中表示。x和y位置可从二维图像中股骨头中心的x和y位置得知。z位置可从来自二维图像的股骨头尺寸、成像系统的已知参数以及来自三维模型的已知股骨头尺寸来确定。例如，由于z位置与成像系统焦距(发射器到检测器的距离)的比率等于股骨头的实际直径与图像中股骨头直径的比率，因此z位置可通过将焦距乘以从三维模型中得知的股骨头实际直径与图像中股骨头直径的比率来确定。图像中股骨头的直径可通过将图像中股骨头的像素直径缩放至检测器的直径(例如以毫米为单位)与检测器的直径(以像素为单位)的比率来确定。比例从来自图像的股骨头半径得知。围绕z轴(垂直于成像/投影平面，“偏航”)的旋转从股骨颈中线的方向得知，由参考数字2702指示。剩余的自由度为围绕穿过股骨颈中线延伸的轴的旋转(图27中标记为y轴，“俯仰”)和围绕正交于股骨颈中线轴延伸的轴的旋转(图27中标记为x轴，“横滚”)。
在一些实施方案中，初始对齐基于经一个或多个对象检测机器学习模型在二维图像中检测到的一个或多个对象以及关于不同关节配置的那些对象的位置的假设来确定。在与髋关节股骨相关的实施方案中，对象检测机器学习模型可被配置为检测股骨颈、股骨干、小转子中的一个或多个。股骨在前后视图中似乎在股骨颈和股骨干之间具有一个钝角，并且随着股骨向Dunn位视图移动，股骨颈和股骨干之间的角度变得更为钝角，直至股骨颈和股骨干出现共线。另外，小转子在前后视图中可见，但在Dunn位视图中不可见。基于对患者解剖结构的这种理解，如果对象检测机器学习模型没有看见小转子，那么可假设前后视图不是成像视图。如果股骨颈和股骨干之间的角度为钝角，那么前后视图更可能是成像视图。因此，经一个或多个对象检测机器学习模型检测到的对象可被用于为围绕x和y轴的旋转提供初始推测。这可通过减少使用输入和减少搜索空间以实现良好拟合来加速算法。
一旦完成了基于从二维图像提取的特征的初始对齐，就可在步骤2604中对剩余的自由度作出一个或多个推测。根据一些实施方案，并行评估几种模型对齐。因此，对剩余自由度的几种组合在步骤2604中作出推测。剩余自由度的推测可基于例如关于股骨可能如何定位的预测来作出。由于腿部的运动范围有限，因此可基于运动范围限制来约束对剩余自由度的推测。例如，可对剩余自由度的最小和最大值作出假设，并且可选择这些最小和最大值之内的多个数值。
在一些实施方案中，剩余自由度的数值基于关于手术程序中可能的骨位置的预测来选择。例如，对于解决CAM型FAI的手术程序，腿部通常被置于已发现可用于对需要清创的股骨部分进行x-射线成像的6种位置之一。因此，一组初始推测可与这6种常见腿部位置相关联。
一旦设定了剩余自由度的初始推测，模型的一种或多种对齐就完全被定义了。如上所述，可并行分析不同的模型对齐，并且因此，步骤2604的结果可为多种初始模型对齐。从每种模型对齐中，在步骤2606通过将对齐的模型投影到对应于图像的投影平面上来生成模型的轮廓。所得轮廓为三维模型中骨的二维轮廓。
在步骤2608，将每个轮廓与从二维图像提取的特征进行比较。例如，可将轮廓与经边缘检测在二维图像中检测到的边缘组进行比较，比如图23所示。根据一些实施方案，比较可基于相似性算法，该算法将一组边缘(轮廓)与另一组边缘(在二维图像中检测到的边缘)进行比较，并且比较结果可包括与相似度(或相异度)相关的数值。可使用任何合适的相似性算法，包括例如基于Canny、Sobel和Scharr边缘检测算法的边缘对齐度量。
在步骤2610，可选择在步骤2608中产生最佳相似性得分的一个或多个轮廓(可选择多个轮廓以加速搜索)。在步骤2612，作出决定是否继续搜索适当的对齐。在一些实施方案中，是否继续的决定可基于在步骤2610选择的对齐的相似度，比如相似度是否满足预定义阈值，或者可基于完成固定迭代次数。
如果作出继续细化对齐的决定，则过程继续到步骤2614，其中在步骤2610中选择的一个或多个轮廓在一个或多个自由度中移位，导致产生一个或多个移位或“细化”的轮廓。在一些实施方案中，轮廓在一个或多个自由度移位不同的量，以便为每个选定的轮廓生成多个移位的轮廓。
根据一些实施方案，轮廓仅在投影平面内的一个或多个自由度中移位。例如，可移位轮廓的x和/或y位置(平面内平移自由度)和/或可移位轮廓围绕z轴的旋转(平面内旋转自由度)。在一些实施方案中，轮廓在给定平面内自由度中移位的量可预先定义。例如，轮廓可在x和/或y方向上移位预定义的距离和/或围绕z轴移位预定义的角度。在一些实施方案中，轮廓在给定自由度上移位的量可基于在步骤2608的比较结果。根据一些实施方案，比较算法可提供关于模型中的给定边缘距二维模型中的给定边缘为多远的信息，并且可基于距离信息选择步骤2614中移位的量。
在步骤2616，将由步骤2614产生的每个移位轮廓与以与步骤2608类似的方式从二维图像提取的特征进行比较。例如，使用相似性算法以将移位的轮廓与经边缘检测从二维图像提取的边缘组进行比较。该步骤可导致产生每个移位轮廓的相似性(或相异性)得分。
在步骤2618，识别具有最佳相似性得分的移位轮廓，并且根据与移位的轮廓相关的自由度值重新对齐模型(如在其他步骤中，可选择多于一个最佳移位轮廓)。换言之，模型根据与具有最佳相似性得分的移位轮廓相关的x、y、z、横滚、俯仰、偏航和比例值来对齐。然后，在步骤2620，重新对齐的模型在横滚和俯仰自由度中扰动给定量，导致产生新模型对齐。例如，模型可被少量的横滚和/或俯仰度扰动。模型可在横滚和/或俯仰方向被扰动不同的量，以生成多种新模型对齐。此外，可使用爬山法以在更短时间内找到最佳拟合。
方法2600然后返回至步骤2606，其中将新模型对齐投影到投影平面上以生成一组新轮廓。在步骤2608中，将这些新轮廓与二维图像的特征，例如在二维图像中检测到的边缘组，进行比较，并在步骤2610中识别具有最佳相似性得分的轮廓。然后，在步骤2612作出决定是否继续搜索模型的适当对齐以生成与二维图像中的骨匹配的轮廓。如上所述，该决定可基于满足预定义标准(比如高于阈值相似性)的相似性得分，或者可基于固定迭代次数。如果作出继续搜索的决定，则继续该过程，伴随在步骤2614中于投影平面内移位轮廓，在步骤2616中将这些移位与二维图像的特征进行比较，在步骤2618中选择最接近的匹配，扰动横滚和/或俯仰自由度以生成一组新对齐等等，直至作出决定结束搜索适当的对齐。
一旦决定结束搜索适当的对齐，就将与由方法2600产生的最佳对齐相关的7个自由度的数值组提供作为用于生成叠加图像的模型对齐2675。
在一些实施方案中，确定的模型对齐(例如模型对齐2675)被用于提供关于如二维图像捕获的患者解剖结构的方向的信息。例如，在已经将股骨头成像的情况下，可基于模型对齐来确定腿部相对于患者的方向，并且可将该信息提供给用户。一旦模型对齐已知，关于相对于患者身体生成二维图像的透视图的信息可与确定的模型对齐一起使用，以确定在捕获二维图像时解剖结构的相对方向。例如，在知道二维成像仪位置的情况下，所确定的股骨头三维图像的对齐可被用于确定腿部的外展/内收、屈曲/伸展和/或内/外旋的程度。在一些实施方案中，基于关于成像仪位置的预定义假设来确定解剖结构方向(例如假设C臂X-射线成像仪定向为发射器到检测器的方向，相对于患者垂直向上，并且图像的顶部位于患者的上方方向)。在其他实施方案中，接收并使用关于生成二维图像时成像仪位置的信息来确定解剖结构方向。信息可以任何合适的方式接收，包括来自用户输入或来自成像仪本身。
在一些实施方案中，可向用户(例如在术中向外科医生)显示关于所确定的解剖结构方向的信息，比如通过添加到叠加图像。提供解剖结构方向信息可助于用户记录手术程序和/或可助于用户评价所确定模型对齐的准确性。例如，在确定的解剖结构方向不能准确的情况下(例如因为腿部不可能是确定的位置)，用户可以理解确定的模型对齐为不准确的，并且应当再次实施，比如在新二维图像上和/或在一个或多个用户调整之后(参见以下关于图29A-B的用户调整的讨论)。
在一些实施方案中，可基于在步骤1904实施的图像分割来实施在步骤1906确定三维模型与二维图像的对齐。根据一些实施方案，在步骤1904，经训练以检测目标骨(例如股骨)的语义分割算法(例如U-net)被用于分割二维图像中的骨(例如股骨)，从而产生掩模。掩模为在步骤1904提取的特征。在步骤1906，将三维模型投影到二维空间中并将投影与掩模进行比较。将不同的投影评分为投影与掩模的交点除以投影和掩模的并集。具有最高得分的投影的对齐可为二维图像中骨的对齐。
在一些实施方案中，步骤1904和1906在功能上通过经训练以根据三维模型和二维图像以及成像系统的已知参数(例如焦距、检测器直径等)确定三维模型与二维图像的对齐的机器学习算法来实施。图37说明用于确定三维模型3702 (例如CT、MRI、分割三维模型等)与二维图像3704 (例如X-射线、荧光屏等)的对齐的示例性机器学习算法3700。机器学习算法包括用于三维模型3702的三维卷积网络3706。三维卷积网络3706可包括一个或多个三维卷积层、池化层、ReLU (整流线性单元)层和/或其他卷积神经网络层。机器学习算法包括用于二维模型3704的二维卷积网络3708。二维卷积网络3708可包括一系列卷积和子采样步骤。三维卷积网络3706和二维卷积网络3708经全连接密集层3712连接至输出3710。在一些实施方案中，与被用于生成二维图像3704的二维成像系统相关的一个或多个参数3714可作为全连接致密层3712的输入提供。例如，对于C臂荧光成像仪，焦距、检测器尺寸等可为全连接密密层3712的输入。机器学习算法的输出3710为用于三维模型与二维图像对齐的变换矩阵(x、y、z、u、v和w变换)。
返回至图19的方法1900，一旦在步骤1906中确定模型的对齐(比如经图25的方法2500、图26的方法2600或经由图37的机器学习算法)，则在步骤1908中通过将三维模型的至少一部分的渲染叠加到二维图像上来生成叠加图像。生成根据在步骤1906中确定的对齐的模型的投影，并将投影的至少一部分叠加在二维图像上，然后将其在步骤1910中显示。
如上所述，三维模型包括偏离目标骨状态的骨部分的表示。该表示可充当手术程序的规划，其指示外科医生应当去除以达到骨的目标状态的骨的位置和量。在步骤1908中，将规划骨去除的表示的至少一部分包括在叠加中，以提供给外科医生关于待去除的骨的信息。在一些实施方案中，模型包括规划骨去除之外的骨部分，并且叠加可包括这些骨部分中的至少一些。在一些实施方案中，叠加中仅包括规划骨去除的表示。
图28A说明根据一个实施方案的股骨上部的三维模型在髋关节的二维图像2804上的投影的渲染2802的叠加。渲染2802包括呈热图形式的规划骨去除的表示2806和规划骨去除之外的骨部分2808。图28A中所示的热图仅为规划骨去除的表示的示例。可使用任何合适的表示，包括例如规划骨去除区域的轮廓、指示骨去除量的等高线图或此类视觉辅助的任何组合。图28B说明股骨上部的三维模型的投影的渲染的叠加，其中仅将规划骨去除的表示2806叠加在二维图像上。
根据一些实施方案，另外的信息也可显示在叠加中，包括例如钟面线2810，其可为来自三维模型的虚拟对象。如本领域已知的，钟面线对于外科医生识别髋关节内的位置是有用的(例如用于识别围绕股骨头、髋臼杯等的旋转位置)。钟面线2810指示12点钟位置(图28A中也显示3点钟位置)。在一些实施方案中，还可显示α角线2812。α角线2812可表示一组圆周位置，其中骨首先延伸到围绕股骨头的最佳拟合球面(或多个最佳拟合圆形)外部，如上所述。在一些实施方案中，目标α角线也可显示在叠加中以指示目标骨形态。在3D模型中，当α角目标围绕股骨头旋转时，投影代表α角目标的圆形也可为有用的。
对外科医生来说，知道二维图像中捕获的骨部分中凸轮病变开始的位置作为钟面的函数(即二维图像中定义α角的点的钟面位置，此处称为α角点或α点)可为有益的。该信息可从对齐的三维模型中确定，该三维模型的位置和方向对应于捕获二维图像时患者的位置和方向。因此，在一些实施方案中，可叠加中包括在二维图像2804中骨边缘上α角点的钟面位置相对于预定义钟面位置的指示2814 (指示凸轮病变的开始，参见图16和相关讨论)。例如，在图28A中，指示2814指示了二维图像中的α角点与12点钟成-30° (在一些实施方案中，可显示钟面位置，比如11点钟)。
根据一些实施方案，对齐的三维模型可与来自二维图像的测量一起使用，以估测α角点的钟面位置。在一些实施方案中，二维图像中的α角点通过分析二维图像来确定，比如通过实施边缘检测，并使用结果以：(1) 在二维图像中找到股骨头(例如使用Hough变换、射线跟踪和/或主动形状建模)；(2) 找到股骨颈及其中线(例如使用扫框法和/或主动形状建模)；和(3) 找到股骨颈停止为圆形和凸轮病变开始的位置(即α角点)。在一些实施方案中，定位α角点可包括跟踪骨表面的最强边缘(例如使用边缘检测的结果)直至发现自围绕股骨头的圆形的偏离(参见例如图16中的α角点35)。一旦α角点位于二维图像中，就确定了对齐的三维模型中投影到二维图像中α角点(或附近)的点2816 (该点2816可对应于α角线2812与三维模型水平线的交点)。接下来，确定包括点2816、三维模型中的股骨头中心和三维模型中的股骨颈中心的平面。确定该平面与12点钟平面之间的角度，其中将12点钟平面定义为三维模型中包括三维模型中股骨头的最高点、三维模型中的股骨头中心以及三维模型的中股骨颈中心的平面。在图28A中，12点钟平面与包括α角点2816的钟面平面之间的角度为-30°。有了该信息，外科医生就知道二维图像中凸轮病变的开始在骨上的位置。
在一些实施方案中，可向外科医生提供工具在二维图像中的钟面位置，以助于外科医生理解工具相对于待去除的骨的部分的位置。图36说明图形用户界面3600，其中显示工具的钟面位置。界面3600包括对位于靠近股骨头的骨去除工具3604成像的二维图像3602。界面3600还包括根据上述原理，根据图像3602中股骨的位置和方向定位的股骨的三维模型3606的渲染。渲染还包括根据工具3604在图像3602中的位置定位的骨去除工具的表示3608。可在界面3600中提供工具3604的远端的钟面值3610。在一些实施方案中，可通过使用语义分割算法(例如U-net)从图像中分割工具来确定骨去除工具的位置。然后可确定工具的远端并计算其钟面。
根据各种实施方案，界面3600可提供关于图像中捕获的股骨的位置和方向的另外信息，比如如根据上述原理确定的屈曲度、外展度、外旋度和/或水平线的钟面。
在一些实施方案中，叠加可包括来自模型的骨轮廓的表示，以指示用户模型的投影与二维图像中骨的对齐有多良好。图29A说明了其中包括模型投影的外缘轮廓2908的叠加。轮廓2908在夸大的未对齐位置中显示，以说明通过包括轮廓2908，外科医生可评价对齐过程的准确性。
在一些实施方案中，可在用户界面内提供给用户来操纵模型对齐。例如，如图29A所示，叠加图像显示在其中提供3个用户控件的用户界面中。在股骨头的中心部分提供一个头部位置控件“H”，以移位叠加的x和y位置。用户可选择头部位置控件“H”并围绕屏幕拖动控件以相对于二维图像重新定位模型渲染，即规划骨去除和股骨轮廓的表示。用户可移动模型渲染，直至股骨的轮廓与二维图像中的股骨的外缘对齐，如图29B所示。图29A的实施方案还包括可用于围绕股骨头中心点旋转模型的旋转工具2912。提供缩放工具“R”以使得外科医生能够增加或减少模型的比例。
在一些实施方案中，经工具对操纵模型导致生成新投影。用户输入被用于重新对齐模型，并生成新投影且叠加在二维图像上。在其他实施方案中，用户输入用于修改投影渲染本身。
如上所述，根据各种实施方案的系统和方法可被用于将规划骨去除的表示叠加在术中生成的骨的二维图像上。可将叠加显示给外科医生以指示外科医生在二维图像中捕获的骨的区域以及超出二维图像中捕获的区域两者中应当去除的骨位置。外科医生然后可使用叠加作为引导去除骨。外科医生然后可捕获骨的新二维图像，以确定外科医生去除的骨量以及去除的骨位置，以评价是否已去除了足够的骨。根据一些实施方案，系统可被配置为更新规划骨去除的表示以生成叠加，其中叠加中规划骨去除的表示的渲染反映去除的骨。
图30说明根据一些实施方案用于生成叠加图像的方法3000，所述叠加图像具有反映在手术程序期间已去除的骨的规划骨去除的更新表示。在步骤3002，在术中接收关节的二维图像。在步骤3004，分析二维图像以提取可用于将骨的三维模型与二维图像对齐的目标骨的特征。该步骤类似于方法1900的步骤1904，并且因此省略该步骤的细节。在步骤3006，以与方法1900的步骤1906类似的方式，基于在步骤3004中提取的特征的至少一部分来确定三维模型与二维图像的对齐。在步骤3008，基于在步骤3006中确定的对齐来生成模型的投影。
在步骤3010，识别与去除的骨相关的投影的一个或多个部分。在一些实施方案中，该步骤可包括将投影与在二维图像中检测到的边缘组进行比较，并从二维图像中识别在与目标骨相关的边缘之外的投影部分。
在步骤3012，基于在二维图像中被识别为在骨外缘之外的投影部分来，生成规划骨去除的更新表示。在一些实施方案中，直接操纵投影以反映去除的骨。例如，可改变投影中骨的外缘以与二维图像中的边缘对齐。在一些实施方案中，只有骨去除的表示被修改，以反映去除的骨。在一些实施方案中，骨去除的表示为热图，并且将与去除的骨相关的热图的一部分从投影中去除。在其他实施方案中，与去除的骨相关的热图部分在视觉上进行改变以指示其可能与去除的骨相关。
在一些实施方案中，通过首先更新三维模型并然后从更新的三维模型重新生成投影来生成更新的表示。可更新三维模型，使得其不包括已识别为去除的骨。在一些实施方案中，可相应地更新规划骨去除的表示。例如，可将与去除的骨相关的热图部分变为不同颜色以指示骨已去除并且不需要从该区域去除其他骨，或者可能仍然存在需要从区域去除以实现目标形态的骨。在一些实施方案中，可基于检测到的二维图像相对于先前捕获的二维图像的灰度变化来更新规划骨去除的表示。与不在水平线上的骨部分相关的灰度变化可指示该骨部分中的骨量相对于先前捕获的图像更少，从而指示骨去除。例如，二维图像的区域相对于先前捕获的二维图像的变亮可与去除的骨相关联。
然后在步骤3014通过将更新的表示叠加在二维图像上来生成叠加图像。然后可在步骤3016将叠加显示给外科医生，使得外科医生可以可视化已经去除的骨位置和仍然需要去除的骨位置。
图31A-31C说明根据实施方案的方法3000的结果。图31A说明一种叠加图像，其显示在去除任何骨之前叠加在二维图像3104上的规划骨去除3102的表示。图31B说明从在外科医生已自股骨头去除一些骨之后捕获的新二维图像生成的更新叠加。经规划骨去除3102的表示的部分3106的去除，将该去除反映在更新的叠加中。图31C说明如去除部分3108所示在仍然更多是骨被去除之后于该程序中稍后生成的叠加。在该实例中，规划骨去除的表示中与去除的骨相关的部分被阴影化为与被用于表示规划骨去除的颜色不同的纯色，以提供骨已从这些区域去除的清晰视觉指示。在一些实施方案中，与去除的骨相关的规划骨去除部分可从叠加中完全省略，使得二维模型的该部分在那些区域中可见。在一些实施方案中，可通过将三维模型的外缘与当前二维图像中的骨外缘进行比较以确定在二维图像中缺失的二维骨薄片来确定已去除的骨。然后可从三维模型中去除从二维图像中缺失的骨薄片，比如通过从三维图像中对该薄片进行“挤压”切割。然后可根据更新的三维模式更新规划骨去除的叠加以叠加在二维图像上。
如上所述，将三维模型投影到二维平面上，以确定模型与二维图像的对齐以及将规划骨去除的表示叠加在二维图像上。在一些实施方案中，该模型可使用反向投影技术进行投影，该技术说明其中生成二维图像的方式。反向投影可在确定模型与二维图像的对齐期间使用，比如用于方法1900的步骤1906、方法2500的步骤2504和/或方法2600的步骤2606，和/或在生成规划骨去除的叠加期间使用，比如用于方法1900中的步骤1908。
例如，反向投影适合于其中经X-射线成像仪(比如C臂成像仪)生成二维图像的实施方案，其中X-射线源位于患者下方和X-射线检测器位于患者上方。在X-射线检测器在患者上方和源下方的情况下，更靠近X-射线源的对象看起来大于更远离X-射线源的对象。由于标准手术视图为来自患者上方，因此X-射线图像中捕获的透视图与来自标准手术视图的透视图相反。换言之，根据标准手术视图定位得更远离观察者的对象比定位得更靠近观察者的对象在X-射线图像中描绘得更大。为适应透视图的这种差异，根据一些实施方案，使用反向投影技术将三维模型投影到二维成像平面上。
图34从概念上说明用于将三维模型投影到对应于X-射线成像平面的二维平面上的反向投影的使用。反向投影技术通过放大更远离观察者(在本文中也称为摄像机)的部分和缩小更靠近观察者的部分来复制由X-射线成像仪创建的透视图。因此，当三维模型面向观察者的部分被包括在投影中时，三维模型面向观察者的部分的点被投影为使得更远离观察者的部分大于更靠近观察者的部分。这显示在图34中，其中三维模型3408中左股骨头的前部3406的热图3404的叠加3402通过从三维模型3408的下方(后部)投影到投影平面3410(对应于X-射线检测器/成像平面)上来生成。根据一些实施方案，反向投影使用投影射线3416将三维模型3408上的点映射到投影平面3410，所述投影射线3416从位于投影平面3410后面对应于X-射线成像仪的焦距3414的距离的点3412延伸。这导致热图3404中更远离观察者3416的部分在叠加3402中相对大于更靠近观察者3416的相同尺寸部分。
如上所述，可使用反向投影用于将三维模型与二维图像对齐，以及用于生成规划骨去除的表示的叠加，比如用于方法1900的步骤1908。一旦三维模型适当对齐(例如经反向投影)，则规划骨去除的表示(或其用于叠加的至少一部分)位于面向X-射线图像观察者的三维模型的一部分上，并且规划骨去除的表示的至少一部分的叠加为经反向投影生成，其中更远离观察者的规划骨去除的表示的至少一部分的部分相对大于更靠近观察者的规划骨去除的表示的至少一部分的相似尺寸部分。例如，在生成股骨头的X-射线图像，其中X-射线发射器到检测器的方向为后到前方向的情况下，三维模型的前部面向观察者方向，并且模型前部上规划骨去除的表示被投影到对应于成像平面的投影平面上，使得更靠后(更远离观察者)的部分大于尺寸相同的更靠前(更靠近观察者)的部分。如上所述，这与其中更靠近观察者的部分将相对大于更远离观察者的部分的标准投影相反。因此，叠加以对应于其中捕获X-射线的方式生成并且可提供其中来自三维模型的叠加更好地与X-射线图像中的骨对齐的叠加图像。
图32说明一种系统3200，用于生成受试者关节的二维图像，生成其中将来自关节三维模型中的规划骨去除的表示叠加在二维图像上的叠加图像，和向执业医师显示叠加图像以在手术程序期间引导执业医师进行骨去除，根据各种实施方案。系统3200包括用于生成包括规划骨去除的表示的关节三维模型的三维建模子系统3202、用于在手术程序期间术中生成关节二维图像的术中成像子系统3204 (比如图18的C臂X-射线机115)以及用于从三维模型和二维图像生成叠加图像的视觉引导子系统3206 (比如图18的视觉引导系统125)。子系统可经一个或多个通信连接3208彼此通信连接，通信连接3208可为网络连接(比如局域网、广域网、局域网和广域网的组合或任何合适的通信网络)、子系统之间的一个或多个直接连接或者直接和网络连接的组合。建模子系统3202、术中成像子系统3204和视觉引导子系统3206中的任何一个可位于与其他子系统分开的位置，或者可具有位于与其他子系统或子系统的组件分开的位置的组件。在一些实施方案中，子系统或子系统的部分可位于相同位置，比如位于相同操作套件中。在一些实施方案中，三维建模子系统3202和术中成像子系统3204为相同系统或共享相同组件，比如相同的成像仪。
三维建模子系统3202可包括用于对受试者生成成像数据的成像仪。成像数据可包括例如MRI扫描、CT扫描、x-射线、荧光成像数据或用于对受试者关节成像的任何合适的成像数据。在一些实施方案中，三维建模子系统3202可包括用于处理由成像仪生成的成像数据的一个或多个成像数据处理系统。三维建模子系统3202可包括用于存储成像数据和/或模型数据的一个或多个数据存储系统。三维建模子系统3202可被配置为向视觉引导子系统3206传输受试者关节的成像和/或模型数据。例如，在其中将受试者的关节成像的成像会话之后，三维建模子系统3202可从会话期间生成的成像数据生成关节的三维模型。根据本文描述的原理，三维模型可被传输至视觉引导子系统3206用于生成叠加图像。根据一些实施方案，三维建模子系统3202可通过将三维模型的至少一部分与基线模型进行比较来识别成像关节偏离基线解剖结构的至少一个区域。可根据本文描述的原理，三维建模子系统3202可使用三维模型和坐标系在一个或多个预定义位置处生成关节特征的一个或多个测量值；并且生成模型的三维渲染。三维渲染可包括三维模型偏离基线的至少一个区域的视觉指示，其中根据偏离度视觉指示至少一个区域。该视觉指示可表示手术程序的规划骨去除。三维渲染可为包括如本文所述的任何其他相关信息的可视化组件。
术中成像子系统3204可包括用于在手术程序期间为受试者生成二维成像数据的成像仪。术中成像子系统3204可包括例如x-射线成像仪，比如C臂x-射线成像仪。在一些实施方案中，术中成像子系统3204可被配置为向视觉引导子系统3206传输受试者关节的成像数据。例如，根据本文描述的原理，在捕获受试者关节的图像后，该图像可被传输至视觉引导子系统3206用于生成叠加图像。
根据本文描述的原理，视觉引导子系统3206可被配置为接收成像数据和三维模型数据并且使用所接收数据中的一些或全部来生成叠加图像。
图33说明根据一些实施方案可用于系统3200的子系统3202、3204和3206中的一个或多个的计算系统的实例。系统3300可为连接于网络的计算机，比如系统3200的一个或多个通信连接网络3208。系统3300可为客户端计算机或服务器。如图33所示，系统3300可为任何合适类型的基于微处理器的系统，比如个人计算机、工作站、服务器或手持计算设备(便携式电子设备)比如电话或平板电脑。该系统可包括例如处理器3310、输入设备3320、输出设备3330、存储设备3340和通信设备3360中的一个或多个。输入设备3320和输出设备3330通常可对应于上述那些，并且可与计算机连接或集成。
输入设备3320可为提供输入的任何合适的设备，比如触摸屏、键盘或小键盘、鼠标、虚拟/增强现实系统的手势识别组件或语音识别设备。输出设备3330可以是或可包括提供输出的任何合适的设备，例如触摸屏、触觉设备、虚拟/增强现实显示器或扬声器。
存储设备3340可为提供存储的任何合适的设备，比如包括RAM、高速缓存存储器、硬盘驱动器、可移动存储盘或其他非暂时性计算机可读介质的电、磁或光存储器。通信设备3360可包括能够通过网络传输和接收信号的任何合适的设备，比如网络接口芯片或设备。计算机的组件可以任何合适的方式、比如经物理总线或无线连接。
可存储于存储设备3340中并由处理器3310执行的软件3350可包括例如体现本公开的功能(例如在如上所述的设备中体现)的编程。例如，软件3350可包括用于实施方法1900、方法2100、方法2500、方法2600和/或方法3000的步骤中的一个或多个的一个或多个程序。
软件3350也可在任何非暂时性计算机可读存储介质中存储和/或传送，以供可从指令执行系统、装置或设备获取与软件相关的指令并执行这些指令的指令执行系统、装置或设备(比如以上描述的那些)使用或与之结合使用。在本公开的上下文中，计算机可读存储介质可为任何介质，比如存储设备3340，其可含有或存储供指令执行系统、装置或设备使用或与之结合使用的编程。
软件3350还可在任何传送介质内传播，以供可从指令执行系统、装置或设备获取与软件相关的指令并执行这些指令的指令执行系统、装置或设备(比如以上描述的那些)使用或与之结合使用。在本公开的上下文中，传送介质可为能够通信、传播或传送编程以供指令执行系统、装置或设备使用或与之结合使用的任何介质。传送可读介质可包括但不限于电、磁、光、电磁或红外有线或无线传播介质。
系统3300可连接于网络，其可为任何合适类型的互连通信系统。网络可实施任何合适的通信协议，并且可通过任何合适的安全协议来保护。网络可包含可实施网络信号传输和接收的任何适当布置的网络链接，比如无线网络连接、T1或T3线路、电缆网络、DSL或电话线路。
系统3300可实施适合于在网络上操作的任何操作系统。软件3350可以任何合适的编程语言编写，比如C、C++、Java或Python。在各种实施方案中，体现本公开功能的应用软件可以不同配置进行部署，比如呈客户端/服务器布置或通过Web浏览器作为基于Web的应用或Web服务器。
出于解释的目的，前述描述已经参照具体实施方案进行了描述。然而，以上说明性讨论并不预期为详尽无遗的或将本发明限于所公开的精确形式。鉴于以上讲授，许多修改和变化均为可能的。选择和描述实施方案是为了最好地解释这些技术的原理及其实际应用。从而使本领域的其他技术人员能够最好地利用具有如适合于所考虑的特定用途的各种修改的技术和各种实施方案。
出于清楚和简洁描述的目的，本文将特征作为相同或不同实施方案的一部分进行描述；然而，应当意识到，本公开的范围包括具有全部或一些所描述特征的组合的实施方案。
尽管已经参照附图充分描述本公开和实施例，但是应当注意，各种变化和修改对于本领域技术人员将变得显而易见。此类变化和修改将被理解为包括在如权利要求所限定的本公开和实施例的范围内。最后，在本申请中提及的任何专利和出版物的全部公开特此通过参考结合至本文中。

Claims (42)

1.用于在手术程序期间引导骨去除的方法，所述方法包括：
在所述手术程序期间接收关节的至少一部分的二维图像；
基于所述二维图像中与所述关节的至少一部分相关的一个或多个特征来确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐，其中所述预生成三维模型包含规划骨去除的表示；
基于所述确定的对齐来生成叠加图像，所述叠加图像包含所述二维图像上所述规划骨去除的表示的至少一部分的叠加；和
显示所述叠加图像以引导在所述手术程序期间的骨去除。
2.权利要求1的方法，其中所述三维模型为基于所述关节的一次或多次扫描而预生成的。
3.权利要求1或权利要求2的方法，其中所述一个或多个特征与股骨头的中心、股骨颈的中心线和股骨头的外缘中的至少一个相关联。
4.权利要求1-3中任何一项的方法，其中确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐包括基于一个或多个特征平移和旋转所述三维模型。
5.权利要求1-4中任何一项的方法，其中确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐包括检测所述二维图像中与骨周边相关的边缘。
6.权利要求1-5中任何一项的方法，其中确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐包括确定所述二维图像中股骨头的中心，确定所述二维图像中股骨颈的中心线，将所述三维模型中的模型股骨头中心与所述二维图像中的股骨头中心对齐，和将所述三维模型中模型股骨颈的中心线与所述二维图像中股骨颈的中心线对齐。
7.权利要求1-6中任何一项的方法，其中所述规划骨去除的表示包括指示规划骨去除的位置和量的热图、指示规划骨去除的位置和量的等高线图以及规划骨去除区域的轮廓中的至少一个。
8.权利要求1-7中任何一项的方法，其中所述三维模型包括所述规划骨去除之外的骨的表示，且所述规划骨去除之外的骨的表示从所述叠加中省略。
9.权利要求1-8中任何一项的方法，其进一步包括确定与所述手术程序期间已去除的骨相关的所述三维模型的一部分并从所述叠加中省略三维模型的该部分。
10.权利要求9的方法，其中从所述叠加中省略的所述三维模型的部分为与规划骨去除相关的热图的一部分。
11.权利要求1-10中任何一项的方法，其进一步包括在显示所述叠加图像之后，响应于用户输入来修改所述二维图像上规划骨去除的表示的至少一部分的叠加的位置。
12.权利要求1-11中任何一项的方法，其进一步包括在新位置捕获所述关节部分的新二维图像，确定所述预生成三维模型与所述新二维图像的更新的对齐，基于所述确定的更新的对齐来生成更新的叠加图像，和显示所述更新的叠加图像以指示骨去除的进度。
13.权利要求1-12中任何一项的方法，其中所述规划骨去除的表示为三维的，并且生成所述叠加图像包括将所述规划骨去除的表示投影到二维平面上。
14.权利要求1-13中任何一项的方法，其中所述规划骨去除的表示指示与凸轮型股骨髋臼撞击症相关的规划骨去除。
15.权利要求1-14中任何一项的方法，其中所述规划骨去除的表示指示与钳夹型股骨髋臼撞击症相关的规划骨去除。
16.权利要求1-15中任何一项的方法，其中所述二维图像在术中从x-射线系统接收。
17.权利要求1-16中任何一项的方法，其中所述三维模型基于来自第一类型成像系统的成像数据，而所述二维图像从不同于所述第一类型的第二类型成像系统接收。
18.权利要求17的方法，其中所述第一类型成像系统为MRI系统或CT系统，而第二类型成像系统为C臂x-射线系统。
19.用于在手术程序期间引导骨去除的系统，所述系统包括一个或多个处理器、存储器和一个或多个程序，其中所述一个或多个程序存储于所述存储器中并被配置为由一个或多个处理器执行，所述一个或多个程序包括用于以下的指令：
在所述手术程序期间接收关节的至少一部分的二维图像；
基于所述二维图像中与所述关节的至少一部分相关的一个或多个特征来确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐，其中所述预生成三维模型包含规划骨去除的表示；
基于所述确定的对齐来生成叠加图像，所述叠加图像包含所述二维图像上所述规划骨去除的表示的至少一部分的叠加；和
将所述叠加图像传输到显示器用于引导在所述手术程序期间的骨去除。
20.权利要求19的系统，其中所述系统被配置用于以通信方式连接于生成所述二维图像的术中成像系统。
21.权利要求19或权利要求20的系统，其中所述一个或多个程序包括用于接收用户输入以在所述二维图像上重新定位所述规划骨去除的表示的至少一部分的叠加的指令。
22.权利要求21的系统，其包括用于显示所述二维图像和接收所述用户输入的触摸屏显示器或增强现实系统。
23.权利要求19-22中任何一项的系统，其中所述三维模型为基于所述关节的一次或多次扫描而预生成的。
24.权利要求19-23中任何一项的系统，其中所述一个或多个特征与股骨头的中心、股骨颈的中心线和股骨头的外缘中的至少一个相关联。
25.权利要求19-24中任何一项的系统，其中确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐包括基于一个或多个特征平移和旋转所述三维模型。
26.权利要求19-25中任何一项的系统，其中确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐包括检测所述二维图像中与骨周边相关的边缘。
27.权利要求19-26中任何一项的系统，其中确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐包括确定所述二维图像中股骨头的中心，确定所述二维图像中股骨颈的中心线，将所述三维模型中的模型股骨头中心与所述二维图像中的股骨头中心对齐，和将所述三维模型中模型股骨颈的中心线与所述二维图像中股骨颈的中心线对齐。
28.权利要求19-27中任何一项的系统，其中所述规划骨去除的表示包括指示规划骨去除的位置和量的热图、指示规划骨去除的位置和量的等高线图以及规划骨去除区域的轮廓中的至少一个。
29.权利要求19-28中任何一项的系统，其中所述三维模型包括所述规划骨去除之外的骨的表示，且所述规划骨去除之外的骨的表示从所述叠加中省略。
30.权利要求19-29中任何一项的系统，其中所述一个或多个程序包括用于确定与所述手术程序期间已去除的骨相关的所述三维模型的一部分并从所述叠加中省略三维模型的该部分的指令。
31.权利要求30的系统，其中所述从叠加中省略的三维模型的部分为与规划骨去除相关的热图的一部分。
32.权利要求19-31中任何一项的系统，其中所述一个或多个程序包括用于在显示所述叠加图像之后，响应于用户输入来修改所述二维图像上规划骨去除的表示的至少一部分的叠加的位置的指令。
33.权利要求19-32中任何一项的系统，其中所述一个或多个程序包括用于在新位置捕获所述关节部分的新二维图像，确定所述预生成三维模型与所述新二维图像的更新的对齐，基于所述确定的更新的对齐来生成更新的叠加图像，和显示所述更新的叠加图像以指示骨去除的进度的指令。
34.权利要求19-33中任何一项的系统，其中所述规划骨去除的表示为三维的，并且生成所述叠加图像包括将所述规划骨去除的表示投影到二维平面上。
35.权利要求19-34中任何一项的系统，其中所述规划骨去除的表示指示与凸轮型股骨髋臼撞击症相关的规划骨去除。
36.权利要求19-35中任何一项的系统，其中所述规划骨去除的表示指示与钳夹型股骨髋臼撞击症相关的规划骨去除。
37.权利要求19-36中任何一项的系统，其中所述二维图像在术中从x-射线系统接收。
38.权利要求19-37中任何一项的系统，其中所述三维模型基于来自第一类型成像系统的成像数据，而所述二维图像从不同于所述第一类型的第二类型成像系统接收。
39.权利要求38的系统，其中所述第一类型成像系统为MRI系统或CT系统，而第二类型成像系统为C臂x-射线系统。
40.非暂时性计算机可读介质，其存储用于由成像系统的一个或多个处理器执行的指令，以实施权利要求1-18中任何一项的方法。
41.用于在手术程序期间于骨的二维图像上显示骨的三维模型的至少一部分的方法，所述方法包括：
在所述手术程序期间接收关节的至少一部分的二维图像；
基于所述二维图像中与所述关节的至少一部分相关的一个或多个特征来确定所述关节的至少一部分的预生成三维模型与所述二维图像的对齐；
基于所述确定的对齐来生成叠加图像，所述叠加图像包含面向观察者的三维模型的一部分的叠加，其中所述叠加表示更远离所述观察者的三维模型部分相对大于更靠近所述观察者的三维模型部分；和
显示所述叠加图像。
42.权利要求41的方法，其中生成所述叠加图像包括经投影射线来投影所述三维模型的部分，所述投影射线始于与用于生成所述二维图像的X-射线成像仪的焦距对应的位置。
CN202180030039.6A 2020-02-21 2021-02-19 用于在关节手术程序期间视觉引导骨去除的系统和方法 Pending CN115942913A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062979993P 2020-02-21 2020-02-21
US62/979993 2020-02-21
PCT/US2021/018911 WO2021168354A1 (en) 2020-02-21 2021-02-19 Systems and methods for visually guiding bone removal during a surgical procedure on a joint

Publications (1)

Publication Number Publication Date
CN115942913A true CN115942913A (zh) 2023-04-07

Family

ID=74871849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180030039.6A Pending CN115942913A (zh) 2020-02-21 2021-02-19 用于在关节手术程序期间视觉引导骨去除的系统和方法

Country Status (4)

Country Link
US (1) US20210259774A1 (zh)
EP (1) EP4106656A1 (zh)
CN (1) CN115942913A (zh)
WO (1) WO2021168354A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3043744A1 (en) 2016-11-18 2018-05-24 Stryker Corp. Method and apparatus for treating a joint, including the treatment of cam-type femoroacetabular impingement in a hip joint and pincer-type femoroacetabular impingement in a hip joint
US11464569B2 (en) 2018-01-29 2022-10-11 Stryker Corporation Systems and methods for pre-operative visualization of a joint
CN113238650B (zh) * 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
WO2023114470A1 (en) * 2021-12-16 2023-06-22 University Of Miami Augmented and mixed reality incorporating pathology results in surgical settings
US20230190139A1 (en) * 2021-12-21 2023-06-22 Stryker Corporation Systems and methods for image-based analysis of anatomical features

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7949386B2 (en) * 2006-03-21 2011-05-24 A2 Surgical Computer-aided osteoplasty surgery system
US20110190774A1 (en) * 2009-11-18 2011-08-04 Julian Nikolchev Methods and apparatus for performing an arthroscopic procedure using surgical navigation
WO2017218933A1 (en) * 2016-06-16 2017-12-21 Medtech S.A. Robotized system for femoroacetabular impingement resurfacing
EP3398551A1 (en) * 2017-05-03 2018-11-07 Stryker European Holdings I, LLC Methods of pose estimation of three-dimensional bone models in surgical planning a total ankle replacement
US11464569B2 (en) * 2018-01-29 2022-10-11 Stryker Corporation Systems and methods for pre-operative visualization of a joint

Also Published As

Publication number Publication date
WO2021168354A9 (en) 2021-10-28
EP4106656A1 (en) 2022-12-28
WO2021168354A1 (en) 2021-08-26
US20210259774A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
JP7203148B2 (ja) 術中画像分析のためのシステム及び方法
US11612402B2 (en) Method and apparatus for treating a joint, including the treatment of cam-type femoroacetabular impingement in a hip joint and pincer-type femoroacetabular impingement in a hip joint
US20210259774A1 (en) Systems and methods for visually guiding bone removal during a surgical procedure on a joint
US10405927B1 (en) Augmented reality visualization for guiding physical surgical tools and instruments including robotics
US20200253667A1 (en) Systems and methods for treating a joint
US20230414287A1 (en) Systems and methods for preoperative planning and postoperative analysis of surgical procedures
CN113164209B (zh) 外科手术系统、计算机可读介质
JP7475082B2 (ja) ２ｄ医用画像において物体間の相対的３ｄ位置および向きを決定すること
US11957418B2 (en) Systems and methods for pre-operative visualization of a joint
JP2022540642A (ja) 拡張現実支援関節形成術
EP2583251B1 (en) A method for determining articular bone deformity resection using motion patterns
EP3054851B1 (en) Method for optimally visualizing a morphologic region of interest of a bone in an x-ray image
US20220183760A1 (en) Systems and methods for generating a three-dimensional model of a joint from two-dimensional images
US20230190139A1 (en) Systems and methods for image-based analysis of anatomical features
EP4092624A1 (en) Near-real-time continual 3d registration of objects in 2d x-ray images
US20230149092A1 (en) Systems and methods for compensating for obstructions in medical images
CN114305689B (zh) 一种手术导航定位方法、装置及手术台车
JP2024500222A (ja) ２ｄのｘ線画像で見えない解剖学的構造の人工知能ベースの検出

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination