CN116762095A - 有时间间隔的x射线图像的配准 - Google Patents
有时间间隔的x射线图像的配准 Download PDFInfo
- Publication number
- CN116762095A CN116762095A CN202180084396.0A CN202180084396A CN116762095A CN 116762095 A CN116762095 A CN 116762095A CN 202180084396 A CN202180084396 A CN 202180084396A CN 116762095 A CN116762095 A CN 116762095A
- Authority
- CN
- China
- Prior art keywords
- image
- rigid
- time
- homographies
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 116
- 230000009466 transformation Effects 0.000 claims abstract description 84
- 210000003484 anatomy Anatomy 0.000 claims abstract description 35
- 238000000844 transformation Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims description 69
- 238000003384 imaging method Methods 0.000 claims description 69
- 239000007943 implant Substances 0.000 claims description 23
- 208000008558 Osteophyte Diseases 0.000 claims description 6
- 206010010214 Compression fracture Diseases 0.000 claims description 5
- 201000010934 exostosis Diseases 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 54
- 230000033001 locomotion Effects 0.000 description 19
- 230000011218 segmentation Effects 0.000 description 18
- 238000001356 surgical procedure Methods 0.000 description 17
- 230000002980 postoperative effect Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 239000003550 marker Substances 0.000 description 9
- 210000000988 bone and bone Anatomy 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000012014 optical coherence tomography Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
根据本公开的一个实施方案的方法包括:接收患者解剖结构的第一图像,该第一图像在第一时间生成并且描绘多个刚性单元;接收该患者解剖结构的第二图像,该第二图像在该第一时间之后的第二时间生成并且描绘该多个刚性单元;针对该多个刚性单元中的每个刚性单元确定从该第一图像到该第二图像的变换,以产生一组变换;计算该组变换中的每个变换的单应性以产生一组单应性;以及使用该组单应性来识别可归因于相机姿态变化的每个变换的共同部分和可归因于刚性单元姿态变化的每个变换的单独部分。
Description
技术领域
本技术整体涉及手术成像和导航,并且更具体地涉及在手术之前、期间和之后跟踪解剖单元(anatomical element)。
背景技术
成像可由医疗提供者用于诊断和/或治疗目的。患者解剖结构可随时间而变化,特别是在将医疗植入物放置在患者解剖结构中之后。一个图像与另一个图像的配准使得能够识别和量化解剖位置的变化。
发明内容
本公开的示例性方面包括:
一种方法,该方法包括:接收患者解剖结构的第一图像,该第一图像在第一时间生成并且描绘多个刚性单元,该多个刚性单元中的每个刚性单元能够相对于该多个刚性单元中的至少另一个刚性单元移动;接收该患者解剖结构的第二图像,该第二图像在该第一时间之后的第二时间生成并且描绘该多个刚性单元;针对该多个刚性单元中的每个刚性单元确定从该第一图像到该第二图像的变换,以产生一组变换;以及使用该组变换来识别可归因于相机姿态变化的每个变换的共同部分和可归因于刚性单元姿态变化的每个变换的单独部分。
本文各方面中的任一方面,该方面还包括:基于每个变换的所识别的共同部分来将第二图像与第一图像配准。
本文各方面中的任一方面,该方面还包括:基于每个变换的单独部分来更新术前模型。
本文各方面中的任一方面,该方面还包括:基于每个变换的共同部分或每个变换的单独部分中的一者来更新机器人空间或导航空间中的一者与图像空间的配准。
本文各方面中的任一方面,其中每个变换是单应性,并且该组变换是一组单应性。
本文各方面中的任一方面,其中识别步骤利用聚类来分离该组变换中由相机姿态变化而导致的变换。
本文各方面中的任一方面,其中配准步骤包括将第一图像和第二图像两者与共同向量空间相关。
本文各方面中的任一方面,其中第一图像是术前图像。
本文各方面中的任一方面,其中第一图像和第二图像中的至少一者是术中图像。
本文各方面中的任一方面,其中计算变换包括识别如第一图像中描绘的该多个刚性单元中的每个刚性单元上的至少四个点,以及如第二图像中描绘的该多个刚性单元中的每个刚性单元上的对应的至少四个点。
本文各方面中的任一方面,其中第一图像和第二图像是二维的。
本文各方面中的任一方面,其中第一图像和第二图像是三维的。
本文各方面中的任一方面,其中该多个刚性单元包括患者脊柱的多个椎骨。
本文各方面中的任一方面,其中该多个刚性单元包括至少一个植入物。
本文各方面中的任一方面,该方面还包括:量化该多个刚性单元中的至少一个刚性单元从第一时间到第二时间的姿态变化。
一种将在不同时间拍摄的图像相关的方法,该方法包括:分割在第一时间拍摄的多个刚性单元的第一图像中和在该第一时间之后的第二时间拍摄的该多个刚性单元的第二图像中的该多个刚性单元中的每个刚性单元;计算该多个刚性单元中的每个刚性单元的单应性以产生一组单应性,每个单应性将如该第一图像中描绘的该刚性单元与如该第二图像中描绘的该刚性单元相关;基于至少一个特性来将该组单应性排列成单应性簇;基于至少一个参数来选择单应性簇;以及使用所选择的单应性簇的平均值来将如该第二图像中描绘的该多个刚性单元中的每个刚性单元投影到该第一图像上,以产生投影图像。
本文各方面中的任一方面,其中第二时间是在第一时间之后至少一个月。
本文各方面中的任一方面,其中第二时间是在第一时间之后至少一年。
本文各方面中的任一方面,其中该至少一个参数是轮廓。
本文各方面中的任一方面,其中该多个刚性单元中的至少一个刚性单元是植入物。
本文各方面中的任一方面,其中该多个刚性单元包括患者脊柱的多个椎骨。
本文各方面中的任一方面,该方面还包括:测量与如投影图像中所反映的该多个刚性单元中的一个刚性单元的姿态变化相对应的角度或距离中的至少一者。
本文各方面中的任一方面,该方面还包括:从该组单应性中移除受第二图像而不是第一图像中描绘的压缩性骨折或骨赘中的一者或多者影响的任何单应性。
本文各方面中的任一方面,其中计算该多个刚性单元中的每个刚性单元的单应性包括识别椎骨终板的边缘点。
一种用于比较图像的系统,该系统包括:至少一个处理器;和存储器。该存储器存储用于由处理器执行的指令,这些指令在被执行时使处理器:识别在第一时间生成的第一图像中的多个单元;识别在该第一时间之后的第二时间生成的第二图像中的该多个单元;使用该第一图像和该第二图像来计算该多个单元中的每个单元的单应性,以产生一组单应性;以及基于该组单应性来确定:该第二图像中的该多个单元中的一个或多个单元相对于该第一图像的第一姿态变化,该第一姿态变化可归因于相对于该多个单元的从该第一图像到该第二图像的成像装置位置变化;以及该第二图像中的该多个单元中的至少一个单元相对于该第一图像的第二姿态变化,该第二姿态变化不可归因于该成像装置位置变化。
本文各方面中的任一方面,其中该存储器存储用于由该处理器执行的附加指令,这些附加指令在被执行时进一步使该处理器:基于第一姿态变化来将第二图像与第一图像配准。
本文各方面中的任一方面,其中该存储器存储用于由该处理器执行的附加指令,这些附加指令在被执行时进一步使该处理器:基于第二姿态变化来更新术前模型。
本文各方面中的任一方面,其中该存储器存储用于由该处理器执行的附加指令,这些附加指令在被执行时进一步使该处理器:基于第一姿态变化或第二姿态变化中的一者来更新机器人空间或导航空间中的一者与图像空间的配准。
本公开的一个或多个方面的细节在以下附图和描述中阐述。根据说明书和附图以及权利要求书,本公开中描述的技术的其他特征、目的和优点将是显而易见的。
短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。例如,表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”中一者意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起,或A、B和C一起。当上述表述中的A、B和C中的每一者都指诸如X、Y和Z的一个元素或诸如X1-Xn、Y1-Ym和Z1-Zo的一类元素时,短语意图指选自X、Y和Z的单个元素、选自同一类的元素(例如,X1和X2)的组合以及选自两类或更多类的元素(例如,Y1和Zo)的组合。
术语“一个(a/an)”实体是指一个或多个该实体。因此,术语“一个(a/an)”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意,术语“包括(comprising/including)”、和“具有”可以可互换地使用。
前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开及其各个方面、实施方案和配置的广泛性概述也不是详尽性概述。其既不意图确定本公开的关键或重要元素,也不意图划定本公开的范围,而是以简化形式呈现本公开的选定概念,作为对下文呈现的更详细描述的介绍。如应当了解的,本公开的其他方面、实施方案和配置可能单独或组合地利用上文所阐述或下文所详细描述的特征中的一个或多个。
在考虑下文提供的实施方案描述之后,本发明的许多额外特征和优点对于本领域技术人员将变得显而易见。
附图说明
附图并入并形成本说明书的一部分以示出本公开的几个示例。这些附图连同描述一起解释本公开的原理。附图仅示出如何实施和使用本公开的优选和替代示例,并且这些示例不应解释为仅将本公开限制于所示出和所描述的示例。另外的特征和优点将根据以下对本公开的各个方面、实施方案和配置的更详细的描述变得显而易见,如通过以下参考的附图所示出。
图1是根据本公开的至少一个实施方案的系统的框图;
图2是在不同时间拍摄的患者解剖结构的一系列X射线图像;
图3是根据本公开的至少一个实施方案的方法的流程图;
图4是根据本公开的至少一个实施方案的另一方法的流程图;并且
图5是根据本公开的至少一个实施方案的另一方法的流程图。
具体实施方式
应当理解,本文所公开的各个方面可以与说明书和附图中具体呈现的组合不同的组合进行组合。还应当理解,取决于示例或实施方案,本文所述的任何过程或方法的某些动作或事件可以不同的顺序执行,和/或可添加、合并或完全省略(例如,根据本公开的不同实施方案,实施所公开技术可能不需要所有描述的动作或事件)。此外,虽然为了清楚起见,本公开的某些方面被描述为由单个模块或单元执行,但应当理解,本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。
在一个或多个示例中,所描述的方法、过程和技术可在硬件、软件、固件或它们的任何组合中实施。如果在软件中实施,则功能可作为一个或多个指令或代码存储在计算机可读介质上并且由基于硬件的处理单元执行。计算机可读介质可包括非暂时性计算机可读介质,其对应于有形介质,诸如数据存储介质(例如,RAM、ROM、EEPROM、闪存存储器,或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。
指令可由一个或多个处理器执行,诸如一个或多个数字信号处理器(DSP)、通用微处理器(例如,Intel Core i3、i5、i7或i9处理器;Intel Celeron处理器;Intel Xeon处理器;Intel Pentium处理器;AMD Ryzen处理器;AMD Athlon处理器;AMD Phenom处理器;Apple A10或10X Fusion处理器;Apple A11、A12、A12X、A12Z或A13 Bionic处理器;或任何其他通用微处理器)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路系统。因此,如本文所用的术语“处理器”可指前述结构或适合于实施所描述的技术的任何其他物理结构中的任一种。另外,本技术可在一个或多个电路或逻辑元件中完全实施。
在详细地解释本公开的任何实施方案之前,应当理解,本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和部件布置。本公开能够具有其他实施方案并且能够以各种方式实践或实施。另外,应当理解,本文所用的措词和术语是出于描述的目的,而不应被视为是限制性的。本文中使用“包括(including/comprising)”、或“具有”及其变化形式意在涵盖其后列出的项目及其等效物,以及额外项目。此外,本公开可使用示例来示出其一个或多个方面。除非另有明确说明,否则使用或列出一个或多个示例(其可由“例如(for example)”、“借助于示例”、“例如(e.g.)”、“诸如”或类似语言指示)不意图且并不限制本公开的范围。
在不同时间点拍摄的患者解剖结构的一部分的图像可反映患者解剖结构的相当大的结构可变性。在术前和术后拍摄图像的情况下和/或在图像间隔较长时间(包括数月或数年)时,尤其如此。例如,在插入脊柱杆之后患者的脊柱结构可能与插入该杆之前患者的脊柱结构显著不同。此外,患者的脊柱可能在插入杆后的数周、数月和数年内经历显著变形。需要识别和量化从拍摄第一图像的第一时间到拍摄第二图像的第二时间的一个或多个解剖单元的姿态的变化。
以病人脊柱的结构变化为例,有几个因素导致无法比较这种变化的定期测量结果。此类因素可包括:生成第一图像和第二图像的相机或其他成像装置的姿态的变化;当捕获第一图像和第二图像时患者解剖结构的姿态的变化(例如,可在患者处于俯卧位置或仰卧位置时拍摄第一图像,并且可在患者处于站立位置时拍摄第二图像);由于噪声图像和/或分割误差而导致的源标记中的噪声;以及脊柱经过一段时间或在手术之前和之后的非刚性变换。
本公开的实施方案利用沿着分别在时间t1和t2拍摄的第一图像和第二图像中描绘的每个椎骨的周边的对应点。例如,可使用在任何两个时间t1和t2取得的AP或LT投影中的椎骨终板的边缘点。可手动地或自动地识别这些点。
由于脊柱经过一段时间或在手术之前和之后的非刚性变换,直接计算时间t1和t2之间的变换是不可能的。换句话说,因为脊柱的椎骨能够以不同的方式移动和旋转,简单地比较从时间t1到时间t2的整个脊柱结构的变化不能提供准确的结果。相反,利用脊柱的分段刚性,可在椎骨范围内处理这个问题。因为每个椎骨自身的运动可被假设为刚性的,所以可针对每个椎骨计算变换。此外,由于椎骨周边可被表示为平面(例如,终板、侧面、侧位或前位投影),所以单应性变换H可以是足够有用的表示。
然后,根据本公开的实施方案,对于每个椎骨,每个图像中的至少四个对应点被用于计算单应性H参数。为了减少计算中的噪声,如果有更多点可用,则可使用这些点;典型的计算机视觉方法可用于自动地固定标记的角点;并且可使用沿着标记线的内插点。
如果脊柱运动是刚性的,则所有所计算的单应性{H}将或多或少相同。但是,由于个别椎骨存在一些运动,因此预期所计算的单应性是不同的。另外,标记点中的噪声将增加噪声单应性。
根据前述内容,变换空间(无论是9维空间还是缩小的空间)中的一组单应性{H}可根据预先确定的特性来聚类。可选择最相干的簇,并且/或者可根据其他标准来过滤簇/单应性。然后,所得簇的平均值可被视为时间t1、t2之间的单应性H'。然后,可使用H'将所有椎骨从t2投影到t1上,并且可以更加可比较的方式计算测量结果/特征。
本公开的实施方案基于以下假设:骨结构随时间的变化不如软组织随时间的变化明显。即使如此,压缩性骨折和骨赘(骨刺)变化也会干扰本公开的实施方案的成功利用。在一个或多个单应性受到压缩性骨折和/或骨赘(和/或刚性解剖单元的形状的其他变化)影响的情况下,可能需要在其他单应性被平均或以其他方式利用之前滤除这种单应性。
对于二维图像的配准,需要至少四个对应点,而对于三维图像的配准,需要至少八个对应点。在一些实施方案中,植入物自身可代替椎骨终板或其他解剖特征或作为其补充用作对应点的来源。例如,杆可提供两个对应点(例如,杆的每端一个点),使得可利用两个杆、一个杆和一个螺钉或者甚至两个螺钉来获得两个图像之间的四个对应点。当然,在要使用一个或多个植入物来限定一个或多个对应点的情况下,仅描绘该一个或多个植入物的图像对可彼此配准。因此,在这些实施方案中不能使用在插入这种植入物之前拍摄的图像。即使如此,使用植入物来限定对应点有益地利用了以下事实:与一些解剖单元不同,植入物结构通常不随时间而变化。
本公开的实施方案有益地实现了长期配准,即,间隔了数周、数月或甚至数年的时段生成的两个图像的配准。本公开的实施方案还有益地利用脊柱(和/或由多个单独的刚性单元组成的其他解剖单元)的分段刚性特性来克服直接确定脊柱或其他解剖单元的变换的计算难题。通过将数据科学方法与典型的计算机视觉方法相组合,可生成一组潜在变换,然后使用聚类方法来对其进行分析。
本公开的实施方案提供了针对以下问题中的一个或多个问题的技术解决方案:(1)关于同一患者的X射线图像生成准确的几何测量结果并对这些几何测量结果进行比较,这些X射线图像是在间隔数周、数月或甚至数年的不同时间点拍摄的;(2)在两个不同时间拍摄并且可能由两个不同成像装置拍摄的两个图像的配准期间,(i)考虑从一个图像到另一个图像的相机姿态相对于患者解剖结构的变化的影响,(ii)考虑从一个图像到另一个图像的身体姿态和位置的变化的影响,以及(iii)考虑由于噪声图像或分割误差而导致的源标记中的噪声;(3)将在不同时间生成的两个脊柱图像彼此配准,而不管在生成第一图像和生成第二图像之间的时段期间脊柱的非刚性变换;以及(4)将在两个图像中描绘的一个或多个刚性单元的姿态由于相机姿态变化而导致的变化与由于该一个或多个刚性单元自身的姿态变化而导致的变化区分开。
首先转向图1,示出了根据本公开的至少一个实施方案的系统100的框图。系统100可用于将两个有时间间隔的图像彼此配准和/或执行本文所公开的一种或多种方法的一个或多个其他方面。系统100包括计算装置102、一个或多个成像装置112、导航系统114、机器人130、数据库136和云138。根据本公开的其他实施方案的系统可包括比系统100更多或更少的部件。例如,系统100可不包括导航系统114、机器人130、计算装置102的一个或多个部件、数据库136和/或云138。
计算装置102包括处理器104、存储器106、通信接口108和用户接口110。根据本公开的其他实施方案的计算装置可包括比计算装置102更多或更少的部件。
计算装置102的处理器104可为本文所述的任何处理器或任何类似的处理器。处理器104可被配置为执行存储在存储器106中的指令,该指令可使处理器104利用或基于从成像装置112、机器人130、导航系统114、数据库136和/或云138接收的数据来执行一个或多个计算步骤。
存储器106可为或包括RAM、DRAM、SDRAM、其他固态存储器、本文所述的任何存储器或用于存储计算机可读数据和/或指令的任何其他有形的非暂时性存储器。存储器106可存储用于完成例如本文中所描述的方法300、400和/或500或任何其他方法的任何步骤的信息或数据。存储器106可存储例如一个或多个图像处理算法120、一个或多个分割算法122、一个或多个变换算法124、一个或多个单应性算法126和/或一个或多个配准算法128。在一些实施方案中,此类指令或算法可被组织成一个或多个应用、模块、包、层或引擎。算法和/或指令可使处理器104操控存储在存储器106中的和/或从或经由成像装置112、机器人130、数据库136和/或云138接收的数据。
计算装置102也可包括通信接口108。通信接口108可用于从外部源(诸如成像装置112、导航系统114、机器人130、数据库136、云138和/或不是系统100的部分的任何其他系统或部件)接收数据或其他信息,和/或用于将指令、图像或其他信息传输到外部系统或装置(例如,另一计算装置102、导航系统114、成像装置112、机器人130、数据库136、云138和/或不是系统100的部分的任何其他系统或部件)。通信接口108可以包括一个或多个有线接口(例如,USB端口、以太网端口、火线端口)和/或一个或多个无线收发器或接口(被配置成例如经由例如802.11a/b/g/n、蓝牙、NFC、紫峰等一个或多个无线通信协议传输和/或接收信息)。在一些实施方案中,通信接口108可用于使得装置102能够与一个或多个其他处理器104或计算装置102通信,无论是减少完成计算密集型任务所需的时间还是出于任何其他原因。
计算装置102也可包括一个或多个用户接口110。用户界面110可以是或包括键盘、鼠标、轨迹球、监测器、电视、屏幕、触摸屏和/或用于从用户接收信息和/或用于向用户提供信息的任何其他装置。用户界面110可用于例如接收关于本文所描述的任何方法的任何步骤的用户选择或其他用户输入。尽管如此,本文所描述的任何方法的任何步骤的任何所需输入可由系统100(例如,由处理器104或系统100的另一组件)自动生成或由系统100从系统100外部的源接收。在一些实施方案中,用户界面110可用于允许外科医生或其他用户根据本公开的一个或多个实施方案修改待由处理器104执行的指令,和/或修改或调整显示在用户界面110上或与其相对应的其他信息的设置。
尽管用户接口110被示出为计算装置102的一部分,但在一些实施方案中,计算装置102可利用与计算装置102的一个或多个其余部件分开容纳的用户接口110。在一些实施方案中,用户接口110可位于计算装置102的一个或多个其他部件附近,而在其他实施方案中,用户接口110可位于远离计算机装置102的一个或多个其他部件之处。
成像装置112可用于对解剖特征(例如,骨骼、静脉、组织等)和/或患者解剖结构的其他方面进行成像以产生图像数据(例如,描绘或对应于骨骼、静脉、组织等的图像数据)。图像数据可以是或包括术前图像、术后图像或独立于任何外科手术拍摄的图像。在一些实施例中,第一成像装置112可用于在第一时间获得第一图像数据(例如,第一图像),并且第二成像装置112可用于在第一时间之后的第二时间获得第二图像数据(例如,第二图像)。第一时间和第二时间可间隔一台外科手术的时间(例如,一个可以是术前的,而另一个可以是术后的)或一段时间(例如,数天、数周、数月或数年)。成像装置112可能够拍摄2D图像或3D图像以产生图像数据。本文所使用的“图像数据”指代由成像装置112生成或捕获的数据,包含呈机器可读形式、图形/视觉形式和呈任何其他形式的数据。在不同示例中,图像数据可包括与患者的解剖特征或其一部分相对应的数据。成像装置112可以是或包括例如超声波扫描仪(其可包括例如物理上分离的换能器和接收器,或单个超声收发器)、雷达系统(其可包括例如传输器、接收器、处理器和一个或多个天线)、O型臂、C型臂、G型臂或利用基于X射线的成像的任何其他装置(例如,荧光镜、CT扫描仪或其他X射线机)、磁共振成像(MRI)扫描仪、光学相干断层扫描扫描仪、内窥镜、望远镜、热成像相机(例如,红外相机)或适于获得患者解剖特征的图像的任何其他成像装置112。
在一些实施方案中,成像装置112可包括多于一个的成像装置112。例如,第一成像装置可以提供第一图像数据和/或第一图像,并且第二成像装置可以提供第二图像数据和/或第二图像。在其他实施方案中,同一成像装置可用于提供第一图像数据和第二图像数据两者和/或本文所描述的任何其他图像数据。成像装置112可用于生成图像数据流。例如,成像装置112可以被配置成使用打开的快门操作,或者使用在打开与关闭之间连续交替的快门操作,以便捕获连续的图像。出于本公开的目的,除非另外规定,否则如果图像数据表示每秒两个或更多个帧,则可以将图像数据视为连续的和/或提供为图像数据流。
在操作期间,导航系统114可为外科医生和/或外科手术机器人提供导航。导航系统114可以是任何现在已知或未来开发的导航系统,包括例如MedtronicStealthStationTMS8外科手术导航系统或其任何接替物。导航系统114可包括一个或多个相机或其他传感器,用于跟踪手术室或系统100中的一些或所有位于其中的其他房间内的一个或多个参考标记、导航跟踪器或其他对象。在各种实施方案中,导航系统114可用于跟踪成像装置112、机器人130和/或机器人臂132和/或一个或多个手术工具的位置和定向(即,姿态)(或更具体地说,用于跟踪直接或间接以固定关系附接到前述中的一个或多个的导航跟踪器的姿态)。导航系统114可包括用于显示来自外部源(例如,计算装置102、成像装置112或其他源)的一个或多个图像或用于显示来自导航系统114的相机或其他传感器的图像和/或视频流的显示器。在一些实施方案中,系统100可在不使用导航系统114的情况下操作。导航系统114可被配置为向外科医生或系统100或其部件的其他用户、向机器人130或向系统100的任何其他元件提供关于例如一个或多个解剖单元的姿态和/或工具是否处于恰当轨迹中(和/或如何将工具移动到恰当轨迹中)的引导,以根据术前计划执行手术任务。
机器人130可为任何外科手术机器人或外科手术机器人系统。机器人130可为或包括例如Mazor XTMStealth Edition机器人引导系统。机器人130可被配置为将成像装置112定位在一个或多个精确位置和定向,和/或将成像装置112返回到稍后时间点的同一位置和定向。机器人130可额外地或另选地被配置为操控手术工具(无论是否基于来自导航系统114的引导)以完成或辅助手术任务。机器人130可包括一个或多个机器人臂132。在一些实施方案中,机器人臂132可包括第一机器人臂和第二机器人臂,但机器人130可包括多于两个机器人臂。在一些实施方案中,机器人臂132中的一个或多个可用于保持和/或操纵成像装置112。在成像装置112包括两个或更多个物理上分离的部件(例如,传输器和接收器)的实施方案中,一个机器人臂132可保持一个此类部件,并且另一机器人臂132可保持另一此类部件。每个机器人臂132可独立于其他机器人臂定位。
机器人130连同机器人臂132可具有例如至少五个自由度。在一些实施方案中,机器人臂132具有至少六个自由度。在另其他实施方案中,机器人臂132可具有小于五个自由度。另外,机器人臂132可以任何姿态、平面和/或焦点定位或可定位。所述姿态包含位置和定向。因此,由机器人130保持的(或更具体地说,由机器人臂132保持的)成像装置112、手术工具或其他对象可被精确定位在一个或多个所需且特定的位置和定向。
在一些实施方案中,参考标记(即,导航标记)可放置在机器人130(包括例如在机器人臂132上)、成像装置112或手术空间中的任何其他对象上。参考标记可以由导航系统114跟踪,并且跟踪的结果可以由机器人130和/或由系统100或其任何部件的操作者使用。在一些实施方案中,导航系统114可用于跟踪系统的其他部件(例如,成像装置112),并且系统可在不使用机器人130的情况下操作(例如,外科医生例如基于由导航系统114生成的信息和/或指令手动操控成像装置112和/或一个或多个手术工具)。
系统100或类似系统可用于例如执行本文中所描述的方法300、400和/或500中的任一者的一个或多个方面。系统100或类似系统还可用于其他目的。在一些实施方案中,系统100可用于生成和/或显示患者的解剖特征或解剖体积的3D模型。例如,机器人臂132(由机器人130的处理器、计算装置102的处理器104或一些其他处理器控制,具有或不具有任何手动输入)可用于将成像装置112定位在多个预定的已知姿态,使得成像装置112可在预定的已知姿态中的每个预定的已知姿态处获得一个或多个图像。因为拍摄每个图像的姿态是已知的,所以可将所得图像装配在一起以形成或重建3D模型。如本文中别处所描述,系统100可基于从成像装置112接收的信息(例如,片段跟踪信息)更新模型。
现在转到图2,本公开的实施方案可用于例如配准有时间间隔的两个图像200。例如,本公开的实施方案可用于:将术前图像200A与术后图像200B、手术后六个月拍摄的图像200C和/或手术后一年拍摄的图像200D配准;将术后图像200B与手术后六个月拍摄的图像200C和/或手术后一年拍摄的图像200D配准;并且/或者将手术后六个月拍摄的图像200C与手术后一年拍摄的图像200D配准。另外,本公开的实施方案可用于获得关于在已配准图像中描绘的一个或多个解剖单元或医疗植入物的姿态的变化的精确几何测量结果,尽管由于以下因素,图像不能直接彼此配准(例如,通过简单地将一个图像叠加在另一个图像上并将对应点排齐):用于相对于被成像患者解剖结构拍摄图像的相机的姿态的变化;当生成图像时患者的姿态的变化;图像中的噪声;和/或图像中描绘的解剖结构的非刚性变换。
虽然图2示出了术前图像200A、紧接在用于植入在图像200B中描绘的杆和螺钉的外科手术之后拍摄的术后图像200B、在同一外科手术后六个月拍摄的图像200C以及在同一外科手术后一年拍摄的图像200D,但是本公开的实施方案可用于配准间隔比从术前到术后的时间、六个月和/或一年更长或更短的时间段的两个图像。在一些实施方案中,本公开可用于配准相隔两年、五年、十年或更多年拍摄的两个图像。在其他实施方案中,本公开可用于配准相隔一个月、两个月、三个月、四个月、五个月、七个月、八个月、九个月、十个月或十一个月拍摄的两个图像。在其他实施方案中,本公开可用于配准相隔数周时段或相隔数天时段拍摄的两个图像。虽然当存在被成像解剖单元从一个图像到另一个图像的显著变换时,本公开的实施方案的益处可能是最显著的,但是可使用那些相同的实施方案,而不管在拍摄解剖单元的两个图像的时间之间解剖单元的变换程度如何。
图3描绘了可用于例如长期配准、短期配准、更新患者解剖结构的术前模型和/或更新机器人空间、导航空间和/或患者空间中的任意两者或更多者之间的配准的方法300。术语“长期配准”意在表达方法300可用于配准有时间间隔的图像,包括相隔数天、数周、数月或甚至数年拍摄的图像。即使如此,方法300也可用于配准在相对接近的时间(例如,术前和术中)拍摄的图像。
方法300(和/或其一个或多个步骤)可例如由至少一个处理器进行或以其他方式执行。至少一个处理器可与上文所述的计算装置102的处理器104相同或相似。至少一个处理器可为机器人(诸如机器人130)的一部分或导航系统(诸如导航系统114)的一部分。除了本文所述的任何处理器之外的处理器也可用于执行方法300。至少一个处理器可以通过执行存储在如存储器106的存储器中的指令来执行方法300。指令可对应于下文所述的方法300的一个或多个步骤。这些指令可以使得处理器执行一个或多个算法,诸如图像处理算法120、分割算法122、变换算法124、单应性算法126和/或配准算法128。
方法300包括接收患者解剖结构的第一图像(步骤304)。第一图像由成像装置(诸如成像装置112)生成,并且在第一时间生成。第一时间可以是在影响被成像解剖结构的外科手术之前一天或多天、数周或数月,或者第一时间可紧接在外科手术之前(例如,当患者位于手术台上和/或在手术室内时),或者第一时间可在外科手术之后。在一些实施方案中,第一图像是独立于任何外科手术拍摄的。
被成像解剖结构可以是例如包括多个椎骨的患者的脊柱或其部分。在其他实施方案中,被成像解剖结构可以是由多个刚性或基本上刚性的子单元组成的任何其他解剖对象,或者经历非刚性变形并且可在子单元水平上进行分析的任何其他解剖对象。
可从成像装置诸如成像装置112直接或间接地接收第一图像。第一图像可以是二维图像或三维图像。在一些实施方案中,第一图像是X射线图像或使用X射线生成的图像,诸如CT图像或荧光镜检查图像。然而,图像可以是使用任何其他成像模态(诸如,超声、磁共振成像、光学相干断层扫描或另一种成像模态)生成的图像。因此,成像装置可以是CT扫描仪、磁共振成像(MRI)扫描仪、光学相干断层扫描(OCT)扫描仪、O型臂(包括例如O型臂2D长胶片扫描仪)、C型臂、G型臂、利用基于X射线的成像的另一装置(例如,荧光镜或其他X射线机)或任何其他成像装置。
方法300还包括接收患者解剖结构的第二图像(步骤308)。第二图像也由成像装置(诸如成像装置112)生成,但用于生成第二图像的成像装置可不同于用于生成第一图像的成像装置。此外,第二图像在第一时间之后的第二时间生成。第二时间可与第一时间间隔一台外科手术的时间(例如,第一图像可以是术前图像并且第二图像可以是术后图像)。第二时间可与第一时间间隔第一时间之后的一天或多天、数周、数月或数年。
第二图像通常对应于与第一图像或其部分相同的患者解剖结构的解剖区域或部分。因此,例如,如果第一图像描绘患者的脊柱或其片段,则第二图像数据也描绘脊柱或其片段。作为另一示例,如果第一图像描绘患者的膝盖或其部分,则第二图像数据也描绘膝盖或其部分。
可从成像装置诸如成像装置112直接或间接地接收第二图像。第二图像可具有与第一图像相同的维数(例如,二维或三维)。第二图像可以是使用与第一图像相同的成像装置或不同的成像装置生成的图像。生成第二图像的成像装置可具有与生成第一图像的成像装置相同的成像模态,或者是相关的成像模态。在一些实施方案中,可使用不同的成像模态来生成第一图像和第二图像。
方法300还包括针对第一图像和第二图像中的多个刚性单元中的每个刚性单元确定从第一图像到第二图像的变换,以产生一组变换(步骤312)。在一些实施方案中,步骤312可包括使用一个或多个图像处理算法120来预处理第一图像和第二图像以:从其去除噪声和/或伪影,确保两个图像具有相同的比例,并且以其他方式准备图像用于步骤312的其他方面。一种或多种图像处理算法120也可用于识别每个图像中的多个刚性单元,而不管是使用特征识别、边缘检测还是其他对象检测方法。
在一些实施方案中,步骤312包括分割第一图像和第二图像以识别和/或标明每个图像内的单独的刚性单元。此类分割可使用一个或多个分割算法122和/或任何其他分割算法或过程来完成。步骤312还可包括利用解剖图谱、生物力学模型或其他参考来识别第一图像和第二图像内的解剖对象,确定那些解剖对象中的哪些解剖对象是刚性单元,并且/或者确定两个或更多个所识别的刚性单元之间的关系(如果有的话)。因此,例如,可参考解剖图谱来确定两个相邻椎骨通过椎间盘连接,或者可参考患者专用生物力学模型来确定两个相邻椎骨已经融合并且应当作为一个整体在患者解剖结构内移动。
该多个刚性单元可包括单独的骨或其他硬组织解剖对象。该多个刚性单元还可包括一个或多个医疗植入物,诸如椎弓根螺钉、椎骨杆、外科手术销和/或椎间体。在特定刚性单元出现在第一图像中但未出现在第二图像中的情况下,或反之亦然,可从该多个刚性单元中排除该特定刚性单元。类似地,在一些实施方案中,该多个刚性单元可不包括在一个图像或两个图像中描绘的每个刚性单元。出于本公开的目的,骨解剖结构或其他硬组织的单元可被视为刚性的,即使该单元具有一定程度的柔性。该多个刚性单元中的至少一个刚性单元能够相对于该多个刚性单元中的至少另一个刚性单元移动。
为了针对该多个刚性单元中的每个刚性单元确定从第一图像到第二图像的变换,可使用一种或多种变换算法124。该确定可包括将第二图像叠加在第一图像上或者限定第一图像和第二图像之间的任何其他关系。在一些实施方案中,可自动地或手动地进行第一图像和第二图像之间的“最佳猜测”对准,诸如通过对准两个图像中的突出边缘或表面(例如,患者的可见边缘,诸如患者的背部或侧面;患者的髋部或骨盆的一个或多个表面,或者比所讨论的刚性单元更不可能随时间而移动的另一个硬组织单元的一个或多个表面)。为了确定变换,必须建立起两个图像之间的固定关系;然而,固定关系不需要是准确的,因为方法300的剩余步骤将在以下方面之间进行区分:可归因于相机姿态、患者位置或以相同方式影响对每个刚性单元的描绘的其他参数的每个变换的方面与可归因于刚性单元的移动的每个变换的方面。
该多个刚性单元中的每个刚性单元的所确定的变换可为单应性。单应性将如第一图像中描绘的给定刚性单元与如第二图像中描绘的相同刚性单元相关。出于计算单应性的目的,可选择刚性单元上(在第一图像和第二图像中都可见)的多个点。例如,这些点可以是沿着前后(AP)位或侧(LT)位投影中的刚性单元的周边的点。在刚性单元是椎骨的情况下,这些点可以是椎骨终板的边缘点。在刚性单元是螺钉的情况下,这些点可在螺钉的两端处(例如,在螺钉头的顶部处和在螺钉尖端处)。在刚性单元是杆的情况下,这些点可在杆的相对端处。出于本公开的目的,单个解剖单元中的多个螺钉可被视为单个刚性单元。可手动地(例如,经由用户接口诸如用户接口110)或自动地(例如,使用图像处理算法120、分割算法122或任何其他算法)指定这些点。可使用单应性算法诸如单应性算法126来计算单应性。可使用用于计算单应性的任何已知方法。
在一些实施方案中,可计算相邻刚性单元的单应性。因此,例如,可使用与每对相邻椎骨相对应的所确定的变换来计算每对相邻椎骨的单应性。
在第一图像和第二图像是二维图像的情况下,该多个点包括至少四个点。在第一图像和第二图像是三维图像的情况下,该多个点包括至少八个点。无论是使用2D图像还是3D图像,都可利用比最小数量的点更多的点。另外,所需的点可包括参考患者解剖结构限定的点、参考一个或多个植入物(例如,螺钉、杆)限定的点或它们的任何组合。所选择的点可通过标记线连接,并且可沿着标记线内插一个或多个点。值得注意的是,用于计算单应性的点中的噪声(例如,每个图像中的点的位置与该图像中的对应刚性单元之间的任何差异)将导致计算出噪声单应性。
考虑到植入物可能比解剖单元更不可能随时间而变化,使用螺钉、杆和/或其他植入物作为用于本公开目的的刚性单元是有益的。
对该多个刚性单元中的每个刚性单元的变换(无论是单应性还是其他)的确定产生了一组变换。每个变换可包括一个或多个距离、角度和/或足以描述针对其确定变换的刚性单元的姿态变化的其他测量结果。在一些实施方案中,每个所确定的变换可简单地包括处于第一位置(例如,如在第一图像中描绘的)和处于第二位置(例如,如在第二图像中描绘的)的刚性单元的分割图像。在其他实施方案中,所确定的变换可包括描述刚性单元从第一图像中描绘的姿态到第二图像中描绘的姿态的移动的方程式或一组方程式。
方法300还包括计算每个变换的单应性。
方法300还包括识别可归因于姿态变化的每个变换的共同部分(步骤316)。例如,该识别可以基于所计算的变换。基于以下假设:大多数变换将仅通过相机姿态变化来确定(例如,因为对应椎骨或其他刚性单元尚未移动),或另选地,相同或几乎相同的变换是由相机姿态变化导致的(其或多或少同等地影响每个刚性单元,而个别刚性单元的运动不一定与其他刚性单元的运动具有任何相关性),聚类数据科学方法可用于将仅源自相机姿态的变换与由相机姿态变化和刚性单元的运动的组合导致的那些变换分离。
在使用聚类的情况下,聚类可在变换空间(例如,9维空间)或缩小的空间中完成。可使用轮廓测量、方差、大小或可用于将可归因于相机姿态变化的那些变换与可归因于相机姿态变化和刚性单元的运动两者的那些变换分离的另一参数来分析所得簇。可对最相干的簇(或通过应用其他参数而选择的簇)求平均,其中将簇的平均值视为与相机姿态变化相对应的变换。使用聚类有益地解释了由用于计算变换的标记点中的噪声导致的变换中的噪声。
与相机姿态变化相对应的变换可解释第一图像和第二图像中的大多数单独的刚性单元的运动。不管其变换仅通过相机姿态变化解释的刚性单元的数量如何,仅通过相机姿态变化解释的每个变换的部分构成每个变换的共同部分(例如,因为该部分同等地影响每个变换)。
不管步骤316如何完成,其结果都是确定用于拍摄第一图像和第二图像的相机的姿态变化如何导致每个刚性单元的所确定的变换。
方法300还包括识别可归因于刚性单元姿态变化的每个变换的单独部分(步骤320)。识别可归因于刚性单元姿态变化的每个变换的单独部分可包括例如利用在步骤316中确定的每个变换的共同部分将每个刚性单元从第二图像投影到第一图像上。该投影的结果将是使第二图像中描绘的在第一时间和第二时间之间未移动的刚性单元与第一图像中描绘的对应刚性单元对准。然而,对于在第一时间和第二时间之间移动了的刚性单元,该投影的结果将是从刚性单元的描绘移除相机姿态变化的影响。因此,从第二图像投影到第一图像上的刚性单元和如第一图像中描绘的对应刚性单元之间的任何未对准可归因于刚性单元自身的移动。换句话说,从第二图像投影到第一图像上的刚性单元的姿态与如第一图像中描绘的对应刚性单元之间的任何差异构成可归因于刚性单元姿态变化的每个变换的单独部分。
在一些实施方案中,该识别可不包括使用在步骤316中确定的每个变换的共同部分来将刚性单元从第二图像投影到第一图像上。相反,该识别可包括计算在步骤316中确定的每个变换的共同部分和针对单独的刚性单元计算的变换之间的差异。在一些实施方案中,低于预先确定的阈值的任何此类所计算的差异可由于噪声或以其他方式构成非实质性运动而被丢弃。根据本公开的实施方案,还可利用识别可归因于刚性单元姿态变化的每个变换的单独部分的其他方法。
方法300还包括基于所识别的共同部分来将第二图像与第一图像配准(步骤324)。步骤324可发生在步骤320(以及其他步骤)之前,并且可包括使用在步骤316中识别的每个变换的共同部分来将刚性单元从第二图像投影到第一图像上。该配准还可包括基于已知从第一时间到第二时间没有移动的单元(例如,仅由于相机姿态变化而看起来已经移动但是实际上没有移动(或者在特定容许偏差内没有移动)的单元)而以其他方式将第二图像与第一图像对准。该配准可利用一种或多种配准算法,诸如配准算法128。
在一些实施方案中,步骤324可另选地包括基于每个变换的单独部分来更新术前模型。术前模型可能已例如基于术前图像而生成,并且该更新可包括更新在术前模型中描绘的每个刚性单元,以反映从拍摄术前图像的时间到拍摄第二图像的时间该刚性单元的位置的任何变化。在这种实施方案中,第二图像可以是术中图像或术后图像。
同样在一些实施方案中,步骤324可另选地包括基于每个变换的共同部分或每个变换的单独部分中的一者来更新机器人空间或导航空间中的一者与图像空间的配准。该更新可有利于维持准确的配准,这继而可增加外科手术的准确性。
方法300还包括量化至少一个刚性单元的姿态变化(步骤328)。该量化仅利用可归因于刚性单元姿态变化的每个变换的部分。换句话说,该量化包括量化由特定刚性单元从第一时间到第二时间的移动导致的该刚性单元的姿态变化(而不是可归因于用于在第一时间和第二时间对特定刚性单元进行成像的相机的姿态变化的该刚性单元的明显姿态变化)的一个或多个方面。
该量化可包括例如确定刚性单元从第一时间到第二时间的旋转角度,以及/或者确定刚性单元的平移距离。该量化可包括将刚性单元在第二时间的姿态与期望的姿态变化进行比较,并且可被表达为期望的姿态变化的百分比(例如,基于与刚性单元的理想姿态的物理或虚拟模型的比较,无论是在手术计划、治疗计划中,还是在其他方面)。该量化还可包括量化刚性单元中的每个刚性单元的姿态变化。
本公开涵盖方法300的实施方案,这些实施方案包括比上文所描述的步骤更多或更少的步骤,和/或与上文所述的步骤不同的一个或多个步骤。
图4描绘了用于将在不同时间拍摄的图像相关的方法400。方法400(和/或其一个或多个步骤)可例如由至少一个处理器进行或以其他方式执行。至少一个处理器可与上文所述的计算装置102的处理器104相同或相似。至少一个处理器可为机器人(诸如机器人130)的一部分或导航系统(诸如导航系统114)的一部分。除了本文所述的任何处理器之外的处理器也可用于执行方法400。至少一个处理器可以通过执行存储在如存储器106的存储器中的指令来执行方法400。指令可对应于下文所述的方法400的一个或多个步骤。这些指令可以使得处理器执行一个或多个算法,诸如图像处理算法120、分割算法122、变换算法124、单应性算法126和/或配准算法128。
方法400包括分割第一图像和第二图像中的多个刚性单元中的每个刚性单元(步骤404)。第一图像是在第一时间拍摄的,并且第二图像是在第一时间之后的第二时间拍摄的。第一图像可与本文所述的任何其他第一图像相同或类似,并且第二图像可与本文所述的任何其他第二图像相同或类似。第一图像和第二图像各自描绘了患者解剖结构的共同部分,但是第一图像和第二图像可能不是完美对准的(例如,除了在第一图像和第二图像两者中描绘的患者解剖结构的共同部分之外,第一图像可描绘在第二图像中未描绘的患者解剖结构的一个或多个部分,反之亦然)。该多个刚性单元可以是或包括例如一个或多个椎骨和/或其他骨解剖结构或硬组织单元,以及/或者一个或多个植入物(例如,椎弓根螺钉、皮质螺钉、杆、销和/或其他植入物)。
该分割可使用一个或多个分割算法122和/或任何其他分割算法或过程来完成。步骤312还可包括利用解剖图谱、生物力学模型或其他参考来识别第一图像和第二图像内的解剖对象,确定那些解剖对象中的哪些解剖对象是刚性单元,并且/或者确定两个或更多个所识别的刚性单元之间的关系(如果有的话)。因此,例如,可参考解剖图谱来确定两个相邻椎骨通过椎间盘连接,或者可参考患者专用生物力学模型来确定两个相邻椎骨已经融合并且应当作为一个整体在患者解剖结构内移动。该分割使得能够确定第一图像和第二图像中的每个刚性单元的周边,使得每个刚性单元能够被单独地分析。
方法400还包括计算将第一图像中的每个刚性单元的描绘与第二图像中的对应刚性单元相关的一组单应性(步骤408)。单应性可使用任何已知方法来计算。该计算可利用一种或多种单应性算法126。每个所计算的单应性可描述第一图像中的刚性单元和第二图像中的对应刚性单元之间的关系。换句话说,每个单应性将第一图像中的刚性单元与第二图像中的对应刚性单元相关。换句话说,使用所计算的单应性以及第一图像或第二图像中的刚性单元的描绘,可在第一图像或第二图像中的另一者中生成刚性单元的描绘。
出于计算单应性的目的,可选择每个刚性单元上(在第一图像和第二图像中都可见)的多个点。例如,这些点可以是沿着前后(AP)位或侧(LT)位投影中的刚性单元的周边的点。在刚性单元是椎骨的情况下,这些点可以是椎骨终板的边缘点。在刚性单元是螺钉的情况下,这些点可在螺钉的两端处(例如,在螺钉头的顶部处和在螺钉尖端处)。在刚性单元是杆的情况下,这些点可在杆的相对端处。出于本公开的目的,单个解剖单元中的多个螺钉可被视为单个刚性单元。可手动地(例如,经由用户接口诸如用户接口110)或自动地(例如,使用图像处理算法120、分割算法122或任何其他算法)指定这些点。可使用单应性算法诸如单应性算法126来计算单应性。可使用用于计算单应性的任何已知方法。
在第一图像和第二图像是二维图像的情况下,该多个点包括至少四个点。在第一图像和第二图像是三维图像的情况下,该多个点包括至少八个点。无论是使用2D图像还是3D图像,都可利用比最小数量的点更多的点。另外,所需的点可包括参考患者解剖结构限定的点、参考一个或多个植入物(例如,螺钉、杆)限定的点或它们的任何组合。所选择的点可通过标记线连接,并且可沿着标记线内插一个或多个点。值得注意的是,用于计算单应性的点中的噪声(例如,每个图像中的点的位置与该图像中的对应刚性单元之间的任何差异)将导致计算出噪声单应性。
考虑到植入物可能比解剖单元更不可能随时间而变化,使用螺钉、杆和/或其他植入物作为用于本公开目的的刚性单元是有益的。
方法400还包括从该组单应性中移除受刚性单元的形状的物理变化影响的任何单应性(步骤412)。方法400基于以下假设:骨结构变化(以及更一般地,刚性单元形状变化)不如软组织变化明显,形状已经变化的任何刚性单元将增加不期望的噪声。然而,刚性单元的形状有时确实会发生变化。此类形状变化可由例如压缩性骨折、骨赘(骨刺)和/或其他原因而导致。
受形状的物理变化影响的单应性的移除可手动地或自动地完成。在一些实施方案中,形状变化可由治疗医师或其他用户在计算任何单应性之前(例如,从第一图像和第二图像)识别。在其他实施方案中,治疗医师或其他用户可在已经计算出单应性之后查看第一图像和第二图像,并且可识别形状已经变化的一个或多个刚性单元,基于该识别,可丢弃或忽略对应单应性。在其他实施方案中,无论在步骤404的分割之前还是之后,处理器都可使用一种或多种图像处理算法120或其他算法来识别形状变化。在此类实施方案中,可基于对第一图像和第二图像中的每个刚性单元的边缘(例如,如使用边缘检测算法、分割算法或其他算法所检测到的)的粗略比较来识别形状变化。
方法400还包括将该组单应性排列成单应性簇(步骤416)。单应性可使用任何数据科学聚类方法来聚类。聚类的目的是识别最类似的那些单应性,其可被假设为对应于从第一时间到第二时间没有移动,但是其在第二图像中相对于第一图像的姿态变化可完全或几乎完全归因于相机姿态变化的刚性单元。因此,可使用导致类似的单应性被分组在一起的任何聚类方法。聚类可在变换空间(例如,9维空间)或缩小的空间中完成。
方法400还包括基于参数来选择单应性簇(步骤420)。参数可以是轮廓、方差、大小或可用于将可归因于相机姿态变化的那些单应性与可归因于相机姿态变化和刚性单元的运动两者的那些单应性分离的另一参数。簇可包括在簇分析中利用的大多数单应性,或者少数此类单应性。因为(例如,从第一时间到第二时间)相机姿态变化将同等地影响每个刚性单元(而每个刚性单元的运动将不一定与任何其他刚性单元的运动相关),所以最相干的簇最可能包括仅反映由该相机姿态变化而导致的所感知到运动的单应性。然而,即使最相干的簇也不可能具有完美匹配的单应性,这是由于由用于计算单应性的标记点中的噪声、每个刚性单元的分割以及可能缺乏100%准确性的方法400的任何其他方面而导致的单应性中的噪声。
方法400还包括使用所选择的单应性簇的平均值来将如第二图像中描绘的每个刚性单元投影到第一图像上,以产生投影图像(步骤424)。所选择的单应性的平均值被用来减小影响最相干(或其他所选择的)簇中的单应性的任何噪声的影响。然后使用所选择的单应性的平均值来将刚性单元从第二图像投影到第一图像上。因为所选择的单应性对应于相机从第一时间(当捕获第一图像时)到第二时间(当捕获第二图像时)的姿态变化的影响,所以投影会导致从第一时间到第二时间没有移动的任何所投影的刚性单元与来自第一图像的对应刚性单元对准且重叠。对于从第一时间到第二时间移动了的任何刚性单元,对这种刚性单元的投影将移除来自相机姿态变化对这种所投影的刚性单元的姿态的任何影响,使得投影图像仅描绘这种刚性单元从第一时间到第二时间的实际姿态变化。
方法400还包括测量如投影图像中描绘的刚性单元的第一姿态和第二姿态之间的变动(步骤428)。如上所述,投影图像包括来自第二图像的每个刚性单元的图像,该第二图像已经使用所选择的单应性的平均值投影到第一图像上。因此,投影图像中的两个对应解剖单元之间的任何姿态变动可被假设为反映刚性单元的实际姿态变化。可测量这种姿态变化,从而产生一个或多个旋转角度、平移距离和/或描述刚性单元从第一时间到第二时间的移动的其他参数。在一些实施方案中,可将所测量的量与期望的量(如例如在治疗计划中所反映的)进行比较以产生实现的百分比或类似参数。在其他实施方案中,所测量的量可与第一时间与第二时间间隔的时间量进行比较以产生变化率,该变化率可用于预测该一个或多个刚性单元的未来姿态变化,用于预测是否以及何时将需要附加手术或其他治疗,或用于任何其他有用目的。
另外,所测量的量(和/或使用所测量的量完成的任何计算的结果)可在用户接口诸如用户接口110上显示给治疗医师或其他用户。所测量的量可被显示为数字,或者可被转换成指示符(例如,在量在不可接受值的预先确定的范围内的情况下,红色指示符;在量在不令人满意值的预先确定的范围内的情况下,黄色指示符;以及在量在可接受值的预先确定的范围内的情况下,绿色指示符)。
本公开涵盖方法400的实施方案,这些实施方案包括比上文所描述的步骤更多或更少的步骤,和/或与上文所描述的步骤不同的一个或多个步骤。
图5描绘了用于比较图像的方法500。方法500(和/或其一个或多个步骤)可例如由至少一个处理器进行或以其他方式执行,该至少一个处理器可为系统的一部分。至少一个处理器可与上文所述的计算装置102的处理器104相同或相似。至少一个处理器可为机器人(诸如机器人130)的一部分或导航系统(诸如导航系统114)的一部分。除了本文所述的任何处理器之外的处理器也可用于执行方法500。至少一个处理器可以通过执行存储在如存储器106的存储器中的指令来执行方法500。指令可对应于下文所述的方法500的一个或多个步骤。这些指令可以使得处理器执行一个或多个算法,诸如图像处理算法120、分割算法122、变换算法124、单应性算法126和/或配准算法128。
方法500包括识别第一图像中的多个单元(步骤504)。第一图像可使用任何成像装置(例如,成像装置112)来拍摄,并且在第一时间拍摄。第一图像描绘了患者解剖结构的一部分。可利用一种或多种图像处理算法诸如图像处理算法120来进行识别。这些单元中的每个单元是刚性单元,并且可以是解剖刚性单元(例如,骨解剖结构或硬组织单元)或刚性植入物(例如,螺钉、杆、销)。该多个单元可包括一个或多个解剖刚性单元和一个或多个刚性植入物两者。在一些实施方案中,识别第一图像中的该多个单元还包括分割第一图像中的该多个单元,这可以本文所述的任何方式或以分割图像中的单元的任何其他已知方式来实现。
方法500还包括识别在第一图像之后拍摄的第二图像中的多个单元(步骤508)。类似于第一图像,第二图像可使用任何成像装置(例如,成像装置112)来拍摄,并且描绘与第一图像相同的患者解剖结构部分(或至少基本上重叠的患者解剖结构部分)。第二图像是在第一时间之后的第二时间拍摄的。与本公开的其他实施方案一样,第二时间可以是第一时间之后的数天、数周、数月或甚至数年。可利用一种或多种图像处理算法诸如图像处理算法120来进行识别。在第二图像中识别的多个单元与在第一图像中识别的多个单元相同。在一些实施方案中,识别第二图像中的该多个单元还包括分割第二图像中的该多个单元,这可以本文所述的任何方式或以分割图像中的单元的任何其他已知方式来实现。
方法500还包括计算该多个单元中的每个单元的单应性(步骤512)。步骤512与方法300的步骤316和/或方法400的步骤408相同或类似。
方法500还包括基于单应性来确定可归因于成像装置位置变化的第一姿态变化和不可归因于成像装置位置变化的第二姿态变化(步骤516)。步骤516与方法300的步骤316和320的组合和/或方法400的步骤416、420和424的组合相同或类似。
方法500还包括基于第一姿态变化来将第二图像与第一图像配准(步骤520)。步骤520与方法300的步骤324相同或类似。
在一些实施方案中,步骤520可另选地包括基于每个变换的单独部分来更新术前模型。术前模型可能已例如基于术前图像而生成,并且该更新可包括更新在术前模型中描绘的每个刚性单元,以反映从拍摄术前图像的时间到拍摄第二图像的时间该刚性单元的位置的任何变化。在这种实施方案中,第二图像可以是术中图像或术后图像。
同样在一些实施方案中,步骤520可另选地包括基于每个变换的共同部分或每个变换的单独部分中的一者来更新机器人空间或导航空间中的一者与图像空间的配准。该更新可有利于维持准确的配准,这继而可增加外科手术的准确性。
本公开涵盖方法500的实施方案,这些实施方案包括比上文所述的步骤更多或更少的步骤,和/或与上文所述的步骤不同的一个或多个步骤。
如上所述,本公开涵盖具有比图3、图4和图5中识别的所有步骤少的步骤的方法(和方法300、400和500的对应描述),以及包括超出图3、图4和图5中识别的步骤的额外步骤的方法(和方法300、400和500的对应描述)。本公开还涵盖包括来自本文所描述的一种方法的一个或多个步骤和来自本文所描述的另一种方法的一个或多个步骤的方法。本文所描述的任何相关性可以是或包括配准或任何其他相关性。
前述内容并不意图将本公开限于本文所公开的一种或多种形式。在前述的具体实施方式中,例如,出于简化本公开的目的,将本公开的各种特征一起分组在一个或多个方面、实施方案和/或配置中。本公开的方面、实施方案和/或配置的特征可组合在除了上文所论述的那些之外的替代方面、实施方案和/或配置中。本公开的方法不应被解释为反映以下意图:权利要求需要比每项权利要求中明确叙述的特征更多的特征。相反,如以下权利要求书所反映,本发明方面在于少于单个前述公开的方面、实施方案和/或配置的全部特征。因此,以下权利要求特此并入这个具体实施方式中,其中每项权利要求作为本公开的单独的优选实施方案而独立存在。
此外,尽管前述已经包含对一个或多个方面、实施方案和/或配置以及某些变化和修改的描述,但在理解了本公开之后,其他变化、组合和修改在本公开的范围内,例如,可在本领域技术人员的技能和知识范围内。意图在准许的范围内获得包括替代方面、实施方案和/或配置的权利,包括所要求保护的那些的替代、可互换和/或等效的结构、功能、范围或步骤,而不管这些替代、可互换和/或等效的结构、功能、范围或步骤是否在本文中公开,而且不意图公开用于任何可获专利的主题。
Claims (28)
1.一种方法,包括:
接收患者解剖结构的第一图像,所述第一图像在第一时间生成并且描绘多个刚性单元,所述多个刚性单元中的每个刚性单元能够相对于所述多个刚性单元中的至少另一个刚性单元移动;
接收所述患者解剖结构的第二图像,所述第二图像在所述第一时间之后的第二时间生成并且描绘所述多个刚性单元;
针对所述多个刚性单元中的每个刚性单元确定从所述第一图像到所述第二图像的变换,以产生一组变换;以及
使用所述一组变换来识别可归因于相机姿态变化的每个变换的共同部分和可归因于刚性单元姿态变化的每个变换的单独部分。
2.根据权利要求1所述的方法,还包括:
基于每个变换的所识别的共同部分来将所述第二图像与所述第一图像配准。
3.根据权利要求1所述的方法,还包括:
基于每个变换的所述单独部分来更新术前模型。
4.根据权利要求1所述的方法,还包括:
基于每个变换的所述共同部分或每个变换的所述单独部分中的一者来更新机器人空间或导航空间中的一者与图像空间的配准。
5.根据权利要求1所述的方法,其中每个变换是单应性,并且所述一组变换是一组单应性。
6.根据权利要求1所述的方法,其中所述识别步骤利用聚类来分离所述一组变换中由所述相机姿态变化而导致的变换。
7.根据权利要求1所述的方法,其中所述配准步骤包括将所述第一图像和所述第二图像两者与共同向量空间相关。
8.根据权利要求1所述的方法,其中所述第一图像是术前图像。
9.根据权利要求1所述的方法,其中所述第一图像和所述第二图像中的至少一者是术中图像。
10.根据权利要求1所述的配准方法,其中计算所述变换包括识别如所述第一图像中描绘的所述多个刚性单元中的每个刚性单元上的至少四个点,以及如所述第二图像中描绘的所述多个刚性单元中的每个刚性单元上的对应的至少四个点。
11.根据权利要求1所述的方法,其中所述第一图像和所述第二图像是二维的。
12.根据权利要求1所述的方法,其中所述第一图像和所述第二图像是三维的。
13.根据权利要求1所述的方法,其中所述多个刚性单元包括所述患者脊柱的多个椎骨。
14.根据权利要求1所述的方法,其中所述多个刚性单元包括至少一个植入物。
15.根据权利要求1所述的方法,还包括量化所述多个刚性单元中的至少一个刚性单元从所述第一时间到所述第二时间的姿态变化。
16.一种将在不同时间拍摄的图像相关的方法,包括:
分割在第一时间拍摄的多个刚性单元的第一图像中和在所述第一时间之后的第二时间拍摄的所述多个刚性单元的第二图像中的所述多个刚性单元中的每个刚性单元;
计算所述多个刚性单元中的每个刚性单元的单应性以产生一组单应性,每个单应性将如所述第一图像中描绘的所述刚性单元与如所述第二图像中描绘的所述刚性单元相关;
基于至少一个特性来将所述一组单应性排列成单应性簇;
基于至少一个参数来选择单应性簇;以及
使用所选择的单应性簇的平均值来将如所述第二图像中描绘的所述多个刚性单元中的每个刚性单元投影到所述第一图像上,以产生投影图像。
17.根据权利要求16所述的方法,其中所述第二时间是在所述第一时间之后至少一个月。
18.根据权利要求16所述的方法,其中所述第二时间是在所述第一时间之后至少一年。
19.根据权利要求16所述的方法,其中所述至少一个参数是轮廓。
20.根据权利要求16所述的方法,其中所述多个刚性单元中的至少一个刚性单元是植入物。
21.根据权利要求16所述的方法,其中所述多个刚性单元包括患者脊柱的多个椎骨。
22.根据权利要求16所述的方法,还包括测量与如所述投影图像中所反映的所述多个刚性单元中的一个刚性单元的姿态变化相对应的角度或距离中的至少一者。
23.根据权利要求16所述的方法,还包括从所述一组单应性中移除受所述第二图像而不是所述第一图像中描绘的压缩性骨折或骨赘中的一者或多者影响的任何单应性。
24.根据权利要求16所述的方法,其中计算所述多个刚性单元中的每个刚性单元的所述单应性包括识别椎骨终板的边缘点。
25.一种用于比较图像的系统,包括:
至少一个处理器;和
存储器,所述存储器存储用于由所述处理器执行的指令,所述指令在被执行时使所述处理器:
识别在第一时间生成的第一图像中的多个单元;
识别在所述第一时间之后的第二时间生成的第二图像中的所述多个单元;
使用所述第一图像和所述第二图像来计算所述多个单元中的每个单元的单应性,以产生一组单应性;以及
基于所述一组单应性来确定:所述第二图像中的所述多个单元中的一个或多个单元相对于所述第一图像的第一姿态变化,所述第一姿态变化可归因于相对于所述多个单元的从所述第一图像到所述第二图像的成像装置位置变化;以及所述第二图像中的所述多个单元中的至少一个单元相对于所述第一图像的第二姿态变化,所述第二姿态变化不可归因于所述成像装置位置变化。
26.根据权利要求25所述的系统,其中所述存储器存储用于由所述处理器执行的附加指令,所述附加指令在被执行时进一步使所述处理器:
基于所述第一姿态变化来将所述第二图像与所述第一图像配准。
27.根据权利要求25所述的系统,其中所述存储器存储用于由所述处理器执行的附加指令,所述附加指令在被执行时进一步使所述处理器:
基于所述第二姿态变化来更新术前模型。
28.根据权利要求25所述的系统,其中所述存储器存储用于由所述处理器执行的附加指令,所述附加指令在被执行时进一步使所述处理器:
基于所述第一姿态变化或所述第二姿态变化中的一者来更新机器人空间或导航空间中的一者与图像空间的配准。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/125,822 | 2020-12-15 | ||
US17/526,935 US20220189047A1 (en) | 2020-12-15 | 2021-11-15 | Registration of time-separated x-ray images |
US17/526,935 | 2021-11-15 | ||
PCT/IL2021/051452 WO2022130371A1 (en) | 2020-12-15 | 2021-12-07 | Registration of time-separated x-ray images |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116762095A true CN116762095A (zh) | 2023-09-15 |
Family
ID=87959546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180084396.0A Pending CN116762095A (zh) | 2020-12-15 | 2021-12-07 | 有时间间隔的x射线图像的配准 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116762095A (zh) |
-
2021
- 2021-12-07 CN CN202180084396.0A patent/CN116762095A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8897514B2 (en) | Imaging method for motion analysis | |
US20130094742A1 (en) | Method and system for determining an imaging direction and calibration of an imaging apparatus | |
EP2981943B1 (en) | Method and device for determining the orientation of a co-ordinate system of an anatomical object in a global co-ordinate system | |
US20060204067A1 (en) | Determining shaft and femur neck axes and three-dimensional reconstruction | |
WO2023215762A1 (en) | Methods and systems for determining alignment parameters of a surgical target, such as a spine | |
US20220270263A1 (en) | Computed tomography to fluoroscopy registration using segmented inputs | |
EP4026511A1 (en) | Systems and methods for single image registration update | |
US20220198665A1 (en) | Systems and methods for monitoring one or more anatomical elements | |
US20220189047A1 (en) | Registration of time-separated x-ray images | |
CN116762095A (zh) | 有时间间隔的x射线图像的配准 | |
US20210322112A1 (en) | System and method for aligning an imaging device | |
CN116490145A (zh) | 用于片段跟踪的系统和方法 | |
US20230097365A1 (en) | Systems, methods, and devices for detecting anatomical features | |
US20230240755A1 (en) | Systems and methods for registering one or more anatomical elements | |
US20230115512A1 (en) | Systems and methods for matching images of the spine in a variety of postures | |
TWI836491B (zh) | 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統 | |
US20220241015A1 (en) | Methods and systems for planning a surgical procedure | |
US20220156928A1 (en) | Systems and methods for generating virtual images | |
US20220296388A1 (en) | Systems and methods for training and using an implant plan evaluation model | |
US20220079704A1 (en) | Systems and methods for generating a corrected image | |
EP4298604A1 (en) | Computer tomography to fluoroscopy registration using segmented inputs | |
CN116917942A (zh) | 使用所分割的输入进行计算机断层扫描到透视的配准 | |
CN117279586A (zh) | 用于生成多个配准的系统和方法 | |
TW202333628A (zh) | 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統 | |
CN116648724A (zh) | 用于监测一个或多个解剖元素的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |