CN115546450A - 一种用于下肢骨折复位手术的规划导航系统 - Google Patents

一种用于下肢骨折复位手术的规划导航系统 Download PDF

Info

Publication number
CN115546450A
CN115546450A CN202211293357.4A CN202211293357A CN115546450A CN 115546450 A CN115546450 A CN 115546450A CN 202211293357 A CN202211293357 A CN 202211293357A CN 115546450 A CN115546450 A CN 115546450A
Authority
CN
China
Prior art keywords
bone
point cloud
fracture
axis
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211293357.4A
Other languages
English (en)
Inventor
何玉成
吴戈扬
胡颖
张朋
齐晓志
赵保亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202211293357.4A priority Critical patent/CN115546450A/zh
Publication of CN115546450A publication Critical patent/CN115546450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种用于下肢骨折复位手术的规划导航系统。该系统包括医学图像处理模块,用于从下肢骨折图像中分割出近端骨和远端骨,并重建出断骨三维表面模型;手术规划模块,用于对所述断骨三维表面模型进行点云采样,获得对应的点云模型;从所述点云模型中提取骨折断面;通过对所述骨折断面进行点云配准,得到远端骨初始位置与其复位后目标位置的坐标变换矩阵;基于所述坐标变换矩阵,进行骨折复位路径规划,该骨折复位路径规划用于指引在保持近端骨固定情况下对远端骨进行平移旋转得到远端骨目标位置;导航模块,用于可视化显示基于所述骨折复位路径规划进行手术的过程。本发明能够提高复位精度、降低复位力,减少患者骨折处肌肉等软组织损伤。

Description

一种用于下肢骨折复位手术的规划导航系统
技术领域
本发明涉及计算机辅助医疗技术领域,更具体地,涉及一种用于下肢骨折复位手术的规划导航系统。
背景技术
基于医学图像的手术导航是指利用术前或术中获得的患者医学影像和计算机图形学以及其他的传感器设备,完成对患者虚拟图像的重建、对手术的规划、跟踪手术执行等一系列流程的技术。得益于CT和MRI等医学图像在临床的大规模使用以及现代个人计算机储存模式的进步,计算机手术规划导航系统目前已经得到了巨大的发展和应用。
麻省理工人工智能实验室Pieper等人开发的一款用于临床医学的手术导航开源软件系统整合了读写各种文件格式的医学图像、操作2D和3D图像系统等功能,使得该系统可以针对手术进行相应的二次开发就能得到自动注册、三维重建、手术图像引导等一系列功能的手术导航软件系统。
目前,下肢骨折复位在临床上通常由专业的医生凭借经验亲手完成,在没有导航系统辅助的情况下由于无法检测复位路径上的障碍物,医生通常会采用“反复尝试”的方法,费时费力。为了避免复位时发生骨间碰撞,医生会进行一定量的轴向拉伸,这会使得下肢产生相应的力,克服这些力会给已经受损的周围软组织增加更多压力,同时也需要外科医生更多的体力消耗,也会使其更加难以完成对断骨所需的移动。现有技术中,针对下肢骨折复位手术规划的导航系统很少,而能够解决以上临床问题的规划导航系统更是处于空缺状态。
针对手术规划导航系统,一部分面向骨科手术的手术规划系统已经投入临床使用,特别是在一些关节置换类手术上,通过术前医学图像分析和模拟手术进行效果来帮助医生完成手术路径规划或是置换部件的选择。但是面向骨折复位手术的规划系统仍然较少,由于下肢骨折情况的多样性以及复位操作难度较大,大部分仍然是依靠医生的经验判断完成手术。
针对于下肢骨折复位规划方面,一部分研究采用了利用对侧骨生成镜像的医学图像,并通过固定端(近端骨)配准以完成移动端(远端骨)目标位置的预测,进而完成复位规划,但这种方案存在人体左右不完全对称、对侧骨也发生了骨折等特殊情况对规划结果的影响。另外一种方案采用多组健康骨骼得到的统计学模型建立相应的模板骨骼模型,进而完成复位规划,但这种方案对健康骨骼数据的数量和质量都存在强依赖,对于特殊的个体情况,规划结果的准确性和稳定性都会受很大影响。
发明内容
本发明的目的是克服上述现有技术的缺陷,提供一种用于下肢骨折复位手术的规划导航系统。该系统包括医学图像处理模块、手术规划模块和导航模块,其中:
所述医学图像处理模块用于从下肢骨折图像中分割出近端骨和远端骨,并重建出断骨三维表面模型,包含远端骨三维表面模型和近端骨三维表面模型;
所述手术规划模块用于:对所述断骨三维表面模型进行点云采样,获得对应的点云模型;从所述点云模型中提取骨折断面;通过对所述骨折断面进行点云配准,得到远端骨初始位置与其复位后目标位置的坐标变换矩阵;基于所述坐标变换矩阵,进行骨折复位路径规划,该骨折复位路径规划用于指引在保持近端骨固定情况下对远端骨进行平移旋转得到远端骨目标位置;
所述导航模块用于可视化显示基于所述骨折复位路径规划进行手术的过程。
与现有技术相比,本发明的优点在于,患者下肢骨折发生后,目前临床上通常需要将患者的断骨以某种复位方法进行手术恢复到原有位置,再加以固定愈合,而本发明提供的手术规划导航系统是以下肢骨折患者术前图像作为输入,完成骨折处医学图像三维重建、骨折断面提取、骨折复位规划等,并结合复位过程中可能发生的骨间碰撞、复位软组织被动受力等因素,得到骨折复位的最佳路径,以此引导医师或者手术机器人顺利完成下肢骨折精准复位手术。相比于依靠医生经验的传统骨折复位手术,本发明可以实现更高的复位精度、对骨折附近的肌肉等软组织伤害更低,并且能够大幅减轻医生的体力、精力负担。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的用于下肢骨折复位手术的规划导航系统的示意图;
图2是根据本发明一个实施例的骨长轴的选取示意图;
图3是根据本发明一个实施例的初始坐标系和目标坐标系的示意图;
图4是根据本发明一个实施例的复位规划算法的流程图;
图5是根据本发明一个实施例的骨折复位流程示意图;
图6是根据本发明一个实施例的骨折复位手术导航系统的框架图;
图7是根据本发明一个实施例的复位手术规划模块的示意图;
图8是根据本发明一个实施例的骨折复位路径规划的示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明涉及一种针对下肢骨折复位手术的规划导航系统,用于辅助医生开展术前手术规划以及术中的手术导航操作,以提高医生手术操作水平。参见图1所示,该系统整体上包括医学图像处理模块、手术规划模块和导航模块。医学图像处理模块用于对医学图像进行分割和三维重建,手术规划模块用于通过点云采样、骨折断面提取以及骨折断面配准等过程对骨折复位路径进行规划。导航模块用于可视化显示手术执行过程。
一、关于医学图像处理模块
医学图像处理模块首先对输入的下肢骨折CT图像进行常规的图像分割,例如利用CT阈值大小分割出近端骨和远端骨两个部分,分割部分只要保证骨断裂处完整且有一定的骨轴向长度即可,而对断骨的其他区域不做要求。在得到局部医学图像后,可采用MarchingCubes移动立方体算法对二维医学断层图像进行三维重建,得到一组断骨三维表面模型,即一个远端骨三维表面模型、一个近端骨三维表面模型。在一个实施例中,三维重建步骤整体可基于VTK(可视化工具函式库)实现。
二、关于手术规划模块
1)点云采样
在获得断骨三维表面模型后,三维表面模型提供了所需的空间位置信息,为了实现对骨断面的配准,可采用点云采样方法得到需要配准的原始数据,例如通过PCL(点云库,一种跨平台开源C++点云处理编程库)实现点云采样,即可获得对应的点云模型。为了避免损失断面特征数据而对配准精度产生较大影响,可采用均匀采样的方法保留更多的断面特征,这虽然一定程度上增加了数据量的大小,但在后续配准环节上可以保证精度。
2)提取骨折断面
为了实现骨折断面的点云配准对位,需要首先确定点云的配准区域。由于远端骨和近端骨的断面在发生断裂之前实际上是一个平面或曲面,因此可以利用这个特点确定配准区域,即发生断裂的两个平面或曲面。可采用多种方式提取这两个骨折断面,例如曲率阈值法提取断面点云或者骨长轴法线过滤法。
具体地,对于曲率阈值法提取断面点云,发生骨折的骨表面由于发生断裂,骨折面周围会产生曲率急剧变化的区域,利用强弯曲的断裂区域与骨骼的平滑表面区分开来,即可得到特征骨折线。曲率的变化可以通过法向量夹角的变化体现出来,例如定义每个点的法向量是该点所在邻域拟合的局部平面法向量,曲率变化越平缓则相邻法线夹角也越小,曲率变化越剧烈则相邻法线夹角也越大。例如,对已经获取的点云数据进行kd-tree相邻点搜索,通过选取kd-tree搜索半径r获得点p的邻近点集{p1,p2,p3...pk},定义一个点与其邻域内点法向量夹角的算数平均值作为点云中某一点pi法向量变化程度的特征量fi,计算公式如下:
Figure BDA0003902089940000051
其中,θij表示点pi的法向量与其邻近点pj法向量的夹角,k表示点pi邻近点的个数。
利用这个特征量可以衡量每个点所拟合平面的曲率,特征量越大表明曲率的变化越大。通过设置阈值ε,筛选掉类似于骨表面平直的点云部分,保留fi>ε的点,按照kd-tree搜索方式遍历整个骨模型点云,进而获得断骨处的特征点云。
对于骨长轴法线过滤法,由于骨折的复杂性,对于折断面点云出现缺口、不连续的情况断骨可能并不具有较为明显的断面骨折线特征,也就是说,在某些情况下难以找到合适的阈值ε利用曲率变化分离出骨折断面外围区域,从而导致曲率阈值法的配准精度会受到影响。因此,在一个实施例中,利用骨长轴和法线夹角的方法提取断面点云。与曲率阈值法相比,该方法所提取的是整个断面特征,包含整个点云断面上的点。具体包括确定骨长轴方向和提取断面点云这两部分内容。其中“骨长轴”是表示下肢骨轴向方向的一个向量,并不对长轴位置做出明确要求,因此在确定骨长轴时也可采用手动选择骨侧两点进而生成骨长轴向量的方法。如图2所示,手动选取骨侧两点得到骨长轴l。
因为下肢骨大致呈圆柱形,骨侧壁点云上大多数点的法线近似垂直于骨长轴的方向,而骨折断面点云上点的法线和骨长轴的方向之间的角度较小。利用这一特点,设定合适的经验阈值可以对点云进行分类,角度大于阈值的点被视为位于侧壁上的点,否则位于断面上。其中点的法向量的获取方法与上文中曲率阈值方法类似,利用kd-tree搜索遍历点云并得到每个点的邻近点集,利用点集通过最小二乘法拟合平面得到pi点的法向量vi。断骨模型点云的法线和长轴方向之间的角度可以通过计算角度余弦值来获得:
Figure BDA0003902089940000061
其中,vi是pi点的法向量,vix是vi在x轴的分量,viy是vi在y轴的分量,viz是vi在z轴的分量,l表示骨长轴方向向量。
需说明的是,在实际应用中,可选择曲率阈值法或骨长轴法线过滤法提取骨折断面,也可以结合这两种方法或结合其他方式提取骨折断面。
进一步地,为了提升骨折断面提取的准确性,可进行离群点清理。这是因为无论是曲率阈值法还是骨长轴法线过滤法筛选出来的点云都会存在离群点,需要一定的滤波方法进行去除。通过上述方法进行kd-tree搜索时,可以同时记录每个点pi与其邻近点的距离。假设每个点与邻近点之间的距离是一个高斯分布,平均距离即为均值,根据均值和每一个距离求得标准差,设置阈值参数过滤掉平均距离大于标准差阈值的点,完成对特征点云的滤波。
3)骨折断面点云配准
配准通常是指将从不同传感器或不同时间或其他不同条件下采集的图像进行匹配。同样的,三维点云配准一般也是应用在不同空间坐标中的点云相匹配,使之每个点坐标得以一一对应。而在骨折发生后,远端骨和近端骨模型并不是同一物体,理论上采样得到的点云也不存在一一对应的关系,但在本发明实施例中,利用骨折断面原本是同一平面的特点,采用点云配准的方法实现断面的匹配和对齐。例如,采用ICP(迭代最近点算法)进行点云配准,这种方法不需要两组点集之间对应关系作为参数数据,从一个随机或给定的初始对应关系出发,利用最优化分析方法不断迭代计算出两组点集的优化配准变换矩阵。例如。在一个实施例中,对曲率阈值法和骨长轴法线过滤法筛选出来的骨断面点云分别进行配准,并通过对比ICP配准误差选取误差较小的一种方法获得的骨折断面作为配准点云数据,得到远端骨与其复位后目标位置的坐标变换矩阵T。点云配准可基于PCL(点云库)实现。
4)骨折复位路径规划
首先确定复位路径规划算法的参数。通过配准得到的坐标变换矩阵,保持近端骨固定情况下对远端骨进行平移旋转得到其目标位置,即复位后远、近端骨所在的目标坐标系Ct。选取配准所用的断面点云重心作为Ct的原点O,这里统一用三维点云空间原坐标系的向量表示o(ox,oy,oz)。同时,选取过原点骨长轴方向作为Ct坐标系的z轴,但在断面点云提取过程中所选取的骨长轴并非准确的骨长轴方向,因此需要重新确定严格意义上的骨长轴l。例如,通过之前采集到的分离出骨折断面后的点云法向量数据来确定骨长轴,因为在去除断面后大部分点位于骨外围表面,通过其中任意两点的法向量v1和v2便可以求得其与其正交的单位向量作为骨长轴:
Figure BDA0003902089940000071
其中l12仅表示这两个法向量确定的长轴,将求得的点云法向量集合随机选取均分成为两个元素数量为n的集合,通过遍历两个集合内的法向量,求出最佳的骨长轴方向l:
Figure BDA0003902089940000072
坐标系中其他两个坐标轴都垂直于l。通过另一端骨的长轴l'作为参考选取第二个坐标轴,即垂直于两断骨组成平面的方向向量t,一般指向体外侧,这里定义为指向体外侧坐标轴1,方向向量t为l×l'。根据笛卡尔直角坐标系定则,第三个坐标轴,即指向体外侧坐标轴2的方向向量s为l×t。最终,得到完整的目标笛卡尔坐标系:
Figure BDA0003902089940000081
配准得到的坐标变换矩阵T是远端骨初始位置到目标位置的变换矩阵,取逆后即可通过目标位置的坐标系求得远端骨初始的坐标系位置Ci
Ci=T-1·Ct (6)
远端骨初始坐标系和目标坐标系参见图3所示。
在建立坐标系后,为进行骨折复位路径规划,确定描述远端骨位置状态的若干参数,这些参数在描述相对位置的同时也会被用于调整其数值完成整个复位过程。例如,采用相对坐标系的3个位置参数(或称位移参数)和3个角度参数作为调整的依据。首先,以目标坐标系Ct为基准,获得其相对位置变换矩阵T':
Figure BDA0003902089940000082
即在目标坐标系内,远端骨通过位置变换矩阵T'移动到远端骨初始位置,其相对位置变换矩阵中的位置参数就是复位逆向过程中各个参数所需要调整的数值。T'中对应的平移量即是对应的平移参数ts、tt、tl,角度参数需要通过T'中的旋转矩阵R计算获得欧拉角。例如,根据下文中描述的复位流程选取的是先后绕s、t、l轴旋转的流程计算欧拉角,分别对应的角度参数是α、β、γ。得到的所有骨折复位参数及其描述参见表1。
表1骨折复位参数表
Figure BDA0003902089940000083
进一步地,在骨折复位路径规划中,为了避免复位过程出现两骨碰撞情况,优选地,通过碰撞检测和复位肌肉被动力分析来优化规划处的复位路径。
具体地,考虑到骨折会发生两骨交错或重叠的现象,为避免这种情况下复位过程出现两骨碰撞的情况,引入了复位碰撞检测算法。在二维平面内,可以通过引射线法判断一个定点是否在多边形内。从目标点出发引一条射线,记录这条射线和闭合多边形所有边的交点数目,如果数目为奇数则说明在内部,如果为偶数则说明在外部。对于本发明的三维模型,断骨三维数据模型实际上是由多个三角形面片组成,所以可以模拟断骨实体的闭合曲面体模型。通过点云采样得到了断骨表面的各个点位置数据,由于采用均匀采样得到的数据量足够多,可以通过采样得到的点近似模拟断骨上任意位置。遍历点云模型中的点,对于每个点都做引射线法判断是否在断骨闭合多面体内部,如果结果为不在内部,则继续遍历直到结束,证明未发生碰撞,如果结果为在内部则终止遍历,证明两骨发生碰撞。
在下文中,将具体介绍骨折复位路径规划算法,其中包含复位肌肉被动力分析。
为了避免复位时两骨间的碰撞,在规划算法中设置了拉伸距离参数dis,利用该参数配合碰撞检测算法不断迭代增加完成复位规划的实现。为参数dis设置常量步进值,步进值选取越小获得的路径越接近最优路径,步进值选取越大可以减小算法迭代次数。
结合图4和图5所示,具体的复位路径规划算法如下:
步骤S1,首先获取并储存断骨的点云模型、三维实体表面的数据模型polydata,以及配准获得的位置变换矩阵T,根据所确定的骨折复位参数建立目标坐标系Ct并得到相应的复位参数;
步骤S2,根据骨折发生的范围和程度选定步进值,例如,可以选定为1mm~2mm,设置拉伸距离参数dis,其值为步进值与当前迭代次数n的乘积;
步骤S3,进入复位过程,为保证复位后位置不因计算过程而产生误差,整个复位算法逆向进行复位流程的计算,即从远端骨目标位置为起点、远端骨初始位置为终点,按照顺序分别完成l+dis、γ、(s,t)参数的复位,接着补偿之前设置的拉伸距离参数dis,最后完成(α,β)参数的复位,并且在每个参数调整过后收集当前的坐标变换矩阵加入到验证队列;
步骤S4,对验证队列里的每个步骤的远端骨位置进行碰撞检测,如果发生了骨间碰撞代表当前路径不可用,更新迭代次数n增加拉伸距离、清空验证队列,重新进入步骤S3的复位过程,直到碰撞检测通过,验证队列中记录的远端骨每一步骤的位置即为所规划的最佳复位路径。在初始规划流程结束之后,还需增加插值碰撞检测,如果碰撞检测通过则完成规划,如果不通过需要增加迭代次数。不在初始规划步骤中加入插值碰撞检测的目的是,为了减少规划算法的计算量,在初始规划中只需要在关键点进行碰撞检测,提高效率减小规划计算所用时间。
需要说明的是,在针对坐标轴的描述中,骨长轴、Ct坐标系的z轴和l轴具有相同的含义;第二个坐标轴、体外坐标轴1和t轴具有相同的含义;第三坐标轴、体外坐标轴2和s轴具有相同的含义。除非根据上下文另有所指。
综上,骨折复位路径规划包括了骨折复位过程碰撞检测算法、复位过程软组织受力分析并引入了拉伸距离参数,可以解决复位路径发生骨碰撞的问题,同时也结合复位时肌肉被动受力情况,使得最终得到的复位路径对骨折附近软组织损伤降到最低。
三、下肢骨折复位手术规划导航系统
通过整合医学图像处理模块、手术规划模块和可视化导航模块,能够实现用于下肢骨折复位手术的规划导航系统,该系统在临床应用中用于与医师直接交互。例如,整套系统可使用C++代码编写开发,界面框架借助QT平台搭建,主要调用了VTK、ITK和PCL等工具包协助搭建完成。该系统主要包含医学图像处理和分割模块、手术规划模块和导航模块等,并配合VTK实现图像交互,如图6所示。应理解的是,本发明对模块的划分方式或数量不进行限制,只要能实现上述功能即可。
在复位手术规划模块中,预留了重要参数设置的交互区域,方便实验参数的调整,也有利于临床面对多种骨折状况时骨折复位导航系统的使用,手术规划模块的详细信息如图7所示。
整个系统可以完成从获得患者CT医学图像开始,直到完成骨折复位规划以及后续的手术导航的整体工作流程,具体操作流程如图1所示。
为进一步验证本发明的效果,进行了仿真实验。在实验中,采用骨长轴法线过滤法提取断面点云,由于骨长轴的选定方法一般采用人工点选,这意味着每次对相同骨模型进行配准所用的参数是不同的,相应的配准结果也不相同,另外对于该种方法造成的点云缺口问题也有可能影响配准结果。为此,在保证待配准点云相同、其他参数相同的情况下,通过多次选取不同的骨长轴方向利用此方法进行了配准实验以验证配准的误差,配准时长轴的选取角度都在偏差30°范围以内,这个条件是临床点选骨长轴时完全可以达到的。根据实验结果得到的位置转移矩阵,分别计算了每个方向上的均方根误差,结果参见表2。
表2配准位置误差数据表
Figure BDA0003902089940000111
同样根据位置转移矩阵解算出绕各轴旋转的欧拉角,并分别计算了相应旋转角度的均方根误差,结果参见表3。
表3配准角度误差数据表
Figure BDA0003902089940000112
实验结果表明,长轴的手动选取并不会对配准结果有较大影响,并且多次配准结果误差都在0.2mm以内,验证了断面配准的可行性和稳定性。进一步地,基于配准结果使用所提供的系统进行复位规划,得到CT坐标系中相对于远端骨初始位置的位置变换矩阵序列,如图8所示。该序列即是规划结果,并已完成插值,经过空间配准后即可作为手术执行机构的目标位置序列,引导手术执行机构完成手术。规划后的复位路径通过类比医生复位方法,进行可视化逐帧分析,证明了该系统的手术规划是可行的。
综上所述,相对于现有技术,本发明具有以下技术效果:
1)现在临床上的下肢骨折复位通常是由医生凭借经验,手动完成骨折的复位。这对医生的手术经验要求很高,在没有可视化导航情况下完成复位很容易发生骨间碰撞和最后复位位置发生偏差等情况。并且复位过程由于肌肉的牵拉,当骨折造成错位距离较大时,复位所需要的牵拉力很大,这就大大消耗了医生的体力和精力,同时也造成了复位时患者肌肉等软组织二次损伤的风险。而本发明所提供的手术规划导航系统,是基于CT医学图像数据重建后进行配准得到的最终目标结果,在精准度上高于医生凭借经验所找到的目标位置;同时复位流程结合碰撞检测算法、骨折复位力分析所得的最优路径。通过模拟可知,本发明所设计的复位步骤可以显著降低复位力,保护患者肌肉等软组织。
2)对于其他下肢骨折复位的研究,在确定目标位置方面,一部分研究采用了利用对侧骨生成镜像的医学图像,进而确定远端骨目标位置,但这种方案存在人体左右不完全对称、对侧骨也发生了骨折等特殊情况,使该方法失效或不精确。另外一种方案采用多组健康骨骼得到的统计学模型建立相应的模板骨骼模型,进而预测健康时远端骨位置,以确定目标位置,但这种方案对健康骨骼数据的数量和质量都存在强依赖。而本发明基于断面点云来确定复位规划中目标位置,不受对侧骨或其他个体特性因素影响,同时也不需要大量的健康骨数据进行术前模型训练和构建,因此本发明更加实用、稳定。
3)本发明引入CT图像重建并采样点云的方法,对点云进行断面提取和断面的配准,以完成远端骨目标位置的确定,这种方法不受患者个体因素影响,只针对于骨折断面本身,因此保证了适用性和稳定性。同时也引入了复位碰撞检测、复位过程软组织受力分析,得到骨折复位的最佳路径,有效解决了临床复位手术中的问题。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种用于下肢骨折复位手术的规划导航系统,包括医学图像处理模块、手术规划模块和导航模块,其中:
所述医学图像处理模块用于从下肢骨折图像中分割出近端骨和远端骨,并重建出断骨三维表面模型,包含远端骨三维表面模型和近端骨三维表面模型;
所述手术规划模块用于:对所述断骨三维表面模型进行点云采样,获得对应的点云模型;从所述点云模型中提取骨折断面;通过对所述骨折断面进行点云配准,得到远端骨初始位置与其复位后目标位置的坐标变换矩阵;基于所述坐标变换矩阵,进行骨折复位路径规划,该骨折复位路径规划用于指引在保持近端骨固定情况下对远端骨进行平移旋转得到远端骨目标位置;
所述导航模块用于可视化显示基于所述骨折复位路径规划进行手术的过程。
2.根据权利要求1所述的系统,其特征在于,提取所述骨折断面包括:
对已经获取的点云模型进行kd-tree相邻点搜索,通过选取kd-tree搜索半径获得各点的邻近点集;
计算所述点云模型中某一点pi法向量变化程度的特征量fi,表示为:
Figure FDA0003902089930000011
其中,θij表示点pi的法向量与其邻近点pj法向量的夹角,k表示点pi的邻近点数量;
设置阈值ε,保留fi>ε的点作为断骨处的特征点云,进而获得所述骨折断面。
3.根据权利要求1所述的系统,其特征在于,提取所述骨折断面包括:
确定骨长轴方向;
计算所述点云模型中点pi的法线和所述骨长轴方向之间的角度,表示为:
Figure FDA0003902089930000012
其中,vi是pi点的法向量;
将角度小于设定阈值的点作为断骨处的特征点云,进而获得所述骨折断面。
4.根据权利要求1所述的系统,其特征在于,所述骨折复位路径规划根据以下过程获得:
基于所述坐标变换矩阵建立目标坐标系Ct,并得到骨折复位参数,其中所述目标坐标系包括l轴,s轴和t轴,l轴是过原点的长轴方向,s轴和t轴是指向体外侧的坐标轴,所述骨折复位参数包括绕s轴的旋转角度参数α,绕t轴旋转角度参数β,绕l轴旋转角度参数γ以及位移参数t;
根据骨折发生的范围和程度选定拉伸的步进值,并设置拉伸距离参数dis;
以远端骨目标位置为起点、以远端骨初始位置为终点执行复位过程,其中按照顺序分别完成l+dis、γ、(s,t)参数的复位,并补偿所述拉伸距离参数dis,进而完成(α,β)参数的复位,并且在每个参数调整后收集当前的坐标变换矩阵加入到验证队列;
针对验证队列中每一步骤的远端骨位置进行碰撞检测,并去除发生骨间碰撞的路径,更新迭代次数n增加拉伸距离、清空验证队列,重新进入复位过程,直到碰撞检测通过;
将验证队列中记录的远端骨每一步骤的位置作为所规划的最佳复位路径。
5.根据权利要求4所述的系统,其特征在于,所述碰撞检测包括:
遍历所述点云模型中的点,对于每个点都做引射线法判断是否在断骨闭合多面体内部,如果结果为不在内部,则继续遍历直到结束;如果结果为在内部,则终止遍历,说明近端骨和远端骨发生碰撞。
6.根据权利要求4所述的系统,其特征在于,所述目标坐标系Ct根据以下过程建立:
选取所述骨折断面的点云重心作为目标坐标系Ct的原点O;
选取过原点的远端骨的骨长轴方向l作为Ct坐标系的z轴;
通过近端骨的骨长轴方向l'作为参考选取第二坐标轴作为t轴,该第二坐标轴是指向体外侧坐标轴1,其方向向量t为l×l';
根据笛卡尔直角坐标系定则确定第三坐标轴作为s轴,该第三坐标轴是指向体外侧坐标轴2,方向向量s为l×t;
最终得到的完整的目标坐标系Ct表示为:
Figure FDA0003902089930000031
其中,s是指向体外侧坐标轴2的方向向量,l是骨长轴方向向量,t是指向体外侧坐标轴1的方向向量。
7.根据权利要求6所述的系统,其特征在于,所述骨长轴方向l根据以下过程获得:
计算从所述点云模型中去除骨折断面后的点云法向量,获得点云法向量集合;
将所述点云法向量集合随机选取均分为第一点云法向量集合和第二点云法向量集合,进而求出骨长轴方向l,表示为:
Figure FDA0003902089930000032
其中,vi和vj分别是第一点云法向量集合和第二点云法向量集合中的元素,第一点云法向量集合和第二点云法向量集合中的元素数量均为n。
8.根据权利要求6所述的系统,其特征在于,所述骨折复位参数根据以下过程获得:
基于所述坐标变换矩阵T和所述目标坐标系Ct,计算远端骨初始的坐标系位置Ci
Ci=T-1·Ct
以所述目标坐标系Ct为基准,计算其相对位置变换矩阵T':
Figure FDA0003902089930000033
根据相对位置变换矩阵T'确定骨折复位逆向过程中各个参数所需要调整的数值,包括位移参数ts、tt、tl和角度参数是α、β、γ,其中ts是指向体外侧坐标轴2方向位移参数,tt是指向体外侧坐标轴1方向位移参数,tl是长轴方向位移参数,α是绕s轴旋转角度参数,β是绕t轴旋转角度参数,γ是绕长轴旋转角度参数。
9.根据权利要求2所述的系统,其特征在于,所述骨折断面通过清理离群点获得,所述离群点清理包括:
对所述点云模型进行kd-tree搜索时,同时记录每个点pi与其邻近点的距离;
计算每个点与邻近点之间距离的平均距离,根据该平均距离和每一个距离求得标准差,通过设置阈值参数过滤掉平均距离大于标准差阈值的点。
10.根据权利要求4所述的系统,其特征在于,所述步进值选定为1mm~2mm,所述拉伸距离参数设置为步进值与迭代次数n的乘积。
CN202211293357.4A 2022-10-21 2022-10-21 一种用于下肢骨折复位手术的规划导航系统 Pending CN115546450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211293357.4A CN115546450A (zh) 2022-10-21 2022-10-21 一种用于下肢骨折复位手术的规划导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211293357.4A CN115546450A (zh) 2022-10-21 2022-10-21 一种用于下肢骨折复位手术的规划导航系统

Publications (1)

Publication Number Publication Date
CN115546450A true CN115546450A (zh) 2022-12-30

Family

ID=84736415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211293357.4A Pending CN115546450A (zh) 2022-10-21 2022-10-21 一种用于下肢骨折复位手术的规划导航系统

Country Status (1)

Country Link
CN (1) CN115546450A (zh)

Similar Documents

Publication Publication Date Title
EP3726467A1 (en) Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images
US20240096508A1 (en) Systems and methods for using generic anatomy models in surgical planning
KR101711358B1 (ko) 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
US20190175280A1 (en) Systems and methods for patient-based computer aided surgical procedures
US8152816B2 (en) Computer-assisted planning method for correcting changes in the shape of joint bones
KR101700847B1 (ko) 영상수술 트레이닝 제공방법 및 그 기록매체
CN113966204B (zh) 为医疗介入自动规划轨迹的方法
US11628012B2 (en) Patient positioning using a skeleton model
CN104185451A (zh) 股骨髋臼撞击手术的带有双α角的计算机辅助计划
CN109350059B (zh) 用于肘部自动对准的组合的转向引擎和界标引擎
Morooka et al. A survey on statistical modeling and machine learning approaches to computer assisted medical intervention: Intraoperative anatomy modeling and optimization of interventional procedures
KR101264198B1 (ko) 삼차원 모델을 이용한 자동 수술 계획 시스템 및 이를 이용한 수술 계획 방법
CN114931435B (zh) 三维模型处理方法、装置和电子设备
Esfandiari et al. A fast, accurate and closed-form method for pose recognition of an intramedullary nail using a tracked C-arm
CN115546450A (zh) 一种用于下肢骨折复位手术的规划导航系统
Avşar et al. Automatic 3D modeling and simulation of bone-fixator system in a novel graphical user interface
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
Du et al. Experimental research based on robot‐assisted surgery: Lower limb fracture reduction surgery planning navigation system
Sun A Review of 3D-2D Registration Methods and Applications based on Medical Images
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
Elsamnah et al. Medical navigation based on coloured markers for image-guided surgery
Strydom Robotic manipulation of a human leg for knee arthroscopy
Ha et al. 2D-3D Reconstruction of a Femur by Single X-Ray Image Based on Deep Transfer Learning Network
Cotin et al. Augmented Reality for Computer-Guided Interventions
Subramanian et al. A prototype virtual reality system for preoperative planning of neuro-endovascular interventions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination