发明内容
(一)要解决的技术问题
本发明的一个目的是提供一种全膝关节置换手术术前规划方法;
本发明的另一个目的是一种全膝关节置换手术术前规划。
(二)技术方案
为了实现上述目的,本发明提供了如下技术方案:
1、一种基于深度学习的全膝关节置换术的术前规划方法,所述术 前规划方法基于患者下肢医学图像数据,所述术前规划方法包括:
基于深度学习的医学图像数据处理的步骤,通过所述医学图像处 理获得骨骼结构的三维影像、识别标记出关键轴线、关键解剖位点和 关键解剖参数;所述骨骼结构包括股骨、胫骨、腓骨和髌骨;所述关 键轴线包括股骨解剖轴、股骨机械轴、胫骨解剖轴和胫骨机械轴;所 述关键解剖参数包括胫股角和远端股骨角;
可视化模拟匹配的步骤,将三维假体与三维股骨和三维胫骨进行 模拟匹配,实时观察模拟匹配效果;当模拟匹配效果符合手术要求时, 视为完成模拟匹配。
2、根据技术方案1所述的方法,
所述医学图像数据处理的步骤包括骨骼三维影像重建的步骤;基 于深度学习的图像分割的步骤;识别标记关键轴线、关键解剖位点和 关键解剖参数的步骤。
3、根据技术方案1所述的方法,
所述医学图像数据处理的步骤包括骨骼三维影像重建的步骤;图 像分割的步骤;基于深度学习的识别标记关键轴线、关键解剖位点和 关键解剖参数的步骤。
4、根据技术方案1所述的方法,
所述医学图像数据处理的步骤包括骨骼三维影像重建的步骤;基 于深度学习的图像分割的步骤;基于深度学习的识别标记关键轴线、 关键解剖位点和关键解剖参数的步骤。
5、根据技术方案2或4所述的方法,
基于深度学习的图像分割包括:
构建下肢医学图像数据库:获取下肢医学图像数据集,手动标注 出股骨、胫骨、腓骨和髌骨区域;将所述数据集划分为训练集和测试 集;将未标注前的医学图像数据转换成第一格式的图片并保存,将标 注后的数据转换成第二格式的图片并保存;
建立分割神经网络模型;优选地,所述分割神经网络模型包括粗 分割神经网络和精确分割申请网络;进一步优选地,所述粗分割神经 网络选自FCN、SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、 ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的任一种或多种; 进一步优选地,所述精确分割神经网络为EfficientDet、SimCLR、PointRend中的任一种或多种;
模型训练:利用训练集对分割神经网络模型进行训练,并利用测 试集进行测试;和
利用训练好的分割神经网络模型进行分割。
6、根据技术方案5所述的方法,其特征在于,
所述Unet神经网络包括n个上采样层和n个下采样层;
每个上采样层包括上采样操作层和卷积层;
每个下采样层包括卷积层和池化层。
7、根据技术方案6所述的方法,其特征在于,
n的取值优选为2-8,进一步优选为3-6,更优选为4-5。
8、根据技术方案6或7所述的方法,其特征在于,
每个上采样层包括1个上采样操作层和2个卷积层,其中的卷积 层中的卷积核大小为3*3,上采样操作层中的卷积核大小为2*2,每个 上采样层中的卷积核个数为512,256,256,128。
9、根据技术方案8所述的方法,其特征在于,
每个下采样层包括2个卷积层和1个池化层,其中的卷积层中的 卷积核大小为3*3,池化层中的卷积核大小为2*2,每个卷积层中的卷 积核的个数为128,256,256,512。
10、根据技术方案5至9任一项所述的方法,其特征在于,
将所述数据集按照7:3的比例划分为训练集和测试集。
11、根据技术方案6至9任一项所述的方法,其特征在于,
最后一次上采样结束后设有一个dropout层,droupout率设置为 0.5-0.7;和/或
所有的卷积层后面设有激活层,激活层使用的激活函数为relu函 数。
12、根据技术方案5至11任一项所述的方法,其特征在于,
所述训练按照如下方法进行:
粗分割:将训练集送入粗分割神经网络进行训练;训练过程中, 数据标签的背景像素值设置为0,股骨为1,胫骨为2,腓骨为3,髌 骨为4,训练的batch_size为6,学习率设置为1e-4,优化器使用Adam 优化器,使用的损失函数为DICE loss;可选地,根据训练过程中损失 函数的变化,调整训练批次的大小;
精确分割:送入精确分割神经网络进行精确分割;初始过程包括, 先使用双线性插值上采样粗分割的预测结果,再在特征图中选定多个 最不确定的点,然后计算多个点的特征表示并且预测labels;重复所述 初始过程,直到上采样到需要的大小;
优选地,选定置信度为0.5的点作为最不确定的点;
优选地,点的特征通过双线性插值Bilinear计算。
13、根据技术方案1至12任一项所述的方法,其特征在于,
所述下肢医学图像数据为CT扫描数据。
14、根据技术方案1至13任一项所述的方法,其特征在于,
所述基于深度学习的识别标记关键轴线、关键解剖位点和关键解 剖参数的步骤包括:
识别关键解剖位点;优选地,利用MTCNN、locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、 Faster R-CNN、R-FCN、SSD中的任一种或多种神经网络模型识别关键 点;
利用关键解剖位点获得关键轴线;和
测量关键解剖参数。
15、根据技术方案14所述的方法,其特征在于,
所述识别关键解剖位点的步骤包括:
构建数据库:获取下肢医学图像数据集,手动标定关键解剖位点; 将所述数据集划分为训练集和测试集,优选按照7:3的比例划分。
建立识别神经网络模型;
模型训练:利用训练集对识别神经网络模型进行训练,并利用测 试集进行测试;
利用训练好的神经网络模型进行关键解剖位点的识别。
16、根据技术方案1至15任一项所述的方法,
所述三维假体包括三维股骨假体和三维胫骨假体;优选地,还包 括胫骨垫;和
所述模拟匹配包括:
(i)将三维股骨假体植入股骨,将三维胫骨假体植入胫骨;优选 地,还包括将胫骨垫植入假体间隙;
(ii)选择三维股骨假体和三维胫骨假体,选择模拟手术条件;
(iii)根据三维假体与骨骼的匹配关系智能截骨,观察三维假体与 骨骼的模拟匹配效果;
(iv)若是模拟匹配效果不符合手术需求,则重复步骤ii至步骤iii, 直至模拟匹配效果符合手术要求。
17、根据技术方案16所述的方法,
在步骤ii中:
选择三维股骨假体包括选择股骨假体类型和/或股骨假体型号和/ 或三维空间位置;
选择三维胫骨假体包括选择胫骨假体类型和/或胫骨假体型号和/ 或三维空间位置;和/或
选择模拟手术条件包括选择股骨手术参数和/或选择胫骨手术参数; 所述股骨手术参数包括股骨远端截骨量、股骨后髁截骨量、内外旋角、 内外翻角和股骨假体屈曲角;所述胫骨手术参数包括胫骨截骨量、内 外旋角、内外翻角和后倾角。
18、根据技术方案1至17任一项所述的方法,
所述骨骼结构可进行任意组合显示和/或进行透明度的切换和/或 进行图像缩放和/或图像旋转和/或图像移动;可选地,所述透明度包括 透明和不透明两种。
19、根据技术方案1至18任一项所述的方法,
在如下一个或多个状态下观察模拟匹配效果:
(a)截骨状态或非截骨状态;
(b)骨骼透明状态或不透明状态;
(c)腓骨显示或不显示状态。
20、根据技术方案1至19任一项所述的方法,
21、根据技术方案1至20任一项所述的方法,其特征在于,
所述关键解剖位点还包括股骨内髁凹点、股骨外髁最高点、股骨 内外后髁最低点、胫骨平台内侧低点和外侧高点、后交叉韧带中点和 胫骨结节内侧缘点、股骨远端最低点中任一种或多种;所述关键轴线 还包括通髁线、后髁连线、胫骨膝关节线、股骨矢状轴、股骨膝关节 线中的任一种或多种;
优选地,所述关键解剖参数还包括股骨后髁角。
22、根据技术方案20所述的方法,
在透明度为不透明的状态下标记出关键轴线。
23、根据技术方案1至22任一项所述的方法,
通过所述医学图像处理获得骨骼结构的三维影像和二维影像;所 述二维影像包括横断面影像、矢状面影像和冠状面影像;进一步优选 地,横断面影像、矢状面影像和冠状面影像三轴联动。
24、根据技术方案2至23任一项所述的方法,
在标记关键轴线后,观察关键轴线是否对位,并将不对位的关键 轴线手动标记;优选地,独立显示出股骨或胫骨,进一步优选地,调 整股骨或胫骨的观察角度,然后再进行关键轴线手动标记。
25、根据技术方案1至24任一项所述的方法,
所述方法还包括可视化术后模拟的步骤,用于模拟全膝关节置换 术的术后肢体运动情况。
26、根据技术方案1至25任一项所述的方法,
所述方法还包括将符合手术需求的模拟匹配数据导出,形成术前 规划报告的步骤。
27、一种基于深度学习的全膝关节置换的术前规划系统,所述术 前规划系统包括:
医学图像数据处理模块,用于通过医学图像处理获得骨骼结构的 三维影像、识别标记出关键轴线、关键解剖位点和关键解剖参数;所 述骨骼结构包括股骨、胫骨、腓骨和髌骨;所述关键解剖位点包括股 骨髓腔的不同层面上的中心点、胫骨髓腔的不同层面上的中心点、髋 关节中心点、膝关节中心点、髁间棘的中心点、踝关节中心点;所述关键轴线包括股骨解剖轴、股骨机械轴、胫骨解剖轴和胫骨机械轴; 所述关键解剖参数包括胫股角和远端股骨角;
模拟匹配模块,用于将三维假体与三维股骨和三维胫骨进行模拟 匹配,实时观察模拟匹配效果;和
显示模块:用于显示骨骼结构的三维影像、关键轴线、关键解剖 位点、关键解剖参数和模拟匹配效果。
28、根据技术方案27所述的术前规划系统,
所述医学图像数据处理模块包括:
三维重建单元;
图像分割单元;
识别标记单元。
29、根据技术方案27所述的术前规划系统,
所述术前规划系统还包括:
图像组合模块,用于将骨骼结构任意组合;
图像透明度切换模块,用于切换骨骼结构的透明度;
图像缩放模块,用于缩放骨骼结构的三维影像和/或二维影像;
图像旋转模块,用于将图像按照任意轴进行旋转;和/或
图像移动模块,用于将图像进行移动。
30、根据技术方案27至29任一项所述的术前规划系统,
所述术前规划系统还包括:
数据导入模块;
术后模拟模块;和/或
数据导出模块。
31、一种设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述 一个或多个处理器实现技术方案1至26任一项所述的方法。
32、一种计算机可读存储介质,其上存储有计算机程序,其特征 在于,
所述程序被处理器执行时实现技术方案1至26任一项所述的方法。
(三)有益效果
本发明的上述技术方案具有如下优点:
本发明提供的术前规划方法和系统基于深度学习实现了股骨、胫 骨、腓骨和髌骨的自动分割。与现有技术相比(如,目前国内外针对 骨关节CT图像分割方法大部分需要在每一张CT图像中进行手动定位 或手动分割,费时费力,且效率低),本发明提高了分割效率以及准确 率。本发明提供的术前规划方法和系统基于深度学习实现了关键轴线 和关键解剖参数自动识别和测量。
本发明提供的术前规划系统智能高效,医生学习时间短,无需经 过长时间、大体量手术的培训即可掌握;而且,成本较低,无需复杂 设备。
利用本发明提供的术前规划方法和系统可以在术前确定植入假体 的尺寸和位置,并且能虚拟测试假体是否达到性能要求,以便最优化 关节面重建和假体位置的确定;为医生提供技术支持,使外科手术更 准确、更安全;促进外科手术向智能化、精准化、微创化方向发展。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发 明实施例,对本发明的技术方案进行清楚、完整地描述。显然,所描 述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本 发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提 下所获得的所有其他实施例,都属于本发明保护的范围。
﹤第一方面﹥
本发明在第一方面提供了一种基于深度学习的全膝关节置换术的 术前规划方法,所述术前规划方法基于患者下肢医学图像数据,参考 图1,本发明提供的这一术前规划方法包括如下步骤:
S1、基于深度学习的医学图像数据处理的步骤,通过所述医学图 像处理获得骨骼结构的三维影像、识别标记出关键轴线、关键解剖位 点和关键解剖参数;所述骨骼结构包括股骨、胫骨、腓骨和髌骨;所述关键轴线包括股骨解剖轴、股骨机械轴、胫骨解剖轴和胫骨机械轴; 所述关键解剖位点包括股骨髓腔的不同层面上的中心点、胫骨髓腔的 不同层面上的中心点、髋关节中心点、膝关节中心点、髁间棘的中心 点、踝关节中心点;所述关键解剖参数包括胫股角和远端股骨角;
S2、可视化模拟匹配的步骤,将三维假体与三维股骨和三维胫骨 进行模拟匹配,实时观察模拟匹配效果;当模拟匹配效果符合手术要 求时,视为完成模拟匹配。
关于S1:
继续参考图1,所述医学图像数据处理的步骤包括骨骼三维影像重 建的步骤;图像分割的步骤;识别标记出关键轴线、关键解剖位点和 关键解剖参数的步骤。需要说明的是,本发明对医学图像数据处理步 骤所包括的三个步骤没有顺序上的限定。在获得患者的医学图像数据后,可以先进行三维影像重建,再进行分割、识别标记,也可以先进 行分割,再进行三维影像重建、识别标记,本发明在此对可以实现的 顺序不一一列举说明。
通过三维影像重建获得股骨、胫骨、腓骨和髌骨这四类骨骼的三 维影像。无需说明的是,若是在分割之前进行三维影像重建,则获得 的三维影像中的骨骼结构是存在连结的。通过图像分割至少能够获得 股骨、胫骨、腓骨和髌骨这四类骨骼结构,分割出的这四类骨骼结构 无连结。通过识别标记的步骤至少识别标记出股骨和胫骨上的股骨解剖轴、股骨机械轴、胫骨解剖轴和胫骨机械轴,至少获得胫股角和远 端股骨角这些关键解剖参数。
本发明在图像分割的步骤和/或识别标记的步骤可通过深度学习技 术实现AI图像分割和/或AI识别标记关键轴线、关键解剖位点和关键解剖参数。
关于基于深度学习的图像分割:
在一些优选的实施方式中,所述基于深度学习的图像分割的步骤 包括:
构建下肢医学图像数据库:获取下肢医学图像数据集,手动标注 出股骨、胫骨、腓骨和髌骨区域;将所述数据集划分为训练集和测试 集,优选按照7:3的比例进行划分;将未标注前的医学图像数据(如二维横断面影像dicom格式的数据)转换成第一格式(如jpg格式)的图 片并保存,将标注后的数据转换成第二格式(如png格式)的图片并 保存;需要说明的是,第一格式和第二格式不相同;
建立分割神经网络模型;
模型训练:利用训练集对分割神经网络模型进行训练,并利用测 试集进行测试;和
利用训练好的分割神经网络模型进行分割。
关于分割神经网络模型:
在一些优选的实施方式中,分割神经网络模型包括粗分割神经网 络和精确分割申请网络;所述粗分割神经网络选自FCN、SegNet、Unet、 3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、 RefineNet、ReSeg、LSTM-CF、DeepMask中的任一种,优选为Unet; 所述精确分割神经网络为EfficientDet、SimCLR、PointRend。
以所述分割神经网络模型为Unet+PointRend为例,利用Unet神经 网络进行粗分割,利用PointRend神经网络进行精确分割。具体地,所 述Unet神经网络包括n个上采样层和n个下采样层;每个上采样层包 括上采样操作层和卷积层;每个下采样层包括卷积层和池化层。n的取 值优选为2-8,进一步优选为3-6,更优选为4-5。每个上采样层优选包 括1个上采样操作层和2个卷积层,其中的卷积层中的卷积核大小为 3*3,上采样操作层中的卷积核大小为2*2,每个上采样层中的卷积核 个数为512,256,256,128。每个下采样层优选包括2个卷积层和1 个池化层,其中的卷积层中的卷积核大小为3*3,池化层中的卷积核大 小为2*2,每个卷积层中的卷积核的个数为128,256,256,512。
在一些优选的实施方式中,最后一次上采样结束后设有一个dropout层,droupout率设置为0.5-0.7。
在一些优选的实施方式中,所有的卷积层后面设有激活层,激活 层使用的激活函数为relu函数。
关于模型训练:
训练过程中,将训练集全部送入Unet神经网络进行训练;训练过 程中,数据标签的背景像素值设置为0,股骨为1,胫骨为2,腓骨为 3,髌骨为4,训练的batch_size为6,学习率设置为1e-4,优化器使用 Adam优化器,使用的损失函数为DICE loss,可以根据训练过程中损失函数的变化,调整训练批次的大小;
完成粗分割后,送入PointRend神经网络进行精确分割;初始过程 包括,先使用双线性插值上采样粗分割的预测结果,再在特征图中选 定多个最不确定的点,然后计算多个点的特征表示并且预测labels;重复所述初始过程,直到上采样到需要的大小;
优选地,选定置信度为0.5的点作为最不确定的点;
优选地,点的特征通过双线性插值Bilinear计算。
关于基于深度学习的识别标记:
在一些优选的实施方式中,所述基于深度学习的识别标记的步骤 包括:
识别关键解剖位点;
利用关键解剖位点获得关键轴线;和
测量关键解剖参数。
关于识别关键解剖位点:
本发明需要识别的关键解剖位点包括股骨髓腔的不同层面上的中 心点、胫骨髓腔的不同层面上的中心点、髋关节中心点、膝关节中心 点、髁间棘的中心点、踝关节中心点,在一些优选的实施方式中,还 包括股骨内髁凹点、股骨外髁最高点、股骨内外后髁最低点、胫骨平 台内侧低点和外侧高点、后交叉韧带中点和胫骨结节内侧缘点、股骨远端最低点等。
识别关键解剖位点的步骤包括:
构建数据库:获取下肢医学图像数据集,手动标定关键解剖位点; 将所述数据集划分为训练集和测试集,优选按照7:3的比例划分。
建立关键点识别神经网络模型:所述识别神经网络模型为MTCNN、 locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、 Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的任一 种或多种。
以hourglass为例,其网络细节包括:
首先Conv层和Max Pooling层用于将特征的分辨率进行缩放;
每一个Max Pooling(降采样)处,网络进行分叉,上下两路在不同 尺度空间进行卷积操作提取特征;
得到最低分辨率特征后,网络开始进行upsampling,并逐渐结合 不同尺度的特征信息;对较低分辨率可以采用最近邻上采样方式,将 两个不同的特征集进行逐元素相加;
整个hourglass是对称的,获取低分辨率特征过程中每有一个网络 层,则在上采样的过程中相应低就会有一个对应网络层;
得到hourglass网络模块输出后,再采用两个连续的1×1Conv层 进行处理,得到最终的网络输出;输出为heatmaps的集合,每一个 heatmap表征了关键点在每个像素点存在的概率。
模型训练:利用训练集对识别神经网络模型进行训练,并利用测 试集进行测试。
以hourglass为例,在进行训练时,输入像素值为0-255的正投影 图像和label.txt,可以通过每张图片的名称找到互相对应的点的坐标; 若直接用目标点的坐标进行学习,神经网络需要自行将空间位置转换 为坐标,是一种比较难学习的训练方式,所以将这些点生成高斯图, 用heatmap去监督,即网络的输出是一个与输入大小相同尺寸的特征 图,在检测点的位置为1,其他位置为0,多个点的检测就输出多个通 道的特征图;网络使用Adam优化,学习率为1e-5,batch_size为4,损失函数使用L2正则化,可以根据训练过程中损失函数的变化,调整 训练批次的大小,得到关键点位的坐标值。
利用训练好的神经网络模型进行关键解剖位点的识别。
关于利用关键解剖位点获得关键轴线:
对于股骨解刨轴,可以通过拟合股骨髓腔的不同层面上的中心点 而得到。同样地,对于胫骨解刨轴,可以通过拟合胫骨髓腔的不同层 面上的中心点而得到。拟合的方法可以为最小二乘法、梯度下降、高 斯牛顿、列-马算法中的任一种。
对于其它种类的关键轴线,可以利用确定的两个端点而得到。如, 股骨机械轴的两个端点-髋关节中心点和膝关节中心点-已被识别出来, 可以通过这两点确定股骨机械轴线。
测量关键解剖参数:
在该步骤可以自动测量的关键解剖参数包括胫股角、远端股骨角, 还可以自动测量出股骨后髁角。
本发明通过所述医学图像处理不仅可以获得骨骼结构的三维影像, 还可以获得二维影像;所述二维影像包括横断面影像、矢状面影像和 冠状面影像,并且横断面影像、矢状面影像和冠状面影像可以三轴联 动。
对于本发明来说,通过医学图像处理获得的骨骼结构的三维影像 可以进行任意组合,从而实现骨骼结构灵活多样的显示方式。显示的 情形包括如下任一种:只显示股骨;只显示胫骨;只显示腓骨;只显 示髌骨;同时显示股骨和胫骨;同时显示股骨和腓骨;同时显示股骨 和髌骨;同时显示胫骨和腓骨;同时显示胫骨和髌骨;同时显示腓骨和髌骨;同时显示股骨、胫骨和腓骨;同时显示股骨、胫骨和髌骨; 同时显示股骨、腓骨和髌骨;同时显示胫骨、腓骨和髌骨;同时显示 股骨、胫骨、腓骨和髌骨。
对于本发明来说,通过医学图像处理获得的骨骼结构的三维影像 可以进行透明度的变换,使得影像表现出多样的显像效果。具体来说, 透明度可以在透明和不透明之间进行切换。例如,只显示股骨时,股 骨的显像效果可以选择透明,也可以选择不透明。例如,只显示胫骨实,胫骨的显像效果可以选择透明,也可以选择不透明。例如,同时 显示股骨和胫骨时,两类骨骼的显像效果可以选择透明,也可以选择 不透明。例如,同时显示股骨和腓骨时,两类骨骼的显像效果可以选择透明,也可以选择不透明。例如,同时显示股骨、胫骨和腓骨时, 三类骨骼的显像效果可以选择透明,也可以选择不透明。例如,同时 显示股骨、胫骨、腓骨和髌骨时,骨骼的显像效果可以选择透明,也 可以选择不透明。
对于本发明来说,通过医学图像处理获得的骨骼结构的三维影像 可以进行图像缩放。如,只显示股骨时,可以进行股骨图像的缩放(缩 小或放大,以下同)。如,只显示胫骨时,可以进行胫骨图像的缩放。 如,同时显示股骨和胫骨时,可以进行股骨和胫骨图像的缩放。如,同时显示股骨、胫骨和腓骨时,可以进行这三类骨骼图像的缩放。如,同时显示股骨、胫骨、腓骨和髌骨时,可以进行这骨骼图像的缩放。在一些优选的实施方式中,二维影像(包括横断面影像、矢状面影像 和冠状面影像)也可以进行图像的缩放,如,横断面影像、矢状面影 像和冠状面影像同时放大或缩小。
对于本发明来说,通过医学图像处理获得的股骨结构的三维影像 可以按照任意轴进行旋转,还可以进行图像移动。如,只显示股骨时, 可以将股骨按照任意轴进行旋转。如,只显示胫骨时,可以将胫骨按 照任意轴进行旋转。如,同时显示股骨和胫骨时,可以将股骨和胫骨 按照任意轴进行旋转。如,同时显示股骨、胫骨和腓骨时,可以将这三类骨骼按照任意轴进行旋转。如,同时显示股骨、胫骨、腓骨和髌 骨时,可以将这骨骼结构按照任意轴进行旋转。
总的来说,灵活多样的显示方式更加直观地显示了骨骼的立体结 构,使得医生(或其它医护人员)可以多角度、多层次地观察骨骼结 构的影像。需要说明的是,透明的含义为图像透明度(transparency) 为0.3-0.75,不透明的含义为图像透明度为0.8-1。
本发明通过识别标记步骤实现关键轴线、关键解剖位点、关键解 剖参数的识别标记。关键轴线包括股骨解剖轴、股骨机械轴、胫骨解 剖轴、胫骨机械轴。在一些优选的实施方式中,关键轴线还包括通髁 线、后髁连线、胫骨膝关节线、股骨矢状轴、股骨膝关节线中的任一 种或多种。关键解剖位点包括股骨髓腔的不同层面上的中心点、胫骨髓腔的不同层面上的中心点、髋关节中心点、膝关节中心点、髁间棘 的中心点、踝关节中心点,还可以包括股骨内髁凹点、股骨外髁最高 点、股骨内外后髁最低点、胫骨平台内侧低点和外侧高点、后交叉韧 带中点和胫骨结节内侧缘点、股骨远端最低点。关键解剖参数包括胫 股角、远端股骨角。在一些优选的实施方式中,所述关键解剖参数还 包括股骨后髁角。
在一些优选的实施方式中,在透明度为不透明的状态下标记出关 键轴线。
在一些优选的实施方式中,在标记关键轴线后,观察关键轴线和/ 或关键解剖位点是否对位,并将不对位的关键轴线和/或关键解剖位点 手动标记;优选地,独立显示出股骨或胫骨,进一步优选地,通过旋 转调整股骨或胫骨的观察角度,然后再进行关键轴线和/或关键解剖位 点的手动标记。
需要说明的是,本发明提供的方法中的医学图像数据为CT扫描数 据,该数据为dicom格式的数据。基于全膝关节置换术,CT的扫描范 围为下肢全长,即:髋关节至踝关节。显然地,本发明中的医学图像 数据为下肢全长dicom数据,下肢全长的范围为髋关节至踝关节。
本发明中提及的术语均为骨科常规术语,各个术语解释如下:
股骨解剖轴:股骨骨干中心线。
股骨机械轴:一端点位于髋关节中心,另一端点位于股骨的膝关 节中心点(股骨髁间窝顶点)。
胫骨解剖轴:胫骨骨干中心线。
胫骨机械轴:一端点位于胫骨膝关节中心(髁间棘的中心),另一 端点位于胫骨踝关节中心(内外踝外侧骨皮质连线的中点)。
通髁线:股骨内髁凹与外髁最高点之间的连线。
后髁连线:股骨内外后髁最低点之间的连线。
股骨膝关节线:股骨远端最低点的连线。
胫骨膝关节线:胫骨平台内侧低点和外侧高点的连线。
股骨矢状轴:后交叉韧带止点中心与胫骨结节内缘的连线。
胫股角(又称mTFA):股骨机械轴和胫骨机械轴形成的夹角。
远端股骨角:股骨机械轴与股骨解剖轴之间的夹角。
股骨后髁角(又称PCA):股骨通髁线与后髁连线在横断面的投影 线之间的夹角。
关于S2:
在一些优选的实施方式中,所述三维假体包括三维股骨假体和三 维胫骨假体;和
所述模拟匹配包括:
(i)将三维股骨假体植入股骨(指的是股骨三维影像),将三维胫 骨假体植入胫骨(指的是胫骨三维影像);可以将可视化三维假体用颜 色与骨骼结构区分开来;
(ii)选择三维股骨假体和三维胫骨假体,选择模拟手术条件;
(iii)根据三维假体与骨骼的匹配关系智能截骨,观察模拟匹配效 果;
(iv)若是模拟匹配效果不符合手术需求,则重复步骤ii至步骤iii, 直至模拟匹配效果符合手术要求。
优选地,在步骤ii中,选择三维股骨假体包括选择股骨假体类型 和/或股骨假体型号(型号代表大小,以下同)。优选地,在步骤ii中, 选择三维胫骨假体包括选择胫骨假体类型和/或胫骨假体型号。优选地, 在步骤ii中,还可以选择三维胫骨垫类型和/或型号。需要说明的是, 存储的股骨假体类型以及其型号、胫骨假体类型以及其型号、胫骨垫 类型以及其型号中所提及的类型和型号为市售产品(目前市场上已有 的全膝关节置换用假体)的商品类型和型号。如,股骨假体类型有 ATTUNE-PS、ATTUNE-CR、SIGMA-PS150等。如,ATTUNE-PS的 型号有1、2、3、3N、4、4N、5、5N、6、6N。如,SIGMA-PS150的 型号有1、1.5、2、2.5、3、4、4N、5、6。如,胫骨假体类型有ATTUNE-FB、 ATTUNE-RP、SIGMA-MBT等。如,ATTUNE-FB的型号有1、2、3、 4、5、6、7、8、9、10。如,SIGMA-MBT的型号有1、1.5、2、2.5、 3、4、5、6、7。本发明在此不一一举例说明。
优选地,在步骤ii中,选择模拟手术条件包括选择股骨手术参数 和/或选择胫骨手术参数;所述股骨手术参数包括股骨远端截骨量、股 骨后髁截骨量、内外旋角、内外翻角和股骨假体屈曲角;所述胫骨手术参数包括胫骨截骨量、内外旋角、内外翻角和后倾角。
在一些优选的实施方式中,在如下一个或多个状态下观察模拟匹 配效果:
(a)截骨状态或非截骨状态;
(b)骨骼透明状态或不透明状态;
(c)腓骨显示或不显示状态。
关于S3:
在一些优选的实施方式中,所述方法还包括S3:可视化术后模拟 的步骤,用于模拟全膝关节置换术的术后肢体运动情况。
在一些优选的实施方式中,所述方法(图1未示出)还包括将符 合手术需求的模拟匹配数据导出,形成术前规划报告的步骤,便于医 生进行术前部署。
﹤第二方面﹥
本发明在第二方面提供了一种基于深度学习的全膝关节置换的术 前规划系统,参考图2,术前规划系统包括:
医学图像数据处理模块101,用于通过医学图像处理获得骨骼结构 的三维影像、识别标记出关键轴线、关键解剖位点和关键解剖参数; 所述骨骼结构包括股骨、胫骨、腓骨和髌骨;所述关键解剖位点包括股骨髓腔的不同层面上的中心点、胫骨髓腔的不同层面上的中心点、 髋关节中心点、膝关节中心点、髁间棘的中心点、踝关节中心点;所 述关键轴线包括股骨解剖轴、股骨机械轴、胫骨解剖轴和胫骨机械轴; 所述关键解剖参数包括胫股角和远端股骨角;
模拟匹配模块201,用于将三维假体与三维股骨和三维胫骨进行模 拟匹配,实时观察模拟匹配效果;和
显示模块301:用于显示骨骼结构的三维影像、关键轴线、关键解 剖位点、关键解剖参数和模拟匹配效果。
在一些优选的实施方式中,所述医学图像数据处理模块101包括:
三维重建单元,用于获得骨骼结构的三维影像;
图像分割单元,用于分割出股骨、胫骨、腓骨和髌骨;
识别标记单元,用于识别标记出关键轴线、关键解剖位点和关键 解剖参数。
在一些优选的实施方式中,所述术前规划系统还包括数据导入模 块404,用于导入医学图像数据。
在一些优选的实施方式中,所述术前规划系统还包括可视化术后 模拟模块501,用于模拟全膝关节置换术的术后肢体运动情况。
在一些优选的实施方式中,所述术前规划系统还包括图像组合模 块,用于将骨骼结构任意组合。在一些优选的实施方式中,所述术前 规划系统还包括图像透明度切换模块,用于切换骨骼结构的透明度。 在一些优选的实施方式中,所述术前规划系统还包括图像缩放模块, 用于缩放骨骼结构的三维影像和/或二维影像。在一些优选的实施方式 中,所述术前规划系统还包括图像旋转模块,用于将图像按照任意轴 进行旋转。在一些优选的实施方式中,所述术前规划系统还包括图像移动模块,用于将图像进行移动。
在一些优选的实施方式中,所述术前规划系统还包括数据导出模 块,用于将符合手术需求的模拟匹配数据导出,形成术前规划报告。
初次之外,本系统可以实现的更多的功能或者更为具体的功能请 见第一方面内容。
﹤第三方面﹥
一种设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述 一个或多个处理器实现本发明在第一方面提供的所述术前规划方法。
﹤第四方面﹥
一种计算机可读存储介质,其上存储有计算机程序,
所述计算机程序被处理器执行时实现本发明在第一方面提供的术 前规划方法。
以下再结合附图3至图11进行更为具体的说明:
导入数据:利用数据导入模块404将CT扫描获得的下肢全长 dicom数据导入术前规划系统中。
基于深度学习的医学图像数据处理:利用医学图像数据处理模块 101进行该步骤,通过医学图像处理获得骨骼结构的三维影像和二维影 像、识别标记出关键轴线、关键解剖位点关键解剖参数;所述骨骼结 构包括股骨、胫骨、腓骨和髌骨;关键解剖位点包括股骨髓腔的不同 层面上的中心点、胫骨髓腔的不同层面上的中心点、髋关节中心点、 膝关节中心点、髁间棘的中心点、踝关节中心点,还包括股骨内髁凹点、股骨外髁最高点、股骨内外后髁最低点、胫骨平台内侧低点和外 侧高点、后交叉韧带中点和胫骨结节内侧缘点、股骨远端最低点;所 述关键轴线包括股骨解剖轴、股骨机械轴、胫骨解剖轴、胫骨机械轴, 还包括通髁线、后髁连线、胫骨膝关节线、股骨矢状轴、股骨膝关节 线中的任一种或多种;所述关键解剖参数包括胫股角和远端股骨角, 还包括股骨后髁角。
具体地,该步骤包括:
骨骼三维影像重建的步骤
利用三维重建单元,根据下肢全长dicom数据进行三维影像重建, 获得下肢骨骼三维影像,可以通过显示模块301显示出来。需要说明 的是,三维影像重建可以利用现有方法实现,因此,三维重建单元可以为现有的能够实现三维影像重建的单元。
基于深度学习的图像分割的步骤
按照如下方法实现股骨、胫骨、腓骨和髌骨这四类骨骼结构的分 割:
构建下肢医学图像数据库:获取下肢CT图像数据集,手动标注出 股骨、胫骨、腓骨和髌骨区域;将数据集按照7:3的比例划分为训练集 和测试集;将未标注前的二维横断面影像dicom数据转换成jpg格式的 图片并保存,将标注后的数据转换成png格式的图片并保存。此处以 二维横断面数据进行说明,还可以使用二维矢状面和二维冠状面数据。
建立分割神经网络模型,分割神经网络模型为Unet+PointRend, 利用Unet神经网络进行粗分割,利用PointRend神经网络进行精确分 割;所述Unet神经网络包括4个上采样层和4个下采样层;每个上采 样层优选包括1个上采样操作层和2个卷积层,其中的卷积层中的卷 积核大小为3*3,上采样操作层中的卷积核大小为2*2,每个上采样层 中的卷积核个数为512,256,256,128;每个下采样层优选包括2个 卷积层和1个池化层,其中的卷积层中的卷积核大小为3*3,池化层中 的卷积核大小为2*2,每个卷积层中的卷积核的个数为128,256,256, 512;最后一次上采样结束后设有一个dropout层,droupout率设置为 0.5-0.7;所有的卷积层后面设有激活层,激活层使用的激活函数为relu 函数。
模型训练,包括:
粗分割训练:将训练集全部送入Unet神经网络进行训练;训练过 程中,数据标签的背景像素值设置为0,股骨为1,胫骨为2,腓骨为 3,髌骨为4,训练的batch_size为6,学习率设置为1e-4,优化器使用Adam优化器,使用的损失函数为DICE loss,根据训练过程中损失函数的变化,调整训练批次的大小;
完成粗分割后,送入PointRend神经网络进行精确分割;初始过程包括,先使用双线性插值上采样粗分割的预测结果,再在特征图中选 定多个置信度为0.5的点作为最不确定的点,然后通过双线性插值 Bilinear计算多个点的特征表示并且预测labels;重复所述初始过程, 直到上采样到需要的大小。
利用训练好的分割神经网络模型进行分割。
上述分割过程可在图像分割单元中实现,分割出的这四类骨骼结 构无连结,并且边缘清晰。
基于深度学习的识别标记的步骤
步骤包括:
(1)识别关键解剖位点。
识别关键解剖位点的步骤包括:
构建数据库:获取下肢医学图像数据集,手动标定关键点;将所 述数据集按照7:3的比例划分为训练集和测试集。
建立识别神经网络模型:所述识别神经网络模型为hourglass, hourglass的网络细节在此不再详述。
模型训练:在进行训练时,输入像素值为0-255的正投影图像和 label.txt,可以通过每张图片的名称找到互相对应的点的坐标;若直接 用目标点的坐标进行学习,神经网络需要自行将空间位置转换为坐标, 是一种比较难学习的训练方式,所以将这些点生成高斯图,用heatmap去监督,即网络的输出是一个与输入大小相同尺寸的特征图,在检测 点的位置为1,其他位置为0,多个点的检测就输出多个通道的特征图; 网络使用Adam优化,学习率为1e-5,batch_size为4,损失函数使用 L2正则化,可以根据训练过程中损失函数的变化,调整训练批次的大 小,得到关键点位的坐标值。
利用训练好的神经网络模型进行关键解剖位点的识别。
(2)利用关键解剖位点获得关键轴线:
对于股骨解刨轴,可以通过拟合股骨髓腔的不同层面上的中心点 而得到。对于胫骨解刨轴,可以通过拟合胫骨髓腔的不同层面上的中 心点而得到。拟合的方法为最小二乘法、梯度下降、高斯牛顿、列-马 算法中的任一种。
对于其它种类的关键轴线,可以利用确定的两个端点而得到。如, 股骨机械轴的两个端点-髋关节中心点和膝关节中心点-已被识别出来, 可以通过这两点确定股骨机械轴线。
(3)测量关键解剖参数。
上述识别标记步骤在识别标记单元实现。
需要说明的是,本发明对医学图像数据处理步骤所包括的三个步 骤没有顺序上的限定。本发明在此处为了具体说明医学图像数据处理 的步骤而给出了包含顺序的处理步骤,但不应理解为处理顺序的限定。
四类骨骼结构(股骨、胫骨、腓骨和髌骨)通过图像组合模块可 以进行任意组合,通过图像透明度切换模块可以进行透明度的变换, 通过图像缩放模块可以进行图像缩放、通过图像旋转模块可以进行图 像旋转。图3为分割后四类骨骼组合在一起的三维影像,显影效果为 不透明(可切换为透明状态),其中a图和b图的角度不同,在观察时可以选择不同的角度进行观察。由于本发明将股骨、胫骨、腓骨和髌 骨这四类骨骼结构进行了分割,显然,这四类股骨结构可以任意进行 组合。图4为只显示股骨的股骨三维影像,显影效果为不透明(可切 换为透明状态),其中a图和b图的角度不同。图5为只显示胫骨的胫 骨三维影像,显影效果为不透明(可切换为透明状态),其中a图和b 图的角度不同。此处只结合附图列举了四类骨骼组合在一起显示、只 显示股骨、只显示胫骨的情况,还可以只显示腓骨,还可以只显示髌 骨,还可以同时显示股骨和胫骨等。图6为5b胫骨平台处的放大图。 当然,任意的组合方式下的三维影像均可进行放大或缩小。如,当只 显示股骨时,可以进行放大或缩小。如,同时显示股骨和胫骨时,可以进行放大或缩小。同时显示股骨、胫骨和腓骨时,可以进行放大或 缩小。同时显示股骨、胫骨、腓骨和髌骨时,可以进行放大或缩小。
图7显示了标记有关键轴线、关键解剖位点和关键解剖参数后的 结果图。可以观察各个关键解剖位点和/或关键轴线的位置是否正确, 若不正确,可以手动标记关节解剖位点和/或关键轴线(通过手动标记 关键解剖位点而实现)。
可视化模拟匹配
将三维假体与三维股骨和三维胫骨进行模拟匹配,实时观察模拟 匹配效果;当模拟匹配效果符合手术要求时,视为完成模拟匹配。三 维假体包括三维股骨假体和三维胫骨假体;该步骤可以具体按照如下 方法进行:
(i)根据前期的分割识别标记结果,自动将三维股骨假体植入股 骨,将三维胫骨假体植入胫骨,将胫骨垫植入假体间隙;
(ii)选择三维股骨假体的类型和型号,调整其三维空间位置;选 择三维股骨假体的类型和型号,调整其三维空间位置;胫骨垫的类型 和型号;选择模拟手术条件,模拟手术条件包括股骨手术参数和胫骨 手术参数,股骨手术参数包括股骨远端截骨量、股骨后髁截骨量、内外旋角、内外翻角和股骨假体屈曲角;胫骨手术参数包括胫骨截骨量、 内外旋角、内外翻角和后倾角;
(iii)根据三维假体与骨骼的匹配关系智能截骨,观察模拟匹配效 果;
可以在如下一个或多个状态下观察模拟匹配效果:
(a)截骨状态或非截骨状态;
(b)骨骼透明状态或不透明状态;
(c)腓骨显示或不显示状态;
(iv)若是模拟匹配效果不符合手术需求,则重复步骤ii至步骤iii: 重新选择假体类型和/或型号和/或模拟手术条件,然后进行模拟截骨, 观察模拟匹配效果,直至模拟匹配效果符合手术要求。
可视化模拟匹配的步骤在模拟匹配模块201中进行,图8显示了 模拟匹配的界面,状态是截骨前,显影效果为透明(可切换)。图9显 示了截骨后的结果图,显影效果为不透明(可切换)。在模拟匹配的过 程中,如图10所示,可以利用图像旋转模块调节图像角度,多方位进 行观察。
术后模拟
利用术后模拟模块进行术后模拟501,如图11所示,观察截骨后 假体与股骨和胫骨的整体匹配效果,观察全膝关节置换术术后肢体运 动情况(图中未示出)。
此外,在完成术后模拟后,还可以利用数据导出模块将术前规划 的数据导出,这些数据包括可视化模拟匹配过程中的假体(股骨、胫 骨和胫骨垫)类型和型号、模拟手术条件,形成术前规划报告。
图12位本发明的实施例提供的一种设备的结构示意图,该设备包 括存储器10、处理器20、输入装置30和输出装置40。设备中的处理 器20的数量可以是一个或多个,图12中以一个处理器20为例;设备 中的存储器10、处理器20、输入装置30和输出装置40可以通过总线 或其它方式连接,图12中以通过总线50连接为例。
存储器10作为一种计算机可读存储介质,可用于存储软件程序、 计算机可执行程序以及模块,如本发明实施例中的术前规划方法对应 的程序指令/模块。处理器20通过运行存储在存储器10中的软件程序、 指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的图像分割方法。
存储器10可主要包括存储程序区和存储数据区,其中,存储程序 区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存 储根据设备的使用所创建的数据等。此外,存储器10可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储 器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存 储器10可进一步包括相对于处理器20远程设置的存储器,这些远程 存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联 网、企业内部网、局域网、移动通信网及其组合。
输入装置30可用于接收输入的数字或字符信息,以及产生与装置 的用户设置以及功能控制有关的键信号输入。输出装置40可包括显示 屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所 述计算机可执行指令在由计算机处理器执行时用于执行一种术前规划 方法,该方法包括:
基于深度学习的医学图像数据处理的步骤,通过所述医学图像处 理获得四类骨骼结构的三维影像、识别标记出关键轴线、关键解剖位 点、关键解剖参数;四类骨骼结构包括股骨、胫骨、腓骨和髌骨;关 键解剖位点包括股骨髓腔的不同层面上的中心点、胫骨髓腔的不同层 面上的中心点、髋关节中心点、膝关节中心点、髁间棘的中心点、踝关节中心点;关键轴线包括股骨解剖轴、股骨机械轴、胫骨解剖轴和 胫骨机械轴;所述关键解剖参数包括胫股角和远端股骨角;更为具体 的方法见第一方面内容;
可视化模拟匹配的步骤,将三维假体与三维股骨和三维胫骨进行 模拟匹配,实时观察模拟匹配效果;当模拟匹配效果符合手术要求时, 视为完成模拟匹配。更为具体的方法见第一方面内容。
当然,本发明所提供的一种包含计算机可执行指令的存储介质, 其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明 任意一种术前规划方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地 了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通 过硬件实现,但很多情况下前者是更佳的实施方式。依据这样的理解, 本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软 件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、 随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬 盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算 机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而 非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领 域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技 术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修 改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。