CN114332378A - 基于二维医学影像的人体骨骼三维模型获取方法及系统 - Google Patents
基于二维医学影像的人体骨骼三维模型获取方法及系统 Download PDFInfo
- Publication number
- CN114332378A CN114332378A CN202111679054.1A CN202111679054A CN114332378A CN 114332378 A CN114332378 A CN 114332378A CN 202111679054 A CN202111679054 A CN 202111679054A CN 114332378 A CN114332378 A CN 114332378A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- training set
- dimensional
- skeleton
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 65
- 239000013598 vector Substances 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 19
- 210000000988 bone and bone Anatomy 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 210000001694 thigh bone Anatomy 0.000 claims description 8
- 210000000629 knee joint Anatomy 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000003472 neutralizing effect Effects 0.000 claims description 3
- 210000000689 upper leg Anatomy 0.000 description 32
- 238000002591 computed tomography Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000005855 radiation Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 208000012659 Joint disease Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 208000020084 Bone disease Diseases 0.000 description 1
- 208000018084 Bone neoplasm Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002746 orthostatic effect Effects 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于二维医学影像的人体骨骼三维模型获取方法及系统,将骨骼的三维模型离散化得到描述骨骼表面形状的点云文件,将点云文件与对应的X光平片中获取的信息组成训练集;将训练集中的所有点云文件通过配准过程转换到同一坐标系下,建立训练集中所有点云文件点之间的对应关系,更新训练集;计算剩余点云文件与参考形状对应点之间的形变向量,点云中所有点的形变向量构成点云形变域,计算所有点云与参考形状点云之间的平均形变域;使用贝叶斯推断建立后验概率模型;输入未包含在训练集中X光平片所包含的信息,然后输出重建模型的点云文件,生成骨骼三维模型。降低骨骼三维模型获取的时间和经济成本,实现骨骼快速三维重建。
Description
技术领域
本发明属于骨科影像学建模技术领域,具体涉及一种基于二维医学影像的人体骨骼三维模型获取方法及系统。
背景技术
在骨科临床,骨性关节炎、骨折、骨缺损和骨肿瘤等骨、关节科疾病,为了达到精准治疗的目的,建立骨骼或关节病区的三维几何模型,有利于帮助医生观察诊断、手术规划、器械定制以及生物力学机理研究。传统获得骨几何三维模型主要是通过计算机断层扫描(Computerized tomography,CT),然后基于Mimics等建模软件进行提取分割建模。然而,CT扫描费用较高、辐射剂量大,传统Mimics提取分割建模方法时间长,不利于骨三维几何模型的快速获取。因此,降低骨几何影像学数据获取成本、缩短骨几何三维重建时间是骨几何三维建模的发展趋势。
针对现有获得骨骼三维模型方法存在的缺陷,可以利用二维医学影像数据(如X光平片和超声波图像)获得特定区域解剖结构三维模型。基于相应骨骼部位的统计形状模型,不在需要采集CT或MRI影像学数据,通过对X光平片中的解剖特征信息的识别,就可以快速重建出与之相匹配的骨三维几何模型。相比计算机断层扫描等方法,这种基于统计形状模型二维到三维快速建模的方法其成像成本与辐射剂量显著减小。如果将此方法应用于生物力学分析和器械研发将大大缩短时间成本。
现有利用二维医学影像进行三维重建的方法主要是通过数字重建射线影像技术实现。该技术为了获得较小的三维重建误差需要多次迭代这有可能使得结果陷入局部最优解,且为了保持较高精度的三维重建,需要生成成百上千个数字重建射线影像,导致耗时较长,重建过程也较为复杂。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于二维医学影像的人体骨骼三维模型获取方法及系统,根据二维医学影像中包含的信息,在5秒之内输出三维点云文件,大大降低获取三维模型的时间和经济成本,降低了承受的辐射剂量,可以推广到不同骨体节对象的快速三维建模,推动个性化生物力学研究和医疗器械设计快速发展。
本发明采用以下技术方案:
基于二维医学影像的人体骨骼三维模型获取方法,包括以下步骤:
S1、采集骨骼的CT或MRI数据,获得骨骼的三维模型,将三维模型离散化得到描述骨骼表面形状的点云文件,将点云文件与对应的X光平片中获取的信息组成训练集;
S2、采用迭代最近点方法,将步骤S1得到的训练集中的所有点云文件通过配准过程转换到同一坐标系下,建立训练集中所有点云文件点之间的对应关系,更新训练集;
S3、选取步骤S2更新训练集中一个点云文件为参考形状,计算剩余点云文件与参考形状对应点之间的形变向量,点云中所有点的形变向量构成点云形变域,计算所有点云与参考形状点云之间的平均形变域;
S4、根据步骤S3得到的点云形变域、平均形变域与X光平片中所包含的信息满足多元正态分布,使用贝叶斯推断建立后验概率模型;
S5、向步骤S4建立的后验概率模型中输入未包含在训练集中X光平片所包含的信息,然后输出重建模型的点云文件,生成骨骼三维模型。
具体的,步骤S1中,通过Mimics软件建立骨骼三维模型,保存为STL格式文件,将STL格式文件导入Geomagic进行离散化,生成描述骨骼表面形状的点云文件,测量骨骼正位X光平片中包含的颈干角、内外侧髁之间宽度、股骨头直径和股骨头沿股骨解剖轴与膝关节内侧髁之间的最大距离信息,共同构成训练集。
具体的,步骤S2中,采用迭代最近点方法的目标函数如下:
其中,Si为待配准点云中第i个点;Pc(i)为目标点云中与Si对应的点;Ns为待配准点云中点的个数;R为旋转矩阵;T为位移向量。
具体的,步骤S2中,配准具体为:
先在股骨上选取7个解剖特征点,分别为股骨近端三个,股骨远端四个,作用是使得股骨调整到相似的位姿,完成粗配准,然后进行精确配准。
具体的,步骤S3中,将训练集中每一个点云文件以向量的形式表示Ri=(x1,y1,z1,x2,y2,z2,…,xm,ym,zm)T,Ri为点云,m为点云中所包含的点的数目,x,y,z表示每个点的坐标,选定一个点云为参考形状,计算剩余点云文件与参考形状对应点之间的形变向量,点云中所有点的形变向量构成形变域以及训练集中所有点云的平均形变域,将处理后的训练集点云文件建立高斯形变过程模型。
进一步的,经过降维处理后的骨骼形变域高斯分布模型简化为:
进一步的,点云形变域具体为:
Vi=Ri-R′
其中,i=1,2,…n,n代表训练集中的点云数目,Ri表示任意点云,R'表示参考形状点云,Vi表示任意点云相对于参考形状点云形变域。
具体的,步骤S4中,后验概率模型如下:
本发明的另一技术方案是,一种基于二维医学影像的人体骨骼三维模型获取系统,包括:
采集模块,采集骨骼的CT或MRI数据,获得骨骼的三维模型,将三维模型离散化得到描述骨骼表面形状的点云文件,将点云文件与对应的X光平片中获取的信息组成训练集;
迭代模块,采用迭代最近点方法,将采集模块得到的训练集中的所有点云文件通过配准过程转换到同一坐标系下,建立训练集中所有点云文件中点之间的对应关系,更新训练集;
计算模块,选取迭代模块的更新训练集中一个点云文件为参考形状,计算剩余点云文件与参考形状对应点之间的点云形变向量,点云中所有点的形变向量构成点云形变域,计算所有点云与参考形状点云之间的平均形变域;
概率模块,根据计算模块得到的点云形变域、平均形变域与X光平片中所包含的信息满足多元正态分布,使用贝叶斯推断建立后验概率模型;
生成模块,向概率模块建立的后验概率模型中输入未包含在训练集中X光平片中所包含的信息,然后输出重建模型的点云文件,生成骨骼三维模型。
与现有技术相比,本发明至少具有以下有益效果:
基于二维医学影像的人体骨骼三维模型获取方法,仅需要提供患者对应骨骼的二维医学影像测量信息,就可以得到对应骨骼的三维模型,这种方法极大的缩短了获取骨骼模型的时间,并且降低了患者的经济成本和所受辐射剂量。
进一步的,要尽可能多的获取患者骨骼三维模型与二维医学影像数据,数据越多所预测的结果就越准确。通过Mimics软件建立骨骼三维模型,保存为STL格式文件。若直接以STL文件进行运算的话数据量太大,且速度较慢,所以将三维模型用许多空间中离散的点表示,既可以准确表达模型形状也能够降低运算量。所以将STL格式文件导入Geomagic进行离散化,生成描述骨骼表面形状的点云文件;然后以股骨为例,测量股骨正位X光平片中包含的颈干角、内外侧髁之间宽度、股骨头直径和股骨头沿股骨解剖轴与膝关节内侧髁之间的最大距离信息。每个点云对应骨骼的三维模型文件与X光平片测量信息一一对应,共同组成训练集,这样可以确保所测量的信息代表其骨骼。在后续建立模型时就是根据点云与测量信息这种对应关系建立的。
进一步的迭代最近点算法是目前针对点云文件配准最常用的方法,其技术理论较为成熟,可以在实现较高配准精度的条件下快速完成。三维物体在空间中运动是通过平移和旋转实现的,若想将两个点云配准,只需要固定其中一个点云,并求出另一个点云移动到固定点云位置的平移向量和旋转矩阵即可,当可动点云乘以旋转矩阵并加上平移向量之后与固定点云文件的平均误差最小,就说明配准完成,这也是迭代最近点算法目标函数的原理。
进一步的由于所有的骨骼模型均为离散化的点云模型,由于多三维空间的点表示,在建立统计形状模型时需要所有点云中的点具有对应的确定关系,但是由于一个点云文件中就存在成千上万的点,手动建立对应关系效率低且容易出错,所以通过编写程序使得两个点云文件中距离最近的点之间自动建立对应关系,这样就需要所有训练集中点云模型与参考形状点云处于相同位姿,可以使得对应关系误差最小。并且先粗配准后精配准可以使得配准过程快速收敛,缩短配准时间。
进一步的在S3中选定一个点云为参考形状,计算训练集中其他所有点云与参考形状的形变域,因为在之后的统计形状模型中,是利用骨骼二维数据,确定其三维模型点云与参考形状点云的形变域,在参考形状的基础上生成目标点云。
进一步的本发明中默认骨骼形变域是服从高斯分布的,而要想表述多元高斯分布需要得到其协方差。经过前面过程处理后的点云文件其包含成千上万个点,设其为m,每个点由x、y、z三个坐标确定,所以每个点云文件形变域可由3m×1维向量表示,而单个点云文件的协方差矩阵大小为3m×3m,这就导致要想得到一个点云的协方差矩阵就需要大量计算很可能超出计算机的运行存储空间,通过数据降维用k个3m×1维向量表示协方差矩阵,其中k表示数据降维之后主成分的个数,这极大的缩小了运算所需要的空间,并且缩短了计算时间。
进一步的计算点云形变域的目的在于将所有骨骼都视为基于参考形状的形变,后续骨骼统计形状模型也是在形变域的基础上得到。
进一步的后验概率模型是指已知结果推断原因,在本发明中骨骼三维模型的形变域是前因,其对应的二维医学影像数据是观测结果,所以后验概率模型正好可以满足本发明的使用环境。
综上所述,本发明降低骨骼三维模型获取的时间和经济成本,实现骨骼快速三维重建,可以用于不同骨骼体节的三维模型快速建模,通用性强,适用范围广。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明流程示意图;
图2为二维医学影像提取信息示意图;
图3为股骨特征点选取示意图;
图4为点云形变示意图;
图5为股骨重建模型误差云图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于二维医学影像的人体骨骼三维模型获取方法,降低骨骼三维模型获取的时间和经济成本,实现骨骼快速三维重建,提出了一种基于二维医学影像的骨骼快速三维重建方法;利用数据建立统计形状模型,根据二维医学影像中包含信息,就可以在5秒之内输出骨骼点云文件;大大降低获取股骨三维模型的时间和经济成本,降低所承受的辐射剂量。本发明方法可以推广到不同骨体节对象的快速三维建模,推动个性化生物力学研究和医疗器械设计快速发展。
请参阅图1,本发明一种基于二维医学影像的人体骨骼三维模型获取方法,包括以下步骤:
S1、建立训练集
采集50组股骨处的CT或MRI数据,获得特定骨骼处的三维模型,并将三维模型离散化,得到描述骨骼表面形状的点云文件。多位的骨骼点云文件以及与其相对应的X光平片中获取的信息,组成了骨骼统计形状模型的训练集数据。
S2、将训练集中三维模型数据统一到同一坐标系下
由于采集数据时所使用的机器型号不同以及病人采集时的姿势不同,导致获得的三维点云文件并不在同一坐标系下,所以本发明采用迭代最近点算法,使得训练集中所有点云文件转换到同一坐标系下,并建立训练集中所有点云文件中点之间的对应关系。
S3、建立骨骼统计形状模型
选定训练集中一个点云文件为参考形状,计算其他点云文件与参考形状对应点之间的形变向量,点云中所有点的形变向量构成形变域。处理后的训练集点云文件建立高斯形变过程模型。
S4、建立高斯过程回归模型
训练集中每个点云文件都对应一张X光平片,点云形变域与X光平片中所包含的信息满足多元正态分布,根据贝叶斯推断,建立后验概率模型,简称统计形状模型。
S5、输出重建骨骼的点云文件
向统计形状模型中输入未包含在训练集中X光平片中所包含的信息,根据训练集中的数据,计算得到后验概率模型中的均值和协方差,然后输出重建模型的点云文件,生成骨骼三维模型。
本发明再一个实施例中,提供一种基于二维医学影像的人体骨骼三维模型获取系统,该系统能够用于实现上述基于二维医学影像的人体骨骼三维模型获取方法,具体的,该基于二维医学影像的人体骨骼三维模型获取系统包括采集模块、迭代模块、计算模块、概率模块以及生成模块。
其中,采集模块,采集骨骼的CT或MRI数据,获得骨骼的三维模型,将三维模型离散化得到描述骨骼表面形状的点云文件,将点云文件与对应的X光平片中获取的信息组成训练集;
迭代模块,采用迭代最近点方法,将采集模块得到的训练集中的所有点云文件通过配准过程转换到同一坐标系下,建立训练集中所有点云文件中点之间的对应关系,更新训练集;
计算模块,选取迭代模块的更新训练集中一个点云文件为参考形状,计算剩余点云文件与参考形状对应点之间的点云形变向量,点云中所有点的形变向量构成点云形变域,计算所有点云与参考形状点云之间的平均形变域;
概率模块,根据计算模块得到的点云形变域、平均形变域与X光平片中所包含的信息满足多元正态分布,使用贝叶斯推断建立后验概率模型;
生成模块,向概率模块建立的后验概率模型中输入未包含在训练集中X光平片中所包含的信息,然后输出重建模型的点云文件,生成骨骼三维模型。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以股骨为例,实施方法如下:
S1、采集多组股骨处的CT数据和正位X光正位图像,通过Mimics(Version20.0,Materialise,比利时)软件建立周围骨三维模型,即股骨三维模型,将其保存为STL格式文件;将STL格式文件导入到Geomagic(Version 2013,Geomagic)软件离散化,生成描述股骨表面形状的点云文件。测量每个股骨正位X光平片中包含的颈干角、内外侧髁之间宽度、股骨头直径和股骨头沿股骨解剖轴与膝关节内侧髁之间的最大距离等信息,如图2所示。
S2、由于采集数据时所使用的机器型号不同以及采集时的姿势不同,导致获得的三维点云文件并不在同一坐标系下,本发明采用迭代最近点算法,使得训练集中所有点云文件转换到同一坐标系下,并建立训练集中所有点云文件中点之间的对应关系,迭代最近点算法的目标函数如下所示:
其中,Si为待配准点云中第i个点;Pc(i)为目标点云中与Si对应的点;Ns为待配准点云中点的个数;R为旋转矩阵;T为位移向量。
为了缩短配准所需时间,可以先进行粗配准,后进行精确配准。
粗配准就是在股骨上选取7个解剖特征点,分别是股骨近端三个,股骨远端四个,具体分布位置如图3所示,其作用是使得股骨调整到相似的位姿。
精配准是将与目标点云中每个点距离最近的待配准点云中的点,建立对应关系,求出旋转矩阵R和位移向量T,更新待配准点云位置,通过不断迭代实现两个点云的配准。
S3、将训练集中每一个点云文件以向量的形式表示Ri=(x1,y1,z1,x2,y2,z2,…,xm,ym,zm)T,其中Ri表示点云,m表示点云中所包含的点的数目,x,y,z表示每个点的坐标。选定一个点云为参考形状,计算其他点云文件与参考形状对应点之间的形变向量,如图4所示,点云外有一点与点云中一点相对应,那么其形变向量为点云中所有点的形变向量构成形变域,点云形变域计算方法如下所示:
Vi=Ri-R′ (2)
其中,i=1,2,…n,n代表训练集中的点云数目,Ri表示任意点云,R'表示参考形状点云,Vi表示任意点云相对于参考形状点云形变域。
处理后的训练集点云文件通过高斯形变过程建立股骨的统计形状模型,模型表达式如下:
当点云中点个数过多时会导致计算时间过长,所以本发明采用主成分分析法对数据进行降维,以减少运算量。经过降维处理后的高斯型变过程模型简化为:
其中,k表示主要模式个数,λi和φi分别表示协方差矩阵由大到小排列的第i个特征值和特征向量。bi服从标准正态分布,决定形变域的变化范围。
S4、训练集中每个点云文件都对应一张X光平片,点云形变域v与X光平片中所包含的信息h满足多元正太分布,根据贝叶斯推断,建立后验概率模型,如下式所示:
其中,v为任意点云相对于参考形状形变域,h为与点云对应X光平片中所包含的信息的集合(颈干角、内外侧髁之间宽度、股骨头直径和股骨头沿股骨解剖轴与膝关节内侧髁之间的最大距离),为均值函数,∑为协方差函数。
上式中的均值函数与协方差函数的表达式如式(6)和(7)所示。
∑=∑(v,v)-∑(v,h)(∑(h,h))-1∑(h,v) (7)
S5、利用Python语言编写上述计算过程,在输入X光平片所包含的信息之后,输出股骨三维点云文件,将点云文件输入到Geomagic(Version 2013,Geomagic,美国)软件中封装处理,得到股骨的三维模型。
请参阅图5,根据上述实施步骤,以股骨为例,建立股骨处的统计形状模型,另外收集五位患者股骨处的三维模型和二维医学影像组成验证集,来验证本发明的实用性。将上述验证集骨骼二维医学影像数据带入到建立好的股骨统计形状模型中,得到三维重建股骨模型。之后将重建股骨模型与验证集股骨进行对比,得到如图5所示,从左到右依次为编号1到5验证集模型的误差云图(单位mm)。通过观察误差云图发现,重建模型误差较大区域主要集中在股骨近端和股骨远端,可能是由于这两个区域形状复杂,但整体误差水平较低。本发明使用平均误差,均方根误差和最大误差作为量化指标,对比分析了重建模型与验证集样本之间的误差,重建模型的平均误差范围在1.597mm到1.842mm之间,均方根误差范围在1.445mm到2.341mm之间,最大误差范围在5.830mm到10.761mm之间。重建模型平均误差小于3mm就具有实际运用价值,本发明重建的股骨三维模型满足该要求,并且所用时间均在5秒以内,在保证重建精度的同时极大地缩短了模型重建的时间。
本发明以股骨为例,说明了如何通过患者股骨二维医学影像数据获得患者股骨三维模型的过程,可以直观地发现本发明仅需要向建立好的股骨统计形状模型中输入股骨X光片所包含的信息,通过数学运算就可以输出股骨三维点云,整个过程患者只需要提供X股骨光片即可,相较于计算机断层扫描和核磁共振技术来说有效的降低了患者所受辐射剂量、建模时间和经济成本。
综上所述,本发明一种基于二维医学影像的人体骨骼三维模型获取方法及系统,利用大量数据建立的统计形状模型,根据二维医学影像中包含信息,在5秒之内输出骨骼点云文件;大大降低获取股骨三维模型的时间和经济成本,降低了所承受的辐射剂量;可以推广到不同骨体节对象的快速三维建模,推动个性化生物力学研究和医疗器械设计快速发展。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (9)
1.基于二维医学影像的人体骨骼三维模型获取方法,其特征在于,包括以下步骤:
S1、采集骨骼的CT或MRI数据,获得骨骼的三维模型,将三维模型离散化得到描述骨骼表面形状的点云文件,将点云文件与对应的X光平片中获取的信息组成训练集;
S2、采用迭代最近点方法,将步骤S1得到的训练集中的所有点云文件通过配准过程转换到同一坐标系下,建立训练集中所有点云文件点之间的对应关系,更新训练集;
S3、选取步骤S2更新训练集中一个点云文件为参考形状,计算剩余点云文件与参考形状对应点之间的形变向量,点云中所有点的形变向量构成点云形变域,计算所有点云与参考形状点云之间的平均形变域;
S4、根据步骤S3得到的点云形变域、平均形变域与X光平片中所包含的信息满足多元正态分布,使用贝叶斯推断建立后验概率模型;
S5、向步骤S4建立的后验概率模型中输入未包含在训练集中X光平片所包含的信息,然后输出重建模型的点云文件,生成骨骼三维模型。
2.根据权利要求1所述的基于二维医学影像的人体骨骼三维模型获取方法,其特征在于,步骤S1中,通过Mimics软件建立骨骼三维模型,保存为STL格式文件,将STL格式文件导入Geomagic进行离散化,生成描述骨骼表面形状的点云文件,测量骨骼正位X光平片中包含的颈干角、内外侧髁之间宽度、股骨头直径和股骨头沿股骨解剖轴与膝关节内侧髁之间的最大距离信息,共同构成训练集。
4.根据权利要求1所述的基于二维医学影像的人体骨骼三维模型获取方法,其特征在于,步骤S2中,配准具体为:
先在股骨上选取7个解剖特征点,分别为股骨近端三个,股骨远端四个,作用是使得股骨调整到相似的位姿,完成粗配准,然后进行精确配准。
5.根据权利要求1所述的基于二维医学影像的人体骨骼三维模型获取方法,其特征在于,步骤S3中,将训练集中每一个点云文件以向量的形式表示Ri=(x1,y1,z1,x2,y2,z2,…,xm,ym,zm)T,Ri为点云,m为点云中所包含的点的数目,x,y,z表示每个点的坐标,选定一个点云为参考形状,计算剩余点云文件与参考形状对应点之间的形变向量,点云中所有点的形变向量构成形变域以及训练集中所有点云的平均形变域,将处理后的训练集点云文件建立高斯形变过程模型。
7.根据权利要求5所述的基于二维医学影像的人体骨骼三维模型获取方法,其特征在于,点云形变域具体为:
Vi=Ri-R'
其中,i=1,2,…n,n代表训练集中的点云数目,Ri表示任意点云,R'表示参考形状点云,Vi表示任意点云相对于参考形状点云形变域。
9.一种基于二维医学影像的人体骨骼三维模型获取系统,其特征在于,包括:
采集模块,采集骨骼的CT或MRI数据,获得骨骼的三维模型,将三维模型离散化得到描述骨骼表面形状的点云文件,将点云文件与对应的X光平片中获取的信息组成训练集;
迭代模块,采用迭代最近点方法,将采集模块得到的训练集中的所有点云文件通过配准过程转换到同一坐标系下,建立训练集中所有点云文件中点之间的对应关系,更新训练集;
计算模块,选取迭代模块的更新训练集中一个点云文件为参考形状,计算剩余点云文件与参考形状对应点之间的点云形变向量,点云中所有点的形变向量构成点云形变域,计算所有点云与参考形状点云之间的平均形变域;
概率模块,根据计算模块得到的点云形变域、平均形变域与X光平片中所包含的信息满足多元正态分布,使用贝叶斯推断建立后验概率模型;
生成模块,向概率模块建立的后验概率模型中输入未包含在训练集中X光平片中所包含的信息,然后输出重建模型的点云文件,生成骨骼三维模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111679054.1A CN114332378B (zh) | 2021-12-31 | 2021-12-31 | 基于二维医学影像的人体骨骼三维模型获取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111679054.1A CN114332378B (zh) | 2021-12-31 | 2021-12-31 | 基于二维医学影像的人体骨骼三维模型获取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114332378A true CN114332378A (zh) | 2022-04-12 |
CN114332378B CN114332378B (zh) | 2024-01-16 |
Family
ID=81022455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111679054.1A Active CN114332378B (zh) | 2021-12-31 | 2021-12-31 | 基于二维医学影像的人体骨骼三维模型获取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114332378B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116452755A (zh) * | 2023-06-15 | 2023-07-18 | 成就医学科技(天津)有限公司 | 一种骨骼模型构建方法、系统、介质及设备 |
CN117414205A (zh) * | 2023-12-18 | 2024-01-19 | 北京维卓致远医疗科技发展有限责任公司 | 一种长骨手术导航定位、配准系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170347991A1 (en) * | 2010-08-02 | 2017-12-07 | Jointvue, Llc | Method and Apparatus for Three Dimensional Reconstruction of a Joint Using Ultrasound |
CN110263720A (zh) * | 2019-06-21 | 2019-09-20 | 中国民航大学 | 基于深度图像和骨骼信息的动作识别方法 |
WO2019180745A1 (en) * | 2018-03-21 | 2019-09-26 | Karade Vikas | Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones |
CN112381922A (zh) * | 2020-10-27 | 2021-02-19 | 济南大学 | 一种人体骨骼缺失部位的骨骼模型获取方法、系统及终端 |
CN112991409A (zh) * | 2021-04-27 | 2021-06-18 | 杭州素问九州医疗科技有限公司 | 骨骼注册方法及系统及存储介质 |
CN113256789A (zh) * | 2021-05-13 | 2021-08-13 | 中国民航大学 | 一种三维实时人体姿态重建方法 |
-
2021
- 2021-12-31 CN CN202111679054.1A patent/CN114332378B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170347991A1 (en) * | 2010-08-02 | 2017-12-07 | Jointvue, Llc | Method and Apparatus for Three Dimensional Reconstruction of a Joint Using Ultrasound |
WO2019180745A1 (en) * | 2018-03-21 | 2019-09-26 | Karade Vikas | Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones |
CN110263720A (zh) * | 2019-06-21 | 2019-09-20 | 中国民航大学 | 基于深度图像和骨骼信息的动作识别方法 |
CN112381922A (zh) * | 2020-10-27 | 2021-02-19 | 济南大学 | 一种人体骨骼缺失部位的骨骼模型获取方法、系统及终端 |
CN112991409A (zh) * | 2021-04-27 | 2021-06-18 | 杭州素问九州医疗科技有限公司 | 骨骼注册方法及系统及存储介质 |
CN113256789A (zh) * | 2021-05-13 | 2021-08-13 | 中国民航大学 | 一种三维实时人体姿态重建方法 |
Non-Patent Citations (2)
Title |
---|
陆丰威;何坤金;陈义仁;: "面向骨骼受损类型判别的体素模板构建", 计算机应用研究, no. 03 * |
陈中;邢跃刚;罗绍华;: "利用数字几何技术重建个性化骨骼模型", 中国组织工程研究, no. 39 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116452755A (zh) * | 2023-06-15 | 2023-07-18 | 成就医学科技(天津)有限公司 | 一种骨骼模型构建方法、系统、介质及设备 |
CN116452755B (zh) * | 2023-06-15 | 2023-09-22 | 成就医学科技(天津)有限公司 | 一种骨骼模型构建方法、系统、介质及设备 |
CN117414205A (zh) * | 2023-12-18 | 2024-01-19 | 北京维卓致远医疗科技发展有限责任公司 | 一种长骨手术导航定位、配准系统 |
CN117414205B (zh) * | 2023-12-18 | 2024-04-02 | 北京维卓致远医疗科技发展有限责任公司 | 一种长骨手术导航定位、配准系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114332378B (zh) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107038728B (zh) | 基于迭代重建的轮廓自动化确定 | |
CN112997215B (zh) | 利用机器学习和影像处理算法对医疗影像的血管自动地进行区域化的方法及系统 | |
US10147190B2 (en) | Generation of a patient-specific anatomical atlas | |
Karade et al. | 3D femur model reconstruction from biplane X-ray images: a novel method based on Laplacian surface deformation | |
US11628012B2 (en) | Patient positioning using a skeleton model | |
EP3053135B1 (en) | Generating supplementary slice images based on atlas data | |
CN114332378B (zh) | 基于二维医学影像的人体骨骼三维模型获取方法及系统 | |
US20070038070A1 (en) | Determining patient-related information on the position and orientation of MR images by the individualisation of a body model | |
Goswami et al. | 3D modeling of X-ray images: a review | |
Xiao et al. | Estimating reference shape model for personalized surgical reconstruction of craniomaxillofacial defects | |
Fotsin et al. | Shape, pose and density statistical model for 3D reconstruction of articulated structures from X-ray images | |
Pradhan et al. | Conditional generative adversarial network model for conversion of 2 dimensional radiographs into 3 dimensional views | |
US20070230782A1 (en) | Method, a Computer Program, and Apparatus, an Image Analysis System and an Imaging System for an Object Mapping in a Multi-Dimensional Dataset | |
Kim et al. | Deep Learning and Computer Vision Techniques for Automated Total Hip Arthroplasty Planning on 2-D Radiographs | |
KR102442093B1 (ko) | 수술용 내비게이션 시스템에서의 표면 정합 개선 방법 | |
Lu et al. | Three-dimensional subject-specific knee shape reconstruction with asynchronous fluoroscopy images using statistical shape modeling | |
WO2022229816A1 (en) | 3d reconstruction of anatomical images | |
EP3910597A1 (en) | Body representations | |
Cerveri et al. | Advanced computational framework for the automatic analysis of the acetabular morphology from the pelvic bone surface for hip arthroplasty applications | |
Mahfouz et al. | Reconstruction of 3D Patient-Specific Bone Models From Biplanar X-Ray Images Utilizing Morphometric Measurements. | |
US20230071033A1 (en) | Method for obtaining a ct-like representation and virtual x-ray images in arbitrary views from a two-dimensional x-ray image | |
Zsemlye | Shape prediction from partial information | |
US11468652B2 (en) | Method for producing a digital representation for producing an appliance for a living body and corresponding device | |
US11430203B2 (en) | Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image | |
WO2024024495A1 (ja) | 臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |