CN115393272B - 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 - Google Patents
基于深度学习的膝关节髌骨置换三维术前规划系统及方法 Download PDFInfo
- Publication number
- CN115393272B CN115393272B CN202210836442.4A CN202210836442A CN115393272B CN 115393272 B CN115393272 B CN 115393272B CN 202210836442 A CN202210836442 A CN 202210836442A CN 115393272 B CN115393272 B CN 115393272B
- Authority
- CN
- China
- Prior art keywords
- patellar
- point
- patella
- dimensional
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004417 patella Anatomy 0.000 title claims abstract description 248
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 210000000629 knee joint Anatomy 0.000 claims abstract description 20
- 238000003709 image segmentation Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims description 64
- 238000010586 diagram Methods 0.000 claims description 38
- 230000010076 replication Effects 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 210000000988 bone and bone Anatomy 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 239000011800 void material Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 3
- 210000002303 tibia Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011888 autopsy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000011796 hollow space material Substances 0.000 description 1
- 238000013150 knee replacement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Graphics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Prostheses (AREA)
Abstract
本发明提供一种基于深度学习的膝关节髌骨置换三维术前规划系统及方法,通过获取膝关节的医学图像,并基于医学图像进行图像分割,得到髌骨特征图,在髌骨特征图上识别并标记第一髌骨特征点,基于髌骨特征图进行三维重建,得到三维髌骨模型,并基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点,其中,第二髌骨特征点包括第二上极点、第二下极点、第二外侧边缘点以及第二内侧边缘点,基于三维髌骨模型的结构参数,获取髌骨假体,基于髌骨假体以及第二髌骨特征点,确定三维髌骨模型的目标截骨面。可以获取到三维髌骨模型的目标截骨面,从而可以针对膝关节髌骨提供准确的术前规划方案。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于深度学习的膝关节髌骨置换三维术前规划系统及方法。
背景技术
在全膝关节置换术中,对髌骨进行截骨处理的好坏,对患者的影响较大。但是,由于每个人的髌骨形状并不相同,导致无法获取每个人的髌骨相关的信息。目前,采用在二维X线片或尸体解剖标本对髌骨进行实体测量,其测量准确性受到多种因素的影响,无法获取准确的髌骨相关的信息,进而也无法针对膝关节髌骨提供准确的术前规划方案。因此,亟需一种能够获取准确的髌骨信息的方法,进而能够针对膝关节髌骨提供准确的术前规划方案。
发明内容
本发明提供一种基于深度学习的膝关节髌骨置换三维术前规划系统及方法,用以解决现有技术中无法获取准确的髌骨信息,也无法针对膝关节髌骨提供准确的术前规划方案的缺陷,实现获取准确的髌骨的信息,进而可以针对膝关节髌骨提供准确的术前规划方案。
本发明提供一种基于深度学习的膝关节髌骨置换三维术前规划方法,所述方法包括:
获取膝关节的医学图像,并基于所述医学图像进行图像分割,得到髌骨特征图;
在所述髌骨特征图上识别并标记第一髌骨特征点,其中,所述第一髌骨特征点包括第一上极点、第一下极点、第一外侧边缘点以及第一内侧边缘点;
基于所述髌骨特征图进行三维重建,得到三维髌骨模型,并基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点,其中,所述第二髌骨特征点包括第二上极点、第二下极点、第二外侧边缘点以及第二内侧边缘点;
基于所述三维髌骨模型的结构参数,获取髌骨假体;
基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面。
可选的,所述第二髌骨特征点还包括多个第一目标点;
在将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之后,所述方法还包括:
基于所述第二上极点与所述第二下极点之间的连接线,以及所述第二外侧边缘点与所述第二内侧边缘点之间的连接线,将所述第一表面划分为四个点候选区域;
从四个所述点候选区域中任取三个所述点候选区域,并从任取的三个所述点候选区域中分别选取一个点作为第一目标点,基于三个所述第一目标点确定第一平面,其中,所述第一平面用于确定所述三维髌骨模型的目标截骨面。
可选的,在基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之前,所述方法还包括:
基于矫正线段调整所述三维髌骨模型,以使所述三维髌骨模型的第一表面与人体冠状面平行,其中,所述矫正线段由所述第二上极点与所述第二下级点的连接线,以及所述第二外侧边缘点与所述第二内侧边缘点的连接线构成。
可选的,基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面,包括:
基于所述髌骨假体,获取所述髌骨假体的参数信息;
基于所述髌骨假体的参数信息,确定所述三维髌骨模型的截骨厚度值;
将三个所述第一目标点沿远离所述三维髌骨模型的第一表面的方向分别进行投影,得到与三个所述第一目标点分别对应的三个第二目标点,每个所述第一目标点与每个所述第二目标点之间的距离值为所述截骨厚度值;
基于三个所述第二目标点,确定所述三维髌骨模型的目标截骨面;其中,所述目标截骨面与所述第一平面平行。
可选的,基于所述医学图像进行图像分割,得到髌骨特征图,包括:
将所述医学图像输入预先训练完成的分割模型,得到髌骨特征图,其中,所述分割模型为基于样本医学图像训练得到的模型;
在所述髌骨特征图上识别并标记第一髌骨特征点,包括:
将所述髌骨特征图输入预先训练完成的点识别模型,得到已标记第一髌骨特征点的图像,其中,所述点识别模型为基于样本髌骨特征图训练得到的模型。
可选的,所述分割模型包括:深度卷积神经网络、空洞空间卷积池化金字塔网络、第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层以及拼接层;
将所述医学图像输入预先训练完成的分割模型,得到髌骨特征图,包括:
将所述医学图像输入所述深度卷积神经网络提取低级图像特征;
将所述低级图像特征输入所述空洞空间卷积池化金字塔网络,提取图像的语义信息,得到高级图像特征;
将所述低级图像特征输入所述第一卷积层,得到当前低级图像特征;
将所述高级图像特征输入所述第二卷积层,并将所述第二卷积层输出的图像特征输入所述第一池化层进行上采样,得到当前高级图像特征;
将所述当前高级图像特征与所述当前低级图像特征输入所述拼接层进行拼接,得到骨骼特征图;
将所述骨骼特征图输入所述第三卷积层,并将所述第三卷积层输出的图像特征输入所述第二池化层进行上采样,得到与所述医学图像尺寸一致的髌骨特征图。
可选的,所述点识别模型包括:第四卷积层、第五卷积层、复制层以及池化层;
将所述髌骨特征图输入预先训练完成的点识别模型,得到已标记髌骨特征点的图像,包括:
将所述髌骨特征图输入所述第四卷积层进行特征提取,得到待复制特征;
将所述待复制特征输入对应的所述复制层进行特征复制,得到复制特征;
将所述待复制特征输入所述第五卷积层进行特征提取,得到待池化特征;
将所述待池化特征与复制特征相加,并输入对应的池化层,得到池化特征,基于所述池化特征,得到热力图,其中,所述热力图中包括像素值能够表征髌骨特征点概率的像素;
从所述热力图中选取最大概率值点作为第一髌骨特征点,并标记所述第一髌骨特征点,其中,所述最大概率值点为像素的像素值最大的点。
本发明还提供一种基于深度学习的膝关节髌骨置换三维术前规划系统,所述系统包括:
第一获取模块,用于获取膝关节的医学图像,并基于所述医学图像进行图像分割,得到髌骨特征图;
标记模块,用于在所述髌骨特征图上识别并标记第一髌骨特征点,其中,所述第一髌骨特征点包括第一上极点、第一下极点、第一外侧边缘点以及第一内侧边缘点;
投影模块,用于基于所述髌骨特征图进行三维重建,得到三维髌骨模型,并基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点,其中,所述第二髌骨特征点包括第二上极点、第二下极点、第二外侧边缘点以及第二内侧边缘点;
第二获取模块,用于基于所述三维髌骨模型的结构参数,获取髌骨假体;
第一确定模块,用于基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于深度学习的膝关节髌骨置换三维术前规划方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于深度学习的膝关节髌骨置换三维术前规划方法的步骤。
本发明提供的一种基于深度学习的膝关节髌骨置换三维术前规划系统及方法,通过获取膝关节的医学图像,并基于医学图像进行图像分割,得到髌骨特征图,在髌骨特征图上识别并标记第一髌骨特征点,其中,第一髌骨特征点包括第一上极点、第一下极点、第一外侧边缘点以及第一内侧边缘点,基于髌骨特征图进行三维重建,得到三维髌骨模型,并基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点,其中,第二髌骨特征点包括第二上极点、第二下极点、第二外侧边缘点以及第二内侧边缘点,基于三维髌骨模型的结构参数,获取髌骨假体,基于髌骨假体以及第二髌骨特征点,确定三维髌骨模型的目标截骨面。通过这样的方式,可以获取到三维髌骨模型的目标截骨面,从而可以针对膝关节髌骨提供准确的术前规划方案。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于深度学习的膝关节髌骨置换三维术前规划方法的流程示意图之一;
图2是本发明提供的标记第二髌骨特征点的示意图;
图3是本发明提供的在第一表面标记第一目标点的示意图;
图4是本发明提供的在第一表面标记第一目标点的侧视图;
图5是本发明提供的基于深度学习的膝关节髌骨置换三维术前规划方法的流程示意图之二;
图6是本发明提供的分割模型的结构示意图;
图7是本发明提供的点识别模型的结构示意图;
图8是本发明提供的基于深度学习的膝关节髌骨置换三维术前规划系统的结构示意图;
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了获取准确的髌骨的信息,进而可以针对膝关节髌骨提供准确的术前规划方案,本发明提供了一种基于深度学习的膝关节髌骨置换三维术前规划方法、系统、电子设备、非暂态计算机可读存储介质以及计算机程序产品。下面结合图1描述本发明的一种基于深度学习的膝关节髌骨置换三维术前规划方法。
如图1所示,本发明公开了一种基于深度学习的膝关节髌骨置换三维术前规划方法,所述方法包括:
S101,获取膝关节的医学图像,并基于所述医学图像进行图像分割,得到髌骨特征图。
膝关节医学图像中包括:股骨、胫骨以及髌骨,为了能够获取髌骨相关的信息,在获取到膝关节的医学图像后,可以基于膝关节的医学图像进行图像分割,得到髌骨特征图,其中,髌骨特征图为髌骨靠近胫骨一侧的表面的特征图。
S102,在所述髌骨特征图上识别并标记第一髌骨特征点。
在获取到髌骨特征图后,为了确定目标截骨面,可以在髌骨特征图上识别第一髌骨特征点,并在髌骨特征图上标记第一髌骨特征点,即得到已标记第一髌骨特征点的图像。其中,第一髌骨特征点包括第一上极点、第一下极点、第一外侧边缘点以及第一内侧边缘点。
S103,基于所述髌骨特征图进行三维重建,得到三维髌骨模型,并基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点。
在得到髌骨特征图后,可以基于髌骨特征图进行三维重建,得到三维髌骨模型。在一种实施方式中,可以获取多张髌骨特征图,进而基于多张髌骨特征图堆叠形成三维髌骨模型。
作为一种实施方式,在获取到膝关节的医学图像后,可以采用Vtk(visualizationtoolkit)对膝关节的医学图像进行三维重建,从而得到三维髌骨模型。这样,便可以获取三维髌骨模型,从而可以了解髌骨的形状。
在得到三维髌骨模型以及已标记第一髌骨特征点的图像后,可以基于第一髌骨特征点的位置信息,将第一髌骨特征点投影到三维髌骨模型的第一表面,得到第二髌骨特征点,其中,三维髌骨模型的第一表面为髌骨靠近胫骨的一侧对应的表面,第二髌骨特征点包括第二上极点、第二下极点、第二外侧边缘点以及第二内侧边缘点。
在一种实施方式中,可以获取第一髌骨特征点在髌骨特征图中的图像坐标。进而基于图像坐标,以及髌骨特征图中髌骨面与三维髌骨模型的第一表面的对应关系,将第一髌骨特征点投影到三维髌骨模型的第一表面,得到第二髌骨特征点。
在另一种实施方式中,可以获取各个第一髌骨特征点的相对位置信息,进而基于相对位置信息,以及髌骨特征图中髌骨面与三维髌骨模型的第一表面的对应关系,将第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点。
例如,如图2所示,在三维髌骨模型A的第一表面上的第二髌骨特征点,即第二上极点201、第二下极点203、第二外侧边缘点202以及第二内侧边缘点204。
S104,基于所述三维髌骨模型的结构参数,获取髌骨假体。
在获取到三维髌骨模型后,可以基于三维髌骨模型的结构参数,获取髌骨假体。在一种实施方式中,在三维髌骨模型的第一表面标记第二髌骨特征点后,可以基于第二外侧边缘点以及第二内侧边缘点的当前距离,从预设的髌骨假体库中,选取对应的当前假体型号,进而将当前假体型号对应的假体作为三维髌骨模型对应的髌骨假体,其中,预设的髌骨假体库中包括距离与假体型号的对应关系。这样,便可以确定出需要使用的髌骨假体。
S105,基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面。
在获取髌骨假体以及已标记第二髌骨特征点的三维髌骨模型后,可以基于髌骨假体以及第二髌骨特征点,确定三维髌骨模型的目标截骨面,其中,目标截骨面为进行截骨操作后得到的面。
在一种实施方式中,由于根据当前假体型号所确定的髌骨假体的厚度是确定的,因此,可以基于髌骨假体的厚度以及第二髌骨特征点,确定三维髌骨模型的目标截骨面。进而,可以基于目标截骨面进行模拟截骨,这样便可以在手术前,通过三维的方式了解髌骨的形状以及可以准确地了解髌骨的骨骼状态,生成准确的术前规划方案。
作为本发明的一种实施方式,上述第二髌骨特征点还可以包括多个第一目标点,在将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之后,上述方法还可以包括:
基于所述第二上极点与所述第二下极点之间的连接线,以及所述第二外侧边缘点与所述第二内侧边缘点之间的连接线,将所述第一表面划分为四个点候选区域。
在三维髌骨模型的第一表面上标记第二髌骨特征点后,可以将第二上极点与第二下极点连接,得到第二上极点与第二下极点的连接线,将第二外侧边缘点与第二内侧边缘点连接,得到第二外侧边缘点与第二内侧边缘点的连接线,从而便可以将三维髌骨模型的第一表面划分为四个点候选区域,即第一点候选区域、第二点候选区域、第三点候选区域以及第四点候选区域。
例如,如图3所示,第二上极点201与第二下极点203的连接线,以及第二外侧边缘点202以及第二内侧边缘点204的连接线,可以将三维髌骨模型A的第一表面划分为四个点候选区域,即第一点候选区域310、第二点候选区域320、第三点候选区域330以及第四点候选区域340。
从四个所述点候选区域中任取三个所述点候选区域,并从任取的三个所述点候选区域中分别选取一个点作为第一目标点,基于三个所述第一目标点确定第一平面,其中,所述第一平面用于确定所述三维髌骨模型的目标截骨面。
在划分出四个点候选区域后,可以从四个点候选区域中,任意选取三个点候选区域,并从任取的三个点候选区域中分别选取一个点,作为第一目标点。
例如,如图3所示,可以从第一点候选区域310、第二点候选区域320、第三点候选区域330以及第四点候选区域340中,选取第一点候选区域310、第二点候选区域320以及第四点候选区域340,并在第一点候选区域310中选取一个点,在第二点候选区域320中选取一个点以及在第四点候选区域340中选取一个点,将选取的点作为第一目标点,即第一目标点305、第一目标点306以及第一目标点307。
图4为标记第一目标点后,三维髌骨模型A的侧视图,图中仅画出了第二上极点201、第二下极点203、第二外侧边缘点202以及第一目标点305。
又例如,可以从第一点候选区域、第二点候选区域、第三点候选区域以及第四点候选区域中,选取第二点候选区域、第三点候选区域以及第四点候选区域,并从第二点候选区域、第三点候选区域以及第四点候选区域中分别选取一个点,作为第一目标点。这都是合理的。
进而,在确定出第一目标点后,可以基于三个第一目标点确定第一平面,其中,第一平面用于确定三维髌骨模型的目标截骨面。
在一种实施方式中,为了得到更加准确的第一平面,从而得到更加准确的目标截骨面,可以选取第二上极点、第二下极点以及第二上极点与第二下极点的连接线与第二外侧边缘点与第二内侧边缘点的连接线的交点作为第一目标点,基于第二上极点、第二下极点以及第二上极点与第二下极点的连接线与第二外侧边缘点与第二内侧边缘点的连接线的交点所确定的第一平面更加准确,从而可以确定出更加准确的目标截骨面。
作为本发明的一种实施方式,在基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之前,上述方法还可以包括:
基于矫正线段调整所述三维髌骨模型,以使所述三维髌骨模型的第一表面与人体冠状面平行。
为了能够更加准确地标记第二髌骨特征点,可以在基于第一髌骨特征点的位置信息,将第一髌骨特征点投影到三维髌骨模型的第一表面,得到第二髌骨特征点之前,基于矫正线段调整三维髌骨模型,以使三维髌骨模型的第一表面与人体冠状面平行,由于矫正线段由第二上极点与第二下级点的连接线,以及第二外侧边缘点与第二内侧边缘点的连接线构成,因此,矫正线段能够表征第一表面的方位信息。
在三维髌骨模型的第一表面与人体冠状面平行的情况下,基于第一髌骨特征点的位置信息,将第一髌骨特征点投影到三维髌骨模型的第一表面,从而得到第二髌骨特征点能够更加准确。
作为本发明的一种实施方式,如图5所示,基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面,可以包括:
S501,基于所述髌骨假体,获取所述髌骨假体的参数信息。
在获取髌骨假体后,可以基于髌骨假体,获取该髌骨假体的参数信息,在一种实施方式中,预设的髌骨假体库中存储有髌骨假体与参数信息的对应关系,可以基于当前假体型号,获取髌骨假体,从而获取髌骨假体的参数信息。其中,参数信息可以为髌骨假体的厚度对应的信息。
S502,基于所述髌骨假体的参数信息,确定所述三维髌骨模型的截骨厚度值。
在确定出髌骨假体的参数信息后,可以确定三维髌骨模型的截骨厚度值,在一种实施方式中,可以将髌骨假体的厚度对应的信息作为三维髌骨模型的截骨厚度值。
S503,将三个所述第一目标点沿远离所述三维髌骨模型的第一表面的方向分别进行投影,得到与三个所述第一目标点分别对应的三个第二目标点,每个所述第一目标点与每个所述第二目标点之间的距离值为所述截骨厚度值。
在确定出三维髌骨模型的截骨厚度值后,可以将三个第一目标点沿远离三维髌骨模型的第一表面的方向分别进行投影,得到与三个第一目标点分别对应的三个第二目标点,其中,第二目标点位于三维髌骨模型上,并且每个第一目标点与每个第二目标点之间的距离值为截骨厚度值。
S504,基于三个所述第二目标点,确定所述三维髌骨模型的目标截骨面。
在确定出三个第二目标点后,可以基于三个第二目标点,确定三维髌骨模型的目标截骨面,其中,目标截骨面与第一平面平行。这样便可以确定出三维髌骨模型的目标截骨面。
作为本发明的一种实施方式,基于所述医学图像进行图像分割,得到髌骨特征图,可以包括:
将所述医学图像输入预先训练完成的分割模型,得到髌骨特征图。
在获取到膝关节的医学图像后,可以将膝关节的医学图像输入预先训练完成的分割模型,分割模型便可以对医学图像进行图像分割,从而输出髌骨特征图,这样,便可以得到髌骨特征图。其中,分割模型为基于样本医学图像训练得到的。
如图6所示,上述分割模型可以包括:深度卷积神经网络601、空洞空间卷积池化金字塔(atrous spatial pyramid pooling,aspp)网络(图中未设置标号)、第一卷积层602、第二卷积层603、第三卷积层606、第一池化层604、第二池化层607以及拼接层605。
其中,深度卷积神经网络601与空洞空间卷积池化金字塔网络以及第一卷积层602连接,空洞空间卷积池化金字塔网络与第二卷积层603连接,第二卷积层603与第一池化层604连接,第一池化层604以及第一卷积层602与拼接层605连接,拼接层605与第三卷积层606连接,第三卷积层606与第二池化层607连接。
空洞空间卷积池化金字塔网络可以由1个1x1卷积608、3个3x3空洞卷积(空洞卷积609、空洞卷积610和空洞卷积611)以及1个全局池化612构成,第一卷积层602和第二卷积层603可以为1x1卷积,第三卷积层606可以为3x3卷积。
其中,深度卷积神经网络601、空洞空间卷积池化金字塔(atrous spatialpyramid pooling,aspp)网络以及第二卷积层603是编码过程,第一卷积层602、第三卷积层606、第一池化层604、第二池化层607以及拼接层605为解码过程,即特征还原的过程。
将所述医学图像输入预先训练完成的分割模型,得到髌骨特征图,可以包括:
将医学图像输入所述深度卷积神经网络提取低级图像特征(Low LevelFeatures),其中,低级图像特征能够提供图像的细节信息。进而,将深度卷积神经网络输出的低级图像特征分别输入空洞空间卷积池化金字塔网络以及第一卷积层,得到当前低级图像特征。将高级图像特征输入第二卷积层,并将第二卷积层输出的图像特征输入第一池化层进行上采样,得到当前高级图像特征。将当前高级图像特征与当前低级图像特征输入拼接层进行拼接,得到骨骼特征图,将骨骼特征图输入第三卷积层,并将第三卷积层输出的图像特征输入第二池化层进行上采样,得到与医学图像尺寸一致的髌骨特征图。
例如,如图6所示,将低级图像特征输入空洞空间卷积池化金字塔网络提取图像的语义信息,得到高级图像特征616,其中,在空洞空间卷积池化金字塔网络由1个1x1卷积608、3个3x3空洞卷积,即空洞卷积609、空洞卷积610和空洞卷积611以及1个全局池化612的情况下,由于3个3x3空洞卷积的采样率不同,采样率分别为6、12以及18。因此可以对低级图像特征采用不同的采样率的空洞卷积进行并行采样,能够更好的捕捉图像的上下文信息。
将低级图像特征输入第一卷积层602,得到当前低级图像特征613。在第一卷积层602为1x1卷积的情况下,可以减少低级图像特征的通道数,以便后续进行特征拼接。
将高级图像特征616输入第二卷积层603,在第二卷积层603为1x1卷积的情况下,可以减少高级图像特征的通道数,以便后续进行特征拼接。将第二卷积层603输出的图像特征614,即减少通道数后的高级图像特征输入第一池化层604进行上采样,得到当前高级图像特征。
将当前高级图像特征与当前低级图像特征613输入拼接层605进行拼接,得到骨骼特征图615,其中,将当前高级图像特征与当前低级图像特征613进行拼接,能够提升分割边界的准确度。
将骨骼特征图615输入第三卷积层606,并将第三卷积层606输出的图像特征输入第二上池化层607进行上采样,便可以将髌骨的特征还原为与医学图像尺寸一致,从而得到与医学图像尺寸一致的髌骨特征图。
在所述髌骨特征图上识别并标记第一髌骨特征点,可以包括:
将所述髌骨特征图输入预先训练完成的点识别模型,得到已标记第一髌骨特征点的图像。
在获取到髌骨特征图后,为了能够在髌骨特征图上识别并标记第一髌骨特征点,可以将髌骨特征图输入预先训练完成的点识别模型,点识别模型便可以基于髌骨特征图进行特征点识别,从而输出已标记第一髌骨特征点的图像。其中,点识别模型为基于样本髌骨特征图训练得到的模型。
上述点识别模型可以包括:第四卷积层、第五卷积层、复制层以及池化层。如图7所示,第四卷积层包括4个卷积,即第一卷积701、第二卷积702、第三卷积703以及第四卷积704。复制层包括4个复制结构,即第一复制结构715、第二复制结构714、第三复制结构713以及第四复制结构712。第五卷积层包括三个卷积,即第五卷积705、第六卷积706以及第七卷积707,池化层包括四个池化结构,即第一池化结构711、第二池化结构710、第三池化结构709以及第四池化结构708。
其中,第一卷积701、第二卷积702、第三卷积703、第四卷积704、第五卷积705、第六卷积706以及第七卷积707依次连接,第一池化结构711、第二池化结构710、第三池化结构709以及第四池化结构708依次连接,第七卷积707与第四池化结构708连接,第一卷积701与第一复制结构715连接,第二卷积702与第二复制结构714连接,第三卷积703与第三复制结构713连接,第四卷积704与第四复制结构712连接。
第一卷积701、第一复制结构715以及第一池化结构711存在对应关系,第二卷积702、第二复制结构714以及第二池化结构710存在对应关系,第三卷积703、第三复制结构713以及第三池化结构709存在对应关系,第四卷积704、第四复制结构712以及第四池化结构708存在对应关系。
将所述髌骨特征图输入预先训练完成的点识别模型,得到已标记第一髌骨特征点的图像,可以包括:
将髌骨特征图输入第四卷积层进行特征提取,得到待复制特征。将待复制特征输入对应的复制层进行特征复制,得到复制特征。将待复制特征输入第五卷积层进行特征提取,得到待池化特征。将待池化特征与复制特征相加,并输入对应的池化层,得到池化特征,基于池化特征,得到热力图(heatmap),从热力图中选取最大概率值点作为第一髌骨特征点,并标记第一髌骨特征点,其中,热力图中包括像素值能够表征第一髌骨特征点概率的像素,最大概率值点为像素的像素值最大的点。
例如,如图7所示,将髌骨特征图输入至第四卷积层的第一卷积701、第二卷积702、第三卷积703以及第四卷积704依次进行特征提取,髌骨特征图输入第一卷积701进行特征提取后,可以将第一卷积输出的图像特征输入第二卷积702以及第一复制结构715。第二卷积702对第一卷积701输出的图像特征进行特征提取,可以将第二卷积702输出的图像特征输入第三卷积703以及第二复制结构714。第三卷积703对第二卷积702输出的图像特征进行特征提取,可以将第三卷积703输出的图像特征输入第四卷积704以及第三复制结构713。第四卷积704对第三卷积703输出的图像特征进行特征提取,可以将第四卷积704输出的图像特征输入第五卷积层以及第四复制结构712。
第五卷积层的第五卷积705、第六卷积706以及第七卷积707依次对第四卷积704输出的图像特征进行提取后,与第四复制结构712输出的图像特征相加,并将相加后的图像特征输入第四池化结构708进行上采样。第四池化结构708输出的图像特征与第三复制结构713输出的图像特征相加,并将相加后的图像特征输入第三池化结构709进行上采样。第三池化结构709输出的图像特征与第二复制结构714输出的图像特征相加,并将相加后的图像特征输入第二池化结构710进行上采样。第二池化结构710输出的图像特征与第一复制结构715输出的图像特征相加,并将相加后的图像特征输入第一池化结构711进行上采样,这样第一池化结构711所输出的池化特征便可以叠加所有的图像特征,保留了各个尺寸的图像信息,进而通过一个1x1卷积可以将基于池化特征,生成包括像素值能够表征第一髌骨特征点概率的像素的热力图,进而可以从热力图中选取像素的像素值最大的点,将最大概率值点作为第一髌骨特征点,并标记第一髌骨特征点。
可见,本发明可以将医学图像输入预先训练完成的分割模型,得到髌骨特征图,将髌骨特征图输入预先训练完成的点识别模型,得到包括髌骨特征点的图像,这样便可以基于医学图像、预先训练完成的分割模型以及预先训练完成的点识别模型,更加方便快速地获取到包含第一髌骨特征点的图像,以便后续获取髌骨的信息。
作为本发明的一种实施方式,可以调整三维髌骨假体内旋或外旋,也可以调整三维髌骨假体前倾或后倾。还可以调整当前三维髌骨假体与股骨以及胫骨的相对位置,例如,可以调整当前三维髌骨假体上移或下移,也可以调整当前三维髌骨假体内移或外移。这都是合理的。这样便可以了解三维髌骨假体的摆放位置。
作为一种实施方式,可以基于三维髌骨假体,对三维髌骨假体进行0.1mm的微调,使三维髌骨假体处于预设范围内,这样便可以了解髌骨的位置。
下面对本发明提供的髌骨图像处理系统进行描述,下文描述的髌骨图像处理系统与上文描述的髌骨图像处理方法可相互对应参照。
如图8所示,本发明公开了一种髌骨图像处理系统,所述系统包括:
第一获取模块810,用于获取膝关节的医学图像,并基于所述医学图像进行图像分割,得到髌骨特征图。
标记模块820,用于在所述髌骨特征图上识别并标记第一髌骨特征点。
其中,所述第一髌骨特征点包括第一上极点、第一下极点、第一外侧边缘点以及第一内侧边缘点。
投影模块830,用于基于所述髌骨特征图进行三维重建,得到三维髌骨模型,并基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点。
其中,所述第二髌骨特征点包括第二上极点、第二下极点、第二外侧边缘点以及第二内侧边缘点。
第二获取模块840,用于基于所述三维髌骨模型的结构参数,获取髌骨假体。
第一确定模块850,用于基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面。
作为本发明的一种实施方式,上述第二髌骨特征点还可以包括多个第一目标点。
上述系统还可以包括:
划分模块,用于在将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之后,基于所述第二上极点与所述第二下极点之间的连接线,以及所述第二外侧边缘点与所述第二内侧边缘点之间的连接线,将所述第一表面划分为四个点候选区域。
第二确定模块,用于从四个所述点候选区域中任取三个所述点候选区域,并从任取的三个所述点候选区域中分别选取一个点作为第一目标点,基于三个所述第一目标点确定第一平面。
其中,所述第一平面用于确定所述三维髌骨模型的目标截骨面。
作为本发明的一种实施方式,上述系统还可以包括:
调整模块,用于在基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之前,基于矫正线段调整所述三维髌骨模型,以使所述三维髌骨模型的第一表面与人体冠状面平行。
其中,所述矫正线段由所述第二上极点与所述第二下级点的连接线,以及所述第二外侧边缘点与所述第二内侧边缘点的连接线构成。
作为本发明的一种实施方式,上述第一确定模块850可以包括:
获取单元,用于基于所述髌骨假体,获取所述髌骨假体的参数信息。
第一确定单元,用于基于所述髌骨假体的参数信息,确定所述三维髌骨模型的截骨厚度值。
投影单元,用于将三个所述第一目标点沿远离所述三维髌骨模型的第一表面的方向分别进行投影,得到与三个所述第一目标点分别对应的三个第二目标点,每个所述第一目标点与每个所述第二目标点之间的距离值为所述截骨厚度值;
第二确定单元,用于基于三个所述第二目标点,确定所述三维髌骨模型的目标截骨面。
其中,所述目标截骨面与所述第一平面平行。
作为本发明的一种实施方式,上述第一确定模块810可以包括:
第一输入单元,用于将所述医学图像输入预先训练完成的分割模型,得到髌骨特征图。
其中,所述分割模型为基于样本医学图像训练得到的模型
上述标记模块820可以包括:
第二输入单元,用于将所述髌骨特征图输入预先训练完成的点识别模型,得到已标记第一髌骨特征点的图像。
其中,所述点识别模型为基于样本髌骨特征图训练得到的模型。
作为本发明的一种实施方式,分割模型可以包括:深度卷积神经网络、空洞空间卷积池化金字塔网络、第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层以及拼接层;
上述第一输入单元可以包括:
第一输入子单元,用于将所述医学图像输入所述深度卷积神经网络提取低级图像特征;
第二输入子单元,用于将所述低级图像特征输入所述空洞空间卷积池化金字塔网络,提取图像的语义信息,得到高级图像特征;
第三输入子单元,用于将所述低级图像特征输入所述第一卷积层,得到当前低级图像特征;
第四输入子单元,用于将所述高级图像特征输入所述第二卷积层,并将所述第二卷积层输出的图像特征输入所述第一池化层进行上采样,得到当前高级图像特征;
第五输入子单元,用于将所述当前高级图像特征与所述当前低级图像特征输入所述拼接层进行拼接,得到骨骼特征图;
第六输入子单元,用于将所述骨骼特征图输入所述第三卷积层,并将所述第三卷积层输出的图像特征输入所述第二池化层进行上采样,得到与所述医学图像尺寸一致的髌骨特征图。
作为本发明的一种实施方式,上述点识别模型可以包括:第四卷积层、第五卷积层、复制层以及池化层;
上述第二输入单元可以包括:
第七输入子单元,用于将所述髌骨特征图输入所述第四卷积层进行特征提取,得到待复制特征;
第八输入子单元,用于将所述待复制特征输入对应的所述复制层进行特征复制,得到复制特征;
第九输入子单元,用于将所述待复制特征输入所述第五卷积层进行特征提取,得到待池化特征;
第十输入子单元,用于将所述待池化特征与复制特征相加,并输入对应的池化层,得到池化特征,基于所述池化特征,得到热力图,其中,所述热力图中包括像素值能够表征髌骨特征点概率的像素;
选取子单元,用于从所述热力图中选取最大概率值点作为第一髌骨特征点,并标记所述第一髌骨特征点。
其中,所述最大概率值点为像素的像素值最大的点。
图9示例了一种电子设备的实体结构示意图,如图9所示,该电子设备可以包括:处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令,以执行上述各方法所提供的髌骨图像处理方法。
此外,上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于深度学习的膝关节髌骨置换三维术前规划方法。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度学习的膝关节髌骨置换三维术前规划方法。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于深度学习的膝关节髌骨置换三维术前规划方法,其特征在于,所述方法包括:
获取膝关节的医学图像,并基于所述医学图像进行图像分割,得到髌骨特征图;
在所述髌骨特征图上识别并标记第一髌骨特征点,其中,所述第一髌骨特征点包括第一上极点、第一下极点、第一外侧边缘点以及第一内侧边缘点;
基于所述髌骨特征图进行三维重建,得到三维髌骨模型,并基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点,其中,所述第二髌骨特征点包括第二上极点、第二下极点、第二外侧边缘点以及第二内侧边缘点;
基于所述三维髌骨模型的结构参数,获取髌骨假体;
基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面;
所述第二髌骨特征点还包括多个第一目标点;
在将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之后,所述方法还包括:
基于所述第二上极点与所述第二下极点之间的连接线,以及所述第二外侧边缘点与所述第二内侧边缘点之间的连接线,将所述第一表面划分为四个点候选区域;
从四个所述点候选区域中任取三个所述点候选区域,并从任取的三个所述点候选区域中分别选取一个点作为第一目标点,基于三个所述第一目标点确定第一平面,其中,所述第一平面用于确定所述三维髌骨模型的目标截骨面。
2.根据权利要求1所述的基于深度学习的膝关节髌骨置换三维术前规划方法,其特征在于,在基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之前,所述方法还包括:
基于矫正线段调整所述三维髌骨模型,以使所述三维髌骨模型的第一表面与人体冠状面平行,其中,所述矫正线段由所述第二上极点与所述第二下级点的连接线,以及所述第二外侧边缘点与所述第二内侧边缘点的连接线构成。
3.根据权利要求1所述的基于深度学习的膝关节髌骨置换三维术前规划方法,其特征在于,基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面,包括:
基于所述髌骨假体,获取所述髌骨假体的参数信息;
基于所述髌骨假体的参数信息,确定所述三维髌骨模型的截骨厚度值;
将三个所述第一目标点沿远离所述三维髌骨模型的第一表面的方向分别进行投影,得到与三个所述第一目标点分别对应的三个第二目标点,每个所述第一目标点与每个所述第二目标点之间的距离值为所述截骨厚度值;
基于三个所述第二目标点,确定所述三维髌骨模型的目标截骨面;其中,所述目标截骨面与所述第一平面平行。
4.根据权利要求1所述的方法,其特征在于,基于所述医学图像进行图像分割,得到髌骨特征图,包括:
将所述医学图像输入预先训练完成的分割模型,得到髌骨特征图,其中,所述分割模型为基于样本医学图像训练得到的模型;
在所述髌骨特征图上识别并标记第一髌骨特征点,包括:
将所述髌骨特征图输入预先训练完成的点识别模型,得到已标记第一髌骨特征点的图像,其中,所述点识别模型为基于样本髌骨特征图训练得到的模型。
5.根据权利要求4所述的方法,其特征在于,所述分割模型包括:深度卷积神经网络、空洞空间卷积池化金字塔网络、第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层以及拼接层;
将所述医学图像输入预先训练完成的分割模型,得到髌骨特征图,包括:
将所述医学图像输入所述深度卷积神经网络提取低级图像特征;
将所述低级图像特征输入所述空洞空间卷积池化金字塔网络,提取图像的语义信息,得到高级图像特征;
将所述低级图像特征输入所述第一卷积层,得到当前低级图像特征;
将所述高级图像特征输入所述第二卷积层,并将所述第二卷积层输出的图像特征输入所述第一池化层进行上采样,得到当前高级图像特征;
将所述当前高级图像特征与所述当前低级图像特征输入所述拼接层进行拼接,得到骨骼特征图;
将所述骨骼特征图输入所述第三卷积层,并将所述第三卷积层输出的图像特征输入所述第二池化层进行上采样,得到与所述医学图像尺寸一致的髌骨特征图。
6.根据权利要求4所述的方法,其特征在于,所述点识别模型包括:第四卷积层、第五卷积层、复制层以及池化层;
将所述髌骨特征图输入预先训练完成的点识别模型,得到已标记髌骨特征点的图像,包括:
将所述髌骨特征图输入所述第四卷积层进行特征提取,得到待复制特征;
将所述待复制特征输入对应的所述复制层进行特征复制,得到复制特征;
将所述待复制特征输入所述第五卷积层进行特征提取,得到待池化特征;
将所述待池化特征与复制特征相加,并输入对应的池化层,得到池化特征,基于所述池化特征,得到热力图,其中,所述热力图中包括像素值能够表征髌骨特征点概率的像素;
从所述热力图中选取最大概率值点作为第一髌骨特征点,并标记所述第一髌骨特征点,其中,所述最大概率值点为像素的像素值最大的点。
7.一种基于深度学习的膝关节髌骨置换三维术前规划系统,其特征在于,所述系统包括:
第一获取模块,用于获取膝关节的医学图像,并基于所述医学图像进行图像分割,得到髌骨特征图;
标记模块,用于在所述髌骨特征图上识别并标记第一髌骨特征点,其中,所述第一髌骨特征点包括第一上极点、第一下极点、第一外侧边缘点以及第一内侧边缘点;
投影模块,用于基于所述髌骨特征图进行三维重建,得到三维髌骨模型,并基于所述第一髌骨特征点的位置信息,将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点,其中,所述第二髌骨特征点包括第二上极点、第二下极点、第二外侧边缘点以及第二内侧边缘点;
第二获取模块,用于基于所述三维髌骨模型的结构参数,获取髌骨假体;
第一确定模块,用于基于所述髌骨假体以及所述第二髌骨特征点,确定所述三维髌骨模型的目标截骨面;
所述第二髌骨特征点还包括多个第一目标点;
划分模块,用于在将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面,得到第二髌骨特征点之后,基于所述第二上极点与所述第二下极点之间的连接线,以及所述第二外侧边缘点与所述第二内侧边缘点之间的连接线,将所述第一表面划分为四个点候选区域;
第二确定模块,用于从四个所述点候选区域中任取三个所述点候选区域,并从任取的三个所述点候选区域中分别选取一个点作为第一目标点,基于三个所述第一目标点确定第一平面,其中,所述第一平面用于确定所述三维髌骨模型的目标截骨面。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于深度学习的膝关节髌骨置换三维术前规划方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的膝关节髌骨置换三维术前规划方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210836442.4A CN115393272B (zh) | 2022-07-15 | 2022-07-15 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
PCT/CN2023/082710 WO2024011943A1 (zh) | 2022-07-15 | 2023-03-21 | 基于深度学习的膝关节髌骨置换三维术前规划方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210836442.4A CN115393272B (zh) | 2022-07-15 | 2022-07-15 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115393272A CN115393272A (zh) | 2022-11-25 |
CN115393272B true CN115393272B (zh) | 2023-04-18 |
Family
ID=84115994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210836442.4A Active CN115393272B (zh) | 2022-07-15 | 2022-07-15 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115393272B (zh) |
WO (1) | WO2024011943A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393272B (zh) * | 2022-07-15 | 2023-04-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
CN116071372B (zh) * | 2022-12-30 | 2024-03-19 | 北京长木谷医疗科技股份有限公司 | 膝关节分割方法、装置、电子设备及存储介质 |
CN116071386B (zh) * | 2023-01-09 | 2023-10-03 | 安徽爱朋科技有限公司 | 一种关节疾病的医学影像的动态分割方法 |
CN116898574B (zh) * | 2023-09-06 | 2024-01-09 | 北京长木谷医疗科技股份有限公司 | 人工智能膝关节韧带重建术的术前规划方法、系统及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109833121A (zh) * | 2019-02-14 | 2019-06-04 | 重庆高新区生物智能制造研究院 | 一种髌骨假体的设计方法 |
CN112957126A (zh) * | 2021-02-10 | 2021-06-15 | 北京长木谷医疗科技有限公司 | 基于深度学习的单髁置换术前规划方法和相关设备 |
CN112971981A (zh) * | 2021-03-02 | 2021-06-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的全髋关节置换翻修术前规划方法和设备 |
CN113017829A (zh) * | 2020-08-22 | 2021-06-25 | 张逸凌 | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9646229B2 (en) * | 2012-09-28 | 2017-05-09 | Siemens Medical Solutions Usa, Inc. | Method and system for bone segmentation and landmark detection for joint replacement surgery |
CN111166474B (zh) * | 2019-04-23 | 2021-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术术前的辅助诊查方法和装置 |
CN114170128B (zh) * | 2020-08-21 | 2023-05-30 | 张逸凌 | 基于深度学习的骨骼分割方法和系统 |
CN112132834B (zh) * | 2020-09-18 | 2023-09-29 | 中山大学 | 一种心室图像分割方法、系统、装置及存储介质 |
CN113919020B (zh) * | 2021-09-24 | 2023-12-12 | 北京长木谷医疗科技股份有限公司 | 单髁置换用导板设计方法及相关设备 |
CN114041878A (zh) * | 2021-10-19 | 2022-02-15 | 山东建筑大学 | 骨关节置换手术机器人的ct图像的三维重建方法及系统 |
CN114419618B (zh) * | 2022-01-27 | 2024-02-02 | 北京长木谷医疗科技股份有限公司 | 基于深度学习的全髋关节置换术前规划系统 |
CN115393272B (zh) * | 2022-07-15 | 2023-04-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
-
2022
- 2022-07-15 CN CN202210836442.4A patent/CN115393272B/zh active Active
-
2023
- 2023-03-21 WO PCT/CN2023/082710 patent/WO2024011943A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109833121A (zh) * | 2019-02-14 | 2019-06-04 | 重庆高新区生物智能制造研究院 | 一种髌骨假体的设计方法 |
CN113017829A (zh) * | 2020-08-22 | 2021-06-25 | 张逸凌 | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 |
CN112957126A (zh) * | 2021-02-10 | 2021-06-15 | 北京长木谷医疗科技有限公司 | 基于深度学习的单髁置换术前规划方法和相关设备 |
CN112971981A (zh) * | 2021-03-02 | 2021-06-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的全髋关节置换翻修术前规划方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115393272A (zh) | 2022-11-25 |
WO2024011943A1 (zh) | 2024-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115393272B (zh) | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 | |
CN110956635B (zh) | 一种肺段分割方法、装置、设备及存储介质 | |
CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
CN111080573B (zh) | 肋骨图像检测方法、计算机设备和存储介质 | |
CN108778134B (zh) | 用于根据3d解剖图像表征骨骼的中心轴的系统和方法 | |
CN113076987B (zh) | 骨赘识别方法、装置、电子设备及存储介质 | |
CN110910483B (zh) | 三维重建方法、装置及电子设备 | |
CN111768400A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
KR20200065777A (ko) | 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치 | |
CN113112490B (zh) | 一种三维医学影像标记点提取方法及系统 | |
CN114642444A (zh) | 口腔种植精度评价方法、系统和终端设备 | |
CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及系统 | |
KR102098929B1 (ko) | 수술용 내비게이션의 표면 정합 방법 및 장치 | |
CN113077498A (zh) | 骨盆配准方法、骨盆配准装置和骨盆配准系统 | |
CA3143172A1 (en) | Deep-learning models for image processing | |
CN114155193B (zh) | 一种基于特征强化的血管分割方法及装置 | |
CN116228787A (zh) | 图像勾画方法、装置、计算机设备、存储介质 | |
CN113077499B (zh) | 骨盆配准方法、骨盆配准装置和骨盆配准系统 | |
CN115131301B (zh) | 基于深度学习的智能识别骨关节炎的方法及系统 | |
CN115381553B (zh) | 复杂性骨性融合膝关节的智能定位装置设计方法及系统 | |
CN113888751A (zh) | 一种关节关键点的识别方法、装置及计算机设备 | |
CN117115068A (zh) | 医学图像处理方法、装置、计算机设备和存储介质 | |
CN113962957A (zh) | 医学图像处理方法、骨骼图像处理方法、装置、设备 | |
US20220202496A1 (en) | Automated planning of shoulder stability enhancement surgeries | |
CN113870261A (zh) | 用神经网络识别力线的方法与系统、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee after: Beijing Changmugu Medical Technology Co.,Ltd. Patentee after: Zhang Yiling Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd. Patentee before: Zhang Yiling |
|
CP01 | Change in the name or title of a patent holder |