CN113076987B - 骨赘识别方法、装置、电子设备及存储介质 - Google Patents
骨赘识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113076987B CN113076987B CN202110335659.2A CN202110335659A CN113076987B CN 113076987 B CN113076987 B CN 113076987B CN 202110335659 A CN202110335659 A CN 202110335659A CN 113076987 B CN113076987 B CN 113076987B
- Authority
- CN
- China
- Prior art keywords
- region
- osteophyte
- fibula
- medical image
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000008558 Osteophyte Diseases 0.000 title claims abstract description 90
- 201000010934 exostosis Diseases 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 101
- 210000002082 fibula Anatomy 0.000 claims abstract description 49
- 210000000689 upper leg Anatomy 0.000 claims abstract description 22
- 210000002303 tibia Anatomy 0.000 claims abstract description 21
- 210000004417 patella Anatomy 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000000399 orthopedic effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 6
- 210000003141 lower extremity Anatomy 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000000629 knee joint Anatomy 0.000 description 3
- 208000018084 Bone neoplasm Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 208000004550 Postoperative Pain Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Prostheses (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种骨赘识别方法、装置、电子设备及存储介质，其中骨赘识别方法包括：获取医学图像；将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域；将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘，由此可以利用第一分割模型和第二分割模型可以迅速准确智能识别骨赘，帮助医生进行手术规划，易于操作、准确度高、满足患者个体差异的优点，同时通过完善术前规划的依据资料，指导手术规划和假体选择，提高后续手术的准确率，为骨科医生节约大量的时间。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种骨赘识别方法、装置、电子设备及存储介质。
背景技术
在术前规划中，骨赘对于机械轴、关节线、股骨前后轴、AP轴等关键标志的定位具有较大影响，错误的判断骨赘形貌、位置会导致定位标志偏差，从而影响膝关节功能、稳定性、运动范围且易造成术后疼痛。在临床全膝关节置换术前，医生需要依据不含骨赘的下肢骨影像资料进行手术的规划与决策，医生更为擅长的是医学知识，图像处理对于医生而言可谓耗时耗力。经验丰富的医生能够提出需求进行指导，协助其他技术人员完美消除下肢骨影像的骨赘，但是他们却苦于自己动手进行图像处理消除下肢骨影像的骨赘部分，而经验欠缺的医生尚且不能凭借医学经验进行指导，完美消除下肢骨影像的骨赘部分，自己操作则更为困难。
发明内容
有鉴于此，本发明实施例提供了一种骨赘识别方法、装置、电子设备及存储介质，以智能识别医学图像中的骨赘。
根据第一方面，本发明实施例提供了一种骨赘识别方法，包括：
获取医学图像；
将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域；
将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘。
本发明实施例的骨赘识别方法，通过获取医学图像，将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域，将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘，也就是说，利用第一分割模型和第二分割模型可以迅速准确智能识别骨赘，帮助医生进行手术规划，易于操作、准确度高、满足患者个体差异的优点，同时通过完善术前规划的依据资料，指导手术规划和假体选择，提高后续手术的准确率，为骨科医生节约大量的时间，同时也为资历尚浅的医生指导帮助。
结合第一方面，在第一方面第一实施方式中，所述第一分割模型为包含Pointrend算法的unet神经网络模型。
结合第一方面第一实施方式，在第一方面第二实施方式中，将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域，包括：
(1)将所述医学图像输入到所述unet神经网络模型得到所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域的粗分割预测结果；
(2)利用所述Pointrend算法对所述粗分割预测结果进行优化；
(3)重复上述步骤(1)～(2)，遍历所述医学图像，直到得到所述医学图像中的满足预设条件的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域。
结合第一方面第二实施方式，在第一方面第三实施方式中，利用所述Pointrend算法对所述粗分割预测结果进行优化包括：
在所述粗分割预测结果中选取出置信度符合预设要求的特征点；
获取所述特征点的特征，对所述特征点的特征进行分类，并根据分类结果更新所述特征点的粗分割预测结果。
结合第一方面，在第一方面第四实施方式中，所述第二分割模型为cascadePSP神经网络模型。
结合第一方面第四实施方式，在第一方面第五实施方式中，所述cascadePSP神经网络模型中的主干网络为unet网络。
结合第一方面，在第一方面第六实施方式中，在将所述医学图像输入到经过训练的第一分割模型之前，还包括：
获取第一图像数据集，所述第一图像数据集中至少包含一个含有骨赘的医学图像，所述医学图像中至少带有股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域的标签；
利用所述第一图像数据集对所述第一分割模型进行训练，得到所述经过训练的第一分割模型；
在将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中之前，还包括：
获取第二图像数据集，所述第二图像数据集中包含多个股骨图像和/或胫骨图像和/或腓骨图像和/或髌骨图像，所述股骨图像和/或胫骨图像和/或腓骨图像和/或髌骨图像中至少带有对应的股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘的标签；
利用所述第二图像数据集对所述第二分割模型进行训练，得到所述经过训练的第二分割模型。
根据第二方面，本发明实施例提供了一种骨赘识别装置，包括：
获取模块，用于获取医学图像；
第一处理模块，用于将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域；
第二处理模块，用于将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘。
根据第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的骨赘识别方法。
根据第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的骨赘识别方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例1骨赘识别方法的流程示意图；
图2为医学图像在第一分割模型的处理流程示意图；
图3为本发明实施例1第一分割模型和第二分割模型的网络结构示意图；
图4为本发明实施例2骨赘识别装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例1提供了一种骨赘识别方法。图1为本发明实施例1骨赘识别方法的流程示意图。如图1所示，本发明实施例1的骨赘识别方法包括以下步骤：
S101：获取医学图像。
作为具体的实施方式，所述医学图像为下肢骨的医学图像，例如下肢骨影像。
S102：将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域。
在本发明实施例1中，所述第一分割模型为包含Pointrend算法的unet神经网络模型，从而可以实现高质量高像素的图像分割。图2为医学图像在第一分割模型的处理流程示意图，如图2所示，首先将医学模型输入到unet主干网络中，得到粗分割预测结果，然后将通过Pointrend对粗分割预测结果进行处理得到精细分割预测结果。
作为具体的实施方式，将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域，可以采用如下方案：
(1)将所述医学图像输入到所述unet神经网络模型得到所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域的粗分割预测结果；
(2)利用所述Pointrend算法对所述粗分割预测结果进行优化；
(3)重复上述步骤(1)～(2)，遍历所述医学图像，直到得到所述医学图像中的满足预设条件的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域。
更加具体的，利用所述Pointrend算法对所述粗分割预测结果进行优化可以采用如下技术方案：在所述粗分割预测结果中选取出置信度符合预设要求的特征点；获取所述特征点的特征，所述特征点的特征进行分类，并根据分类结果更新所述特征点的粗分割预测结果。在本发明实施例1中，置信度符合预设要求的特征点可以为置信度为0.5左右的特征点。
示例的，步骤S102可以采用如下方法：
建立分割神经网络模型pointrend+unet，见图2：首先利用unet网络作为主干网络，对其进行粗分割，第一阶段使用4次下采样学习图像的深层特征，然后进行4次上采样以将特征图重新存储到图像中，其中每个下采样层中包括2个卷积层和1个池化层，卷积层的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128，256，512；每个上采样中包括1个上采样层和2个卷积层，其中卷积层的卷积核大小为3*2，上采样层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512，256，128。最后一次上采样结束后设有一个的dropout层，droupout率设置为0.7。所有的卷积层后面都设有激活函数为relu函数。最终获得股骨、胫骨、腓骨、髌骨的粗分割预测结果，它们的结果均为0-1之间的预测概率值(图像中构成mask的是一堆像素点，其中每个点都对应一个概率值)。
然后使用pointrend精确分割结果，第一步：挑选出一系列潜在的特征点来为接下来的判断做准备，在此挑选的依据是粗分割预测结果中分类置信度接近0.5的点(在分类任务中一个点的置信度会趋近于0或者1，置信度在0.5附近则代表网络对这个点的分类很不确定)，通常这类点都是接近物体边缘的点。第二步：对第一步挑选出的特征点进行特征提取，而unet神经网络模型自带特征提取器(feature extractor)，因此只需要将所选特征点在特征提取器中相应位置的特征选取出来即可，具体的，这些特征点的特征通过双线性插值Bilinear计算；第三步：使用一个小型的分类器例如MLP去判断这个点属于哪个类别，这其实等价于用一个1*1的卷积来预测，但是对于置信度接近于1或者0的点并不计算。这样我们就可以对所有不确定的像素点逐个进行分类，从而提高分割的精准度。
传统方法中要实现高像素的实例分割，需要对像素进行逐一计算，必然会带来大算力的问题，因此就需要权衡算力和高像素Mask之间的关系。而本发明实施例利用包含Pointrend算法的unet神经网络模型可以快速的计算出高像素mask。
作为具体的实施方式，在将所述医学图像输入到经过训练的第一分割模型之前，还包括：
获取第一图像数据集，所述第一图像数据集中至少包含一个含有骨赘的医学图像，所述医学图像中至少带有股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域的标签；
利用所述第一图像数据集对所述第一分割模型进行训练，得到所述经过训练的第一分割模型。
示例的，利用所述图像数据集对所述第一分割模型进行训练可以采用如下技术方案：
获取患有膝关节疾病患者的骨赘的CT医学图像数据集，将其进行手动标注股骨、胫骨、腓骨、髌骨区域，将其作为我们的数据库。按照6:2:2的比例划分为训练集、验证集、测试集；将CT医学图像的二维横断面(image)的DICOM(Digital Imaging andCommunications in Medicine，医学数字成像和通信)数据转换成JPG格式的图片，将人工标注的label文件转换成png格式的图片，保存后作为神经网络的输入。
建立分割神经网络模型pointrend+unet：首先利用unet神经网络作为主干网络，第一阶段使用4次下采样学习图像的深层特征，然后进行4次上采样以将特征图重新存储到图像中，其中每个下采样层中包括2个卷积层和1个池化层，卷积层的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128，256，512；每个上采样中包括1个上采样层和2个卷积层，其中卷积层的卷积核大小为3*2，上采样层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512，256，128。最后一次上采样结束后设有一个的dropout层，droupout率设置为0.7。所有的卷积层后面都设有激活函数为relu函数。
然后使用pointrend精确分割结果，选择置信度为0.5的一组点，提取被选择出来的点的特征，具体的，这些特征点的特征可以通过双线性插值Bilinear计算，然后使用一个小型的分类器去判断这个点属于哪个类别。
模型训练过程中，数据标签的背景像素值设置为0，股骨/胫骨/腓骨/髌骨分别为1，训练的batch_size(批量大小，即一次训练的样本数)为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss，将训练集原图和股骨/胫骨/腓骨/髌骨分别送入网络进行训练，根据训练过程中损失函数的变化，调整训练批次的大小，最终得到各个部分的粗分割结果。进入pointrend模块后，先会使用双线性插值上采样前一步分割预测结果，然后在这个更密集的特征图中选择N个最不确定的点，比如概率接近0.5的点，然后计算这N个点的特征，并且利用分类器MLP预测它们的分类，这个过程一直被重复，直到上采样到需要的大小。对于每个选定点的逐点特征表示，使用简单的多层感知器进行逐点预测，因为MLP预测的是各点的分割label，所以可以使用Unet粗分割任务中的loss来训练。
S103：将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘。
作为具体的实施方式，所述第二分割模型为cascadePSP神经网络模型。具体的，所述cascadePSP神经网络模型中的主干网络为unet网络。这是因为，pointrend+unet只能分出大概的区域，但是对细小的物体和边缘分割是非常粗糙的，cascadePSP神经网络模型可以生产高质量和非常高分辨率的分割，对小物体的边缘分割效果良好。
在将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中之前，还包括：获取第二图像数据集，所述第二图像数据集中包含多个股骨图像和/或胫骨图像和/或腓骨图像和/或髌骨图像，所述股骨图像和/或胫骨图像和/或腓骨图像和/或髌骨图像中至少带有对应的股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘的标签；利用所述第二图像数据集对所述第二分割模型进行训练，得到所述经过训练的第二分割模型。
第二分割模型的训练可以采用如下方法：获取带有骨赘的CT医学图像数据集，将其进行手动标注股骨骨赘、胫骨骨赘部分，将其作为我们的数据库。按照6：2：2的比例划分为训练集、测试集；将上面pointrend网络输出的股骨区域和胫骨区域保存为JPG的图片作为image，标注文件转换成png格式的图片作为label，保存后作为神经网络的输入。
图3为本发明实施例1第一分割模型和第二分割模型的网络结构示意图。在图3中，unet backbone表示图2中的unet主干网络。如图3所示，首先建立分割神经网络模型cascadepsp，首先利用unet网络作为主干网络，对图片(image、label)进行粗分割处理，得到粗分割结果mask。具体的，全局修改模块包括三个修正模块，其中一个修正模块的操作包括以下步骤：接受image原图、mask、mask的1/4、mask的1/8，将1/4、1/8的mask进行双线性插值上采样变成与原图同样大小的mask，最终得到四个向量：原图、mask、mask4、mask8，把他们进行concat操作之后输入resnet网络(即图3中的RM)中，以resnet-50为骨干，利用分割神经网络模型cascadepsp从输入中提取stride＝8的feature map(特征图像)，传入[1,2,3,6]空间金字塔池化，捕获全局上下文。输出三个不同大小的经过修正的mask，即原图大小(图3中的image)，原图大小的1/4(图3中的S4)，原图大小的1/8(图3中的S1)，在图3中W表示图片的长，H表示图片的宽。
上述操作称之为一个修正模块，将其复制三份，变成一个全局修正模块。每一个修正模块会产生三个输出，第一个修正模块只利用1/8的mask的输出，然后将它上采样2倍和它本身作为下一次修正模块的输入，以此类推，直到第三层的最终输出mask、mask的四分之一大小作为局部修正模块的输入。
局部修正模块(即图2中的局部步骤)的类似于全局修正模块，也是两个修正模块堆叠得到的。但是局部修正模块并不是将一整原图作为输入，而是将大图裁剪为小图分别输入(从大图中提取包含有骨赘的部分)，经过resnet网络处理后得到原图大小的八分之一(即图3中的OS8)，原图大小的四分之一(即图3中的OS4)和原图(即图3中的OS1)，得到最终优化的结果mask(即OS1)，最后的分割结果为股骨骨赘mask和胫骨骨赘mask。
Loss函数(损失函数)的选用为：对于stride＝8的输出使用交叉熵损失函数，对于stride＝1的输出，使用L1+L2损失函数，对于stride＝4的输出：使用交叉熵+mean(L1+L2)损失函数。不同的损失函数适用于不同的步幅，因为粗略的refinement集中在全局结构上，而忽略了局部细节，而精确的refinement通过依赖局部线索来实现像素级精度。为了进一步提高分割边界的精度，在stride＝1的输出上采用了分割梯度。分割梯度由3*3的平均滤波器+sobel算子进行估计。
本发明实施例1提供的骨赘识别方法，通过获取医学图像，将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域，将所述股骨区域和/或胫骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘，也就是说，利用第一分割模型和第二分割模型可以智能识别骨赘，为骨科医生节约大量的时间，同时也为资历尚浅的医生指导帮助。而且本发明实施例1的骨赘识别方法，只需完成模型训练便可以重复利用，迅速准确识别下肢骨影像中的骨赘，帮助医生进行手术规划，易于操作、准确度高、满足患者个体差异的优点，同时通过完善术前规划的依据资料，指导手术规划和假体选择，提高后续手术的准确率，对增加患者术后假体的使用寿命，降低术后并发症，提高患者术后生活质量有重要作用。
实施例2
与本发明实施例1相对应，本发明实施例2提供了一种骨赘识别装置。图4为本发明实施例2骨赘识别装置的结构示意图。如图4所示，本发明实施例2的骨赘识别装置包括获取模块20、第一处理模块22和第二处理模块24。
所述获取模块20，用于获取医学图像。
所述第一处理模块22，用于将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域；
第二处理模块24，用于将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘。
上述骨赘识别装置具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
实施例3
本发明实施例还提供了一种电子设备，该电子设备可以包括处理器和存储器，其中处理器和存储器可以通过总线或者其他方式连接。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车载显示装置按键屏蔽方法对应的程序指令/模块(例如，图4所示的获取模块20、第一处理模块22和第二处理模块24)。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的骨赘识别方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行如图1至图3所示实施例中的骨赘识别方法。
上述电子设备具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种骨赘识别方法，其特征在于，包括：
获取医学图像；
将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域；
将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘；
其中，所述第一分割模型为包含Pointrend算法的unet神经网络模型，所述第二分割模型为cascadePSP神经网络模型；所述第一分割模型为unet神经网络，首先利用所述unet神经网络作为主干网络，进行粗分割，然后使用pointrend精确分割。
2.根据权利要求1所述的方法，其特征在于，将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域，包括：
(1)将所述医学图像输入到所述unet神经网络模型得到所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域的粗分割预测结果；
(2)利用所述Pointrend算法对所述粗分割预测结果进行优化；
(3)重复上述步骤(1)～(2)，遍历所述医学图像，直到得到所述医学图像中的满足预设条件的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域。
3.根据权利要求2所述的方法，其特征在于，利用所述Pointrend算法对所述粗分割预测结果进行优化，包括：
在所述粗分割预测结果中选取出置信度符合预设要求的特征点；
获取所述特征点的特征，对所述特征点的特征进行分类，并根据分类结果更新所述特征点的粗分割预测结果。
4.根据权利要求1所述的方法，其特征在于，所述cascadePSP神经网络模型中的主干网络为unet网络。
5.根据权利要求1所述的方法，其特征在于，在将所述医学图像输入到经过训练的第一分割模型之前，还包括：
获取第一图像数据集，所述第一图像数据集中至少包含一个含有骨赘的医学图像，所述医学图像中至少带有股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域的标签；
利用所述第一图像数据集对所述第一分割模型进行训练，得到所述经过训练的第一分割模型；
在将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中之前，还包括：
获取第二图像数据集，所述第二图像数据集中包含多个股骨图像和/或胫骨图像和/或腓骨图像和/或髌骨图像，所述股骨图像和/或胫骨图像和/或腓骨图像和/或髌骨图像中至少带有对应的股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘的标签；
利用所述第二图像数据集对所述第二分割模型进行训练，得到所述经过训练的第二分割模型。
6.一种骨赘识别装置，其特征在于，包括：
获取模块，用于获取医学图像；
第一处理模块，用于将所述医学图像输入到经过训练的第一分割模型中，得到所述医学图像中的股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域；
第二处理模块，用于将所述股骨区域和/或胫骨区域和/或腓骨区域和/或髌骨区域输入到经过训练的第二分割模型中，得到股骨骨赘和/或胫骨骨赘和/或腓骨骨赘和/或髌骨骨赘；
其中，所述第一分割模型为包含Pointrend算法的unet神经网络模型，所述第二分割模型为cascadePSP神经网络模型；所述第一分割模型为unet神经网络，首先利用所述unet神经网络作为主干网络，进行粗分割，然后使用pointrend精确分割。
7.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至5中任一项所述的骨赘识别方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1至5中任一项所述的骨赘识别方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110335659.2A CN113076987B (zh) | 2021-03-29 | 2021-03-29 | 骨赘识别方法、装置、电子设备及存储介质 |
| PCT/CN2021/130471 WO2022205928A1 (zh) | 2021-03-29 | 2021-11-12 | 骨赘识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110335659.2A CN113076987B (zh) | 2021-03-29 | 2021-03-29 | 骨赘识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113076987A CN113076987A (zh) | 2021-07-06 |
| CN113076987B true CN113076987B (zh) | 2022-05-20 |
Family
ID=76611552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110335659.2A Active CN113076987B (zh) | 2021-03-29 | 2021-03-29 | 骨赘识别方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113076987B (zh) |
| WO (1) | WO2022205928A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170128B (zh) * | 2020-08-21 | 2023-05-30 | 张逸凌 | 基于深度学习的骨骼分割方法和系统 |
| CN113076987B (zh) * | 2021-03-29 | 2022-05-20 | 北京长木谷医疗科技有限公司 | 骨赘识别方法、装置、电子设备及存储介质 |
| CN113689402B (zh) * | 2021-08-24 | 2022-04-12 | 北京长木谷医疗科技有限公司 | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 |
| CN114155370A (zh) * | 2021-10-29 | 2022-03-08 | 北京搜狗科技发展有限公司 | 图像数据处理方法、装置及介质 |
| CN113870261B (zh) * | 2021-12-01 | 2022-05-13 | 杭州柳叶刀机器人有限公司 | 用神经网络识别力线的方法与系统、存储介质及电子设备 |
| CN114511548A (zh) * | 2022-02-16 | 2022-05-17 | 云南白药集团医药电子商务有限公司 | 基于深度学习的多阶段多层次骨赘检测方法 |
| CN116543221B (zh) * | 2023-05-12 | 2024-03-19 | 北京长木谷医疗科技股份有限公司 | 关节病变智能检测方法、装置、设备及可读存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019175870A1 (en) * | 2018-03-12 | 2019-09-19 | Persimio Ltd. | Automated bone segmentation in images |
| CN110097967A (zh) * | 2018-09-13 | 2019-08-06 | 龙岩学院 | 基于固有时间尺度分解、相空间重构和神经网络的膝骨性关节炎诊断系统 |
| CN110689551B (zh) * | 2019-10-14 | 2020-07-17 | 慧影医疗科技（北京）有限公司 | 四肢骨分割方法、装置、电子设备及可读存储介质 |
| CN111340760B (zh) * | 2020-02-17 | 2022-11-08 | 中国人民解放军国防科技大学 | 基于多任务两级卷积神经网络的膝关节定位方法 |
| CN110969622B (zh) * | 2020-02-28 | 2020-07-24 | 南京安科医疗科技有限公司 | 用于辅助肺炎诊断的图像处理方法和系统 |
| CN111640093A (zh) * | 2020-05-20 | 2020-09-08 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法和计算机可读存储介质 |
| CN111539956B (zh) * | 2020-07-07 | 2020-12-29 | 南京安科医疗科技有限公司 | 基于脑部辅助图像的脑出血自动检测方法及电子介质 |
| CN113076987B (zh) * | 2021-03-29 | 2022-05-20 | 北京长木谷医疗科技有限公司 | 骨赘识别方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-29 CN CN202110335659.2A patent/CN113076987B/zh active Active
- 2021-11-12 WO PCT/CN2021/130471 patent/WO2022205928A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022205928A1 (zh) | 2022-10-06 |
| CN113076987A (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113076987B (zh) | 骨赘识别方法、装置、电子设备及存储介质 | |
| TWI755717B (zh) | 圖像處理方法及裝置、電子設備和計算機可讀儲存介質 | |
| CN113689402B (zh) | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 | |
| CN110598714B (zh) | 一种软骨图像分割方法、装置、可读存储介质及终端设备 | |
| CN109859210B (zh) | 一种医学数据处理装置及方法 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| WO2023045231A1 (zh) | 一种解耦分治的面神经分割方法和装置 | |
| CN110570426A (zh) | 使用深度学习的图像联合配准和分割 | |
| CN113298786B (zh) | 图像识别及模型训练的方法、真臼位置识别的方法及装置 | |
| CN112233777A (zh) | 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质 | |
| CN113012155A (zh) | 髋关节图像中骨骼分割方法、电子设备及存储介质 | |
| CN110689551B (zh) | 四肢骨分割方法、装置、电子设备及可读存储介质 | |
| CN113129278B (zh) | 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法 | |
| US20230169666A1 (en) | Methods and systems for image registration | |
| CN113744214A (zh) | 基于深度强化学习的股骨柄放置方法、装置及电子设备 | |
| CN113920128A (zh) | 膝关节股骨胫骨分割方法和装置 | |
| CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
| CN112750131B (zh) | 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法 | |
| CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
| Li et al. | Prism: A promptable and robust interactive segmentation model with visual prompts | |
| CN117078618A (zh) | 一种视盘视杯分割方法及装置、电子设备、介质 | |
| CN116486071A (zh) | 图像分块特征提取方法、装置及存储介质 | |
| CN116051813A (zh) | 全自动智能腰椎定位与识别方法及应用 | |
| WO2020106393A2 (en) | Skeletal maturity determination using radiographs of portions of a hand | |
| US20230206428A1 (en) | Tubular structure segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee after: Beijing Changmugu Medical Technology Co.,Ltd. Patentee after: Changmugu medical technology (Qingdao) Co.,Ltd. Patentee after: Zhang Yiling Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd. Patentee before: Changmugu medical technology (Qingdao) Co.,Ltd. Patentee before: Zhang Yiling |
|
| CP01 | Change in the name or title of a patent holder |