CN114419618A - 基于深度学习的全髋关节置换术前规划系统 - Google Patents
基于深度学习的全髋关节置换术前规划系统 Download PDFInfo
- Publication number
- CN114419618A CN114419618A CN202210101412.9A CN202210101412A CN114419618A CN 114419618 A CN114419618 A CN 114419618A CN 202210101412 A CN202210101412 A CN 202210101412A CN 114419618 A CN114419618 A CN 114419618A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- hip joint
- total hip
- region
- femoral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 43
- 238000011541 total hip replacement Methods 0.000 title claims abstract description 40
- 210000004394 hip joint Anatomy 0.000 claims abstract description 210
- 238000010586 diagram Methods 0.000 claims abstract description 92
- 238000013528 artificial neural network Methods 0.000 claims abstract description 86
- 230000011218 segmentation Effects 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000010276 construction Methods 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 210000000689 upper leg Anatomy 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 33
- 210000000988 bone and bone Anatomy 0.000 claims description 29
- 210000001624 hip Anatomy 0.000 claims description 22
- 230000001054 cortical effect Effects 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 210000002436 femur neck Anatomy 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 210000003710 cerebral cortex Anatomy 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000002224 dissection Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011882 arthroplasty Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 10
- 210000002303 tibia Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 210000000629 knee joint Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 210000000528 lesser trochanter Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ZIJGGSZJPPURSY-UHFFFAOYSA-N 1-ethoxycarbonyloxyethyl 2-propylpentanoate Chemical compound CCCC(CCC)C(=O)OC(C)OC(=O)OCC ZIJGGSZJPPURSY-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000029777 axis specification Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度学习的全髋关节置换术前规划系统，包括：全髋关节图像采集模块，用于获取待识别的全髋关节三维块状图；全髋关节识别模块，用于将待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，获取每张全髋关节二维横断面图像中的股骨区域，训练好的三维分割神经网络是由标注有股骨区域的标签的预设三维块状图，对卷积神经网络进行训练得到的；全髋关节三维图像构建模块，用于基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到股骨区域的三维图像。本发明对全髋关节三维块状图进行识别，并基于三维块状图对提取得到的股骨区域进行三维建模，进而根据该股骨区域三维模型，提高全髋关节识别精度。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的全髋关节置换术前规划系统。
背景技术
关节置换术是指采用金属、高分子聚乙烯或陶瓷等材料，根据人体关节的形态、构造及功能制成人工关节假体，通过外科技术植入人体内。
在全髋关节置换的术前规划中，医师需要凭借自身的经验，从髋关节医学图像中判断整个股骨区域，确定需要置换的假体尺寸和型号等。但是传统的全髋关节置换技术依赖于医师经验，不同经验的医师会出现不同识别结果，难以保证结果的统一性。近年来，随着医疗水平的提高，利用二维图像分割神经网络识别可以消除这一缺点。
由于髋关节形状是三维结构的，使用二维图像分割神经网络进行全髋关节分割，会丢失掉关节连续切片层之间的特征信息，导致全髋关节的识别精度较低。
发明内容
针对现有技术存在的问题，本发明提供一种基于深度学习的全髋关节置换术前规划系统。
本发明提供一种基于深度学习的全髋关节置换置换术前规划系统，包括：全髋关节图像采集模块，用于获取待识别的全髋关节三维块状图，所述待识别的三维块状图是由多张全髋关节二维横断面图像堆叠而成的；全髋关节识别模块，用于将所述待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，获取所述训练好的三维分割神经网络输出的每张全髋关节二维横断面图像中的股骨区域，所述训练好的全髋关节三维分割神经网络是由标注有股骨区域的标签的预设全髋关节三维块状图作为训练样本，对卷积神经网络进行训练得到的；全髋关节三维图像构建模块，用于基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述全髋关节识别模块，还用于：获取若干张样本髋关节二维横断面图像；对每一张样本髋关节二维横断面图像中的样本股骨区域进行标注，并对所述样本股骨区域的股骨头像素标注股骨头区域标签，得到若干张第一预设髋关节二维横断面图像；根据样本髋关节二维横断面的采集顺序，将若干张所述第一预设髋关节二维横断面图像进行堆叠，得到对应的第一预设三维块状图像；将多个所述第一预设三维块状图像输入到所述初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络；其中，所述初始的三维分割神经网络是由U-Net卷积网络构建得到的，且所述U-Net卷积网络的卷积核为三维卷积核。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述全髋关节识别模块，在所述将多个所述第一预设三维块状图像输入到所述初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络之后，还用于：对若干张所述第一预设髋关节二维横断面图像中样本股骨区域的骨皮质像素标注骨皮质区域标签，得到若干张第二预设髋关节二维横断面图像；将若干张所述第二预设髋关节二维横断面图像按顺序进行堆叠，得到对应的第二预设三维块状图；通过多个所述第二预设三维块状图，对所述训练好的三维分割神经网络的参数进行优化，得到髋关节识别模型。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述全髋关节识别模块，在所述获取待识别的全髋关节三维块状图之后，还用于：若所述待识别的全髋关节三维块状图为髋关节三维块状图，将所述髋关节三维块状图输入到所述髋关节识别模型，得到每张髋关节二维横断面图像中的股骨区域和骨皮质区域；根据所述股骨区域和所述骨皮质区域，确定髓腔区域；计算所述髓腔区域中每个髓腔层面的中点坐标，并根据所述中点坐标，将所有中心点进行直线拟合，确定髓腔解剖轴线；根据所述髓腔解剖轴线和股骨颈轴线，计算得到股骨颈干角的角度值；根据所述角度值、所述髓腔区域和股骨头旋转中心位置，确定股骨柄假体模型的类型和放置位置。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述全髋关节三维图像构建模块，在所述基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像之后，还用于：基于平面图像的质心公式，获取所述三维图像中股骨区域的股骨头中心点的像素坐标；将所述像素坐标转换为图像坐标；确定股骨头旋转中心位置；根据股骨头旋转中心位置，获取第一尺寸信息，以根据所述第一尺寸信息确定第二尺寸信息，其中，所述第一尺寸信息为股骨头对应的尺寸信息，所述第二尺寸信息为髋臼杯假体模型对应的尺寸信息。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述术前规划系统还包括：位置矫正模块，所述位置矫正模块用于对放置的股骨柄假体模型的放置位置或者髋臼杯假体模型的放置位置进行矫正，以使所述股骨柄假体模型的放置位置以及所述髋臼杯假体模型的放置位置满足预设位置要求。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述全髋关节三维图像构建模块，在根据股骨头旋转中心位置，获取第一尺寸信息时，具体用于：确定股骨头旋转中心位置与股骨头区域边缘交点；通过交点与股骨头中心位置之间的长度值，获取第一尺寸信息。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述全髋关节三维图像构建模块，在确定股骨头旋转中心位置与股骨头区域边缘交点，通过交点与股骨头中心位置之间的长度值，获取第一尺寸信息时，具体用于；确定股骨头旋转中心位置与股骨头区域边缘在不同角度下的多个交点；通过多个交点与股骨头中心位置之间的多个长度值的平均值或中值，获取第一尺寸信息。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述卷积神经网络中两个连续的三维卷积核是通过残差结构连接的，且所述卷积神经网络的损失函数是由DICE loss和BCE loss组成的。
根据本发明提供的一种基于深度学习的全髋关节置换术前规划系统，所述全髋关节识别模块，在根据所述股骨区域和所述骨皮质区域，确定髓腔区域时，具体用于：将所述股骨区域中骨皮质区域滤除，得到髓腔区域。
本发明的上述技术方案至少具有如下有益效果：
本发明提供的基于深度学习的全髋关节置换术前规划系统，通过将多张全髋关节二维横断面图像堆叠成全髋关节三维块状图，基于三维卷积核结构的卷积神经网络，对全髋关节三维块状图进行识别，有效的提取到每张全髋关节二维横断面图像的股骨区域，并根据提取得到的股骨区域进行三维建模，得到更为精准的股骨区域三维模型，以根据该股骨区域三维模型，在进行全髋关节置换术前规划时，提高全髋关节识别精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于深度学习的全髋关节置换术前规划方法的流程示意图；
图2为本发明提供的三维残差U-Net卷积神经网络的结构示意图；
图3为本发明提供的3D卷积过程的示意图；
图4为本发明提供的基于3D Res U-Net的股骨区域识别效果图；
图5为本发明提供的一种髋臼杯假体模型计划示意图；
图6为本发明提供的一种股骨柄假体模型计划示意图；
图7为本发明提供的基于3D Res U-Net的骨皮质区域识别效果图；
图8为本发明提供的另一种基于深度学习的全髋关节置换术前规划方法的流程示意图；
图9为本发明提供的基于深度学习的全髋关节置换术前规划系统的结构示意图；
图10为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的基于深度学习的全髋关节置换术前规划方法的流程示意图，如图1所示，本发明提供了一种基于深度学习的全髋关节置换术前规划方法，包括：
步骤101，获取待识别的全髋关节三维块状图，所述待识别的全髋关节三维块状图是由多张全髋关节二维横断面图像堆叠而成的。
在本发明中，首先，基于全髋关节术前规划的医学数字成像和通信(DigitalImaging and Communications in Medicine，简称DICOM)数据，构建待识别的全髋关节医学图像数据集，该图像数据集中的图像为全髋关节二维横断面图像，不同的全髋关节二维横断面图像对应不同的骨头区域，例如，髋关节二维横断面图像对应的骨头区域为股骨区域，膝关节二维横断面图像对应的骨头区域为胫骨区域(也包括一部分股骨区域)，本发明以髋关节二维横断面图像进行说明，在各个髋关节二维横断面图像中包括有骨盆区域图像、左侧股骨图像和右侧股骨图像；然后，将髋关节二维横断面DICOM数据转换成JPG格式的图片，按照横断面的采集顺序(例如，从股骨头到股骨末端)，将多张转换后的髋关节二维横断面图像堆叠成待识别的全髋关节三维块状图，即得到髋关节三维块状图。
步骤102，将所述待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，获取所述训练好的三维分割神经网络输出的每张全髋关节二维横断面图像中的股骨区域，所述训练好的三维分割神经网络是由标注有股骨区域的标签的预设三维块状图，对卷积神经网络进行训练得到的。
在本发明中，通过训练好的三维分割神经网络，对堆叠而成的髋关节三维块状图进行识别。在本发明中，用于构建三维分割神经网络的卷积神经网络的卷积核为三维卷积核，使得基于该卷积神经网络训练得到的三维分割神经网络，在进行图像分割时，可以对髋关节三维块状图的三个维度上进行特征提取，有效的提取了每个横截面之间的股骨区域特征信息，最终将股骨区域对应的三维块状图分割处理。由于三维分割神经网络在训练过程中，样本髋关节三维块状图的样本股骨区域已进行了标注，使得三维分割神经网络可直接对三维的髋关节图像进行股骨区域的识别。需要说明的是，本发明在对卷积神经网络进行训练时，将样本髋关节三维块状图中样本股骨区域的股骨头像素也进行了标注，使得模型在识别整个股骨区域的同时，还能进一步对股骨头区域进行识别，从而可快速识别髋关节中的股骨区域，节约时间成本，提高髋关节识别精度。需要说明的是，若需要对膝关节二维横断面图像进行图像识别，除了获取上述实施例提供的髋关节二维横断面图像以外，还包括膝关节二维横断面图像(可通过三维重建，构建胫骨区域和髌骨区域的三维图像)，进而通过训练好的三维分割神经网络将股骨区域分割出来，再根据分割识别得到股骨区域末端，与胫骨及髌骨区域的三维图像，确定膝关节和胫骨的假体型号和安装位置。
步骤103，基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像。
在本发明中，识别得到的股骨区域是由多张二维横断面图像堆叠而成，进而通过三维重建技术，利用多个二维图像中的关键点信息重建出三维信息，从而得到股骨三维图像。
本发明提供的基于深度学习的全髋关节置换术前规划方法，通过将多张全髋关节二维横断面图像堆叠成全髋关节三维块状图，基于三维卷积核结构的卷积神经网络，对全髋关节三维块状图进行识别，有效的提取到每张全髋关节二维横断面图像的股骨区域，并根据提取得到的股骨区域进行三维建模，得到更为精准的股骨区域三维模型，以根据该股骨区域三维模型，在进行全髋关节置换术前规划时，提高全髋关节识别结果。
在上述实施例的基础上，所述训练好的三维分割神经网络通过以下步骤得到：
将预设三维块状图像集作为训练样本，输入到初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络；
其中，所述预设三维块状图像集中包含有若干张由预设二维横断面图像进行堆叠得到的预设三维块状图像。
在本发明中，预设三维块状图中不同的髓腔对应不同的骨头区域，根据实际骨头区域分割需求，构建相应的预设三维块状图。例如，股骨头及股骨柄假体的术前规划，预设三维块状图是由髋关节二维横断面图像堆叠而成；若需要进行膝关节及胫骨假体的术前规划，则预设三维块状图除了包括髋关节二维横断面图像，还包括相应的髌骨区域和胫骨区域的二维横断面图像，通过训练好的三维分割神经网络对股骨区域识别之后，再配合现有三维重建技术，根据髌骨区域和胫骨区域的二维横断面图像，构建髌骨和胫骨的三维图像，从而为膝关节及胫骨假体的术前规划提供更为精确的图像数据。
在上述实施例的基础上，训练过程具体包括：
步骤201，获取若干张样本髋关节二维横断面图像；
步骤202，对每一张样本髋关节二维横断面图像中样本股骨区域进行标注，并对所述样本股骨区域的股骨头像素标注股骨头区域标签，得到若干张第一预设髋关节二维横断面图像；
步骤203，根据样本髋关节二维横断面的采集顺序，将若干张所述第一预设髋关节二维横断面图像进行堆叠，得到对应的第一预设三维块状图像；
步骤204，将多个所述第一预设三维块状图像输入到所述初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络；
其中，所述初始的三维分割神经网络是由U-Net卷积网络构建得到的，且所述U-Net卷积网络的卷积核为三维卷积核。
在本发明中，获取髋关节医学图像样本数据集，对样本集中的样本髋关节二维横断面图像进行手动标注样本股骨区域，只提取含有股骨部分的标签作为掩膜mask。由于本发明在提取股骨区域的同时，还可以对股骨区域的股骨头部分进行提取，因此，在标注时也对样本股骨区域中的股骨头像素进行标注，最终通过将标注后的样本髋关节二维横断面图像(即第一预设髋关节二维横断面图像)进行堆叠，从而构建得到第一预设三维块状图像。具体地，本发明将第一预设髋关节二维横断面DICOM数据转换成JPG格式的图片，同时，标注文件转换成PNG格式的图片，将其进行打乱顺序后，按照6:2:2的比例划分为训练集、验证集和测试集。由于本发明的卷积神经网络的输入图像比现有2D网络的输入图像多一个维度，即样本髋关节三维块状图(第一预设三维块状图像)是多张二维横截面图像堆叠而成的，因此，标注文件与该样本髋关节三维块状图对应，也是一个块状图。需要说明的是，在本发明中，第一预设三维块状图像是通过预先提取得到股骨部分的二维横断面堆叠而成，并在股骨部分堆叠的三维块状图上对股骨头区域进行标注，使得分割网络在训练完成之后，更加快速的将图像中的股骨头区域与背景分割。
图2为本发明提供的三维残差U-Net卷积神经网络的结构示意图，可参考图2所示，在本发明中，采用的三维残差U-Net卷积神经网络(简称3D Res UNet)是基于U-Net构建得到的，同样包含了一个Encoder(编码器)部分和一个Decoder(解码器)部分，其中，Encoder部分是用来分析整张图片并且进行特征提取与分析，而与之相对应的Decoder部分是还原特征的过程，通过对该卷积神经网络进行训练，得到的三维分割神经网络，可对待识别的三维块状图中的股骨区域进行分割，得到分割好的股骨区域块状图。
具体地，Encoder部分是由基本的残差模块ResBlock和最大池化层MaxPooling构成，其输入尺寸(Input shape)为1*8*256*256*1，ResBlock由基本的卷积块组成，包括两个连续的3D卷积核，每个3D卷积核包括两组操作：2*(conv+relu+bn)，即将3D卷积(conv)、激活函数(relu)和批量归一化(Batch Normalization，简称BN)构成一组操作，其中，3D卷积可以有效的提取到横截面之间的信息，减少误检率；激活函数可以增加模型的非线性能力，提升模型特征提取能力；批量归一化操作可以改变数据的分布，有利于网络训练时快速收敛。图3为本发明提供的3D卷积过程的示意图，可参考图3所示，由于卷积核是三维的，可以在三个维度上以一定的步长滑动，其将周围3*3*3区域的信息结合在一起形成一个点，能够提取到更丰富的特征信息。
优选地，所述卷积神经网络中两个连续的三维卷积核是通过残差结构连接的。可参考图2所示，在本发明中，两个连续的3D卷积核通过残差连接(Skip Connection)，可以防止网络退化。通过残差结构连接两个3D卷积核，将网络中的特征图经过连续卷积块作用前和作用后相加(Add)在一起，这样可以使网络在训练时自行选择合适的反向传播路径。另外，Maxpooling操作将相邻的固定大小区域的最大值作为该区域特征表示，这样做可以有效减少网络参数运算。
进一步地，Decoder部分是由上采样和卷积块(反卷积Deconv)构成。在Decoder层，会先将Encoder的特征图与上采样过后的特征图进行通道堆叠(Concat)，然后经过Decoder部分的卷积块进行反卷积，其输出尺寸(output shape)为1*8*256*256*1，其中，卷积块的构成与Encoder过程相同，此处不再赘述。
在本发明中，3D Res UNet在训练时,每一次喂入网络的样本数batch size为8，初始化学习率设置为1e-4，每隔5000个iteration(迭代)，学习率衰减为原来的0.95。优选地，在本发明中，优化器使用Adam优化器，所述卷积神经网络的损失函数是由DICE loss和BCEloss组成的(DICE loss和BCE loss分别为一种损失函数的类型)。由于使用的损失函数为DICE loss和BCE loss的融合体，这样可以避免只使用DICE loss时造成网络训练过程中的振荡现象。
进一步地，基于前期划分好的训练集、验证集和测试集，设置每迭代1000次，对训练集和验证集做一次验证，并测算模型的train loss(训练误差)和val loss(验证误差)，以及train DICE和val DICE，通过早停法来判断网络训练停止时机，得到训练好的三维分割神经网络。另外，在测试阶段，将整例样本病例的髋关节二维横断面DICOM数据和标注文件，按照顺序分别转换为JPG、PNG格式的图片，并包装成图像块(即块状图)，通过测试得到test DICE。
在上述实施例的基础上，在所述基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像之后，所述方法还包括：
基于平面图像的质心公式，获取所述三维图像中股骨区域的股骨头中心点的像素坐标；
将所述像素坐标转换为图像坐标；
确定股骨头旋转中心位置；
根据股骨头旋转中心位置，获取第一尺寸信息，以根据所述第一尺寸确定第二尺寸信息，其中，所述第一尺寸信息为股骨头对应的尺寸信息，所述第二尺寸信息为髋臼杯假体模型对应的尺寸信息。可选地，在本发明中，尺寸信息至少包括直径和半径，例如，通过获取股骨头的直径，确定髋臼杯假体模型的直径。
在本发明中，通过3D Res U-Net识别髋关节三维块状图的每个像素区域，在训练过程中，可将像素标注划分为两种属性值，分别命名0和1，其中，数值0代表背景像素，1代表股骨头像素；在完成标注之后，将标注好的图像数据传入到卷积神经网络中(即3D ResUNet)，使用卷积池化采样一直迭代学习训练。图4为本发明提供的基于3D Res U-Net的股骨区域识别效果图，如图4所示，在训练完成之后，训练好的三维分割神经网络可自动识别股骨头位置，完成股骨头区域的识别(图4中用白色线框示意标出)。最后通过三维重建，得到股骨头区域的三维图像。
在获取到股骨头区域的三维图像之后，由于三维分割神经网络输出的图像为二值图像，在二值图像中，仅有“0”和“1”两种像素值，其质量分布是均匀的，所以在识别得到股骨区域的三维图像中，质心和形心重合，根据平面图像的质心公式，可求得股骨区域的三维图像中股骨头的中心点坐标，即该三维图像中的股骨头旋转中心。具体地，设二值图像为B，则B[i，j]表示二值图像B中第i行，第j列像素的像素值，因此可使用下列公式求得三维图像中股骨区域的股骨头中心点的位置：
其中，A表示二值图像中所有像素的像素值之和，
n表示二值图像中像素的最大行数，m表示二值图像中像素的最大列数，从而可得到的股骨头中心点的像素坐标，进而将像素坐标转换为图像坐标。
具体地，图像平面坐标中心坐标为：
则像素坐标
到图像坐标(x′，y′)的变换公式为：
其中，Sx，Sy分别为图像阵列的行列间距。最后根据图像坐标，得到股骨头旋转中心在三维图像的位置，确定股骨头直径，由于股骨头直径等同于髋臼杯内圆直径，进而推算出髋臼杯假体模型的直径。示例地，股骨头直径是以股骨头中心为出发点，通过一条射线与基于本发明提供的全髋关节置换术前规划方法得到的股骨头区域边缘相交，计算交点到股骨头中心的长度，然后以一度为步长，每旋转一度计算一次，最后通过统计均值得到半径，从而得到髋臼杯假体模型的直径，保证了根据模型的识别结果确定髋臼杯假体模型的规格型号(示例的，图5为本发明提供的一种髋臼杯假体模型计划示意图)。
在上述实施例的基础上，在所述将多个所述第一预设三维块状图像输入到所述初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络之后，所述方法还包括：
对若干张所述第一预设髋关节二维横断面图像中样本股骨区域的骨皮质像素标注骨皮质区域标签，得到若干张第二预设髋关节二维横断面图像；
将若干张所述第二预设髋关节二维横断面图像按顺序进行堆叠，构建对应的第二预设三维块状图；
通过多个所述第二预设三维块状图，对所述训练好的三维分割神经网络进行微调，得到髋关节识别模型。
在本发明中，通过在第一预设髋关节二维横断面图像中标记新的标签，从而根据得到的新训练集对三维分割神经网络的参数进行优化，使得模型在识别股骨头区域的同时，还能识别骨皮质区域。
在上述实施例的基础上，在所述获取待识别的全髋关节三维块状图之后，所述方法还包括：
将所述髋关节三维块状图输入到所述髋关节识别模型，得到每张髋关节二维横断面图像中的股骨区域和骨皮质区域；
根据所述股骨区域和所述骨皮质区域，确定髓腔区域；
计算所述髓腔区域中每个髓腔层面的中点坐标，并根据所述中点坐标，将所有中心点进行直线拟合，确定髓腔解剖轴线；
根据所述髓腔解剖轴线和股骨颈轴线，计算得到股骨颈干角的角度值；
根据所述角度值、所述髓腔区域和股骨头旋转中心位置，确定股骨柄假体模型的类型和放置位置(示例的，图6为本发明提供的一种股骨柄假体模型计划示意图)。
在本发明中，参数优化后的三维分割神经网络，即髋关节识别模型，在识别图像的每个像素区域时，像素标注划分为三种属性值，分别命名0、1和2，其中，数值0代表背景像素，1代表股骨头像素，2代表骨皮质。图7为本发明提供的基于3D Res U-Net的骨皮质区域识别效果图，如图7所示，在对三维分割神经网络的参数进行优化之后，可实现同时对块状图中的股骨头和骨皮质的识别(图7中用黑色线条示意标出)。
进一步地，本发明从髋关节识别模型输出的识别结果中，截取小转子结束处直到股骨末端部位的图像，将图像中股骨区域减去骨皮质区域，得到髓腔区域。然后，从小转子结束位置以下，每横行(即从每个髋关节二维横断面中识别得到髓腔层面，每一横行指的是通过本发明分割后的髋关节二维横截面图像，经过三维重建模拟X射线投影效果图，然后在小转子结束位置的下方开始，每隔一定预设位置在该图像上画一条横线，横线与两个股骨髓腔边缘相交则会得到四个点)与髓腔交点为四个坐标，从左至右分别命名为A1，A2，B1，B2；依据两点可以求出中点，即A1(X1，Y1)，A2(X2，Y2)的中点坐标，可通过以下公式得到：
B1，B2同理可算得。每行依次算得髓腔的中点坐标，将这些点拟合成一条直线，从而确定为髓腔解剖轴线。最后，根据髓腔解剖轴线和股骨颈轴线，计算得到股骨颈干角的角度值，再结合髓腔形态和股骨头旋转中心位置，可共同确定股骨柄假体模型的型号与放置位置。具体地，股骨颈干角为髓腔解剖轴线和股骨颈轴线之间的夹角，以这些获得的参数为筛选条件，对已有的假体库进行过滤，通过模板匹配获取假体库中对应的最佳型号；进一步地，通过移动股骨柄假体，将股骨柄假体的旋转中心位置，与之前计算得到的髋臼杯旋转中心位置(即股骨头旋转中心位置)重合，得到股骨柄假体实际放置位置。本发明基于卷积神经网络识别得到股骨区域，可快速且准确的确定假体模型的规格型号和安放位置。
在确定出髋臼杯假体第二尺寸信息和股骨柄假体的型号和位置后，分别模拟将髋臼杯假体和股骨柄假体置入目标位置(如图5和图6所示)。若髋臼杯假体的的放置位置、股骨柄假体的放置位置均满足预设位置要求时，则可以输出全髋关节术前规划方案。其中，髋臼杯假体的预设位置要求例如可以是髋臼杯假体放入髋臼窝后，覆盖髋臼窝的覆盖率大于75％，股骨柄假体的预设位置要求例如可以是股骨柄假体放入髓腔后，股骨柄假体长轴与股骨长轴之间的角度小于或等于3°。
接下来，图8为本发明提供的另一种基于深度学习的全髋关节置换术前规划方法的流程示意图，参考图8，对本发明的上述技术方案进行整体说明。本发明提供的基于深度学习的全髋关节置换术前规划方法，包括：
步骤801：获取待识别的全髋关节三维块状图。
步骤802：将待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，得到每张全髋关节二维横断面图像中的股骨区域。
步骤803：基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到股骨区域的三维图像。
步骤804：确定髋臼杯假体的尺寸信息，以及股骨柄假体的类型和放置位置。
步骤805：分别将确定后髋臼杯假体和股骨柄假体放入髋臼窝和髓腔内。
步骤806：对放入的髋臼杯假体的位置或者型号，以及对股骨柄假体的位置或者型号进行矫正。
步骤807：输出全髋关节置换术前规划方案。
下面对本发明提供的基于深度学习的全髋关节置换术前规划系统进行描述，下文描述的基于深度学习的全髋关节置换术前规划系统与上文描述的基于深度学习的全髋关节置换术前规划方法可相互对应参照。
图9为本发明提供的基于深度学习的全髋关节置换术前规划系统的结构示意图，如图9所示，本发明提供了一种基于深度学习的全髋关节置换术前规划系统，包括全髋关节图像采集模块901、全髋关节识别模块902和全髋关节三维图像构建模块903，其中，全髋关节图像采集模块901用于获取待识别的全髋关节三维块状图，所述全髋关节三维块状图是由多张全髋关节二维横断面图像堆叠而成的；全髋关节识别模块902用于将所述待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，获取所述训练好的三维分割神经网络输出的每张全髋关节二维横断面图像中的股骨区域，所述训练好的三维分割神经网络是由标注有股骨区域的标签的预设三维块状图，对卷积神经网络进行训练得到的；全髋关节三维图像构建模块903用于基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像。
在本发明中，以髋关节二维横断面图像进行说明，该二维横断面图像为DICOM数据，在各个髋关节二维横断面图像中包括有骨盆区域图像、左侧股骨图像和右侧股骨图像。进一步地，全髋关节图像采集模块901将髋关节二维横断面DICOM数据转换成JPG格式的图片，按照横断面的采集顺序(例如，从股骨头到股骨末端)，将多张转换后的髋关节二维横断面图像进行堆叠，从而生成待识别的全髋关节三维块状图，即得到髋关节三维块状图。
在本发明中，全髋关节识别模块902内配置有训练好的三维分割神经网络，可对堆叠而成的髋关节三维块状图进行识别。在本发明中，用于构建三维分割神经网络的卷积神经网络的卷积核为三维卷积核，使得基于该卷积神经网络训练得到的三维分割神经网络，在进行图像分割时，可以对髋关节三维块状图的三个维度上进行特征提取，有效的提取了每个横截面之间的股骨区域特征信息，最终将股骨区域对应的三维块状图分割处理。优选地，所述卷积神经网络中两个连续的三维卷积核是通过残差结构连接的；且所述卷积神经网络的损失函数是由DICE loss和BCE loss组成的。
由于三维分割神经网络在训练过程中，样本髋关节三维块状图的股骨区域已进行了标注，使得全髋关节识别模块902中的三维分割神经网络，可直接对三维的髋关节图像进行股骨区域的识别。需要说明的是，本发明在对卷积神经网络进行训练时，将样本髋关节三维块状图中样本股骨区域的股骨头像素也进行了标注，使得全髋关节识别模块902在识别整个股骨区域的同时，还能进一步对股骨头区域进行识别，从而可快速识别髋关节中的股骨区域，节约时间成本，提高髋关节识别精度。
最后，通过全髋关节三维图像构建模块903，利用识别得到的股骨区域的关键点信息进行三维重建，得到股骨三维图像，从而在后续的全髋关节置换术前规划中，可基于该股骨三维图像确定全髋关节相关的假体尺寸类型和放置位置。
本发明提供的基于深度学习的全髋关节置换术前规划系统，通过将多张全髋关节二维横断面图像堆叠成全髋关节三维块状图，基于三维卷积核结构的卷积神经网络，对全髋关节三维块状图进行识别，有效的提取到每张全髋关节二维横断面图像的股骨区域，并根据提取得到的股骨区域进行三维建模，以根据该股骨区域三维模型，在进行全髋关节置换术前规划时，提高全髋关节识别精度。
在上述实施例的基础上，所述系统还包括训练模块，用于将预设三维块状图像集作为训练样本，输入到初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络；其中，所述预设三维块状图像集中包含有若干张由预设二维横断面图像进行堆叠得到的预设三维块状图像。
在上述实施例的基础上，所述训练模块包括样本二维横断面图像获取单元、第一标注单元、块状图第一构建单元和第一训练单元，其中，样本二维横断面图像获取单元用于获取若干张样本髋关节二维横断面图像；第一标注单元用于对每一张样本髋关节二维横断面图像中的样本股骨区域进行标注，并对所述样本股骨区域的股骨头像素标注股骨头区域标签，得到若干张第一预设髋关节二维横断面图像；块状图第一构建单元用于根据样本髋关节二维横断面的采集顺序，将若干张所述第一预设髋关节二维横断面图像进行堆叠，得到对应的第一预设三维块状图像；第一训练单元用于将多个所述第一预设三维块状图像输入到所述初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络；
其中，所述初始的三维分割神经网络是由U-Net卷积网络构建得到的，且所述U-Net卷积网络的卷积核为三维卷积核。
在上述实施例的基础上，所述系统还包括第二标注单元、块状图第二构建单元和第二训练单元，其中，第二标注单元用于对若干张所述第一预设髋关节二维横断面图像中样本股骨区域的骨皮质像素标注骨皮质区域标签，得到若干张第二预设髋关节二维横断面图像；块状图第二构建单元用于将若干张所述第二预设髋关节二维横断面图像按顺序进行堆叠，得到对应的第二预设三维块状图；第二训练单元用于通过多个所述第二预设三维块状图，对所述训练好的三维分割神经网络的参数进行优化，得到髋关节识别模型。
在上述实施例的基础上，所述系统还包括骨皮质区域识别模块、髓腔区域确定模块、髓腔解剖轴线确定模块、股骨颈干角计算模块和股骨柄假体确定模块，其中，骨皮质区域识别模块用于若所述待识别的全髋关节三维块状图为髋关节三维块状图，将所述髋关节三维块状图输入到所述髋关节识别模型，得到每张髋关节二维横断面图像中的股骨区域和骨皮质区域；髓腔区域确定模块用于根据所述股骨区域和所述骨皮质区域，确定髓腔区域；髓腔解剖轴线确定模块用于计算所述髓腔区域中每个髓腔层面的中点坐标，并根据所述中点坐标，将所有中心点进行直线拟合，确定髓腔解剖轴线；股骨颈干角计算模块用于根据所述髓腔解剖轴线和股骨颈轴线，计算得到股骨颈干角的角度值；股骨柄假体确定模块用于根据所述角度值、所述髓腔区域和股骨头旋转中心位置，确定股骨柄假体模型的类型和放置位置。
在上述实施例的基础上，所述系统还包括股骨头中心点像素坐标计算模块、坐标转换模块、股骨头旋转中心确定模块和髋臼杯假体确定模块，其中，骨头中心点像素坐标计算模块用于基于平面图像的质心公式，获取所述三维图像中股骨区域的股骨头中心点的像素坐标；坐标转换模块用于将所述像素坐标转换为图像坐标；股骨头旋转中心确定模块用于确定股骨头旋转中心位置；髋臼杯假体确定模块用于根据股骨头旋转中心位置，获取第一尺寸信息，以根据所述第一尺寸信息确定第二尺寸信息，其中，所述第一尺寸信息为股骨头对应的尺寸信息，所述第二尺寸信息为髋臼杯假体模型对应的尺寸信息。
在上述实施例的基础上，所述术前规划系统还包括：位置矫正模块，所述位置矫正模块用于对放置的股骨柄假体模型的放置位置或者髋臼杯假体模型的放置位置进行矫正，以使所述股骨柄假体模型的放置位置以及所述髋臼杯假体模型的放置位置满足预设位置要求。
在上述实施例的基础上，所述全髋关节三维图像构建模块，在根据股骨头旋转中心位置，获取第一尺寸信息时，具体用于：
确定股骨头旋转中心位置与股骨头区域边缘交点；
通过交点与股骨头中心位置之间的长度值，获取第一尺寸信息。
在上述实施例的基础上，所述全髋关节三维图像构建模块，在确定股骨头旋转中心位置与股骨头区域边缘交点，通过交点与股骨头中心位置之间的长度值，获取第一尺寸信息时，具体用于；
确定股骨头旋转中心位置与股骨头区域边缘在不同角度下的多个交点；
通过多个交点与股骨头中心位置之间的多个长度值的平均值或中值，获取第一尺寸信息。
在上述实施例的基础上，所述全髋关节识别模块，在根据所述股骨区域和所述骨皮质区域，确定髓腔区域时，具体用于：
将所述股骨区域中骨皮质区域滤除，得到髓腔区域。
本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图10为本发明提供的电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器(Processor)1001、通信接口(Communications Interface)1002、存储器(Memory)1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信。处理器1001可以调用存储器1003中的逻辑指令，以执行基于深度学习的全髋关节置换术前影像规划方法。
一种示例，所述处理器1001，用于获取待识别的全髋关节三维块状图，所述待识别的全髋关节三维块状图是由多张全髋关节二维横断面图像堆叠而成的；将所述待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，得到所述训练好的三维分割神经网络输出的每张全髋关节二维横断面图像中的股骨区域，所述训练好的三维分割神经网络是由标注有股骨区域的标签的预设三维块状图作为训练样本，对卷积神经网络进行训练得到的；基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像。
此外，上述的存储器1003中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于深度学习的全髋关节置换术前规划方法。
一种示例，获取待识别的全髋关节三维块状图，所述待识别的全髋关节三维块状图是由多张全髋关节二维横断面图像堆叠而成的；将所述待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，得到所述训练好的三维分割神经网络输出的每张全髋关节二维横断面图像中的股骨区域，所述训练好的三维分割神经网络是由标注有股骨区域的标签的预设三维块状图作为训练样本，对卷积神经网络进行训练得到的；基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于深度学习的全髋关节置换术前规划方法。
一种示例，获取待识别的全髋关节三维块状图，所述待识别的全髋关节三维块状图是由多张全髋关节二维横断面图像堆叠而成的；将所述待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，得到所述训练好的三维分割神经网络输出的每张全髋关节二维横断面图像中的股骨区域，所述训练好的三维分割神经网络是由标注有股骨区域的标签的预设三维块状图作为训练样本，对卷积神经网络进行训练得到的；基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于深度学习的全髋关节置换术前规划系统，其特征在于，包括：
全髋关节图像采集模块，用于获取待识别的全髋关节三维块状图，所述待识别的全髋关节三维块状图是由多张全髋关节二维横断面图像堆叠而成的；
全髋关节识别模块，用于将所述待识别的全髋关节三维块状图输入到训练好的三维分割神经网络中，获取所述训练好的三维分割神经网络输出的每张全髋关节二维横断面图像中的股骨区域，所述训练好的三维分割神经网络是由标注有股骨区域的标签的预设三维块状图像作为训练样本，对卷积神经网络进行训练得到的；
全髋关节三维图像构建模块，用于基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像。
2.根据权利要求1所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述全髋关节识别模块，还用于：
获取若干张样本髋关节二维横断面图像；
对每一张样本髋关节二维横断面图像中的样本股骨区域进行标注，并对所述样本股骨区域的股骨头像素标注股骨头区域标签，得到若干张第一预设髋关节二维横断面图像；
根据样本髋关节二维横断面的采集顺序，将若干张所述第一预设髋关节二维横断面图像进行堆叠，得到对应的第一预设三维块状图像；
将多个所述第一预设三维块状图像输入到初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络；
其中，所述初始的三维分割神经网络是由U-Net卷积网络构建得到的，且所述U-Net卷积网络的卷积核为三维卷积核。
3.根据权利要求2所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述全髋关节识别模块，在所述将多个所述第一预设三维块状图像输入到初始的三维分割神经网络进行训练，得到训练好的三维分割神经网络之后，还用于：
对若干张所述第一预设髋关节二维横断面图像中样本股骨区域的骨皮质像素标注骨皮质区域标签，得到若干张第二预设髋关节二维横断面图像；
将若干张所述第二预设髋关节二维横断面图像按顺序进行堆叠，得到对应的第二预设三维块状图；
通过多个所述第二预设三维块状图，对所述训练好的三维分割神经网络的参数进行优化，得到髋关节识别模型。
4.根据权利要求3所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述全髋关节识别模块，在所述获取待识别的关节三维块状图之后，还用于：
将所述髋关节三维块状图输入到所述髋关节识别模型，得到每张髋关节二维横断面图像中的股骨区域和骨皮质区域；
根据所述股骨区域和所述骨皮质区域，确定髓腔区域；
计算所述髓腔区域中每个髓腔层面的中点坐标，并根据所述中点坐标，将所有中心点进行直线拟合，确定髓腔解剖轴线；
根据所述髓腔解剖轴线和股骨颈轴线，计算得到股骨颈干角的角度值；
根据所述角度值、所述髓腔区域和股骨头旋转中心位置，确定股骨柄假体模型的类型和放置位置。
5.根据权利要求1至4任一项所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述全髋关节三维图像构建模块，在所述基于三维重建技术，根据每张全髋关节二维横断面图像中的股骨区域，得到所述股骨区域的三维图像之后，还用于：
基于平面图像的质心公式，获取所述三维图像中股骨区域的股骨头中心点的像素坐标；
将所述像素坐标转换为图像坐标；
确定股骨头旋转中心位置；
根据股骨头旋转中心位置，获取第一尺寸信息，以根据所述第一尺寸信息确定第二尺寸信息，其中，所述第一尺寸信息为股骨头对应的尺寸信息，所述第二尺寸信息为髋臼杯假体模型对应的尺寸信息。
6.根据权利要求5所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述术前规划系统还包括：位置矫正模块，所述位置矫正模块用于对放置的股骨柄假体模型的放置位置或者髋臼杯假体模型的放置位置进行矫正，以使所述股骨柄假体模型的放置位置以及所述髋臼杯假体模型的放置位置满足预设位置要求。
7.根据权利要求5所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述全髋关节三维图像构建模块，在根据股骨头旋转中心位置，获取第一尺寸信息时，具体用于：
确定股骨头旋转中心位置与股骨头区域边缘交点；
通过交点与股骨头中心位置之间的长度值，获取第一尺寸信息。
8.根据权利要求7所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述全髋关节三维图像构建模块，在确定股骨头旋转中心位置与股骨头区域边缘交点，通过交点与股骨头中心位置之间的长度值，获取第一尺寸信息时，具体用于；
确定股骨头旋转中心位置与股骨头区域边缘在不同角度下的多个交点；
通过多个交点与股骨头中心位置之间的多个长度值的平均值或中值，获取第一尺寸信息。
9.根据权利要求2所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述卷积神经网络中两个连续的三维卷积核是通过残差结构连接的，且所述卷积神经网络的损失函数是由DICE loss和BCE loss组成的。
10.根据权利要求4所述的基于深度学习的全髋关节置换术前规划系统，其特征在于，所述全髋关节识别模块，在根据所述股骨区域和所述骨皮质区域，确定髓腔区域时，具体用于：
将所述股骨区域中骨皮质区域滤除，得到髓腔区域。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210101412.9A CN114419618B (zh) | 2022-01-27 | 2022-01-27 | 基于深度学习的全髋关节置换术前规划系统 |
| PCT/CN2023/070788 WO2023142956A1 (zh) | 2022-01-27 | 2023-01-05 | 基于深度学习的全髋关节置换术前规划系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210101412.9A CN114419618B (zh) | 2022-01-27 | 2022-01-27 | 基于深度学习的全髋关节置换术前规划系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114419618A true CN114419618A (zh) | 2022-04-29 |
| CN114419618B CN114419618B (zh) | 2024-02-02 |
Family
ID=81279449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210101412.9A Active CN114419618B (zh) | 2022-01-27 | 2022-01-27 | 基于深度学习的全髋关节置换术前规划系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114419618B (zh) |
| WO (1) | WO2023142956A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115252233A (zh) * | 2022-07-28 | 2022-11-01 | 大连理工大学 | 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 |
| CN115393272A (zh) * | 2022-07-15 | 2022-11-25 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
| CN116071372A (zh) * | 2022-12-30 | 2023-05-05 | 北京长木谷医疗科技有限公司 | 膝关节分割方法、装置、电子设备及存储介质 |
| CN116128912A (zh) * | 2023-02-06 | 2023-05-16 | 北京纳通医用机器人科技有限公司 | 一种髋关节图像的分割方法、装置、设备及介质 |
| WO2023142956A1 (zh) * | 2022-01-27 | 2023-08-03 | 北京长木谷医疗科技有限公司 | 基于深度学习的全髋关节置换术前规划系统 |
| CN116597002A (zh) * | 2023-05-12 | 2023-08-15 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的股骨柄自动放置方法、装置及设备 |
| CN116650110A (zh) * | 2023-06-12 | 2023-08-29 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的膝关节假体自动放置方法及装置 |
| CN116883326A (zh) * | 2023-06-21 | 2023-10-13 | 北京长木谷医疗科技股份有限公司 | 膝关节解剖位点识别方法、装置、设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179350A (zh) * | 2020-02-13 | 2020-05-19 | 张逸凌 | 基于深度学习的髋关节图像处理方法及计算设备 |
| CN111888059A (zh) * | 2020-07-06 | 2020-11-06 | 北京长木谷医疗科技有限公司 | 基于深度学习与x线的全髋关节置换术前规划方法及装置 |
| CN111938813A (zh) * | 2020-07-21 | 2020-11-17 | 南京市第一医院 | 一种髋关节翻修手术的术前规划方法 |
| CN112971981A (zh) * | 2021-03-02 | 2021-06-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的全髋关节置换翻修术前规划方法和设备 |
| CN113017829A (zh) * | 2020-08-22 | 2021-06-25 | 张逸凌 | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 |
| CN113658142A (zh) * | 2021-08-19 | 2021-11-16 | 江苏金马扬名信息技术股份有限公司 | 一种基于改进U-Net神经网络的髋关节股骨近端分割方法 |
| CN113689402A (zh) * | 2021-08-24 | 2021-11-23 | 北京长木谷医疗科技有限公司 | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110648337A (zh) * | 2019-09-23 | 2020-01-03 | 武汉联影医疗科技有限公司 | 髋关节分割方法、装置、电子设备和存储介质 |
| CN112150473A (zh) * | 2020-09-24 | 2020-12-29 | 北京羽医甘蓝信息技术有限公司 | 基于ct的三维颌骨图像分割建模方法、装置及终端设备 |
| CN114419618B (zh) * | 2022-01-27 | 2024-02-02 | 北京长木谷医疗科技股份有限公司 | 基于深度学习的全髋关节置换术前规划系统 |
-
2022
- 2022-01-27 CN CN202210101412.9A patent/CN114419618B/zh active Active
-
2023
- 2023-01-05 WO PCT/CN2023/070788 patent/WO2023142956A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179350A (zh) * | 2020-02-13 | 2020-05-19 | 张逸凌 | 基于深度学习的髋关节图像处理方法及计算设备 |
| CN111888059A (zh) * | 2020-07-06 | 2020-11-06 | 北京长木谷医疗科技有限公司 | 基于深度学习与x线的全髋关节置换术前规划方法及装置 |
| CN111938813A (zh) * | 2020-07-21 | 2020-11-17 | 南京市第一医院 | 一种髋关节翻修手术的术前规划方法 |
| CN113017829A (zh) * | 2020-08-22 | 2021-06-25 | 张逸凌 | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 |
| CN112971981A (zh) * | 2021-03-02 | 2021-06-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的全髋关节置换翻修术前规划方法和设备 |
| CN113658142A (zh) * | 2021-08-19 | 2021-11-16 | 江苏金马扬名信息技术股份有限公司 | 一种基于改进U-Net神经网络的髋关节股骨近端分割方法 |
| CN113689402A (zh) * | 2021-08-24 | 2021-11-23 | 北京长木谷医疗科技有限公司 | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 |
Non-Patent Citations (7)
| Title |
|---|
| （丹）埃尔斯-尼尔森，（英）麦克莫罗著；封东来译: "《现代X光物理原理》", 30 April 2015, 复旦大学出版社 * |
| （美）李允植著；崔万照，李韵，史平彦等译: "《太赫兹科学与技术原理》", 30 August 2012, 国防工业出版社 * |
| 吴东，等.: "人工智能全髋关节置换术髋臼杯放置算法的实验研究", 《中华骨科杂志》 * |
| 吴东，等.: "人工智能辅助全髋关节置换术三维规划系统的研发及临床应用研究", 《中国修复重建外科杂志》 * |
| 周严谨: "融合ResNet结构的U-Net眼底视盘分割方法" * |
| 平凡的久月: "3D CNN", 《CSDN》 * |
| 雷静桃等: "机器人辅助膝关节置换术的术前规划研究综述", 《机械工程学报》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023142956A1 (zh) * | 2022-01-27 | 2023-08-03 | 北京长木谷医疗科技有限公司 | 基于深度学习的全髋关节置换术前规划系统 |
| CN115393272A (zh) * | 2022-07-15 | 2022-11-25 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
| CN115252233A (zh) * | 2022-07-28 | 2022-11-01 | 大连理工大学 | 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 |
| CN115252233B (zh) * | 2022-07-28 | 2024-04-26 | 大连理工大学 | 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 |
| CN116071372A (zh) * | 2022-12-30 | 2023-05-05 | 北京长木谷医疗科技有限公司 | 膝关节分割方法、装置、电子设备及存储介质 |
| CN116071372B (zh) * | 2022-12-30 | 2024-03-19 | 北京长木谷医疗科技股份有限公司 | 膝关节分割方法、装置、电子设备及存储介质 |
| CN116128912A (zh) * | 2023-02-06 | 2023-05-16 | 北京纳通医用机器人科技有限公司 | 一种髋关节图像的分割方法、装置、设备及介质 |
| CN116597002A (zh) * | 2023-05-12 | 2023-08-15 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的股骨柄自动放置方法、装置及设备 |
| CN116597002B (zh) * | 2023-05-12 | 2024-01-30 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的股骨柄自动放置方法、装置及设备 |
| CN116650110A (zh) * | 2023-06-12 | 2023-08-29 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的膝关节假体自动放置方法及装置 |
| CN116650110B (zh) * | 2023-06-12 | 2024-05-07 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的膝关节假体自动放置方法及装置 |
| CN116883326A (zh) * | 2023-06-21 | 2023-10-13 | 北京长木谷医疗科技股份有限公司 | 膝关节解剖位点识别方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023142956A1 (zh) | 2023-08-03 |
| CN114419618B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114419618B (zh) | 基于深度学习的全髋关节置换术前规划系统 | |
| CN110956635B (zh) | 一种肺段分割方法、装置、设备及存储介质 | |
| WO2022170768A1 (zh) | 单髁关节图像的处理方法、装置、设备和存储介质 | |
| CN111888059B (zh) | 基于深度学习与x线的全髋关节图像处理方法及装置 | |
| CN112971981B (zh) | 基于深度学习的全髋关节图像处理方法和设备 | |
| EP2996599B1 (en) | Planning methods for surgical correction of abnormal bones | |
| CN111652888B (zh) | 基于深度学习的确定髓腔解剖轴线的方法及装置 | |
| AU2020101836A4 (en) | A method for generating femoral x-ray films based on deep learning and digital reconstruction of radiological image | |
| JP5635980B2 (ja) | 画像処理、特に医療画像を処理するための方法及び装置 | |
| CN112037200A (zh) | 一种医学影像中解剖特征自动识别与模型重建方法 | |
| WO2023160272A1 (zh) | 基于深度学习的髋关节置换术后影像的评估方法及系统 | |
| CN114261095B (zh) | 一种基于ai的骨科3d打印方法和装置 | |
| CN106846346A (zh) | 基于关键帧标记的序列ct图像骨盆轮廓快速提取方法 | |
| Kodym et al. | Skull shape reconstruction using cascaded convolutional networks | |
| CN106780491A (zh) | Gvf法分割ct骨盆图像中采用的初始轮廓生成方法 | |
| CN111724389A (zh) | 髋关节ct图像分割方法、装置、存储介质和计算机设备 | |
| CN113974920B (zh) | 膝关节股骨力线确定方法和装置、电子设备、存储介质 | |
| CN114648492A (zh) | 基于深度学习的全髋关节术后偏心距的计算方法及系统 | |
| Kim et al. | Deep Learning and Computer Vision Techniques for Automated Total Hip Arthroplasty Planning on 2-D Radiographs | |
| CN113077499A (zh) | 骨盆配准方法、骨盆配准装置和骨盆配准系统 | |
| CN110378910B (zh) | 基于图谱融合的腹腔多器官分割方法及装置 | |
| CN115252233B (zh) | 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 | |
| CN115131301B (zh) | 基于深度学习的智能识别骨关节炎的方法及系统 | |
| Zhang et al. | A Spine Segmentation Method under an Arbitrary Field of View Based on 3D Swin Transformer | |
| EP4259023A1 (en) | Method for determining the screw trajectory of a pedicle bone screw |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Beijing Changmugu Medical Technology Co.,Ltd. Applicant after: Zhang Yiling Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd. Applicant before: Zhang Yiling |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |