CN115170502A - 一种基于深度学习的股骨滑车宽度测量方法 - Google Patents
一种基于深度学习的股骨滑车宽度测量方法 Download PDFInfo
- Publication number
- CN115170502A CN115170502A CN202210769176.8A CN202210769176A CN115170502A CN 115170502 A CN115170502 A CN 115170502A CN 202210769176 A CN202210769176 A CN 202210769176A CN 115170502 A CN115170502 A CN 115170502A
- Authority
- CN
- China
- Prior art keywords
- layer
- output
- data matrix
- representing
- kth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 210000000689 upper leg Anatomy 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 16
- 210000004285 patellofemoral joint Anatomy 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 57
- 238000010586 diagram Methods 0.000 claims description 51
- 230000011218 segmentation Effects 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 34
- 230000004913 activation Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000000691 measurement method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 241000282326 Felis catus Species 0.000 claims description 3
- 238000000586 desensitisation Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 101150064138 MAP1 gene Proteins 0.000 claims description 2
- 101150077939 mapA gene Proteins 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract 2
- 230000003902 lesion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的股骨滑车宽度测量方法,包括:第一步、采集人体髌股关节CT影像,构建数据集,进行数据标注和预处理;第二步、构建MSC‑Net神经网络中的编码层、中间层、解码层以及输出模块;第三步、将数据集输入网络进行训练,并通过反向传播得到最优的模型;第四步,模型输出的预测结果,经过拼接,得到股骨三维重建模型;第五步、使用测量算法对预测结果进行数据测量,得出滑车的宽度信息。本发明能将髌股关节CT切片图,通过神经网络,快速分割股骨结构,重建三维股骨模型,并结合测量算法,测出股骨滑车的宽度,从而能减少股骨滑车宽度测量的时间,并能提高准确性和可靠性。
Description
技术领域
本申请涉及医学影像和计算机辅助技术领域,具体涉及一种基于深度学习的股骨滑车分割与宽度测量方法。
背景技术
深度学习在医学影像学领域的应用是目前的研究热点,在临床与科研中得到越来越广泛的重视。传统的医学影像分析是由临床医生依据经验做出的主观判断,这不仅分析时间长,而且会有一定的主观性,导致准确性受到影响。随着医疗技术和计算机技术的发展,更多的医生利用计算机辅助技术来对患者病变部位进行分析和处理,例如使用深度学习算法快速地得到病变部位的大小,形状等,帮助医生更容易地获得病变区域的病症信息,大大地提高了分析的准确性和可靠性。
股骨滑车发育不良和骨性关节炎是临床上常见的征象,滑车假体置换是解决上述重病症的一种手术治疗方案。由于选择匹配患者滑车结构的假体,是手术最重要的环节之一,直接关系到术后的治疗效果,而我国滑车假体置换手术所使用的滑车假体多是国外进口假体,并不能很好的匹配我国患者的滑车结构,医生也只能在CT上粗略的判断患者滑车的宽度信息,不能精确的进行测量,从而会出现滑车假体不能很好的贴合患者的滑车结构,很大概率会导致置换手术出现术后并发症。
过去的十几年,传统的计算机视觉算法在医学影像分割领域占据了主流。这类方法依据的是目标颜色和背景的差异,或者目标强烈的边缘响应等。但这些基于人工设计特征或者阈值的方法通常不具备很强的普适性。对于不同的医学扫描设备,使用不同的扫描剂量,以及使用不同的窗宽和窗位都会对分割的结果造成巨大的影响。而且,基于传统的测量方式是在CPU上进行计算的,反应速度比基于GPU的深度学习技术慢许多倍,而基于深度学习的分割方法虽然已经被提出,但在股骨滑车的分割上暂时还没有被使用。
发明内容
本发明是为了解决上述现有技术存在的不足之处,提供一种基于深度学习的股骨滑车宽度测量方法,以期能够快速分割股骨结构,重建三维股骨模型,以测量股骨滑车的宽度,从而能减少测量时间,并提高准确性和可靠性。
本发明为解决问题,采用如下方案:
本发明一种基于深度学习的股骨滑车宽度测量方法的特点在于,包括以下步骤:
步骤一、采集CT影像并进行数据标注,从而构建数据集;
步骤1.1:采集多位用户的髌股关节CT影像图,并对第i个用户的CT影像图进行信息脱敏处理后再进行归一化预处理,得到第i个用户的三维CT数据矩阵Si;对所述第i个用户的CT影像图中的股骨结构进行标注,得到第i个用户的三维标签数据矩阵Mi;
步骤1.2:在深度方向分别对三维CT数据矩阵Si和三维标签数据矩阵Mi进行切片处理,相应得到第i个用户的CT切片数据矩阵集合{s1,i,…,sn,i,…sN,i}和标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i},其中,sn,i表示第i个用户的第n个CT切片数据矩阵,mn,i表示与sn,i相对应的标签切片数据矩阵,N表示切片总数;
步骤二、构建MSC-Net分割网络,包括:编码层、中间层、解码层以及输出模块;
步骤2.1:所述编码层由K个MSC模块和K-1个池化层依次交替连接组成,其中,第k级MSC模块包括:一个特征提取块Uk,两个卷积层,三个BN层和ReLU激活函数层,且所述特征提取块Uk由a1个卷积层并联而成;
当k=1时,所述第n个切片数据矩阵sn,i输入至第k级MSC模块中,并利用式(1)-式(4)得到第k级MSC模块输出的特征图将所述特征图输入至第k级池化层中,将特征图的长宽变为输入的并输出特征图其中,w表示缩放系数;
当k=2,3,…,K-1时,将特征图作为第k级MSC模块的输入,并得到相应的输出特征图并将所述特征图作为第k级池化层的输入,从而由第K-1个池化层的输出并将所述特征图作为第K级MSC模块的输入,最终得到解码层输出的特征图
式(1)-式(4)中,f表示输入数据,当k=1时,f=sn,i,当k=2,3,…,K-1时, 表示第k级MSC模块中的第1个卷积层,分别表示第k级MSC模块中的第1、2、3个BN层;分别表示第k级MSC模块中的第1、2、3个ReLu激活函数层,表示第k级MSC模块中的第1个卷积层输出的特征图,Convn,k和分别表示第k级MSC模块的特征提取块Uk中的第n个卷积层及其输出的特征图,Cat表示拼接操作,表示第k级MSC模块中的特征提取块Uk输出的特征图,表示第k级MSC模块输出的特征图,且
步骤2.2:所述中间层包括一个全局池化层,两个全连接层,一个ReLu激活函数层和一个Sigmoid函数;
式(5)中,e表示所述特征图FC1、FC2分别表示中间层的第1、2个全连接层,δ表示中间层的ReLu激活函数层,σ表示中间层的Sigmoid函数,表示权重相乘,E表示所述特征图MidResultn,i;
步骤2.3:所述解码层由K-1个解码卷积块组成;其中,第k级解码卷积块由b1个反卷积层,2b1个卷积层,BN层,RelU激活函数层组成;
当k=1时,所述特征图MidResultn,i输入至第k级解码卷积块中,并利用式(6)得到第k级解码卷积块输出的特征图UResultk;并对所述特征图UResultk与所述特征图进行拼接操作后,作为第k+1级解码卷积块的输入;
式(6)中,t表示所述特征图MidResultn,i,DConvk表示第k级解码卷积块中的反卷积层,分别表示第k级解码卷积块中的第1、2个卷积层,分别表示第k级解码卷积块中的第1、2个BN层,分别表示第1级解码卷积块中的第1、2个RelU激活函数层,T表示所述特征图UResultk;
步骤2.4:所述输出模块由一个卷积层组成;
所述特征图Result输入至输出模块后,利用式(7)得到第n个CT切片数据矩阵sn,i所对应的股骨分割数据矩阵pn,i;
pn,i=Softmax(Conv(Result)) (7)
式(7)中,Conv表示输出模块中的卷积层,Softmax表示输出模块的Softmax函数;
步骤三、训练所述分割网络;
步骤3.1:使用式(8)建立反向传播损失函数L:
步骤3.2:利用梯度下降法对MSC-Net分割网络进行训练,并计算损失函数L,当训练迭代次数达到预定的次数时训练停止,从而得到最优分割模型;
步骤四,模型输出的切片数据,经过拼接,得到股骨三维重建模型;
按照步骤一的过程对新用户的髌股关节CT影像图进行处理,利用所述最优分割模型对新用户的CT切片数据矩阵集合进行处理,并输出预测的股骨分割数据矩阵集后,再拼接回原来的尺寸,从而得到完整的股骨三维重建数据矩阵;
步骤五、使用测量算法对分割出的股骨结构进行数据测量,得出滑车的宽度信息。
步骤5.1:从标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i}中随机选取H份标签数据并输入至Faster R-CNN网络进行训练,得到训练后的Faster R-CNN网络;
步骤5.2:将所述预测的股骨分割数据矩阵集输入训练后的FasterR-CNN网络中进行目标检测,得出以股骨滑车结构为目标区域的检测框位置,并返回检测框的左下角的坐标信息(x1,y1)、右上角的坐标信息(x2,y2)以及目标区域为真实目标的可能性得分;
步骤5.3:对所有检测框进行筛选,保留可能性得分达到所设定的阈值的目标区域的检测框位置;
步骤5.4:对预测的股骨分割数据矩阵集中处于筛选后的目标区域的检测框位置内的像素点进行遍历,从而确定股骨滑车的两端最高点Q1、Q2的坐标信息,并计算Q1、Q2的体素距离v;
步骤5.5:获取新用户的髌股关节CT影像图的体素间距与真实物理间距的比例,并与体素距离v相乘,从而得出股骨滑车的真实物理宽度。
本发明一种电子设备,包括存储器以及处理器的特点在于,所述存储器用于存储支持处理器执行所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特点在于,所述计算机程序用于运行所述方法的步骤。
与现有技术相比,本发明的有益效果在于:
1、本发明将深度学习方法应用到股骨滑车的分割与宽度测量之中,提出一种可以应用于不同CT数据采集设备、不同设备扫描参数的普适股骨分割和滑车宽度测量方法,从而能快速分割股骨结构,在一定程度上减少了滑车宽度测量的时间,并且提高了准确性和可靠性。
2、本发明提出的MSC-Net网络,在编码的过程中,使用了特征提取块来进行多尺度特征提取,能够捕捉股骨结构更多的边缘信息,从而提高了分割准确度。
3、本发明在解码层使用双层卷积,能够扩大感受野范围,从而获取更多的股骨特征信息,并且双层卷积可以减少模型的参数量,提高了模型的分割能力,同时解码层的多层BN层和激活函数层能够提高模型的映射能力。
附图说明
图1为本发明流程图;
图2为本发明第k级MSC模块的结构图;
图3为本发明特征提取块Uk的结构图。
具体实施方式
本实施例中,一种基于深度学习的股骨滑车宽度测量方法,如图1所示,包括以下步骤:
步骤一、采集CT影像并进行数据标注,从而构建数据集;
步骤1.1:采集多位用户的髌股关节CT影像图,并对第i个用户的CT影像图进行信息脱敏处理后再进行归一化预处理,得到第i个用户的三维CT数据矩阵Si;对第i个用户的CT影像图中的股骨结构进行标注,得到第i个用户的三维标签数据矩阵Mi;本实施例中,采集的CT影像图均符合国际标准,体素类信息连续完整,图像拍摄及扫描数据符合临床规范,且由三位专家标注数据后进行比较,确保数据的标注准确性;数据预处理采用随机裁剪、随机旋转等方法,已达到扩充数据集的目的。
步骤1.2:在深度方向分别对三维CT数据矩阵Si和三维标签数据矩阵Mi进行切片处理,相应得到第i个用户的CT切片数据矩阵集合{s1,i,…,sn,i,…sN,i}和标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i},其中,sn,i表示第i个用户的第n个CT切片数据矩阵,mn,i表示与sn,i相对应的标签切片数据矩阵,N表示切片总数;
步骤二、构建MSC-Net分割网络,包括:编码层、中间层、解码层以及输出模块;
步骤2.1:编码层由K个MSC模块和K-1个池化层依次交替连接组成,其中,第k级MSC模块包括:一个特征提取块Uk,两个卷积层,三个BN层和ReLU激活函数层,且特征提取块Uk由a1个卷积层并联而成;本实施例中,K=5,a1=3,第k级MSC模块如图2所示,特征提取块Uk如图3所示;
当k=1时,第n个切片数据矩阵sn,i输入至第k级MSC模块中,并利用式(1)-式(4)得到第k级MSC模块输出的特征图将特征图输入至第k级池化层中,将特征图的长宽变为输入的并输出特征图其中,w表示缩放系数;本实施例中,w=2,的通道数为64;
当k=2,3,…,K-1时,将特征图作为第k级MSC模块的输入,并得到相应的输出特征图并将特征图作为第k级池化层的输入,从而由第K-1个池化层的输出并将特征图作为第K级MSC模块的输入,最终得到解码层输出的特征图本实施例中,每一级MSC模块的输入通道数分别为64、128、256、512,输出通道数为128、256、512、1024,即的通道数为1024;
式(1)-式(4)中,f表示输入数据,当k=1时,f=sn,i,当k=2,3,…,K-1时, 表示第k级MSC模块中的第1个卷积层,分别表示第k级MSC模块中的第1、2、3个BN层;分别表示第k级MSC模块中的第1、2、3个ReLu激活函数层,表示第k级MSC模块中的第1个卷积层输出的特征图,Convn,k和分别表示第k级MSC模块的特征提取块Uk中的第n个卷积层及其输出的特征图,Cat表示拼接操作,表示第k级MSC模块中的特征提取块Uk输出的特征图,表示第k级MSC模块输出的特征图,且本实施例中,Conv1,k、Conv2,k、Conv3,k的卷积核大小分别为3、5、7,步长均为1;和卷积核大小为1,步长为1,Cat拼接操作采用的是在特征图的通道层面上进行拼接;
步骤2.2:中间层包括一个全局池化层,两个全连接层,一个ReLu激活函数层和一个Sigmoid函数;
式(5)中,e表示特征图FC1、FC2分别表示中间层的第1、2个全连接层,δ表示中间层的ReLu激活函数层,σ表示中间层的Sigmoid函数,表示权重相乘,E表示特征图MidResultn,i;本实施例中,MidResultn,i的通道数为1024;
步骤2.3:解码层由K-1个解码卷积块组成;其中,第k级解码卷积块由b1个反卷积层,2b1个卷积层,BN层,RelU激活函数层组成;本实施例中,b1=1;
当k=1时,特征图MidResultn,i输入至第k级解码卷积块中,并利用式(6)得到第k级解码卷积块输出的特征图UResultk;并对特征图UResultk与特征图进行拼接操作后,作为第k+1级解码卷积块的输入;本实施例中,UResultk的通道数为64,拼接操作为在通道层面上进行Concat操作;
当k=2,3,…K-1时,对特征图UResultk与特征图进行拼接操作后,作为第k+1级解码卷积块的输入,从而由第K-1级解码卷积块得到解码层最终输出的特征图Result;本实施例中,每一级解码卷积块的输入通道数分别为512、256、128、64,输出通道数分别为256、128、64、32,即Result的通道数为32;
式(6)中,t表示特征图MidResultn,i,DConvk表示第k级解码卷积块中的反卷积层,分别表示第k级解码卷积块中的第1、2个卷积层,分别表示第k级解码卷积块中的第1、2个BN层,分别表示第1级解码卷积块中的第1、2个RelU激活函数层,T表示特征图UResultk;本实施例中,DConvk是转置卷积,卷积核大小为2,步长为2;的卷积核大小为3,步长为1,填充(padding)为1;
步骤2.4:输出模块由一个卷积层组成;
特征图Result输入至输出模块后,利用式(7)得到第n个CT切片数据矩阵sn,i所对应的股骨分割数据矩阵pn,i;
pn,i=Softmax(Conv(Result)) (7)
式(7)中,Conv表示输出模块中的卷积层,Softmax表示输出模块的Softmax函数;本实施例中,Conv的卷积核大小为3,输出通道数为1,即表示预测的结果为股骨结构的概率值;
步骤三、训练分割网络;
步骤3.1:使用式(8)建立反向传播损失函数L:
步骤3.2:利用梯度下降法对MSC-Net分割网络进行训练,并计算损失函数L,当训练迭代次数达到预定的次数时训练停止,从而得到最优分割模型;本实施例中,使用的优化器为Adam优化器,学习率初始值为0.0001,训练的epoch为1000次;
步骤四,模型输出的切片数据,经过拼接,得到股骨三维重建模型;
按照步骤一的过程对新用户的髌股关节CT影像图进行处理,利用最优分割模型对新用户的CT切片数据矩阵集合进行处理,并输出预测的股骨分割数据矩阵集后,再拼接回原来的尺寸,从而得到完整的股骨三维重建数据矩阵;
步骤五、使用测量算法对分割出的股骨结构进行数据测量,得出滑车的宽度信息。
步骤5.1:从标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i}中随机选取H份标签数据并输入至Faster R-CNN网络进行训练,得到训练后的Faster R-CNN网络;本实施例中,H=500;
步骤5.2:将预测的股骨分割数据矩阵集输入训练后的FasterR-CNN网络中进行目标检测,得出以股骨滑车结构为目标区域的检测框位置,并返回检测框的左下角及右上角的坐标信息x1,y1)、(x2,y2)以及目标区域为真实目标的可能性得分;
步骤5.3:对所有检测框进行筛选,保留可能性得分达到所设定的阈值的目标区域的检测框位置;本实施例中,设置的阈值大小为0.95;
步骤5.4:对预测的股骨分割数据矩阵集中处于筛选后的目标区域的检测框位置内的像素点进行遍历,从而确定股骨滑车的两端最高点Q1、Q2的坐标信息,并计算Q1、Q2的体素距离v;
步骤5.5:获取新用户的髌股关节CT影像图的体素间距与真实物理间距的比例,并与体素距离v相乘,从而得出股骨滑车的真实物理宽度。
本实施例中,一种电子设备,包括存储器以及处理器,其中,存储器用于存储支持处理器执行基于深度学习的股骨滑车宽度测量方法的程序,处理器被配置为用于执行所述存储器中存储的程序。
本实施例中,一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序用于运行基于深度学习的股骨滑车宽度测量方法的步骤。
Claims (3)
1.一种基于深度学习的股骨滑车宽度测量方法,其特征在于,包括以下步骤:
步骤一、采集CT影像并进行数据标注,从而构建数据集;
步骤1.1:采集多位用户的髌股关节CT影像图,并对第i个用户的CT影像图进行信息脱敏处理后再进行归一化预处理,得到第i个用户的三维CT数据矩阵Si;对所述第i个用户的CT影像图中的股骨结构进行标注,得到第i个用户的三维标签数据矩阵Mi;
步骤1.2:在深度方向分别对三维CT数据矩阵Si和三维标签数据矩阵Mi进行切片处理,相应得到第i个用户的CT切片数据矩阵集合{s1,i,…,sn,i,…sN,i}和标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i},其中,sn,i表示第i个用户的第n个CT切片数据矩阵,mn,i表示与sn,i相对应的标签切片数据矩阵,N表示切片总数;
步骤二、构建MSC-Net分割网络,包括:编码层、中间层、解码层以及输出模块;
步骤2.1:所述编码层由K个MSC模块和K-1个池化层依次交替连接组成,其中,第k级MSC模块包括:一个特征提取块Uk,两个卷积层,三个BN层和ReLU激活函数层,且所述特征提取块Uk由a1个卷积层并联而成;
当k=1时,所述第n个切片数据矩阵sn,i输入至第k级MSC模块中,并利用式(1)-式(4)得到第k级MSC模块输出的特征图将所述特征图输入至第k级池化层中,将特征图的长宽变为输入的并输出特征图其中,w表示缩放系数;
当k=2,3,…,K-1时,将特征图作为第k级MSC模块的输入,并得到相应的输出特征图并将所述特征图作为第k级池化层的输入,从而由第K-1个池化层的输出并将所述特征图作为第K级MSC模块的输入,最终得到解码层输出的特征图
式(1)-式(4)中,f表示输入数据,当k=1时,f=sn,i,当k=2,3,…,K-1时, 表示第k级MSC模块中的第1个卷积层,分别表示第k级MSC模块中的第1、2、3个BN层;分别表示第k级MSC模块中的第1、2、3个ReLu激活函数层,表示第k级MSC模块中的第1个卷积层输出的特征图,Convn,k和分别表示第k级MSC模块的特征提取块Uk中的第n个卷积层及其输出的特征图,Cat表示拼接操作,表示第k级MSC模块中的特征提取块Uk输出的特征图,表示第k级MSC模块输出的特征图,且
步骤2.2:所述中间层包括一个全局池化层,两个全连接层,一个ReLu激活函数层和一个Sigmoid函数;
式(5)中,e表示所述特征图FC1、FC2分别表示中间层的第1、2个全连接层,δ表示中间层的ReLu激活函数层,σ表示中间层的Sigmoid函数,表示权重相乘,E表示所述特征图MidResultn,i;
步骤2.3:所述解码层由K-1个解码卷积块组成;其中,第k级解码卷积块由b1个反卷积层,2b1个卷积层,BN层,RelU激活函数层组成;
当k=1时,所述特征图MidResultn,i输入至第k级解码卷积块中,并利用式(6)得到第k级解码卷积块输出的特征图UResultk;并对所述特征图UResultk与所述特征图进行拼接操作后,作为第k+1级解码卷积块的输入;
式(6)中,t表示所述特征图MidResultn,i,DConvk表示第k级解码卷积块中的反卷积层,分别表示第k级解码卷积块中的第1、2个卷积层,分别表示第k级解码卷积块中的第1、2个BN层,分别表示第1级解码卷积块中的第1、2个RelU激活函数层,T表示所述特征图UResultk;
步骤2.4:所述输出模块由一个卷积层组成;
所述特征图Result输入至输出模块后,利用式(7)得到第n个CT切片数据矩阵sn,i所对应的股骨分割数据矩阵pn,i;
pn,i=Softmax(Conv(Result)) (7)
式(7)中,Conv表示输出模块中的卷积层,Softmax表示输出模块的Softmax函数;
步骤三、训练所述分割网络;
步骤3.1:使用式(8)建立反向传播损失函数L:
步骤3.2:利用梯度下降法对MSC-Net分割网络进行训练,并计算损失函数L,当训练迭代次数达到预定的次数时训练停止,从而得到最优分割模型;
步骤四,模型输出的切片数据,经过拼接,得到股骨三维重建模型;
按照步骤一的过程对新用户的髌股关节CT影像图进行处理,利用所述最优分割模型对新用户的CT切片数据矩阵集合进行处理,并输出预测的股骨分割数据矩阵集后,再拼接回原来的尺寸,从而得到完整的股骨三维重建数据矩阵;
步骤五、使用测量算法对分割出的股骨结构进行数据测量,得出滑车的宽度信息。
步骤5.1:从标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i}中随机选取H份标签数据并输入至Faster R-CNN网络进行训练,得到训练后的Faster R-CNN网络;
步骤5.2:将所述预测的股骨分割数据矩阵集输入训练后的FasterR-CNN网络中进行目标检测,得出以股骨滑车结构为目标区域的检测框位置,并返回检测框的左下角的坐标信息(x1,y1)、右上角的坐标信息(x2,y2)以及目标区域为真实目标的可能性得分;
步骤5.3:对所有检测框进行筛选,保留可能性得分达到所设定的阈值的目标区域的检测框位置;
步骤5.4:对预测的股骨分割数据矩阵集中处于筛选后的目标区域的检测框位置内的像素点进行遍历,从而确定股骨滑车的两端最高点Q1、Q2的坐标信息,并计算Q1、Q2的体素距离v;
步骤5.5:获取新用户的髌股关节CT影像图的体素间距与真实物理间距的比例,并与体素距离v相乘,从而得出股骨滑车的真实物理宽度。
2.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序用于运行权利要求1所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210769176.8A CN115170502A (zh) | 2022-06-30 | 2022-06-30 | 一种基于深度学习的股骨滑车宽度测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210769176.8A CN115170502A (zh) | 2022-06-30 | 2022-06-30 | 一种基于深度学习的股骨滑车宽度测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115170502A true CN115170502A (zh) | 2022-10-11 |
Family
ID=83489297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210769176.8A Pending CN115170502A (zh) | 2022-06-30 | 2022-06-30 | 一种基于深度学习的股骨滑车宽度测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115170502A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116773534A (zh) * | 2023-08-15 | 2023-09-19 | 宁德思客琦智能装备有限公司 | 一种检测方法及装置、电子设备、计算机可读介质 |
-
2022
- 2022-06-30 CN CN202210769176.8A patent/CN115170502A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116773534A (zh) * | 2023-08-15 | 2023-09-19 | 宁德思客琦智能装备有限公司 | 一种检测方法及装置、电子设备、计算机可读介质 |
CN116773534B (zh) * | 2023-08-15 | 2024-03-05 | 宁德思客琦智能装备有限公司 | 一种检测方法及装置、电子设备、计算机可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11615879B2 (en) | System and method for automated labeling and annotating unstructured medical datasets | |
CN111709953B (zh) | Ct影像的肺叶段分割中的输出方法、装置 | |
CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN105931226A (zh) | 基于深度学习的自适应椭圆拟合细胞自动检测分割方法 | |
CN108205806B (zh) | 一种锥束ct图像三维颅面结构的自动解析方法 | |
CN109829880A (zh) | 一种基于深度学习的ct图像检测方法、装置和控制设备 | |
CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
CN107203989A (zh) | 基于全卷积神经网络的端对端胸部ct图像分割方法 | |
CN108038513A (zh) | 一种肝脏超声图像的特征分类方法 | |
CN111008974A (zh) | 多模型融合的股骨颈骨折区域定位和分割方法及系统 | |
CN111242956A (zh) | 基于U-Net超声胎心和胎肺深度学习联合分割方法 | |
CN104545999B (zh) | 一种超声图像膀胱容积测量方法及装置 | |
CN113034507A (zh) | 基于ccta影像的冠状动脉三维分割方法 | |
CN111754534A (zh) | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 | |
CN109003280B (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
CN115170502A (zh) | 一种基于深度学习的股骨滑车宽度测量方法 | |
CN113313714B (zh) | 一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法 | |
CN117474933A (zh) | 一种基于空洞卷积注意力机制的医学图像分割方法 | |
CN112927203A (zh) | 基于多序列mri全局信息的胶质瘤患者术后生存期预测方法 | |
CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 | |
CN116468103A (zh) | 一种肺结节良恶性识别模型训练方法、应用方法和系统 | |
CN115359002A (zh) | 一种颈动脉超声图像斑块自动检测系统及方法 | |
CN112581513B (zh) | 锥束计算机断层扫描图像特征提取与对应方法 | |
CN110705570B (zh) | 一种图像特征识别方法 | |
Sacharisa et al. | Enhanced Spine Segmentation in Scoliosis X-ray Images via U-Net. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |