CN115170502A - 一种基于深度学习的股骨滑车宽度测量方法 - Google Patents

一种基于深度学习的股骨滑车宽度测量方法 Download PDF

Info

Publication number
CN115170502A
CN115170502A CN202210769176.8A CN202210769176A CN115170502A CN 115170502 A CN115170502 A CN 115170502A CN 202210769176 A CN202210769176 A CN 202210769176A CN 115170502 A CN115170502 A CN 115170502A
Authority
CN
China
Prior art keywords
layer
output
data matrix
representing
kth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210769176.8A
Other languages
English (en)
Inventor
谭大禹
姚致远
戴益科
周晓平
花林枫
丁睿
苏延森
郑春厚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210769176.8A priority Critical patent/CN115170502A/zh
Publication of CN115170502A publication Critical patent/CN115170502A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的股骨滑车宽度测量方法,包括:第一步、采集人体髌股关节CT影像,构建数据集,进行数据标注和预处理;第二步、构建MSC‑Net神经网络中的编码层、中间层、解码层以及输出模块;第三步、将数据集输入网络进行训练,并通过反向传播得到最优的模型;第四步,模型输出的预测结果,经过拼接,得到股骨三维重建模型;第五步、使用测量算法对预测结果进行数据测量,得出滑车的宽度信息。本发明能将髌股关节CT切片图,通过神经网络,快速分割股骨结构,重建三维股骨模型,并结合测量算法,测出股骨滑车的宽度,从而能减少股骨滑车宽度测量的时间,并能提高准确性和可靠性。

Description

一种基于深度学习的股骨滑车宽度测量方法
技术领域
本申请涉及医学影像和计算机辅助技术领域,具体涉及一种基于深度学习的股骨滑车分割与宽度测量方法。
背景技术
深度学习在医学影像学领域的应用是目前的研究热点,在临床与科研中得到越来越广泛的重视。传统的医学影像分析是由临床医生依据经验做出的主观判断,这不仅分析时间长,而且会有一定的主观性,导致准确性受到影响。随着医疗技术和计算机技术的发展,更多的医生利用计算机辅助技术来对患者病变部位进行分析和处理,例如使用深度学习算法快速地得到病变部位的大小,形状等,帮助医生更容易地获得病变区域的病症信息,大大地提高了分析的准确性和可靠性。
股骨滑车发育不良和骨性关节炎是临床上常见的征象,滑车假体置换是解决上述重病症的一种手术治疗方案。由于选择匹配患者滑车结构的假体,是手术最重要的环节之一,直接关系到术后的治疗效果,而我国滑车假体置换手术所使用的滑车假体多是国外进口假体,并不能很好的匹配我国患者的滑车结构,医生也只能在CT上粗略的判断患者滑车的宽度信息,不能精确的进行测量,从而会出现滑车假体不能很好的贴合患者的滑车结构,很大概率会导致置换手术出现术后并发症。
过去的十几年,传统的计算机视觉算法在医学影像分割领域占据了主流。这类方法依据的是目标颜色和背景的差异,或者目标强烈的边缘响应等。但这些基于人工设计特征或者阈值的方法通常不具备很强的普适性。对于不同的医学扫描设备,使用不同的扫描剂量,以及使用不同的窗宽和窗位都会对分割的结果造成巨大的影响。而且,基于传统的测量方式是在CPU上进行计算的,反应速度比基于GPU的深度学习技术慢许多倍,而基于深度学习的分割方法虽然已经被提出,但在股骨滑车的分割上暂时还没有被使用。
发明内容
本发明是为了解决上述现有技术存在的不足之处,提供一种基于深度学习的股骨滑车宽度测量方法,以期能够快速分割股骨结构,重建三维股骨模型,以测量股骨滑车的宽度,从而能减少测量时间,并提高准确性和可靠性。
本发明为解决问题,采用如下方案:
本发明一种基于深度学习的股骨滑车宽度测量方法的特点在于,包括以下步骤:
步骤一、采集CT影像并进行数据标注,从而构建数据集;
步骤1.1:采集多位用户的髌股关节CT影像图,并对第i个用户的CT影像图进行信息脱敏处理后再进行归一化预处理,得到第i个用户的三维CT数据矩阵Si;对所述第i个用户的CT影像图中的股骨结构进行标注,得到第i个用户的三维标签数据矩阵Mi
步骤1.2:在深度方向分别对三维CT数据矩阵Si和三维标签数据矩阵Mi进行切片处理,相应得到第i个用户的CT切片数据矩阵集合{s1,i,…,sn,i,…sN,i}和标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i},其中,sn,i表示第i个用户的第n个CT切片数据矩阵,mn,i表示与sn,i相对应的标签切片数据矩阵,N表示切片总数;
步骤二、构建MSC-Net分割网络,包括:编码层、中间层、解码层以及输出模块;
步骤2.1:所述编码层由K个MSC模块和K-1个池化层依次交替连接组成,其中,第k级MSC模块包括:一个特征提取块Uk,两个卷积层,三个BN层和ReLU激活函数层,且所述特征提取块Uk由a1个卷积层并联而成;
当k=1时,所述第n个切片数据矩阵sn,i输入至第k级MSC模块中,并利用式(1)-式(4)得到第k级MSC模块输出的特征图
Figure BDA0003723313100000021
将所述特征图
Figure BDA0003723313100000022
输入至第k级池化层中,将特征图
Figure BDA0003723313100000023
的长宽变为输入的
Figure BDA0003723313100000024
并输出特征图
Figure BDA0003723313100000025
其中,w表示缩放系数;
当k=2,3,…,K-1时,将特征图
Figure BDA0003723313100000026
作为第k级MSC模块的输入,并得到相应的输出特征图
Figure BDA0003723313100000027
并将所述特征图
Figure BDA0003723313100000028
作为第k级池化层的输入,从而由第K-1个池化层的输出
Figure BDA0003723313100000029
并将所述特征图
Figure BDA00037233131000000210
作为第K级MSC模块的输入,最终得到解码层输出的特征图
Figure BDA00037233131000000211
Figure BDA00037233131000000212
Figure BDA00037233131000000213
Figure BDA00037233131000000214
Figure BDA00037233131000000215
式(1)-式(4)中,f表示输入数据,当k=1时,f=sn,i,当k=2,3,…,K-1时,
Figure BDA00037233131000000216
Figure BDA00037233131000000217
表示第k级MSC模块中的第1个卷积层,
Figure BDA00037233131000000218
分别表示第k级MSC模块中的第1、2、3个BN层;
Figure BDA00037233131000000219
分别表示第k级MSC模块中的第1、2、3个ReLu激活函数层,
Figure BDA00037233131000000220
表示第k级MSC模块中的第1个卷积层输出的特征图,Convn,k
Figure BDA00037233131000000221
分别表示第k级MSC模块的特征提取块Uk中的第n个卷积层及其输出的特征图,Cat表示拼接操作,
Figure BDA0003723313100000031
表示第k级MSC模块中的特征提取块Uk输出的特征图,
Figure BDA0003723313100000032
表示第k级MSC模块输出的特征图,且
Figure BDA0003723313100000033
步骤2.2:所述中间层包括一个全局池化层,两个全连接层,一个ReLu激活函数层和一个Sigmoid函数;
所述特征图
Figure BDA0003723313100000034
输入至中间层中,并利用式(5)得到中间层输出的特征图MidResultn,i
Figure BDA0003723313100000035
式(5)中,e表示所述特征图
Figure BDA0003723313100000036
FC1、FC2分别表示中间层的第1、2个全连接层,δ表示中间层的ReLu激活函数层,σ表示中间层的Sigmoid函数,
Figure BDA0003723313100000037
表示权重相乘,E表示所述特征图MidResultn,i
步骤2.3:所述解码层由K-1个解码卷积块组成;其中,第k级解码卷积块由b1个反卷积层,2b1个卷积层,BN层,RelU激活函数层组成;
当k=1时,所述特征图MidResultn,i输入至第k级解码卷积块中,并利用式(6)得到第k级解码卷积块输出的特征图UResultk;并对所述特征图UResultk与所述特征图
Figure BDA0003723313100000038
进行拼接操作后,作为第k+1级解码卷积块的输入;
当k=2,3,…K-1时,对所述特征图UResultk与特征图
Figure BDA0003723313100000039
进行拼接操作后,作为第k+1级解码卷积块的输入,从而由第K-1级解码卷积块得到所述解码层最终输出的特征图Result;
Figure BDA00037233131000000310
式(6)中,t表示所述特征图MidResultn,i,DConvk表示第k级解码卷积块中的反卷积层,
Figure BDA00037233131000000311
分别表示第k级解码卷积块中的第1、2个卷积层,
Figure BDA00037233131000000312
分别表示第k级解码卷积块中的第1、2个BN层,
Figure BDA00037233131000000313
分别表示第1级解码卷积块中的第1、2个RelU激活函数层,T表示所述特征图UResultk
步骤2.4:所述输出模块由一个卷积层组成;
所述特征图Result输入至输出模块后,利用式(7)得到第n个CT切片数据矩阵sn,i所对应的股骨分割数据矩阵pn,i
pn,i=Softmax(Conv(Result)) (7)
式(7)中,Conv表示输出模块中的卷积层,Softmax表示输出模块的Softmax函数;
步骤三、训练所述分割网络;
步骤3.1:使用式(8)建立反向传播损失函数L:
Figure BDA0003723313100000041
式(8)中,R为股骨分割数据矩阵pn,i的像素数,
Figure BDA0003723313100000042
表示股骨分割数据矩阵pn,i中第z个像素点的预测概率值,
Figure BDA0003723313100000043
表示标签切片数据矩阵mn,i中第z个像素点的标签值,ω为权重值;
步骤3.2:利用梯度下降法对MSC-Net分割网络进行训练,并计算损失函数L,当训练迭代次数达到预定的次数时训练停止,从而得到最优分割模型;
步骤四,模型输出的切片数据,经过拼接,得到股骨三维重建模型;
按照步骤一的过程对新用户的髌股关节CT影像图进行处理,利用所述最优分割模型对新用户的CT切片数据矩阵集合进行处理,并输出预测的股骨分割数据矩阵集后,再拼接回原来的尺寸,从而得到完整的股骨三维重建数据矩阵;
步骤五、使用测量算法对分割出的股骨结构进行数据测量,得出滑车的宽度信息。
步骤5.1:从标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i}中随机选取H份标签数据并输入至Faster R-CNN网络进行训练,得到训练后的Faster R-CNN网络;
步骤5.2:将所述预测的股骨分割数据矩阵集输入训练后的FasterR-CNN网络中进行目标检测,得出以股骨滑车结构为目标区域的检测框位置,并返回检测框的左下角的坐标信息(x1,y1)、右上角的坐标信息(x2,y2)以及目标区域为真实目标的可能性得分;
步骤5.3:对所有检测框进行筛选,保留可能性得分达到所设定的阈值的目标区域的检测框位置;
步骤5.4:对预测的股骨分割数据矩阵集中处于筛选后的目标区域的检测框位置内的像素点进行遍历,从而确定股骨滑车的两端最高点Q1、Q2的坐标信息,并计算Q1、Q2的体素距离v;
步骤5.5:获取新用户的髌股关节CT影像图的体素间距与真实物理间距的比例,并与体素距离v相乘,从而得出股骨滑车的真实物理宽度。
本发明一种电子设备,包括存储器以及处理器的特点在于,所述存储器用于存储支持处理器执行所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特点在于,所述计算机程序用于运行所述方法的步骤。
与现有技术相比,本发明的有益效果在于:
1、本发明将深度学习方法应用到股骨滑车的分割与宽度测量之中,提出一种可以应用于不同CT数据采集设备、不同设备扫描参数的普适股骨分割和滑车宽度测量方法,从而能快速分割股骨结构,在一定程度上减少了滑车宽度测量的时间,并且提高了准确性和可靠性。
2、本发明提出的MSC-Net网络,在编码的过程中,使用了特征提取块来进行多尺度特征提取,能够捕捉股骨结构更多的边缘信息,从而提高了分割准确度。
3、本发明在解码层使用双层卷积,能够扩大感受野范围,从而获取更多的股骨特征信息,并且双层卷积可以减少模型的参数量,提高了模型的分割能力,同时解码层的多层BN层和激活函数层能够提高模型的映射能力。
附图说明
图1为本发明流程图;
图2为本发明第k级MSC模块的结构图;
图3为本发明特征提取块Uk的结构图。
具体实施方式
本实施例中,一种基于深度学习的股骨滑车宽度测量方法,如图1所示,包括以下步骤:
步骤一、采集CT影像并进行数据标注,从而构建数据集;
步骤1.1:采集多位用户的髌股关节CT影像图,并对第i个用户的CT影像图进行信息脱敏处理后再进行归一化预处理,得到第i个用户的三维CT数据矩阵Si;对第i个用户的CT影像图中的股骨结构进行标注,得到第i个用户的三维标签数据矩阵Mi;本实施例中,采集的CT影像图均符合国际标准,体素类信息连续完整,图像拍摄及扫描数据符合临床规范,且由三位专家标注数据后进行比较,确保数据的标注准确性;数据预处理采用随机裁剪、随机旋转等方法,已达到扩充数据集的目的。
步骤1.2:在深度方向分别对三维CT数据矩阵Si和三维标签数据矩阵Mi进行切片处理,相应得到第i个用户的CT切片数据矩阵集合{s1,i,…,sn,i,…sN,i}和标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i},其中,sn,i表示第i个用户的第n个CT切片数据矩阵,mn,i表示与sn,i相对应的标签切片数据矩阵,N表示切片总数;
步骤二、构建MSC-Net分割网络,包括:编码层、中间层、解码层以及输出模块;
步骤2.1:编码层由K个MSC模块和K-1个池化层依次交替连接组成,其中,第k级MSC模块包括:一个特征提取块Uk,两个卷积层,三个BN层和ReLU激活函数层,且特征提取块Uk由a1个卷积层并联而成;本实施例中,K=5,a1=3,第k级MSC模块如图2所示,特征提取块Uk如图3所示;
当k=1时,第n个切片数据矩阵sn,i输入至第k级MSC模块中,并利用式(1)-式(4)得到第k级MSC模块输出的特征图
Figure BDA0003723313100000061
将特征图
Figure BDA0003723313100000062
输入至第k级池化层中,将特征图
Figure BDA0003723313100000063
的长宽变为输入的
Figure BDA0003723313100000064
并输出特征图
Figure BDA0003723313100000065
其中,w表示缩放系数;本实施例中,w=2,
Figure BDA0003723313100000066
的通道数为64;
当k=2,3,…,K-1时,将特征图
Figure BDA0003723313100000067
作为第k级MSC模块的输入,并得到相应的输出特征图
Figure BDA0003723313100000068
并将特征图
Figure BDA0003723313100000069
作为第k级池化层的输入,从而由第K-1个池化层的输出
Figure BDA00037233131000000610
并将特征图
Figure BDA00037233131000000611
作为第K级MSC模块的输入,最终得到解码层输出的特征图
Figure BDA00037233131000000612
本实施例中,每一级MSC模块的输入通道数分别为64、128、256、512,输出通道数为128、256、512、1024,即
Figure BDA00037233131000000613
的通道数为1024;
Figure BDA00037233131000000614
Figure BDA00037233131000000615
Figure BDA00037233131000000616
Figure BDA00037233131000000617
式(1)-式(4)中,f表示输入数据,当k=1时,f=sn,i,当k=2,3,…,K-1时,
Figure BDA00037233131000000618
Figure BDA00037233131000000619
表示第k级MSC模块中的第1个卷积层,
Figure BDA00037233131000000620
分别表示第k级MSC模块中的第1、2、3个BN层;
Figure BDA00037233131000000621
分别表示第k级MSC模块中的第1、2、3个ReLu激活函数层,
Figure BDA00037233131000000622
表示第k级MSC模块中的第1个卷积层输出的特征图,Convn,k
Figure BDA00037233131000000623
分别表示第k级MSC模块的特征提取块Uk中的第n个卷积层及其输出的特征图,Cat表示拼接操作,
Figure BDA00037233131000000624
表示第k级MSC模块中的特征提取块Uk输出的特征图,
Figure BDA00037233131000000625
表示第k级MSC模块输出的特征图,且
Figure BDA00037233131000000626
本实施例中,Conv1,k、Conv2,k、Conv3,k的卷积核大小分别为3、5、7,步长均为1;
Figure BDA00037233131000000627
Figure BDA00037233131000000628
卷积核大小为1,步长为1,Cat拼接操作采用的是在特征图的通道层面上进行拼接;
步骤2.2:中间层包括一个全局池化层,两个全连接层,一个ReLu激活函数层和一个Sigmoid函数;
特征图
Figure BDA0003723313100000071
输入至中间层中,并利用式(5)得到中间层输出的特征图MidResultn,i
Figure BDA0003723313100000072
式(5)中,e表示特征图
Figure BDA0003723313100000073
FC1、FC2分别表示中间层的第1、2个全连接层,δ表示中间层的ReLu激活函数层,σ表示中间层的Sigmoid函数,
Figure BDA0003723313100000074
表示权重相乘,E表示特征图MidResultn,i;本实施例中,MidResultn,i的通道数为1024;
步骤2.3:解码层由K-1个解码卷积块组成;其中,第k级解码卷积块由b1个反卷积层,2b1个卷积层,BN层,RelU激活函数层组成;本实施例中,b1=1;
当k=1时,特征图MidResultn,i输入至第k级解码卷积块中,并利用式(6)得到第k级解码卷积块输出的特征图UResultk;并对特征图UResultk与特征图
Figure BDA0003723313100000075
进行拼接操作后,作为第k+1级解码卷积块的输入;本实施例中,UResultk的通道数为64,拼接操作为在通道层面上进行Concat操作;
当k=2,3,…K-1时,对特征图UResultk与特征图
Figure BDA0003723313100000076
进行拼接操作后,作为第k+1级解码卷积块的输入,从而由第K-1级解码卷积块得到解码层最终输出的特征图Result;本实施例中,每一级解码卷积块的输入通道数分别为512、256、128、64,输出通道数分别为256、128、64、32,即Result的通道数为32;
Figure BDA0003723313100000077
式(6)中,t表示特征图MidResultn,i,DConvk表示第k级解码卷积块中的反卷积层,
Figure BDA0003723313100000078
分别表示第k级解码卷积块中的第1、2个卷积层,
Figure BDA0003723313100000079
分别表示第k级解码卷积块中的第1、2个BN层,
Figure BDA00037233131000000710
分别表示第1级解码卷积块中的第1、2个RelU激活函数层,T表示特征图UResultk;本实施例中,DConvk是转置卷积,卷积核大小为2,步长为2;
Figure BDA00037233131000000711
的卷积核大小为3,步长为1,填充(padding)为1;
步骤2.4:输出模块由一个卷积层组成;
特征图Result输入至输出模块后,利用式(7)得到第n个CT切片数据矩阵sn,i所对应的股骨分割数据矩阵pn,i
pn,i=Softmax(Conv(Result)) (7)
式(7)中,Conv表示输出模块中的卷积层,Softmax表示输出模块的Softmax函数;本实施例中,Conv的卷积核大小为3,输出通道数为1,即表示预测的结果为股骨结构的概率值;
步骤三、训练分割网络;
步骤3.1:使用式(8)建立反向传播损失函数L:
Figure BDA0003723313100000081
式(8)中,R为股骨分割数据矩阵pn,i的像素数,
Figure BDA0003723313100000082
表示股骨分割数据矩阵pn,i中第z个像素点的预测概率值,
Figure BDA0003723313100000083
表示标签切片数据矩阵mn,i中第z个像素点的标签值,ω为权重值;
步骤3.2:利用梯度下降法对MSC-Net分割网络进行训练,并计算损失函数L,当训练迭代次数达到预定的次数时训练停止,从而得到最优分割模型;本实施例中,使用的优化器为Adam优化器,学习率初始值为0.0001,训练的epoch为1000次;
步骤四,模型输出的切片数据,经过拼接,得到股骨三维重建模型;
按照步骤一的过程对新用户的髌股关节CT影像图进行处理,利用最优分割模型对新用户的CT切片数据矩阵集合进行处理,并输出预测的股骨分割数据矩阵集后,再拼接回原来的尺寸,从而得到完整的股骨三维重建数据矩阵;
步骤五、使用测量算法对分割出的股骨结构进行数据测量,得出滑车的宽度信息。
步骤5.1:从标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i}中随机选取H份标签数据并输入至Faster R-CNN网络进行训练,得到训练后的Faster R-CNN网络;本实施例中,H=500;
步骤5.2:将预测的股骨分割数据矩阵集输入训练后的FasterR-CNN网络中进行目标检测,得出以股骨滑车结构为目标区域的检测框位置,并返回检测框的左下角及右上角的坐标信息x1,y1)、(x2,y2)以及目标区域为真实目标的可能性得分;
步骤5.3:对所有检测框进行筛选,保留可能性得分达到所设定的阈值的目标区域的检测框位置;本实施例中,设置的阈值大小为0.95;
步骤5.4:对预测的股骨分割数据矩阵集中处于筛选后的目标区域的检测框位置内的像素点进行遍历,从而确定股骨滑车的两端最高点Q1、Q2的坐标信息,并计算Q1、Q2的体素距离v;
步骤5.5:获取新用户的髌股关节CT影像图的体素间距与真实物理间距的比例,并与体素距离v相乘,从而得出股骨滑车的真实物理宽度。
本实施例中,一种电子设备,包括存储器以及处理器,其中,存储器用于存储支持处理器执行基于深度学习的股骨滑车宽度测量方法的程序,处理器被配置为用于执行所述存储器中存储的程序。
本实施例中,一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序用于运行基于深度学习的股骨滑车宽度测量方法的步骤。

Claims (3)

1.一种基于深度学习的股骨滑车宽度测量方法,其特征在于,包括以下步骤:
步骤一、采集CT影像并进行数据标注,从而构建数据集;
步骤1.1:采集多位用户的髌股关节CT影像图,并对第i个用户的CT影像图进行信息脱敏处理后再进行归一化预处理,得到第i个用户的三维CT数据矩阵Si;对所述第i个用户的CT影像图中的股骨结构进行标注,得到第i个用户的三维标签数据矩阵Mi
步骤1.2:在深度方向分别对三维CT数据矩阵Si和三维标签数据矩阵Mi进行切片处理,相应得到第i个用户的CT切片数据矩阵集合{s1,i,…,sn,i,…sN,i}和标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i},其中,sn,i表示第i个用户的第n个CT切片数据矩阵,mn,i表示与sn,i相对应的标签切片数据矩阵,N表示切片总数;
步骤二、构建MSC-Net分割网络,包括:编码层、中间层、解码层以及输出模块;
步骤2.1:所述编码层由K个MSC模块和K-1个池化层依次交替连接组成,其中,第k级MSC模块包括:一个特征提取块Uk,两个卷积层,三个BN层和ReLU激活函数层,且所述特征提取块Uk由a1个卷积层并联而成;
当k=1时,所述第n个切片数据矩阵sn,i输入至第k级MSC模块中,并利用式(1)-式(4)得到第k级MSC模块输出的特征图
Figure FDA0003723313090000011
将所述特征图
Figure FDA0003723313090000012
输入至第k级池化层中,将特征图
Figure FDA0003723313090000013
的长宽变为输入的
Figure FDA0003723313090000014
并输出特征图
Figure FDA0003723313090000015
其中,w表示缩放系数;
当k=2,3,…,K-1时,将特征图
Figure FDA0003723313090000016
作为第k级MSC模块的输入,并得到相应的输出特征图
Figure FDA0003723313090000017
并将所述特征图
Figure FDA0003723313090000018
作为第k级池化层的输入,从而由第K-1个池化层的输出
Figure FDA0003723313090000019
并将所述特征图
Figure FDA00037233130900000110
作为第K级MSC模块的输入,最终得到解码层输出的特征图
Figure FDA00037233130900000111
Figure FDA00037233130900000112
Figure FDA00037233130900000113
Figure FDA00037233130900000114
Figure FDA00037233130900000115
式(1)-式(4)中,f表示输入数据,当k=1时,f=sn,i,当k=2,3,…,K-1时,
Figure FDA00037233130900000116
Figure FDA00037233130900000117
表示第k级MSC模块中的第1个卷积层,
Figure FDA00037233130900000118
分别表示第k级MSC模块中的第1、2、3个BN层;
Figure FDA0003723313090000021
分别表示第k级MSC模块中的第1、2、3个ReLu激活函数层,
Figure FDA0003723313090000022
表示第k级MSC模块中的第1个卷积层输出的特征图,Convn,k
Figure FDA0003723313090000023
分别表示第k级MSC模块的特征提取块Uk中的第n个卷积层及其输出的特征图,Cat表示拼接操作,
Figure FDA0003723313090000024
表示第k级MSC模块中的特征提取块Uk输出的特征图,
Figure FDA0003723313090000025
表示第k级MSC模块输出的特征图,且
Figure FDA0003723313090000026
步骤2.2:所述中间层包括一个全局池化层,两个全连接层,一个ReLu激活函数层和一个Sigmoid函数;
所述特征图
Figure FDA0003723313090000027
输入至中间层中,并利用式(5)得到中间层输出的特征图MidResultn,i
Figure FDA0003723313090000028
式(5)中,e表示所述特征图
Figure FDA0003723313090000029
FC1、FC2分别表示中间层的第1、2个全连接层,δ表示中间层的ReLu激活函数层,σ表示中间层的Sigmoid函数,
Figure FDA00037233130900000210
表示权重相乘,E表示所述特征图MidResultn,i
步骤2.3:所述解码层由K-1个解码卷积块组成;其中,第k级解码卷积块由b1个反卷积层,2b1个卷积层,BN层,RelU激活函数层组成;
当k=1时,所述特征图MidResultn,i输入至第k级解码卷积块中,并利用式(6)得到第k级解码卷积块输出的特征图UResultk;并对所述特征图UResultk与所述特征图
Figure FDA00037233130900000211
进行拼接操作后,作为第k+1级解码卷积块的输入;
当k=2,3,…K-1时,对所述特征图UResultk与特征图
Figure FDA00037233130900000212
进行拼接操作后,作为第k+1级解码卷积块的输入,从而由第K-1级解码卷积块得到所述解码层最终输出的特征图Result;
Figure FDA00037233130900000213
式(6)中,t表示所述特征图MidResultn,i,DConvk表示第k级解码卷积块中的反卷积层,
Figure FDA00037233130900000214
分别表示第k级解码卷积块中的第1、2个卷积层,
Figure FDA00037233130900000215
分别表示第k级解码卷积块中的第1、2个BN层,
Figure FDA00037233130900000216
分别表示第1级解码卷积块中的第1、2个RelU激活函数层,T表示所述特征图UResultk
步骤2.4:所述输出模块由一个卷积层组成;
所述特征图Result输入至输出模块后,利用式(7)得到第n个CT切片数据矩阵sn,i所对应的股骨分割数据矩阵pn,i
pn,i=Softmax(Conv(Result)) (7)
式(7)中,Conv表示输出模块中的卷积层,Softmax表示输出模块的Softmax函数;
步骤三、训练所述分割网络;
步骤3.1:使用式(8)建立反向传播损失函数L:
Figure FDA0003723313090000031
式(8)中,R为股骨分割数据矩阵pn,i的像素数,
Figure FDA0003723313090000032
表示股骨分割数据矩阵pn,i中第z个像素点的预测概率值,
Figure FDA0003723313090000033
表示标签切片数据矩阵mn,i中第z个像素点的标签值,ω为权重值;
步骤3.2:利用梯度下降法对MSC-Net分割网络进行训练,并计算损失函数L,当训练迭代次数达到预定的次数时训练停止,从而得到最优分割模型;
步骤四,模型输出的切片数据,经过拼接,得到股骨三维重建模型;
按照步骤一的过程对新用户的髌股关节CT影像图进行处理,利用所述最优分割模型对新用户的CT切片数据矩阵集合进行处理,并输出预测的股骨分割数据矩阵集后,再拼接回原来的尺寸,从而得到完整的股骨三维重建数据矩阵;
步骤五、使用测量算法对分割出的股骨结构进行数据测量,得出滑车的宽度信息。
步骤5.1:从标签切片数据矩阵集合{m1,i,…,mn,i,…mN,i}中随机选取H份标签数据并输入至Faster R-CNN网络进行训练,得到训练后的Faster R-CNN网络;
步骤5.2:将所述预测的股骨分割数据矩阵集输入训练后的FasterR-CNN网络中进行目标检测,得出以股骨滑车结构为目标区域的检测框位置,并返回检测框的左下角的坐标信息(x1,y1)、右上角的坐标信息(x2,y2)以及目标区域为真实目标的可能性得分;
步骤5.3:对所有检测框进行筛选,保留可能性得分达到所设定的阈值的目标区域的检测框位置;
步骤5.4:对预测的股骨分割数据矩阵集中处于筛选后的目标区域的检测框位置内的像素点进行遍历,从而确定股骨滑车的两端最高点Q1、Q2的坐标信息,并计算Q1、Q2的体素距离v;
步骤5.5:获取新用户的髌股关节CT影像图的体素间距与真实物理间距的比例,并与体素距离v相乘,从而得出股骨滑车的真实物理宽度。
2.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序用于运行权利要求1所述方法的步骤。
CN202210769176.8A 2022-06-30 2022-06-30 一种基于深度学习的股骨滑车宽度测量方法 Pending CN115170502A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210769176.8A CN115170502A (zh) 2022-06-30 2022-06-30 一种基于深度学习的股骨滑车宽度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210769176.8A CN115170502A (zh) 2022-06-30 2022-06-30 一种基于深度学习的股骨滑车宽度测量方法

Publications (1)

Publication Number Publication Date
CN115170502A true CN115170502A (zh) 2022-10-11

Family

ID=83489297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210769176.8A Pending CN115170502A (zh) 2022-06-30 2022-06-30 一种基于深度学习的股骨滑车宽度测量方法

Country Status (1)

Country Link
CN (1) CN115170502A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN116773534B (zh) * 2023-08-15 2024-03-05 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质

Similar Documents

Publication Publication Date Title
US11615879B2 (en) System and method for automated labeling and annotating unstructured medical datasets
CN111709953B (zh) Ct影像的肺叶段分割中的输出方法、装置
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN105931226A (zh) 基于深度学习的自适应椭圆拟合细胞自动检测分割方法
CN108205806B (zh) 一种锥束ct图像三维颅面结构的自动解析方法
CN109829880A (zh) 一种基于深度学习的ct图像检测方法、装置和控制设备
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN107203989A (zh) 基于全卷积神经网络的端对端胸部ct图像分割方法
CN108038513A (zh) 一种肝脏超声图像的特征分类方法
CN111008974A (zh) 多模型融合的股骨颈骨折区域定位和分割方法及系统
CN111242956A (zh) 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN104545999B (zh) 一种超声图像膀胱容积测量方法及装置
CN113034507A (zh) 基于ccta影像的冠状动脉三维分割方法
CN111754534A (zh) 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
CN115170502A (zh) 一种基于深度学习的股骨滑车宽度测量方法
CN113313714B (zh) 一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法
CN117474933A (zh) 一种基于空洞卷积注意力机制的医学图像分割方法
CN112927203A (zh) 基于多序列mri全局信息的胶质瘤患者术后生存期预测方法
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN116468103A (zh) 一种肺结节良恶性识别模型训练方法、应用方法和系统
CN115359002A (zh) 一种颈动脉超声图像斑块自动检测系统及方法
CN112581513B (zh) 锥束计算机断层扫描图像特征提取与对应方法
CN110705570B (zh) 一种图像特征识别方法
Sacharisa et al. Enhanced Spine Segmentation in Scoliosis X-ray Images via U-Net.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination