CN114419000A - 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统 - Google Patents

基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统 Download PDF

Info

Publication number
CN114419000A
CN114419000A CN202210066338.1A CN202210066338A CN114419000A CN 114419000 A CN114419000 A CN 114419000A CN 202210066338 A CN202210066338 A CN 202210066338A CN 114419000 A CN114419000 A CN 114419000A
Authority
CN
China
Prior art keywords
layer
image
convolution
convolutional
femoral head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210066338.1A
Other languages
English (en)
Other versions
CN114419000B (zh
Inventor
李翔
秦勇
佟川信
李明磊
蒋宇辰
吕松岑
罗浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210066338.1A priority Critical patent/CN114419000B/zh
Publication of CN114419000A publication Critical patent/CN114419000A/zh
Application granted granted Critical
Publication of CN114419000B publication Critical patent/CN114419000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，本发明涉及股骨头坏死指标预测系统。本发明为解决现有股骨头坏死指标预测准确率低的问题。过程为：图像处理主模块用于获得预处理后的图像；神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；训练主模块利用预处理后的图像对搭建好的网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；检测主模块用于加载训练好的网络模型，对待测试图像进行分割，分割出股骨头区域；指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例。本发明用于图像处理和人工智能领域。

Description

基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测 系统
技术领域
本发明属于图像处理和人工智能领域，具体涉及股骨头坏死指标预测系统。
背景技术
股骨头坏死是由骨细胞死亡或缺血引起的一种髋关节疾病。股骨头坏死的临床表现为关节疼痛、活动困难，严重者可导致股骨头塌陷。近年来，股骨头坏死的发病率逐年增加，根据流行病学研究报告显示，美国每年有2万到3万例新病例，中国每年报告10万至20万例病例。早期股骨头坏死可通过药物等保守治疗方案进行治疗，但严重的股骨头坏死需要全髋关节置换手术，因此准确的股骨头坏死分级至关重要。髋关节核磁共振图像因其良好的影像学特征在股骨头坏死的诊断中得到了广泛的应用。在临床诊断过程中，医生依据Steinberg分期标准进行诊断，它根据坏死面积与股骨头面积的比例对股骨头坏死进行分级。但是，由于病例数量多，医生手动进行像素级别的股骨头分割和坏死区域的分割是一项耗时耗力的工作。在实际过程中医生通常经验大致判断股骨头面积、坏死面积以及两者的比例。随着计算机自动化辅助诊断技术的发展，基于图像处理方法所设计的自动化股骨头坏死诊断系统可以为医生临床诊断节省大量时间。
现有的股骨头坏死计算机辅助诊断系统主要包括两类。一类是基于传统图像处理算法的，如形态学方法、图像滤波器方法、图形学方法等。传统图像处理算法多为无监督算法，对于单幅图像可能有较好的效果，对于大规模数据集则泛化性能较差。另一类是基于卷积神经网络的方法。受益于近年来人工智能技术的快速发展和计算设备的能力提升，基于卷积神经网络的方法已经成为目前股骨头坏死辅助诊断性能较好的方法。
然而，综合考虑卷积神经网络的特点，现有技术仍旧存在许多问题：
(1)现有的基于卷积神经网络的方法多为分类网络，其输入为股骨头核磁图像，输出直接为病变分级结果。这一类方法不能提供股骨头面积、坏死面积、比例等医生关注的病理信息，不能和医生临床诊断过程中使用的Steinberg分期标准进行对应。
(2)在核磁图像中，股骨头区域有固定的形状特征，不同的图像之间总体形状特征相似，只有细节部分有略微不同。现有的基于卷积神经网络的方法忽略了医学图像中固有的形状信息，没有很好的利用这些形状信息提高诊断性能。
发明内容
本发明为解决现有基于卷积神经网络的股骨头坏死辅助诊断系统不能提供股骨头面积、坏死面积、比例等病理信息，不能很好利用形状特征，导致股骨头坏死指标预测准确率低的问题，提出了基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统。
基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统包括：
图像处理主模块、神经网络主模块、训练主模块、检测主模块和指标模块；
所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；
所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；
所述训练主模块利用预处理后的图像对搭建好的多尺度几何嵌入卷积神经网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；
所述检测主模块用于加载训练好的多尺度几何嵌入卷积神经网络模型，对待测试图像进行分割，分割出股骨头区域；
所述指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例。
本发明的有益效果为：
1、本发明首次提出了一种基于多尺度几何嵌入卷积神经网络的股骨头区域分割系统，该系统对于图像中几何特征和像素特征分别建立通道进行优化，以提高股骨头分割效果。并且在几何通道中还使用了多尺度混合连接的方法，提高了特征提取性能。
2、本发明在多尺度几何嵌入卷积神经网络分割出的股骨头区域的基础上，设计了自适应阈值分割算法对坏死区域进行分割。基于此，本发明可以提供股骨头区域面积、坏死面积、两者的比例等重要病理信息，使之可以配合医生临床过程中使用的Steinberg分期标准。
3、由实验可知，本发明有着良好的性能，多尺度几何嵌入卷积神经网络对于股骨头区域的分割正确率可以达到97.73％，灵敏度可以达到91.17％，特异性可以达到99.40％。整体系统对于股骨头坏死的诊断正确率可以达到90.80％，具有先进水平。
附图说明
图1为本发明系统的流程图；
图2为多尺度几何嵌入卷积神经网络示意图；
图3为自适应阈值方法分割坏死区域示意图；
图4a为原始图像1股骨头坏死分级结果图；
图4b为原始图像2股骨头坏死分级结果图；
图4c为原始图像3股骨头坏死分级结果图；
图4d为原始图像4股骨头坏死分级结果图。
具体实施方式
具体实施方式一：本实施方式基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统包括：
本发明的流程图如图1所示，具体如下：
图像处理主模块、神经网络主模块、训练主模块、检测主模块和指标模块；
所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；
所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；
所述训练主模块利用预处理后的图像对搭建好的多尺度几何嵌入卷积神经网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；
所述检测主模块用于加载训练好的多尺度几何嵌入卷积神经网络模型，对待测试图像进行分割，分割出股骨头区域；
所述指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；具体过程为：
步骤A1、获取髋关节核磁共振图像，裁剪髋关节中的股骨头部分，将裁剪出的图像缩放为256×256大小，并进行图像归一化；
步骤A2、设计股骨头核磁共振图像训练加载器，循环读取步骤A1处理之后的图像并进行数据增强，获得预处理后的图像；
所述数据增强包括随机水平翻转、随机垂直翻转以及随机对比度增强；
预处理后的图像作为多尺度几何嵌入卷积神经网络模型的输入。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；具体过程为：
多尺度几何嵌入卷积神经网络模型包括图像编码模块、几何解码模块、像素解码模块、几何解码模块损失函数层和像素解码模块损失函数层；
所述图像编码模块包括：
图像编码模块依次包括图像编码模块输入层、第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、图像编码模块输出层；
所述第一卷积单元依次包括第一3×3卷积层、第一ReLU激活层、第二3×3卷积层、第二ReLU激活层；
所述第二卷积单元依次包括第三3×3卷积层、第三ReLU激活层、第四3×3卷积层、第四ReLU激活层；
所述第三卷积单元依次包括第五3×3卷积层、第五ReLU激活层、第六3×3卷积层、第六ReLU激活层；
所述第四卷积单元包括第七3×3卷积层、第七ReLU激活层；
所述图像编码模块连接关系为：
图像编码模块输入层连接第一卷积单元中的第一3×3卷积层，第一3×3卷积层连接第一ReLU激活层，第一ReLU激活层连接第二3×3卷积层，第二3×3卷积层连接第二ReLU激活层；
对第二ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第二卷积单元中的第三3×3卷积层，第三3×3卷积层连接第三ReLU激活层，第三ReLU激活层连接第四3×3卷积层，第四3×3卷积层连接第四ReLU激活层；
对第四ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第三卷积单元中的第五3×3卷积层，第五3×3卷积层连接第五ReLU激活层，第五ReLU激活层连接第六3×3卷积层，第六3×3卷积层连接第六ReLU激活层；
对第六ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第四卷积单元中的第七3×3卷积层，第七3×3卷积层连接第七ReLU激活层；
第七ReLU激活层连接图像编码模块输出层；
所述几何解码模块包括：
几何解码模块输入层、第五卷积单元、第六卷积单元、第七卷积单元、几何解码模块输出层；
所述第五卷积单元包括第八3×3卷积层、第八ReLU激活层；
所述第六卷积单元包括第九3×3卷积层、第九ReLU激活层；
所述第五卷积单元包括第十3×3卷积层、第十ReLU激活层；
所述几何解码模块连接关系为：
图像编码模块输出层输出特征分别作为几何解码模块输入层的输入、第五卷积单元中第八3×3卷积层的输入、第六卷积单元中第九3×3卷积层的输入、第七卷积单元中第十3×3卷积层的输入；
对几何解码模块输入层特征进行2倍的上采样，采样结果分别作为第五卷积单元中第八3×3卷积层的输入、第六卷积单元中第九3×3卷积层的输入以及第七卷积单元中第十3×3卷积层的输入；
第八3×3卷积层的输出连接第八ReLU激活层；
对第八ReLU激活层输出图像特征进行2倍的上采样，采样结果分别作为第六卷积单元中第九3×3卷积层的输入以及第七卷积单元中第十3×3卷积层的输入；
第九3×3卷积层的输出连接第九ReLU激活层；
对第九ReLU激活层输出图像特征进行2倍的上采样，采样结果作为第七卷积单元中第十3×3卷积层的输入；
第十3×3卷积层的输出连接第十ReLU激活层；
第十ReLU激活层连接几何解码模块输出层；
所述几何解码模块输出层输出图像特征连接几何解码模块损失函数层；
所述像素解码模块包括：
像素解码模块输入层、第八卷积单元、第九卷积单元、第十卷积单元、像素解码模块输出层；
所述第八卷积单元包括第十一3×3卷积层、第十一ReLU激活层；
所述第九卷积单元包括第十二3×3卷积层、第十二ReLU激活层；
所述第十卷积单元包括第十三3×3卷积层、第十三ReLU激活层；
所述像素解码模块连接关系为：
图像编码模块输出层输出特征分别作为像素解码模块输入层的输入、第八卷积单元中第十一3×3卷积层的输入、第九卷积单元中第十二3×3卷积层的输入、第十卷积单元中第十三3×3卷积层的输入；
对像素解码模块输入特征进行2倍的上采样，采样结果作为第八卷积单元中第十一3×3卷积层的输入；
第十一3×3卷积层的输出连接第十一ReLU激活层；
对第十一ReLU激活层输出图像特征进行2倍的上采样，采样结果作为第九卷积单元中第十二3×3卷积层的输入；
第十二3×3卷积层的输出连接第十二ReLU激活层；
对第十二ReLU激活层输出图像特征进行2倍的上采样，采样结果作为第十卷积单元中第十三3×3卷积层的输入；
第十三3×3卷积层的输出连接第十三ReLU激活层；
第十三ReLU激活层的输出连接像素解码模块输出层；
所述像素解码模块输出层输出图像特征连接像素解码模块损失函数层；
步骤B1、构建总体多尺度几何嵌入卷积神经网络，总图网络结构如图2所示。首先，构建总体网络中的图像编码器模块。编码器模块的作用是进行图像特征提取，获取图像特征。编码器模块的基本结构是卷积核为3×3的卷积层和ReLU(Rectified Linear Unit)激活函数串联然后经过下采样层缩减图像尺寸，编码器模块中共包括三组基本结构串联。
步骤B2、构建总体网络中的几何特征解码模块。几何特征解码模块的输入为图像解码模块获取的图像特征，目的是为几何损失函数优化网络建立连接通道。整体解码过程是通过卷积核为3×3的卷积层和上采样层逐级将特征恢复到原始图像大小。为了使几何损失的信息更好的优化网络，几何特征解码模块采用了密集连接的设计方式，即为解码过程中的所有层之间的特征建立连接关系。所设计的密集连接可以将每级的输入表示为：
x′l-1+x′l-2+…+x′1
其中x′l-1,x′l-2,…,x′1都是将之前层的特征通过一个非线性映射H获取的：
x′l-1＝H(xl-1)
H为卷积核为3×3的卷积层和ReLU(Rectified Linear Unit)激活函数的串联。
步骤B3、构建总体网络中的像素特征解码模块。像素特征解码模块的输入为图像解码模块获取的图像特征，目的是为像素损失函数优化网络建立连接通道。像素特征解码过程是通过3×3的卷积层和上采样层串联将特征恢复到原始图像大小。网络的像素解码模块最后使用一个卷积层将特征图压缩为最终股骨头区域分割结果。
步骤B4、构建总体网络中的损失函数模块。总体网络的目的分割图像中的股骨头区域，损失函数模块将计算分割结果与真实结果之间的损失，并且以此为基础优化整体网络。损失函数包括像素损失和几何损失。像素损失连接于像素解码模块之后，几何损失连接于几何解码模块之后。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述几何解码模块损失函数层使用了交叉熵损失函数，定义为：
Figure BDA0003480429620000071
其中，N是输入图像中像素的总个数，ui,j是多尺度几何嵌入卷积神经网络模型输出的股骨头分割结果，
Figure BDA0003480429620000079
是真实股骨头区域，i和j代表像素的坐标，δ代表Softmax激活函数。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述像素解码模块损失函数层采用几何损失函数，定义为：
为了更全面的从几何层面描述分割结果的正确性，几何损失函数包括三个部分：长度损失、面积损失和边界损失；
长度损失定义为：
Figure BDA0003480429620000072
其中，
Figure BDA0003480429620000073
和
Figure BDA0003480429620000074
分别代表多尺度几何嵌入卷积神经网络模型输出的分割结果在水平方向和垂直方向的梯度，∈是一个大于0的微小常数，目的是使根号下不为0；
面积损失定义为：
Figure BDA0003480429620000075
其中，c1取值为1，c2取值为0，以使得面积损失的左项(加号前面的)表示分割结果(股骨头)内部的能量，右项(加号后面的)表示分割结果(背景)外部的能量；
边界损失定义为：
Figure BDA0003480429620000076
其中，
Figure BDA0003480429620000077
代表多尺度几何嵌入卷积神经网络模型的输出结果在像素(i,j)处的梯度，
Figure BDA0003480429620000078
代表真实值在像素(i,j)处的梯度。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述训练主模块利用预处理后的图像对搭建好的多尺度几何嵌入卷积神经网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；具体过程为：
步骤C1、初始化多尺度几何嵌入卷积神经网络模型参数，具体为：
设置初始学习率和衰减规律，衰减规律为在训练过程中学习率先大后小，最后使得网络接近拟合；设置训练轮数，所有训练相关的超参数(学习率、衰减规律、训练轮数、迭代的次数)设置完毕后开始训练；
步骤C2、基于预处理后图像训练多尺度几何嵌入卷积神经网络模型，直至达到设置的训练轮数或者多轮之内网络正确率没有提高则认为网络已经收敛，保存此时训练好的多尺度几何嵌入卷积神经网络模型参数，获得训练好的多尺度几何嵌入卷积神经网络模型。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述检测主模块用于加载训练好的多尺度几何嵌入卷积神经网络模型，对待测试图像进行股骨头坏死指标预测；具体过程为：
步骤D1、裁剪待测试图像中的股骨头部分(这里裁剪指的是把整个股骨头部分(网络输入中的方形图像)裁剪出来，并没有确定其中的股骨头部分，所设计的网络将其中的不规则形状的股骨头分割出来)，将裁剪出的图像缩放为256×256大小，并进行图像归一化；
步骤D2、将步骤D1处理好的待测试图像输入训练好的多尺度几何嵌入卷积神经网络模型中，获取分割好的股骨头区域；
统计分割好的股骨头区域像素数量，将股骨头区域像素数量作为股骨头面积(统计所分割出来的股骨头区域所占的像素点的个数，这些像素点的个数实际上就代表了在图像中股骨头所占的大小，来指代面积)。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例；具体过程为：
步骤E1、从多尺度几何嵌入卷积神经网络分割好的股骨头图像中对坏死区域进行分割；具体过程为：
由于分割好的股骨头图像已经去除了其他组织等大量干扰，坏死区域和正常股骨头区域的对比度较为明显。
使用自适应阈值方法对获取的分割好的股骨头区域进行分割，分割出坏死区域，坏死区域的分割展示在图3中。在分割好的股骨头图像中，像素直方图对于坏死区域和正常区域有一个明显的低谷，以此作为阈值分割坏死区域。
步骤E2、统计坏死区域中的像素数量作为坏死面积；
计算坏死面积与股骨头面积的比例，根据Steinberg分期标准确定病变等级。
其它步骤及参数与具体实施方式一至七之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
下面结合具体实施例和附图说明本发明的具体实施方式。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。
股骨头坏死数据集实际来自医院实际病例，数据集包含260张髋关节核磁共振图像，训练过程中采用五折交叉验证的方式划分训练集和测试集，即每次取出208张图像作为训练，52张图像作为测试集，执行五次，最终结果取五次结果的平均值。
执行步骤一：
执行步骤A1、读取训练集的208张图像髋关节核磁共振图像，以股骨头为中心裁剪股骨头部分图像，将裁剪出的图像缩放为256×256大小，并进行图像归一化。
执行步骤A2、构建股骨头核磁共振图像训练加载器，循环读取预处理之后的核磁共振图像并进行数据增强。以0.3的概率进行随机水平翻转、以0.3的概率进行随机垂直翻转以及以0.5的概率进行随机对比度增强。
执行步骤二：
执行步骤B1、构建总体网络中的图像编码器模块。图像编码器模块由三个基本结构构成，每个基本结构都是由卷积核为3×3的卷积层，ReLU(Rectified Linear Unit)激活函数和下采样层构成。图像编码器模块输入为训练加载器获取的图像，输出为图像特征图。
执行步骤B2、构建总体网络中的几何特征解码模块。几何特征解码模块由卷积核为3×3的卷积层和上采样层逐级连接构成。然后为几何特征解码模块建立密集连接，密集连接将前级的特征与后级特征连接，所设计的密集连接可以将每级的输入为：
x′l-1+x′l-2+…+x′1
其中x′l-1,x′l-2,…,x′1都是将之前层的特征通过一个非线性映射H获取的：
x′l-1＝H(xl-1)
H为卷积核为3×3的卷积层和ReLU(Rectified Linear Unit)激活函数的串联。几何特征解码模块输入为图像编码器模块获取的图像特征图，图像特征图由几何特征解码模块的密集连接逐级恢复到原始图像大小。
执行步骤B3、构建总体网络中的像素特征解码模块。像素特征解码过程是通过卷积核为3×3的卷积层和上采样层串联将特征恢复到原始图像大小。像素特征解码模块的最后卷积层将特征图压缩为最终股骨头区域分割结果。像素特征解码模块的输入为图像解码模块获取的图像特征，输出为最终股骨头区域分割结果。
执行步骤B4、构建总体网络中的损失函数模块。损失函数模块将计算分割结果与真实结果之间的损失，并且以此为基础优化整体网络。损失函数包括像素级损失和几何损失。像素级损失连接与像素解码模块之后，几何损失连接于几何解码模块之后。
像素损失使用了交叉熵损失函数，定义为：
Figure BDA0003480429620000101
其中N是输入图像中像素的总个数，ui,j是总体网络输出的股骨头分割结果，
Figure BDA0003480429620000102
是真实股骨头区域，i和j代表像素的坐标，δ代表Softmax激活函数。
几何损失包括三个部分：长度损失、面积损失和边界损失。
长度损失定义为：
Figure BDA0003480429620000103
Figure BDA0003480429620000104
和
Figure BDA0003480429620000105
分别代表总体网路输出的分割结果在水平方向和垂直方向的梯度，∈是一个大于0的微小常数，目的是使根号下不为0。
面积损失定义为：
Figure BDA0003480429620000106
其中c1和c2为1和0，以使得面积损失的左项表示分割结果(股骨头)内部的能量，左项表示分割结果(背景)外部的能量。
边界损失定义为：
Figure BDA0003480429620000107
执行步骤三：
执行步骤C1、初始化网络参数设置训练过程的超参数，训练采用批量迭代法，批量大小设定为8，一共迭代50轮，将全部训练集数据迭代完一次定义为一轮。学习率的设置是根据轮数递减的，初始学习率为0.0002，之后每经过10轮训练学习率衰减为原来一半。优化器使用Adam优化器。
执行步骤C2、网络达到设置的训练轮数或5轮之内网络正确率都没有提高则认为网络已经收敛，保存此时训练好的网络参数。
执行步骤四：
执行步骤D1、将测试集52张图像执行步骤一的图像预处理过程，裁剪髋关节中的股骨头部分，将裁剪出的图像缩放为256×256大小，并进行图像归一化。
执行步骤D2、将处理好的图像输入训练好的网络进行测试，此过程不执行网络参数的更新。完成所有图像的测试之后，统计每张分割图像中的股骨头区域像素数量，并将其作为股骨头面积。
执行步骤五：
执行步骤E1、使用自适应阈值方法对分割好的股骨头图像进行坏死区域分割，通过图像像素直方图确定一个阈值，以此作为阈值分割坏死区域。
执行步骤E2、统计坏死区域中的像素数量作为坏死面积。计算坏死面积与股骨头面积的比例，根据Steinberg分期标准确定病变等级。
表1多尺度几何嵌入卷积神经网络对于股骨头区域的分割结果
Figure BDA0003480429620000111
表2股骨头坏死诊断正确率
分级 正确率
轻微 92.42％
中度 88.43％
严重 93.24％
总体 90.80％
表1展示了所提出的多尺度几何嵌入卷积神经网络对于股骨头区域的分割记过，U-Net，FCN和LinkNet是现有常用的分割算法。和现有常用的算法相比，本发明系统在股骨头区域分割正确率、灵敏度、特异性三个评价指标中都有提高。表2展示了本发明所提出的总体系统对于股骨头坏死的诊断正确率，可以看到总体正确率达到了90.80％。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述包括：
图像处理主模块、神经网络主模块、训练主模块、检测主模块和指标模块；
所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；
所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；
所述训练主模块利用预处理后的图像对搭建好的多尺度几何嵌入卷积神经网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；
所述检测主模块用于加载训练好的多尺度几何嵌入卷积神经网络模型，对待测试图像进行分割，分割出股骨头区域；
所述指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例。
2.根据权利要求1所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；具体过程为：
步骤A1、获取髋关节核磁共振图像，裁剪髋关节中的股骨头部分，将裁剪出的图像缩放为256×256大小，并进行图像归一化；
步骤A2、循环读取步骤A1处理之后的图像并进行数据增强，获得预处理后的图像；
所述数据增强包括随机水平翻转、随机垂直翻转以及随机对比度增强。
3.根据权利要求1或2所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；具体过程为：
多尺度几何嵌入卷积神经网络模型包括图像编码模块、几何解码模块、像素解码模块、几何解码模块损失函数层和像素解码模块损失函数层；
所述图像编码模块包括：
图像编码模块依次包括图像编码模块输入层、第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、图像编码模块输出层；
所述第一卷积单元依次包括第一3×3卷积层、第一ReLU激活层、第二3×3卷积层、第二ReLU激活层；
所述第二卷积单元依次包括第三3×3卷积层、第三ReLU激活层、第四3×3卷积层、第四ReLU激活层；
所述第三卷积单元依次包括第五3×3卷积层、第五ReLU激活层、第六3×3卷积层、第六ReLU激活层；
所述第四卷积单元包括第七3×3卷积层、第七ReLU激活层；
所述图像编码模块连接关系为：
图像编码模块输入层连接第一卷积单元中的第一3×3卷积层，第一3×3卷积层连接第一ReLU激活层，第一ReLU激活层连接第二3×3卷积层，第二3×3卷积层连接第二ReLU激活层；
对第二ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第二卷积单元中的第三3×3卷积层，第三3×3卷积层连接第三ReLU激活层，第三ReLU激活层连接第四3×3卷积层，第四3×3卷积层连接第四ReLU激活层；
对第四ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第三卷积单元中的第五3×3卷积层，第五3×3卷积层连接第五ReLU激活层，第五ReLU激活层连接第六3×3卷积层，第六3×3卷积层连接第六ReLU激活层；
对第六ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第四卷积单元中的第七3×3卷积层，第七3×3卷积层连接第七ReLU激活层；
第七ReLU激活层连接图像编码模块输出层；
所述几何解码模块包括：
几何解码模块输入层、第五卷积单元、第六卷积单元、第七卷积单元、几何解码模块输出层；
所述第五卷积单元包括第八3×3卷积层、第八ReLU激活层；
所述第六卷积单元包括第九3×3卷积层、第九ReLU激活层；
所述第五卷积单元包括第十3×3卷积层、第十ReLU激活层；
所述几何解码模块连接关系为：
图像编码模块输出层输出特征分别作为几何解码模块输入层的输入、第五卷积单元中第八3×3卷积层的输入、第六卷积单元中第九3×3卷积层的输入、第七卷积单元中第十3×3卷积层的输入；
对几何解码模块输入层特征进行2倍的上采样，采样结果分别作为第五卷积单元中第八3×3卷积层的输入、第六卷积单元中第九3×3卷积层的输入以及第七卷积单元中第十3×3卷积层的输入；
第八3×3卷积层的输出连接第八ReLU激活层；
对第八ReLU激活层输出图像特征进行2倍的上采样，采样结果分别作为第六卷积单元中第九3×3卷积层的输入以及第七卷积单元中第十3×3卷积层的输入；
第九3×3卷积层的输出连接第九ReLU激活层；
对第九ReLU激活层输出图像特征进行2倍的上采样，采样结果作为第七卷积单元中第十3×3卷积层的输入；
第十3×3卷积层的输出连接第十ReLU激活层；
第十ReLU激活层连接几何解码模块输出层；
所述几何解码模块输出层输出图像特征连接几何解码模块损失函数层；
所述像素解码模块包括：
像素解码模块输入层、第八卷积单元、第九卷积单元、第十卷积单元、像素解码模块输出层；
所述第八卷积单元包括第十一3×3卷积层、第十一ReLU激活层；
所述第九卷积单元包括第十二3×3卷积层、第十二ReLU激活层；
所述第十卷积单元包括第十三3×3卷积层、第十三ReLU激活层；
所述像素解码模块连接关系为：
图像编码模块输出层输出特征分别作为像素解码模块输入层的输入、第八卷积单元中第十一3×3卷积层的输入、第九卷积单元中第十二3×3卷积层的输入、第十卷积单元中第十三3×3卷积层的输入；
对像素解码模块输入特征进行2倍的上采样，采样结果作为第八卷积单元中第十一3×3卷积层的输入；
第十一3×3卷积层的输出连接第十一ReLU激活层；
对第十一ReLU激活层输出图像特征进行2倍的上采样，采样结果作为第九卷积单元中第十二3×3卷积层的输入；
第十二3×3卷积层的输出连接第十二ReLU激活层；
对第十二ReLU激活层输出图像特征进行2倍的上采样，采样结果作为第十卷积单元中第十三3×3卷积层的输入；
第十三3×3卷积层的输出连接第十三ReLU激活层；
第十三ReLU激活层的输出连接像素解码模块输出层；
所述像素解码模块输出层输出图像特征连接像素解码模块损失函数层。
4.根据权利要求3所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述几何解码模块损失函数层使用了交叉熵损失函数，定义为：
Figure FDA0003480429610000041
其中，N是输入图像中像素的总个数，ui,j是多尺度几何嵌入卷积神经网络模型输出的股骨头分割结果，
Figure FDA0003480429610000042
是真实股骨头区域，i和j代表像素的坐标，δ代表Softmax激活函数。
5.根据权利要求4所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述像素解码模块损失函数层采用几何损失函数，定义为：
几何损失函数包括三个部分：长度损失、面积损失和边界损失；
长度损失定义为：
Figure FDA0003480429610000043
其中，
Figure FDA0003480429610000044
和
Figure FDA0003480429610000045
分别代表多尺度几何嵌入卷积神经网络模型输出的分割结果在水平方向和垂直方向的梯度，∈是一个大于0的常数；
面积损失定义为：
Figure FDA0003480429610000046
其中，c1取值为1，c2取值为0；
边界损失定义为：
Figure FDA0003480429610000047
其中，
Figure FDA0003480429610000048
代表多尺度几何嵌入卷积神经网络模型的输出结果在像素(i,j)处的梯度，
Figure FDA0003480429610000049
代表真实值在像素(i,j)处的梯度。
6.根据权利要求5所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述训练主模块利用预处理后的图像对搭建好的多尺度几何嵌入卷积神经网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；具体过程为：
步骤C1、初始化多尺度几何嵌入卷积神经网络模型参数，具体为：
设置初始学习率和衰减规律，设置训练轮数；
步骤C2、基于预处理后图像训练多尺度几何嵌入卷积神经网络模型，直至达到设置的训练轮数或者收敛，保存此时训练好的多尺度几何嵌入卷积神经网络模型参数，获得训练好的多尺度几何嵌入卷积神经网络模型。
7.根据权利要求6所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述检测主模块用于加载训练好的多尺度几何嵌入卷积神经网络模型，对待测试图像进行股骨头坏死指标预测；具体过程为：
步骤D1、裁剪待测试图像中的股骨头部分，将裁剪出的图像缩放为256×256大小，并进行图像归一化；
步骤D2、将步骤D1处理好的待测试图像输入训练好的多尺度几何嵌入卷积神经网络模型中，获取分割好的股骨头区域；
统计分割好的股骨头区域像素数量，将股骨头区域像素数量作为股骨头面积。
8.根据权利要求7所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例；具体过程为：
步骤E1、从多尺度几何嵌入卷积神经网络分割好的股骨头图像中对坏死区域进行分割；具体过程为：
使用自适应阈值方法对获取的分割好的股骨头区域进行分割，分割出坏死区域；
步骤E2、统计坏死区域中的像素数量作为坏死面积；
计算坏死面积与股骨头面积的比例。
CN202210066338.1A 2022-01-20 2022-01-20 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统 Active CN114419000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210066338.1A CN114419000B (zh) 2022-01-20 2022-01-20 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210066338.1A CN114419000B (zh) 2022-01-20 2022-01-20 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统

Publications (2)

Publication Number Publication Date
CN114419000A true CN114419000A (zh) 2022-04-29
CN114419000B CN114419000B (zh) 2022-09-23

Family

ID=81275748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210066338.1A Active CN114419000B (zh) 2022-01-20 2022-01-20 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统

Country Status (1)

Country Link
CN (1) CN114419000B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311302A (zh) * 2022-10-12 2022-11-08 四川大学华西医院 股骨头缺血坏死分期特征构建方法、诊断系统和存储介质
CN117635546A (zh) * 2023-11-14 2024-03-01 北京长木谷医疗科技股份有限公司 基于对比学习及弱监督的股骨头坏死区域识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020108009A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
US20200320748A1 (en) * 2017-10-24 2020-10-08 L'oreal System and method for image processing using deep neural networks
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN113139958A (zh) * 2021-05-14 2021-07-20 张颖 一种股骨头坏死面积测量系统
CN113362295A (zh) * 2021-05-28 2021-09-07 西安医学院第二附属医院 基于自监督密集卷积神经网络的肝脏肿瘤识别方法
CN113378897A (zh) * 2021-05-27 2021-09-10 浙江省气候中心 基于神经网络的遥感图像分类方法、计算设备及存储介质
CN113706518A (zh) * 2021-09-01 2021-11-26 吉林大学 一种基于人工智能的股骨头坏死分期分析方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200320748A1 (en) * 2017-10-24 2020-10-08 L'oreal System and method for image processing using deep neural networks
WO2020108009A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN113139958A (zh) * 2021-05-14 2021-07-20 张颖 一种股骨头坏死面积测量系统
CN113378897A (zh) * 2021-05-27 2021-09-10 浙江省气候中心 基于神经网络的遥感图像分类方法、计算设备及存储介质
CN113362295A (zh) * 2021-05-28 2021-09-07 西安医学院第二附属医院 基于自监督密集卷积神经网络的肝脏肿瘤识别方法
CN113706518A (zh) * 2021-09-01 2021-11-26 吉林大学 一种基于人工智能的股骨头坏死分期分析方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BIPIN NAIR BJ等: "Ancient Horoscopic Palm Leaf Binarization Using A Deep Binarization Model-RESNET", 《IEEE》 *
HENG LIU等: "Single image super-resolution using multi-scale deep encoder-decoder with phase congruency edge map guidance", 《INFORMATION SCIENCE》 *
XIANG LI等: "Lightweight Attention Convolutional Neural Network for Retinal Vessel Image Segmentation", 《 IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *
于宁波等: "基于深度学习的膝关节MR图像自动分割方法", 《仪器仪表学报》 *
易三莉 等: "基于改进U-Net的肺野分割算法", 《激光与光电子学进展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311302A (zh) * 2022-10-12 2022-11-08 四川大学华西医院 股骨头缺血坏死分期特征构建方法、诊断系统和存储介质
CN115311302B (zh) * 2022-10-12 2022-12-23 四川大学华西医院 股骨头缺血坏死分期诊断系统和存储介质
CN117635546A (zh) * 2023-11-14 2024-03-01 北京长木谷医疗科技股份有限公司 基于对比学习及弱监督的股骨头坏死区域识别方法及装置

Also Published As

Publication number Publication date
CN114419000B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN112418329B (zh) 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统
CN110930397B (zh) 一种磁共振图像分割方法、装置、终端设备及存储介质
CN108898160B (zh) 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
Wang et al. An improved dice loss for pneumothorax segmentation by mining the information of negative areas
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
CN114419000B (zh) 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统
CN111062948B (zh) 一种基于胎儿四腔心切面图像的多组织分割方法
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
CN111429473B (zh) 基于多尺度特征融合的胸片肺野分割模型建立及分割方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN111598871B (zh) 多特征融合辅助检测肺部磨玻璃影结节系统及介质
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN111862136A (zh) 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN114119516B (zh) 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
CN114299082A (zh) 一种新冠肺炎ct图像分割方法、装置及存储介质
CN114066908B (zh) 一种用于脑肿瘤图像分割的方法及系统
CN118430790A (zh) 一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法
CN112634308B (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN117746042A (zh) 一种基于APA-UNet的肝脏肿瘤CT图像分割方法
CN113269702A (zh) 基于跨尺度特征融合的低曝光静脉图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant