CN113052810B - 一种适用于移动应用的小巧医学影像病灶分割方法 - Google Patents

一种适用于移动应用的小巧医学影像病灶分割方法 Download PDF

Info

Publication number
CN113052810B
CN113052810B CN202110289771.7A CN202110289771A CN113052810B CN 113052810 B CN113052810 B CN 113052810B CN 202110289771 A CN202110289771 A CN 202110289771A CN 113052810 B CN113052810 B CN 113052810B
Authority
CN
China
Prior art keywords
feature map
edge
network
feature
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110289771.7A
Other languages
English (en)
Other versions
CN113052810A (zh
Inventor
郝鹏翼
郑宇祥
潘企何
张凡
吴福理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110289771.7A priority Critical patent/CN113052810B/zh
Publication of CN113052810A publication Critical patent/CN113052810A/zh
Application granted granted Critical
Publication of CN113052810B publication Critical patent/CN113052810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种适用于移动应用的小巧医学影像病灶分割方法，首先训练得到准确率较高的第一网络，然后将医学图像输入至第二网络和训练好的第一网络，对第一网络中间层的特征图特征精炼、边缘特征推理，将第一网络中和标签中丰富的边缘信息，通过投影、建图、推理的过程提取抽象的图信息；本发明通过特征精炼和边缘特征推理，将内在知识传递到第二网络，可使第二网络结果更加优秀，进而提升最终分割的性能，得到的第二网络，将待检测医学影像输入至已训练完成的第二网络中，得到病灶分割结果。本发明分割精确度高，体积小，特别适合部署在移动应用中。

Description

一种适用于移动应用的小巧医学影像病灶分割方法
技术领域
本发明属于医疗图像处理领域，尤其涉及了一种适用于移动应用的小巧医学影像病灶分割方法。
背景技术
全卷神经网络(FCN)的出现为语义分割打开了新的大门，所使用的上采样方法和并联跳跃结构一度成为语义分割的主流。在FCN之后，Unet网络结构利用网络集成、测试时间扩充、数据对称性开发和低质量注释的增强等方法对医学影像进行精确分割。在此之后，对于医学图像分割的模型大都是类似Unet模型的解码器-编码器的结构。尽管越来越多的模型医学图像分割的准确度上不断提高，但同时也带来了模型计算复杂度不断提高，模型的参数量越来越大，运算速度慢，运行消耗内存巨大等问题，使得模型难以在移动应用平台上部署。
专利标题，基于轻量级全卷积神经网络的医学图像分割方法，申请号为CN111489364A，申请日期为2020.04.08；专利首先对数据集进行灰度化、归一化、对比度受限自适应直方图均衡、伽马校正等预处理；然后，对训练集进行随机的提取patch和测试集顺序提取patch图以完成数据增强；接着，搭建由收缩路径(左侧)和扩张路径(右侧)组成的全卷积神经网络架构，针对图像数量较少的数据集设计留一法训练方法；最后，通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道以及微调裁剪后的网络完成BN通道模型裁剪，得到轻量级全卷积神经网络。
专利标题，一种基于深度学习的医学图像分割方法，申请号CN 112150428A，申请日期为2020.09.18；专利,先在编码器和解码器阶段使用新型的卷积模块，其次再设计一个包含注意力机制的残差瓶颈结构，用在跳层连接上，一方面减少编码器和解码器之间的语义差异，另一方面是使得神经网络在训练过程中能更加注意要分割的目标区域，从而能够提取更加精细的语义特征；其方法简单，能够更好的识别模糊的边界，分割出来的图像效果更加连贯，抵抗噪声干扰能力强，具有很强的泛化能力。
发明内容
为了克服已有技术的不足，本发明提供了一种适用于移动应用的医学影像病灶分割方法，用以克服现有技术在进行病灶区域分割时，运算复杂、参数量庞大，难以部署在移动终端上等问题。
本发明解决其技术问题所采用的技术方案是：
一种适用于移动应用的小巧医学影像病灶分割方法，所述适用于移动应用的小巧医学影像病灶分割方法包括以下步骤：
步骤S1、将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT；
步骤S2、将医学影像样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
步骤S3、将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat；
步骤S4、将第一特征图列表FeatsT中的底层特征图边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图/>进行边缘信息推理提炼，得到边缘推理提炼损失Ledge；
步骤S5、将病灶分割标签Labelseg和当前病灶分割结果进行二分类交叉熵函数计算得到病灶分割损失Lseg；
步骤S6、将Lfeat、Ledge、Lseg三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛；
步骤S7、将待检测医学影像输入至已训练完成的第二网络中，得到病灶分割结果。
进一步，所述步骤S1中，所述第一网络包括一个编码器和一个解码器；
所述第一网络的编码器由一个7×7的二维卷积操作和四个残差模块 组成；所述/>由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述/>由4个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述/>由6个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成；
所述第一网络的解码器由四个卷积块组成，其中每个卷积块包含两个3×3卷积操作。
再进一步，将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT，过程如下：
步骤1.1、将医学影像样本经过第一网络的编码器的3×3的二维卷积操作，得到特征图
步骤1.2、特征图池化后经过残差模块/>得到特征图/>
步骤1.3、特征图经过残差模块/>得到特征图/>
步骤1.4、特征图经过残差模块/>得到特征图/>
步骤1.5、特征图经过残差模块/>得到特征图/>
步骤1.6、特征图经过卷积块/>后得到特征图/>
步骤1.7、特征图经过卷积块/>后得到特征图/>
步骤1.8、特征图经过卷积块/>后得到特征图/>
步骤1.9、特征图经过卷积块/>后得到特征图/>
步骤1.10、将特征图和/>这3张特征图组合成列表，得到第一特征图列表FeatsT。
再进一步，所述步骤S2中，所述第二网络包括一个编码器、一个解码器和一个卷积块所述第二网络中的编码器包含4个卷积块/>每个卷积块由2组串行的3×3的二维卷积操作、批量归一化操作、激活操作组成，所述第二网络中的解码器包含4个卷积块/>每个卷积块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成。
将医学影像样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果过程如下：
步骤2.1、将原始样本经过第二网络的编码器的卷积块得到输出特征图/>
步骤2.2、特征图池化后经过卷积块/>得到特征图/>
步骤2.3)特征图池化后经过卷积块/>得到特征图/>
步骤2.4)特征图池化后经过卷积块/>得到特征图/>
步骤2.5、特征图池化后经过卷积/>得到特征图/>
步骤2.6、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.7、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.8、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.9、将特征图输入第二网络的解码器中的卷积块/>得到特征图/>对的每一通道均用sigmoid函数进行激活，得到/>上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果/>
步骤2.10、将特征图和/>这3张特征图组合成列表，得到第二特征图列表FeatsS。
所述步骤S3中，将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，过程如下：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图经过margin ReLU函数得到/>margin ReLU函数定义如下：
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
表示/>中的通道数/>表示特征图/>每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图经过一个1×1的二维卷积操作得到计算/>和/>的/>距离，将计算得到的/>距离进行叠加得到总体深度特征提炼损失L′total，/>距离和L′ftotal计算公式如下：
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
所述步骤S4中，将第一特征图列表FeatsT中的底层特征图边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图/>进行边缘信息推理提炼，得到边缘推理提炼损失Ledge，过程如下：
步骤4.1、将从FeatsT中得到的底层特征图分别进行两个1×1的二维卷积操作，得到特征图/>和特征图/>
步骤4.2、将边缘信息标签Labeledge进行软化，得到软化后的边缘信息标签软化的步骤如下：
步骤4.2.1、将Labeledge经过一个1×1的二维卷积操作，得到临时边缘标签
步骤4.2.2、将池化后，经过一个sigmoid函数进行激活，得到软化后的边缘信息标签/>
步骤4.3、将特征图进行一次1×1卷积操作后得到临时特征图/>和软化后的边缘信息标签/>进行哈达玛积运算操作，得到边缘注意特征图/>哈达玛积运算如下：
步骤4.4、将边缘注意特征图经过边缘锚点下采样操作后得到边缘关键点矩阵/>边缘锚点下采样操作步骤如下：
步骤4.4.1、随机初始化隶属度矩阵U＝[uij]，初始化聚类中心向量C，设定聚类的簇数n，和隶属度的因子m；
步骤4.4.2、开始迭代，在第k步迭代时，计算质心Ck＝[cj]，计算公式如下：
其中，uij表示像素点xi属于j类的隶属度，i表示第i个样本，cj是j簇的中心，也具有d维度；
步骤4.4.3、根据第k步迭代得到的质心，更新隶属度矩阵U，更新的公式如下：
其中，||*||可以是任意表示距离的度量；
步骤4.4.4、当满足迭代终止条件时，停止迭代，否则继续按照步骤4.4.2和步骤4.4.3中的步骤迭代，迭代的终止条件如下：
其中ε为是误差阈值；
步骤4.5、与特征图/>进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵/>
步骤4.6、将与特征图/>进行矩阵乘法运算和正则化操作后，得到结点矩阵经过一个图卷积网络后得到初步边缘特征推理图/>
所述图卷积网络，包括两个1×1的一维卷积操作和一个ReLU函数的激活操作；
步骤4.7、将和/>进行矩阵乘法运算，正则化后得到抽象边缘特征/>再与/>相加后得到边缘特征推理图/>
步骤4.8、将从FeatsS中得到的底层特征图分别进行两个1×1的二维卷积操作，得到特征图/>和特征图/>
步骤4.9、将特征图进行一次1×1的二维卷积操作后，得到边缘注意特征图
步骤4.10、将边缘注意特征图经过步骤4.4中同样的边缘锚点下采样操作后得到边缘关键点矩阵/>与特征图/>进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵/>
步骤4.11、将边缘注意特征投影矩阵特征图/>进行矩阵乘法运算和正则化操作后的得到，经过一个图卷积网络后得到初步边缘特征推理图/>
步骤4.12、将和/>进行矩阵乘法运算，正则化后得到抽象边缘特征/>再与/>相加后得到边缘特征推理图/>
步骤4.13、将边缘特征图和边缘分割图/>进行二分类交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
所述步骤S5中，将病灶分割标签Labelseg和当前病灶分割结果进行二分类交叉熵函数计算得到病灶分割损失Lseg，过程如下：
将疾病分割标签Labelseg和当前病灶分割结果进行二分类交叉熵函数计算，得到分割损失Lseg，计算公式如下：
所述步骤S6中，将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛，过程如下：
步骤6.1、将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLseg+βLedge+γLfeat；
步骤6.2、将Ltotal进行反向传播，迭代更新第二网络内的参数。
本发明的适用于移动应用的医学影像病灶分割方法，首先对第一网络进行预训练，得到准确率较高，边缘细节丰富的分割网络；然后将原始样本输入至第一网络和第二网络，在第二网络训练的同时从而获得第一网络中间层的特征，进行特征精炼，学习中间层知识，另外根据第一网络的分割特征图和软化后的边缘标签经过边缘锚点采样，借助图卷积网络推理出抽象的高级边缘语义信息，指导第二网络准确分割病灶轮廓。本申请先获取病灶分割准确但是参数量庞大的第一网络，再获取分割准确率较低但结构紧凑的第二网络，通过特征精炼和边缘信息推理，将高维的语义信息和抽象的边缘信息传递到第二网络，可使第二网络对病灶轮廓的分割更加准确，进而提升最终分割的性能；最终得到的第二网络。
本发明的有益效果主要表现在：分割精确度高，体积小，特别适合部署在移动应用中。
附图说明
图1是本申请适用于移动应用的小巧医学影像病灶分割方法流程图；
图2是本申请适用于移动应用的小巧医学影像病灶分割方法流程框图；
图3是本申请的第一网络结构示意图；
图4是本申请的第二网络结构示意图；
图5是本申请深度特征提取模块示意图；
图6是本申请卷积块结构示意图；
图7是本申请图卷积示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图7，一种适用于移动应用的小巧医学影像病灶分割方法，包括以下步骤：
步骤S1、将医学图像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT。
本申请的第一网络包括一个编码器和一个解码器，编码器用来提取病灶区域的丰富特征，解码器用来把来自不同尺度特征图中的高级语义与低级语义结合。
具体的，如图3所示，所述第一网络中的编码器由一个7×7的二维卷积操作和四个残差模块组成；所述/>由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述/>由4个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述由6个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述/>由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成；
所述第一网络中的解码器由四个卷积块组成，其中每个卷积块包含两个3×3卷积操作。
具体的，所述将原始样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT，过程如下：
步骤1.1、将医学影像样本经过第一网络的编码器的3×3的二维卷积操作，得到特征图
步骤1.2、特征图池化后经过残差模块/>得到特征图/>
步骤1.3、特征图经过残差模块/>得到特征图/>
步骤1.4、特征图经过残差模块/>得到特征图/>
步骤1.5、特征图经过残差模块/>得到特征图/>
步骤1.6、特征图经过卷积块/>后得到特征图/>
步骤1.7、特征图经过卷积块/>后得到特征图/>
步骤1.8、特征图经过卷积块/>后得到特征图/>
步骤1.9、特征图经过卷积块/>后得到特征图/>
步骤1.10、将特征图和/>这3张特征图组合成列表，得到第一特征图列表FeatsT。
步骤S2、将原始样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
如图4所示，本申请第二网络包括一个编码器、一个解码器和一个卷积块所述第二网络的编码器包含4个卷积块/>每个卷积块由2组串行的3×3的二维卷积操作、批量归一化操作、激活操作组成，所述第二网络的解码器包含4个卷积块/>每个卷积块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成。具体的，所述将原始样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果包括：
步骤2.1、将原始样本经过第二网络的编码器的卷积块得到输出特征图/>
步骤2.2、特征图池化后经过卷积块/>得到特征图/>
步骤2.3)特征图池化后经过卷积块/>得到特征图/>
步骤2.4)特征图池化后经过卷积块/>得到特征图/>
步骤2.5、特征图池化后经过卷积/>得到特征图/>
步骤2.6、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.7、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.8、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.9、将特征图输入第二网络的解码器中的卷积块/>得到特征图/>对的每一通道均用sigmoid函数进行激活，得到/>上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果/>
步骤2.10、将特征图和/>这3张特征图组合成列表，得到第二特征图列表FeatsS。
步骤S3、将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat。
本申请深度特征提炼损失Lfeat用来指导第二网络学习第一网络的中间层的多种特征，提高分类和分割任务的准确率。
本申请将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，过程如下：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图经过margin ReLU函数得到/>margin ReLU函数定义如下：
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
表示/>中的通道数/>表示特征图/>每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图经过一个1×1的二维卷积操作得到计算/>和/>的/>距离，将计算得到的/>距离进行叠加得到总体深度特征提炼损失L′total，/>距离和L′ftotal计算公式如下：
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
本申请进行深度特征提炼的网络结构如图5所示，对于第一特征图列表中的特征图，需要经过margin ReLU函数，对于第二特征图列表中的特征图需要经过卷积核大小为1×1的卷积核进行图像大小转换。
步骤S4、将第一特征图列表FeatsT中的底层特征图边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图/>进行边缘信息推理提炼，得到边缘信息提炼损失Ledge。
本申请边缘提炼损失Ledge用来指导第二网络学习第一网络的中间层提取到的病灶边缘特征，提升第二网络对病灶边缘的分割能力。
具体的，所述将第一特征图列表FeatsT中的底层特征图边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图/>进行边缘信息推理提炼，得到边缘信息提炼损失Ledge，包括：
步骤4.1、将从FeatsT中得到的底层特征图分别进行两个1×1的二维卷积操作，得到特征图/>和特征图/>
步骤4.2、将边缘信息标签Labeledge进行软化，得到软化后的边缘信息标签软化的步骤如下：
步骤4.2.1、将Labeledge经过一个1×1的二维卷积操作，得到临时边缘标签
步骤4.2.2、将池化后，经过一个sigmoid函数进行激活，得到软化后的边缘信息标签/>
步骤4.3、将特征图进行一次1×1卷积操作后得到临时特征图/>和软化后的边缘信息标签/>进行哈达玛积运算操作，得到边缘注意特征图/>哈达玛积运算如下：
步骤4.4、将边缘注意特征图经过边缘锚点下采样操作后得到边缘关键点矩阵/>边缘锚点下采样操作步骤如下：
步骤4.4.1、随机初始化隶属度矩阵U＝[uij]，初始化聚类中心向量C，设定聚类的簇数n，和隶属度的因子m；
步骤4.4.2、开始迭代，在第k步迭代时，计算质心Ck＝[cj]，计算公式如下：
其中，uij表示像素点xi属于j类的隶属度，i表示第i个样本，cj是j簇的中心，也具有d维度；
步骤4.4.3、根据第k步迭代得到的质心，更新隶属度矩阵U，更新的公式如下：
其中，||*||可以是任意表示距离的度量；
步骤4.4.4、当满足迭代终止条件时，停止迭代，否则继续按照步骤4.4.2和步骤4.4.3中的步骤迭代，迭代的终止条件如下：
其中ε为是误差阈值；
步骤4.5、与特征图/>进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵/>
步骤4.6、将与特征图/>进行矩阵乘法运算和正则化操作后，得到结点矩阵经过一个图卷积网络后得到初步边缘特征推理图/>
所述图卷积网络，包括两个1×1的一维卷积操作和一个ReLU函数的激活操作；
步骤4.7、将和/>进行矩阵乘法运算，正则化后得到抽象边缘特征/>再与/>相加后得到边缘特征推理图/>/>
步骤4.8、将从FeatsS中得到的底层特征图分别进行两个1×1的二维卷积操作，得到特征图/>和特征图/>
步骤4.9、将特征图进行一次1×1的二维卷积操作后，得到边缘注意特征图
步骤4.10、将边缘注意特征图经过步骤4.4中同样的边缘锚点下采样操作后得到边缘关键点矩阵/>与特征图/>进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵/>
步骤4.11、将边缘注意特征投影矩阵特征图/>进行矩阵乘法运算和正则化操作后的得到，经过一个图卷积网络后得到初步边缘特征推理图/>
步骤4.12、将和/>进行矩阵乘法运算，正则化后得到抽象边缘特征/>再与/>相加后得到边缘特征推理图/>
步骤4.13、将边缘特征图和边缘分割图/>进行二分类交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
本申请进行边缘信息推理的结构如图5所示，对于第一特征图列表中的特征图，在生成投影矩阵的过程中需要和软化后的标签进行哈达玛积的运算，而对于第二特征矩图列表中的特征图，在生成投影矩阵这一构成中，不需要和软化标签部分进行运算，直接进行边缘锚点下采样操作。
步骤S5、将病灶分割标签Labelseg和当前病灶分割结果进行二分类交叉熵函数计算得到病灶分割损失Lseg，过程如下：
将疾病分割标签Labelseg和当前病灶分割结果进行二分类交叉熵函数计算，得到分割损失Lseg，计算公式如下：
步骤S6、将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛。
具体的，过程如下：
步骤6.1、将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLseg+βLedge+γLfeat；
步骤6.2、将Ltotal进行反向传播，迭代更新第二网络内的参数。
步骤S7、在训练出第二网络后，将待检测医学图像输入至已训练完成的第二网络中，得到病灶分割结果。
本申请在第一网络中，利用编码器提取病灶的丰富特征，将提取到的特征输入到将来自不同尺度特征图中的高级语义与低级语义结合的解码器中，得到病灶分割准确率较高的第一网络。然后将医学图像输入至第二网络和训练好的第一网络，对第一网络中间层的特征图进行特征精炼，指导第二网络学习中间层特征，同时根据第一网络的分割特征图和软化后的边缘标签经过边缘锚点采样，借助图卷积推理出抽象的高级边缘语义信息，指导第二网络准确分割病灶轮廓。本申请先获取病灶分割准确但是参数量庞大的第一网络，再获取分割准确率一般但结构紧凑的第二网络，通过特征精炼和边缘信息推理，将高维的语义信息和抽象的边缘信息传递到第二网络，可使第二网络对病灶轮廓的分割更加准确，进而提升最终分割的性能。最后获取的第二网络，不仅分割精度高，而且结构紧凑、参数冗余量少、计算的速度快、占用内存小，适合部署在对内存和处理性能有要求的移动设备上。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.一种适用于移动应用的小巧医学影像病灶分割方法，其特征在于，所述适用于移动应用的小巧医学影像病灶分割方法包括以下步骤：
步骤S1、将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT；
步骤S2、将医学影像样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
步骤S3、将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat；
步骤S4、将第一特征图列表FeatsT中的底层特征图边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图/>进行边缘信息推理提炼，得到边缘推理提炼损失Ledge；
步骤S5、将病灶分割标签Labelseg和当前病灶分割结果进行二分类交叉熵函数计算得到病灶分割损失Lseg；
步骤S6、将Lfeat、Ledge、Lseg三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛；
步骤S7、将待分割医学影像输入至已训练完成的第二网络中，得到病灶分割结果；
所述步骤S1中，所述第一网络包括一个编码器和一个解码器；
所述第一网络的编码器由一个7×7的二维卷积操作和四个残差模块 组成；所述/>由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述/>由4个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述/>由6个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成；
所述第一网络的解码器由四个卷积块组成，其中每个卷积块包含两个3×3卷积操作；
将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT，过程如下：
步骤1.1、将医学影像样本经过第一网络的编码器的3×3的二维卷积操作，得到特征图
步骤1.2、特征图池化后经过残差模块/>得到特征图/>
步骤1.3、特征图经过残差模块/>得到特征图/>
步骤1.4、特征图经过残差模块/>得到特征图/>
步骤1.5、特征图经过残差模块/>得到特征图/>
步骤1.6、特征图经过卷积块/>后得到特征图/>
步骤1.7、特征图经过卷积块/>后得到特征图/>
步骤1.8、特征图经过卷积块/>后得到特征图/>
步骤1.9、特征图经过卷积块/>后得到特征图/>
步骤1.10、将特征图和/>这3张特征图组合成列表，得到第一特征图列表FeatsT；
所述步骤S2中，所述第二网络包括一个编码器、一个解码器和一个卷积块所述第二网络中的编码器包含4个卷积块/>每个卷积块由2组串行的3×3的二维卷积操作、批量归一化操作、激活操作组成，所述第二网络中的解码器包含4个卷积块/>每个卷积块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成；
将医学影像样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果过程如下：
步骤2.1、将原始样本经过第二网络的编码器的卷积块得到输出特征图/>
步骤2.2、特征图池化后经过卷积块/>得到特征图/>
步骤2.3)特征图池化后经过卷积块/>得到特征图/>
步骤2.4)特征图池化后经过卷积块/>得到特征图/>
步骤2.5、特征图池化后经过卷积/>得到特征图/>
步骤2.6、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.7、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.8、将特征图进行上采样后和/>进行特征拼接，再经过第二网络的解码器中的卷积块/>后得到特征图/>
步骤2.9、将特征图输入第二网络的解码器中的卷积块/>得到特征图/>对/>的每一通道均用sigmoid函数进行激活，得到/>上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果/>
步骤2.10、将特征图和/>这3张特征图组合成列表，得到第二特征图列表FeatsS；
所述步骤S3中，将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，过程如下：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图经过margin ReLU函数得到/>margin ReLU函数定义如下：
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
表示/>中的通道数/>Pi j表示特征图/>每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图经过一个1×1的二维卷积操作得到/>计算/>和/>的/>距离，将计算得到的/>距离进行叠加得到总体深度特征提炼损失L′total，/>距离和L′ftotal计算公式如下：
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
所述步骤S4中，将第一特征图列表FeatsT中的底层特征图边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图/>进行边缘信息推理提炼，得到边缘推理提炼损失Ledge，过程如下：
步骤4.1、将从FeatsT中得到的底层特征图分别进行两个1×1的二维卷积操作，得到特征图/>和特征图/>
步骤4.2、将边缘信息标签Labeledge进行软化，得到软化后的边缘信息标签软化的步骤如下：
步骤4.2.1、将Labeledge经过一个1×1的二维卷积操作，得到临时边缘标签
步骤4.2.2、将池化后，经过一个sigmoid函数进行激活，得到软化后的边缘信息标签/>
步骤4.3、将特征图进行一次1×1卷积操作后得到临时特征图/>和软化后的边缘信息标签/>进行哈达玛积运算操作，得到边缘注意特征图/>哈达玛积运算如下：
步骤4.4、将边缘注意特征图经过边缘锚点下采样操作后得到边缘关键点矩阵边缘锚点下采样操作步骤如下：
步骤4.4.1、随机初始化隶属度矩阵U＝[uij]，初始化聚类中心向量C，设定聚类的簇数n，和隶属度的因子m；
步骤4.4.2、开始迭代，在第k步迭代时，计算质心Ck＝[cj]，计算公式如下：
其中，uij表示像素点xi属于j类的隶属度，i表示第i个样本，cj是j簇的中心，也具有d维度；
步骤4.4.3、根据第k步迭代得到的质心，更新隶属度矩阵U，更新的公式如下：
其中，||*||是任意表示距离的度量；
步骤4.4.4、当满足迭代终止条件时，停止迭代，否则继续按照步骤4.4.2和步骤4.4.3中的步骤迭代，迭代的终止条件如下：
其中ε为是误差阈值；
步骤4.5、与特征图/>进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵
步骤4.6、将与特征图/>进行矩阵乘法运算和正则化操作后，得到结点矩阵/> 经过一个图卷积网络后得到初步边缘特征推理图/>
所述图卷积网络，包括两个1×1的一维卷积操作和一个ReLU函数的激活操作；
步骤4.7、将和/>进行矩阵乘法运算，正则化后得到抽象边缘特征/>再与相加后得到边缘特征推理图/>
步骤4.8、将从FeatsS中得到的底层特征图分别进行两个1×1的二维卷积操作，得到特征图/>和特征图/>
步骤4.9、将特征图进行一次1×1的二维卷积操作后，得到边缘注意特征图/>
步骤4.10、将边缘注意特征图经过步骤4.4中同样的边缘锚点下采样操作后得到边缘关键点矩阵/> 与特征图/>进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵/>
步骤4.11、将边缘注意特征投影矩阵特征图/>进行矩阵乘法运算和正则化操作后的得到，经过一个图卷积网络后得到初步边缘特征推理图/>
步骤4.12、将和/>进行矩阵乘法运算，正则化后得到抽象边缘特征/>再与相加后得到边缘特征推理图/>
步骤4.13、将边缘特征图和边缘分割图/>进行二分类交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
所述步骤S5中，将病灶分割标签Labelseg和当前病灶分割结果进行二分类交叉熵函数计算得到病灶分割损失Lseg，过程如下：
将疾病分割标签Labelseg和当前病灶分割结果进行二分类交叉熵函数计算，得到分割损失Lseg，计算公式如下：
所述步骤S6中，将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛，过程如下：
步骤6.1、将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLseg+βLedge+γLfeat；
步骤6.2、将Ltotal进行反向传播，迭代更新第二网络内的参数。
CN202110289771.7A 2021-03-17 2021-03-17 一种适用于移动应用的小巧医学影像病灶分割方法 Active CN113052810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110289771.7A CN113052810B (zh) 2021-03-17 2021-03-17 一种适用于移动应用的小巧医学影像病灶分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110289771.7A CN113052810B (zh) 2021-03-17 2021-03-17 一种适用于移动应用的小巧医学影像病灶分割方法

Publications (2)

Publication Number Publication Date
CN113052810A CN113052810A (zh) 2021-06-29
CN113052810B true CN113052810B (zh) 2024-03-22

Family

ID=76513467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110289771.7A Active CN113052810B (zh) 2021-03-17 2021-03-17 一种适用于移动应用的小巧医学影像病灶分割方法

Country Status (1)

Country Link
CN (1) CN113052810B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511737B (zh) * 2022-01-24 2022-09-09 北京建筑大学 图像识别域泛化模型的训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
CN112258488A (zh) * 2020-10-29 2021-01-22 山西三友和智慧信息技术股份有限公司 一种医疗影像病灶分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
CN112258488A (zh) * 2020-10-29 2021-01-22 山西三友和智慧信息技术股份有限公司 一种医疗影像病灶分割方法

Also Published As

Publication number Publication date
CN113052810A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
CN111783782B (zh) 融合改进UNet和SegNet的遥感图像语义分割方法
CN107526785B (zh) 文本分类方法及装置
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
US11804074B2 (en) Method for recognizing facial expressions based on adversarial elimination
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN113807355A (zh) 一种基于编解码结构的图像语义分割方法
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN113052810B (zh) 一种适用于移动应用的小巧医学影像病灶分割方法
CN112232395A (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN116228789A (zh) 一种基于DeepLabv3+网络的遥感图像分割方法
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN105809200B (zh) 一种生物启发式自主抽取图像语义信息的方法及装置
CN114491289A (zh) 一种双向门控卷积网络的社交内容抑郁检测方法
CN111179272A (zh) 一种面向道路场景的快速语义分割方法
CN116740362B (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN115995002B (zh) 一种网络构建方法及城市场景实时语义分割方法
CN117011515A (zh) 基于注意力机制的交互式图像分割模型及其分割方法
CN116433909A (zh) 基于相似度加权多教师网络模型的半监督图像语义分割方法
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant