CN114022462A - 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质 - Google Patents

实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质 Download PDF

Info

Publication number
CN114022462A
CN114022462A CN202111326387.6A CN202111326387A CN114022462A CN 114022462 A CN114022462 A CN 114022462A CN 202111326387 A CN202111326387 A CN 202111326387A CN 114022462 A CN114022462 A CN 114022462A
Authority
CN
China
Prior art keywords
convolution
magnetic resonance
nuclear magnetic
neural network
resonance image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111326387.6A
Other languages
English (en)
Inventor
朱煜
郑兵兵
王伟
刘雅童
王培军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN202111326387.6A priority Critical patent/CN114022462A/zh
Publication of CN114022462A publication Critical patent/CN114022462A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其中，该方法包括输入包含mpMRI前列腺序列ADC、T2W、DWI的任意组合样本进行刚性匹配操作提取感兴趣区域并进行特征处理；编码器输出特征图并输入至级联金字塔卷积处理模块进行卷积和特征图采样处理；解码器进行特征图上采样后与经过跨越连接层输出的特征输送至双输入通道注意力模块进行特征融合处理；训练所述的前列腺多参数核磁共振图像的前列腺癌病灶分割网络，以获取病灶分割结果。本发明还涉及一种相应的系统、装置、处理器及其存储介质。采用了本发明的该方法、系统、装置、处理器及其存储介质，利用网络深层特征的语义信息来指导浅层输出以获得具有更高判别能力的特征。

Description

实现多参数核磁共振图像病灶分割的方法、系统、装置、处理 器及其计算机可读存储介质
技术领域
本发明涉及医学图像自动分割的技术领域，尤其涉及图像处理中的语义分割领域，具体是指一种基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质。
背景技术
前列腺癌(Prostate Cancer，PCa)是仅次于肺癌的男性第二大致命疾病，而前列腺癌若能被尽早发现并进行及时治疗，可以有效提高患者的生存率。多参数MRI(Multi-parametric MRI，mpMRI)是一种先进的前列腺成像方法，将前列腺MRI的常规序列与一种或多种功能成像技术联合应用，被认为是用于前列腺癌临床诊断的最佳影像检查技术。但是基于mpMRI的前列腺癌临床诊断需要有放射科医生的专业知识作为基础，不同医师的判断会出现一定的偏差。
医学图像分割是医疗影像分析领域的热点研究内容，众多学者针对不同的挑战提出了许多不同的分割算法。针对PCa检测与分割的早期工作主要集中在手工特征选择方法上，这些方法利用预定义的图像特征来构建特征经验模型实现PCa病灶的分割；接着深度学习方法被大量用在医学图像分割领域，但是，从前列腺mpMRI中使用CNN进行PCa病灶分割的方法较少。现有的前列腺癌病灶分割方法中，有基于T2W图像的PCa检测方法。然而，采用MRI的单一序列可能会忽略不同形式的互信息，从而阻碍模型实现更好的分割性能；也有设计了基于mpMRI的多通道编解码器网络以实现PCa的检测和分类，但是依然有网络参数冗余，小目标分割困难等问题。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种检测维度多样且应用范围广泛的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质。
为了实现上述目的，本发明的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质如下：
基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其主要特点是，所述的方法包括以下步骤：
(1)输入包含前列腺多参数核磁共振图像的成像序列ADC、T2W、DWI的任意组合样本进行刚性匹配操作；
(2)对处理后的图像提取感兴趣区域，并输送至前列腺癌病灶分割网络通过编码器进行特征处理；
(3)所述的编码器输出特征图并将其输入至级联金字塔卷积处理模块的跨越连接层进行卷积和特征图采样处理；
(4)解码器进行特征图上采样后与经过所述的跨越连接层输出的特征输送至双输入通道注意力模块进行特征融合处理；
(5)训练所述的前列腺多参数核磁共振图像的前列腺癌病灶分割网络，以获取病灶分割结果。
较佳地，所述的步骤(2)具体为：
采用预训练的ResNeXt网络中的预设个数的卷积模块通过编码器将各个卷积模块中的每一个下采样层的特征图保留，获得相应特征图的通道数。
较佳地，所述的预设个数的卷积模块设定为ResNeXt网络中的前五个卷积模块，其中，第一个卷积模块使用的卷积核大小为7×7，其余四个卷积模块分别使用了大小为3×3和1×1的卷积核。
较佳地，五次下采样所获得的特征图的通道数依次增加，且各个特征图大小依次减小，分别为原图的1/2、1/4、1/8、1/16以及1/32。
较佳地，所述的步骤(3)具体包括以下步骤：
(3.1)所述的编码器从第一层至第四层分别对应四个级联金字塔卷积模块进行特征图输出，其中每一个大核卷积的输出都与原输入特征图经过1×1卷积后的特征图进行逐像素相加的融合操作，作为下一个卷积的输入；
(3.2)所述的级联金字塔卷积处理模块使用卷积分解将一个大核卷积分解成双支路结构，其中一条支路以x×1和1×y的顺序串联组成，另一条支路的卷积顺序为1×y和x×1，两条支路的输出进行逐元素相加得到最后的输出；
(3.3)对多个大核卷积的结果在通道上进行拼接，最大程度保留小目标对象的特征信息；
(3.4)根据编码器前四层输出的对应的四组级联金字塔使用的卷积核的个数与尺寸的差异，以适应编码器不同大小特征图的尺寸。
较佳地，所述的步骤(4)具体包括以下步骤：
(4.1)所述的双输入通道注意力模块的第一通道通过跨越连接路径中的级联金字塔卷积模块输入第一特征图
Figure BDA0003347078240000031
第二通道通过解码层上采样后输入第二特征图
Figure BDA0003347078240000032
Figure BDA0003347078240000033
(4.2)将所述的第一特征图与第二特征图在通道维度上拼接，得到
Figure BDA0003347078240000034
其中，c、h、w和d分别为特征图的通道数、高、宽和深度，C(X1，X2)为拼接后的特征图；
(4.3)所述的双输入通道注意力模块将输入的第一特征图与第二特征图在通道维度上融合后进行全局平均池化操作，并根据以下公式得到全局信息特征向量：
Figure BDA0003347078240000035
其中，i，j，k，f分别表示特征图的高、宽、深度和通道。
(4.4)通过1×1卷积将特征向量维度降为通道数c，并使用Sigmoid激活函数对特征向量进行归一化操作，根据以下公式得到通道注意力向量CA：
CA＝σ(W×vf+b)；
其中，W和b为卷积核参数，vf为特征图。
(4.5)所述的注意力向量与级联金字塔卷积模块的输出特征图在通道维度上相乘，以增强网络浅层特征的判别性，再将深层特征通过残差连接的方式连接到输出端，成为双输入通道注意力模块的输出，具体为通过以下公式实现：
Figure BDA0003347078240000036
其中，
Figure BDA0003347078240000037
表示通道维度相乘，O为注意力模块的输出特征图。
尤佳地，所述的解码器具体为由四个串联的双输入通道注意力模块组成，所述的解码器对每层输出的特征向量通过双线性插值操作进行上采样，与上一层的级联金字塔卷积处理模块输出的特征向量进行融合，从而逐渐将特征图恢复至原始输入尺寸，且输出层使用Softmax函数输出每个特征图的像素所属类别的概率。
更佳地，所述的步骤(5)为通过损失函数获取所述的病灶分割结果，具体为：其中，总的损失函数为：
L′total＝L′bce+L′dice；
其中，L′bce为像素级二进制交叉熵损失，L′dice为Dice损失，两个损失分别为：
Figure BDA0003347078240000038
Figure BDA0003347078240000039
其中，xi，j为预测类别的概率，yi，j为真实标注。
该利用上述方法实现基于深度神经网络模型实现多参数核磁共振图像病灶分割的系统，其主要特点是，所述的系统包括：
目标提取处理模块，用于对输入的前列腺多参数核磁共振图像的成像序列ADC、T2W、DWI进行感兴趣区域的目标提取；
尺寸统一处理模块，与所述的目标提取处理模块相连接，用于对提取后的目标图像进行刚性配准操作，并将各个目标图像的大小统一到相同尺寸；
病灶分割神经网络处理模块，与所述的尺寸统一处理模块相连接，用于将经过尺寸统一处理后的目标图像输入至前列腺多参数核磁共振图像的前列腺癌病灶分割网络中通过编码器进行卷积和特征图采样处理；
级联金字塔卷积处理模块，与所述的病灶分割神经网络处理模块相连接，用于接收所述的编码器输出的特征图，并将其输入至所述的级联金字塔卷积处理模块的跨越连接层进行分组卷积和残差拼接，以保留相应目标对象的特征信息；以及
双输入通道注意力模块，与所述的级联金字塔卷积处理模块相连接，用于将通过跨越连接路径中的所述的级联金字塔卷积处理模块的输出特征图以及解码层进行特征上采样后的输出特征图在通道维度上融合后进行全局平均池化操作，以获取对应通道的特征向量。
该基于深度神经网络模型实现多参数核磁共振图像病灶分割的装置，其主要特点是，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
该基于深度神经网络模型实现多参数核磁共振图像病灶分割的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
采用了本发明的该基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质，提供了一种基于编解码结构深度神经网络的多参数序列前列腺癌病灶分割方法及框架。该分割方法融合多种MRI模态数据，采用级联金字塔卷积、通道注意力等模块，充分融合深浅层特征信息，降低噪声干扰，分割出多尺度的前列腺癌病灶目标，为前列腺疾病的临床诊断和治疗提供有力支持，降低诊断耗费的时间，为前列腺癌的筛查、检测、诊断提供更加有效的信息处理方法和手段。可以实现对MRI前列腺癌病灶的自动分割。
同时，考虑到采用MRI的单一序列可能会忽略不同形式的互信息，从而阻碍模型实现更好的分割性能，我们采用进行通道合并的三个序列数据：T2W、ADC和DWI，使用ADC和DWI序列能够补充病灶特征信息，大大提高分割性能；针对不同病例的PCa病灶形状、尺寸差异较大，小目标区域较多的问题，设计的级联金字塔卷积模块，级联金字塔卷积模块可以多尺度的捕获编码器生成的特征图中携带的详细空间定位信息，融合多个尺度的局部和全局信息，以减少空间定位信息的损失，提高模型对像素点的分类能力，同时，使用级联金字塔卷积模块后也可以改善模型欠分割的情况；为了增强模型对目标区域的关注度，设计了双输入通道注意力模块，利用网络深层特征的语义信息来指导浅层输出，以获得具有更高判别能力的特征，加强网络各阶段的特征提取能力。
附图说明
图1为本发明的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的流程图。
图2为本发明的基于深度神经网络的多参数核磁共振图像病灶分割方法的提取感兴趣区域以及进行统一尺寸的示意图。
图3为本发明的级联金字塔卷积处理模块。
图4为本发明的级联金字塔卷积处理模块的大核卷积的拆分示意图。
图5为本发明的双输入通道注意力模块的结构示意图。
图6为本发明实现多参数核磁共振图像病灶分割方法的分割结果示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，第一和第二之类的关系术语仅仅用来区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
请参阅图1所示，该基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其中，所述的方法包括以下步骤：
(1)输入包含前列腺多参数核磁共振图像(mpMRI)的成像序列ADC、T2W、DWI的任意组合样本进行刚性匹配操作，并将大小统一到相同尺寸，如图2所示；
上述所使用的刚性匹配操作，即为本技术领域的普通技术人员所公知的常规图像处理方式，属于本领域的公知常识，在此不另行说明。
(2)对处理后的图像提取感兴趣区域，并输送至前列腺癌病灶分割网络通过编码器进行特征处理；
在实际应用当中，所设计的mpMRI的前列腺癌(PCa)病灶分割网络中的编码器可以是任意常用深度神经网络结构，以预训练的ResNeXt101为例；
(3)所述的编码器输出特征图并将其输入至级联金字塔卷积处理模块的跨越连接层进行卷积和特征图采样处理；
(4)解码器进行特征图上采样后与经过所述的跨越连接层输出的特征输送至双输入通道注意力模块进行特征融合处理；
(5)训练所述的前列腺多参数核磁共振图像的前列腺癌病灶分割网络，以获取病灶分割结果。
作为本发明的优选实施方式，所述的步骤(2)具体为：
采用预训练的ResNeXt网络中的预设个数的卷积模块通过编码器将各个卷积模块中的每一个下采样层的特征图保留，获得相应特征图的通道数。
作为本发明的优选实施方式，所述的预设个数的卷积模块设定为ResNeXt网络中的前五个卷积模块，其中，第一个卷积模块使用的卷积核大小为7×7，其余四个卷积模块分别使用了大小为3×3和1×1的卷积核。
作为本发明的优选实施方式，五次下采样所获得的特征图的通道数依次增加，且各个特征图大小依次减小，分别为原图的1/2、1/4、1/8、1/16以及1/32。
在实际应用当中，采用预训练的ResNeXt网络中的前五个卷积块，每个卷积模块都使用了分组卷积和残差连接，可以在不增加(甚至降低)模型复杂度的前提下提升网络精度，第一个卷积模块使用的卷积核大小为7×7，其余四个卷积模块都分别使用了大小为3×3和1×1的卷积核；
通过预训练的编码器，将每个下采样层的特征图保留，为五次下采样，获得五份特征图的通道数依次增加，特征图大小依次减小，分别为原图的1/2、1/4、1/8、1/16、1/32。
请参阅图3所示，作为本发明的优选实施方式，所述的步骤(3)具体包括以下步骤：
(3.1)所述的编码器从第一层至第四层分别对应四个级联金字塔卷积模块进行特征图输出，其中每一个大核卷积的输出都与原输入特征图经过1×1卷积后的特征图进行逐像素相加的融合操作，作为下一个卷积的输入；
(3.2)所述的级联金字塔卷积处理模块使用卷积分解将一个大核卷积分解成双支路结构，其中一条支路以x×1和1×y的顺序串联组成，另一条支路的卷积顺序为1×y和x×1，两条支路的输出进行逐元素相加得到最后的输出；
(3.3)对多个大核卷积的结果在通道上进行拼接，最大程度保留小目标对象的特征信息；
(3.4)根据编码器前四层输出的对应的四组级联金字塔使用的卷积核的个数与尺寸的差异，以适应编码器不同大小特征图的尺寸。
在实际应用当中，编码器从第一到第四层输出分别对应四个级联金字塔卷积模块，每个大核卷积的输出都与原输入特征图经过1×1卷积后的特征图进行逐像素相加的融合操作，作为下一个卷积的输入。我们使用的大核卷积的大小包括15×15、9×9和5×5。
请参阅图4所示，级联金字塔卷积模块中使用了大核卷积，为减少计算复杂度，使用卷积分解将一个大核卷积分解成双支路结构，其中一条支路以x×1和1×y的顺序串联组成，另一条支路的卷积顺序为1×y和x×1，两条支路的输出进行逐元素相加得到最后的输出。
双输入通道注意力模块的输入由两部分组成，一部分是通过跨越连接路径中的级联金字塔卷积模块的输出特征图
Figure BDA0003347078240000071
另一部分是对应解码层上采样后的特征图
Figure BDA0003347078240000072
Figure BDA0003347078240000073
其中，c、h、w和d分别为特征图的通道数、高、宽和深度。对两个输入特征图在通道维度上拼接，得到
Figure BDA0003347078240000074
请参阅图5所示，作为本发明的优选实施方式，所述的步骤(4)具体包括以下步骤：
(4.1)所述的双输入通道注意力模块的第一通道通过跨越连接路径中的级联金字塔卷积模块输入第一特征图
Figure BDA0003347078240000075
第二通道通过解码层上采样后输入第二特征图
Figure BDA0003347078240000076
Figure BDA0003347078240000077
(4.2)将所述的第一特征图与第二特征图在通道维度上拼接，得到
Figure BDA0003347078240000078
其中，c、h、w和d分别为特征图的通道数、高、宽和深度，C(X1，X2)为拼接后的特征图；
(4.3)所述的双输入通道注意力模块将输入的第一特征图与第二特征图在通道维度上融合后进行全局平均池化操作，并根据以下公式得到全局信息特征向量：
Figure BDA0003347078240000081
其中，i，j，k，f分别为表示高、宽、深度和通道。
(4.4)通过1×1卷积将特征向量维度降为通道数c，并使用Sigmoid激活函数对特征向量进行归一化操作，根据以下公式得到通道注意力向量CA：
CA＝σ(W×vf+b)；
其中，W和b为卷积核参数，vf为特征图。
得到的注意力向量每个元素的值介于0到1之间：CA∈[0，1]，且和为1，即|CA|＝1。
(4.5)所述的注意力向量与级联金字塔卷积模块的输出特征图在通道维度上相乘，以增强网络浅层特征的判别性，再将深层特征通过残差连接的方式连接到输出端，成为双输入通道注意力模块的输出，具体为通过以下公式实现：
Figure BDA0003347078240000082
其中，
Figure BDA0003347078240000083
表示通道维度相乘，O为注意力模块的输出特征图。
双输入通道注意力模块利用网络浅层和深层两个部分的特征图，对编码器生成的特征图进一步提取重要内容，使模型更加关注目标区域的同时，对不同类别的区域具有更高的判别能力。
作为本发明的优选实施方式，所述的解码器具体为由四个串联的双输入通道注意力模块组成，所述的解码器对每层输出的特征向量通过双线性插值操作进行上采样，与上一层的级联金字塔卷积处理模块输出的特征向量进行融合，从而逐渐将特征图恢复至原始输入尺寸，且输出层使用Softmax函数输出每个特征图的像素所属类别的概率。
作为本发明的优选实施方式，所述的步骤(5)为通过损失函数获取所述的病灶分割结果，具体为：其中，总的损失函数为：
L′total＝L′bce+L′dice；
其中，L′bce为像素级二进制交叉熵损失，L′dice为Dice损失，两个损失分别为：
Figure BDA0003347078240000084
Figure BDA0003347078240000085
其中，xi，j为预测类别的概率，yi，j为真实标注。
在一种较佳的实施方式中，所述的步骤(5)中所述的前列腺癌分割网络训练过程中的损失函数具体包括以下步骤：
模型输出的预测概率图
Figure BDA0003347078240000086
真实分割标签图
Figure BDA0003347078240000087
由于PCa分割任务的目标区域只有一个类别，且模型输入为二维图像，PCa病灶分割训练数据为根据前列腺ROI裁剪后的图像，类别不平衡的问题得到了改善。总损失函数为：
L′total＝L′bce+L′dice
其中，L′bce为像素级二进制交叉熵损失，L′dice为Dice损失，两个损失分别为：
Figure BDA0003347078240000091
Figure BDA0003347078240000092
得到有监督信息的损失函数后，使用后向传播算法和参数为β1＝0.9，β2＝0.999的ADAM优化算法去最小化有监督信息的损失函数从而训练步骤(5)中的目标分割模型。
以上述方式得到的模型即为基于深度神经网络的多参数核磁共振图像病灶分割模型。在使用训练好的模型时，将待分割的前列腺MR图像输入至深度神经网络中得到分割结果图。该方法在我们的数据集的分割结果如下表所示：
DSC(％) ABD(mm) RVD(％)
本发明的方法 82.11±0.95 3.64±0.91 -8.66±3.77
分割示意图如图6所示，在数据集上的实验使用了5折交叉验证，计算每种评价指标的均值和标准差，其中，使用的评价指标包括：Dice相似系数(Dice SimilarityCoefficient，DSC)、平均边界距离(Average Boundary Distance，ABD)和相对体积差异(Relative Volume Difference，RVD)。
Dice相似系数(DSC)是医学图像分割领域评价分割结果的最主要指标，用于评价分割结果与真实分割标签之间的相似度，计算公式为：
Figure BDA0003347078240000093
其中，X和Y分别表示模型输出分割图与真实分割标签，DSC的取值范围介于0到1之间，DSC的值越大表明预测结果与真实标签越接近。
平均边界距离(ABD)用于计算预测分割结果边界与真实分割标签边界之间距离的平均值，可以反映分割结果边缘的准确度，计算公式为：
Figure BDA0003347078240000094
其中，Xs和Ys分别表示预测结果与真实分割标签图边缘点的集合，d(·，·)为两点之间的欧式距离(Euclidean Distance)，n维空间中两点的欧式距离可以表示为：
Figure BDA0003347078240000101
ABD的计算方式可以概括为：对给定边缘点集中的每一个点，计算与另外一个边缘点集的最小欧式距离，对所有结果求平均。
相对体积差异可以反映模型的欠分割或过分割状态，由预测分割结果体素量与真实分割标签体素量的比值决定，计算公式为：
Figure BDA0003347078240000102
可以看出，RVD的值为负数说明模型预测结果为欠分割，为正数说明预测结果为过分割。
该利用上述方法实现基于深度神经网络模型实现多参数核磁共振图像病灶分割的系统，其中，所述的系统包括：
目标提取处理模块，用于对输入的前列腺多参数核磁共振图像的成像序列ADC、T2W、DWI进行感兴趣区域的目标提取；
尺寸统一处理模块，与所述的目标提取处理模块相连接，用于对提取后的目标图像进行刚性配准操作，并将各个目标图像的大小统一到相同尺寸；
病灶分割神经网络处理模块，与所述的尺寸统一处理模块相连接，用于将经过尺寸统一处理后的目标图像输入至前列腺多参数核磁共振图像的前列腺癌病灶分割网络中通过编码器进行卷积和特征图采样处理；
级联金字塔卷积处理模块，与所述的病灶分割神经网络处理模块相连接，用于接收所述的编码器输出的特征图，并将其输入至所述的级联金字塔卷积处理模块的跨越连接层进行分组卷积和残差拼接，以保留相应目标对象的特征信息；以及
双输入通道注意力模块，与所述的级联金字塔卷积处理模块相连接，用于将通过跨越连接路径中的所述的级联金字塔卷积处理模块的输出特征图以及解码层进行特征上采样后的输出特征图在通道维度上融合后进行全局平均池化操作，以获取对应通道的特征向量。
该基于深度神经网络模型实现多参数核磁共振图像病灶分割的装置，其中，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
该基于深度神经网络模型实现多参数核磁共振图像病灶分割的处理器，其中，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
该计算机可读存储介质，其中，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
采用了本发明的该基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质，提供了一种基于编解码结构深度神经网络的多参数序列前列腺癌病灶分割方法及框架。该分割方法融合多种MRI模态数据，采用级联金字塔卷积、通道注意力等模块，充分融合深浅层特征信息，降低噪声干扰，分割出多尺度的前列腺癌病灶目标，为前列腺疾病的临床诊断和治疗提供有力支持，降低诊断耗费的时间，为前列腺癌的筛查、检测、诊断提供更加有效的信息处理方法和手段。可以实现对MRI前列腺癌病灶的自动分割。
同时，考虑到采用MRI的单一序列可能会忽略不同形式的互信息，从而阻碍模型实现更好的分割性能，我们采用进行通道合并的三个序列数据：T2W、ADC和DWI，使用ADC和DWI序列能够补充病灶特征信息，大大提高分割性能；针对不同病例的PCa病灶形状、尺寸差异较大，小目标区域较多的问题，设计的级联金字塔卷积模块，级联金字塔卷积模块可以多尺度的捕获编码器生成的特征图中携带的详细空间定位信息，融合多个尺度的局部和全局信息，以减少空间定位信息的损失，提高模型对像素点的分类能力，同时，使用级联金字塔卷积模块后也可以改善模型欠分割的情况；为了增强模型对目标区域的关注度，设计了双输入通道注意力模块，利用网络深层特征的语义信息来指导浅层输出，以获得具有更高判别能力的特征，加强网络各阶段的特征提取能力。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (12)

1.一种基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其特征在于，所述的方法包括以下步骤：
(1)输入包含前列腺多参数核磁共振图像的成像序列ADC、T2W、DWI的任意组合样本进行刚性匹配操作；
(2)对处理后的图像提取感兴趣区域，并输送至前列腺癌病灶分割网络通过编码器进行特征处理；
(3)所述的编码器输出特征图并将其输入至级联金字塔卷积处理模块的跨越连接层进行卷积和特征图采样处理；
(4)解码器进行特征图上采样后与经过所述的跨越连接层输出的特征输送至双输入通道注意力模块进行特征融合处理；
(5)训练所述的前列腺多参数核磁共振图像的前列腺癌病灶分割网络，以获取病灶分割结果。
2.根据权利要求1所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其特征在于，所述的步骤(2)具体为：
采用预训练的ResNeXt网络中的预设个数的卷积模块通过编码器将各个卷积模块中的每一个下采样层的特征图保留，获得相应特征图的通道数。
3.根据权利要求2所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其特征在于，所述的预设个数的卷积模块设定为ResNeXt网络中的前五个卷积模块，其中，第一个卷积模块使用的卷积核大小为7×7，其余四个卷积模块分别使用了大小为3×3和1×1的卷积核。
4.根据权利要求3所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其特征在于，五次下采样所获得的特征图的通道数依次增加，且各个特征图大小依次减小，分别为原图的1/2、1/4、1/8、1/16以及1/32。
5.根据权利要求4所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其特征在于，所述的步骤(3)具体包括以下步骤：
(3.1)所述的编码器从第一层至第四层分别对应四个级联金字塔卷积模块进行特征图输出，其中每一个大核卷积的输出都与原输入特征图经过1×1卷积后的特征图进行逐像素相加的融合操作，作为下一个卷积的输入；
(3.2)所述的级联金字塔卷积处理模块使用卷积分解将一个大核卷积分解成双支路结构，其中一条支路以x×1和1×y的顺序串联组成，另一条支路的卷积顺序为1×y和x×1，两条支路的输出进行逐元素相加得到最后的输出；
(3.3)对多个大核卷积的结果在通道上进行拼接，最大程度保留小目标对象的特征信息；
(3.4)根据编码器前四层输出的对应的四组级联金字塔使用的卷积核的个数与尺寸的差异，以适应编码器不同大小特征图的尺寸。
6.根据权利要求5所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其特征在于，所述的步骤(4)具体包括以下步骤：
(4.1)所述的双输入通道注意力模块的第一通道通过跨越连接路径中的级联金字塔卷积模块输入第一特征图
Figure FDA0003347078230000021
第二通道通过解码层上采样后输入第二特征图
Figure FDA0003347078230000022
Figure FDA0003347078230000023
(4.2)将所述的第一特征图与第二特征图在通道维度上拼接，得到
Figure FDA0003347078230000024
其中，c、h、w和d分别为特征图的通道数、高、宽和深度，C(X1，X2)为拼接后的特征图；
(4.3)所述的双输入通道注意力模块将输入的第一特征图与第二特征图在通道维度上融合后进行全局平均池化操作，并根据以下公式得到全局信息特征向量：
Figure FDA0003347078230000025
其中，i，j，k，f分别表示特征图的高、宽、深度和通道数。
(4.4)通过1×1卷积将特征向量维度降为通道数c，并使用Sigmoid激活函数对特征向量进行归一化操作，根据以下公式得到通道注意力向量CA：
CA＝σ(W×vf+b)；
其中，W和b为卷积核参数，vf为特征图。
(4.5)所述的注意力向量与级联金字塔卷积模块的输出特征图在通道维度上相乘，以增强网络浅层特征的判别性，再将深层特征通过残差连接的方式连接到输出端，成为双输入通道注意力模块的输出，具体为通过以下公式实现：
Figure FDA0003347078230000026
其中，
Figure FDA0003347078230000027
表示通道维度相乘，O为注意力模块的输出特征图。
7.根据权利要求6所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其特征在于，所述的解码器具体为由四个串联的双输入通道注意力模块组成，所述的解码器对每层输出的特征向量通过双线性插值操作进行上采样，与上一层的级联金字塔卷积处理模块输出的特征向量进行融合，从而逐渐将特征图恢复至原始输入尺寸，且输出层使用Softmax函数输出每个特征图的像素所属类别的概率。
8.根据权利要求7所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法，其特征在于，所述的步骤(5)为通过损失函数获取所述的病灶分割结果，具体为：
其中，总的损失函数为：
L′total＝L′bce+L′dice；
其中，Lbce为像素级二进制交叉熵损失，Ldice为Dice损失，两个损失分别为：
Figure FDA0003347078230000031
Figure FDA0003347078230000032
其中，xi，j为预测类别的概率，yi，j为真实标注。
9.一种利用权利要求8所述的方法实现基于深度神经网络模型实现多参数核磁共振图像病灶分割的系统，其特征在于，所述的系统包括：
目标提取处理模块，用于对输入的前列腺多参数核磁共振图像的成像序列ADC、T2W、DWI进行感兴趣区域的目标提取；
尺寸统一处理模块，与所述的目标提取处理模块相连接，用于对提取后的目标图像进行刚性配准操作，并将各个目标图像的大小统一到相同尺寸；
病灶分割神经网络处理模块，与所述的尺寸统一处理模块相连接，用于将经过尺寸统一处理后的目标图像输入至前列腺多参数核磁共振图像的前列腺癌病灶分割网络中通过编码器进行卷积和特征图采样处理；
级联金字塔卷积处理模块，与所述的病灶分割神经网络处理模块相连接，用于接收所述的编码器输出的特征图，并将其输入至所述的级联金字塔卷积处理模块的跨越连接层进行分组卷积和残差拼接，以保留相应目标对象的特征信息；以及
双输入通道注意力模块，与所述的级联金字塔卷积处理模块相连接，用于将通过跨越连接路径中的所述的级联金字塔卷积处理模块的输出特征图以及解码层进行特征上采样后的输出特征图在通道维度上融合后进行全局平均池化操作，以获取对应通道的特征向量。
10.一种基于深度神经网络模型实现多参数核磁共振图像病灶分割的装置，其特征在于，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现权利要求1至8中任一项所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
11.一种基于深度神经网络模型实现多参数核磁共振图像病灶分割的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1至8中任一项所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1至8中任一项所述的基于深度神经网络模型实现多参数核磁共振图像病灶分割的方法的各个步骤。
CN202111326387.6A 2021-11-10 2021-11-10 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质 Pending CN114022462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111326387.6A CN114022462A (zh) 2021-11-10 2021-11-10 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111326387.6A CN114022462A (zh) 2021-11-10 2021-11-10 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114022462A true CN114022462A (zh) 2022-02-08

Family

ID=80063327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111326387.6A Pending CN114022462A (zh) 2021-11-10 2021-11-10 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114022462A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565655A (zh) * 2022-02-28 2022-05-31 上海应用技术大学 一种基于金字塔分割注意力的深度估计方法及装置
CN115272250A (zh) * 2022-08-01 2022-11-01 深圳技术大学 确定病灶位置方法、装置、计算机设备和存储介质
CN115601356A (zh) * 2022-11-16 2023-01-13 山东大学（Cn） 基于稀疏卷积自编码的多发性硬化病灶识别方法及系统
CN116703896A (zh) * 2023-08-02 2023-09-05 神州医疗科技股份有限公司 一种基于多模态的前列腺癌与增生预测系统及构建方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565655A (zh) * 2022-02-28 2022-05-31 上海应用技术大学 一种基于金字塔分割注意力的深度估计方法及装置
CN114565655B (zh) * 2022-02-28 2024-02-02 上海应用技术大学 一种基于金字塔分割注意力的深度估计方法及装置
CN115272250A (zh) * 2022-08-01 2022-11-01 深圳技术大学 确定病灶位置方法、装置、计算机设备和存储介质
CN115272250B (zh) * 2022-08-01 2024-06-04 深圳技术大学 确定病灶位置方法、装置、计算机设备和存储介质
CN115601356A (zh) * 2022-11-16 2023-01-13 山东大学（Cn） 基于稀疏卷积自编码的多发性硬化病灶识别方法及系统
CN115601356B (zh) * 2022-11-16 2023-03-31 山东大学 基于稀疏卷积自编码的多发性硬化病灶识别方法及系统
CN116703896A (zh) * 2023-08-02 2023-09-05 神州医疗科技股份有限公司 一种基于多模态的前列腺癌与增生预测系统及构建方法
CN116703896B (zh) * 2023-08-02 2023-10-24 神州医疗科技股份有限公司 一种基于多模态的前列腺癌与增生预测系统及构建方法

Similar Documents

Publication Publication Date Title
Adegun et al. Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art
Maharjan et al. A novel enhanced softmax loss function for brain tumour detection using deep learning
Shahin et al. White blood cells identification system based on convolutional deep neural learning networks
Majid et al. Classification of stomach infections: A paradigm of convolutional neural network along with classical features fusion and selection
Allah et al. Edge U-Net: Brain tumor segmentation using MRI based on deep U-Net model with boundary information
Agrawal et al. Segmentation and classification on chest radiography: a systematic survey
CN114022462A (zh) 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质
Basak et al. MFSNet: A multi focus segmentation network for skin lesion segmentation
Jia et al. Learning-based algorithms for vessel tracking: A review
US11227387B2 (en) Multi-stage brain tumor image processing method and system
Zhang et al. Urine sediment recognition method based on multi-view deep residual learning in microscopic image
Kaur et al. An intelligent validation system for diagnostic and prognosis of ultrasound fetal growth analysis using Neuro-Fuzzy based on genetic algorithm
Sun et al. 3d segmentation of pulmonary nodules based on multi-view and semi-supervised
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
Lai et al. Toward accurate polyp segmentation with cascade boundary-guided attention
Kumar et al. Automated white corpuscles nucleus segmentation using deep neural network from microscopic blood smear
Ganesan et al. Internet of medical things with cloud-based e-health services for brain tumour detection model using deep convolution neural network
Kaya Feature fusion-based ensemble CNN learning optimization for automated detection of pediatric pneumonia
Shoaib et al. YOLO Object Detector and Inception-V3 Convolutional Neural Network for Improved Brain Tumor Segmentation.
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
Kalyani et al. Deep learning-based detection and classification of adenocarcinoma cell nuclei
Koyun et al. Adversarial nuclei segmentation on H&E stained histopathology images
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
Naeem et al. DVFNet: A deep feature fusion-based model for the multiclassification of skin cancer utilizing dermoscopy images
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination