CN113269774B - 一种mri图像的帕金森病分类及标注病灶区域的方法 - Google Patents

Abstract

本发明公开了一种MRI图像的帕金森病分类及标注病灶区域的方法，包括步骤：构造MRI图像的帕金森病分类模型；构造帕金森病病灶标注模型；使用MRI图像的帕金森病分类模型，对待测MRI图像进行分类；对分类确定为帕金森病MRI图像或者帕金森病潜伏期MRI图像，使用帕金森病病灶标注模型标注出病灶区域。其中，构造MRI图像的帕金森病分类模型，包括构造分类模块和将训练集输入分类模块，并通过反向传播更新网络参数，得到MRI图像分类模型的步骤。本发明的有益效果在于：使用先分类后标注的方法，在提高分类模型准确率的基础上使得对病灶区域的定位更加准确和有效，同时避免了不必要的训练，大大提高了训练效率，使得模型鲁棒性更强。

Description

一种MRI图像的帕金森病分类及标注病灶区域的方法

技术领域

本发明涉及计算机视觉的医学图像领域，特别是一种MRI图像的帕金森病分类及标注病灶区域的方法。

背景技术

随着医学影像技术的发展，CT、MRI等医学影像技术成为诊断帕金森病的重要依据和手段。但是在现有技术中，需要依赖专家对医学图像进行分析和确认，这不仅消耗了大量的人工，效率低下，而且由于各个医院的影像机器不同，硬件方面的差距会使得同一个人的同部位影像也会有很大差异，会对人工的分析造成很大影响。

随着计算机视觉的快速发展，越来越多的人将计算机视觉与医学诊断相结合，但是应用于MRI图像帕金森病方面仍存在很多问题。一方面，相对于自然图像，用于诊断和治疗的脑部MRI医学图像具有更高的分辨率和较低的对比度；另一方面，帕金森病患者的MRI图像中的病灶区域相较于其他脑部疾病更小，病变更为不明显。因此，使用现有模型对MRI图像进行分类和标注，得到的分类结果较差，标注的病灶区域不准确。

发明内容

本发明的目的是提供一种MRI图像的帕金森病分类及标注病灶区域的方法。

实现本发明目的的技术方案是：

一种MRI图像的帕金森病分类及标注病灶区域的方法，包括步骤：

构造MRI图像的帕金森病分类模型；

构造帕金森病病灶标注模型；

使用MRI图像的帕金森病分类模型，对待测MRI图像进行分类；

对分类确定为帕金森病MRI图像或者帕金森病潜伏期MRI图像，使用帕金森病病灶标注模型标注出病灶区域。

进一步的技术方案，所述构造MRI图像的帕金森病分类模型，包括：

1.1构造分类模块；

所述分类模块包括：依次连接的卷积层、第一最大池化层、第一密集块、第一过渡层、第二密集块、第二过渡层、第三密集块、第三过渡层、第四密集块、第二最大池化层、全连接层和softmax分类器；还包括：在第二密集块、第三密集块、第四密集块前建立连接，使每一层的输入来自之前所有层的输出；

所述卷积层的卷积核大小为7*7，步长为2；

所述第一最大池化层的卷积核大小为3*3，步长为2；

所述第二最大池化层的卷积核大小为7*7；

所述第一密集块、第二密集块、第三密集块和第四密集块的结构均为：依次连接的第一批归一化层、第一激活层、卷积核大小为1*1的第一卷积层、第二批归一化层、第二激活层、卷积核大小为3*3的第二卷积层、第三批归一化层、第三激活层、卷积核大小为1*1的第三卷积层；所述第一激活层、第二激活层和第三激活层均使用Relu函数；

所述第一过渡层、第二过渡层和第三过渡层的结构均为：依次连接的卷积核大小为1*1的卷积层、卷积核大小为2*2的平均池化层；

所述分类模块使用Adam优化器，使用交叉熵作为损失函数；

1.2将训练集输入分类模块，并通过反向传播更新网络参数，得到MRI图像分类模型；所述训练集包括多张帕金森病MRI图像、多张正常MRI图像和多张帕金森病潜伏期MRI图像。

进一步的技术方案，所述构造帕金森病病灶标注模型，包括：

2.1构造帕金森病病灶标注模块；

所述帕金森病病灶标注模块包括依次连接的特征提取部分、RPN层、ROIpooling层；

所述特征提取部分，包括依次连接的VGG-16、第一卷积层、激活层、第一全连接层、第二全连接层、第三全连接层；所述VGG-16中，卷积层卷积核大小均为3*3，填充为1，步长为1；所述VGG-16中，池化层卷积核大小均为2*2，填充为0，步长为2；所述第一卷积层与VGG-16中卷积层相同；所述激活层使用Relu函数；

所述RPN层通过3*3的卷积，按照长宽比{1:2,1:1,2:1}生成九个anchors；对anchors进行二分类时IoU阈值设置为0.7，大于阈值的样本label为1，小于0.3的样本label为0，其余样本label为-1；使用非极大值抑制取前100个anchor box；

所述帕金森病病灶标注模块的损失函数为：

L_cls＝-logp_u，p_u是u为positive对应的概率；

t^u为预测参数，v为真实平移缩放参数，

g为Smooth L1：

2.2将多张帕金森病MRI图像和多张帕金森病潜伏期MRI图像分别进行预处理，得到训练集；所述预处理为：将MRI图像映射成三份，分别经过1*1的卷积；将第一份的输出转置后与第二份的输出相乘，再经过softmax归一化得到带注意力的特征图；再将带注意力的特征图和第三份的输出逐像素点相乘，得到自适应注意力的特征图；

2.3将训练集输入帕金森病病灶标注模块，并通过反向传播更新网络参数，得到MRI图像帕金森病病灶标注模型。

与现有技术相比，本发明的有益效果在于：

1、本发明使用先分类后标注的方法，在提高分类模型准确率的基础上使得对病灶区域的定位更加准确和有效，同时避免了不必要的训练，大大提高了训练效率，使得模型鲁棒性更强。

2、本发明的分类模型，在分类模块中使用Adam优化器代替更常见的Momentum优化器，大大减少了内存的使用，能根据训练的迭代自动调整学习率，适应性和收敛性更好。在密集块中通过三个层次的卷积层减少特征图的数量，其中卷积核大小为1*1的卷积层不仅降低维度减少了计算量，而且融合了各个通道的特点。在每一层之间建立连接使得参数传递更加有效，避免输入信息和梯度信息在多层之间传递导致梯度消失的问题，使得更深的网络也会减轻梯度消失的问题，加强了特征的传递。

3、本发明的病灶标注模型，使用了带自注意力的特征图代替传统的卷积特征图，避免了由于医学图像分辨率大、对比度小导致的病灶区域提取不准确的问题。

附图说明

图1为分类模块的结构图。

图2为密集块结构图。

图3为过渡层结构图。

图4为病灶标注模块结构图。

图5为病灶标注模块中特征提取部分结构图。

具体实施方式

下面给出了本发明的具体实施例，对本发明进一步说明。

S1：下载医学图像数据集，根据标签文档提取出PD(帕金森病)图像1557张，Control(正常)图像543张，Prodromal(潜伏期)图像193张。

S2：对MRI图像进行预处理，对于不符合分辨率的图像采用三次插值法和平均池化分别进行上采样和下采样后，得到训练集并存为tfrecord格式。

下采样使用平均池化的方法，即对邻域内特征点只求平均，公式为：

α_i∈{0,1}，

上采样使用三次插值法。

S3：构造分类模块，如图1所示。输入为[224,224,3]的张量，通过第一个卷积层(conv)，卷积核大小为7*7，步长(stride)为2，得到大小为[112,112,16]的张量；通过最大池化层(Maxpool)，卷积核大小为3*3，步长为2，得到大小为[56,56,16]的张量；通过第一个密集块(Dense Block)得到大小为[56,56,52]的张量；通过过渡层(Transition layer)得到大小为[28,28,56]的张量；然后通过同样的三个密集块和两个过渡层得到大小为[7,7,160]的张量；通过卷积核为7*7的最大池化层得到大小为[1,1,160]的张量；通过全连接层(FC)得到一个1000维特征向量；最后利用softmax分类器进行分类。在第二、三、四密集块前建立连接，使每一层的输入来自之前所有层的输出。

密集块结构如图2所示。首先通过第一批归一化层(Batchnorm)，通过激活层，通过卷积核大小为1*1的卷积层(conv)；通过第二批归一化层，通过激活层，通过卷积核大小为3*3的卷积层；通过第三批归一化层，通过激活层，通过卷积核大小为1*1的卷积层。其中，所有激活层均使用Relu函数。密集块的使用使得每个卷积层输出的特征图数量都较小，不仅降维减少了计算量，又融合了各个通道的特征。

过渡层结构如图3所示。通过卷积核大小为1*1的卷积层(conv)，通过卷积核大小为2*2的平均池化层(Average pool)。

在分类模块的第二、三、四密集块前建立连接，使每一层的输出来自之前左右层的输出，公式为：

x_l＝H_l([x₀,x₁,…x_l-1,])

x_l表示第l层的输出，H_l表示批归一化，激活层和卷积层，[x₀,x₁,…x_l-1,]表示将0到l-1层的特征图做通道的合并。每层之间建立连接的方式使得训练过程中特征和梯度的传递更加有效，避免了因网络结构过深导致输入信息和梯度信息在多层之间传递使得梯度消失。

使用Adam优化器代替更为常见的Momentum优化器，一方面大大减少了内存的使用，另一方面能够自然地实现步长退火过程，适应性和收敛性会更好。Adam的公式为：

t为次数，θ_t为t次更新的参数，α为学习率初始为0.001，ε＝10^-8，m_t为根据一阶矩得到的指数移动平均，v_t为根据二阶矩的梯度得到的梯度平方。

使用交叉熵作为损失函数，公式为：

其中m为当前batch中的样本量，n为类别数所以为3。

S4：将训练集作为S3中模块的输入，并通过反向传播更新网络参数，得到分类模型。

S5：构造病灶标注模块，其结构如图4所示，包括特征提取部分、RPN层和ROIpooling层。

如图5，特征提取部分使用VGG-16做特征提取，并在结尾额外添加了一个卷积层和激活层用于增强局部信息。首先通过两个卷积层(conv)，通过一个最大池化层(maxpool)，通过两个卷积层，通过一个最大池化层，通过三个卷积层，通过一个最大池化层，通过三个卷积层，通过一个最大池化层，通过三个卷积层，通过一个最大池化层，通过一个卷积层和一个激活层，最后通过三个全连接层(FC)。其中所有卷积层卷积核大小均为3*3，padding为1，步长为1。所有pooling层卷积核大小均为2*2，padding为0，步长为2。

再经过RPN(Region Proposal Networks)层生成预测目标框proposals，PRN层在特征图上通过一次3*3的卷积，按照长宽比{1:2,1:1,2:1}生成九个anchors。一方面逐像素对其9个anchor进行二分类：去除超过原图边界的anchor box，将anchor box与groundtruth的IoU大于0.7的样本标记为positive，label＝1，将anchor box与ground truth的IoU小于0.3的样本标记为negative，label＝0，其余样本label＝-1。另一方面做初步的Bounding Box Regression，通过计算每个anchor box与ground truth之间的偏移量来进行学习，偏移量为：

其中x^*，y^*为ground truth的中心坐标，w^*，h^*为宽和高；

x_a，y_a，w_a，h_a分别为anchor box的中心左边和宽高。

对anchors使用非极大值抑制(NMS)，再取前100个anchor box。

最后经过ROI pooling层进行边框回归(Bounding Box Regression)，ROIpooling层中将feature map用ROIpooling固定全连接层的输入维度，然后将RPN层输出的100个ROIs映射到ROIpooling过得feature map上进行Bounding Box Regression。

损失函数为：

L_cls＝-logp_u，p_u是u为positive对应的概率；

t^u为预测参数，v为真实平移缩放参数，

g为Smooth L1：

S6：将训练集中的帕金森病图像和潜伏期图像，进行预处理，用带有自注意力的特征图去代替传统的卷积特征图，将卷积的图片特征映射成三份(copy)，分别经过1*1的卷积，将第一份的输出转置，并与第二份的输出相乘，再经过softmax归一化得到一个带注意力的特征图(attention map)，再将的到的特征图和第三份输出逐像素点相乘，最终得到自适应注意力的特征图。公式为：

W_f,W_g,W_h是通过1*1卷积后的权重矩阵；

f(x)＝W_fx.g(x)＝W_gx,f,g表示两个提取图像特征空间的公式；

S_i,j＝f(x_i)^Tg(x_j)；

β_i,j为在合成第j个区域时模型对第i个位置的影响程度；

h(x_i)＝W_hx_i；

O为关注图层的输出；

y_i＝γO_i+x_i，y_i为最终的到的带自适应注意力的特征图。

之后，将自适应注意力的特征图作为S5中病灶标注模块的输入，并通过反向传播更新网络参数，得到病灶标注模型。

S7：使用分类模型，对待测MRI图像进行分类。

S8：对分类确定为帕金森病图像和潜伏期图像，使用病灶标注模型标注出病灶区域。

Claims (1)

1.一种MRI图像的帕金森病分类及标注病灶区域的方法，其特征在于，包括步骤：

构造MRI图像的帕金森病分类模型；

构造帕金森病病灶标注模型；

使用MRI图像的帕金森病分类模型，对待测MRI图像进行分类；

对分类确定为帕金森病MRI图像或者帕金森病潜伏期MRI图像，使用帕金森病病灶标注模型标注出病灶区域；

所述构造MRI图像的帕金森病分类模型，包括：

1.1构造分类模块；

所述分类模块包括：依次连接的卷积层、第一最大池化层、第一密集块、第一过渡层、第二密集块、第二过渡层、第三密集块、第三过渡层、第四密集块、第二最大池化层、全连接层和softmax分类器；还包括：在第二密集块、第三密集块、第四密集块前建立连接，使每一层的输入来自之前所有层的输出；

所述卷积层的卷积核大小为7*7，步长为2；

所述第一最大池化层的卷积核大小为3*3，步长为2；

所述第二最大池化层的卷积核大小为7*7；

所述第一密集块、第二密集块、第三密集块和第四密集块的结构均为：依次连接的第一批归一化层、第一激活层、卷积核大小为1*1的第一卷积层、第二批归一化层、第二激活层、卷积核大小为3*3的第二卷积层、第三批归一化层、第三激活层、卷积核大小为1*1的第三卷积层；所述第一激活层、第二激活层和第三激活层均使用Relu函数；

所述第一过渡层、第二过渡层和第三过渡层的结构均为：依次连接的卷积核大小为1*1的卷积层、卷积核大小为2*2的平均池化层；

所述分类模块使用Adam优化器，使用交叉熵作为损失函数；

1.2将训练集输入分类模块，并通过反向传播更新网络参数，得到MRI图像分类模型；所述训练集包括多张帕金森病MRI图像、多张正常MRI图像和多张帕金森病潜伏期MRI图像；

所述构造帕金森病病灶标注模型，包括：

2.1构造帕金森病病灶标注模块；

所述帕金森病病灶标注模块包括依次连接的特征提取部分、RPN层、ROIpooling层；

所述特征提取部分，包括依次连接的VGG-16、第一卷积层、激活层、第一全连接层、第二全连接层、第三全连接层；所述VGG-16中，卷积层卷积核大小均为3*3，填充为1，步长为1；所述VGG-16中，池化层卷积核大小均为2*2，填充为0，步长为2；所述第一卷积层与VGG-16中卷积层相同；所述激活层使用Relu函数；

所述RPN层通过3*3的卷积，按照长宽比{1:2,1:1,2:1}生成九个anchors；对anchors进行二分类时IoU阈值设置为0.7，大于阈值的样本label为1，小于0.3的样本label为0，其余样本label为-1；使用非极大值抑制取前100个anchor box；

所述帕金森病病灶标注模块的损失函数为：

L_cls＝-logp_u，p_u是u为positive对应的概率；

t^u为预测参数，v为真实平移缩放参数，

g为Smooth L1：

2.2将多张帕金森病MRI图像和多张帕金森病潜伏期MRI图像分别进行预处理，得到训练集；所述预处理为：将MRI图像映射成三份，分别经过1*1的卷积；将第一份的输出转置后与第二份的输出相乘，再经过softmax归一化得到带注意力的特征图；再将带注意力的特征图和第三份的输出逐像素点相乘，得到自适应注意力的特征图；

2.3将训练集输入帕金森病病灶标注模块，并通过反向传播更新网络参数，得到MRI图像帕金森病病灶标注模型。

Images