CN110610489B - 基于注意力机制的光学喉镜图像病变区标注方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的光学喉镜图像病变区标注方法，主要解决现有技术没有针对光学喉镜图像进行病变区域标注及在小数据集上容易发生过拟合的问题。其实现方案：取得喉镜图像数据集以及图像数据集标签；对图像数据集进行缩放和中心化处理，将中心化后的图像数据集和图像数据集标签一起记为训练数据集；构造一个18层的网络，将训练数据集作为该网络的训练数据，利用自适应学习率优化算法优化该网络，得到训练好的网络；输入一张喉镜图像到训练好的网络，根据生成的报告在标签数据集中得到对应的病变区域并标注。本发明避免了对小数据集的过拟合，可获得光学喉镜图像的病变区域并标注，便于医生对光学喉镜图像进行诊断。

Description

基于注意力机制的光学喉镜图像病变区标注方法

技术领域

本发明属于图像理解领域，特别涉及一种光学喉镜图像的病变区域标注方法，可用于光学喉镜图像的病变区域标注，提高医生对光学喉镜图像的诊断效率以及诊断精度。

背景技术

喉镜图像对于鼻腔以及咽喉部位疾病的诊断以及治疗有着重要的作用，然而喉镜图像的诊断一般都需要专业的医生在原始图像中对各个区域进行仔细地检查，这对于医生来说是一个具有挑战性的任务。因为原始图像中没有任何提示性的标注，所有病变只能依靠医生肉眼观察，长时间的观察会引起医生注意力下降以及精神疲劳，从而导致医生在检查时产生漏判和误判以及诊断效率的降低。所以，急需一种有效的方法来提高喉镜图像的诊断效率以及诊断精度。

近年来，深度学习在图像处理和分析领域掀起了一阵热浪，从低层次的图像去噪、超分辨任务到高层次的图像检测与图像理解都有涉及。这种信息处理机制模仿了人类视觉神经系统，对图像处理和分析十分有效，已经有一些研究工作将深度学习应用到了医学图像理解方面，并且取得了不错的结果。在医学图像理解的应用上，Eric P.Xing等人首先利用卷积神经网络CNN提取胸透图像特征，并用全连接层特征对图像做多标签分类，然后将卷积层特征以及多分类标签嵌入向量进行联合加权得到图像的联合特征，并使用双层长短期记忆网络LSTM对联合特征解码生成胸透图像的报告。Christy Y.Li等人也是利用CNN提取胸透图像特征，然后对图像特征进行编码得到图像内容向量，接下来使用堆叠循环神经网络RNN从内容向量循环得到话题向量，然后使用模板句生成图像报告或者使用堆叠RNN解码话题向量生成图像报告，最后通过报告的CIDEr分数作为奖励使用强化学习来实现网络的优化。Yuan Xue等人使用多个角度的胸透图像来生成图像报告，首先利用CNN对多个图像提取全连接特征与卷积层特征，然后将多个图像的特征堆叠在一起输入到LSTM生成一句总体的描述，接下来利用双向LSTM将上一句描述编码为语义特征，与经过加权的图像特征一起输入到另一个LSTM循环得到整个图像报告。但这些算法都是针对X光图像的处理，并没有针对光学图像提出对应的方法；另一方面，这些算法普遍使用LSTM解码，这使得模型参数较多，在小数据集上容易发生过拟合，从而导致模型的测试效果不好。

发明内容

本发明的目的在于提出一种基于注意力机制的光学喉镜图像病变区标注方法，以解决现有技术没有针对光学喉镜图像进行病变区域标注以及在小数据集上容易发生过拟合的问题。

本发明的技术方案是：利用CNN提取喉镜图像特征，然后使用门控递归单元GRU解码图像特征得到图像报告，最后根据图像报告在图片中标注出病变区域，从而实现喉镜图像的病变区域标注，其实现步骤包括如下：

(1)获取患者的喉镜图像，记为喉镜数据集P，并取得喉镜图像的医学报告，记为标签数据集R；

(2)获取训练数据集T：

(2a)将喉镜数据集P中每张图像缩小到224*224，并对缩小后的每张图像中心化，使每个通道像素均值为0，从中心化后的喉镜图像中取出一张喉镜图像，记为Z，将剩余喉镜图像组成中心化后的喉镜数据集P'；

(2b)将中心化后的喉镜数据集P'与标签数据集R进行合并，得到训练数据集T；

(3)根据得到的训练数据集T，构造包括1个卷积神经网络和1个门控递归单元的综合网络M，并将中心化后的喉镜数据集P'作为该综合网络M的输入，使用均匀分布初始化综合网络M的权值W，将综合网络M的偏置b均初始化为数值0，设综合网络的输出为与P'对应的报告；

(4)使用训练数据集T，训练综合网络M：

(4a)打乱训练数据集T中图像的顺序，依次从训练数据集T中选择32个喉镜图像及其标签，记为一个训练批次{I,C}，其中I为一个训练批次中的喉镜图像，C为与I对应的标签；

(4b)将喉镜图像I输入到综合网络M，经过综合网络M的前向传播得到喉镜图像I对应的报告O，计算报告O与标签C之间的交叉熵，得到综合网络M的损失函数L；

(4c)使用自适应学习率优化算法Adam优化综合网络M的损失函数L，即设初始学习速率为0.0001，对综合网络M的权值W和偏置b进行更新；

(4d)重复(4a)到(4c)，直到达到最大迭代次数D＝3000，得到训练好的综合网络M；

(5)利用训练好的综合网络M获得喉镜图像Z的报告并标注病变区域：

(5a)将Z输入到训练好的综合网络M中，经过综合网络M中卷积神经网络的前向传播得到光学喉镜图像Z的特征；

(5b)将从综合网络M中卷积神经网络得到的光学喉镜图像Z的特征经过注意力加权后输入到综合网络M中的门控递归单元，经过门控递归单元的前向传播得到光学喉镜图像Z的语义报告；

(5c)根据喉镜图像Z的语义报告在标签数据集R中得到对应的病变区域，对喉镜图像Z进行病变区域标注，得到标注病变区域后的喉镜图像Z'。

本发明与现有技术相比具有以下优点：

1、本发明利用CNN提取光学喉镜图像特征，并利用门控递归单元对图像特征解码得到图像报告，最后根据得到的报告对图像进行病变区域标注，解决了现有技术没有针对光学喉镜图像进行病变区域标注的问题。

2、本发明使用门控递归单元对图像特征进行解码，模型参数较少，解决了现有技术在小数据集上容易发生过拟合的问题。

附图说明

图1是本发明的实现总流程图；

图2是本发明中所使用的喉镜图像示例图；

图3是本发明中所构建的综合网络M结构图；

图4是本发明中所使用的图像测试样例；

图5是本发明中标注出病变区域的测试样例。

具体实施方式

以下结合附图，对本发明的具体实施方案和效果作进一步的解释和说明：

参照图1，本实例的实现步骤如下：

步骤1：数据准备；

1a)获取患者的喉镜图像，记为喉镜数据集P，并取得喉镜图像的医学报告，记为标签数据集R；喉镜数据集P示例如图2所示；

1b)获取训练数据集T：

1b1)将喉镜数据集P中每张图像缩小到224*224；

1b2)对缩小后的每张图像中心化，即对缩小后的图像的像素值减去(104，116，122)，得到中心化后图像的像素值(x',y',z')：

(x',y',z')＝(x-104,y-116,z-122)

其中，(x,y,z)为原始图像的像素值；

1b3)喉镜数据集P经过缩小和中心化的调整后，将其记为中心化后的喉镜数据集P'；

1b4)将中心化后的喉镜数据集P'与标签数据集R进行合并，得到训练数据集T。

步骤2：根据训练数据集T，构造综合网络M。

参照图3，该综合网络是由13个卷积层、4个池化层和1个门控递归单元层组成的18层结构，其结构关系如下：

第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第七卷积层→第三池化层→第八卷积层→第九卷积层→第十卷积层→第四池化层→第十一卷积层→第十二卷积层→第十三卷积层→第一门控递归单元层：

各卷积层的参数设置如下：

所述4个池化层都为2*2最大池化，池化步长都为2*2；

所述13个卷积层的卷积核大小均为3*3，卷积步长均为1*1，激活函数都为修正线性单元ReLU，只是卷积核的个数不同，其中：

第一卷积层、第二卷积层都是64个卷积核；

第三卷积层、第四卷积层都是128个卷积核；

第四卷积层、第五卷积层、第六卷积层都是256个卷积核；

第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层都是512个卷积核；

每个卷积层的数学形式如下：

其中，F_i表示卷积层的第i个输出，H_j表示卷积层的第j个输入，K_i表示卷积层的第i个卷积核，b_i表示卷积层第i个卷积核的偏置，n表示卷积层的输入个数，∑表示求和运算，

表示图像卷积运算。

门控递归单元层的数学形式如下：

O_t＝argmax(soft max(E₇h_t))，

O＝[O₁；O₂；O₃；…O_t；…O₄₀]，

其中t表示时刻，0≤t≤40，u_t为门控递归单元在t时刻的更新权重，x_t为门控递归单元在t时刻的输入，e为自然底数，h_t-1为门控递归单元在t-1时刻的记忆状态，h_t为门控递归单元在t时刻的记忆状态，t＝0时h_t-1＝h_-1＝0，O_t为门控递归单元在t时刻的输出，O为综合网络M的输出，E₁,E₂,E₃,E₄,E₅,E₆,E₇是综合网络M的权值，tanh()表示tanh函数，softmax()表示softmax函数，·表示相乘，；表示向量的堆叠。

步骤3：对综合网络M中出现的函数进行定义。

3a)定义综合网络M中的修正线性单元ReLU，其数学形式如下：

其中，F_i表示卷积层的第i个输出；

3b)定义综合网络M中的soft max函数，其数学形式如下：

其中，y_i表示向量E₇h_t第i个分量，m为向量E₇h_t的长度，E₇为综合网络权值，h_t为门控递归单元在t时刻的记忆状态，t表示时刻，0≤t≤40，e为自然底数。

步骤4：对综合网络M的权值W和偏置b进行初始化。

4a)使用均匀分布对综合网络M的权值W进行初始化，其公式如下：

W～U(-0.01,0.01)

其中，W表示综合网络M的权值，U(·,·)表示均匀分布，即综合网络M的权值W服从-0.01到0.01的均匀分布；

4b)将综合网络M的偏置b初始化为数值0。

步骤5：使用训练数据集T，训练综合网络M。

5a)打乱训练数据集T中图像的顺序，然后依次从训练数据集T中选择32个喉镜图像及其对应的标签，记为一个训练批次{I,C}，其中I为一个训练批次中的喉镜图像，作为综合网络M的输入；C为与I对应的标签，用以计算综合网络M的损失函数；

5b)将喉镜图像I输入到综合网络M，经过综合网络M的前向传播得到喉镜图像I对应的报告O，计算报告O与喉镜图像I的标签C之间的交叉熵，得到综合网络M的损失函数L：

其中，C表示喉镜图像I的标签，O表示综合网络M针对喉镜图像I输出的报告，Clog(O)为报告O与标签C之间的交叉熵；

5c)设初始学习速率为0.0001，使用自适应学习率优化算法Adam优化综合网络M的损失函数L，即对综合网络M的权值W和偏置b进行更新，得到优化后的权值W'和偏置b'：

W'＝W-0.0001·▽L(W)

b'＝b-0.0001·▽L(b)

▽L(W)表示W的梯度，▽L(b)表示b的梯度，·表示点乘；

5d)重复(5a)到(5c)，直到达到最大迭代次数D＝3000，得到训练好的综合网络M。

步骤6：利用训练好的综合网络M获得喉镜图像Z的报告并标注病变区域，喉镜图像Z如图4所示。

6a)将Z输入到训练好的综合网络M中，经过综合网络M中卷积神经网络的前向传播得到光学喉镜图像Z的特征；

6b)将从综合网络M中卷积神经网络得到的光学喉镜图像Z的特征经过注意力加权后输入到综合网络M中的门控递归单元，经过门控递归单元的前向传播得到光学喉镜图像Z的语义报告；

6c)根据喉镜图像Z的语义报告在标签数据集R中得到对应的病变区域，对喉镜图像Z进行病变区域标注，得到标注病变区域后的喉镜图像Z'，如图5所示。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于注意力机制的光学喉镜图像病变区标注方法，其特征在于，包括如下：

(1)获取患者的喉镜图像，记为喉镜数据集P，并取得喉镜图像的医学报告，记为标签数据集R；

(2)获取训练数据集T：

(2a)将喉镜数据集P中每张图像缩小到224*224，并对缩小后的每张图像中心化，使每个通道像素均值为0，从中心化后的喉镜图像中取出一张喉镜图像，记为Z，将剩余喉镜图像组成中心化后的喉镜数据集P'；

(2b)将中心化后的喉镜数据集P'与标签数据集R进行合并，得到训练数据集T；

(3)根据得到的训练数据集T，构造包括1个卷积神经网络和1个门控递归单元的综合网络M，并将中心化后的喉镜数据集P'作为该综合网络M的输入，使用均匀分布初始化综合网络M的权值W，将综合网络M的偏置b均初始化为数值0，设综合网络的输出为与P'对应的报告；

(4)使用训练数据集T，训练综合网络M：

(4a)打乱训练数据集T中图像的顺序，依次从训练数据集T中选择32个喉镜图像及其标签，记为一个训练批次{I,C}，其中I为一个训练批次中的喉镜图像，C为与I对应的标签；

(4b)将喉镜图像I输入到综合网络M，经过综合网络M的前向传播得到喉镜图像I对应的报告O，计算报告O与标签C之间的交叉熵，得到综合网络M的损失函数L；

(4c)使用自适应学习率优化算法Adam优化综合网络M的损失函数L，即设初始学习速率为0.0001，对综合网络M的权值W和偏置b进行更新；

(4d)重复(4a)到(4c)，直到达到最大迭代次数D＝3000，得到训练好的综合网络M；

(5)利用训练好的综合网络M获得喉镜图像Z的报告并标注病变区域：

(5a)将Z输入到训练好的综合网络M中，经过综合网络M中卷积神经网络的前向传播得到光学喉镜图像Z的特征；

(5b)将从综合网络M中卷积神经网络得到的光学喉镜图像Z的特征经过注意力加权后输入到综合网络M中的门控递归单元，经过门控递归单元的前向传播得到光学喉镜图像Z的语义报告；

(5c)根据喉镜图像Z的语义报告在标签数据集R中得到对应的病变区域，对喉镜图像Z进行病变区域标注，得到标注病变区域后的喉镜图像Z'。

2.根据权利要求1所述的方法，其中步骤(2a)中对缩小后的每张图像中心化，即对缩小后图像每个点的像素值减去(104，116，122)，得到中心化后图像的像素值(x',y',z')：

(x',y',z')＝(x-104,y-116,z-122)

其中，(x,y,z)为原始图像的像素值。

3.根据权利要求1所述的方法，其中(3)中构造的综合网络M，是由13个卷积层、4个池化层和1个门控递归单元层组成的18层结构，其结构关系如下：

第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第七卷积层→第三池化层→第八卷积层→第九卷积层→第十卷积层→第四池化层→第十一卷积层→第十二卷积层→第十三卷积层→第一门控递归单元层；

该第一、第二卷积层都是64个卷积核；

该第三、第四卷积层都是128个卷积核；

该第四、第五、第六卷积层都是256个卷积核；

该第七、第八、第九、第十、第十一、第十二、第十三卷积层都是512个卷积核。

4.根据权利要求1所述的方法，其中(3)中使用均匀分布对综合网络M的权值W进行初始化，其公式如下：

W～U(-0.01,0.01)

其中，W表示综合网络M的权值，U(·,·)表示均匀分布，即综合网络M的权值W服从-0.01到0.01的均匀分布。

5.根据权利要求1所述的方法，其中(4b)中计算报告O与标签C之间的交叉熵，得到综合网络M的损失函数L，其公式如下：

其中，C表示输入喉镜图像I的标签，O表示综合网络M针对喉镜图像I输出的报告，Clog(O)为报告O与标签C之间的交叉熵。

6.根据权利要求1所述的方法，其中(4c)中使用自适应学习率优化算法Adam优化综合网络M的损失函数L，是对综合网络M的权值W和偏置b进行更新，得到优化后的权值W'和偏置b'：

其中，

表示W的梯度，

表示b的梯度，·表示相乘。

Images