CN108230339A - 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 - Google Patents

Abstract

本发明公开了一种基于伪标签迭代标注的胃癌病理切片标注补全方法，包括：1)利用胃癌病理切片的原始阳性样本和原始阴性样本制作伪标签样本；2)对伪标签样本进行图像分割，作为训练图像，传入U‑Net训练；3)将原始阳性样本进行数据增广，传入2)中训练后的U‑Net进行测试，并依据增广方式进行还原，最后将全部图像进行加权平均，整合得到胃部病变概率图；4)筛选出胃癌病变概率高于阈值的部位，将其提取出来，拼接到原始阴性样本中，生成下一轮迭代的伪标签样本；将上述过程不断进行迭代，最终获取标注完全的胃癌病理切片。本发明方法大大减少切片标注需要消耗的人力资源，提高了训练数据集的数量与质量，为训练出更精确的深度学习模型提供了可能。

Description

一种基于伪标签迭代标注的胃癌病理切片标注补全方法

技术领域

本发明属于医疗数据挖掘领域，具体涉及一种基于伪标签迭代标注的胃癌病理切片标注补全方法。

背景技术

深度学习方法在图像处理领域取得了巨大的成就，这也为应用深度学习技术识别医疗图像数据中的病发部位提供了可能。目前，以深度学习为基础的CAD(computeraideddiagnosis)系统，在识别并分割CT图像中的器官、病变区域等方面，就有着广泛的应用。

1998年，LECUN等人首次提出了卷积神经网络(convolutional neural network,CNN)LeNet模型，后被美国许多银行用来识别支票上的手写数字，且准确率很高。直到2012年，CNN模型在ImageNet竞赛中取得第一，从此CNN在图像处理与目标识别领域被广泛应用，成为深度学习法在图像处理领域的通用神经网络。卷积神经网络广泛应用于图像识别和图像分割领域，图像分割任务最初使用的方法是图像块分类(patch classification)，即利用与像素关联的部分图像对每个像素进行独立的分类。使用图像块进行分类的主要原因是CNN中的分类网络主要使用全连接层(fullyconnectedlayer)将特征映射到样本类别，并且要求图像的尺寸固定，这导致该模型对训练集数据要求过高，不易应用于医学影像方面。

2014年，加州大学伯克利分校的Long等人提出全卷积神经网络(fullyconvolutionalneuralnetwork,FCN)，使得卷积神经网络无需全连接层就可进行密集的像素预测，实现了像素级别的分类。FCN可以生成任意尺寸的图像分割图，且比上述的图像块分类方法速度更快。然而，FCN在聚合特征时，将浅层特征与深层特征混合，导致高维特征不能被有效利用，另外卷积网络中的池化层还带来感受野增大问题，会造成位置信息的丢失。

Olaf Ronneberger等人提出的U-Net模型进行训练，该模型作为一种编码器-解码器结构，能够有效解决上述FCN存在的问题，编码器通过卷积与下采样逐层减少数据维度并提取总体特征，解码器通过卷积和上采样逐层增加数据维度并修复细节特征。编码器和解码器结构之间通常存在横向数据通路，使解码器能获取编码器提供的信息，高效修复物体细节。但是，由于U-Net层数较多，参数数量较大，因此该模型对于硬件性能要求较高，且不能接受尺寸过大的图像作为输入。

在CNN上改进的全卷积神经网络U-Net进行图像识别，为了解决图像分辨率过高导致的图像过大，无法一次传入U-Net中进行训练的问题，需要事先对有关部位图像进行分割，然而，要训练出精确的分割模型，需要大量的真实病例切片，并对每张切片进行标注。切片标注涉及到专业知识，需要雇佣专业人员进行协助，且切片数量较大、分辨率较高等问题，都使切片标注需要消耗大量的人力资源。因此，在训练模型时，往往会遇到标注切片标注不完全的情况，深度学习法又是一种对数据质量要求很高的方法，由此训练出来的分割模型，其效果往往无法达到预期。

发明内容

本发明旨在解决实际应用中胃癌病理切片标注不全的问题，提供了一种基于伪标签迭代标注的胃癌病理切片标注补全方法，大大减少切片标记需要消耗的人力资源，提高了训练数据集的数量与质量，为训练出更精确的深度学习模型提供了可能。

本发明基于真实胃癌病理切片，首先获取阴性切片和标注不完全的阳性切片，将阳性切片中已标注的病变部位分割出来，拼接到阴性切片的对应位置，制作含有伪标签的切片样本，并将其作为第一次迭代的样本，传入U-Net中进行训练，然后将原始阳性切片传入U-Net中进行测试，获取生成的概率图，筛选出病变概率高于一定阈值的部位，将其提取出来，拼接到原始阴性切片上，生成下一轮迭代的样本。将上述过程不断进行迭代，即可将标注不全的胃癌病理切片标注补充完全。

一种基于伪标签迭代标注的胃癌病理切片标注补全方法，包括以下步骤：

1)对胃癌病理切片进行标注，将阴性样本与标注不完全的阳性样本拼接，生成伪标签样本；所述的伪标签样本的制作步骤包括：

(1-1)获取胃癌病理切片并进行标注，将没有病变部位的切片设置为阴性样本，有病变部位的切片设置为阳性样本，并对其中的病变部位进行标注；

(1-2)选出阳性样本中标记不完全的一份样本为原始阳性样本，一份阴性样本为原始阴性样本，将原始阳性样本与原始阴性样本拼接，生成含有伪标签的训练样本，具体做法为：取出标记不完全阳性样本中的已标记部位，贴合到阴性样本的对应位置；

2)对伪标签样本进行图像分割，作为训练图像，传入U-Net训练，使模型获得识别伪标签周边病变区域的泛化能力；

3)将原始阳性样本进行图像分割、数据增广后，传入步骤2)中训练后的U-Net进行测试，并依据增广方式进行还原，最后将全部图像进行加权平均，整合得到胃部病变概率图；

4)筛选出胃部病变概率高于阈值的部位，将其提取出来，拼接到原始阴性样本中，生成下一轮迭代的伪标签样本；将上述过程不断进行迭代，最终获取标注完全的胃癌病理切片；

所述的阈值为0.8～0.9。

迭代过程中，使用在CNN上改进的全卷积神经网络U-Net进行图像识别，但在实际应用中，胃部病理切片的分辨率往往可达到2048*2048甚至更高，大尺寸图片会导致卷积核数量增加，使模型参数成倍增长，直接导致训练速度的下降，甚至无法训练。为了解决图像分辨率过高导致的图片过大，无法一次传入U-Net中进行训练的问题，步骤2)中，将胃部病理切片分割为图像分辨率为1024*1024、512*512、256*256等尺寸的图片，依次传入图像尺寸不同的U-Net中进行训练。

对图像进行分割时，针对不同的分割尺寸，不能只进行一次分割，这样会导致分割边界准确率下降，同时在拼接时，边界部位也会有参差不齐的现象。

本发明使用Overlap的方法，对于每一种分割尺寸，使用不同的位移对图像进行多次分割，不同分割之间存在重叠部分。最后在对输出结果进行拼接整合时，边界的重叠部分使用加权方式进行平滑处理，减少了拼接时的差异性，使输出的胃部病变概率图更加平滑，提高其准确率。

为了提高全卷积神经网络U-Net模型的鲁棒性，在步骤3)中，所述的数据增广优选测试时数据增广(test time augmentation,TTA)对一张图像进行多次测试，即将原始阳性样本或迭代生成的含有伪标签的阳性切片样本，进行平移、翻转和镜像操作，生成多张辅助图像，传入U-Net中进行预测，然后将预测获得的结果图，进行逆操作后恢复原图方向，最后将多张图像进行加权平均，整合得到胃癌病变概率图。

本发明对标注注不完全的胃癌病理切片进行迭代标注，在迭代过程中，不断训练U-Net模型，并在每次训练后，重新传入病理切片进行标注，对标注进行补全，解决了切片标记需要消耗大量人力资源的问题，提高了训练数据集的数量与质量，为训练出更精确的深度学习模型提供了可能。

与现有技术相比，本发明具有以下有益效果：

1)对分辨率的病理切片进行分割，使其能够传入U-Net中进行训练，减少了模型的参数数量，提高训练速度，使该算法对硬件的要求大大降低。

2)使用了Overlap的方法，在分割图像时采用不同的位移，确保同一尺寸的不同分割之间有重叠部分，减少了拼接时的差异性，使输出的概率结果图更加平滑。

3)使用TTA方法，在迭代标注时对数据进行增广，传入U-Net训练后加权平均，恢复出来的结果图可获得更好的预测结果，同时增加了模型对于某些特殊图形的鲁棒性。

附图说明

图1为本发明具体实施方式的迭代标注流程图。

具体实施方式

为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于伪标签迭代标注的胃癌病理切片标注补全方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。

如图1所示，本发明的具体标签迭代标注流程为：

1)生成伪标签样本

首先在数据集(胃癌病理切片)中获取阴性样本切片(记为N)、未完全标注的阳性样本切片(记为P)各一张，将P中已标注的病变部位分割出来，并记录对应的位置。

将上述获得的病变部位拼接到N中的对应位置，生成一张含有伪标签的胃部切片样本，即伪标签样本(记为F)，作为初始迭代的输入样本。

2)图像分割

由于原始切片数据大小为2048*2048，在测试时可能无法一次性装入显卡，因此使用图像分割方法，将图像分割为1024*1024大小。

在分割时，使用不同的位移对图像进行多次分割，获取所有结果并进行拼接，边缘的重叠部分使用overlap的方法进行加权，具体操作包括：首先将使用不同位移分割的图像重新拼接为原图像大小，然后将不同位移拼接后的图像进行加权平均，得到一张比较平滑的结果图。

3)U-Net训练

将F进行步骤2)所述的分割处理后，得到训练图像，传入U-Net中训练，使模型获得识别伪标签周边病变区域的泛化能力。

4)对测试数据进行数据增广

为提升模型对于切片图像的鲁棒性，使用TTA方法，将P进行步骤2)所述的分割处理后，进行平移、镜像、翻转等操作生成多张增广测试图像(记为P’)，并记录对应的操作。

5)传入U-Net测试

将上述增广后的样本P’依次传入U-Net中进行测试，获取初始胃部病变概率图，做好标记。对于每一张测试前进行数据增广后得来的图像，进行对应的逆操作，将图像恢复到原来的方向，汇总所有增广图像的概率图，进行普通加权平均，获取最终的胃部病变概率图。

6)生成新一轮迭代的伪标签样本并迭代

将上述步骤5)得到的最终概率图中，病变概率超过0.9的部位分割出来，拼接到N对应位置，生成新一轮的迭代图像，重复迭代所述2-6步骤，对胃癌病理切片标注进行补全。

7)获取最终结果

迭代一定次数后，停止循环，迭代次数可根据实际情况设置，对于不同质量的病理切片，可反复调整迭代次数，以获得最佳的标记结果，在每轮迭代中，模型会不断识别出P中的未标记部分，最终获得一张完全标注的阳性切片样本。

Claims (6)

1.一种基于伪标签迭代标注的胃癌病理切片标注补全方法，包括：

1)利用胃癌病理切片的原始阳性样本和原始阴性样本制作伪标签样本；

2)对伪标签样本进行图像分割，作为训练图像，传入U-Net训练，使模型获得识别伪标签周边病变区域的泛化能力；

3)将原始阳性样本进行图像分割、数据增广后，传入步骤2)中训练后的U-Net进行测试，并依据增广方式进行还原，最后将全部图像进行加权平均，整合得到胃部病变概率图；

4)筛选并提取出胃部病变概率高于阈值的部位，拼接到原始阴性样本中，生成下一轮迭代的伪标签样本；将上述过程不断进行迭代，最终获取标注完全的胃癌病理切片。

2.根据权利要求1所述的基于伪标签迭代标注的胃癌病理切片标注补全方法，其特征在于，步骤1)中，所述的伪标签样本的制作的方法，包括：

(1-1)获取胃癌病理切片并进行标注，将没有病变部位的切片设置为阴性样本，有病变部位的切片设置为阳性样本，并对其中的病变部位进行标注；

(1-2)选出阳性样本中标记不完全的一份样本为原始阳性样本，一份阴性样本为原始阴性样本，将原始阳性样本与原始阴性样本拼接，生成伪标签样本。

3.根据权利要求2所述的基于伪标签迭代标注的胃癌病理切片标注补全方法，其特征在于，将原始阳性样本与原始阴性样本拼接的具体做法为：取出标记不完全阳性样本中的已标记部位，贴合到阴性样本的对应位置。

4.根据权利要求1所述的基于伪标签迭代标注的胃癌病理切片标注补全方法，其特征在于，步骤2)或步骤3)中，所述的图像分割的结果进行拼接处理时，边缘的重叠部分使用overlap的方法进行加权。

5.根据权利要求1所述的基于伪标签迭代标注的胃癌病理切片标注补全方法，其特征在于，在步骤3)中，所述的数据增广为测试时数据增广，包括平移、翻转或镜像操作。

6.根据权利要求1所述的基于伪标签迭代标注的胃癌病理切片标注补全方法，其特征在于，步骤4)中，所述的阈值为0.8～0.9。