CN108564123A - 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置 - Google Patents

Abstract

本发明公开了一种甲状腺肿瘤细胞学涂片图像分类方法及其装置，所述方法包括：获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像；用获取的图像组成训练集，并对训练集进行数据扩增；生成初步卷积神经网络；用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络；获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断：图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。所述方法及装置用于辅助医生对甲状腺肿瘤进行诊断，提高诊断的准确率。

Description

一种甲状腺肿瘤细胞学涂片图像分类方法及其装置

技术领域

本发明涉及图像识别领域，特别涉及一种基于深度学习的甲状腺肿瘤细针穿刺细胞学涂片图像分类方法及其装置。

背景技术

甲状腺癌是内分泌系统最常见的恶性肿瘤。甲状腺结节是指在甲状腺内的肿瘤，鉴于甲状腺结节的高发病率，而甲状腺恶性肿瘤仅占其中极小部分，如能首先通过非手术方式识别出尽可能多的甲状腺恶性肿瘤，则可大幅度减少不必要的诊断性手术数量，既可减少手术给病人带来的损伤，又可更合理地应用有限的医疗资源。甲状腺肿瘤细针穿刺细胞学涂片是目前评价甲状腺结节的最为准确且性价比高的术前检查方法。然而，由于相关细胞病理专业人员缺乏和诊断经验欠缺，很多医院并不能对甲状腺细胞学涂片做出准确的良恶性分析。因此，利用深度学习技术对甲状腺细胞学涂片进行处理和研究，能为医生提供有用的参考信息，辅助医生及时地对甲状腺结节患者做出准确的诊断。

近年来，深度学习，特别是卷积神经网络在图像识别领域产生了巨大的突破。经过用海量的图片进行训练后，卷积神经网络在图片分类任务上的准确率超过了人类。医院拥有大量的甲状腺细胞学涂片图片，拥有大量的专业医师对其良恶性进行准确的标注，对甲状腺细胞学涂片采用深度学习方法进行甲状腺癌诊断可以取得很好的效果。

发明内容

本发明的目的是提出一种基于深度学习的甲状腺肿瘤细针穿刺细胞学涂片图像分类方法，用于辅助医生对甲状腺肿瘤进行诊断，提高诊断的准确率。

为实现上述目的，本发明首先提供了一种甲状腺肿瘤细胞学涂片图像分类方法，该方法是利用经训练成熟的卷积神经网络来对甲状腺肿瘤细胞学涂片图像进行良恶性分类的，包括：

获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像；

用获取的图像组成训练集，并对训练集进行数据扩增；

生成初步卷积神经网络；

用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络；

获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断：图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。

进一步，获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像中，所述一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像是按下述方法获得的：从甲状腺肿瘤细胞学涂片的显微照片中有辨别力的区域中截取若干一定尺寸的图像，并由人工进行良恶性标注。截取的区域中的细胞对于甲状腺肿瘤良恶性具有很强的辨别力，能使系统对肿瘤的良恶性做出准确地判断。优选地，所述一定尺寸为224×224像素或299×299像素。

本发明所述“良恶性标注”既可以指将整幅图像标注为良性或恶性，也可以指将图像中勾画出的区域标注为良性或恶性。

优选地，所述甲状腺肿瘤细胞学涂片为甲状腺肿瘤穿刺细胞学涂片。

优选地，所述用获取的图像组成训练集，并对训练集进行数据扩增中，所述数据扩增的方法为：采用对图像进行水平翻转和/或旋转的方式进行数据扩增；优选为进行自动数据扩增，即将经标注的甲状腺肿瘤细胞学涂片图像输入系统后，由系统进行自动扩增；更优选为进行在线数据扩增，即在训练初步卷积神经网络时，一边扩增一边训练(对一批图像进行一次随机扩增操作后立即进行训练，随后进行另一批/次的扩增和训练)，传统的数据扩增方法数据全部扩增完后进行训练，该方法会占用很大的磁盘空间，极大的影响了处理的速度，而在线数据扩增的方法可大大减少占用的存储空间。

进一步优选地，所述旋转的度数选自0度、90度、180度、270度中的任意一种。

在本发明的一种优选实施方式中，所述数据扩增包括0度、90度、180度、270度旋转以及水平翻转后的0度、90度、180度、270度旋转，即将一幅图像扩增为八幅图像，扩增倍数为8倍。

在本发明的另一种优选实施方式中，所述数据扩增的方法为在线数据扩增，在训练初步卷积神经网络时分批(batch)处理训练集中的图像，随机对一批中的每一幅图像都进行水平翻转和/或旋转变换，当训练的迭代次数足够多时，八种变换方式中的每一幅图像都会得到训练。

进一步，所述生成初步卷积神经网络中，所述初步卷积神经网络在现有的卷积神经网络(如VGG-16或InceptionV3)基础上生成；将最后一个全连接层的输出通道数从1000改为2，分别代表该图像被分类为良性、恶性；当使用VGG-16网络时，优选的图像尺寸为224×224像素，当使用InceptionV3网络时，优选的图像尺寸为299×299像素。

进一步，所述生成初步卷积神经网络还包括预训练：使用预训练模型对现有的卷积神经网络的卷积层的参数进行初始化，优选为在ImageNet数据集上进行预训练。VGG-16和Inception V3的预训练都可在ImageNet数据集上进行训练，过程中使用迁移学习的方法，ImageNet数据集有大量的图片，利用该预训练模型能很好地对卷积层进行初始化。此外，预训练还能大大加快网络的收敛速度。

优选地，所述生成初步卷积神经网络中，所述初步卷积神经网络由强化学习方法寻找最适合甲状腺肿瘤细胞学涂片图像分类的现有卷积神经网络作为基础，例如采用循环神经网络作为强化学习网络预测器，搜索并生成各种卷积神经网络，对其进行初步训练并设定一个准确率阈值(如90％)，将准确率高于阈值的卷积神经网络作为初步卷积神经网络。循环神经网络每次迭代都会给卷积神经网络添加一层，包括卷积层、池化层和全连接层，或者结束卷积神经网络的生成过程。对于卷积层，循环神经网络预测其通道数量和内核大小；对于池化层，循环神经网络预测其内核大小；对于全连接层，循环神经网络预测其通道数量。这些预测过程都是通过循环神经网络输出层的分类器实现的。第一个分类器预测添加卷积层、池化层、全连接层或者结束生成过程；另外的分类器分别预测卷积层、池化层和全连接层的通道数量或者内核大小。通道数量优选为128、256、512或1024，内核大小优选为1×1、2×2或3×3。

进一步，上述强化学习方法的具体流程为：

首先，用循环神经网络生成一个卷积神经网络；

接着，用甲状腺肿瘤细胞学涂片图像训练集训练该卷积神经网络；

然后，用甲状腺肿瘤细胞学涂片图像验证集验证经训练后的该卷积神经网络的准确率，设定一个准确率阈值，判断其准确率是否高于阈值；其中，所述验证集是指其中每一张图像都不同于训练集中任意一张图像的一个经良恶性分类的甲状腺肿瘤细胞学涂片图像集。前述“良恶性分类”是指将整幅图像分类为良性或恶性，本领域技术人员可知“经良恶性标注”的图像也属于“经良恶性分类”的图像。

如果准确率低于阈值，利用该准确率信息，使用策略梯度算法更新循环神经网络的参数，重新生成一个卷积神经网络，再训练并验证，该新生成的卷积神经网络的准确率应该高于先前生成的卷积神经网络，如此循环，直至生成的最新卷积神经网络的准确率高于阈值，结束卷积神经网的络寻找过程，将该准确率最高的卷积神经网络作为所述的初步卷积神经网络。

在用循环神经网络进行强化学习方法的过程中应用到验证集，所述验证集可以是在所述用获取的图像组成训练集，并对训练集进行数据扩增中与训练集同步产生，具体为：将获取的经良恶性标注的甲状腺肿瘤细胞学涂片图像分为训练集和验证集，并对训练集进行数据扩增。优选地，来自同一个细胞学涂片的图像数据都被分在同一集内。

优选地，训练集与验证集中甲状腺肿瘤细胞学涂片图像的数量比例为4～8∶1。

优选地，将上述强化学习过程中的训练集和验证集合并为新的训练集，扩增后重新训练所述初步卷积神经网络。

换言之，上述过程中的循环步骤如下：

1)生成第n卷积神经网络；

2)用甲状腺肿瘤细胞学涂片图像数据训练集训练第n卷积神经网络；

3)用甲状腺肿瘤细胞学涂片图像数据验证集验证经训练后的第n卷积神经网络的准确率，所述验证集是其中每一张图像都不同于训练集中任意一张图像的一个经良恶性分类的甲状腺肿瘤细胞学涂片图像集；

其中，n为自然数，每循环一次n增加1；当第n卷积神经网络的准确率低于阈值时，使用策略梯度算法更新循环神经网络的参数后回到步骤1)；当第n卷积神经网络的准确率高于阈值时，结束循环步骤，将该第n卷积神经网络作为所述初步卷积神经网络用于接下来的训练中。

优选地，训练过程中输入初步卷积神经网络的图像数据经过归一化处理；例如：训练时，针对每幅图像分别计算其像素RGB值的均值，然后图像上的每个像素都减去该均值。进一步，预训练时输入现有卷积神经网络的图像数据也经过归一化处理。

优选地，采用带mini-batch的随机梯度下降法对初步卷积神经网络进行训练；每一轮训练都选取固定数量的部分样本，而不是所有样本，这些样本叫做一个mini-batch，对这一个mini-batch内的样本分别计算梯度，求出平均值，然后对卷积神经网络参数进行更新。进一步，预训练时也采用带mini-batch的随机梯度下降法。进一步优选地，全连接层之间的Dropout层的dropout率设为0.5。

进一步，所述获取待分类的甲状腺肿瘤细胞学涂片图像中，所述待分类的甲状腺肿瘤细胞学涂片图像的获取可分为手动和自动两种。

在本发明的一种优选实施方式中，由人工从甲状腺肿瘤细胞学涂片的显微照片中截取若干包含一定数量细胞的一定尺寸(如224×224像素)的图像。

在本发明的另一种优选实施方式中，图像的截取采用自动化方式，由计算机系统通过滑动窗口法从甲状腺肿瘤细胞学涂片的显微照片中自动截取若干一定尺寸(如224×224像素)的图像。优选地，每张甲状腺肿瘤细胞学涂片的显微照片中截取的图像数量不少于50张。

甲状腺肿瘤学涂片图像良恶性判断的根据是图像中的肿瘤细胞形态，而且恶性肿瘤并不是图像中肿瘤细胞都是恶性的，只要图像中存在恶性肿瘤细胞就判断(分类)为恶性肿瘤，否则就判断(分类)为良性肿瘤。因此，本发明在甲状腺肿瘤细胞学涂片的显微照片中尽可能多地截取一定尺寸的图像进行肿瘤良恶性判断，以避免遗漏恶性肿瘤细胞。

全自动方法不需要手动截取图像，可以减少人工工作量。同时，人工也可能漏截恶性肿瘤细胞的图像，全自动方法可以避免遗漏恶性肿瘤细胞，以减少误诊率。

基于上述的分类方法，本发明提供了一种甲状腺肿瘤细胞学涂片图像分类装置，包括以下各模块：

图像数据获取模块：用于获取待分类的甲状腺肿瘤细胞学涂片图像；

图像数据分析模块：包括经训练的成熟卷积神经网络，用于分析待分类的甲状腺肿瘤细胞学涂片图像；

分类结果输出模块：用于输出分类结果，图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。

优选地，所述图像数据获取模块还用于获取经良恶性标注的甲状腺肿瘤细胞学涂片图像。

进一步优选地，所述甲状腺肿瘤细胞学涂片图像分类装置还包括图像数据扩增模块：用于对获取的经良恶性标注的甲状腺肿瘤细胞学涂片图像进行数据扩增。

更进一步，所述图像数据分析模块还包括初步卷积神经网络和训练单元，所述训练单元用图像数据扩增模块扩增后的图像数据集训练所述初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性。

本发明还提供了一种甲状腺肿瘤细胞学涂片图像分类装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明所述甲状腺肿瘤细胞学涂片图像分类方法的步骤。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现本发明所述甲状腺肿瘤细胞学涂片图像分类方法的步骤。

同样基于上述的分类方法，本发明从中提供了一种用于甲状腺肿瘤细胞学涂片图像分类的卷积神经网络的构建方法及其系统。

所述用于甲状腺肿瘤细胞学涂片图像分类的卷积神经网络的构建方法包括：

获得若干一定尺寸的甲状腺肿瘤细胞学涂片图像；

从甲状腺肿瘤细胞学涂片图像中截取有辨别力的区域进行良恶性标注；

将经良恶性标注的甲状腺肿瘤细胞学涂片图像作为训练集，并进行数据扩增；

生成初步卷积神经网络；

用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络。

优选地，所述一定尺寸为224×224像素或299×299像素。进一步，一定尺寸的图像可以由计算机从甲状腺肿瘤细胞学涂片的显微照片中自动截取，也可以由人工手动截取。

优选地，所述从甲状腺肿瘤细胞学涂片图像中截取有辨别力的区域进行良恶性标注由人工进行有辨别力的区域的截取和良恶性标注。

优选地，所述数据扩增的方法为：采用对图像进行水平翻转和/或旋转的方式进行数据扩增。进一步优选地，所述旋转的度数选自0度、90度、180度、270度中的任意一种。

优选地，所述生成初步卷积神经网络还包括使用预训练模型对现有的卷积神经网络的卷积层的参数进行初始化，优选为在ImageNet数据集上进行预训练。

优选地，用扩增后的训练集训练初步卷积神经网络的过程中输入初步卷积神经网络的图像数据经过归一化处理。

针对上述构建方法，本发明提供了相应的构建系统，所述系统包括数据生成器、网络生成器和训练单元；所述数据生成器用于生成训练数据，所述网络生成器生成一个初步卷积神经网络，然后训练数据和初步卷积神经网络都传入训练单元，由训练单元对初步卷积神经网络进行训练。

进一步，所述数据生成器分成数据提供单元、数据标注单元和数据处理单元三个部分；数据提供单元提供甲状腺肿瘤细胞学涂片图像，数据标注单元对这些图像进行良恶性标注，数据处理单元对这些图像进行预处理，如裁剪、白化、归一化等。上述系统的系统框图如图1所示。

优选地，所述系统还包括验证单元，用于验证卷积神经网络的准确率。该验证单元既可用于验证初步神经网络的准群率，也可用于验证成熟神经网络的准群率，均可通过设定阈值来判断网络的准群率。

优选地，所述系统还包括网络搜索器，用于搜索并提供符合要求的现有神经网络，该网络搜索器可实现卷积神经网络的自动生成，无需人为指定网络。

进一步优选地，本发明的网络构建系统采用循环神经网络来搜寻最适合甲状腺肿瘤细胞学涂片图像分类的现有卷积神经网络，所述系统包括数据生成器、网络搜索器、网络生成器、训练单元和验证单元，所述数据生成器包括数据提供单元、数据标注单元和数据处理单元三个部分；其系统框图如图2所示。

网络搜索器用于控制现有卷积神经网络的搜索过程，其内部包含一个主循环，不断地搜索网络；网络生成器内部包含一个循环神经网络，在每一次网络搜索中，由网络生成器生成一个卷积神经网络，且最终网络的分类效果也会反馈给网络搜索器和网络生成器调整其参数，以生成效果更好的卷积神经网络。

数据生成器是用于生成训练集、验证集数据的，在一些情况下还可生成测试集数据。其中的数据提供单元提供甲状腺肿瘤细胞学涂片图像，数据标注单元对这些图像进行良恶性标注，数据处理单元对这些图像进行裁剪和白化预处理。

每个网络的效果是由训练单元和验证单元进行训练和验证的。甲状腺肿瘤细胞学涂片图像数据和每一次生成的网络都传入训练单元和验证单元，分别在训练集上进行训练和在验证集上进行验证，获得在验证集上的准确率。

上述优选的网络构建系统可用于自动生成卷积神经网络，其循环步骤如下：

1)生成第n卷积神经网络；

2)用甲状腺肿瘤细胞学涂片图像数据训练集训练第n卷积神经网络；

3)用甲状腺肿瘤细胞学涂片图像数据验证集验证经训练后的第n卷积神经网络的准确率，所述验证集是其中每一张图像都不同于训练集中任意一张图像的一个经良恶性分类的甲状腺肿瘤细胞学涂片图像集；

其中，n为自然数，每循环一次n增加1；设定一个阈值，当第n卷积神经网络的准确率低于阈值时，使用策略梯度算法更新循环神经网络的参数后回到步骤1)；当第n卷积神经网络的准确率高于阈值时，结束循环步骤。

上述自动生成卷积神经网络的流程图如图3所示。

本发明还提供了一种用于构建甲状腺肿瘤细胞学涂片图像分类的卷积神经网络的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明所述用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法的步骤。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现本发明所述用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法的步骤。

本发明具有以下有益技术效果：

第一，本发明所述甲状腺肿瘤细胞学涂片图像分类方法及其装置可以辅助医生对甲状腺肿瘤细胞学涂片(特别是细针穿刺细胞学涂片)进行诊断分析；极大地减少了医生的工作量，并在医生判断错误时，可以提醒医生对样本进行重新分析判断，以避免误诊。

第二，本发明可以实现全自动的甲状腺肿瘤细胞学涂片诊断，除了在网络构建的过程中需要医生进行手动截取并标注训练集、验证集等图像，在实际诊断中本发明可以通过计算机自动截取多张图像进行分析判断，最终综合得出肿瘤良恶性判断结果。

第三，本发明采用在线数据扩增的方法把图像数据扩增数倍，既可避免传统数据扩增占用很大磁盘空间的问题，又可大大提高数据处理的速度。

第四，本发明利用深度学习方法在现有的VGG-16或Inception V3神经网络的基础上构建了准确率在90％以上的用于甲状腺肿瘤细胞学涂片图像分类的神经网络，用于辅助医生对甲状腺肿瘤进行诊断，提高了诊断的准确率。

第五，本发明采用强化学习方法利用循环神经网络寻找最适合甲状腺肿瘤细胞学涂片图像分类的卷积神经网络，从而建立起比VGG-16或Inception V3神经网络准确率更高的神经网络，可进一步提高诊断的准确率。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是神经网络构建系统的系统框图；

图2是强化学习法神经网络构建系统的系统框图；

图3是利用循环神经网络自动生成卷积神经网络的流程图；

图4是从甲状腺肿瘤细胞学涂片显微照片中截取的224×224的图片，其中A部分包括了三张乳头状甲状腺癌(papillary thyroid carcinoma，PTC)恶性肿瘤细胞图片，B部分包括了三种良性肿瘤细胞图片。

具体实施方式

实施例1用VGG-16构建的神经网络进行分类

获取一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像

1、获取甲状腺细胞学涂片显微照片

本实施例中的数据集是由复旦大学附属肿瘤医院从甲状腺结节患者那里采集的。医院对疑似发生甲状腺结节恶变的患者进行甲状腺肿瘤穿刺检查，取得甲状腺肿瘤细胞样本，对其进行涂片检测，获得显微照片并进行良恶性标注。

这些细胞涂片显微照片的放大率都是相同的，是400×放大率；数据集包含159张恶性显微照片和120张良性显微照片，每张显微照片都是来自不同的患者。

2、从显微照片中截取有辨别力的区域

从每个甲状腺细胞学涂片显微照片中截取多张224×224的图片作为训练测试样本，截取的每一张图片都包含一定数量的细胞。

甲状腺肿瘤良恶性是根据涂片显微照片中的细胞形态进行分析判断的，甲状腺恶性肿瘤的细胞学涂片中的细胞不一定都是恶性肿瘤细胞，所以这截取图片的过程是由人工进行的。截取出的图片中的细胞对于甲状腺肿瘤良恶性具有很强的辨别力，能使网络对肿瘤的良性恶性做出准确的判断。

参照图4，六张图片都是从甲状腺肿瘤细胞学涂片显微照片中截取的224×224的图片。A部分包括了三张PTC恶性肿瘤细胞图片，B部分包括了三种良性肿瘤细胞图片。

用获取的图像组成训练集，并对训练集进行数据扩增

首先，对数据集进行训练集、验证集和测试集划分。将数据集按照6∶1∶1的比例随机分成训练集、验证集和测试集，并保证来自同一个细胞学涂片显微照片的图像都在同一集下。

最终，训练集图像有759张，验证集图像有128张，测试集图片有126张。

然后，对训练集进行数据扩增；采用了水平翻转和旋转两种扩增方式，将训练集扩增成原来的八倍。旋转操作包括0度，90度，180度和270度四种旋转方式。

本发明对训练集采用在线数据扩增方式，代替传统的在训练之前预先进行全部数据扩增的方法。传统方法扩增后形成的数据集会占用很大的磁盘空间，在本实施例中训练时每一批(batch)中的每张图像都随机进行翻转和/或旋转变换，当训练的迭代次数足够多时，八种变换方式中的每一张图像都会得到训练，这样大大减少了占用的存储空间。

生成初步卷积神经网络

本实施例中用VGG-16构建用于甲状腺肿瘤细胞学涂片图像良恶性分类的神经网络。对原网络的全连接层进行修改，将最后一个全连接层的输出通道数从1000改为2，分别代表该图像被分类为良性、恶性，图片保持224×224的原尺寸进行输入。

使用预训练模型对卷积层的参数进行初始化。在ImageNet数据集上进行预训练。这过程使用了迁移学习的方法，ImageNet数据集有大量的图片，利用该预训练模型能很好地对卷积层进行初始化。此外，预训练还能大大加快网络的收敛速度。

用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络

输入网络的图像可以经过归一化预处理。训练时，针对每张图像分别计算其像素RGB值的均值，然后图片上的每个像素都减去该均值，且训练时进行在线数据扩增。

采用带mini-batch的随机梯度下降法对网络进行训练。每一轮训练都选取固定数量的部分样本，而不是所有样本。这些样本叫做一个mini-batch。对所述的一个mini-batch内的样本分别计算梯度，求出平均值，然后对网络参数进行更新。

全连接层之间的Dropout层的dropout率设为0.5。

获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断

本发明有两种方法将训练后的神经网络用于甲状腺瘤细胞学涂片图像的分类，分别是半自动化的方法和全自动化的方法。

首先是半自动化的方法。由人工从甲状腺肿瘤细胞学涂片图片中截取多个包含一定数量细胞的224×224区域，把这些224×224图片都输入网络进行良恶性判断。假如都判断为良性，最终结果就是良性肿瘤；假如至少有一个被判断为恶性，最终结果就是恶性肿瘤。

然后是全自动化的方法。由计算机通过滑动窗口算法生成大量224×224区域。甲状腺肿瘤细胞学涂片良恶性判断根据的是图像中的肿瘤细胞的形态，而且恶性肿瘤并不是涂片中肿瘤细胞都是恶性肿瘤细胞，只要涂片中存在恶性肿瘤细胞就是恶性肿瘤。所以，本发明在甲状腺肿瘤细胞学涂片图像中尽可能多地截取224×224图片进行肿瘤良恶性判断，以避免遗漏恶性肿瘤细胞。同样，把这些224×224图片都输入网络进行良恶性判断。假如都判断为良性，最终结果就是良性肿瘤；假如至少有一个被判断为恶性，最终结果就是恶性肿瘤。

全自动方法不需要手动截取图片，可以减少人工工作量。同时，人工操作也可能漏截恶性肿瘤细胞图片，全自动方法可以避免遗漏恶性肿瘤细胞，以减少误诊率。

针对上述步骤，本实施例提供的分类装置包括：图像数据获取模块：用于获取待分类的甲状腺肿瘤细胞学涂片图像；图像数据扩增模块：用于对获取的经良恶性标注的甲状腺肿瘤细胞学涂片图像进行数据扩增；图像数据分析模块：包括经训练的成熟卷积神经网络，用于分析待分类的甲状腺肿瘤细胞学涂片图像；分类结果输出模块：用于输出分类结果，图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果；所述图像数据分析模块还包括初步卷积神经网络和训练单元，所述训练单元用图像数据扩增模块扩增后的图像数据集训练所述初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性。

实施例2用Inception V3构建的神经网络进行分类

本实施例的构建和分类方法与实施例1相同，区别仅在于使用Inception V3时，现将图片放大至299×299再进行输入。

实施例3VGG-16和Inception V3构建的神经网络的比较

用上述实施例中的测试集测试两个网络模型的准确率。该测试准确率能准确反映两种卷积神经网络在甲状腺肿瘤细针穿刺细胞学涂片图像分类任务上的效果。此外，本实施例还统计了两种方法的敏感度、特异度、阳性预测值、阴性预测值，结果如表1所示。

表1VGG-16和Inception V3在测试集上的效果

从表1可以看出，VGG-16在测试集上的准确率十分高，达到了97.66％。Inceptionv3效果相对差一点，但也达到了92.75％。这说明本发明中的两种神经网络在甲状腺肿瘤细胞学涂片图像分析上都取得了很好的效果。

实施例4用强化学习方法寻找最适合甲状腺肿瘤细针穿刺细胞学涂片图像分类的卷积神经网络

本实施例中网络的构建方式和分类方式与实施例1和2不同，主要是训练步骤不同，现详述如下。

本实施例采用循环神经网络作为强化学习网络预测器，用于生成卷积神经网络。循环神经网络每次迭代都会给卷积神经网络添加一层，包括卷积层、池化层和全连接层，或者结束卷积神经网络的生成过程。对于卷积层，循环神经网络预测其通道数量和内核大小。对于池化层，循环神经网络预测其内核大小。对于全连接层，循环神经网络预测其通道数量。这些预测过程都是通过循环神经网络输出层的分类器实现的。第一个分类器预测添加卷积层、池化层、全连接层或者结束生成过程。另外的分类器分别预测卷积层、池化层和全连接层的通道数量或者内核大小。通道数量为128、256、512和1024，内核大小为1×1、2×2和3×3。

寻找网络的流程如图3所示。首先，用循环神经网络生成一个(第1)卷积神经网络；接着，在甲状腺肿瘤细胞学涂片图像训练集上进行训练，并在验证集上验证其准确率。设定一个准确率阈值，如果准确率低于阈值，利用该准确率信息，使用策略梯度算法更新循环神经网络的参数；然后，回到第一步，重新生成一个(第2)卷积神经网络，再训练并验证，如此循环，最后，当准确率高于阈值的时候，就结束卷积网络寻找过程，这个在验证集上准确率最高的(第n)卷积神经网络结构就作为最终的甲状腺肿瘤细针穿刺细胞学涂片图像的分类网络。此外，还要把验证集并入训练集重新训练该网络。在本实施例中还用测试集测试形成的成熟卷积神经网络的准确率，用于与实施例1和2中的卷积神经网络做比较。

用强化学习方法寻找出的卷积神经网络相对于VGG-16和Inception V3等现有网络更具有针对性，在甲状腺肿瘤细针穿刺细胞学涂片诊断任务上能够取得更好的分类准确率。同时，本发明采用强化学习的方法加快了卷积神经网络的搜索速度，能在很短的时间内找到分类准确率很高的卷积神经网络。

经测试集测试，本实施例中寻找出的卷积神经网络在甲状腺肿瘤细针穿刺细胞学涂片图像分类任务上的效果高于实施例1和2，最高的卷积神经网络的准确率已达99％。

实施例5神经网络构建系统

本实施例涉及一个系统，如图1所示。该系统包括数据生成器、网络生成器和训练单元；所述数据生成器用于生成训练数据，所述网络生成器生成一个初步卷积神经网络，然后训练数据和初步卷积神经网络都传入训练单元，由训练单元对初步卷积神经网络进行训练。

所述数据生成器分成数据提供单元、数据标注单元和数据处理单元三个部分；数据提供单元提供甲状腺肿瘤细胞学涂片图像，数据标注单元对这些图像进行良恶性标注，数据处理单元对这些图像进行预处理，如裁剪、白化、归一化等。

实施例6强化学习方法的神经网络构建系统

本实施例涉及的系统，如图2所示。该系统采用循环神经网络来搜寻最适合甲状腺肿瘤细胞学涂片图像分类的现有卷积神经网络，包括网络搜索器、网络生成器、数据生成器、训练单元和测试单元五个部分。

网络搜索器是用于控制卷积神经网络的搜索过程的，内部包含一个主循环，不断地搜索网络并进行网络效果的验证；网络生成器内部包含一个循环神经网络，在每一次网络搜索中，由网络生成器生成一个卷积神经网络，在最终网络的分类效果也会反馈给网络生成器调整其参数，以生成效果更好的卷积神经网络。

数据生成器是用于生成训练、验证和测试数据的。数据生成器内部还分成数据提供单元、数据标注单元和数据处理单元三个部分。数据提供单元提供甲状腺肿瘤细胞学涂片图像，数据标注单元对这些图像进行良恶性标注，数据处理单元对这些图像进行裁剪和白化的预处理。

每个网络的效果是由训练单元和验证单元进行训练和验证的。甲状腺肿瘤细胞学涂片图像数据和每一次生成的网络都传入训练单元和验证单元，分别在训练集上进行训练和在验证集上进行验证，获得在验证集上的准确率。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (13)

1.一种甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，包括：

获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像；

用获取的图像组成训练集，并对训练集进行数据扩增；

生成初步卷积神经网络；

用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络；

获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断：图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。

2.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像中，所述一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像是按下述方法获得的：从甲状腺肿瘤细胞学涂片的显微照片中有辨别力的区域中截取若干一定尺寸的图像，并由人工进行良恶性标注。

3.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述甲状腺肿瘤细胞学涂片为甲状腺肿瘤穿刺细胞学涂片。

4.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述用获取的图像组成训练集，并对训练集进行数据扩增中，所述数据扩增的方法为：采用用对图像进行水平翻转和/或旋转的方式进行数据扩增。

5.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述生成初步卷积神经网络中，所述初步卷积神经网络在VGG-16或Inception V3基础上生成。

6.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络中，采用带mini-batch的随机梯度下降法对初步卷积神经网络进行训练。

7.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断：图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果中，所述待分类的甲状腺肿瘤细胞学涂片图像的由滑动窗口法从甲状腺肿瘤细胞学涂片的显微照片中自动截取。

8.一种甲状腺肿瘤细胞学涂片图像分类装置，其特征在于，包括以下各模块：

图像数据获取模块：用于获取待分类的甲状腺肿瘤细胞学涂片图像；

图像数据分析模块：包括经训练的成熟卷积神经网络，用于分析待分类的甲状腺肿瘤细胞学涂片图像；

分类结果输出模块：用于输出分类结果，图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。

9.如权利要求8所述的甲状腺肿瘤细胞学涂片图像分类装置，其特征在于，所述图像数据获取模块还用于获取经良恶性标注的甲状腺肿瘤细胞学涂片图像。

10.如权利要求9所述的甲状腺肿瘤细胞学涂片图像分类装置，其特征在于，还包括图像数据扩增模块：用于对获取的经良恶性标注的甲状腺肿瘤细胞学涂片图像进行数据扩增。

11.如权利要求10所述的甲状腺肿瘤细胞学涂片图像分类装置，其特征在于，所述图像数据分析模块还包括初步卷积神经网络和训练单元，所述训练单元用所述图像数据扩增模块扩增后的图像数据集训练所述初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性。

12.一种甲状腺肿瘤细胞学涂片图像分类装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1或2所述方法的步骤。

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述方法的步骤。