CN109711426A - 一种基于gan和迁移学习的病理图片分类装置及方法 - Google Patents

Abstract

本发明公开了一种基于GAN和迁移学习的病理图片分类装置及方法，该装置包括：one‑hot编码单元、映射单元、随机采样单元、生成器模块、共享单元、Rule模块、判别器模块、分类器模块、迁移学习模块、深度学习模块以及最终分类器，实现了针对较小样本量数据集的病理图片分类的目的。

Description

一种基于GAN和迁移学习的病理图片分类装置及方法

技术领域

本发明涉及信息处理技术领域，特别是涉及一种基于GAN和迁移学习的病理图片分类装置及方法。

背景技术

近年来，随着人工智能技术的发展，深度学习越来越多的应用于医学领域，包括CT诊断，X光胸透诊断，病理学诊断等，并且已经在肺癌，乳腺癌等疾病取得了显著的成果，而上述成果多采用有监督的深度学习方法，基于庞大的并且有标注的数据集(10W+)之上，而对如此庞大的病理图片数据集进行标注是一件需要病理学专家协助的专业性极强并且任务量巨大的一项工作，那么如何利用相对少量的数据集进行医学病理图片分析是一个巨大的挑战，对于数据量不足通常采用数据增强的方法，而传统的计算机图像数据增强的方法希望通过对原图片的旋转，翻转，转换，灰度化等操作获取额外信息，然而由于病理图片属于是在高倍显微镜下放大的后的图片，不同于自然拍摄的图片，我们想要结合另一种生成式的数据增强方法生成对抗网络进行数据增强，其次，许多机器学习方法仅在一个共同的假设的前提下：训练数据和测试数据必须从同一特种空间中获得，并且需要具有相同的分布。当分布情况改变时，大多数的统计模型需要使用新收集的训练样本进行重建。在许多现实的应用中，重新收集所需要的训练数据来对模型进行重建，是需要花费很大代价或者是不可能的。如果降低重新收集训练数据的需求和代价，那将是非常不错的。在这些情况下，在任务领域之间进行知识的迁移或者迁移学习，将会变得十分有必要，而在医学图像识别领域，google训练好的inception-V3网络的迁移学习得到广泛应用。

目前现有技术对于大样本有标注的数据集采用重新训练inception网络的策略，对于相对少量的样本采用传统数据增强技术如旋转，翻转，灰度化等进行样本数据集的扩充，之后再迁移inception，采用固定低层神经网络参数，添加和重新训练高层神经网络参数的方式进行病理图片分类。

对于大样本数据首先由病理学家投入大量时间进行人工标注，以甲状腺癌为例，则是对病理图片进行人工分类为乳头状甲状腺癌、滤泡状甲状腺癌、甲状腺髓样癌、甲状腺未分化癌和正常甲状腺组织图片，然后复用inception架构，对于整个inception网络参数进行重新训练，最终达到病理图片分类目的，而对于小样本数据集，通常采用传统数据增强方法如图片的旋转，翻转，灰度化等技术，然后对在ImageNet数据集上已经训练好的inception网络进行迁移学习的方式进行图片分类。

对于大样本数据有病理学家进行人工标注是一件非常耗时的工作，代价高昂，并且由于inception网络庞大，参数共有240万个以上，当数据集较小时，训练后的模型最终在测试集上准确率比较差，模型泛化能力不足，并且需要提供比较大型的GPU资源，然而传统的数据增强技术有图片的旋转，翻转，灰度化等技术在自然图片上取得不错效果，而由于病理图片组织玻片进行病理学染色，然后在显微镜下进行放大后进行拍照，由于与自然照片获取方式不同，传统的数据增强技术效果不佳。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于GAN和迁移学习的病理图片分类装置及方法，以实现针对较小样本量数据集的病理图片分类的目的，一定程度上克服现有技术在基于大样本数据时，需病理学家协助投入大量人力进行病理图片人工标注以及大型GPU资源，而在基于少量样本数据时传统数据增强方法效果不佳的问题。

为达上述及其它目的，本发明提出一种基于GAN和迁移学习的病理图片分类装置，包括：

one-hot编码单元，用于对病理图片进行one-hot编码，将病理图片离散特征的取值扩展到欧式空间；

映射单元，用于将所述one-hot编码单元输出的稀疏的one-hot编码映射成为非稀疏的高维表示；

随机采样单元，用于对多维高斯分布进行随机采样，获取随机噪音；

生成器模块，用于将映射单元的输出和随机采样单元输出的随机噪声拼接在一起，并经过全连接和多轮反卷积以及批量标准化操作后，最终生成和数据集既有图片同维度的分布，记作生成图片；

共享单元，为判别器模块和分类器模块共享的网络模块，以在训练时梯度反向传播至生成器模块时，使得生成器模块的参数调整不仅接收到判别器模块真假判断的信息，同时也接收到分类器模块对于病理图片分类的分类信息，最终导致生成器不仅生成更加逼真的图片，而且可以结合最初输入的label指定生成哪一类别的图片；

Rule模块，用于针对病理图片的胞核特征和间质特征进行检测，输出每一个胞核特征的概率值和每一个间质特征的概率值，所述胞核特征包括核重叠，毛玻璃核，核沟，核内包涵体，间质特征包括间质钙化，间质砂粒体形成和纤维组织玻璃样变；

判别器模块，与共享单元共同组成生成对抗网络的判别；

分类器模块，与所述共享单元组合共同完成病理图片类别分类任务；

迁移学习模块，对所述生成器模块生成的图片以及当前数据集既有的图片进行特征提取；

深度学习模块，用于整合所述分类器模块的输出和迁移学习模块的输出，利用神经网络根据自适应学习的方法将学习的特征作为依据来检测病理图片的分类；

最终分类器，用于对所述深度学习模块和Rule模块输出的判别结果进行加权平均，输出最终的病理图片分类结果。

优选地，所述生成器模块对输入经过全连接之后再进行reshape操作，即将全连接之后的二维数据(batch_size,fc_dim)变换为(batch_size,h,w,channel_num)的四维数据，其中batch_size为每一个训练的batch的数量，fc_dim为全连接之后的维数，h,w,channel_num分别为进行reshape之后的batch中每一个数据所对应的长，宽，通道数，然后利用生成器模块经过若干次反卷积与批量标准化的操作之后，最后生成逐渐逼近真实病理图片的图片，其格式为batch_size,h_real,w_real,channel_real),其中h_real,w_real,channel_real为真实图片的长，宽和通道数。

优选地，所述共享单元的操作包括卷积和残差网络。

优选地，所述Rule模块包括胞核检测器和间质检测器，分别针对甲状腺乳头状癌的病理切片的核特征和间质特征进行检测，分别输出每一个胞核特征的概率值和每一个间质特征的概率值，并对其进行加权求和输出。

优选地，所述迁移学习模块在ImageNet数据集上进行训练，取得优异分类效果之后，然后固定网络参数，利用其强大的泛化能力，对所述生成器模块生成的图片以及当前数据集既有的图片进行特征提取，最后输出形如(batch_size,transfer_dim)的数据，分别表示用作训练的每一个batch的数量和迁移模块的输出维度。

优选地，所述分类器模块对共享单元的输出进行多轮卷积以及批量标准化之后的操作后，再进行全连接作为输出

优选地，所述生成对抗网络的价值函数为：

Min_GMax_DV(G,D)＝E_x～Pdata(x)[logD(x)]+E_{z～Pz(z),c～Pc(c)}[log(1-D(G(z,c)))]

其中G网络为生成器网络，D网络为判别器网络。

优选地，所述判别器模块，分类器模块，迁移模块以及Rule模块的输入既包括生成器模块生成的逼近真实的图片，也包括现有数据集既有的真实图片。

优选地，所述深度学习模块的主要操作包括降维和全连接，所述降维操作分别挑选某固定数量的迁移模块和分类模块的输出值最大的特征数，使得就特征数量而言，迁移模块和分类器模块固定在某一特定比例，然后再进行全连接，作为深度学习模块最后的输出。

为达到上述目的，本发明还提供一种基于GAN和迁移学习的病理图片分类方法，包括如下步骤：

步骤S1，利用one-hot编码单元对病理图片进行one-hot编码，将病理图片离散特征的取值扩展到欧式空间；

步骤S2，利用映射单元将one-hot编码单元输出的稀疏的one-hot编码映射成为非稀疏的高维表示；

步骤S3，利用随机采样单元对多维高斯分布进行随机采样，获得随机噪声输出；

步骤S4，利用生成器模块将映射单元的输出和随机采样单元输出的随机噪声拼接在一起，并经过全连接和多轮反卷积以及批量标准化操作后，最终生成和数据集既有图片同维度的分布，记作生成图片；

步骤S5，基于GAN和迁移学习对所述生成器模块生成的图片进行处理，并利用深度学习模块通过神经网络根据自适应学习的方法学习的特征作为依据来检测病理图片的分类；

步骤S6，利用Rule模块对生成器模块生成的图片进行处理，针对病理图片的胞核特征和间质特征进行检测，输出每一个胞核特征的概率值和每一个间质特征的概率值；

与现有技术相比，本发明一种基于GAN和迁移学习的病理图片分类装置及方法，其在病理图片分类时，既通过神经网络学习自适应特征，又通过人工设计特征提取器分别提取胞核特征和间质特征，并且最后将神经网络特征和人工设计特征结合作为最终判别器判别依据的策略，实现了针对较小样本量数据集的病理图片分类的目的，一定程度上克服现有技术在基于大样本数据时，需病理学家协助投入大量人力进行病理图片人工标注以及大型GPU资源，而在基于少量样本数据时传统数据增强方法效果不佳的问题。。

附图说明

图1为本发明一种基于GAN和迁移学习的病理图片分类装置的结构示意图；

图2为本发明具体实施例中残差网络的结构示意图；

图3为本发明一种基于GAN和迁移学习的病理图片分类方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

在介绍本发明之前，先对本发明所涉及的缩略语和关键术语定义如下：

GAN：生成对抗网络(Generative Adversarial Network),是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。该方法由Ian J.Goodfellow等人于2014年提出,生成对抗网络由一个生成网络与一个判别网络组成。生成网络从潜在空间(latent space)中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

迁移学习：在许多机器学习和数据挖掘算法中，一个重要的假设就是目前的训练数据和将来的训练数据，一定要在相同的特征空间并且具有相同的分布。然而，在许多现实的应用案例中，这个假设可能不会成立。比如，我们有时候在某个感兴趣的领域有个分类任务，但是我们只有另一个感兴趣领域的足够训练数据，并且后者的数据可能处于与之前领域不同的特征空间或者遵循不同的数据分布。这类情况下，如果知识的迁移做的成功，我们将会通过避免花费大量昂贵的标记样本数据的代价，使得学习性能取得显著的提升。近年来，为了解决这类问题，迁移学习]作为一个新的学习框架出现在人们面前。

图1为本发明一种基于GAN和迁移学习的病理图片分类装置的结构示意图。如图1所示，本发明一种基于GAN和迁移学习的病理图片分类装置，包括：

one-hot编码单元101，用于对病理图片进行one-hot编码，将病理图片离散特征的取值扩展到欧式空间，离散特征的某个取值就对应欧式空间的某个点。以甲状腺病理图片为例，假设甲状腺病理图片可分为A、B、C、D、E五类，那么将A类的甲状腺病理图片对应的one-hot编码表示为[1,0,0,0,0],B类甲状腺病理图片对应的one-hot编码为[0,1,0,0,0],依次类推。

映射单元(Projection Module)102，用于将one-hot编码单元101输出的稀疏的one-hot编码映射成为非稀疏的高维表示，而Projection Module的参数也是不断迭代更新，因此对于特定问题具有自适应特性

随机采样(Random Noise)单元103,用于对多维高斯分布进行随机采样，即通过对多维高斯分布进行随机采样的方式获取随机噪音。

生成器模块(Generator Module)104，用于将映射单元(Projection Module)102的输出和随机采样(Random Noise)单元103输出的随机噪声拼接在一起，并经过全连接和多轮反卷积以及批量标准化操作后，最终生成和数据集既有图片同维度的分布，记作生成图片；，也就是说，对高维高斯分布进行随机采样作为噪声，和映射单元的输出拼接在一起作为输入器的输入，其中映射单元102的作用是对于不同的one-hot编码，希望生成器模块104生成不同类别的病理图片，而随机噪声的作用是希望对于同一类病理图片，生成器模块104的数据分布具有多样性。在本发明具体实施例中，生成器模块104对生成器的输入经过全连接之后再进行reshape操作，即将全连接之后的二维数据(batch_size,fc_dim)变换为(batch_size,h,w,channel_num)的四维数据，其中batch_size为每一个训练的batch的数量，fc_dim为全连接之后的维数，h,w,channel_num分别为进行reshape之后的batch中每一个数据所对应的长，宽，通道数，然后利用生成器模块经过若干次反卷积+批量标准化的操作之后，最后生成逐渐逼近真实病理图片的图片，其格式为(batch_size,h_real,w_real,channel_real),其中h_real,w_real,channel_real为真实图片的长，宽和通道数。

具体地，生成器模块(Generator Module)104包括：

全连接层，全连接是神经网络常用操作，即上一层每个神经元与下一层网络每个神经元之间均有连接。即输入(对高维高斯分布进行随机采样作为噪声，和映射单元的输出拼接)经过全连接之后再进行reshape操作，即将全连接之后的二维数据(batch_size,fc_dim)变换为(batch_size,h,w,channel_num)的四维数据，其中batch_size为每一个训练的batch的数量，fc_dim为全连接之后的维数，h,w,channel_num分别为进行reshape之后的batch中每一个数据所对应的长，宽，通道数。将经全连接后的数据利用若干次如下的反卷积+批量标准化的操作，最后生成逐渐逼近真实病理图片的图片。

反卷积层，基于卷积操作，是对原图像先进行padding补全，然后再进行卷积操作，卷积之后的结果是图像尺寸大于等于反卷积前尺寸。反卷积操作则是相对于卷积而言的，众所周知，卷积操作是计算机视觉处理的常用操作，卷积操作是对图像(不同的数据窗口数据)和滤波矩阵(卷积核)做内积(逐个元素相乘再求和)，从而生成新的二维分布称之为特征图(feature map),特征图(feature map)在一定程度上保留了原图像像素的位置间关系，通常特征图(feature map)图像的储存小于或等于卷积前，卷积操作之后通常会伴随一个池化操作，经过多次的卷积操作最后生成的图片相对于原始图片尺寸会越来越小，但是通道数会越来越多，而每个神经元输出也代表着更大的局部感受野，本发明的反卷积操作则基于卷积操作，对原图像先进行padding补全，然后再进行卷积操作，卷积之后的结果是图像尺寸大于等于反卷积前尺寸。

批量标准化(Batch Normalization)，批量标准化是google提出的一种优化训练方法，对于神经网络来说，网络一旦训练起来，那么参数就要发生更新，除了输入层的数据外(因为输入层数据，已经人为地为每个样本归一化)，后面网络每一层的输入数据分布是一直在发生变化的，因为在训练的时候，前面层训练参数的更新将导致后面层输入数据分布的变化。以网络第二层为例：网络的第二层输入，是由第一层的参数和输入计算得到的，而第一层的参数在整个训练过程中一直在变化，因此必然会引起后面每一层输入数据分布的改变。把网络中间层在训练过程中，数据分布的改变称之为：“Internal-CovariateShift”。而批量标准化算法的提出，就是要解决在训练过程中，中间层数据分布发生改变的情况，具体做法是：在网络每一层输入之前，对上一层的输出做归一化处理；为了保留不丢失上一层网络所学习到的特征，又对每一个神经元利用一对可学习参数进行反归一化变换重构，而在CNN中通常是对每一个特征图(feature map)提供一对可学习参数。

在本发明中，加入随机噪声的意义是为了增加生成器模块生成样本的多样性，反卷积的意义是使得通过卷积提取特征的同时，生成的图片分布逐渐逼近真实图片的分布，批量标准化则是为了在训练整个网络的时候减少过拟合。

共享单元(Shared Module)105是GAN的判别器模块(Discriminitor Module)和分类器网络的分类器模块(Classifier Module)共享的网络模块，以在训练时梯度反向传播至生成器模块104时，使得生成器模块104的参数调整不仅接收到判别器模块真假判断的信息，同时也接收到分类器模块对于病理图片分类的分类信息，最终导致生成器不仅可生成更加逼真的图片，而且可以结合最初输入的label(即one-hot label)指定生成哪一类别的图片，同时，共享单元还可以降低网络参数数量，加快网络训练，在本发明具体实施例中，共享单元的基本操作为卷积和残差单元，其输出也是(batch_size,h_s,w_s,channel_s)的四维数据，分别表示用作训练的每一个batch的数量，和经过卷积+残差操作之后生成的特征图(feature map)的长，宽和通道数。

具体的，于共享单元中，对于残差操作：

残差网络(ResNet)，在残差网络出现之前，从经验来看，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果，然而事实上有些实验表明，网络深度增加时，网络准确度出现饱和，甚至出现下降，深度网络的退化问题至少说明深度网络不容易训练。但是如果有一个浅层网络，你想通过向上堆积新层来建立深层网络，一个极端情况是这些增加的层什么也不学习，仅仅复制浅层网络的特征，即这样新层是恒等映射(Identity mapping)。在这种情况下，深层网络应该至少和浅层网络性能一样，也不应该出现退化现象，基于上述问题何凯明博士提出残差学习来解决退化问题，对于一个堆积层结构(几层堆积而成)当输入为x时其学习到的特征记为H(x)，现在希望其可以学习到残差F(x)＝H(x)-x，这样其实原始的学习特征是F(x)+x。之所以这样是因为残差学习相比原始特征直接学习更容易。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能，这有点类似与电路中的“短路”，所以是一种短路连接(shortcut connection)，本发明之残差学习单元结构见图2-1，图2-2，由于这里的残差网络结构为现有的结构，在此不予赘述。

Rule模块(Rule Module)106，用于针对病理图片的胞核特征和间质特征进行检测，输出每一个胞核特征的概率值和每一个间质特征的概率值，并对其进行加权求和输出。具体地，以甲状腺乳头状癌的病理图片为例，Rule模块(Rule Module)106由胞核检测器和间质检测器组成，分别针对甲状腺乳头状癌的病理切片的胞核特征和间质特征进行检测，胞核特征包括核重叠，毛玻璃核，核沟，核内包涵体，间质特征包括间质钙化，间质砂粒体形成和纤维组织玻璃样变，胞核检测器针对每一个胞核特征输出概率值，同理，间质检测器针对每一个间质特征输出概率值，最后Rule Module的输出为上述概率值的加权(可学习)求和。

判别器(Discriminitor Module)模块107和共享单元(Shared Module)105共同组成生成对抗网络(GAN)的判别，其最后输出为real(真)或者fake(伪),在本发明具体实施例中，该生成对抗网络的价值函数为：

Min_GMax_DV(G,D)＝E_x～Pdata(x)[logD(x)]+E_{z～Pz(z),c～Pc(c)}[log(1-D(G(z,c)))]

其中G网络为生成器网络，D网络为判别器网络。

分类器模块(Classifier Module)111和共享单元共同完成分类任务，对于共享单元的输出进行多轮卷积以及批量标准化之后的操作后，再进行全连接作为输出。

迁移学习(Transfer Module)模块110，鉴于inception v3网络在医学图像领域的优秀表现，迁移在ImageNet网络预训练的inception v3网络，具体操作是在ImageNet数据集上进行训练，取得优异分类效果之后，然后固定网络参数，利用其强大的泛化能力，对生成器模块生成的图片以及当前数据集既有的图片进行特征提取，为深度学习模块进行分类任务提供更丰富的特征，最后输出为形如(batch_size,transfer_dim)的数据，分别表示用作训练的每一个batch的数量和迁移模块的输出维度。

需说明的是，判别器模块，分类器模块，迁移模块以及Rule模块的输入既包括生成器模块生成的逼近真实的图片，也包括现有数据集既有的真实图片。在本发明中，生成器模块的操作主要是全连接，反卷积，批量标准化操作，共享模块操作为卷积操作和残差操作，判别器模块，分类器模块的主要操作都是卷积，批量标准化和全连接，判别器和分类器的区别只是在于采用的卷积核的大小，卷积核的数目，全连接的网络的维度。

深度学习模块(Deep-Learning Module)108，用于整合分类器模块的输出和迁移模块的输出，利用神经网络根据自适应学习的方法学习的特征作为依据来检测病理图片的分类。在本发明具体实施例中，深度学习模块108的主要操作为降维和全连接，降维操作是分别挑选某固定数量的迁移模块和分类模块的输出值最大的特征数，使得就特征数量而言，迁移(transfer)模块和分类器模块固定在某一特定比例，然后再进行全连接，作为深度学习模块最后的输出，自适应特征是表现在神经网络在训练过程中参数权重选择的自适应。整合分类器模块的输出和迁移模块的输出，是对于利用神经网络根据自适应学习的方法学习的特征作为依据来检测病理图片的分类的结果的加权汇总

最终分类器(Final Classifier)109，用于对深度学习模块108和Rule模块106输出的判别结果进行加权平均，输出最终的病理图片分类结果。在本发明中，深度学习模块(Deep-Learning Module)108利用神经网络根据自适应学习的方法学习的特征作为依据来检测病理图片的分类，而Rule模块(Rule Module)106通过人工设计特征为依据来检测病理图片的分类，最终分类器(Final Classifier)是对二者的判别结果进行加权平均(可学习)，最终分类器(Final Classifier)最后以softmax作为最后输出，以交叉熵作为最后的损失函数：

Loss＝E_x～Pdata(x)[logQ(x)]+E_{z～Pz(z),c～Pc(c)}[log(Q(G(z,c)))]

其中Q网络为深度学习判别网络和人工规则判别网络结合的判别网络表示，Pdata为既有数据的分布，Pz为随机噪声，Pc为映射单元的输出的分布

图3为本发明一种基于GAN和迁移学习的病理图片分类方法的步骤流程图。如图3所示，本发明一种基于GAN和迁移学习的病理图片分类方法，包括如下步骤：

步骤S1，利用one-hot编码单元对病理图片进行one-hot编码，将病理图片离散特征的取值扩展到欧式空间，离散特征的某个取值就对应欧式空间的某个点。以甲状腺病理图片为例，假设甲状腺病理图片可分为A、B、C、D、E五类，那么将A类的甲状腺病理图片对应的one-hot编码表示为[1,0,0,0,0],B类甲状腺病理图片对应的one-hot编码为[0,1,0,0,0],依次类推。

步骤S2，利用映射单元将one-hot编码单元输出的稀疏的one-hot编码映射成为非稀疏的高维表示，而映射单元(Projection Module)的参数也是不断迭代更新，因此对于特定问题具有自适应特性；

步骤S3，利用随机采样单元对多维高斯分布进行随机采样，获得随机噪声输出。

步骤S4，利用生成器模块将映射单元的输出和随机采样单元输出的随机噪声拼接在一起，并经过全连接和多轮反卷积+批量标准化操作后，最终生成和数据集既有图片同维度的分布，记作生成图片。其中映射单元的作用是对于不同的one-hot编码，希望生成器模块生成不同类别的病理图片，而随机噪声的作用是希望对于同一类病理图片，生成器模块的数据分布具有多样性。在本发明具体实施例中，生成器模块的操作包括全连接，反卷积和批标准化(Batch Normalization)。

步骤S5，基于GAN和迁移学习对生成器模块的输出进行处理，并利用深度学习模块通过神经网络根据自适应学习的方法学习的特征作为依据来检测病理图片的分类。

在本发明具体实施例中，判别器(Discriminitor Module)和共享单元(SharedModule)共同组成生成对抗网络(GAN)的判别，其最后输出为real(真)或者fake(伪),在本发明具体实施例中，该生成对抗网络的价值函数为：

Min_GMax_DV(G,D)＝E_x～Pdata(x)[logD(x)]+E_{z～Pz(z),c～Pc(c)}[log(1-D(G(z,c)))]

其中G网络为生成器网络，D网络为判别器网络。

步骤S6，利用Rule模块对生成器模块的输出进行处理，针对病理图片的胞核特征和间质特征进行检测，输出每一个胞核特征的概率值和每一个间质特征的概率值，并对其进行加权求和输出。具体地，以甲状腺乳头状癌的病理图片为例，Rule模块由胞核检测器和间质检测器组成，分别针对甲状腺乳头状癌的病理切片的胞核特征和间质特征进行检测，胞核特征包括核重叠，毛玻璃核，核沟，核内包涵体，间质特征包括间质钙化，间质砂粒体形成和纤维组织玻璃样变，胞核检测器针对每一个胞核特征输出概率值，同理，间质检测器针对每一个间质特征输出概率值，最后Rule Module的输出为上述概率值的加权(可学习)求和

步骤S7,利用最终分类器对深度学习模块和Rule模块输出的判别结果进行加权平均，输出最终的病理图片分类结果。在本发明中，深度学习模块(Deep-Learning Module)利用神经网络根据自适应学习的方法学习的特征作为依据来检测病理图片的分类，而Rule模块(Rule Module)通过人工设计特征为依据来检测病理图片的分类，最终分类器(FinalClassifier)是对二者的判别结果进行加权平均(可学习)，最终分类器(FinalClassifier)最后以softmax作为最后输出，以交叉熵作为最后的损失函数：

Loss＝E_x～Pdata(x)[logQ(x)]+E_{z～Pz(z),c～Pc(c)}[log(Q(G(z,c)))]

其中Q网络为深度学习判别网络和人工规则判别网络结合的判别网络表示，Pdata为既有数据的分布，Pz为随机噪声，Pc为映射单元的输出的分布

综上所述，本发明一种基于GAN和迁移学习的病理图片分类装置及方法，在病理图片分类时，既通过神经网络学习自适应特征，又通过人工设计特征提取器分别提取核特征和间质特征，并且最后将神经网络特征和人工设计特征结合作为最终判别器判别依据的策略，实现了针对较小样本量数据集的病理图片分类的目的，一定程度上克服现有技术在基于大样本数据时，需病理学家协助投入大量人力进行病理图片人工标注以及大型GPU资源，而在基于少量样本数据时传统数据增强方法效果不佳的问题。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于GAN和迁移学习的病理图片分类装置，包括：

one-hot编码单元，用于对病理图片进行one-hot编码，将病理图片离散特征的取值扩展到欧式空间；

映射单元，用于将所述one-hot编码单元输出的稀疏的one-hot编码映射成为非稀疏的高维表示；

随机采样单元，用于对多维高斯分布进行随机采样，获取随机噪音；

生成器模块，用于将映射单元的输出和随机采样单元输出的随机噪声拼接在一起，并经过全连接和多轮反卷积以及批量标准化操作后，最终生成和数据集既有图片同维度的分布，记作生成图片；

共享单元，为判别器模块和分类器模块共享的网络模块，以在训练时梯度反向传播至生成器模块时，使得生成器模块的参数调整不仅接收到判别器模块真假判断的信息，同时也接收到分类器模块对于病理图片分类的分类信息，最终导致生成器不仅生成更加逼真的图片，且结合所述one-hot编码单元的结果指定生成哪一类别的图片；

Rule模块，用于针对病理图片的胞核特征和间质特征进行检测，输出每一个胞核特征的概率值和每一个间质特征的概率值，所述胞核特征包括核重叠，毛玻璃核，核沟，核内包涵体，间质特征包括间质钙化，间质砂粒体形成和纤维组织玻璃样变；

判别器模块，与共享单元共同组成生成对抗网络的判别；

分类器模块，与所述共享单元组合共同完成病理图片类别分类任务；

迁移学习模块，对所述生成器模块生成的图片以及当前数据集既有的图片进行特征提取；

深度学习模块，用于整合所述分类器模块的输出和迁移学习模块的输出，利用神经网络根据自适应学习的方法将学习的特征作为依据来检测病理图片的分类；

最终分类器，用于对所述深度学习模块和Rule模块输出的判别结果进行加权平均，输出最终的病理图片分类结果。

2.如权利要求1所述的一种基于GAN和迁移学习的病理图片分类装置，其特征在于：所述生成器模块对输入经过全连接之后再进行reshape操作，即将全连接之后的二维数据(batch_size,fc_dim)变换为(batch_size,h,w,channel_num)的四维数据，其中batch_size为每一个训练的batch的数量，fc_dim为全连接之后的维数，h,w,channel_num分别为进行reshape之后的batch中每一个数据所对应的长，宽，通道数，然后利用生成器模块经过若干次反卷积与批量标准化的操作之后，最后生成逐渐逼近真实病理图片的图片，其格式为batch_size,h_real,w_real,channel_real),其中h_real,w_real,channel_real为真实图片的长，宽和通道数。

3.如权利要求1所述的一种基于GAN和迁移学习的病理图片分类装置，其特征在于：所述共享单元的操作包括卷积和残差网络。

4.如权利要求1所述的一种基于GAN和迁移学习的病理图片分类装置，其特征在于：所述Rule模块包括胞核检测器和间质检测器，分别针对甲状腺乳头状癌的病理切片的核特征和间质特征进行检测，输出每一个胞核特征的概率值和每一个间质特征的概率值，并对其进行加权求和输出。

5.如权利要求1所述的一种基于GAN和迁移学习的病理图片分类装置，其特征在于：所述迁移学习模块在ImageNet数据集上进行训练，取得优异分类效果之后，然后固定网络参数，利用其强大的泛化能力，对所述生成器模块生成的图片以及当前数据集既有的图片进行特征提取，最后输出形如(batch_size,transfer_dim)的数据，分别表示用作训练的每一个batch的数量和迁移模块的输出维度。

6.如权利要求1所述的一种基于GAN和迁移学习的病理图片分类装置，其特征在于：所述分类器模块对共享单元的输出进行多轮卷积以及批量标准化之后的操作后，再进行全连接作为输出。

7.如权利要求1所述的一种基于GAN和迁移学习的病理图片分类装置，其特征在于，所述生成对抗网络的价值函数为：

Min_GMax_DV(G,D)＝E_x～Pdata(x)[logD(x)]+E_{z～Pz(z),c～Pc(c)}[log(1-D(G(z,c)))]

其中G网络为生成器网络，D网络为判别器网络。

8.如权利要求1所述的一种基于GAN和迁移学习的病理图片分类装置，其特征在于：所述判别器模块，分类器模块，迁移模块以及Rule模块的输入既包括生成器模块生成的逼近真实的图片，也包括现有数据集既有的真实图片。

9.如权利要求1所述的一种基于GAN和迁移学习的病理图片分类装置，其特征在于：所述深度学习模块的主要操作包括降维和全连接，所述降维操作分别挑选某固定数量的迁移模块和分类模块的输出值最大的特征数，使得就特征数量而言，迁移模块和分类器模块固定在某一特定比例，然后再进行全连接，作为深度学习模块最后的输出。

10.一种基于GAN和迁移学习的病理图片分类方法，包括如下步骤：

步骤S1，利用one-hot编码单元对病理图片进行one-hot编码，将病理图片离散特征的取值扩展到欧式空间；

步骤S2，利用映射单元将one-hot编码单元输出的稀疏的one-hot编码映射成为非稀疏的高维表示；

步骤S3，利用随机采样单元对多维高斯分布进行随机采样，获得随机噪声输出；

步骤S4，利用生成器模块将映射单元的输出和随机采样单元输出的随机噪声拼接在一起，并经过全连接和多轮反卷积以及批量标准化操作后，最终生成和数据集既有图片同维度的分布，记作生成图片；

步骤S5，基于GAN和迁移学习对所述生成器模块生成的图片进行处理，并利用深度学习模块通过神经网络根据自适应学习的方法学习的特征作为依据来检测病理图片的分类；

步骤S6，利用Rule模块对生成器模块生成的图片进行处理，针对病理图片的胞核特征和间质特征进行检测，输出每一个胞核特征的概率值和每一个间质特征的概率值；

步骤S7,利用最终分类器对深度学习模块和Rule模块输出的判别结果进行加权平均，输出最终的病理图片分类结果。