CN108765408A

CN108765408A - 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统

Info

Publication number: CN108765408A
Application number: CN201810552970.0A
Authority: CN
Inventors: 郝爱民; 李帅; 梁晓辉; 杨文军
Original assignee: Hangzhou Tong Yi Technology Co Ltd
Current assignee: Hangzhou Tong Yi Technology Co Ltd
Priority date: 2018-05-31
Filing date: 2018-05-31
Publication date: 2018-11-06
Anticipated expiration: 2038-05-31
Also published as: CN108765408B

Abstract

本发明公开了癌症病理图像虚拟病例库的建立以及基于卷积神经网络的多尺度癌症检测系统，该系统是基于一种卷积神经网络的方法，在病理全扫描切片上面检测癌症团区域，包括了四个模块：1)病理切片图像预处理模块；2)虚拟病例数据库构建模块；3)高尺度癌团检测模块；4)小尺度癌团分类模块；本发明可充分利用病理图像的多尺度信息，在不同尺度上，根据图像的特性，设计不同的策略对疑似癌症区域进行检测，同时在训练数据不足的情况下，本发明建立的虚拟病例库方法可以为目前数据驱动的深度学习方法提供更多的训练数据集。具有多尺度检测、相对少量的数据驱动等特点，在保证整体召回率和准确率的基础上，降低单次识别所需要的计算资源，提高算法的时间效率的特点。

Description

构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统

技术领域

本发明属于医学图像技术领域，建立了一个基于病理全扫描图像的虚拟病例库和一个基于病理图像的多尺度癌症检测系统，具体涉及构建癌症病理图像虚拟病例库建立及基于卷积神经网络的癌症多尺度检测方法。

背景技术

医学图像处理是当今世界上的热门研究领域之一，相关研究与应用越来越多地出现在计算机视觉方向顶级会议中。医学图像处理属于人类的健康事业，该领域的研究具有着重要的现实意义。医院里每天都会产生大量的病理图像，然而目前只能由病理医生通过显微镜对其一一查看，工作效率较低，无法满足大批量的阅片需求。并且由于存在诸多疑难杂症，经验比较匮乏的医生无法对该部分图像进行有效的诊断，医学领域上也存在一些难以诊断的难题。借助计算机对这些病理图像数据进行处理，既可以作为辅助工具帮助医生进行诊断，减轻医生负担，还可以通过算法对图像的分析，获取疾病的内在特征，促进医学事业的进步与发展。

图像中的深度学习主要采用的是卷积神经网络，其主要思想是构造层数较多的神经网络，利用卷积的方法提取图像特征，使其拥有强大的特征表达能力；同时充分利用并行计算所提供的强大计算资源，进行大规模的训练。2012年，以Hinton教授为首的团队在ImageNet图像分类大赛中取得了冠军的成绩，准确率超出第二名10％以上，对计算机视觉领域产生了极大的轰动，掀起了深度学习技术的新一轮浪潮。近年来在计算机视觉领域，深度学习方法几乎赢得了所有任务的最佳成绩，无论是在时间效率还是在准确度上，均远胜于传统图像处理方法。

生成对抗网络是近年来计算机视觉领域的热门研究方向之一，在人脸生成、场景生成等多个问题上产出了大量的研究论文和项目成果。由于其逼真的生成效果和低廉的生成成本，在未来应用场景极为广阔。在病理图像问题上，到目前为止尚没有出现相关的研究成果，本发明从扩充数据集的实际需求出发，首次将生成对抗网络与病理图像相结合，得出了若干实验结果，无论是对该项技术还是该项应用来说，都具有重要的参考价值。同时，虚拟病例库的建立，也为今后的医学图像处理一些问题的解决，提供了新的思路。

发明内容

本发明的目的是建立一个基于全扫描病理切片的癌症检测系统，包括基于卷积神经网络，使用计算机视觉中阈值分割、目标检测和图像分类算法，研究并实现一种病理图像多尺度检测方法，并将其应用于包括乳腺癌、肺癌、胃癌在内的所有可用病理切片确诊的癌症转移检测的医学任务中，保证准确率，提高算法整体的时间效率，降低硬件成本；同时，基于深度卷积生成对抗网络，构建一个病理图像虚拟病例库，为该方法提供更为丰富的训练数据。

为实现发明目的，本发明采取如下的技术方案：

一种基于卷积神经网络构建癌症病理图像虚拟病例库的方法，包括如下步骤：

步骤(1)全扫描切片图像预处理：将全扫描切片图像从RGB色彩空间转化为HSL色彩空间，使用最大类间差方法进行阈值分割来获取组织区域；

步骤(2)、虚拟病例库构建：使用深度卷积生成对抗网络，训练二维生成对抗网络DCGAN，生成不同类型的病变区域图像，随后将其嵌入到正常组织区域中，得到拼接后的虚拟病理图像，从而构建为虚拟病例库。

作为优选，所述步骤(1)采用高尺度下的整个全切片图像，采用在S通道上使用Otsu算法对其进行阈值分割；更为优选的，为了减少计算量，采用高尺度level-6下的整个全切片图像，其分辨率约为1500×3000。为了后续方便描述，我们将多尺度全扫描病理切片做如下定义，level 0～level 2定义为低尺度，level 3～level 5定义为中尺度，level 6～level 9定义为高尺度。

作为优选，所述步骤(2)中所述的使用深度卷积对抗生成网络，为使用深度卷积生成对抗网络算法训练得到生成模型，并利用该生成模型生成低尺度切片图像后，对生成图像进行降采样，生成一系列切片图像并将其聚合为虚拟癌症区域后，嵌入到正常区域内，形成虚拟病例。

作为优选，所述的癌症为所有可用病理切片确诊的癌症，包括乳腺癌、肺癌、胃癌或直肠癌。

癌症病理图像虚拟病例库的建立原理在于：为了对病理全切片图像中的组织区域进行提取，减少不必要的计算，本发明通过在高尺度上使用最大类间差法，对转换色彩空间后的全切片图像像素进行直方图分析，计算得到划分前景和背景的最佳分割阈值；为了获取更多数量和样式的训练数据，本发明使用深度卷积生成对抗网络的方法，训练生成模型并基于生成模型生成虚拟病理切片，将其聚合为癌症区域后嵌入到正常切片中，构建为虚拟病例库。

本发明的另一发明目的是关于基于卷积神经网络的多尺度癌症检测系统，采取如下的技术方案：

一种基于卷积神经网络的多尺度癌症检测系统，基于卷积神经网络的方法，在病理全扫描切片上面检测癌症团区域，包括如下模块：

病理切片图像预处理模块：在高尺度上，将全扫描切片图像的色彩空间从RGB转换为HSL，在S通道上使用最大类间差分法进行阈值分割，提取出组织区域；

虚拟病例数据库构建模块，使用深度卷积生成对抗网络训练生成不同类型的病理切片图像，组成癌症区域嵌入到正常组织区域中，得到虚拟病理图像，并将其构建为虚拟病例库；

高尺度癌团检测模块，在中尺度上，将组织区域划分为若干固定大小的切块，使用Faster-RCNN算法对切块进行癌症区域检测；

小尺度癌团分类模块，在低尺度上，将检测到的癌症区域划分为若干固定大小的切片，使用ResNet-50网络对其进行二分类识别。

作为优选，所述高尺度癌团检测模块中，采用二维快速区域卷积神经网络Faster-RCNN方法，包括：

A、使用去掉softmax层的卷积神经网络，作为特征提取网络对该图片进行特征提取，得到特征图(feature map)；

B、将特征图输入到区域生成网络中，通过锚机制(anchors)和binding-box回归，以及判断前景或背景的二分类器，得到一系列可能的候选区域；

C、将特征图中某候选区域的部分截出，通过目标区域归一化层归一化为固定大小的图片；

D、将该候选区域中的特征图送入分类网络，给出该部分属于各个类别的概率，使用非极大值抑制算法完成最后的筛选。

作为优选，所述小尺度癌团分类模块中训练二维深度残差神经网络ResNet-50作为基本网络，对切片进行特征提取；并使用softmax作为分类器，在低尺度上，以固定256×256大小的切片为基本单位，进行癌细胞切片与正常细胞切片二分类，获得每个切片属于癌细胞切片类别的概率，完成对癌细胞的精确识别。

本发明关于充基于卷积神经网络的多尺度癌症检测系统，包括癌症病理图像虚拟病例库构建模块，对应虚拟病例库建立方法；病理图像预处理模块，对应各部分的预处理方法；大尺度癌团检测模块，对应多尺度检测方法；小尺度癌团分类模块，对应小尺度分类方法；是充分利用病理图像多尺度的特点，在不同尺度上使用不同的方法，逐步检测癌细胞所处的位置，避免直接在最大分辨率上对大量数据进行处理，减少冗余计算，提高整体时间效率；其次本发明提出基于深度卷积生成对抗网络的虚拟病例库构建方法，基于原始数据训练生成模型，优化生成效果，使用生成模型从随机变量中自动生成所需要的数据，在理论上无限地获取到虚拟数据，并且通过随机算法提高数据的多样性。

本发明可充分利用病理图像的多尺度信息，在不同尺度上，根据图像的特性，设计不同的策略对疑似癌症区域进行检测，同时在训练数据不足的情况下，本发明建立的虚拟病例库方法可以为目前数据驱动的深度学习方法提供更多的训练数据集。具有多尺度检测、相对少量的数据驱动等特点，在保证整体召回率和准确率的基础上，降低单次识别所需要的计算资源，提高算法的时间效率的特点。

附图说明

图1本发明基于卷积神经网络的多尺度癌症检测系统的流程示意图；

图2本发明实施例1的基于卷积神经网络的乳腺癌淋巴转移多尺度检测方法的流程图；

图3为实施例1的高尺度阈值分割结果图；

图4为实施例1中的虚拟病例库结果图；

图5为实施例1中目标检测网络结构图；

图6为实施例1中的目标检测结果图。

具体实施方式

下面结合实施例附图对本发明作进一步的详细说明，但本发明的实施方式不限定于此。

实施例1以乳腺癌淋巴转移多尺度检测方法为例

乳腺癌淋巴转移任务的具体含义是，自动检测由苏木素和曙红(H&E)染色的淋巴转移全切片病理图像。这项任务具有很高的临床意义，但是需要耗费病理医生大量的时间来进行人工阅读。因此，一个有效的计算机视觉自动检测方案可以减少病理医生的工作量，同时提高诊断的客观性。

如图1和图2所示的流程图，一种基于卷积神经网络的乳腺癌淋巴转移多尺度检测系统，基于卷积神经网络的方法，在病理全扫描切片上面检测癌症团区域，包括如下模块：

具体检测步骤包括如下：

1、乳腺淋巴结组织区域提取方法

乳腺淋巴结全扫描切片图像是由人体组织切片在电子显微镜下扫描而成。生理实验人员取出部分淋巴结，切成一层薄片通过染色剂染色后，涂抹于载玻片上放到显微镜下扫描。其中，图像的大部分区域为空白区域，并不包含组织部分，因此识别程序无需对该部分区域进行计算。

为了提取出组织部分，本发明采用阈值分割的方法对其进行处理。首先，为了减少计算量，本步骤采用高尺度level-6下的整个全切片图像，其分辨率约为1500×3000。然后，将其从RGB色彩空间转化为HSL色彩空间，其中，H为色调，S为饱和度，L为明度。通过观察原图像可知，组织部分的饱和度明显高于非组织部分，因此采用在S通道上使用最大类间差法算法对其进行阈值分割。

RGB颜色模型又称红绿蓝颜色模型，是一种通过将红、绿、蓝三种颜色的光按比例叠加，生成多种颜色的方式。RGB模型通常用于电子显示设备上的颜色表示，在计算机中，一个RGB颜色通常用24比特存储，红、绿、蓝三种颜色各占8比特，所以每种颜色分量的强度可分为28共256种，所能表示的颜色达到16777216种。虽然RGB模型所能表示的颜色数远不及自然界中颜色的数量，但对于人眼的色彩分辨率来说已经十分足够。

HSL颜色模型即色相(Hue)、饱和度(Saturation)、亮度(Lightness)模型，是一种更符合人眼视觉感受的颜色模型。色相表示人眼感受到的不同颜色类别，饱和度表示颜色的纯度，亮度表示人眼感受到的光线的强度。

调用OpenCV库函数即可完成从RGB到HSL的色彩空间转换。

最大类间差法通过统计图像的像素直方图，计算前背景方差，选取最大类间差时的阈值，从而实现全局阈值的自动选取。在Level-6尺度上选取饱和度通道，在该通道上对病理图像进行阈值分割。具体算法步骤如下。

使用OpenCV中的膨胀和腐蚀方法去除掉小面积的散点，得到组织区域。

如图3所示高的尺度阈值分割结果图，左图为阈值分割后得到的二值图像mask，去除掉相对较小的区域后，得到右图为原图像基础上，使用方框框出得到的组织部分，即为高尺度下组织区域提取结果。下一步检测将在该区域内进行。使用我们提出的阈值分割方法分割一张图像仅需要约0.3s，提取到的组织区域占整个图像的比例约为17％，删除掉83％的无关区域，即可以节约后续工作83％的运算量，提高了整个流程的时间效率。整个计算效率和计算时间，均来自opencv自带计算函数。

2、乳腺癌淋巴转移病理切片的虚拟病例库构建方法

生成对抗网络包括两个模型，生成式模型和判别式模型。判别式模型学习判断一个样本是模型生成出来的还是从原始数据中取出的，而生成式模型将与之竞争。可以把生成式模型比作一支伪造假币的团队，其目的在于生成处难以分辨的假币；同时，把判别式模型比作警察，其目的在于分辨出真币和假币。这场游戏中的竞争将会驱使两支团队不断提高各自的方法，直至假币难以被真正的分辨出来。

该框架可以使用多种类型的模型和优化算法进行训练，在此选择使用多层感知机，生成式模型通过将随机噪声输入多层感知机来获取生成样本，同时判别式模型也使用多层感知机进行分类判断，将此种结构称为对抗网络。在这种结构下，可以使用反向传播算法对模型进行训练，仅使用前向传播即可完成生成式模型的生成，不需要近似算法或者马尔科夫链算法。

当模型均为多层感知机时，对抗网络框架可以直接应用。为了学习生成者在数据x上的分布p_g，定义输入噪声为变量p_z(z),然后将数据空间表示为G(z；θ_g)，其中G为表现为带有参数θ_g的多层感知机的可微方程。同时定义一个只输出单一标量的多层感知机D(x；θ_d)。D(x)表示x来自于真实数据而非p_g的可能性。训练判别器D以最大化断定训练样本和生成器G产生样本标签正确的可能性。同时训练生成器G以最小化log(1-D(G(z)))。训练价值函数V(G,D):

训练过程如算法2所示，设定超参数k，在一次迭代训练中，首先对判别器训练k次，取m个噪声样本和m个原始数据样本更新梯度进行训练；然后对生成器训练一次，取m个噪声样本更新梯度进行训练。这样只要生成器G更新得足够慢，便可以使判别器D保持在其最优解附近。

使用深度卷积生成对抗网络算法训练得到生成模型，并利用该生成模型生成乳腺癌病理切片的癌症组织图像后，由于构建的虚拟病例库需要在level-3尺度，而生成图像是level-0尺度，需要对生成图像进行8倍降采样。

生成一系列癌症切片图像后，将其聚合为虚拟癌症区域，下一步工作是将其嵌入到正常区域内，形成虚拟病例，为接下来的中尺度检测提供更多的训练数据，提高检测效果。

首先，从正常的全切片图像中，在中尺度level-3上，截取一系列固定512×512大小的图像，称之为切块；其次，利用生成的切片图像，聚合而成为虚拟癌症区域；然后将虚拟癌症区域大小与位置均随机地嵌入到正常区域切块中；最后，生成标注数据，完成虚拟病例库的构建，将得到的虚拟数据加入训练数据集中。

如图4所示，是由生成图像聚合后随机嵌入正常区域切块中构建而成的虚拟病例库，矩形框标注了其中癌症区域的位置。该虚拟病例库可以根据需要，提供不同癌症区域大小、不同癌症区域类型、不同图片大小等各类数据，满足模型训练的数据要求。

3、乳腺淋巴结病理切片中癌症区域检测方法

在乳腺癌整个的生长周期中，癌症区域内的单个癌症细胞由于内部处于有丝分裂状态，染色体舒展扩散，经过染色后内部呈现出结构松散、颜色淡薄的特点，得以与正常细胞进行区分。同时，由于癌症细胞的分裂性，其往往是聚集在一起而不是分散开来的状态，多个癌症细胞会形成一个癌症区域，并且该癌症区域在整体上具有一定的结构、纹理、颜色特征，并且在中尺度上，清晰度较低时，仍然保有这些特征，使其可以与正常细胞区域部分区别开来。

基于此，本发明提出在中尺度上，使用目标检测的方法，对癌症区域进行检测，高效获取目标区域的位置信息，提供给下一步在低尺度上进行更为精细的识别工作。使用基于深度学习的快速区域卷积神经网络算法(Faster-RCNN)作为目标检测算法，在中尺度level-3上截取固定512×512大小的切块，结合标注信息，放入网络进行模型训练和测试。

如图6所示，Faster-RCNN主要由以下部分构成：特征提取网络、区域生成网络(Region Proposal Networks，RPN)、目标区域归一化层(RoI Pooling)、分类网络和非极大值抑制。整体流程为：对于一张输入图片，首先使用去掉softmax层的卷积神经网络，作为特征提取网络对该图片进行特征提取，得到特征图(feature map)；其次将特征图输入到区域生成网络中，通过锚机制(anchors)和框盒回归，以及判断前景或背景的二分类器，得到一系列可能的候选区域；然后将特征图中某候选区域的部分截出，通过目标区域归一化层归一化为固定大小的图片；最后将该候选区域中的特征图送入分类网络，给出该部分属于各个类别的概率，使用非极大值抑制算法完成最后的筛选。

癌症区域检测是在中尺度level-3上进行的，因此训练数据和测试数据均为level-3下的病理图像。在组织区域中，按照固定512×512大小和固定256步长进行扫描，得到切块，读取该全切片图像对应XML标注文件中的癌症区域坐标，如果与当前切块存在交集，则读取对应MASK标注文件，获取当前切块内癌症区域的具体位置信息，并使用矩形框进行标注，按照pascal数据集标准格式存储为XML文件。该XML文件包括癌症区域相对于切块的左上角点与右下角点的横纵坐标、癌症区域面积、癌症区域占矩形框比例和检测类别。

如表1所示，在训练阶段，每训练一步耗时0.35秒，共计耗时16小时，训练时间相比于其他方法是较短的，时间计算来源于OpenCV自带的计时函数。在验证集上，以交并比0.5为阈值，可以得到0.4851mAP的良好效果，证明了该方法的有效性；在测试阶段，每张切块耗时仅1.5秒，便完成了相当于level-0上4096×4096大小图片的检测工作，使用level-0上256×256切片进行分类，仅1次检测操作便替代完成了256次分类操作，极大提高了时间效率。由于全切片中切块数量的不同，完成一张全切片的总耗时也是不同的，约为150～300秒之间。对于带有癌症区域的切块，检测召回率可以达到0.76，对于全切片中最大癌症区域，检测召回率可达0.82，实现了良好的效果。

表1

项目	数值
		训练单步耗时	0.35s
训练总耗时	16h
		mAP@0.5IOU	48.51％
测试单张切块耗时	1.5s
		测试单张全切片耗时	150s～300s
癌症切块召回率	76％
		癌症切块准确率	23％
全切片最大癌症区域召回率	82％

(上述结论均由OpenCV自带的计算函数得出)

所示，第一行是部分测试结果，每一个检测结果均给出了定位矩形框和分类置信度，第二行是对应切块的MASK标注文件，第三行是对应切块癌症区域检测的金标准。从图中可以看出，该模型对于癌症区域的检测是非常有效的，在分类精度和定位精度上均有着十分优异的表现。

尤其对于大面积癌症区域，对应Macro类型癌症区域，如第3列和第4列结果，可以达到极高的准确度。由于大面积区域极高的分类精度，对于该部分检测结果可以直接输出，不需要再在低尺度上进行更为精确也更为耗时的切片分类识别，极大加速了病理全切片图像的整体识别速度。

对于中等面积癌症区域，对应Micro类型癌症区域，如第1列和第2列结果，分类精度和定位精度整体效果良好。但是由于该部分类型训练数据较少、面积较小不规则等原因，检测结果存在一定程度上的误差。对于该种类型，采取调低识别阈值，从而降低准确率、提高召回率的方法，将可能是癌症区域的部分均检测出来，再将这些区域送入下一个环节，利用低尺度上更为清晰的图像和更加精确的切片分类方法，对检测矩形框内部进行更精细的癌症区域划分，保证最终结果的准确度。

对于小面积癌症区域，对应ITC类型癌症区域，如第5列中的部分结果，检测效果差强人意。第5列中存在有多个ITC类型癌症区域，模型最终只识别出部分结果，对于面积极小的区域没有返回检测结果。ITC区域由于面积极小，部分甚至只由若干个细胞组成，在level-3尺度上难以展现，并且目前的方法对于ITC类型的识别率也非常低，最好的结果也只能达到44％，是一项公认的难题。后续也将针对其专门探究识别方法，以完善整个病理图像识别任务。

4、乳腺淋巴结病理全扫描切片分类方法

通过上一节的中尺度癌症区域检测，在level-3尺度切块上快速定位到了若干癌症区域。但是，由于level-3尺度图像清晰度较低，细胞内部结构模糊，癌症区域与某些正常组织区域整体结构相似，降低检测置信度阈值以提高召回率等原因，癌症区域检测的精确度并不高；同时，由于检测得到的定位结果是矩形框，而癌症区域形状是不规则的，为得到真实的癌细胞分布情况，仅定位到矩形框是不够准确的。由于以上两个原因，需要对癌细胞的分布情况进一步更加精确地予以识别和定位。

使用经典的ResNet-50网络，采用基于图像分类网络的低尺度癌细胞切片分类的方法，即针对上一步目标检测得到的癌症区域，在level-0尺度上，以固定256×256大小的切片为基本单位，进行癌细胞切片与正常细胞切片二分类，获得每个切片属于癌细胞切片类别的概率，即可完成对癌细胞的精确识别。

ResNet-50借鉴了Highway Networks的思想。设深度网络中某隐含层为H(x)-x→F(x)，如果可以假设多个非线性层组合可以近似于一个复杂函数，那么也同样可以假设隐含层的残差近似于某个复杂函数。将隐含层表示为H(x)＝F(x)+x。则得到一种全新的残差结构单元，残差单元的输出是由多个卷积层级联的输出和输入元素间相加，再经过ReLU激活后得到的。将这种结构级联起来，就得到了残差网络。

训练阶段数据分为两类，Normal类型8万张和Tumor类型4万张，两者各1万张验证数据。在level-0上截取固定256×256大小切片。Normal类别数据采样于正常全切片图像，即该全切片图像中不存在任何癌症细胞；Tumor类别数据采样于癌症全切片图像，包括ITC、Micro和Macro类型，其中切片内全部为癌症细胞，不存在正常细胞。为了防止相邻切片相似度过高，为提升数据多样性，包含有更多不同形态特点的癌症细胞，在采样时加入了随机因子，即每个切片均有一定相互独立的概率被选取出来放入数据集。

如表2所示，是图像分类统计结果。仅需训练1.7小时即可得到0.963的准确率，说明使用的模型和算法是高效的。

表2图像分类统计结果

	数值
		训练单步耗时	0.205s
训练总耗时	1.7h
		准确率	96.3％

如表3所示，是现有分类模型与本发明的实验对比。分类模型作为病理图像识别中的基础模型，由于在分辨率最高的level-0上读取切片作为输入数据，是目前对单张病理图像准确度最高的识别算法。诸多研究人员通过使用数据扩增、颜色归一化、数据预筛选、多机多卡训练、使用大规模模型、模型集成等各种方法，从数据、硬件、模型等多方面入手，极力提高分类模型的准确度，实现了90％以上准确度的水平。

表3图像分类实验对比

分类模型作为基础模型，准确度十分重要。然而，分类模型只是病理图像识别任务中的第一步，还需要其他算法和模型对分类模型得到的结果，在统计后进行的进一步处理。每张全切片包含数十万张切片，分类模型准确度在整个算法流程中并不能起到决定性的作用，可以允许一定的误差存在。当前研究为了提高其准确率，耗费了大量的计算资源，提高了对硬件的要求，固然将准确率提高到接近完美的水平，但是这对于算法到产品的落地是不利的。

本发明提出的实验方案，只需要较少的训练数据量和训练时间，在单机单卡上即可完成训练和测试，并且实现了96.3％的准确率，满足对整幅图像的癌症区域识别需求。同时，由于中尺度上的目标检测模型已对癌症区域进行了锁定，分类模型无需对全切片中所有切片进行精确的识别处理，减少了本环节的计算数量，提高了算法整体的时间效率。

实施例2

同样的，将实施例1中所述的基于卷积神经网络的多尺度癌症检测系统的同样也可以用于胃癌的检测，将乳腺癌组织代替为胃癌组织，其检测方法是利用上述检测系统，采用如下步骤：

步骤(1)、组织区域提取：获取胃癌患者组织，将病理全扫描切片图像预处理，将全扫描切片图像从RGB色彩空间转化为HSL色彩空间，采用高尺度整个全切片图像，采用在S通道上使用Otsu算法对其进行阈值分割来获取组织区域。；

步骤(2)、虚拟病例库构建：使用深度卷积生成对抗网络算法训练得到生成模型，并利用该生成模型生成低尺度切片图像后，对生成图像进行降采样，生成一系列切片图像并将其聚合为虚拟癌症区域后，嵌入到正常区域内，形成虚拟病例。

步骤(3)将上述的虚拟病例库的数据集和真实病理数据建立混合数据集，采用二维快速区域卷积神经网络Faster-RCNN方法，包括：

步骤(4)、使用步骤(3)的目标检测算法获得的癌症区域，应用癌症分类算法，对检测到的癌症区域中癌细胞patch分类，进一步在细胞层面完成对癌症区域的精准识别；具体为训练二维深度残差神经网络ResNet-50作为基本网络，对切片进行特征提取；并使用softmax作为分类器，在低尺度上，以固定256×256大小的切片为基本单位，进行癌细胞切片与正常细胞切片二分类，获得每个切片属于癌细胞切片类别的概率，完成对癌细胞的精确识别。

实施例3

同样的，将实施例1中所述的基于卷积神经网络的多尺度癌症检测系统的同样也可以用于直肠癌的检测，将乳腺癌组织代替为直肠癌组织，其检测方法是利用上述检测系统，采用如下步骤：

步骤(1)、组织区域提取：获取直肠癌患者组织，将病理全扫描切片图像预处理，将全扫描切片图像从RGB色彩空间转化为HSL色彩空间，采用高尺度整个全切片图像，采用在S通道上使用Otsu算法对其进行阈值分割来获取组织区域。；

实施例4

同样的，将实施例1中所述的基于卷积神经网络的多尺度癌症检测系统的同样也可以用于肺癌的检测，将乳腺癌组织代替为肺癌组织，其检测方法是利用上述检测系统，采用如下步骤：

步骤(1)、组织区域提取：获取肺癌患者组织，将病理全扫描切片图像预处理，将全扫描切片图像从RGB色彩空间转化为HSL色彩空间，采用高尺度整个全切片图像，采用在S通道上使用Otsu算法对其进行阈值分割来获取组织区域。；

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.构建癌症病理图像虚拟病例库的方法，其特征在于包括：

2.根据权利要求1所述的构建癌症病理图像虚拟病例库的方法，其特征在于步骤(1)采用高尺度下的整个全切片图像，采用在S通道上使用Otsu算法对其进行阈值分割。

3.根据权利要求1所述的构建癌症病理图像虚拟病例库的方法，其特征在于步骤(2)中所述的使用深度卷积对抗生成网络，为使用深度卷积生成对抗网络算法训练得到生成模型，并利用该生成模型生成低尺度切片图像后，对生成图像进行降采样，生成一系列切片图像并将其聚合为虚拟癌症区域后，嵌入到正常区域内，形成虚拟病例。

4.根据权利要求1至3任一所述的构建癌症病理图像虚拟病例库的方法，其特征在于所述的癌症为所有可用病理切片确诊的癌症，包括乳腺癌、肺癌、胃癌或直肠癌。

5.一种基于卷积神经网络的癌症区域多尺度诊断系统，其特征在于基于卷积神经网络的方法，在病理全扫描切片上面检测癌症团区域，包括如下模块：

6.根据权利要求5所述的基于卷积神经网络的癌症区域多尺度诊断系统，其特征在于所述高尺度癌团检测模块中，采用二维快速区域卷积神经网络Faster-RCNN方法，包括：

7.根据权利要求5所述的基于卷积神经网络的癌症区域多尺度诊断系统，其特征在于小尺度癌团分类模块中训练二维深度残差神经网络ResNet-50作为基本网络，对切片进行特征提取；并使用softmax作为分类器，在低尺度上，以固定256×256大小的切片为基本单位，进行癌细胞切片与正常细胞切片二分类，获得每个切片属于癌细胞切片类别的概率，完成对癌细胞的精确识别。