CN108765408B - 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 - Google Patents
构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 Download PDFInfo
- Publication number
- CN108765408B CN108765408B CN201810552970.0A CN201810552970A CN108765408B CN 108765408 B CN108765408 B CN 108765408B CN 201810552970 A CN201810552970 A CN 201810552970A CN 108765408 B CN108765408 B CN 108765408B
- Authority
- CN
- China
- Prior art keywords
- cancer
- scale
- region
- virtual
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了癌症病理图像虚拟病例库的建立以及基于卷积神经网络的多尺度癌症检测系统,该系统是基于一种卷积神经网络的方法,在病理全扫描切片上面检测癌症团区域,包括了四个模块:1)病理切片图像预处理模块;2)虚拟病例数据库构建模块;3)高尺度癌团检测模块;4)小尺度癌团分类模块;本发明可充分利用病理图像的多尺度信息,在不同尺度上,根据图像的特性,设计不同的策略对疑似癌症区域进行检测,同时在训练数据不足的情况下,本发明建立的虚拟病例库方法可以为目前数据驱动的深度学习方法提供更多的训练数据集。具有多尺度检测、相对少量的数据驱动等特点,在保证整体召回率和准确率的基础上,降低单次识别所需要的计算资源,提高算法的时间效率的特点。
Description
技术领域
本发明属于医学图像技术领域,建立了一个基于病理全扫描图像的虚拟病例库和一个基于病理图像的多尺度癌症检测系统,具体涉及构建癌症病理图像虚拟病例库建立及基于卷积神经网络的癌症多尺度检测方法。
背景技术
医学图像处理是当今世界上的热门研究领域之一,相关研究与应用越来越多地出现在计算机视觉方向顶级会议中。医学图像处理属于人类的健康事业,该领域的研究具有着重要的现实意义。医院里每天都会产生大量的病理图像,然而目前只能由病理医生通过显微镜对其一一查看,工作效率较低,无法满足大批量的阅片需求。并且由于存在诸多疑难杂症,经验比较匮乏的医生无法对该部分图像进行有效的诊断,医学领域上也存在一些难以诊断的难题。借助计算机对这些病理图像数据进行处理,既可以作为辅助工具帮助医生进行诊断,减轻医生负担,还可以通过算法对图像的分析,获取疾病的内在特征,促进医学事业的进步与发展。
图像中的深度学习主要采用的是卷积神经网络,其主要思想是构造层数较多的神经网络,利用卷积的方法提取图像特征,使其拥有强大的特征表达能力;同时充分利用并行计算所提供的强大计算资源,进行大规模的训练。2012年,以Hinton教授为首的团队在ImageNet图像分类大赛中取得了冠军的成绩,准确率超出第二名10%以上,对计算机视觉领域产生了极大的轰动,掀起了深度学习技术的新一轮浪潮。近年来在计算机视觉领域,深度学习方法几乎赢得了所有任务的最佳成绩,无论是在时间效率还是在准确度上,均远胜于传统图像处理方法。
生成对抗网络是近年来计算机视觉领域的热门研究方向之一,在人脸生成、场景生成等多个问题上产出了大量的研究论文和项目成果。由于其逼真的生成效果和低廉的生成成本,在未来应用场景极为广阔。在病理图像问题上,到目前为止尚没有出现相关的研究成果,本发明从扩充数据集的实际需求出发,首次将生成对抗网络与病理图像相结合,得出了若干实验结果,无论是对该项技术还是该项应用来说,都具有重要的参考价值。同时,虚拟病例库的建立,也为今后的医学图像处理一些问题的解决,提供了新的思路。
发明内容
本发明的目的是建立一个基于全扫描病理切片的癌症检测系统,包括基于卷积神经网络,使用计算机视觉中阈值分割、目标检测和图像分类算法,研究并实现一种病理图像多尺度检测方法,并将其应用于包括乳腺癌、肺癌、胃癌在内的所有可用病理切片确诊的癌症转移检测的医学任务中,保证准确率,提高算法整体的时间效率,降低硬件成本;同时,基于深度卷积生成对抗网络,构建一个病理图像虚拟病例库,为该方法提供更为丰富的训练数据。
为实现发明目的,本发明采取如下的技术方案:
一种基于卷积神经网络构建癌症病理图像虚拟病例库的方法,包括如下步骤:
步骤(1)全扫描切片图像预处理:将全扫描切片图像从RGB色彩空间转化为HSL色彩空间,使用最大类间差方法进行阈值分割来获取组织区域;
步骤(2)、虚拟病例库构建:使用深度卷积生成对抗网络,训练二维生成对抗网络DCGAN,生成不同类型的病变区域图像,随后将其嵌入到正常组织区域中,得到拼接后的虚拟病理图像,从而构建为虚拟病例库。
作为优选,所述步骤(1)采用高尺度下的整个全切片图像,采用在S通道上使用Otsu算法对其进行阈值分割;更为优选的,为了减少计算量,采用高尺度level-6下的整个全切片图像,其分辨率约为1500×3000。为了后续方便描述,我们将多尺度全扫描病理切片做如下定义,level 0~level 2定义为低尺度,level 3~level 5定义为中尺度,level 6~level 9定义为高尺度。
作为优选,所述步骤(2)中所述的使用深度卷积对抗生成网络,为使用深度卷积生成对抗网络算法训练得到生成模型,并利用该生成模型生成低尺度切片图像后,对生成图像进行降采样,生成一系列切片图像并将其聚合为虚拟癌症区域后,嵌入到正常区域内,形成虚拟病例。
作为优选,所述的癌症为所有可用病理切片确诊的癌症,包括乳腺癌、肺癌、胃癌或直肠癌。
癌症病理图像虚拟病例库的建立原理在于:为了对病理全切片图像中的组织区域进行提取,减少不必要的计算,本发明通过在高尺度上使用最大类间差法,对转换色彩空间后的全切片图像像素进行直方图分析,计算得到划分前景和背景的最佳分割阈值;为了获取更多数量和样式的训练数据,本发明使用深度卷积生成对抗网络的方法,训练生成模型并基于生成模型生成虚拟病理切片,将其聚合为癌症区域后嵌入到正常切片中,构建为虚拟病例库。
本发明的另一发明目的是关于基于卷积神经网络的多尺度癌症检测系统,采取如下的技术方案:
一种基于卷积神经网络的多尺度癌症检测系统,基于卷积神经网络的方法,在病理全扫描切片上面检测癌症团区域,包括如下模块:
病理切片图像预处理模块:在高尺度上,将全扫描切片图像的色彩空间从RGB转换为HSL,在S通道上使用最大类间差分法进行阈值分割,提取出组织区域;
虚拟病例数据库构建模块,使用深度卷积生成对抗网络训练生成不同类型的病理切片图像,组成癌症区域嵌入到正常组织区域中,得到虚拟病理图像,并将其构建为虚拟病例库;
高尺度癌团检测模块,在中尺度上,将组织区域划分为若干固定大小的切块,使用Faster-RCNN算法对切块进行癌症区域检测;
小尺度癌团分类模块,在低尺度上,将检测到的癌症区域划分为若干固定大小的切片,使用ResNet-50网络对其进行二分类识别。
作为优选,所述高尺度癌团检测模块中,采用二维快速区域卷积神经网络Faster-RCNN方法,包括:
A、使用去掉softmax层的卷积神经网络,作为特征提取网络对该图片进行特征提取,得到特征图(feature map);
B、将特征图输入到区域生成网络中,通过锚机制(anchors)和binding-box回归,以及判断前景或背景的二分类器,得到一系列可能的候选区域;
C、将特征图中某候选区域的部分截出,通过目标区域归一化层归一化为固定大小的图片;
D、将该候选区域中的特征图送入分类网络,给出该部分属于各个类别的概率,使用非极大值抑制算法完成最后的筛选。
作为优选,所述小尺度癌团分类模块中训练二维深度残差神经网络ResNet-50作为基本网络,对切片进行特征提取;并使用softmax作为分类器,在低尺度上,以固定256×256大小的切片为基本单位,进行癌细胞切片与正常细胞切片二分类,获得每个切片属于癌细胞切片类别的概率,完成对癌细胞的精确识别。
本发明关于充基于卷积神经网络的多尺度癌症检测系统,包括癌症病理图像虚拟病例库构建模块,对应虚拟病例库建立方法;病理图像预处理模块,对应各部分的预处理方法;大尺度癌团检测模块,对应多尺度检测方法;小尺度癌团分类模块,对应小尺度分类方法;是充分利用病理图像多尺度的特点,在不同尺度上使用不同的方法,逐步检测癌细胞所处的位置,避免直接在最大分辨率上对大量数据进行处理,减少冗余计算,提高整体时间效率;其次本发明提出基于深度卷积生成对抗网络的虚拟病例库构建方法,基于原始数据训练生成模型,优化生成效果,使用生成模型从随机变量中自动生成所需要的数据,在理论上无限地获取到虚拟数据,并且通过随机算法提高数据的多样性。
本发明可充分利用病理图像的多尺度信息,在不同尺度上,根据图像的特性,设计不同的策略对疑似癌症区域进行检测,同时在训练数据不足的情况下,本发明建立的虚拟病例库方法可以为目前数据驱动的深度学习方法提供更多的训练数据集。具有多尺度检测、相对少量的数据驱动等特点,在保证整体召回率和准确率的基础上,降低单次识别所需要的计算资源,提高算法的时间效率的特点。
附图说明
图1本发明基于卷积神经网络的多尺度癌症检测系统的流程示意图;
图2本发明实施例1的基于卷积神经网络的乳腺癌淋巴转移多尺度检测方法的流程图;
图3为实施例1的高尺度阈值分割结果图;
图4为实施例1中的虚拟病例库结果图;
图5为实施例1中目标检测网络结构图;
图6为实施例1中的目标检测结果图。
具体实施方式
下面结合实施例附图对本发明作进一步的详细说明,但本发明的实施方式不限定于此。
实施例1以乳腺癌淋巴转移多尺度检测方法为例
乳腺癌淋巴转移任务的具体含义是,自动检测由苏木素和曙红(H&E)染色的淋巴转移全切片病理图像。这项任务具有很高的临床意义,但是需要耗费病理医生大量的时间来进行人工阅读。因此,一个有效的计算机视觉自动检测方案可以减少病理医生的工作量,同时提高诊断的客观性。
如图1和图2所示的流程图,一种基于卷积神经网络的乳腺癌淋巴转移多尺度检测系统,基于卷积神经网络的方法,在病理全扫描切片上面检测癌症团区域,包括如下模块:
病理切片图像预处理模块:在高尺度上,将全扫描切片图像的色彩空间从RGB转换为HSL,在S通道上使用最大类间差分法进行阈值分割,提取出组织区域;
虚拟病例数据库构建模块,使用深度卷积生成对抗网络训练生成不同类型的病理切片图像,组成癌症区域嵌入到正常组织区域中,得到虚拟病理图像,并将其构建为虚拟病例库;
高尺度癌团检测模块,在中尺度上,将组织区域划分为若干固定大小的切块,使用Faster-RCNN算法对切块进行癌症区域检测;
小尺度癌团分类模块,在低尺度上,将检测到的癌症区域划分为若干固定大小的切片,使用ResNet-50网络对其进行二分类识别。
具体检测步骤包括如下:
1、乳腺淋巴结组织区域提取方法
乳腺淋巴结全扫描切片图像是由人体组织切片在电子显微镜下扫描而成。生理实验人员取出部分淋巴结,切成一层薄片通过染色剂染色后,涂抹于载玻片上放到显微镜下扫描。其中,图像的大部分区域为空白区域,并不包含组织部分,因此识别程序无需对该部分区域进行计算。
为了提取出组织部分,本发明采用阈值分割的方法对其进行处理。首先,为了减少计算量,本步骤采用高尺度level-6下的整个全切片图像,其分辨率约为1500×3000。然后,将其从RGB色彩空间转化为HSL色彩空间,其中,H为色调,S为饱和度,L为明度。通过观察原图像可知,组织部分的饱和度明显高于非组织部分,因此采用在S通道上使用最大类间差法算法对其进行阈值分割。
RGB颜色模型又称红绿蓝颜色模型,是一种通过将红、绿、蓝三种颜色的光按比例叠加,生成多种颜色的方式。RGB模型通常用于电子显示设备上的颜色表示,在计算机中,一个RGB颜色通常用24比特存储,红、绿、蓝三种颜色各占8比特,所以每种颜色分量的强度可分为28共256种,所能表示的颜色达到16777216种。虽然RGB模型所能表示的颜色数远不及自然界中颜色的数量,但对于人眼的色彩分辨率来说已经十分足够。
HSL颜色模型即色相(Hue)、饱和度(Saturation)、亮度(Lightness)模型,是一种更符合人眼视觉感受的颜色模型。色相表示人眼感受到的不同颜色类别,饱和度表示颜色的纯度,亮度表示人眼感受到的光线的强度。
调用OpenCV库函数即可完成从RGB到HSL的色彩空间转换。
最大类间差法通过统计图像的像素直方图,计算前背景方差,选取最大类间差时的阈值,从而实现全局阈值的自动选取。在Level-6尺度上选取饱和度通道,在该通道上对病理图像进行阈值分割。具体算法步骤如下。
使用OpenCV中的膨胀和腐蚀方法去除掉小面积的散点,得到组织区域。
如图3所示高的尺度阈值分割结果图,左图为阈值分割后得到的二值图像mask,去除掉相对较小的区域后,得到右图为原图像基础上,使用方框框出得到的组织部分,即为高尺度下组织区域提取结果。下一步检测将在该区域内进行。使用我们提出的阈值分割方法分割一张图像仅需要约0.3s,提取到的组织区域占整个图像的比例约为17%,删除掉83%的无关区域,即可以节约后续工作83%的运算量,提高了整个流程的时间效率。整个计算效率和计算时间,均来自opencv自带计算函数。
2、乳腺癌淋巴转移病理切片的虚拟病例库构建方法
生成对抗网络包括两个模型,生成式模型和判别式模型。判别式模型学习判断一个样本是模型生成出来的还是从原始数据中取出的,而生成式模型将与之竞争。可以把生成式模型比作一支伪造假币的团队,其目的在于生成处难以分辨的假币;同时,把判别式模型比作警察,其目的在于分辨出真币和假币。这场游戏中的竞争将会驱使两支团队不断提高各自的方法,直至假币难以被真正的分辨出来。
该框架可以使用多种类型的模型和优化算法进行训练,在此选择使用多层感知机,生成式模型通过将随机噪声输入多层感知机来获取生成样本,同时判别式模型也使用多层感知机进行分类判断,将此种结构称为对抗网络。在这种结构下,可以使用反向传播算法对模型进行训练,仅使用前向传播即可完成生成式模型的生成,不需要近似算法或者马尔科夫链算法。
当模型均为多层感知机时,对抗网络框架可以直接应用。为了学习生成者在数据x上的分布pg,定义输入噪声为变量pz(z),然后将数据空间表示为G(z;θg),其中G为表现为带有参数θg的多层感知机的可微方程。同时定义一个只输出单一标量的多层感知机D(x;θd)。D(x)表示x来自于真实数据而非pg的可能性。训练判别器D以最大化断定训练样本和生成器G产生样本标签正确的可能性。同时训练生成器G以最小化log(1-D(G(z)))。训练价值函数V(G,D):
训练过程如算法2所示,设定超参数k,在一次迭代训练中,首先对判别器训练k次,取m个噪声样本和m个原始数据样本更新梯度进行训练;然后对生成器训练一次,取m个噪声样本更新梯度进行训练。这样只要生成器G更新得足够慢,便可以使判别器D保持在其最优解附近。
使用深度卷积生成对抗网络算法训练得到生成模型,并利用该生成模型生成乳腺癌病理切片的癌症组织图像后,由于构建的虚拟病例库需要在level-3尺度,而生成图像是level-0尺度,需要对生成图像进行8倍降采样。
生成一系列癌症切片图像后,将其聚合为虚拟癌症区域,下一步工作是将其嵌入到正常区域内,形成虚拟病例,为接下来的中尺度检测提供更多的训练数据,提高检测效果。
首先,从正常的全切片图像中,在中尺度level-3上,截取一系列固定512×512大小的图像,称之为切块;其次,利用生成的切片图像,聚合而成为虚拟癌症区域;然后将虚拟癌症区域大小与位置均随机地嵌入到正常区域切块中;最后,生成标注数据,完成虚拟病例库的构建,将得到的虚拟数据加入训练数据集中。
如图4所示,是由生成图像聚合后随机嵌入正常区域切块中构建而成的虚拟病例库,矩形框标注了其中癌症区域的位置。该虚拟病例库可以根据需要,提供不同癌症区域大小、不同癌症区域类型、不同图片大小等各类数据,满足模型训练的数据要求。
3、乳腺淋巴结病理切片中癌症区域检测方法
在乳腺癌整个的生长周期中,癌症区域内的单个癌症细胞由于内部处于有丝分裂状态,染色体舒展扩散,经过染色后内部呈现出结构松散、颜色淡薄的特点,得以与正常细胞进行区分。同时,由于癌症细胞的分裂性,其往往是聚集在一起而不是分散开来的状态,多个癌症细胞会形成一个癌症区域,并且该癌症区域在整体上具有一定的结构、纹理、颜色特征,并且在中尺度上,清晰度较低时,仍然保有这些特征,使其可以与正常细胞区域部分区别开来。
基于此,本发明提出在中尺度上,使用目标检测的方法,对癌症区域进行检测,高效获取目标区域的位置信息,提供给下一步在低尺度上进行更为精细的识别工作。使用基于深度学习的快速区域卷积神经网络算法(Faster-RCNN)作为目标检测算法,在中尺度level-3上截取固定512×512大小的切块,结合标注信息,放入网络进行模型训练和测试。
如图6所示,Faster-RCNN主要由以下部分构成:特征提取网络、区域生成网络(Region Proposal Networks,RPN)、目标区域归一化层(RoI Pooling)、分类网络和非极大值抑制。整体流程为:对于一张输入图片,首先使用去掉softmax层的卷积神经网络,作为特征提取网络对该图片进行特征提取,得到特征图(feature map);其次将特征图输入到区域生成网络中,通过锚机制(anchors)和框盒回归,以及判断前景或背景的二分类器,得到一系列可能的候选区域;然后将特征图中某候选区域的部分截出,通过目标区域归一化层归一化为固定大小的图片;最后将该候选区域中的特征图送入分类网络,给出该部分属于各个类别的概率,使用非极大值抑制算法完成最后的筛选。
癌症区域检测是在中尺度level-3上进行的,因此训练数据和测试数据均为level-3下的病理图像。在组织区域中,按照固定512×512大小和固定256步长进行扫描,得到切块,读取该全切片图像对应XML标注文件中的癌症区域坐标,如果与当前切块存在交集,则读取对应MASK标注文件,获取当前切块内癌症区域的具体位置信息,并使用矩形框进行标注,按照pascal数据集标准格式存储为XML文件。该XML文件包括癌症区域相对于切块的左上角点与右下角点的横纵坐标、癌症区域面积、癌症区域占矩形框比例和检测类别。
如表1所示,在训练阶段,每训练一步耗时0.35秒,共计耗时16小时,训练时间相比于其他方法是较短的,时间计算来源于OpenCV自带的计时函数。在验证集上,以交并比0.5为阈值,可以得到0.4851mAP的良好效果,证明了该方法的有效性;在测试阶段,每张切块耗时仅1.5秒,便完成了相当于level-0上4096×4096大小图片的检测工作,使用level-0上256×256切片进行分类,仅1次检测操作便替代完成了256次分类操作,极大提高了时间效率。由于全切片中切块数量的不同,完成一张全切片的总耗时也是不同的,约为150~300秒之间。对于带有癌症区域的切块,检测召回率可以达到0.76,对于全切片中最大癌症区域,检测召回率可达0.82,实现了良好的效果。
表1
项目 | 数值 |
训练单步耗时 | 0.35s |
训练总耗时 | 16h |
mAP@0.5IOU | 48.51% |
测试单张切块耗时 | 1.5s |
测试单张全切片耗时 | 150s~300s |
癌症切块召回率 | 76% |
癌症切块准确率 | 23% |
全切片最大癌症区域召回率 | 82% |
(上述结论均由OpenCV自带的计算函数得出)
所示,第一行是部分测试结果,每一个检测结果均给出了定位矩形框和分类置信度,第二行是对应切块的MASK标注文件,第三行是对应切块癌症区域检测的金标准。从图中可以看出,该模型对于癌症区域的检测是非常有效的,在分类精度和定位精度上均有着十分优异的表现。
尤其对于大面积癌症区域,对应Macro类型癌症区域,如第3列和第4列结果,可以达到极高的准确度。由于大面积区域极高的分类精度,对于该部分检测结果可以直接输出,不需要再在低尺度上进行更为精确也更为耗时的切片分类识别,极大加速了病理全切片图像的整体识别速度。
对于中等面积癌症区域,对应Micro类型癌症区域,如第1列和第2列结果,分类精度和定位精度整体效果良好。但是由于该部分类型训练数据较少、面积较小不规则等原因,检测结果存在一定程度上的误差。对于该种类型,采取调低识别阈值,从而降低准确率、提高召回率的方法,将可能是癌症区域的部分均检测出来,再将这些区域送入下一个环节,利用低尺度上更为清晰的图像和更加精确的切片分类方法,对检测矩形框内部进行更精细的癌症区域划分,保证最终结果的准确度。
对于小面积癌症区域,对应ITC类型癌症区域,如第5列中的部分结果,检测效果差强人意。第5列中存在有多个ITC类型癌症区域,模型最终只识别出部分结果,对于面积极小的区域没有返回检测结果。ITC区域由于面积极小,部分甚至只由若干个细胞组成,在level-3尺度上难以展现,并且目前的方法对于ITC类型的识别率也非常低,最好的结果也只能达到44%,是一项公认的难题。后续也将针对其专门探究识别方法,以完善整个病理图像识别任务。
4、乳腺淋巴结病理全扫描切片分类方法
通过上一节的中尺度癌症区域检测,在level-3尺度切块上快速定位到了若干癌症区域。但是,由于level-3尺度图像清晰度较低,细胞内部结构模糊,癌症区域与某些正常组织区域整体结构相似,降低检测置信度阈值以提高召回率等原因,癌症区域检测的精确度并不高;同时,由于检测得到的定位结果是矩形框,而癌症区域形状是不规则的,为得到真实的癌细胞分布情况,仅定位到矩形框是不够准确的。由于以上两个原因,需要对癌细胞的分布情况进一步更加精确地予以识别和定位。
使用经典的ResNet-50网络,采用基于图像分类网络的低尺度癌细胞切片分类的方法,即针对上一步目标检测得到的癌症区域,在level-0尺度上,以固定256×256大小的切片为基本单位,进行癌细胞切片与正常细胞切片二分类,获得每个切片属于癌细胞切片类别的概率,即可完成对癌细胞的精确识别。
ResNet-50借鉴了Highway Networks的思想。设深度网络中某隐含层为H(x)-x→F(x),如果可以假设多个非线性层组合可以近似于一个复杂函数,那么也同样可以假设隐含层的残差近似于某个复杂函数。将隐含层表示为H(x)=F(x)+x。则得到一种全新的残差结构单元,残差单元的输出是由多个卷积层级联的输出和输入元素间相加,再经过ReLU激活后得到的。将这种结构级联起来,就得到了残差网络。
训练阶段数据分为两类,Normal类型8万张和Tumor类型4万张,两者各1万张验证数据。在level-0上截取固定256×256大小切片。Normal类别数据采样于正常全切片图像,即该全切片图像中不存在任何癌症细胞;Tumor类别数据采样于癌症全切片图像,包括ITC、Micro和Macro类型,其中切片内全部为癌症细胞,不存在正常细胞。为了防止相邻切片相似度过高,为提升数据多样性,包含有更多不同形态特点的癌症细胞,在采样时加入了随机因子,即每个切片均有一定相互独立的概率被选取出来放入数据集。
如表2所示,是图像分类统计结果。仅需训练1.7小时即可得到0.963的准确率,说明使用的模型和算法是高效的。
表2图像分类统计结果
数值 | |
训练单步耗时 | 0.205s |
训练总耗时 | 1.7h |
准确率 | 96.3% |
如表3所示,是现有分类模型与本发明的实验对比。分类模型作为病理图像识别中的基础模型,由于在分辨率最高的level-0上读取切片作为输入数据,是目前对单张病理图像准确度最高的识别算法。诸多研究人员通过使用数据扩增、颜色归一化、数据预筛选、多机多卡训练、使用大规模模型、模型集成等各种方法,从数据、硬件、模型等多方面入手,极力提高分类模型的准确度,实现了90%以上准确度的水平。
表3图像分类实验对比
分类模型作为基础模型,准确度十分重要。然而,分类模型只是病理图像识别任务中的第一步,还需要其他算法和模型对分类模型得到的结果,在统计后进行的进一步处理。每张全切片包含数十万张切片,分类模型准确度在整个算法流程中并不能起到决定性的作用,可以允许一定的误差存在。当前研究为了提高其准确率,耗费了大量的计算资源,提高了对硬件的要求,固然将准确率提高到接近完美的水平,但是这对于算法到产品的落地是不利的。
本发明提出的实验方案,只需要较少的训练数据量和训练时间,在单机单卡上即可完成训练和测试,并且实现了96.3%的准确率,满足对整幅图像的癌症区域识别需求。同时,由于中尺度上的目标检测模型已对癌症区域进行了锁定,分类模型无需对全切片中所有切片进行精确的识别处理,减少了本环节的计算数量,提高了算法整体的时间效率。
实施例2
同样的,将实施例1中所述的基于卷积神经网络的多尺度癌症检测系统的同样也可以用于胃癌的检测,将乳腺癌组织代替为胃癌组织,其检测方法是利用上述检测系统,采用如下步骤:
步骤(1)、组织区域提取:获取胃癌患者组织,将病理全扫描切片图像预处理,将全扫描切片图像从RGB色彩空间转化为HSL色彩空间,采用高尺度整个全切片图像,采用在S通道上使用Otsu算法对其进行阈值分割来获取组织区域。;
步骤(2)、虚拟病例库构建:使用深度卷积生成对抗网络算法训练得到生成模型,并利用该生成模型生成低尺度切片图像后,对生成图像进行降采样,生成一系列切片图像并将其聚合为虚拟癌症区域后,嵌入到正常区域内,形成虚拟病例。
步骤(3)将上述的虚拟病例库的数据集和真实病理数据建立混合数据集,采用二维快速区域卷积神经网络Faster-RCNN方法,包括:
A、使用去掉softmax层的卷积神经网络,作为特征提取网络对该图片进行特征提取,得到特征图(feature map);
B、将特征图输入到区域生成网络中,通过锚机制(anchors)和binding-box回归,以及判断前景或背景的二分类器,得到一系列可能的候选区域;
C、将特征图中某候选区域的部分截出,通过目标区域归一化层归一化为固定大小的图片;
D、将该候选区域中的特征图送入分类网络,给出该部分属于各个类别的概率,使用非极大值抑制算法完成最后的筛选。
步骤(4)、使用步骤(3)的目标检测算法获得的癌症区域,应用癌症分类算法,对检测到的癌症区域中癌细胞patch分类,进一步在细胞层面完成对癌症区域的精准识别;具体为训练二维深度残差神经网络ResNet-50作为基本网络,对切片进行特征提取;并使用softmax作为分类器,在低尺度上,以固定256×256大小的切片为基本单位,进行癌细胞切片与正常细胞切片二分类,获得每个切片属于癌细胞切片类别的概率,完成对癌细胞的精确识别。
实施例3
同样的,将实施例1中所述的基于卷积神经网络的多尺度癌症检测系统的同样也可以用于直肠癌的检测,将乳腺癌组织代替为直肠癌组织,其检测方法是利用上述检测系统,采用如下步骤:
步骤(1)、组织区域提取:获取直肠癌患者组织,将病理全扫描切片图像预处理,将全扫描切片图像从RGB色彩空间转化为HSL色彩空间,采用高尺度整个全切片图像,采用在S通道上使用Otsu算法对其进行阈值分割来获取组织区域。;
步骤(2)、虚拟病例库构建:使用深度卷积生成对抗网络算法训练得到生成模型,并利用该生成模型生成低尺度切片图像后,对生成图像进行降采样,生成一系列切片图像并将其聚合为虚拟癌症区域后,嵌入到正常区域内,形成虚拟病例。
步骤(3)将上述的虚拟病例库的数据集和真实病理数据建立混合数据集,采用二维快速区域卷积神经网络Faster-RCNN方法,包括:
A、使用去掉softmax层的卷积神经网络,作为特征提取网络对该图片进行特征提取,得到特征图(feature map);
B、将特征图输入到区域生成网络中,通过锚机制(anchors)和binding-box回归,以及判断前景或背景的二分类器,得到一系列可能的候选区域;
C、将特征图中某候选区域的部分截出,通过目标区域归一化层归一化为固定大小的图片;
D、将该候选区域中的特征图送入分类网络,给出该部分属于各个类别的概率,使用非极大值抑制算法完成最后的筛选。
步骤(4)、使用步骤(3)的目标检测算法获得的癌症区域,应用癌症分类算法,对检测到的癌症区域中癌细胞patch分类,进一步在细胞层面完成对癌症区域的精准识别;具体为训练二维深度残差神经网络ResNet-50作为基本网络,对切片进行特征提取;并使用softmax作为分类器,在低尺度上,以固定256×256大小的切片为基本单位,进行癌细胞切片与正常细胞切片二分类,获得每个切片属于癌细胞切片类别的概率,完成对癌细胞的精确识别。
实施例4
同样的,将实施例1中所述的基于卷积神经网络的多尺度癌症检测系统的同样也可以用于肺癌的检测,将乳腺癌组织代替为肺癌组织,其检测方法是利用上述检测系统,采用如下步骤:
步骤(1)、组织区域提取:获取肺癌患者组织,将病理全扫描切片图像预处理,将全扫描切片图像从RGB色彩空间转化为HSL色彩空间,采用高尺度整个全切片图像,采用在S通道上使用Otsu算法对其进行阈值分割来获取组织区域。;
步骤(2)、虚拟病例库构建:使用深度卷积生成对抗网络算法训练得到生成模型,并利用该生成模型生成低尺度切片图像后,对生成图像进行降采样,生成一系列切片图像并将其聚合为虚拟癌症区域后,嵌入到正常区域内,形成虚拟病例。
步骤(3)将上述的虚拟病例库的数据集和真实病理数据建立混合数据集,采用二维快速区域卷积神经网络Faster-RCNN方法,包括:
A、使用去掉softmax层的卷积神经网络,作为特征提取网络对该图片进行特征提取,得到特征图(feature map);
B、将特征图输入到区域生成网络中,通过锚机制(anchors)和binding-box回归,以及判断前景或背景的二分类器,得到一系列可能的候选区域;
C、将特征图中某候选区域的部分截出,通过目标区域归一化层归一化为固定大小的图片;
D、将该候选区域中的特征图送入分类网络,给出该部分属于各个类别的概率,使用非极大值抑制算法完成最后的筛选。
步骤(4)、使用步骤(3)的目标检测算法获得的癌症区域,应用癌症分类算法,对检测到的癌症区域中癌细胞patch分类,进一步在细胞层面完成对癌症区域的精准识别;具体为训练二维深度残差神经网络ResNet-50作为基本网络,对切片进行特征提取;并使用softmax作为分类器,在低尺度上,以固定256×256大小的切片为基本单位,进行癌细胞切片与正常细胞切片二分类,获得每个切片属于癌细胞切片类别的概率,完成对癌细胞的精确识别。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (6)
1.构建癌症病理图像虚拟病例库的方法,其特征在于包括:
步骤(1)全扫描切片图像预处理:将全扫描切片图像从RGB色彩空间转化为HSL色彩空间,使用最大类间差方法进行阈值分割来获取组织区域;
步骤(2)、虚拟病例库构建:使用深度卷积生成对抗网络,训练二维生成对抗网络DCGAN,生成不同类型的病变区域图像,随后将其嵌入到正常组织区域中,得到拼接后的虚拟病理图像,从而构建为虚拟病例库,所述步骤(2)中所述的使用深度卷积对抗生成网络,为使用深度卷积生成对抗网络算法训练得到生成模型,并利用该生成模型生成低尺度切片图像后,对生成图像进行降采样,生成一系列切片图像并将其聚合为虚拟癌症区域后,嵌入到正常区域内,形成虚拟病例。
2.根据权利要求1所述的构建癌症病理图像虚拟病例库的方法,其特征在于步骤(1)采用高尺度下的整个全切片图像,采用在S通道上使用Otsu算法对其进行阈值分割。
3.根据权利要求1或2所述的构建癌症病理图像虚拟病例库的方法,其特征在于所述的癌症为所有可用病理切片确诊的癌症,包括乳腺癌、肺癌、胃癌或直肠癌。
4.一种基于卷积神经网络的癌症区域多尺度诊断系统,其特征在于基于卷积神经网络的方法,在病理全扫描切片上面检测癌症团区域,包括如下模块:
病理切片图像预处理模块:在高尺度上,将全扫描切片图像的色彩空间从RGB转换为HSL,在S通道上使用最大类间差分法进行阈值分割,提取出组织区域;
虚拟病例数据库构建模块,使用深度卷积生成对抗网络训练生成不同类型的病理切片图像,组成癌症区域嵌入到正常组织区域中,得到虚拟病理图像,并将其构建为虚拟病例库;
高尺度癌团检测模块,在中尺度上,将组织区域划分为若干固定大小的切块,使用Faster-RCNN算法对切块进行癌症区域检测;
小尺度癌团分类模块,在低尺度上,将检测到的癌症区域划分为若干固定大小的切片,使用ResNet-50网络对其进行二分类识别。
5.根据权利要求4所述的基于卷积神经网络的癌症区域多尺度诊断系统,其特征在于所述高尺度癌团检测模块中,采用二维快速区域卷积神经网络Faster-RCNN方法,包括:
A、使用去掉softmax层的卷积神经网络,作为特征提取网络对该图片进行特征提取,得到特征图(feature map);
B、将特征图输入到区域生成网络中,通过锚机制(anchors)和bounding-box回归,以及判断前景或背景的二分类器,得到一系列可能的候选区域;
C、将特征图中某候选区域的部分截出,通过目标区域归一化层归一化为固定大小的图片;
D、将该候选区域中的特征图送入分类网络,给出该部分属于各个类别的概率,使用非极大值抑制算法完成最后的筛选。
6.根据权利要求4所述的基于卷积神经网络的癌症区域多尺度诊断系统,其特征在于小尺度癌团分类模块中训练二维深度残差神经网络ResNet-50作为基本网络,对切片进行特征提取;并使用softmax作为分类器,在低尺度上,以固定256×256大小的切片为基本单位,进行癌细胞切片与正常细胞切片二分类,获得每个切片属于癌细胞切片类别的概率,完成对癌细胞的精确识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810552970.0A CN108765408B (zh) | 2018-05-31 | 2018-05-31 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810552970.0A CN108765408B (zh) | 2018-05-31 | 2018-05-31 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108765408A CN108765408A (zh) | 2018-11-06 |
CN108765408B true CN108765408B (zh) | 2021-09-10 |
Family
ID=64001595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810552970.0A Active CN108765408B (zh) | 2018-05-31 | 2018-05-31 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108765408B (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711426B (zh) * | 2018-11-16 | 2022-09-16 | 中山大学 | 一种基于gan和迁移学习的病理图片分类装置及方法 |
CN109670532B (zh) * | 2018-11-23 | 2022-12-09 | 腾讯医疗健康(深圳)有限公司 | 生物体器官组织图像的异常识别方法、装置及系统 |
CN109872296A (zh) * | 2019-01-04 | 2019-06-11 | 中山大学 | 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法 |
CN110135454A (zh) * | 2019-04-02 | 2019-08-16 | 成都真实维度科技有限公司 | 一种基于3d断层扫描图数据集的深度学习模型训练方法 |
CN110148114A (zh) * | 2019-04-02 | 2019-08-20 | 成都真实维度科技有限公司 | 一种基于2d断层扫描图数据集的深度学习模型训练方法 |
CN110136096A (zh) * | 2019-04-02 | 2019-08-16 | 成都真实维度科技有限公司 | 一种基于断层扫描图数据集进行病变区域分割的方法 |
CN110246116B (zh) * | 2019-04-24 | 2020-12-25 | 创新工场(北京)企业管理股份有限公司 | 数字病理切片由he染色到ihc染色的计算机自动生成方法 |
CN110120040B (zh) * | 2019-05-13 | 2021-09-14 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
CN110322432B (zh) * | 2019-05-27 | 2021-11-23 | 上海联影医疗科技股份有限公司 | 医学图像处理方法、装置、计算机设备和可读存储介质 |
CN112102221A (zh) * | 2019-05-31 | 2020-12-18 | 深圳市前海安测信息技术有限公司 | 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质 |
CN112132166B (zh) * | 2019-06-24 | 2024-04-19 | 杭州迪英加科技有限公司 | 一种数字细胞病理图像智能分析方法、系统及装置 |
CN110298831A (zh) * | 2019-06-25 | 2019-10-01 | 暨南大学 | 一种基于分块深度学习的医学图像处理系统及其方法 |
CN110782996A (zh) * | 2019-09-18 | 2020-02-11 | 平安科技(深圳)有限公司 | 医疗数据库的构建方法、装置、计算机设备和存储介质 |
CN110727819B (zh) * | 2019-10-10 | 2020-05-29 | 北京航空航天大学 | 一种尺度自适应病理全切片图像数据库检索方法 |
CN110781953B (zh) * | 2019-10-24 | 2023-03-31 | 广州乐智医疗科技有限公司 | 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法 |
CN110930369B (zh) * | 2019-11-01 | 2023-05-05 | 中山大学 | 一种基于群等变神经网络和条件概率场的病理切片识别方法 |
CN111047559B (zh) * | 2019-11-21 | 2023-04-18 | 万达信息股份有限公司 | 一种数字病理切片异常区域快速检测的方法 |
EP3971762A4 (en) * | 2019-11-28 | 2022-07-27 | Huawei Cloud Computing Technologies Co., Ltd. | IMAGE PROCESSING METHOD, DEVICE AND SYSTEM |
CN111462052A (zh) * | 2020-03-16 | 2020-07-28 | 清华大学 | 基于图神经网络的医疗影像分析方法及系统 |
CN111476290A (zh) * | 2020-04-03 | 2020-07-31 | 北京推想科技有限公司 | 检测模型训练方法、淋巴结检测方法、装置、设备及介质 |
CN111798408B (zh) * | 2020-05-18 | 2023-07-21 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种内窥镜干扰图像检测与分级系统及方法 |
CN112101451B (zh) * | 2020-09-14 | 2024-01-05 | 北京联合大学 | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 |
CN112435237A (zh) * | 2020-11-24 | 2021-03-02 | 山西三友和智慧信息技术股份有限公司 | 一种基于数据增强与深度网络的皮肤病变分割方法 |
CN112950614B (zh) * | 2021-03-22 | 2023-01-10 | 山西三友和智慧信息技术股份有限公司 | 一种基于多尺度空洞卷积的乳腺癌病理图片分类方法 |
CN113469330B (zh) * | 2021-06-25 | 2022-12-02 | 中国人民解放军陆军工程大学 | 双极网络腐蚀增强对抗样本迁移性的方法 |
CN113793306A (zh) * | 2021-08-23 | 2021-12-14 | 上海派影医疗科技有限公司 | 一种基于分片处理的乳腺病理图像识别检测方法与系统 |
CN113723573B (zh) * | 2021-11-03 | 2022-01-14 | 浙江大学 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
TWI781027B (zh) * | 2021-12-22 | 2022-10-11 | 國立臺南大學 | 用於染色影像的神經網路系統與影像染色轉換方法 |
CN114596298B (zh) * | 2022-03-16 | 2022-11-15 | 华东师范大学 | 基于高光谱成像的精标注数字病理数据集自动生成方法 |
CN114820502B (zh) * | 2022-04-21 | 2023-10-24 | 济宁医学院附属医院 | 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法 |
CN114973244B (zh) * | 2022-06-12 | 2023-04-11 | 桂林电子科技大学 | 一种乳腺癌h&e染色病理图像有丝分裂自动识别系统和方法 |
CN114937045A (zh) * | 2022-06-20 | 2022-08-23 | 四川大学华西医院 | 一种肝细胞癌病理图像分割系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732195A (zh) * | 2013-12-19 | 2015-06-24 | 国际商业机器公司 | 挖掘社交媒体以用于紫外线照射分析 |
CN105640577A (zh) * | 2015-12-16 | 2016-06-08 | 深圳市智影医疗科技有限公司 | 一种自动检测放射影像中局部性病变的方法和系统 |
WO2017017685A1 (en) * | 2015-07-30 | 2017-02-02 | Emerald Medical Applications Ltd. | Image processing system and method |
CN107368670A (zh) * | 2017-06-07 | 2017-11-21 | 万香波 | 基于大数据深度学习的胃癌病理诊断支持系统和方法 |
CN108010013A (zh) * | 2017-11-03 | 2018-05-08 | 天津大学 | 一种肺ct图像肺结节检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506770A (zh) * | 2017-08-17 | 2017-12-22 | 湖州师范学院 | 糖尿病视网膜病变眼底照相标准图像生成方法 |
-
2018
- 2018-05-31 CN CN201810552970.0A patent/CN108765408B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732195A (zh) * | 2013-12-19 | 2015-06-24 | 国际商业机器公司 | 挖掘社交媒体以用于紫外线照射分析 |
WO2017017685A1 (en) * | 2015-07-30 | 2017-02-02 | Emerald Medical Applications Ltd. | Image processing system and method |
CN105640577A (zh) * | 2015-12-16 | 2016-06-08 | 深圳市智影医疗科技有限公司 | 一种自动检测放射影像中局部性病变的方法和系统 |
CN107368670A (zh) * | 2017-06-07 | 2017-11-21 | 万香波 | 基于大数据深度学习的胃癌病理诊断支持系统和方法 |
CN108010013A (zh) * | 2017-11-03 | 2018-05-08 | 天津大学 | 一种肺ct图像肺结节检测方法 |
Non-Patent Citations (3)
Title |
---|
"Virtual PET Images from CT Data Using Deep Convolutional Networks: Initial Results";Ben-Cohen, A.等;《Simulation and Synthesis in Medical Imaging Second International Workshop, SASHIMI 2017》;20170910;第49-57页 * |
"基于最大类间方差的医学显微图像分割研究";胡涵;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215(第02期);I138-1750,正文第31-32、40-41页 * |
"基于深度残差生成对抗网络的医学影像超分辨率算法";高媛 等;《计算机应用》;20180521;第38卷(第9期);第2689-2695页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108765408A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765408B (zh) | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 | |
CN109886986B (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
KR102041906B1 (ko) | 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진 | |
CN112508850B (zh) | 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法 | |
Beevi et al. | Automatic mitosis detection in breast histopathology images using convolutional neural network based deep transfer learning | |
CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
Albayrak et al. | Mitosis detection using convolutional neural network based features | |
CN107730515B (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN106874687A (zh) | 病理切片图像智能分类方法及装置 | |
Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
CN107835654A (zh) | 图像处理装置、图像处理方法和图像处理程序 | |
CN111046793B (zh) | 基于深度卷积神经网络的番茄病害识别方法 | |
CN115272196B (zh) | 组织病理图像中病灶区域预测方法 | |
CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
CN109671060A (zh) | 基于选择性搜索和cnn的计算机辅助乳腺肿块检测方法 | |
Solanki et al. | Brain tumour detection and classification by using deep learning classifier | |
Fahad et al. | Skinnet-8: An efficient cnn architecture for classifying skin cancer on an imbalanced dataset | |
CN112508860B (zh) | 一种免疫组化图像核阳性的人工智能判读方法及系统 | |
CN112508057A (zh) | 一种肺结节分类方法、介质及电子设备 | |
CN115775226B (zh) | 基于Transformer的医学图像分类方法 | |
CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 | |
Zhang et al. | Artifact detection in endoscopic video with deep convolutional neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |