CN114862763A - 一种基于EfficientNet的胃癌病理切片图像分割预测方法 - Google Patents
一种基于EfficientNet的胃癌病理切片图像分割预测方法 Download PDFInfo
- Publication number
- CN114862763A CN114862763A CN202210382588.6A CN202210382588A CN114862763A CN 114862763 A CN114862763 A CN 114862763A CN 202210382588 A CN202210382588 A CN 202210382588A CN 114862763 A CN114862763 A CN 114862763A
- Authority
- CN
- China
- Prior art keywords
- efficientnet
- unet
- training
- prediction
- gastric cancer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000001575 pathological effect Effects 0.000 title claims abstract description 43
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 32
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 32
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 32
- 238000003709 image segmentation Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 230000004913 activation Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000012614 Monte-Carlo sampling Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000012855 volatile organic compound Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于EfficientNet的胃癌病理切片图像分割预测方法，包括下述步骤：基于贝叶斯概率方法加强CNN模型提取特征能力，采取重参化完成训练参数的重构，使用蒙特卡洛采样完成梯度求解，获得CNN模型的不确定性；基于EfficientNet搭建UNet++的编码器，把EfficientNet网络输出的特征映射作为输入，放入卷积层并加入激活函数Relu和Sigmoid；利用最大池化层去除冗余的信息，通过长跳跃连接的方式实现UNet++的解码器搭建；基于重复学习策略训练UNet++神经网络，基于区域重叠预测算法将预测结果进行整合与优化。本发明可以对胃癌全视野病理切片图像实现精准分割。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于EfficientNet的胃癌病理切片图像分割预测方法。
背景技术
病理切片可以通过扫描仪扫描为数字病理切片并保存于计算机中，且此类切片的清晰度可以与显微镜相媲美，故病理医生可借助计算机来设备对数字病理切片进行诊断。当前基于深度学习的方法在时间优势和效率优势上同样超过了绝大多数的传统方法，基于deeplab和基于UNet的分割网络已经能对数字病理切片实现较为精确的分割，但是这些方法普遍存在以下问题：(a)实时性不大理想，分割网络大都包含庞大的参数量，在训练阶段所投入的大量硬件资源和时间与其在测试时的运行速度和效率不成正比，且其很难做到全视野病理切片的图像的实时性预测。(b)预测结果易“假阳性”。对于恶性肿瘤晚期的病理切片图像来说，由于癌变区域占据病理切片相当大部分的面积，故切片图像病变区域会非常突出；相比之下，许多早期的恶性肿瘤切片癌变区域少，治理相对来说成功概率更大，可早期的肿瘤切片又存在癌变区域较为稀疏而带来假阳性偏多的问题。(c)深度学习应用在医疗诊断过程中普遍存在着训练参数不稳定、可解释性不足、面对数据扰动时缺乏鲁棒性等的问题。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于EfficientNet的胃癌病理切片图像分割预测方法，解决现有的分割预测方法中存在的实时性预测不理想、预测结果易假阳性、面对数据扰动时缺乏鲁棒性的问题，可以对胃癌全视野病理切片图像实现精准分割。
本发明的第二目的在于提供一种基于EfficientNet的胃癌病理切片图像分割预测系统。
本发明的第三目的在于提供一种计算机可读存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于EfficientNet的胃癌病理切片图像分割预测方法，包括下述步骤：
基于贝叶斯概率方法加强CNN模型提取特征能力，采取重参化完成训练参数的重构，使用蒙特卡洛采样完成梯度求解，获得CNN模型的不确定性；
基于EfficientNet搭建UNet++的编码器，把EfficientNet网络输出的特征映射作为输入，放入卷积层并加入激活函数Relu和Sigmoid；
利用最大池化层去除冗余的信息，通过长跳跃连接的方式实现UNet++的解码器搭建；
基于重复学习策略训练UNet++神经网络，所述重复学习策略在训练起始阶段筛选一批样本并获得该批样本所属的标签，利用得到的新信息进行重复训练并获取信息量多的样本；
基于区域重叠预测算法将预测结果进行整合与优化，具体步骤包括：
将待预测的图片按顺序以设定步长切割为多个统一尺寸固定的图块，用训练好的基于图块的全卷积神经网络进行预测，随即将预测生成图块的概率热度图进行叠加，在叠加过程中，每个图块中位于原图同一位置的像素点之间互相叠加，获得与WSI同尺寸的概率热图，最后的语义分割结果通过设定概率阈值得到。
作为优选的技术方案，所述基于EfficientNet搭建UNet++的编码器，具体步骤包括：
在输入层将图像输入模型，把EfficientNet网络输出的特征映射作为输入，然后将其放入到含有三个1×1的卷积层中并且加入激活函数Relu和Sigmoid，将其输入转换成非线性特征。
作为优选的技术方案，所述通过长跳跃连接的方式实现UNet++的解码器搭建，具体步骤包括：
搭建每次级联两层深度可分离卷积层、批归一化层和PRelu激活函数的解码器模块；使用全连接层在CNN的尾部进行重新拟合，并使用Sigmoid分类器进行分类识别；
利用搭建的解码器，将UNet++编码器和已搭建解码器的特征图调整到相同的分辨率完成拼接。
作为优选的技术方案，所述基于重复学习策略训练UNet++神经网络，具体步骤包括：
基于面积阈值的图块提取并训练得到分割器，采用分割器预测训练集，结合区域重叠预测机制对结果进行处理，生成新的标签用于补充原数据集中假阴性区域。
作为优选的技术方案，所述基于重复学习策略训练UNet++神经网络，在训练过程中，将标注的训练集与原数据集中的粗标记标签取并集得到新的标注集。
作为优选的技术方案，对概率热度图进行均值滤波。
作为优选的技术方案，当步长与图块尺寸相同时，直接将图块进行拼接。
为了达到上述第二目的，本发明采用以下技术方案：
一种基于EfficientNet的胃癌病理切片图像分割预测系统，包括：模型增强模块、UNet++编码器构建模块、UNet++解码器构建模块、训练模块和预测模块；
所述模型增强模块用于基于贝叶斯概率方法加强CNN模型提取特征能力，采取重参化完成训练参数的重构，使用蒙特卡洛采样完成梯度求解，获得CNN模型的不确定性；
所述UNet++编码器构建模块用于基于EfficientNet搭建UNet++的编码器，把EfficientNet网络输出的特征映射作为输入，放入卷积层并加入激活函数Relu和Sigmoid；
所述UNet++解码器构建模块用于利用最大池化层去除冗余的信息，通过长跳跃连接的方式实现UNet++的解码器搭建；
所述训练模块用于基于重复学习策略训练UNet++神经网络，所述重复学习策略在训练起始阶段筛选一批样本并获得该批样本所属的标签，利用得到的新信息进行重复训练并获取信息量多的样本；
所述预测模块用于基于区域重叠预测算法将预测结果进行整合与优化，具体包括：
将待预测的图片按顺序以设定步长切割为多个统一尺寸固定的图块，用训练好的基于图块的全卷积神经网络进行预测，随即将预测生成图块的概率热度图进行叠加，在叠加过程中，每个图块中位于原图同一位置的像素点之间互相叠加，获得与WSI同尺寸的概率热图，最后的语义分割结果通过设定概率阈值得到。
为了达到上述第三目的，本发明采用以下技术方案：
一种计算机可读存储介质，存储有程序，所述程序被处理器执行时实现如上述基于EfficientNet的胃癌病理切片图像分割预测方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述基于EfficientNet的胃癌病理切片图像分割预测方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明从多方面改良神经网络并提升效果，从网络结构、学习率策略和训练方式等多方面探索多种神经网络的改良方法，在网络分割基本效果能充分满足的前提下，进一步提升网络分割效果，争取降低网络复杂度，从而加快网络分类运算速度，保证分类的实时性，这样一来增大了在实际医疗场景中的可应用性。
(2)针对胃癌病理切片图像分割任务中假阳性预测率高的问题，本发明提出采用重复学习策略在通过对结果进行处理，生成新标签补充原数据集中假性区域，进一步提升模型的泛化能力与精度。
(3)针对当前深度学习模型在医疗诊断过程中普遍存在着可解释性不足、训练参数不稳定、面对数据扰动时缺乏鲁棒性等的问题，本发明引入贝叶斯概率方法对预测模型的不确定性进行度量，提升预测结果的准确率。
附图说明
图1为本发明基于EfficientNet的胃癌病理切片图像分割预测方法的流程示意图。
图2为原病理切片图像缩略图；
图3为本发明采取区域覆盖的标注掩码图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种基于EfficientNet的胃癌病理切片图像分割预测方法，包括下述步骤：
S1：基于贝叶斯概率方法加强模型提取特征能力，采取重参化完成训练参数的重构，使用蒙特卡洛采样高效完成梯度求解，进而降低方差，获得模型的不确定性。
在本实施例中，由CNN模型完成特征提取，全连接神经网络完成数据的分类过程，然后将贝叶斯概率建模技术加入到全连接神经网络中，这个过程相当于在神经网络中人为地加入扰动，使模型变得更加稳定的同时为后续不确定性度量的提取过程做准备。
S2：基于EfficientNet搭建UNet++的编码器，把EfficientNet网络输出的特征映射F作为输入，放入卷积层并加入激活函数Relu和Sigmoid。
在本实施例中，基于EfficientNet搭建UNet++的编码器，具体步骤包括：在输入层将图像输入模型，把EfficientNet网络输出的特征映射作为输入，然后将其放入到含有三个1×1的卷积层中并且加入激活函数Relu和Sigmoid，将其输入转换成非线性特征来学习更高级语义信息并强调目标特征。
S3：利用最大池化层去除冗余的信息，通过长跳跃连接的方式实现UNet++的解码器搭建，具体步骤包括：
搭建每次级联两层3×3深度可分离卷积层、批归一化层和PRelu激活函数的解码器模块；使用全连接层在CNN的尾部进行重新拟合，减少特征信息的损失，并使用Sigmoid分类器对胃癌的良性和恶性进行分类识别；利用搭成的解码器模块，将UNet++编码器和已搭建解码器的特征图调整到相同的分辨率完成拼接。
S4：基于重复学习策略训练UNet++神经网络，重复学习策略在训练起始阶段由少量的初始样本开始训练，遴选出一批最有价值的样本，并获得这批样本所属的标签，然后利用刚得到的新信息进行重复训练并获取信息量多的样本。一直会持续上述步骤至模型满足某一要求为止。
在本实施例中，基于重复学习策略训练UNet++神经网络，具体步骤包括：
如图2、图3所示，基于面积阈值的图块提取并训练，以得到一个良好性能图块的分割器；直接用分割器去预测训练集，并结合区域重叠预测机制对结果进行处理，生成新的标签用于补充原数据集中假阴性区域。重复区域重叠预测算法对训练集进行预测直到获得满意的结果。
为了进一步提升精确度，本实施例将标注集Y′tr与原数据集中的粗标记标签Ytr取并集得到新的标注集Y″tr。这就使得训练集中的大部分阳性区域得到了准确的标注。模型的命中率P和回收率R可通过下式算得(TP为真阳性样本，FP为假阳性样本，TN真阴性样本，FN假阴性样本)：
分别以按照顺序以及面积阈值进行图块的提取，并将这两种方式在训练集上所提取的图块集分别称为A、B，由其特性可得A图块集上训练的模型拥有较更多的真阳性样本，这样会有更高的命中率，而在B图块集提取得到的图块集上训练的模型拥有更少的假阴性样本，从而有更高的回收率。因此，本实施例对图块模型在两种图块数据集上进行微调训练，并不断重复以上过程直到模型达到预期的效果。
S5：基于区域重叠预测算法将预测结果进行整合与优化，具体步骤包括：
将待预测的图片按顺序以一定步长切割为若干统一尺寸固定的图块，然后用训练好的基于图块的全卷积神经网络进行预测，随即将预测生成的一系列图块的概率热度图进行叠加，在叠加过程中，每个图块中位于原图同一位置的像素点之间互相叠加，获得与WSI同尺寸的概率热图，最后的语义分割结果可通过设定概率阈值得到。当步长与图块尺寸相同时，直接将图块进行拼接，不做重叠预测。
为了使分割效果更为平滑，采取对生成的概率热度图进行卷积核为11x11的均值滤波，以达到平滑边缘曲线，减少噪声干扰的目的。
本实施例使用的胃癌病理切片数据集主要来自广西桂林医学院，其中包括高中分化腺癌和低分化腺癌，由桂林医学院的病理科专家使用专业的病理切片标注软件ASAP对胃癌数字病理切片进行标注，并将标注结果导出到XML格式的文件中。在获得良好标注的胃癌数据集之后，借助ASPP的python接口，根据XML文件中的坐标点生成胃癌病灶的groundtruth。由于每张病理切片产生的数据庞大，故需要使用一个专业处理病理切片的python包Opensilde，将病理切片和它对应的ground truth分割为块。借助PIL和opencv，数据集被制作为VOC的规范格式。最后，此数据集还将被应用随机翻转、随机裁剪、随机高斯模糊等数据增强方法以提升网络效果，以便更好地训练神经网络。
基于贝叶斯概率方法加强模型提取特征能力，采取重参化完成训练参数的重构，使用蒙特卡洛采样高效完成梯度求解，进而降低方差，获得模型的不确定性；
对于输入x，输出y，和训练数据D，模型期望获得后验分布如下：
P(Y|X，D)＝∫P(Y|，W)P(W|D)dW
其中，W表示模型参数，P(W|D)为参数的后验分布。模型在应用的过程中需要更多的训练样本才能拟合数据，当该条件在实际应用中无法满足时选择重参数化来完成参数的重构。
当模型变为成为不确定模型时，从N次蒙特卡洛预测中求得信息熵，视其为预测过程中的不确定性度量。信息熵的计算公式如下：
H{(p(y|X)}＝-∑y∈Yp(y|X)logp(y|X)
X为给定数据集，y为模型输出预测量，(p(y|X)可由蒙特卡洛抽样换为：
N为蒙特卡洛抽样次数，wi为神经网络第i层权重。
对同一组预测数据进行多次预测，并将每次预测的结果进行汇总,获得softmax集成概率和预测结果。
当得到模型的预测结果和不确定性度量后，可根据预测样本的不确定性判断是否接受模型预测结果。
实施例2
一种基于EfficientNet的胃癌病理切片图像分割预测系统，包括：模型增强模块、UNet++编码器构建模块、UNet++解码器构建模块、训练模块和预测模块；
在本实施例中，模型增强模块用于基于贝叶斯概率方法加强CNN模型提取特征能力，采取重参化完成训练参数的重构，使用蒙特卡洛采样完成梯度求解，获得CNN模型的不确定性；
在本实施例中，UNet++编码器构建模块用于基于EfficientNet搭建UNet++的编码器，把EfficientNet网络输出的特征映射作为输入，放入卷积层并加入激活函数Relu和Sigmoid；
在本实施例中，UNet++解码器构建模块用于利用最大池化层去除冗余的信息，通过长跳跃连接的方式实现UNet++的解码器搭建；
在本实施例中，训练模块用于基于重复学习策略训练UNet++神经网络，所述重复学习策略在训练起始阶段筛选一批样本并获得该批样本所属的标签，利用得到的新信息进行重复训练并获取信息量多的样本；
在本实施例中，预测模块用于基于区域重叠预测算法将预测结果进行整合与优化，具体包括：
将待预测的图片按顺序以设定步长切割为多个统一尺寸固定的图块，用训练好的基于图块的全卷积神经网络进行预测，随即将预测生成图块的概率热度图进行叠加，在叠加过程中，每个图块中位于原图同一位置的像素点之间互相叠加，获得与WSI同尺寸的概率热图，最后的语义分割结果通过设定概率阈值得到。
实施例3
本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，程序被处理器执行时，实现实施例1的基于EfficientNet的胃癌病理切片图像分割预测方法。
实施例4
本实施例提供一种计算设备，该计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于EfficientNet的胃癌病理切片图像分割预测方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于EfficientNet的胃癌病理切片图像分割预测方法，其特征在于，包括下述步骤：
基于贝叶斯概率方法加强CNN模型提取特征能力，采取重参化完成训练参数的重构，使用蒙特卡洛采样完成梯度求解，获得CNN模型的不确定性；
基于EfficientNet搭建UNet++的编码器，把EfficientNet网络输出的特征映射作为输入，放入卷积层并加入激活函数Relu和Sigmoid；
利用最大池化层去除冗余的信息，通过长跳跃连接的方式实现UNet++的解码器搭建；
基于重复学习策略训练UNet++神经网络，所述重复学习策略在训练起始阶段筛选一批样本并获得该批样本所属的标签，利用得到的新信息进行重复训练并获取信息量多的样本；
基于区域重叠预测算法将预测结果进行整合与优化，具体步骤包括：
将待预测的图片按顺序以设定步长切割为多个统一尺寸固定的图块，用训练好的基于图块的全卷积神经网络进行预测，随即将预测生成图块的概率热度图进行叠加，在叠加过程中，每个图块中位于原图同一位置的像素点之间互相叠加，获得与WSI同尺寸的概率热图，最后的语义分割结果通过设定概率阈值得到。
2.根据权利要求1所述的基于EfficientNet的胃癌病理切片图像分割预测方法，其特征在于，所述基于EfficientNet搭建UNet++的编码器，具体步骤包括：
在输入层将图像输入模型，把EfficientNet网络输出的特征映射作为输入，然后将其放入到含有三个1×1的卷积层中并且加入激活函数Relu和Sigmoid，将其输入转换成非线性特征。
3.根据权利要求1所述的基于EfficientNet的胃癌病理切片图像分割预测方法，其特征在于，所述通过长跳跃连接的方式实现UNet++的解码器搭建，具体步骤包括：
搭建每次级联两层深度可分离卷积层、批归一化层和PRelu激活函数的解码器模块；使用全连接层在CNN的尾部进行重新拟合，并使用Sigmoid分类器进行分类识别；
利用搭建的解码器，将UNet++编码器和已搭建解码器的特征图调整到相同的分辨率完成拼接。
4.根据权利要求1所述的基于EfficientNet的胃癌病理切片图像分割预测方法，其特征在于，所述基于重复学习策略训练UNet++神经网络，具体步骤包括：
基于面积阈值的图块提取并训练得到分割器，采用分割器预测训练集，结合区域重叠预测机制对结果进行处理，生成新的标签用于补充原数据集中假阴性区域。
5.根据权利要求1所述的基于EfficientNet的胃癌病理切片图像分割预测方法，其特征在于，所述基于重复学习策略训练UNet++神经网络，在训练过程中，将标注的训练集与原数据集中的粗标记标签取并集得到新的标注集。
6.根据权利要求1所述的基于EfficientNet的胃癌病理切片图像分割预测方法，其特征在于，对概率热度图进行均值滤波。
7.根据权利要求1所述的基于EfficientNet的胃癌病理切片图像分割预测方法，其特征在于，当步长与图块尺寸相同时，直接将图块进行拼接。
8.一种基于EfficientNet的胃癌病理切片图像分割预测系统，其特征在于，包括：模型增强模块、UNet++编码器构建模块、UNet++解码器构建模块、训练模块和预测模块；
所述模型增强模块用于基于贝叶斯概率方法加强CNN模型提取特征能力，采取重参化完成训练参数的重构，使用蒙特卡洛采样完成梯度求解，获得CNN模型的不确定性；
所述UNet++编码器构建模块用于基于EfficientNet搭建UNet++的编码器，把EfficientNet网络输出的特征映射作为输入，放入卷积层并加入激活函数Relu和Sigmoid；
所述UNet++解码器构建模块用于利用最大池化层去除冗余的信息，通过长跳跃连接的方式实现UNet++的解码器搭建；
所述训练模块用于基于重复学习策略训练UNet++神经网络，所述重复学习策略在训练起始阶段筛选一批样本并获得该批样本所属的标签，利用得到的新信息进行重复训练并获取信息量多的样本；
所述预测模块用于基于区域重叠预测算法将预测结果进行整合与优化，具体包括：
将待预测的图片按顺序以设定步长切割为多个统一尺寸固定的图块，用训练好的基于图块的全卷积神经网络进行预测，随即将预测生成图块的概率热度图进行叠加，在叠加过程中，每个图块中位于原图同一位置的像素点之间互相叠加，获得与WSI同尺寸的概率热图，最后的语义分割结果通过设定概率阈值得到。
9.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述基于EfficientNet的胃癌病理切片图像分割预测方法。
10.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-7任一项所述基于EfficientNet的胃癌病理切片图像分割预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210382588.6A CN114862763B (zh) | 2022-04-13 | 一种基于EfficientNet的胃癌病理切片图像分割预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210382588.6A CN114862763B (zh) | 2022-04-13 | 一种基于EfficientNet的胃癌病理切片图像分割预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114862763A true CN114862763A (zh) | 2022-08-05 |
| CN114862763B CN114862763B (zh) | 2024-06-21 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115713099A (zh) * | 2023-01-03 | 2023-02-24 | 税友信息技术有限公司 | 一种模型设计方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
| CN112634261A (zh) * | 2020-12-30 | 2021-04-09 | 上海交通大学医学院附属瑞金医院 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
| CN112967287A (zh) * | 2021-01-29 | 2021-06-15 | 平安科技（深圳）有限公司 | 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质 |
| CN114266794A (zh) * | 2022-02-28 | 2022-04-01 | 华南理工大学 | 基于全卷积神经网络的病理切片图像癌症区域分割系统 |
| CN114283164A (zh) * | 2022-03-02 | 2022-04-05 | 华南理工大学 | 基于UNet3+的乳腺癌病理切片图像分割预测系统 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
| CN112634261A (zh) * | 2020-12-30 | 2021-04-09 | 上海交通大学医学院附属瑞金医院 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
| CN112967287A (zh) * | 2021-01-29 | 2021-06-15 | 平安科技（深圳）有限公司 | 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质 |
| CN114266794A (zh) * | 2022-02-28 | 2022-04-01 | 华南理工大学 | 基于全卷积神经网络的病理切片图像癌症区域分割系统 |
| CN114283164A (zh) * | 2022-03-02 | 2022-04-05 | 华南理工大学 | 基于UNet3+的乳腺癌病理切片图像分割预测系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115713099A (zh) * | 2023-01-03 | 2023-02-24 | 税友信息技术有限公司 | 一种模型设计方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11551333B2 (en) | Image reconstruction method and device | |
| CN105869173B (zh) | 一种立体视觉显著性检测方法 | |
| WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
| CN114283164B (zh) | 基于UNet3+的乳腺癌病理切片图像分割预测系统 | |
| CN112712528B (zh) | 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法 | |
| CN110838100A (zh) | 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 | |
| CN113011357A (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| Xu et al. | A novel edge-oriented framework for saliency detection enhancement | |
| CN110866938B (zh) | 一种全自动视频运动目标分割方法 | |
| CN112990331A (zh) | 图像处理方法、电子设备和存储介质 | |
| CN114782355B (zh) | 基于改进vgg16网络的胃癌数字病理切片检测方法 | |
| CN114897782B (zh) | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 | |
| CN112164077A (zh) | 基于自下而上路径增强的细胞实例分割方法 | |
| CN116740439A (zh) | 一种基于跨尺度金字塔Transformer的人群计数方法 | |
| CN113297959A (zh) | 一种基于角点注意力孪生网络的目标跟踪方法及系统 | |
| CN115033721A (zh) | 基于大数据的图像检索方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN114862763B (zh) | 一种基于EfficientNet的胃癌病理切片图像分割预测方法 | |
| CN116597138A (zh) | 一种基于深度卷积神经网络的息肉图像语义分割方法 | |
| CN114862763A (zh) | 一种基于EfficientNet的胃癌病理切片图像分割预测方法 | |
| CN110659724A (zh) | 一种基于目标尺度范围的目标检测卷积神经网络构建方法 | |
| Huang et al. | DeeptransMap: a considerably deep transmission estimation network for single image dehazing | |
| CN113269734A (zh) | 一种基于元学习特征融合策略的肿瘤图像检测方法及装置 | |
| CN112598043B (zh) | 一种基于弱监督学习的协同显著性检测方法 | |
| CN110807776A (zh) | 一种基于全局区域对比度的农作物半翅目害虫图像自动分割算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |