CN114862770B - 一种基于SENet的胃癌病理切片图像分割预测方法 - Google Patents

一种基于SENet的胃癌病理切片图像分割预测方法 Download PDF

Info

Publication number
CN114862770B
CN114862770B CN202210401793.2A CN202210401793A CN114862770B CN 114862770 B CN114862770 B CN 114862770B CN 202210401793 A CN202210401793 A CN 202210401793A CN 114862770 B CN114862770 B CN 114862770B
Authority
CN
China
Prior art keywords
convolution
senet
path
output
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210401793.2A
Other languages
English (en)
Other versions
CN114862770A (zh
Inventor
万佳杰
黄泳琳
唐杰
黄俊扬
赖嘉兴
裴贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210401793.2A priority Critical patent/CN114862770B/zh
Publication of CN114862770A publication Critical patent/CN114862770A/zh
Application granted granted Critical
Publication of CN114862770B publication Critical patent/CN114862770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于SENet的胃癌病理切片图像分割预测方法，该方法的步骤包括：基于大津算法与密铺算法生成图像块和对应真实标签；基于SENet模块组成多路卷积单元；基于多路卷积单元和跨层跳跃连接搭建网络模型；基于随机抽样方法训练网络模型；基于密铺算法重建预测结果。本发明可以将特征图谱进行组合，获取更丰富、维度更高的特征信息来表征图像，防止遗漏较小的特征区域，同时由于SENet模块的引入，可使网络学习利用全局信息执行特征重新校准，从而增强整个网络的表答能力，有效避免在训练过程中模型易忽略较小特征区域的情况，提高整体预测的正确率。

Description

一种基于SENet的胃癌病理切片图像分割预测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于SENet的胃癌病理切片图像分割预测方法。
背景技术
近年来深度学习被广泛的用于病理学图像研究中，目前已有基于CNN和基于UNet等网络的模型实现了对胃癌数字病理切片分割，但这些方法仍存在一些问题：
(1)模型复杂度高。分割网络包含庞大的参数量，训练模型需要耗费大量硬件资源和时间成本，导致预测时效率不高；
(2)已有模型对病灶宏观检测效果较好，但对微小病灶检测效果较差，导致模型整体检测率偏低。而早期恶性肿瘤病理切片中往往只包含很少的癌变区域，晚期的切片中病灶已经非常明显。模型如果检测不出微小病灶，就做不到“早发现”，导致错过“早治疗”的黄金时间。
(3)多尺度信息未能得到充分捕捉。病理切片中病灶的大小、形态往往存在很大的差异，腺体、细胞形态也是很重要的特征。现有分割网络对不同尺度信息的挖掘仍然不够充分。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于SENet的胃癌病理切片图像分割预测方法，解决已有模型存在的复杂度高、对微小病灶检测效果不好的问题，可以对胃癌全视野病理切片图像实现分割。
本发明的第二目的在于提供一种基于SENet的胃癌病理切片图像分割预测系统。
本发明的第三目的在于提供一种计算机可读存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于SENet的胃癌病理切片图像分割预测方法，包括下述步骤：
基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；
基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元；
基于多路卷积单元搭建网络模型，在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接；
基于随机抽样训练网络模型，基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集；
基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像。
作为优选的技术方案，所述基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，具体步骤包括：
根据标注文件生成阳性区域标注掩码图，基于大津算法在病理切片上提取前景组织生成组织掩码图，再将标注掩码图和组织掩码图做与运算得到滤除空腔的标注掩码图。
作为优选的技术方案，所述基于密铺算法生成图像块和对应图像块级的真实标签，具体步骤包括：
在原切片和标注掩码图左上角设定一正方形滑动窗口，以窗口边长为步长开始滑动；
窗口触碰图片右边缘时向左回溯，并以窗口边长为距离向下滑动一次，再向右滑动，重复操作至窗口滑动到右下角；
分别将原切片和标注掩码图中滑动窗口选中区域保存为图像块和图像块对应标签。
作为优选的技术方案，所述基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元，具体步骤包括：
级联全局平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数构成SENet模块；
将特征图谱hi作为多路卷积单元的输入，进行多次深度可分离卷积后与上一特征图谱hi-1做串联操作得到串联第一输出；
将串联第一输出与特征图谱hi做加和操作再输入SENet模块；
将特征图谱hi分别做多次标准卷积和一次标准卷积后做加和操作得到加和第一输出，将加和第一输出做多次标准卷积后再与加和第一输出做加和操作得到加和第二输出；
将SENet模块输出与加和第二输出做串联操作得到串联第二输出，串联第二输出即为多路卷积单元输出。
作为优选的技术方案，所述在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接，多路卷积单元内部分两路进行，第一路做标准卷积和SENet模块获取特征图谱，作为下一层卷积单元第一路的输入，第二路做深度可分离卷积获取特征图谱，通过跨层跳跃连接与下一卷积单元第二路进行串联；
第一路、第二路获取的特征图谱再进行串联作为下一卷积单元第二路的输入；
将得到的图谱依次通过GAP层、Dropout层和Dense层。
作为优选的技术方案，所述训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集，具体步骤包括：
根据预处理得到的输入图片数据集生成数据集掩码；
统计数据集中阳性样本数量，用总样本数减去阳性样本数得到纯阴性样本数，若纯阴性样本多于阳性样本，则随机抽样与阳性样本相同数量的阴性样本；
若阴性样本数量少于阳性样本数量，则保留阴性样本；
从所得阴性样本中随机抽样得到与阳性样本数量相同的阴性样本，并与阳性样本合并作为训练集；
每次迭代结束后，从阴性样本集合中再次随机抽样得到与阳性样本数量相同的阴性样本，将所得阴性样本与阳性样本合并构成新的训练集，直到训练结束。
作为优选的技术方案，所述基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像，具体步骤包括：
设定一矩形窗口在原病理切片上向右滑动，若滑动窗口右边界未超过切片右边界则持续滑动，同时记下滑动窗口所选切片区域坐标，若滑动窗口右边界超出切片右边界，则令滑动窗口向左回溯，使窗口左边界与切片左边界重叠；
滑动窗口向下滑动时，若窗口下边界未超过切片下边界则继续滑动，同时记下滑动窗口所选切片区域坐标，若滑动窗口下边界超出切片下边界，则停止滑动；
生成一个与原始病理切片大小相等的0矩阵作为图像a；
按一定大小设定一个滑动矩形窗口及滑动步长，令该矩形窗口在原始切片上按规定步长滑动，记录窗口坐标，并将窗口所选中图像块读入图像a中；
根据所记录的坐标及窗口大小从原始切片中生成待预测图像块，将图像块输入已训练好的模型中得到预测值，并根据坐标信息将预测值添加到图像a中得到预测结果。
为了达到上述第二目的，本发明采用以下技术方案：
一种基于SENet的胃癌病理切片图像分割预测系统，包括：图像预处理模块、多路卷积单元构建单元、网络模型构建模块、训练模块和预测模块；
所述图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；
所述多路卷积单元构建单元用于基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元；
所述网络模型构建模块用于基于多路卷积单元搭建网络模型，在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接；
所述训练模块用于基于随机抽样训练网络模型，基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集；
所述预测模块用于基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像。
为了达到上述第三目的，本发明采用以下技术方案：
一种计算机可读存储介质，存储有程序，所述程序被处理器执行时实现如上述基于SENet的胃癌病理切片图像分割预测方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述基于SENet的胃癌病理切片图像分割预测方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用了深度可分离卷积的技术方案，解决了当前模型参数量过大的技术问题，达到了减少模型训练时间、解决计算资源的技术效果；
(2)针对当前网络不易识别微小病灶的问题，本发明采用了基于SENet模块构建多路卷积单元，使网络学习利用全局信息执行特征重新校准，达到了提高检测准确率的技术效果；
(3)针对现有分割网络对多尺度信息挖掘不充分的问题，本发明采用了堆叠卷积单元的结构和跨层跳跃连接的技术方案，增加网络的表征深度，充分捕捉多尺度信息，同时降低网络参数和计算量，达到了使用更高维度的特征信息表示图像的技术效果。
附图说明
图1为本发明基于SENet的胃癌病理切片图像分割预测方法的流程示意图；
图2为本发明多路卷积单元结构示意图；
图3为本发明网络整体框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种基于SENet的胃癌病理切片图像分割预测方法，包括下述步骤：
S1：基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签，具体步骤包括：
根据标注文件生成阳性区域标注掩码图，基于大津算法在病理切片上提取前景组织生成组织掩码图，再将标注掩码图和组织掩码图做与运算得到滤除空腔的标注掩码图；
在原切片和标注掩码图左上角设定一正方形滑动窗口，以窗口边长为步长开始滑动；窗口触碰图片右边缘时向左回溯，并以窗口边长为距离向下滑动一次，再向右滑动，重复操作至窗口滑动到右下角；
分别将原切片和标注掩码图中滑动窗口选中区域保存为图像块和图像块对应标签。
S2：基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元，具体步骤包括：
级联全局平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数构成SENet模块，通过引入SENet模块强调重要特征同时抑制不重要的特征；
标准卷积对每个卷积核和输入图片的通道与区域同时操作，实现空间相关性与通道相关性的联合映射。深度可分离卷积使用卷积核进行区域卷积提取特征后再进行1×1卷积的通道卷积，实现通道相关性和区域相关性的分开映射。将标准卷积与深度可分离卷积融合以获得不同粒度和更高维度的特征图像；
使用加和操作将两幅特征图谱在同一维度相加，即信息量增加。通过加和操作可以避免模型忽略较小特征区域，即避免忽略病理切片的微小病灶。使用串联操作将两幅特征图谱在通道上串联，即维度增加。通过串联操作可以级联不同粒度的特征信息，有利于图像准确分类。
如图2所示，将多路卷积单元的输入(特征图谱hi)做三次3×3深度可分离卷积后与上一特征图谱hi-1做串联操作得到串联第一输出，将串联第一输出与hi做加和操作再输入SENet模块；
将hi分别做三次3×3标准卷积和一次1×1标准卷积后做加和操作得到加和第一输出，将加和第一输做三次3×3标准卷积后再与加和第一输出做加和操作得到加和第二输出；
将SENet模块输出与加和第二输出做串联操作得到串联第二输出，串联第二输出即为多路卷积单元输出(特征图谱hi+1)。
在本实施例中，标准卷积对每个卷积核和输入图片的通道与区域同时操作，实现空间相关性与通道相关性的联合映射。深度可分离卷积使用卷积核进行区域卷积提取特征后再进行1×1卷积的通道卷积，实现通道相关性和区域相关性的分开映射。将标准卷积与深度可分离卷积融合以获得不同粒度和更高维度的特征图像；
使用加和操作将两幅特征图谱在同一维度相加，即信息量增加。通过加和操作可以避免模型忽略较小特征区域，即避免忽略病理切片的微小病灶。使用串联操作将两幅特征图谱在通道上串联，即维度增加。通过串联操作可以级联不同粒度的特征信息，有利于图像准确分类。
S3：基于多路卷积单元搭建网络模型，在模型中堆叠3个多路卷积单元并使用跨层跳跃连接以获得更高维度、更丰富的特征数据用以表征图像，从而避免训练过程中模型忽略微小病灶的情况，提高预测准确率，具体步骤包括：
如图3所示，调整输入图谱尺寸，将其通过3个多路卷积单元；
模型堆叠3个多路卷积单元，卷积单元内部分两路进行。A路做标准卷积和SENet模块获取特征图谱，作为下一层卷积单元A路的输入；B路做深度可分离卷积获取特征图谱，通过跨层跳跃连接与下一卷积单元B路进行串联；A、B路获取的特征图谱再进行串联作为下一卷积单元B路的输入；
将得到的图谱依次通过GAP层、Dropout层和Dense层。
S4：基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集，具体步骤包括：
根据预处理得到的输入图片数据集生成数据集掩码；
统计数据集中阳性样本数量，用总样本数减去阳性样本数得到纯阴性样本数，若纯阴性样本多于阳性样本，则随机抽样与阳性样本相同数量的阴性样本；若阴性样本数量少于阳性样本数量，则保留阴性样本；
从所得阴性样本中随机抽样得到与阳性样本数量相同的阴性样本，并与阳性样本合并作为训练集；
每次迭代结束后，从阴性样本集合中再次随机抽样得到与阳性样本数量相同的阴性样本，将所得阴性样本与阳性样本合并构成新的训练集，直到训练结束。
S5：基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像，具体步骤包括：
设定一矩形窗口在原病理切片上向右滑动，若滑动窗口右边界未超过切片右边界则持续滑动，同时记下滑动窗口所选切片区域坐标；若滑动窗口右边界超出切片右边界，则令滑动窗口向左回溯，使窗口左边界与切片左边界重叠；
滑动窗口向下滑动时，若窗口下边界未超过切片下边界则继续滑动，同时记下滑动窗口所选切片区域坐标；若滑动窗口下边界超出切片下边界，则停止滑动；
生成一个与原始病理切片大小相等的0矩阵作为图像a；
按一定大小设定一个滑动矩形窗口及滑动步长，令该矩形窗口在原始切片上按规定步长滑动，记录窗口坐标，并将窗口所选中图像块读入图像a中；
根据所记录的坐标及窗口大小从原始切片中生成待预测图像块，将图像块输入已训练好的模型中得到预测值，并根据坐标信息将预测值添加到图像a中得到预测结果。
实施例2
本实施例提供一种基于SENet的胃癌病理切片图像分割预测系统，包括：图像预处理模块、多路卷积单元构建单元、网络模型构建模块、训练模块和预测模块；
在本实施例中，图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；
在本实施例中，多路卷积单元构建单元用于基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元；
在本实施例中，网络模型构建模块用于基于多路卷积单元搭建网络模型，在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接；
在本实施例中，训练模块用于基于随机抽样训练网络模型，基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集；
在本实施例中，预测模块用于基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像。
实施例3
本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，程序被处理器执行时，实现实施例1的基于SENet的胃癌病理切片图像分割预测方法。
实施例4
本实施例提供一种计算设备，该计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于SENet的胃癌病理切片图像分割预测方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于SENet的胃癌病理切片图像分割预测方法，其特征在于，包括下述步骤：
基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；
基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元；
所述基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元，具体步骤包括：
级联全局平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数构成SENet模块；
将特征图谱hi作为多路卷积单元的输入，进行多次深度可分离卷积后与上一特征图谱hi-1做串联操作得到串联第一输出；
将串联第一输出与特征图谱hi做加和操作再输入SENet模块；
将特征图谱hi分别做多次标准卷积和一次标准卷积后做加和操作得到加和第一输出，将加和第一输出做多次标准卷积后再与加和第一输出做加和操作得到加和第二输出；
将SENet模块输出与加和第二输出做串联操作得到串联第二输出，串联第二输出即为多路卷积单元输出；基于多路卷积单元搭建网络模型，在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接；
所述在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接，多路卷积单元内部分两路进行，第一路做标准卷积和SENet模块获取特征图谱，作为下一层卷积单元第一路的输入，第二路做深度可分离卷积获取特征图谱，通过跨层跳跃连接与下一卷积单元第二路进行串联；
第一路、第二路获取的特征图谱再进行串联作为下一卷积单元第二路的输入；
将得到的图谱依次通过GAP层、Dropout层和Dense层；
基于随机抽样训练网络模型，基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集；
基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像。
2.根据权利要求1所述的基于SENet的胃癌病理切片图像分割预测方法，其特征在于，所述基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，具体步骤包括：
根据标注文件生成阳性区域标注掩码图，基于大津算法在病理切片上提取前景组织生成组织掩码图，再将标注掩码图和组织掩码图做与运算得到滤除空腔的标注掩码图。
3.根据权利要求1所述的基于SENet的胃癌病理切片图像分割预测方法，其特征在于，所述基于密铺算法生成图像块和对应图像块级的真实标签，具体步骤包括：
在原切片和标注掩码图左上角设定一正方形滑动窗口，以窗口边长为步长开始滑动；
窗口触碰图片右边缘时向左回溯，并以窗口边长为距离向下滑动一次，再向右滑动，重复操作至窗口滑动到右下角；
分别将原切片和标注掩码图中滑动窗口选中区域保存为图像块和图像块对应标签。
4.根据权利要求1所述的基于SENet的胃癌病理切片图像分割预测方法，其特征在于，所述训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集，具体步骤包括：
根据预处理得到的输入图片数据集生成数据集掩码；
统计数据集中阳性样本数量，用总样本数减去阳性样本数得到纯阴性样本数，若纯阴性样本多于阳性样本，则随机抽样与阳性样本相同数量的阴性样本；
若阴性样本数量少于阳性样本数量，则保留阴性样本；
从所得阴性样本中随机抽样得到与阳性样本数量相同的阴性样本，并与阳性样本合并作为训练集；
每次迭代结束后，从阴性样本集合中再次随机抽样得到与阳性样本数量相同的阴性样本，将所得阴性样本与阳性样本合并构成新的训练集，直到训练结束。
5.根据权利要求1所述的基于SENet的胃癌病理切片图像分割预测方法，其特征在于，所述基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像，具体步骤包括：
设定一矩形窗口在原病理切片上向右滑动，若滑动窗口右边界未超过切片右边界则持续滑动，同时记下滑动窗口所选切片区域坐标，若滑动窗口右边界超出切片右边界，则令滑动窗口向左回溯，使窗口左边界与切片左边界重叠；
滑动窗口向下滑动时，若窗口下边界未超过切片下边界则继续滑动，同时记下滑动窗口所选切片区域坐标，若滑动窗口下边界超出切片下边界，则停止滑动；
生成一个与原始病理切片大小相等的0矩阵作为图像a；
按一定大小设定一个滑动矩形窗口及滑动步长，令该矩形窗口在原始切片上按规定步长滑动，记录窗口坐标，并将窗口所选中图像块读入图像a中；
根据所记录的坐标及窗口大小从原始切片中生成待预测图像块，将图像块输入已训练好的模型中得到预测值，并根据坐标信息将预测值添加到图像a中得到预测结果。
6.一种基于SENet的胃癌病理切片图像分割预测系统，其特征在于，包括：图像预处理模块、多路卷积单元构建单元、网络模型构建模块、训练模块和预测模块；
所述图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；
所述多路卷积单元构建单元用于基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元；
所述基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元，具体步骤包括：
级联全局平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数构成SENet模块；
将特征图谱hi作为多路卷积单元的输入，进行多次深度可分离卷积后与上一特征图谱hi-1做串联操作得到串联第一输出；
将串联第一输出与特征图谱hi做加和操作再输入SENet模块；
将特征图谱hi分别做多次标准卷积和一次标准卷积后做加和操作得到加和第一输出，将加和第一输出做多次标准卷积后再与加和第一输出做加和操作得到加和第二输出；
将SENet模块输出与加和第二输出做串联操作得到串联第二输出，串联第二输出即为多路卷积单元输出；
所述网络模型构建模块用于基于多路卷积单元搭建网络模型，在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接；
所述在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接，多路卷积单元内部分两路进行，第一路做标准卷积和SENet模块获取特征图谱，作为下一层卷积单元第一路的输入，第二路做深度可分离卷积获取特征图谱，通过跨层跳跃连接与下一卷积单元第二路进行串联；
第一路、第二路获取的特征图谱再进行串联作为下一卷积单元第二路的输入；
将得到的图谱依次通过GAP层、Dropout层和Dense层；
所述训练模块用于基于随机抽样训练网络模型，基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集；
所述预测模块用于基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像。
7.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5任一项所述基于SENet的胃癌病理切片图像分割预测方法。
8.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-5任一项所述基于SENet的胃癌病理切片图像分割预测方法。
CN202210401793.2A 2022-04-18 2022-04-18 一种基于SENet的胃癌病理切片图像分割预测方法 Active CN114862770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210401793.2A CN114862770B (zh) 2022-04-18 2022-04-18 一种基于SENet的胃癌病理切片图像分割预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210401793.2A CN114862770B (zh) 2022-04-18 2022-04-18 一种基于SENet的胃癌病理切片图像分割预测方法

Publications (2)

Publication Number Publication Date
CN114862770A CN114862770A (zh) 2022-08-05
CN114862770B true CN114862770B (zh) 2024-05-14

Family

ID=82632312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210401793.2A Active CN114862770B (zh) 2022-04-18 2022-04-18 一种基于SENet的胃癌病理切片图像分割预测方法

Country Status (1)

Country Link
CN (1) CN114862770B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898175A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN114022406A (zh) * 2021-09-15 2022-02-08 济南国科医工科技发展有限公司 一种半监督学习的图像分割方法、系统及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875752B (zh) * 2018-03-21 2022-06-07 北京迈格威科技有限公司 图像处理方法和装置、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898175A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN114022406A (zh) * 2021-09-15 2022-02-08 济南国科医工科技发展有限公司 一种半监督学习的图像分割方法、系统及终端

Also Published As

Publication number Publication date
CN114862770A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
Zhao et al. Pyramid feature attention network for saliency detection
CN110309876B (zh) 目标检测方法、装置、计算机可读存储介质和计算机设备
WO2020119527A1 (zh) 人体动作识别方法、装置、终端设备及存储介质
CN109934300B (zh) 模型压缩方法、装置、计算机设备及存储介质
CN109255357B (zh) 一种rgbd图像协同显著性检测方法
CN111062854B (zh) 检测水印的方法、装置、终端及存储介质
CN113011329A (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN114283164B (zh) 基于UNet3+的乳腺癌病理切片图像分割预测系统
CN111797841B (zh) 一种基于深度残差网络的视觉显著性检测方法
CN114092833B (zh) 遥感图像分类方法、装置、计算机设备和存储介质
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN111339924B (zh) 一种基于超像素和全卷积网络的极化sar图像分类方法
CN114782355B (zh) 基于改进vgg16网络的胃癌数字病理切片检测方法
CN111241924A (zh) 基于尺度估计的人脸检测及对齐方法、装置、存储介质
CN112164077A (zh) 基于自下而上路径增强的细胞实例分割方法
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN113569687B (zh) 基于双流网络的场景分类方法、系统、设备及介质
CN110992320B (zh) 一种基于双重交错的医学图像分割网络
CN114862770B (zh) 一种基于SENet的胃癌病理切片图像分割预测方法
CN108711147A (zh) 一种基于卷积神经网络的显著性融合检测算法
CN115496920B (zh) 基于事件相机的自适应目标检测方法、系统与设备
CN116469172A (zh) 一种多时间尺度下的骨骼行为识别视频帧提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant