CN112967232A - 基于图卷积的胃癌病理图像分割网络结构 - Google Patents

基于图卷积的胃癌病理图像分割网络结构 Download PDF

Info

Publication number
CN112967232A
CN112967232A CN202110171318.6A CN202110171318A CN112967232A CN 112967232 A CN112967232 A CN 112967232A CN 202110171318 A CN202110171318 A CN 202110171318A CN 112967232 A CN112967232 A CN 112967232A
Authority
CN
China
Prior art keywords
graph
segmentation
unet network
segmentation result
graph convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110171318.6A
Other languages
English (en)
Inventor
李全林
周平红
诸炎
袁伟
胡健卫
耿子寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Hospital Fudan University
Original Assignee
Zhongshan Hospital Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Hospital Fudan University filed Critical Zhongshan Hospital Fudan University
Priority to CN202110171318.6A priority Critical patent/CN112967232A/zh
Publication of CN112967232A publication Critical patent/CN112967232A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图卷积的胃癌病理图像分割网络结构，在UNet网络分割识别的基础上，加一个反应全局信息的分类分支，采用分支判断和图卷积相结合，通过分类分支进行全局特征类别信息的判断，以及图卷积其优秀的特征选取和融合功能，这样可以有效的减少假阳性，得到真正的阳性区域。相比于其他分割网络来说，由于分类分支的加入，分割结果会更加的准确，可以有效的减少假阳性，防止误导医生，同时可以有效地提升医生的诊断速度。

Description

基于图卷积的胃癌病理图像分割网络结构
技术领域
本发明涉及一种图像识别技术，特别涉及一种基于图卷积的胃癌病理图像分割网络结构。
背景技术
现如今，胃癌成为全世界发病率排名前列的癌症，及时发现并准确的诊断出胃病(低级别瘤变、高级别瘤变和癌变)是有效控制胃癌比率上升的方式。在胃病理诊断中，快速的找到病灶并对病灶类别判定能够大大提升医生的诊断效率。
当下对于胃癌病理分割来说，基本都是基于全卷积创建的网络模型进行分割，如U-Net、Deeplab系列模型等，这些方法都是利用卷积层来提取特征，再通过提取的特征得到最终的病灶分割结果。然而卷积层从结构上面来看是局部连接，只能用来学习局部信息，很难学习输入图像的这些整体全局信息，所以在判断图像的整体类别上面有所欠缺，从而可能导致出现假阳性或者导致漏检。胃癌病理图像上面分割出大量的假阳性或者漏检很容易误导医生，并且影响医生的使用体验。
发明内容
本发明是针对胃癌病理分割所用模型识别全局性差的问题，提出了一种基于图卷积的胃癌病理图像分割网络结构，能够准确有效的用于胃癌病理图像中病灶区域的分割，得到一张病理切片后可以快速准确的定位出病灶区域，有效减少医生寻找病灶区域花费的时间，从而大大提升医生诊断速度。
本发明的技术方案为一种基于图卷积的胃癌病理图像分割网络结构，包括UNet网络、图结构、全连层结构、类别限制模块；
UNet网络：病理图像经过UNet网络的encoder下采样进行编码特征提取，再经过UNet网络的decoder上采样一层层解码部分提取的特征，得到UNet网络分割结果；
图结构：将UNet网络每层上采样提取的部分特征作为分类分支构建为图结构，图结构作为图卷积的输入，再次进行特征筛选，筛选后的所有特征图再经过缩放为相同大小的特征图；
全连层结构:图结构输出的所有大小一致的特征图进行融合以后，送入全连层，得到分支融合分类结果；
类别限制模块：UNet网络识别分割结果和分支融合分类结果进行结合，分支融合分类结果为阴性0时，最终分割结果中不包含阳性区域；分支融合分类结果为阳性1时，最终分割结果为UNet网络识别分割结果。
本发明的有益效果在于：本发明基于图卷积的胃癌病理图像分割网络结构，在UNet网络模型上能够加一个反应全局信息的分类分支去辨别图像是阴性还是阳性，可以对分割结果有一定辅助作用，当此分类分支显示为阴性时，分割结果则为全阴性；当分类分支显示为阳性时，分割结果保持不变。这样可以有效的减少假阳性，得到真正的阳性区域。相比于其他分割网络来说，由于分类分支的加入，分割结果会更加的准确，可以有效的减少假阳性，防止误导医生，同时可以有效地提升医生的诊断速度。
附图说明
图1为本发明基于图卷积的胃癌病理图像分割网络结构图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示基于图卷积的胃癌病理图像分割网络结构图，首先将胃病理图像按设置的选取顺序，切分成相同图像块作为网络输入，经过UNet网络的encoder下采样进行编码特征提取，再经过UNet网络的decoder上采样一层层解码部分提取的特征，得到UNet网络识别分割结果；将UNet网络每层上采样提取的部分特征作为分类分支构建为图结构，图结构作为图卷积的输入，再次进行特征筛选，筛选后的所有特征图再经过缩放为相同大小的图进行融合，融合后送入全连层，得到分支融合分类结果；UNet网络识别分割结果和分支融合分类结果结合后得到最终的分割结果。
所述基于图卷积的胃癌病理图像分割网络结构模型输出直接就是分割的结果，由于分割输出的大小和原图大小一致，所以可以将分割结果病灶区域的轮廓提取出来画到原始图像上面，这样医生查看病理图像的时候很方便可以通过轮廓找到病灶区域。
基于图卷积的胃癌病理图像分割网络结构，在医疗领域应用广泛的UNet基础，主要改变了分割模型的结构，使得网络结构适应全局性，提高识别精度。具体步骤如下：
1、模型输入：病理图像普遍非常大(50000*50000左右)，由于机器硬件的限制，不能直接将整张病理作为模型的输入，所以使用滑动框从左上角向右向下以stride＝256、滑动框边长512进行滑动切分，将切割出来的图像块作为模型的输入；
2、分割部分依然沿用UNet的结构，即encoder下采样部分一层一层的卷积对图像输入进行编码提取特征，再通过decoder上采样部分解码encoder部分提取的特征，最终得到与输入图像长宽一致的分割结果图；该分割结果图分为两部分：非0值和0值，非0值代表分割结果显示存在病灶，0值代表分割结果显示为阴性；
3、分类分支加入了图结构，对于decoder的每一层都构建图结构，再将图结构通过图卷积进行特征筛选得到对应精炼的特征，将decoder每一层的特征进行插值缩放到同样的大小，再将他们连接成一个特征图，最终通过将此特征图通过全连层得到分类结果(阴性0、阳性1)；
第2步和第3步分别得到阶段性分割结果和分类结果，结合这两部分得到最终的分割结果，即：分类结果为阴性(0)时，最终分割结果中不包含阳性区域；分类结果为1时，最终分割结果即为阶段性分割结果。
本发明在UNet网络分割识别的基础上，采用分支判断和图卷积相结合，通过分类分支进行全局特征类别信息的判断，以及图卷积其优秀的特征选取和融合功能，解决的胃癌病理图像分割识别出现的假阳性或者漏检问题，在实际应用中除了胃病理也可以推广到其他领域。不限于本实施例所述。

Claims (1)

1.一种基于图卷积的胃癌病理图像分割网络结构，其特征在于，包括UNet网络、图结构、全连层结构、类别限制模块；
UNet网络：病理图像经过UNet网络的encoder下采样进行编码特征提取，再经过UNet网络的decoder上采样一层层解码部分提取的特征，得到UNet网络分割结果；
图结构：将UNet网络每层上采样提取的部分特征作为分类分支构建为图结构，图结构作为图卷积的输入，再次进行特征筛选，筛选后的所有特征图再经过缩放为相同大小的特征图；
全连层结构:图结构输出的所有大小一致的特征图进行融合以后，送入全连层，得到分支融合分类结果；
类别限制模块：UNet网络识别分割结果和分支融合分类结果进行结合，分支融合分类结果为阴性0时，最终分割结果中不包含阳性区域；分支融合分类结果为阳性1时，最终分割结果为UNet网络识别分割结果。
CN202110171318.6A 2021-02-04 2021-02-04 基于图卷积的胃癌病理图像分割网络结构 Pending CN112967232A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110171318.6A CN112967232A (zh) 2021-02-04 2021-02-04 基于图卷积的胃癌病理图像分割网络结构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171318.6A CN112967232A (zh) 2021-02-04 2021-02-04 基于图卷积的胃癌病理图像分割网络结构

Publications (1)

Publication Number Publication Date
CN112967232A true CN112967232A (zh) 2021-06-15

Family

ID=76275371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171318.6A Pending CN112967232A (zh) 2021-02-04 2021-02-04 基于图卷积的胃癌病理图像分割网络结构

Country Status (1)

Country Link
CN (1) CN112967232A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421274A (zh) * 2021-07-13 2021-09-21 上海工程技术大学 一种基于ct影像的胃癌智能分期方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533113A (zh) * 2019-09-04 2019-12-03 湖南大学 一种数字图像中树状结构的分支点检测方法
CN111369565A (zh) * 2020-03-09 2020-07-03 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111754546A (zh) * 2020-06-18 2020-10-09 重庆邮电大学 一种基于多特征图融合的目标跟踪方法、系统及存储介质
CN111951235A (zh) * 2020-07-31 2020-11-17 湘潭大学 基于深度学习的皮肤图像处理方法
CN112132818A (zh) * 2020-09-29 2020-12-25 北京航空航天大学 基于图卷积神经网络构建三阶段的图像处理方法
GB202019788D0 (en) * 2020-12-15 2021-01-27 Imperial College Innovations Ltd Method of generating a latent vector

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533113A (zh) * 2019-09-04 2019-12-03 湖南大学 一种数字图像中树状结构的分支点检测方法
CN111369565A (zh) * 2020-03-09 2020-07-03 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111754546A (zh) * 2020-06-18 2020-10-09 重庆邮电大学 一种基于多特征图融合的目标跟踪方法、系统及存储介质
CN111951235A (zh) * 2020-07-31 2020-11-17 湘潭大学 基于深度学习的皮肤图像处理方法
CN112132818A (zh) * 2020-09-29 2020-12-25 北京航空航天大学 基于图卷积神经网络构建三阶段的图像处理方法
GB202019788D0 (en) * 2020-12-15 2021-01-27 Imperial College Innovations Ltd Method of generating a latent vector

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHU YAN: "Application of convolutional neural network in the diagnosis of the invasion depth of gastric cancer based on conventional endoscopy", 《ORIGINAL ARTICLE: CLINICAL ENDOSCOPY》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421274A (zh) * 2021-07-13 2021-09-21 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN113421274B (zh) * 2021-07-13 2022-08-02 上海工程技术大学 一种基于ct影像的胃癌智能分期方法

Similar Documents

Publication Publication Date Title
CN111325751B (zh) 基于注意力卷积神经网络的ct图像分割系统
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN110008832A (zh) 基于深度学习人物图像自动分割方法、信息数据处理终端
CN114119638A (zh) 一种融合多尺度特征和注意力机制的医学图像分割方法
CN110188802B (zh) 基于多层特征图融合的ssd目标检测算法
Zhou et al. Tunnel crack detection with linear seam based on mixed attention and multiscale feature fusion
CN112651981A (zh) 一种显著边缘特征提取模块引导网络的肠道疾病分割方法
CN113378933A (zh) 甲状腺超声图像分类和分割网络、训练方法、装置及介质
CN113034505A (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN111784711A (zh) 一种基于深度学习的肺部病理图像分类与分割方法
CN111612789A (zh) 一种基于改进的U-net网络的缺陷检测方法
CN115578406A (zh) 基于上下文融合机制的cbct颌骨区域分割方法及系统
CN112651980A (zh) 一种基于显著性检测的图像三元图生成方法
CN112967232A (zh) 基于图卷积的胃癌病理图像分割网络结构
CN115631513A (zh) 基于Transformer的多尺度行人重识别方法
CN112330662B (zh) 一种基于多层级神经网络的医学图像分割系统及方法
Yuan et al. Guided focal stack refinement network for light field salient object detection
CN117237371A (zh) 基于实例感知扩散模型的结肠组织学图像腺体分割方法
CN114882282A (zh) 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
CN116797512A (zh) 一种融合残差神经网络与U-Net网络结构的全切片病理图像分割方法
CN112488115B (zh) 一种基于two-stream架构的语义分割方法
CN114998582A (zh) 一种冠脉血管的分割方法、装置及存储介质
CN113205454A (zh) 基于多尺度特征提取的分割模型建立、分割方法及装置
Yuan et al. Medseq: Semantic segmentation for medical image sequences
CN114463187B (zh) 基于聚合边缘特征的图像语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination