CN111028236A - 一种基于多尺度卷积U-Net的癌细胞图像分割方法 - Google Patents

一种基于多尺度卷积U-Net的癌细胞图像分割方法 Download PDF

Info

Publication number
CN111028236A
CN111028236A CN201911125482.2A CN201911125482A CN111028236A CN 111028236 A CN111028236 A CN 111028236A CN 201911125482 A CN201911125482 A CN 201911125482A CN 111028236 A CN111028236 A CN 111028236A
Authority
CN
China
Prior art keywords
convolution
net
unet
cancer cell
network structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911125482.2A
Other languages
English (en)
Inventor
胡海根
郑熠星
苏一平
周乾伟
肖杰
管秋
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911125482.2A priority Critical patent/CN111028236A/zh
Publication of CN111028236A publication Critical patent/CN111028236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多尺度卷积U‑Net的癌细胞图像分割方法，包括以下步骤：步骤1.运行环境平台与数据集格式，pytorch框架下基于python版U‑Net网络结构，使用的数据集格式为VOC2012；步骤2.优化的网络结构，得到MC‑UNet网络结构；步骤3、得到分割结果，过程如下：将整张图片输入MC‑UNet进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。本发明改善遮挡高密度或遮挡情况下的分割准确性。

Description

一种基于多尺度卷积U-Net的癌细胞图像分割方法
技术领域
本发明提出了一种基于多尺度卷积U-Net的癌细胞图像分割方法，属于深度学习语义分割领域。
技术背景
在生物医学工程的基础研究中，微观细胞的背景检测和分割在分析细胞动力学中起着重要作用。然而，由于高密度，低对比度，可变形的细胞形状，低的细胞间形状和外观变化以及通过分裂或融合尤其是在相差显微镜图像中将细胞闭塞，这仍然是一项艰巨的任务。近年来，Unet已广泛应用于生物医学图像分割领域，并且通过针对各自不同的问题扩展各种版本而取得了许多重大突破。然而，这些网络很少关注诸如细胞边界和非常小的细胞之类的小特征，这容易导致对于具有不同大小的细胞的不良分割性能。在这项工作中，我们提出了用于显微镜下细胞分割的多尺度卷积Unet(称为MC-Unet)。
传统方法根据分割时所依据图像特性不同分很多类基于阈值、基于区域、基于图等。用基于深度学习的神经网络来进行图像分割，是近几年发展较快的一个领域。当前最成功的图像分割深度学习技术都是基于一个共同的先驱：FCN(Fully ConvolutionalNetwork，全卷积神经网络)。2014年，来自伯克利的全卷积网络，去掉了末端的全连接层。随后的语义分割模型基本上都采用了这种结构。除了全连接层，语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域，但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐，因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。
与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。
发明内容
本发明要克服现有技术的上述缺点，本发明选取U-Net网络结构作为深度学习分割框架，并对U-Net网络结构进行结构上的改进。原有Unet通常在每层中使用两个3x3卷积，并且不能有效地处理不同大小的分段对象。在本方法中，每层的两个3x3卷积被多尺度卷积(MC)块替换，并且MC块包含三个并行的卷积，并行卷积具有不同的卷积核大小，这些大小不同的卷积核可以具有不同的感受野，并且这种结构可以提取不同大小的对象特征。
为了解决上述技术问题，本发明能够提供如下的技术方案：
一种基于多尺度卷积U-Net的癌细胞图像分割方法，所述方法包括以下步骤：
步骤1.运行环境平台与数据集格式；
pytorch框架下基于python版U-Net网络结构，使用的数据集格式为VOC2012；
步骤2.优化的网络结构，过程如下：
将原有Unet每层中使用的两个3x3卷积用多尺度卷积块(MC块)替换。每个MC块包含三行并行的卷积，它们具有不同的卷积核大小，例如1x1、3x3和5x5，MC块的输出是这三个卷积输出相加结果，其余与标准Unet相同，相应的结构如图1所示，这些大小不同的卷积核可以具有不同的感受野，并且这种结构可以提取不同大小的对象特征；
步骤3、得到分割结果，过程如下：
将整张图片输入MC-Unet进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。
进一步，所述步骤1中，硬件平台为IntelCore i7-7700K CPU 4.20GHz 8核处理器和GeForce GTX 1080Ti高能性显卡的台式计算机。
本发明的有益效果为：有效提高高密度情况下的分割准确性。
附图说明
图1是本发明方法的多尺度卷积Unet(称为MC-Unet)的网络结构整体示意图。
具体实施方式
下面结合附图进一步说明本发明。
参照图1，一种基于多尺度卷积U-Net的癌细胞图像分割方法，包括以下步骤：
步骤1.运行环境平台与数据集格式；
硬件平台为IntelCore i7-7700K CPU 4.20GHz 8核处理器和GeForce GTX 1080Ti高能性显卡的台式计算机，pytorch框架下基于python版U-Net网络结构，使用的数据集格式为VOC2012；
步骤2.优化的网络结构，过程如下：
将原有Unet每层中使用的两个3x3卷积用多尺度卷积块(MC块)替换。每个MC块包含三行并行的卷积，它们具有不同的卷积核大小，例如1x1、3x3和5x5。MC块的输出是这三个卷积输出相加结果，其余与标准Unet相同，相应的结构如图1所示。这些大小不同的卷积核可以具有不同的感受野，并且这种结构可以提取不同大小的对象特征，
步骤3、得到分割结果，过程如下：
将整张图片输入MC-Unet进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。
本发明在相同参数配置前提下，将多尺度卷积融入到U-Net网络中，可以一定程度的提高网络检测精度，特别能改善遮挡高密度或遮挡情况下的分割准确性。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于多尺度卷积U-Net的癌细胞图像分割方法，其特征在于，所述方法包括以下步骤：
步骤1.运行环境平台与数据集格式；
pytorch框架下基于python版U-Net网络结构，使用的数据集格式为VOC2012；
步骤2.优化的网络结构，过程如下：
将原有Unet每层中使用的两个3x3卷积用多尺度卷积块替换，每个卷积块包含三行并行的卷积，它们具有不同的卷积核大小；卷积块的输出是这三个卷积输出相加结果；这些大小不同的卷积核可以具有不同的感受野，并且这种结构可以提取不同大小的对象特征；
步骤3、得到分割结果，过程如下：
将整张图片输入MC-Unet进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。
2.如权利要求1所述的基于U-Net和密度估计的癌细胞图像分割方法，其特征在于，所述步骤1中，硬件平台为IntelCore i7-7700K CPU 4.20GHz 8核处理器和GeForce GTX1080 Ti高能性显卡的台式计算机。
CN201911125482.2A 2019-11-18 2019-11-18 一种基于多尺度卷积U-Net的癌细胞图像分割方法 Pending CN111028236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911125482.2A CN111028236A (zh) 2019-11-18 2019-11-18 一种基于多尺度卷积U-Net的癌细胞图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911125482.2A CN111028236A (zh) 2019-11-18 2019-11-18 一种基于多尺度卷积U-Net的癌细胞图像分割方法

Publications (1)

Publication Number Publication Date
CN111028236A true CN111028236A (zh) 2020-04-17

Family

ID=70200350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911125482.2A Pending CN111028236A (zh) 2019-11-18 2019-11-18 一种基于多尺度卷积U-Net的癌细胞图像分割方法

Country Status (1)

Country Link
CN (1) CN111028236A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114010204A (zh) * 2021-11-09 2022-02-08 四川大学 基于深度学习分割网络的ecg信号的r峰检测方法及系统
CN114648540A (zh) * 2022-03-22 2022-06-21 南京信息职业技术学院 一种基于MECAU-Net网络的医学图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537793A (zh) * 2018-04-17 2018-09-14 电子科技大学 一种基于改进的u-net网络的肺结节检测方法
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109598728A (zh) * 2018-11-30 2019-04-09 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN110232693A (zh) * 2019-06-12 2019-09-13 桂林电子科技大学 一种结合热力图通道及改进U-Net的图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537793A (zh) * 2018-04-17 2018-09-14 电子科技大学 一种基于改进的u-net网络的肺结节检测方法
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109598728A (zh) * 2018-11-30 2019-04-09 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN110232693A (zh) * 2019-06-12 2019-09-13 桂林电子科技大学 一种结合热力图通道及改进U-Net的图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱辉: "基于多尺度特征结构的U-Net 肺结节检测算法", 《计算机工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114010204A (zh) * 2021-11-09 2022-02-08 四川大学 基于深度学习分割网络的ecg信号的r峰检测方法及系统
CN114648540A (zh) * 2022-03-22 2022-06-21 南京信息职业技术学院 一种基于MECAU-Net网络的医学图像分割方法

Similar Documents

Publication Publication Date Title
He et al. Realtime multi-scale scene text detection with scale-based region proposal network
US11704537B2 (en) Octree-based convolutional neural network
CN112990219B (zh) 用于图像语义分割的方法和装置
Dong et al. BCNet: Bidirectional collaboration network for edge-guided salient object detection
Peng et al. Dynamic gesture recognition based on feature fusion network and variant ConvLSTM
WO2020125062A1 (zh) 一种图像融合方法及相关装置
CN111028236A (zh) 一种基于多尺度卷积U-Net的癌细胞图像分割方法
Shen et al. Empirical comparisons of deep learning networks on liver segmentation
CN114972753B (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN110910388A (zh) 一种基于U-Net和密度估计的癌细胞图像分割方法
CN117152438A (zh) 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法
Liu et al. Multi-scale skip-connection network for image super-resolution
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
WO2024174726A1 (zh) 基于深度学习的手写及打印文本检测方法和装置
Gao et al. Multi-branch aware module with channel shuffle pixel-wise attention for lightweight image super-resolution
Wang et al. Nuclei instance segmentation using a transformer-based graph convolutional network and contextual information augmentation
CN107784664B (zh) 一种基于k稀疏的快速鲁棒目标跟踪方法
Wan et al. CANet: Context-aware aggregation network for salient object detection of surface defects
CN111709338B (zh) 一种用于表格检测的方法、装置及检测模型的训练方法
Cheng et al. Adaptive feature denoising based deep convolutional network for single image super-resolution
Bian et al. Light-weight multi-channel aggregation network for image super-resolution
Wang et al. Multi‐level feature fusion network for crowd counting
Dan et al. Pirn: Phase invariant reconstruction network for infrared image super-resolution
Liang et al. Robust table recognition for printed document images
CN114913345A (zh) 基于fpga的sift算法的简化图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication