CN110910388A - 一种基于U-Net和密度估计的癌细胞图像分割方法 - Google Patents

一种基于U-Net和密度估计的癌细胞图像分割方法 Download PDF

Info

Publication number
CN110910388A
CN110910388A CN201911009057.7A CN201911009057A CN110910388A CN 110910388 A CN110910388 A CN 110910388A CN 201911009057 A CN201911009057 A CN 201911009057A CN 110910388 A CN110910388 A CN 110910388A
Authority
CN
China
Prior art keywords
network
net
density
image
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911009057.7A
Other languages
English (en)
Inventor
胡海根
郑熠星
周乾伟
肖杰
管秋
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911009057.7A priority Critical patent/CN110910388A/zh
Publication of CN110910388A publication Critical patent/CN110910388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于U‑Net和密度估计的癌细胞图像分割方法，包括以下步骤：步骤1.运行环境平台与数据集格式，pytorch框架下基于python版U‑Net网络结构，使用的数据集格式为VOC2012；步骤2.优化的网络结构；步骤3、得到分割结果，过程如下：将整张图片输入U‑Net进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。本发明有效提高遮挡与高密度情况下的分割准确性。

Description

一种基于U-Net和密度估计的癌细胞图像分割方法
技术领域
本发明提出了一种基于U-Net和密度估计的癌细胞图像分割方法，属于深度学习语义分割领域。
技术背景
随着计算机技术的发展，针对医学病理图像进行自动分析的图像处理算法也应用得越来越广泛。显微镜图像定量分析则是广泛应用于癌症早期诊断、癌变分级、药物使用等医学研究领域。而在医学图像分析中，细胞分割尤为基础和重要，是对细胞图像进行识别和计数的基本前提。
传统方法根据分割时所依据图像特性不同分很多类基于阈值、基于区域、基于图等。用基于深度学习的神经网络来进行图像分割，是近几年发展较快的一个领域。当前最成功的图像分割深度学习技术都是基于一个共同的先驱：FCN(Fully ConvolutionalNetwork，全卷积神经网络)。
除此之外还有将传统方法与深度学习相结合的方法，例如先进行聚类，经过cnn编码聚类结果，然后对聚类结果进行一个分类，实质是将讲分割任务转换为一个分类任务。
深度学习最初流行的分割方法是，打补丁式的分类方法(patchclassification)。逐像素地抽取周围像素对中心像素进行分类。由于当时的卷积网络末端都使用全连接层(full connected layers)，所以只能使用这种逐像素的分割方法。
但是到了2014年，来自伯克利的Fully Convolutional Networks(FCN)卷积网络，去掉了末端的全连接层。随后的语义分割模型基本上都采用了这种结构。除了全连接层，语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域，但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐，因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。
与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。
发明内容
本发明要克服现有技术的上述缺点，本发明选取U-Net网络结构作为深度学习分割框架，并结合密度估计算法对癌细胞图像进行分割，提出了一种基于U-Net和密度估计的癌细胞图像分割方法。
为了解决上述技术问题，本发明提供如下的技术方案：
一种基于U-Net和密度估计的癌细胞图像分割方法，所述方法包括以下步骤：
步骤1.运行环境平台与数据集格式；
pytorch框架下基于python版U-Net网络结构，使用的数据集格式为VOC2012。
步骤2.优化的网络结构，过程如下：
2.1基于回归的密度估计方法生成密度图
利用高斯函数与脉冲函数做卷积操作达到密度图，密度图的计算公式如下：
Figure BDA0002243640610000021
Figure BDA0002243640610000022
Figure BDA0002243640610000023
其中xi表示细胞在图像中的像素位置；δ(x-xi)表示图像中细胞所在位置处简单的脉冲函数；N表示图像中细胞总数；
Figure BDA0002243640610000024
表示距离xi细胞最近的m个细胞与癌细胞间的平均距离；β值取0.3；
Figure BDA0002243640610000025
表示方差为σi的高斯核；
网络得到的特征图进行1*1大小的高斯核进行卷积得到密度图，每个点的像素值代表目标数目；
2.2使用网络预测得到的密度图与真实值之间的欧式距离来衡量基于回归的密度估计损失函数
Figure BDA0002243640610000026
其中θ为网络需要学习的参数，N表示训练集数量，Xi为第i张训练图片，Di为对应的GT密度图，FD(Xi；θ)为Xi对应网络预测的密度图；
网络总体损失函数借鉴多任务损失函数思想，再进行加权求和所得：
Loss＝Lce+wLden
其中w的值为0.1，用来规范化U-Net网络损失函数Lce与Lden，两者者之间的权重为10:1，设计如下：
单个样本的交叉熵损失函数
L＝-[ylogy′+(1-y)log(1-y′)]
如果是计算N个样本的总的损失函数，只要将N个Loss叠加起来就可以了：
Figure BDA0002243640610000031
y为真值,y'为网络输出即为预测值；
步骤3、得到分割结果，过程如下：
将整张图片输入U-Net进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。
进一步，所述步骤1中，硬件平台为IntelCore i7-7700K CPU 4.20GHz 8核处理器和GeForce GTX 1080Ti高能性显卡的台式计算机。
本发明的有益效果为：有效提高遮挡与高密度情况下的分割准确性。
附图说明
图1细胞原图及对应生成的细胞密度图，其中，(a)是细胞原图，(b)是细胞GT密度图。
图2是本发明方法的U-Net与密度估计融合的网络结构整体示意图。
具体实施方式
下面结合附图进一步说明本发明。
参照图1和图2，一种基于U-Net和密度估计的癌细胞检测方法，包括以下步骤：
步骤1.运行环境平台与数据集格式；
一种基于U-Net和密度估计的癌细胞图像分割方法，硬件平台为IntelCore i7-7700K CPU 4.20GHz 8核处理器和GeForce GTX 1080Ti高能性显卡的台式计算机，pytorch框架下基于python版U-Net网络结构，使用的数据集格式为VOC2012；
步骤2.优化的网络结构，过程如下：
2.1基于回归的密度估计方法生成密度图
利用高斯函数与脉冲函数做卷积操作达到密度图，密度图的计算公式如下：
Figure BDA0002243640610000032
Figure BDA0002243640610000033
Figure BDA0002243640610000041
其中xi表示细胞在图像中的像素位置；δ(x-xi)表示图像中细胞所在位置处简单的脉冲函数；N表示图像中细胞总数；
Figure BDA0002243640610000042
表示距离xi细胞最近的m个细胞与癌细胞间的平均距离；β值取0.3；
Figure BDA0002243640610000043
表示方差为σi的高斯核；
网络得到的特征图进行1*1大小的高斯核进行卷积得到密度图，每个点的像素值代表目标数目；
在该方法下细胞生成的密度示意图如图1。
2.2基于回归的密度估计方法将第i张图片送入全卷积网络，对所有的像素进行密度估计，优化化的网络结构图如图2。
使用网络预测得到的密度图与真实值之间的欧式距离来衡量基于回归的密度估计损失函数
Figure BDA0002243640610000044
其中θ为网络需要学习的参数，N表示训练集数量，Xi为第i张训练图片，Di为对应的GT密度图，FD(Xi；θ)为Xi对应网络预测的密度图；
网络总体损失函数借鉴多任务损失函数思想，再进行加权求和所得：
Loss＝Lce+wLden
其中w的值为0.1，用来规范化U-Net网络损失函数Lce与Lden，两者者之间的权重为10:1，设计如下：
单个样本的交叉熵损失函数
L＝-[ylogy′+(1-y)log(1-y′)]
如果是计算N个样本的总的损失函数，只要将N个Loss叠加起来就可以了：
Figure BDA0002243640610000045
y为真值,y'为网络输出即为预测值；
步骤3、得到分割结果，过程如下：
将整张图片输入U-Net进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。
在本发明的网络中输入数据集，利用高斯卷积方法得到细胞GT密度图(GTdensity map)如图1(b)所示。基于回归的密度估计方法将第i张图片送入全卷积网络，对所有的像素进行密度估计，加入密度估计约束到网络中如图2，主要可以解决应密度大而对检测造成的挑战。得到的癌细胞分割结果准确度更高。
在相同参数配置前提下，将密度估计融入到U-Net网络中，可以一定程度的提高网络检测精度，特别能改善遮挡或高密度情况下的检测准确性。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于U-Net和密度估计的癌细胞图像分割方法，其特征在于，所述方法包括以下步骤：
步骤1.运行环境平台与数据集格式；
pytorch框架下基于python版U-Net网络结构，使用的数据集格式为VOC2012；
步骤2.优化的网络结构，过程如下：
2.1基于回归的密度估计方法生成密度图
利用高斯函数与脉冲函数做卷积操作达到密度图，密度图的计算公式如下：
Figure FDA0002243640600000011
Figure FDA0002243640600000012
Figure FDA0002243640600000013
其中xi表示细胞在图像中的像素位置；δ(x-xi)表示图像中细胞所在位置处简单的脉冲函数；N表示图像中细胞总数；
Figure FDA0002243640600000014
表示距离xi细胞最近的m个细胞与癌细胞间的平均距离；β值取0.3；
Figure FDA0002243640600000015
表示方差为σi的高斯核；
网络得到的特征图进行1*1大小的高斯核进行卷积得到密度图，每个点的像素值代表目标数目；
2.2使用网络预测得到的密度图与真实值之间的欧式距离来衡量基于回归的密度估计损失函数
Figure FDA0002243640600000016
其中θ为网络需要学习的参数，N表示训练集数量，Xi为第i张训练图片，Di为对应的GT密度图，FD(Xi；θ)为Xi对应网络预测的密度图；
网络总体损失函数借鉴多任务损失函数思想，再进行加权求和所得：
Loss＝Lce+wLden
其中w的值为0.1，用来规范化U-Net网络损失函数Lce与Lden，两者者之间的权重为10:1，设计如下：
单个样本的交叉熵损失函数
L＝-[ylogy′+(1-y)log(1-y′)]
如果是计算N个样本的总的损失函数，只要将N个Loss叠加起来就可以了：
Figure FDA0002243640600000017
y为真值,y'为网络输出即为预测值；
步骤3、得到分割结果，过程如下：
将整张图片输入U-Net进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。
2.如权利要求1所述的基于U-Net和密度估计的癌细胞图像分割方法，其特征在于，所述步骤1中，硬件平台为IntelCore i7-7700K CPU 4.20GHz 8核处理器和GeForce GTX1080Ti高能性显卡的台式计算机。
CN201911009057.7A 2019-10-23 2019-10-23 一种基于U-Net和密度估计的癌细胞图像分割方法 Pending CN110910388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911009057.7A CN110910388A (zh) 2019-10-23 2019-10-23 一种基于U-Net和密度估计的癌细胞图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911009057.7A CN110910388A (zh) 2019-10-23 2019-10-23 一种基于U-Net和密度估计的癌细胞图像分割方法

Publications (1)

Publication Number Publication Date
CN110910388A true CN110910388A (zh) 2020-03-24

Family

ID=69815624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911009057.7A Pending CN110910388A (zh) 2019-10-23 2019-10-23 一种基于U-Net和密度估计的癌细胞图像分割方法

Country Status (1)

Country Link
CN (1) CN110910388A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561869A (zh) * 2020-12-09 2021-03-26 深圳大学 一种胰腺神经内分泌肿瘤术后复发风险预测方法
CN113409321A (zh) * 2021-06-09 2021-09-17 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN116823823A (zh) * 2023-08-29 2023-09-29 天津市肿瘤医院（天津医科大学肿瘤医院） 一种人工智能的脑脊液细胞自动分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614921A (zh) * 2018-12-07 2019-04-12 安徽大学 一种基于对抗生成网络的半监督学习的细胞分割方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110189292A (zh) * 2019-04-15 2019-08-30 浙江工业大学 一种基于Faster R-CNN和密度估计的癌细胞检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614921A (zh) * 2018-12-07 2019-04-12 安徽大学 一种基于对抗生成网络的半监督学习的细胞分割方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110189292A (zh) * 2019-04-15 2019-08-30 浙江工业大学 一种基于Faster R-CNN和密度估计的癌细胞检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张华博: "基于深度学习的图像分割研究与应用", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561869A (zh) * 2020-12-09 2021-03-26 深圳大学 一种胰腺神经内分泌肿瘤术后复发风险预测方法
CN112561869B (zh) * 2020-12-09 2021-11-02 深圳大学 一种胰腺神经内分泌肿瘤术后复发风险预测方法
CN113409321A (zh) * 2021-06-09 2021-09-17 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN113409321B (zh) * 2021-06-09 2023-10-27 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN116823823A (zh) * 2023-08-29 2023-09-29 天津市肿瘤医院（天津医科大学肿瘤医院） 一种人工智能的脑脊液细胞自动分析方法
CN116823823B (zh) * 2023-08-29 2023-11-14 天津市肿瘤医院（天津医科大学肿瘤医院） 一种人工智能的脑脊液细胞自动分析方法

Similar Documents

Publication Publication Date Title
US12118721B2 (en) Systems and methods for image preprocessing
CN111428718B (zh) 一种基于图像增强的自然场景文本识别方法
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN108764072B (zh) 一种基于多尺度融合的血细胞亚型图像分类方法
CN110472676A (zh) 基于深度神经网络的胃早癌组织学图像分类系统
WO2021051598A1 (zh) 文本情感分析模型训练方法、装置、设备及可读存储介质
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN112699937A (zh) 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN110910388A (zh) 一种基于U-Net和密度估计的癌细胞图像分割方法
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
US10373022B1 (en) Text image processing using stroke-aware max-min pooling for OCR system employing artificial neural network
CN109685065A (zh) 试卷内容自动分类的版面分析方法、系统
US20240054760A1 (en) Image detection method and apparatus
CN117197904B (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
Gehlot et al. Ednfc-net: Convolutional neural network with nested feature concatenation for nuclei-instance segmentation
CN110599502A (zh) 一种基于深度学习的皮肤病变分割方法
Traquair et al. Deep learning for the detection of tabular information from electronic component datasheets
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质
CN114972753B (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
Fu et al. Text detection for natural scene based on mobilenet V2 and U-net
CN117115817A (zh) 基于多模态融合的细胞形态学识别方法及装置
Gnanapriya et al. A Hybrid Deep Learning Model for Real Time Hand Gestures Recognition.
Peng et al. Fully convolutional neural networks for tissue histopathology image classification and segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324

RJ01 Rejection of invention patent application after publication