CN116188455A - 一种基于U-Net的乳腺癌细胞图像分割方法 - Google Patents

一种基于U-Net的乳腺癌细胞图像分割方法 Download PDF

Info

Publication number
CN116188455A
CN116188455A CN202310314507.3A CN202310314507A CN116188455A CN 116188455 A CN116188455 A CN 116188455A CN 202310314507 A CN202310314507 A CN 202310314507A CN 116188455 A CN116188455 A CN 116188455A
Authority
CN
China
Prior art keywords
breast cancer
cancer cell
image segmentation
net
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310314507.3A
Other languages
English (en)
Inventor
曲英敏
李晓东
王国梁
许晶
王莹
莫慧丽
宋正勋
王作斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202310314507.3A priority Critical patent/CN116188455A/zh
Publication of CN116188455A publication Critical patent/CN116188455A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于深度学习语义分割技术领域，尤其为一种基于U‑Net的乳腺癌细胞图像分割方法，包括如下步骤：S1:运行环境平台与数据集格式；pytorch框架下基于python版U‑Net网络结构，使用的数据集为VOC格式的Dataset_BUSI；S2:数据集预处理；为了增强训练的模型对于数据的鲁棒性，防止模型出现过拟合，对训练数据采用增强的方法，采用旋转、裁剪和亮度调整等方法对训练数据集进行扩充。本发明选取U‑Net网络结构作为深度学习分割框架，引入CBAM注意力机制和Inception模块对乳腺癌细胞图像进行分割，并将原部分层的RELU激活函数替换为ELU激活函数，实现结构改进和非结构改进的结合，从而可以有效提高乳腺癌细胞图像分割的准确性和分割精度。

Description

一种基于U-Net的乳腺癌细胞图像分割方法
技术领域
本发明涉及深度学习语义分割技术领域，具体为一种基于U-Net的乳腺癌细胞图像分割方法。
背景技术
目前，图像分割技术是医学图像处理与分析中的一个重要的研究课题，临床医学分割任务也有许多种类。常见的有胰腺分割、肝脏分割、乳腺分割、视网膜血管分割等。医学图像分割往往比自然图像分割更难提取出图像特征，这是因为医学图像经常存在图像模糊、噪声干扰、低对比度等问题。为此，研究人员将现有的技术与医学图像结合进行了大量的实验研究，各种各样的医学图像分割算法也应运而生。
传统的医学图像分割方法是根据图像的灰度、颜色、纹理和空间结构等特性把图像分割成若干个区域，以便医生对这些区域进行详细地分析。常见的传统分割方法有阈值法、区域法和边缘检测法等。相比于传统的医学图像分割方法，基于深度学习的医学图像分割方法效果更优，更适用于医学图像分割任务。在过去几年里，研究人员提出了许多类型的深度学习神经网络并取得显著的效果。当前最成功的图像分割深度学习技术都是基于一个共同的先驱：FCN(Fully Convolutional Network，全卷积神经网络)。
通过研究大量相关改进工作可以看出，目前绝大多数U-Net模型的改进主要还是围绕网络结构展开的，例如目前的乳腺癌细胞图像分割方法，但是该方法的分割精度和准确度还是不够高，因此我们提出了一种基于U-Net的乳腺癌细胞图像分割方法来解决上述问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于U-Net的乳腺癌细胞图像分割方法，解决了上述背景技术中所提出的问题。
(二)技术方案
本发明为了实现上述目的具体采用以下技术方案：
一种基于U-Net的乳腺癌细胞图像分割方法，包括如下步骤：
S1:运行环境平台与数据集格式；pytorch框架下基于python版U-Net网络结构，使用的数据集为VOC格式的Dataset_BUSI；
S2:数据集预处理；为了增强训练的模型对于数据的鲁棒性，防止模型出现过拟合，对训练数据采用增强的方法，采用旋转、裁剪和亮度调整等方法对训练数据集进行扩充；
S3:基于CBAM注意力和Inception模块的方法以及使用融合了Sigmoid和ReLU函数的ELU激活函数，对网络结构进行优化；
S4:构建乳腺癌细胞分割任务训练集、验证集和测试集；
S5:基于训练集、验证集和测试集，将其输入到U-net网络进行特征提取，通过对模型进行训练和测试，得到最终的分割结果。
进一步地，所述S3中基于CBAM注意力和Inception模块的方法的具体过程为：首先利用CBAM注意力机制对输入进来的单个特征层，分别进行全局平均池化和全局最大池化，之后对平均池化和最大池化的结果，利用共享的全连接层进行处理，对处理后的两个结果进行相加，最后通过sigmoid函数获得输出层每一个通道的权值(0-1之间)，然后利用Inception模块将多个卷积或池化操作放在一起组装成一个网络模块，设计神经网络时，以模块为单位去组装整个网络结构。
进一步地，所述Inception模块结构中设计了一个稀疏网络结构，既能增加神经网络表现，又能保证计算资源的使用效率。
进一步地，所述S4中的乳腺癌细胞分割任务训练集、验证集和测试集中均已带有良性和恶性区域的乳腺癌细胞图像和对应的像素级别标注，首先将文件标签格式进行转化，把数据集的标签改成背景的像素值为0，目标的像素点值为1。
进一步地，所述S5中在对模型进行训练和测试时，往跳跃连接层加入CBAM注意力机制，并将Inception模块和扩张卷积集成到其收缩和扩展路径中。
进一步地，所述S1中硬件平台为Intel(R)Xeon(R)Platinum 8260C CPU@2.30GHz和NVIDIA GeForce RTX 3090高能性显卡的计算机。
(三)有益效果
与现有技术相比，本发明提供了一种基于U-Net的乳腺癌细胞图像分割方法，具备以下有益效果：
本发明选取U-Net网络结构作为深度学习分割框架，引入CBAM注意力机制和Inception模块对乳腺癌细胞图像进行分割，并将原部分层的RELU激活函数替换为ELU激活函数，实现结构改进和非结构改进的结合，从而可以有效提高乳腺癌细胞图像分割的准确性和分割精度，可以将mIoU(平均交并比)、平均精度值(mAP)、召回率(recall)和精确度(precision)评价指标提升了一个百分点左右。
附图说明
图1为本发明的测试流程示意图；
图2为本发明的乳腺癌细胞原图；
图3为本发明方法的分割结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1-3所示，本发明一个实施例提出的一种基于U-Net的乳腺癌细胞图像分割方法，包括如下步骤：
S1:运行环境平台与数据集格式；pytorch框架下基于python版U-Net网络结构，使用的数据集为VOC格式的Dataset_BUSI；
S2:数据集预处理；为了增强训练的模型对于数据的鲁棒性，防止模型出现过拟合，对训练数据采用增强的方法，采用旋转、裁剪和亮度调整等方法对训练数据集进行扩充；
S3:基于CBAM注意力和Inception模块的方法以及使用融合了Sigmoid和ReLU函数的ELU激活函数，使用ELU激活函数，这能使输入变化或噪声的鲁棒性更好，同时有效缓解了梯度消失问题，最后将这几部分结构构建出改进后的U-net分割模型，对网络结构进行优化；
S4:构建乳腺癌细胞分割任务训练集、验证集和测试集；
S5:基于训练集、验证集和测试集，将其输入到U-net网络进行特征提取，通过对模型进行训练和测试，得到最终的分割结果，如说明书附图3所示的分割结果图。
在一些实施例中，所述S3中基于CBAM注意力和Inception模块的方法的具体过程为：首先利用CBAM注意力机制对输入进来的单个特征层，分别进行全局平均池化和全局最大池化，之后对平均池化和最大池化的结果，利用共享的全连接层进行处理，对处理后的两个结果进行相加，最后通过sigmoid函数获得输出层每一个通道的权值(0-1之间)，然后利用Inception模块将多个卷积或池化操作放在一起组装成一个网络模块，设计神经网络时，以模块为单位去组装整个网络结构。
在一些实施例中，所述Inception模块结构中设计了一个稀疏网络结构，既能增加神经网络表现，又能保证计算资源的使用效率。
在一些实施例中，所述S4中的乳腺癌细胞分割任务训练集、验证集和测试集中均已带有良性和恶性区域的乳腺癌细胞图像和对应的像素级别标注，首先将文件标签格式进行转化，把数据集的标签改成背景的像素值为0，目标的像素点值为1。
在一些实施例中，所述S5中在对模型进行训练和测试时，往跳跃连接层加入CBAM注意力机制，并将Inception模块和扩张卷积集成到其收缩和扩展路径中，可以将相似性系数(Dice Similarity Coefficient，简称DSC)、平均交并比(mIoU)和精确度(precision)评价指标提升了1-2个百分点。
在一些实施例中，所述S1中硬件平台为Intel(R)Xeon(R)Platinum 8260CCPU@2.30GHz和NVIDIA GeForce RTX 3090高能性显卡的计算机。
在本发明的网络中输入数据集，利用结构改进和非结构改进结合的方法得到乳腺癌细胞分割结果如图3所示，在相同参数配置前提下，将CBAM和Inception模块融入到U-Net网络中，可以一定程度的提高网络检测精度和检测准确性。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于U-Net的乳腺癌细胞图像分割方法，其特征在于：包括如下步骤：
S1:运行环境平台与数据集格式；pytorch框架下基于python版U-Net网络结构，使用的数据集为VOC格式的Dataset_BUSI；
S2:数据集预处理；为了增强训练的模型对于数据的鲁棒性，防止模型出现过拟合，对训练数据采用增强的方法，采用旋转、裁剪和亮度调整等方法对训练数据集进行扩充；
S3:基于CBAM注意力和Inception模块的方法以及使用融合了Sigmoid和ReLU函数的ELU激活函数，对网络结构进行优化；
S4:构建乳腺癌细胞分割任务训练集、验证集和测试集；
S5:基于训练集、验证集和测试集，将其输入到U-net网络进行特征提取，通过对模型进行训练和测试，得到最终的分割结果。
2.根据权利要求1所述的一种基于U-Net的乳腺癌细胞图像分割方法，其特征在于：所述S3中基于CBAM注意力和Inception模块的方法的具体过程为：首先利用CBAM注意力机制对输入进来的单个特征层，分别进行全局平均池化和全局最大池化，之后对平均池化和最大池化的结果，利用共享的全连接层进行处理，对处理后的两个结果进行相加，最后通过sigmoid函数获得输出层每一个通道的权值(0-1之间)，然后利用Inception模块将多个卷积或池化操作放在一起组装成一个网络模块，设计神经网络时，以模块为单位去组装整个网络结构。
3.根据权利要求2所述的一种基于U-Net的乳腺癌细胞图像分割方法，其特征在于：所述Inception模块结构中设计了一个稀疏网络结构，既能增加神经网络表现，又能保证计算资源的使用效率。
4.根据权利要求1所述的一种基于U-Net的乳腺癌细胞图像分割方法，其特征在于：所述S4中的乳腺癌细胞分割任务训练集、验证集和测试集中均已带有良性和恶性区域的乳腺癌细胞图像和对应的像素级别标注，首先将文件标签格式进行转化，把数据集的标签改成背景的像素值为0，目标的像素点值为1。
5.根据权利要求1所述的一种基于U-Net的乳腺癌细胞图像分割方法，其特征在于：所述S5中在对模型进行训练和测试时，往跳跃连接层加入CBAM注意力机制，并将Inception模块和扩张卷积集成到其收缩和扩展路径中。
6.根据权利要求1所述的一种基于U-Net的乳腺癌细胞图像分割方法，其特征在于：所述S1中硬件平台为Intel(R)Xeon(R)Platinum 8260C CPU@2.30GHz和NVIDIA GeForce RTX3090高能性显卡的计算机。
CN202310314507.3A 2023-03-28 2023-03-28 一种基于U-Net的乳腺癌细胞图像分割方法 Pending CN116188455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310314507.3A CN116188455A (zh) 2023-03-28 2023-03-28 一种基于U-Net的乳腺癌细胞图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310314507.3A CN116188455A (zh) 2023-03-28 2023-03-28 一种基于U-Net的乳腺癌细胞图像分割方法

Publications (1)

Publication Number Publication Date
CN116188455A true CN116188455A (zh) 2023-05-30

Family

ID=86434662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310314507.3A Pending CN116188455A (zh) 2023-03-28 2023-03-28 一种基于U-Net的乳腺癌细胞图像分割方法

Country Status (1)

Country Link
CN (1) CN116188455A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765532A (zh) * 2024-02-22 2024-03-26 中国科学院宁波材料技术与工程研究所 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765532A (zh) * 2024-02-22 2024-03-26 中国科学院宁波材料技术与工程研究所 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置
CN117765532B (zh) * 2024-02-22 2024-05-31 中国科学院宁波材料技术与工程研究所 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置

Similar Documents

Publication Publication Date Title
Ding et al. Multi-scale fully convolutional network for gland segmentation using three-class classification
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
Xia et al. Cloud/snow recognition for multispectral satellite imagery based on a multidimensional deep residual network
CN111612008A (zh) 基于卷积网络的图像分割方法
Huang et al. Medical image segmentation using deep learning with feature enhancement
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN110751636A (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN110599502A (zh) 一种基于深度学习的皮肤病变分割方法
Wang et al. Automatic liver segmentation using EfficientNet and Attention-based residual U-Net in CT
CN112037225A (zh) 一种基于卷积神经的海洋船舶图像分割方法
CN116188455A (zh) 一种基于U-Net的乳腺癌细胞图像分割方法
CN116884597A (zh) 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统
Xu et al. A two-stage segmentation of sublingual veins based on compact fully convolutional networks for Traditional Chinese Medicine images
Wang et al. Nuclei instance segmentation using a transformer-based graph convolutional network and contextual information augmentation
Wang et al. Improved BlendMask: Nuclei instance segmentation for medical microscopy images
Ma et al. Cervical cancer detection in cervical smear images using deep pyramid inference with refinement and spatial‐aware booster
Yan et al. DEST: Deep enhanced swin transformer toward better scoring for NAFLD
Ma et al. An improved V-Net lung nodule segmentation model based on pixel threshold separation and attention mechanism
CN115131628A (zh) 一种基于分型辅助信息的乳腺图像分类方法及设备
Shanqing et al. A multi-level feature weight fusion model for salient object detection
CN116152180A (zh) 一种融合多任务学习的乳腺癌组织学分级预测方法及设备
Liu et al. Image Segmentation of Bladder Cancer Based on DeepLabv3+
CN114022485A (zh) 一种基于小样本学习的结直肠癌的计算机辅助诊断方法
Madhukar et al. Multi-scale convolution based breast cancer image segmentation with attention mechanism in conjunction with war search optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination