CN112508958A - 一种轻量多尺度的生物医学图像分割方法 - Google Patents

一种轻量多尺度的生物医学图像分割方法 Download PDF

Info

Publication number
CN112508958A
CN112508958A CN202011480237.6A CN202011480237A CN112508958A CN 112508958 A CN112508958 A CN 112508958A CN 202011480237 A CN202011480237 A CN 202011480237A CN 112508958 A CN112508958 A CN 112508958A
Authority
CN
China
Prior art keywords
model
biomedical image
convolution
images
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011480237.6A
Other languages
English (en)
Other versions
CN112508958B (zh
Inventor
樊永显
李昌永
徐文枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202011480237.6A priority Critical patent/CN112508958B/zh
Publication of CN112508958A publication Critical patent/CN112508958A/zh
Application granted granted Critical
Publication of CN112508958B publication Critical patent/CN112508958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轻量多尺度的生物医学图像分割方法，包括如下步骤：1）获取公共的生物医学图像数据集；2）数据预处理；3）构建模型4）特征提取；5）模型训练；6）模型评估。这种分割方法可以多尺度提取生物医学图像中的特征，还减少了计算时间，避免出现特征信息重叠和冗余，同时还可以保证甚至提高模型的分割精度。

Description

一种轻量多尺度的生物医学图像分割方法
技术领域
本发明涉及生物医学图像处理分割的技术，具体是一种轻量多尺度的生物医学图像分割方法。
背景技术
生物医学图像分割通常是生物医学图像处理的第一个关键步骤。只有基于精确的分割，随后才可以进行多种生物学或医学处理操作，包括细胞计数，定量测量解剖结构，细胞表型分析，亚细胞定位等,为医生和研究人员提供有价值的诊断信息。尽管常规的图像处理技术仍然用于此耗时且费力的任务，但由于各种原因(例如处理各种图像的能力有限，缺乏计算源等)，它们通常无法获得优化的性上。
随着基于深度学习的技术飞速发展，许多研究人员开始研究将深度学习技术应用到生物医学图像分割中。目前为了追求生物医学图像的分割精度，很多的研究人员开始不断的增加网络模型的层数和卷积的尺寸，使网络模型的体量变得越来越大，导致其很难甚至无法应用于真实的临床环境。针对上述的问题，研究人员开始考虑将深度学习模型进行优化，降低参数量和计算复杂度，减少其体量，该过程成为轻量化。目前的轻量化方法都是针对网络模型中的特征提取阶段进行优化，通过减少特征提取的卷积操作来达到参数量和计算复杂度减少的目标。减少卷积操作势必会导致网络模型对生物医学图像的特征提取不充分，从而使网络模型的分割精度下降。为了保证网络模型的分割精度不下降甚至还会有提升，提出了多尺度的方法，减少特征提取阶段的卷积操作的同时，使用类似并行处理的方式，多个尺度提取特征信息，保证网络模型在轻量化的同时可以不丢失甚至提高分割精度。
在轻量化方法中，Ha et al.提出利用小网络为大网络生成权值。对于CNNs，这些权重对于数据集中的每个示例都是相同的，这样可以实现更大的权值分配，虽然可以获得更低的参数，但性能却比原来的网络差。在多尺度方法中，一个非常强大的网络架构是PSPNet，它使用位于主干之上的金字塔池化模块(PPM)来解析场景以提取不同层次的细节。
目前针对生物医学图像分割的深度学习方法，不再考虑加深网络模型结构或增加网络层数来提升网络性能，而是希望可以以最少的参数量和最低的计算资源成本来获取高性能表现的网络模型。
发明内容
本发明的目的是针对现有技术的不足，而提供一种轻量多尺度的生物医学图像分割方法。这种方法可以提取多尺度的生物医学图像特征，还减少了计算时间，同时还可以保持高的分割精度。
实现本发明目的的技术方案是：
一种轻量多尺度的生物医学图像分割方法，包括如下步骤：
1)获取公共的生物医学图像数据集，包括肺部CT、肝脏CT和细胞的电镜图三个数据集，其中每个数据集划分为训练集和测试集，每个数据集中80％的图像作为训练集，20％的图像作为测试集；
2)数据预处理：将生物医学图像训练集采用数据增广方法，即翻转和旋转来增加数据集的样本数量；
3)构建模型：在现有U-Net模型中，将效率不高的传统卷积替换成金字塔卷积，利用金字塔卷积在编码部分进行特征提取，替换金字塔卷积之后新的模型称为PyConvUNet模型；
4)特征提取：采用金字塔卷积对生物医学图像训练集中的图像进行特征提取，通过金字塔卷积获取到训练集图像中不同尺度的特征信息，接着对提取出来的特征信息进行融合并得到特征图；
5)模型训练：利用PyTorch深度学习框架训练PyConvUNet模型，采用交叉熵损失函数进行模型的参数调整，不断提高模型的分割精度；
6)模型评估：采用MIoU和Dice两种评估指标对PyConvUNet模型在测试集图像上的分割精度进行评估，采用参数量和计算复杂度两种评估指标对PyConvUNet模型自身的体量进行评估，同时再分别与其他表现好的模型进行比较评估。
步骤4)中所述的金字塔卷积为金字塔卷积算法。
本技术方案与现有分割技术相比，具有显著的效果：
(1)特征信息利用充分：多尺度的提取特征信息可以减少特征信息的重叠，提高特征信息的利用率，保证模型的分割精度，同时能够避免特征信息冗余，降低特征信息处理时间。
(2)网络模型轻量：参数量和计算复杂度降低，使模型变得轻量，加快模型处理生物医学图片的速度，同时方便模型在真实的临床环境进行部署。
这种方法提取了多尺度的生物医学图像特征，还减少了计算时间，同时还可以保持高的分割精度。
附图说明
图1为实施例的流程图；
图2为实施例中金字塔卷积算法的结构图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
实施例：
本例为了清楚的表示多个数据集，对数据集进行了命名，表中使用MIoU，Dice，Number of Parameters，FLOPs作为评估方法的效果，其中MIoU和Dice表示模型的分割精度，Number of Parameters表示模型的参数量，FLOPs表示模型的计算复杂度。
参照图1，一种轻量多尺度的生物医学图像分割方法，包括如下步骤：
1)获取公共的生物医学图像数据集，本例从https://github.com/Andy-zhujunwen/UNET-ZOO网站中获取了3个数据集，即267张肺部CT图像、400张肝脏CT图像和30张细胞电镜图像，其中每个数据集划分为训练集和测试集，每个数据集中80％的图像作为训练集，20％的图像作为测试集，数据集的具体细节如表1所示：
表1数据集细节
Dataset Images Input Size Modality
kaggleLung 267 512×512 CT
liver 400 512×512 CT
ISBICell 30 512×512 Microscopy
；
2)数据预处理：将生物医学图像数据集采用数据增广方法，先是利用竖直翻转和水平翻转将样本数量变为原来的三倍，接着通过将样本进行旋转90°、180°和270°进行扩展，增加了数据集的样本数量，同时可以提高训练之后的模型的泛化能力；
3)构建模型：在现有的U-Net模型中，将效率不高的传统卷积替换成金字塔卷积，利用金字塔卷积在编码部分进行特征提取，替换金字塔卷积之后新的模型称为PyConvUNet模型，本例金字塔卷积为金字塔卷积算法；
4)特征提取：采用金字塔卷积对生物医学图像训练集中的图像进行特征提取，通过金字塔卷积获取到训练集图像中不同尺度的特征信息，接着对提取的特征信息进行融合并得到特征图，具体的实施流程如图2所示，通过尺寸大小和深度不一样的卷积核对生物医学图像进行卷积操作来获取不同的特征信息；
传统卷积计算参数量和复杂度的公式如下：
parameters＝K1 2·FMi·FMo
FLOPs＝K1 2·FMi·FMo·(W·H)，
FMi和FMo分别表示输入和输出的特征图，K1表示卷积核的尺寸，W和H表示输出的特征图的宽和高，金字塔卷积的计算公式如下所示：
Figure BDA0002838034250000041
Figure BDA0002838034250000042
通过简化公式(1)和公式(2)，得到参数量和计算复杂度与传统卷积是相等的，但是金字塔卷积提取到的特征信息要比传统卷积的丰富，更加有利于模型分割精度的提升；
5)模型训练：利用PyTorch深度学习框架训练PyConvUNet模型，采用交叉熵损失函数进行模型的参数调整，不断提高模型的分割精度，交叉熵损失函数的公式如下：
Figure BDA0002838034250000043
其中p(xi)代表标签，q(xi)代表预测值；
6)模型评估：采用MIoU和Dice两种评估指标对PyConvUNet模型在测试集图像上的分割精度进行评估，采用参数量和计算复杂度两种评估指标对PyConvUNet模型体量进行评估，同时再分别与其他表现好的模型进行比较评估，MIoU和Dice的具体公式如下：
Figure BDA0002838034250000051
Figure BDA0002838034250000052
其中，TP表示真阳性，FP表示假阳性，FN表示假阴性，
与其他模型在MIoU和Dice上的比较如表2所示：
表2不同模型MIoU和Dice比较表
Figure BDA0002838034250000053
，与其他模型在参数量和计算复杂度上的比较如表3所示：
表3不同模型参数量和计算复杂度比较表
Figure BDA0002838034250000054

Claims (2)

1.一种轻量多尺度的生物医学图像分割方法，其特征在于，包括如下步骤：
1）获取公共的生物医学图像数据集，包括肺部CT、肝脏CT和细胞的电镜图三个数据集，其中每个数据集划分为训练集和测试集，每个数据集中80%的图像作为训练集，20%的图像作为测试集；
2）数据预处理：将生物医学图像训练集采用数据增广方法，即翻转和旋转来增加数据集的样本数量；
3）构建模型：在现有U-Net模型中，将传统卷积替换成金字塔卷积，利用金字塔卷积在编码部分进行特征提取，替换金字塔卷积之后新的模型称为PyConvUNet模型；
4）特征提取：采用金字塔卷积对生物医学图像训练集中的图像进行特征提取，通过金字塔卷积获取到训练集图像中不同尺度的特征信息，接着对提取出来的特征信息进行融合并得到特征图；
5）模型训练：利用PyTorch深度学习框架训练PyConvUNet模型，采用交叉熵损失函数进行模型的参数调整，不断提高模型的分割精度；
6）模型评估：采用MIoU和Dice两种评估指标对PyConvUNet模型在测试集图像上的分割精度进行评估，采用参数量和计算复杂度两种评估指标对PyConvUNet模型自身的体量进行评估，同时再分别与其他表现好的模型进行比较评估。
2.根据权利要求1所述的轻量多尺度的生物医学图像分割方法，其特征在于，步骤3）中所述的金字塔卷积为金字塔卷积算法。
CN202011480237.6A 2020-12-16 2020-12-16 一种轻量多尺度的生物医学图像分割方法 Active CN112508958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011480237.6A CN112508958B (zh) 2020-12-16 2020-12-16 一种轻量多尺度的生物医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011480237.6A CN112508958B (zh) 2020-12-16 2020-12-16 一种轻量多尺度的生物医学图像分割方法

Publications (2)

Publication Number Publication Date
CN112508958A true CN112508958A (zh) 2021-03-16
CN112508958B CN112508958B (zh) 2022-07-19

Family

ID=74972076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011480237.6A Active CN112508958B (zh) 2020-12-16 2020-12-16 一种轻量多尺度的生物医学图像分割方法

Country Status (1)

Country Link
CN (1) CN112508958B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012112697A2 (en) * 2011-02-15 2012-08-23 The Johns Hopkins University Method and system to digitize pathology specimens in a stepwise fashion for review
US20130286017A1 (en) * 2010-05-07 2013-10-31 David MARIMÓN SANJUAN Method for generating depth maps for converting moving 2d images to 3d
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108428212A (zh) * 2018-01-30 2018-08-21 中山大学 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法
CN108921830A (zh) * 2018-06-21 2018-11-30 北京信息科技大学 一种基于图像检索的人数统计方法
CN109460814A (zh) * 2018-09-28 2019-03-12 浙江工业大学 一种具有防御对抗样本攻击功能的深度学习分类方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN110009657A (zh) * 2019-04-01 2019-07-12 南京信息工程大学 一种基于金字塔网络调制的视频目标分割方法
CN110021425A (zh) * 2019-01-31 2019-07-16 湖南品信生物工程有限公司 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN110097129A (zh) * 2019-05-05 2019-08-06 西安电子科技大学 基于轮廓波分组特征金字塔卷积的遥感目标检测方法
CN110310289A (zh) * 2019-06-17 2019-10-08 北京交通大学 基于深度学习的肺部组织图像分割方法
CN110363770A (zh) * 2019-07-12 2019-10-22 安徽大学 一种边缘引导式红外语义分割模型的训练方法及装置
CN111275711A (zh) * 2020-01-08 2020-06-12 西安电子科技大学 基于轻量级卷积神经网络模型的实时图像语义分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111860233A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN112085744A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于多尺度特征学习的肾肿瘤分割方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286017A1 (en) * 2010-05-07 2013-10-31 David MARIMÓN SANJUAN Method for generating depth maps for converting moving 2d images to 3d
WO2012112697A2 (en) * 2011-02-15 2012-08-23 The Johns Hopkins University Method and system to digitize pathology specimens in a stepwise fashion for review
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108428212A (zh) * 2018-01-30 2018-08-21 中山大学 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法
CN108921830A (zh) * 2018-06-21 2018-11-30 北京信息科技大学 一种基于图像检索的人数统计方法
CN109460814A (zh) * 2018-09-28 2019-03-12 浙江工业大学 一种具有防御对抗样本攻击功能的深度学习分类方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN110021425A (zh) * 2019-01-31 2019-07-16 湖南品信生物工程有限公司 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN110009657A (zh) * 2019-04-01 2019-07-12 南京信息工程大学 一种基于金字塔网络调制的视频目标分割方法
CN110097129A (zh) * 2019-05-05 2019-08-06 西安电子科技大学 基于轮廓波分组特征金字塔卷积的遥感目标检测方法
CN110310289A (zh) * 2019-06-17 2019-10-08 北京交通大学 基于深度学习的肺部组织图像分割方法
CN110363770A (zh) * 2019-07-12 2019-10-22 安徽大学 一种边缘引导式红外语义分割模型的训练方法及装置
CN111275711A (zh) * 2020-01-08 2020-06-12 西安电子科技大学 基于轻量级卷积神经网络模型的实时图像语义分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111860233A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN112085744A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于多尺度特征学习的肾肿瘤分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
蒋明峰 等: "基于金字塔卷积结构的深度残差网络心电信号分类方法研究", 《新技术与新方法》 *
陈琴 等: "基于深度中心邻域金字塔结构的显著目标检测", 《模式识别与人工智能》 *

Also Published As

Publication number Publication date
CN112508958B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN107154043B (zh) 一种基于3dcnn的肺结节假阳性样本抑制方法
CN108898160B (zh) 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN109934826A (zh) 一种基于图卷积网络的图像特征分割方法
CN109102498B (zh) 一种宫颈涂片图像中簇型细胞核分割的方法
CN112348036A (zh) 基于轻量化残差学习和反卷积级联的自适应目标检测方法
CN112541532B (zh) 基于密集连接结构的目标检测方法
CN111339924B (zh) 一种基于超像素和全卷积网络的极化sar图像分类方法
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112308825B (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN111724401A (zh) 一种基于边界约束级联U-Net的图像分割方法和系统
CN110895815A (zh) 一种基于深度学习的胸部x线气胸分割方法
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
Perveen et al. Multidimensional Attention-Based CNN Model for Identifying Apple Leaf Disease.
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN112508958B (zh) 一种轻量多尺度的生物医学图像分割方法
CN110728352A (zh) 一种基于深度卷积神经网络的大规模图像分类方法
CN116524495A (zh) 一种基于多维通道注意力机制的中药显微识别方法及系统
CN112785559B (zh) 基于深度学习的多个异构模型相互组合的骨龄预测方法
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN116310466A (zh) 基于局部无关区域筛选图神经网络的小样本图像分类方法
CN114065831A (zh) 基于多尺度随机深度残差网络的高光谱图像分类方法
CN113724261A (zh) 一种基于卷积神经网络的快速图像构图方法
CN113192076A (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN111932486A (zh) 一种基于3d卷积神经网络的脑胶质瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant