CN113096070A - 一种基于MA-Unet的图像分割方法 - Google Patents
一种基于MA-Unet的图像分割方法 Download PDFInfo
- Publication number
- CN113096070A CN113096070A CN202110255574.3A CN202110255574A CN113096070A CN 113096070 A CN113096070 A CN 113096070A CN 202110255574 A CN202110255574 A CN 202110255574A CN 113096070 A CN113096070 A CN 113096070A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- unet
- image segmentation
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003709 image segmentation Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000010276 construction Methods 0.000 claims abstract description 12
- 210000004072 lung Anatomy 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000005065 mining Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 description 2
- 238000001994 activation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像分割技术领域,具体涉及一种基于MA‑Unet的图像分割方法,包括如下步骤:收集数据、数据预处理、模型构建、模型训练,所述收集数据采集来自LUNA比赛中的肺部数据集,包含534个二维样本及各自标签图像;所述数据预处理:包括去噪、归一化、数据划分、和图像缩放等方式;所述模型构建通过构建MA‑Unet的肺部图像分割模型,利用不同尺度的全局信息,将多个中间层生成的特征聚合在一起进行预测,建立特征与注意机制之间的关联,对全局语境信息进行挖掘,同时去除噪声区域,帮助网络强调与语义类更相关的区域;所述模型训练当模型的损失函数不再降低之后,保存模型。
Description
技术领域
本发明属于图像分割技术领域,具体涉及一种基于MA-Unet的图像分割方法。
背景技术
医学图像的语义分割是许多疾病诊断、治疗和随访的关键步骤,在临床实践中,医学图像分割通常采用人工或半人工分割技术,这些方法的缺点是使用手工制作的特征来获得分割结果。一方面,很难为不同的应用设计具有代表性的特征。另一方面,为一种类型的图像设计的函数在另一种类型的图像中往往失败。因此,传统的人工或半人工分割技术缺乏通用的特征提取方法。由于大量医学图像的人工密集标注是一项繁琐且容易出错的任务,人们对准确可靠的自动分割方法提出了更高的要求,以提高临床场景下的工作效率,减少放射科医生等医学专家的工作量。
存在问题或缺陷的原因:尽管卷积神经网络正在推动医学图像语义分割的发展,但标准模型仍存在一些不足,在跳跃连接操作中,编码器和解码器子网络的特征映射具有较大的语义差异,远程特征依赖没有有效地建模,忽略不同尺度的全局上下文信息。
发明内容
针对上述图像分割技术模型跳跃连接操作中,编码器和解码器子网络的特征映射具有较大的语义差异等问题,本发明提供了一种基于MA-Unet的图像分割方法。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于MA-Unet的图像分割方法,包括下列步骤:
S100、收集数据:采集来自LUNA比赛中的肺部数据集,包含534个二维样本及各自标签图像;
S200、数据预处理:包括去噪、归一化、数据划分、和图像缩放等方式;
S300、模型构建:构建MA-Unet的肺部图像分割模型,利用不同尺度的全局信息,将多个中间层生成的特征聚合在一起进行预测,通过建立特征与注意机制之间的关联,对全局语境信息进行挖掘,同时去除噪声区域,帮助网络强调与语义类更相关的区域;
S400、模型训练:当模型的损失函数不再降低之后,保存模型。
所述S200数据预处理中,数据划分方式为将数据集按照8:2的比例分为训练集和测试集,训练集用于模型的训练,测试集用于测试模型效果。
所述S200模型预处理中,图像缩放方式为将数据划分后得到的数据进行缩放,按其按照大小比例全部调整为512*512。
所述S300模型构建中,将注意门机制即AGs纳入Unet体系结构中,通过建立通道注意机制模型来显式模型之间的依赖关系渠道,得到任意两个通道的相关强度,通道注意模块的公式为其中Xij表示第i个通道对第j个通道的影响,A代表原始特征,C表示通道数,同时将获得的结果与尺度参数β相乘,并与a执行元素求和操作,以获得最终输出E,其公式如下:其中β逐渐从0学习权重。
所述S300模型构建中,空间注意模块的公式如下:
所述S300模型构建中,将多尺度预测融合到体系结构中,将多个中间层生成的特征进行聚合预测,从而利用不同尺度的全局信息,完成模型的训练过程,输出预测结果,并将预测值和真实值输入到损失函数中,完成模型参数的调优,在网络模型的训练过程中将二值交叉熵作为目标函数,其公式如下:其中yi表示样本i的标签,pi表示样本i预测正确的概率,N表示样本类别。
所述S400模型训练中,使用分割模型对测试集数据进行测试,与其标签结果进行对比,并利用评价指标进行评估,该测试过程通过使用两个性能评价指标用于模型的评估,一个是交集均值即Mean Intersection over Union,MIOU,另一个是平均Dice系数MeanDice coefficient,MDC,其中MIOU公式为其中pii为预测正确的元素个数,pij为i为真值时预测的j的个数,pji为j为真值时预测的i的个数;k为待分类的类别个数,MDC公式为其中Prei代表第i幅图像的分割结果,GTi表示第i幅图像的Ground Truth,N表示样本个数。
本发明与现有技术相比,具有的有益效果是:
本发明通过添加注意门即AGs来消除跳跃连接操作中的语义歧义,利用注意机制将局部特征与其对应的全局依赖关系结合起来,明确建模通道之间的依赖关系,并利用多尺度预测融合来利用不同尺度的全局信息,该模型可以在引入较少参数的情况下获得了更好的分割性能。
附图说明
图1本发明的主要步骤流程图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于MA-Unet的图像分割方法,如图1所示,包括下列步骤:
S100、收集数据:采集来自LUNA比赛中的肺部数据集,包含534个二维样本及各自标签图像;
S200、数据预处理:包括去噪、归一化、数据划分、和图像缩放等方式;
S300、模型构建:构建MA-Unet的肺部图像分割模型,利用不同尺度的全局信息,将多个中间层生成的特征聚合在一起进行预测,通过建立特征与注意机制之间的关联,对全局语境信息进行挖掘,同时去除噪声区域,帮助网络强调与语义类更相关的区域;
S400、模型训练:当模型的损失函数不再降低之后,保存模型。
进一步,步骤S200数据预处理中,数据划分方式为将数据集按照8:2的比例分为训练集和测试集,训练集用于模型的训练,测试集用于测试模型效果。
进一步,步骤S200模型预处理中,图像缩放方式为将数据划分后得到的数据进行缩放,按其按照大小比例全部调整为512*512。
进一步,步骤S300模型构建中,将注意门机制即AGs纳入Unet体系结构中,以消除跳跃连接中不相关响应和噪声响应引起的歧义,只合并相关的激活,通过建立之间的关联特性,注重探索全局上下文信息的机制,建立通道注意机制模型来显式模型之间的依赖关系渠道,得到任意两个通道的相关强度,通道注意模块的公式为其中Xij表示第i个通道对第j个通道的影响,A代表原始特征,C表示通道数,同时将获得的结果与尺度参数β相乘,并与a执行元素求和操作,以获得最终输出E,其公式如下:其中β逐渐从0学习权重,通过该操作模拟了特征映射之间长期的语义依赖关系,有助于提高特征的可区分性,突出了与类相关的特征映射,提高了类之间的特征可区分性。
进一步,步骤S300模型构建中,建立空间注意机制模型将更广泛的上下文信息编码为局部特征,提高局部特征的表示能力,空间注意模块的公式如下:其中Np是特征映射中的位置个数,A和Z分别表示输入和输出特征,是全局注意力集中的权值,Wv2ReLU(LN(Wv1(·))表示瓶颈变换,两个注意模块的末尾,新生成的特性按元素进行相加以生成新特性,汇总这两个注意模块的特征,其中,空间注意模块结合了非局部和SEnet的优点,既可以像非局部一样建立有效的远程依赖,又可以像SEnet一样节省计算量,具有更轻的优点。
进一步,步骤S300模型构建中,将多尺度预测融合到体系结构中,将多个中间层生成的特征进行聚合预测,从而利用不同尺度的全局信息,完成模型的训练过程,输出预测结果,并将预测值和真实值输入到损失函数中,完成模型参数的调优,在网络模型的训练过程中将二值交叉熵作为目标函数,其公式如下:其中yi表示样本i的标签,pi表示样本i预测正确的概率,N表示样本类别。
进一步,步骤S400模型训练中,使用分割模型对测试集数据进行测试,与其标签结果进行对比,并利用评价指标进行评估,该测试过程中通过使用两个性能评价指标用于模型的评估,一个是分割任务中最常用的交集均值即Mean Intersection over Union,MIOU,另一个是平均Dice系数即Mean Dice coefficient,MDC,它们被用来帮助评估模型的质量,MIOU是评价语义分割模型性能的最常用指标,即生成的候选区域与原标记区域的重叠率,即它们的交点与并集之比。其中MIOU公式如下:其中pii为预测正确的元素个数,pij为i为真值时预测的j的个数,pji为j为真值时预测的i的个数,k为待分类的类别个数,而MDC是集合相似度的度量函数,可以用来计算分割图与Ground Truth之间的相似度,其公式如下:
上面仅对本发明的较佳实施例作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化,各种变化均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于MA-Unet的图像分割方法,其特征在于:包括下列步骤:
S100、收集数据:采集来自LUNA比赛中的肺部数据集,包含534个二维样本及各自标签图像;
S200、数据预处理:包括去噪、归一化、数据划分、和图像缩放等方式;
S300、模型构建:构建MA-Unet的肺部图像分割模型,利用不同尺度的全局信息,将多个中间层生成的特征聚合在一起进行预测,通过建立特征与注意机制之间的关联,对全局语境信息进行挖掘,同时去除噪声区域,帮助网络强调与语义类更相关的区域;
S400、模型训练:当模型的损失函数不再降低之后,保存模型。
4.根据权利要求3所述的一种基于MA-Unet的图像分割方法,其特征在于:所述S200数据预处理中,数据划分方式为将数据集按照8:2的比例分为训练集和测试集,训练集用于模型的训练,测试集用于测试模型效果。
5.根据权利要求4所述的一种基于MA-Unet的图像分割方法,其特征在于:所述S200模型预处理中,图像缩放方式为将数据划分后得到的数据进行缩放,按其按照大小比例全部调整为512*512。
9.根据权利要求8所述的一种基于MA-Unet的图像分割方法,其特征在于:所述S400模型训练中,使用分割模型对测试集数据进行测试,与其标签结果进行对比,并利用评价指标进行评估,该测试过程通过使用两个性能评价指标用于模型的评估,一个是交集均值即Mean Intersection over Union,MIOU,另一个是平均Dice系数Mean Dice coefficient,MDC,其中MIOU公式为其中pii为预测正确的元素个数,pij为i为真值时预测的j的个数,pji为j为真值时预测的i的个数;k为待分类的类别个数,MDC公式为其中Prei代表第i幅图像的分割结果,GTi表示第i幅图像的Ground Truth,N表示样本个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110255574.3A CN113096070A (zh) | 2021-03-09 | 2021-03-09 | 一种基于MA-Unet的图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110255574.3A CN113096070A (zh) | 2021-03-09 | 2021-03-09 | 一种基于MA-Unet的图像分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113096070A true CN113096070A (zh) | 2021-07-09 |
Family
ID=76666856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110255574.3A Pending CN113096070A (zh) | 2021-03-09 | 2021-03-09 | 一种基于MA-Unet的图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113096070A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049339A (zh) * | 2021-11-22 | 2022-02-15 | 江苏科技大学 | 一种基于卷积神经网络的胎儿小脑超声图像分割方法 |
CN116109823A (zh) * | 2023-01-13 | 2023-05-12 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、电子设备、存储介质和程序产品 |
CN116824150A (zh) * | 2023-04-24 | 2023-09-29 | 苏州梅曼智能科技有限公司 | 一种基于生成对抗模型的工业图像特征的提取方法 |
-
2021
- 2021-03-09 CN CN202110255574.3A patent/CN113096070A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049339A (zh) * | 2021-11-22 | 2022-02-15 | 江苏科技大学 | 一种基于卷积神经网络的胎儿小脑超声图像分割方法 |
CN116109823A (zh) * | 2023-01-13 | 2023-05-12 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、电子设备、存储介质和程序产品 |
CN116824150A (zh) * | 2023-04-24 | 2023-09-29 | 苏州梅曼智能科技有限公司 | 一种基于生成对抗模型的工业图像特征的提取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112784092B (zh) | 一种混合融合模型的跨模态图像文本检索方法 | |
AU2020104006A4 (en) | Radar target recognition method based on feature pyramid lightweight convolutional neural network | |
CN109145939B (zh) | 一种小目标敏感的双通道卷积神经网络语义分割方法 | |
CN110781776B (zh) | 一种基于预测和残差细化网络的道路提取方法 | |
CN113096070A (zh) | 一种基于MA-Unet的图像分割方法 | |
CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
CN113628249B (zh) | 基于跨模态注意力机制与孪生结构的rgbt目标跟踪方法 | |
CN115170934B (zh) | 一种图像分割方法、系统、设备及存储介质 | |
CN112560966B (zh) | 基于散射图卷积网络的极化sar图像分类方法、介质及设备 | |
CN113569724B (zh) | 基于注意力机制和扩张卷积的道路提取方法及系统 | |
CN113920379B (zh) | 一种基于知识辅助的零样本图像分类方法 | |
CN114821342A (zh) | 一种遥感影像道路提取方法及系统 | |
CN117217368A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
CN114359293A (zh) | 一种基于深度学习的三维mri脑肿瘤分割方法 | |
CN114913434B (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
CN114821340A (zh) | 一种土地利用分类方法及系统 | |
CN114821299A (zh) | 一种遥感图像变化检测方法 | |
CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
Zhang et al. | CDMamba: Remote Sensing Image Change Detection with Mamba | |
CN115115647A (zh) | 一种融合注意力机制和残差aspp的遥感影像语义分割方法 | |
CN113343861B (zh) | 一种基于神经网络模型的遥感图像水体区域提取方法 | |
CN110807601A (zh) | 一种基于截尾数据的园区道路劣化分析方法 | |
CN112818818B (zh) | 一种基于affpn的新型超高清遥感图像变化检测方法 | |
CN114298290A (zh) | 一种基于自监督学习的神经网络编码方法及编码器 | |
CN117173595A (zh) | 基于改进YOLOv7的无人机航拍图像目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |