CN117422880A - 改进的注意力机制与cv模型相结合的分割方法及其系统 - Google Patents
改进的注意力机制与cv模型相结合的分割方法及其系统 Download PDFInfo
- Publication number
- CN117422880A CN117422880A CN202311732678.4A CN202311732678A CN117422880A CN 117422880 A CN117422880 A CN 117422880A CN 202311732678 A CN202311732678 A CN 202311732678A CN 117422880 A CN117422880 A CN 117422880A
- Authority
- CN
- China
- Prior art keywords
- convolution
- data
- convolution block
- training
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007246 mechanism Effects 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 139
- 238000012360 testing method Methods 0.000 claims abstract description 66
- 238000010586 diagram Methods 0.000 claims abstract description 38
- 208000006011 Stroke Diseases 0.000 claims abstract description 22
- 230000003902 lesion Effects 0.000 claims abstract description 21
- 206010008190 Cerebrovascular accident Diseases 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000002490 cerebral effect Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 40
- 230000004913 activation Effects 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013215 result calculation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 210000004556 brain Anatomy 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 210000002385 vertebral artery Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及计算机视觉与医学图像处理领域,尤其涉及一种改进的注意力机制与CV模型相结合的分割方法及其系统,步骤如下:选取脑卒中病变数据为数据集,将其划分为训练集和测试集;对训练集和测试集预处理,导入库后进行数据加载,并将其转换成数组类型的数据,重新设置原始训练集和测试集的大小;对训练集数据进行图像增强,再对训练集进行训练,并保存最优权重和偏置量;将增强后数据中的输入图像进行融合获得注意力系数,再读取最优权重和偏置量,以及数据预处理后的测试集中的数据,通过网络解码器输出水平集函数,将其转换成概率分布图,最后加权获得测试集的分割结果。本发明使分割结果的边缘信息等低级特征更清晰,获得更准确的分割结果。
Description
技术领域
本发明涉及计算机视觉与医学图像处理领域,尤其涉及一种改进的注意力机制与CV模型相结合的分割方法及其系统。
背景技术
脑卒中(Brain Stroke)又称“中风”或者“脑血管意外”,是一种脑的颈动脉或者椎动脉因血栓等原因造成狭窄或者堵塞引起一种疾病,同时也是医学领域中常见的一种疾病,他因发病时间短,死亡率高被列为高风险疾病的队伍中,所以对脑卒中的采取有效的检测就显得格外的重要。在脑卒中分割挑战中,复杂的解剖结构导致病变结构边界模糊不清,这使得精确的分割变的异常的艰难,另外MRI和CT图像中可能会受到噪音和伪影的影响,干扰算法的分割能力,另外小病变组织也不容忽视。
因此,本发明提出了一种改进的注意力机制与CV模型相结合的分割方法及其系统来解决上述问题。
发明内容
本发明针对现有技术的不足,提出了一种改进的注意力机制与CV模型相结合的分割方法及其系统,能够使分割结果的边缘信息等低级特征更加清晰,获得更加准确的分割结果。
本发明解决技术问题的技术方案为:
一种改进的注意力机制与CV模型相结合的分割方法,包括以下步骤:
S1.选取脑卒中病变数据作为数据集,将数据集按比例划分为训练集和测试集/>;
S2.对步骤S1获取的训练集和测试集/>进行预处理,将训练集/>和测试集/>导入读写医学影像文件的/>库后进行数据加载,然后将加载后的数据转换成数组类型的数据,重新设置原始训练集/>和测试集/>的大小,计算两者的终止尺寸;
S3. 首先进行数据增强,读取步骤S2中设置后的训练集,随机裁剪大小为/>个切片,以/>的概率上下左右翻转对训练集数据/>进行图像增强,得到增强后的数据/>,然后将步骤S2中设置后的训练集/>输入到模型中进行训练,并将模型训练中得到的最优权重与偏置量/>进行保存;
S4.将增强后的数据中的输入图像/>进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合获得注意力系数/>,然后读取训练模型保存的最优权重/>和偏置量/>,以及步骤S2中预处理后的测试集/>的数据,通过网络解码器输出水平集函数,再将其转换成/>区间上的概率分布图,最后进行加权获得测试集的分割结果。
进一步地,S1的具体步骤为:选取脑卒中病变数据集ATLASv2.0,将其按8:2的比例进行划分,得到训练集和测试集/>,训练集/>,/>表示训练集的个数,测试集/>,/>表示测试集的个数,ATLASv2.0是一个从MR T1加权单模态图像中对脑中风病灶区域进行分割的数据集;
进一步地,S2的具体步骤为:对步骤S1获取的训练集和测试集/>进行预处理,将训练集/>和测试集/>导入/>库后对训练集进行加载,然后得到/>数组类型的数据;重新设置原始训练集/>和测试集/>的大小,用原始尺寸减去目标尺寸后除2作为重新设置数据大小的起始尺寸,用起始尺寸加上目标尺寸为两者的终止尺寸,
,
,
其中为原始数据的尺寸大小,/>为目标尺寸大小,为目标的起始尺寸,/>为目标的终止尺寸。
进一步地,S3的具体步骤为:将步骤S2中重新设置尺寸的训练集输入到模型中进行训练,并将模型训练中得到的最优权重与偏置量进行保存,具体包括两个阶段,第一阶段经过解码器中的卷积块获得水平集函数,第二阶段通过第一阶段获取的水平集函数最小化CV模型来训练优化模型,通过反向传播算法调整训练过程,计算出的模型的权重/>和偏置量/>,并多次迭代训练获得最终权重/>和偏置量/>并保存,CV模型是Chan-Vese主动轮廓模型。
进一步地,第一阶段为:
首先进行数据增强,读取训练集数据,随机裁剪大小为/>个切片,以/>的概率上下左右翻转对训练集数据/>进行图像增强,得到增强后的数据/>;
然后设置网络结构,设计编码器,解码器,Chan-Vese主动轮廓模型模块和边缘增强的注意力EEAM模块;
(1)编码器结构和解码器结构分别由四个卷积块构成,EEAM模块分别放置在编码器第一个卷积块与解码器第四个卷积块的跳跃连接处和编码器第二个卷积块和解码器第三个卷积块的跳跃连接处;
(2)编码器的第一个卷积块读取增强后的数据,经过编码器的第一个卷积得到的特征图/>,/>的维度是/>,将编码器第一个卷积块得到的特征图/>输入到EEAM模块中,其中/>,/>,/>,/>,分别代表编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第一个卷积块包含两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm归一化层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(3)编码器的第二个卷积块读取编码器的第一个卷积块得到的特征图,经过编码器的第二个卷积块得到特征图/>,/>的维度是/>,将编码器第二个卷积块得到的特征图/>输入到EEAM模块中,其中/>,/>,/>,/>,分别代表编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度,
编码器的第二个卷积块包含两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(4)编码器的第三个卷积块读取编码器的第二个卷积块得到的特征图,经过编码器的第三个卷积块得到特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第三个卷积块包括两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(5)编码器的第四个卷积块读取编码器的第三个卷积块得到的特征图,经过编码器的第四个卷积块得到特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第四个卷积块包括两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(6)解码器第一个卷积块读取编码器中第四个卷积块得到的特征图进行上采样得到/>,/>和/>进行拼接,拼接得到的结果输入到解码器的第一个卷积块中,得到输出特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第一个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第一个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层、两个卷积核大小为[3,3,3],步长为2,padding为1的卷积层、BatchNorm层和ReLU激活函数;
(7)解码器第二个卷积块读取解码器中第一个卷积块得到的特征图进行上采样得到/>,/>和/>拼接,拼接得到的结果输入到解码器的第二个卷积块中,得到输出特征图,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第二个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第二个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(8)解码器第三个卷积块读取解码器中第二个卷积块得到的特征图进行上采样得到/>,将上采样特征图/>输入到EEAM模块中和步骤(3)中获到的特征图/>分别进行1×1×1的卷积,将/>和/>卷积后得到的两个结果进行加权,经过ReLU函数,1×1×1的卷积操作和Sigmoid函数的映射得到/>,/>表示第二个EEAM模块获得的第一个归一化后的结果,引入另一分支读取增强后的数据/>分别经过1×1×1和3×3×3的卷积之后与上采样特征图/>进行加权,经过Sigmoid函数得到/>,/>表示第二个EEAM模块获得的第二个归一化后的结果,将/>和/>进行加权,采用最值归一化的方式最终输出注意力系数/>,将获得的注意力系数/>与上采样特征图/>进行相乘,得到注意力权重图,将/>与上采样特征图/>进行拼接,拼接得到的结果输入到解码器的第三个卷积块中,得到输出特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第三个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第三个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(9)解码器第四个卷积块读取解码器中第三个卷积块得到的特征图进行上采样得到/>,将上采样特征图/>输入到EEAM模块中和步骤(2)中获得的特征图/>分别进行1×1×1的卷积,以维持通道数一致,将/>和/>卷积后得到的两个结果进行加权,经过ReLU函数,1×1×1的卷积操作和Sigmoid函数的映射得到/>,/>表示第一个EEAM模块获得的第一个归一化后的结果,引入另一分支读取增强后的数据/>分别经过1×1×1和3×3×3的卷积之后与上采样特征图/>进行加权,经过Sigmoid函数得到/>,/>表示第一个EEAM模块获得的第二个归一化后的结果,将/>和/>进行加权,采用最值归一化的方式将加权后的结果限制在[0,1]的区间上,最终输出注意力系数/>,将获得的注意力系数/>与上采样特征图/>进行相乘,得到注意力权重图/>,将/>与上采样特征图/>进行拼接,拼接得到的结果输入到解码器的第四个卷积块中,得到输出特征图/>,/>的维度是,其中/>,/>,/>,/>,分别代表解码器第四个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第四个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(10)将解码器第四个卷积块获得特征图经过符号距离函数输出为水平集函数,
,
其中,代表/>和/>之间的欧氏距离,/>代表图像边界内,/>代表图像边界外,/>代表图像的边界上,/>是数学符号,表示无穷大,/>和/>表示特征图的坐标。
进一步地,第二阶段为:
将水平集函数输入到Chan-Vese模型中作为一个辅助监督分支,用于拟合图像边缘信息,即通过水平集函数来最小化Chan-Vese模型的能量泛函,以此来训练优化模型;
引用Chan-Vese模型能量函数和/>为损失函数,
,
,
其中为目标区域的像素平均值,/>为背景区域的像素平均值,/>为图像上点的像素值,/>表示目标区域的权重因子,/>表示背景区域的权重因子,H代表Heaviside函数,/>代表梯度,/>表示总损失函数,/>表示/>损失函数,/>和/>表示参数的权重,/>表示闭合轮廓区域,/>表示水平集函数;
网络使用学习率调整策略,使用/>优化器,通过反向传播算法调整训练过程,计算出的模型的权重/>和偏置量/>;
通过多次迭代训练,不断的更新网络的权重和偏置量/>,将最优的网络参数保存,最终完成对训练集/>的训练。
进一步地,S4的具体步骤为:
将步骤S3中得到的增强后的数据中的输入图像/>进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合,以达到对图像的病变进行增强的效果,最终获得注意力系数/>,如公式所示:
注意力系数的计算公式为:
,
其中代表输入图像,/>代表最值归一化,/>代表ReLU激活函数,/>代表Sigmoid函数,/>表示三维卷积,/>、/>和/>均表示/>卷积块;
再读取步骤S3中训练好的模型中保存的权重和偏置量/>,以及测试集数据/>,在网络解码器输出水平集函数/>,通过/>生成[0,1]区间上的概率分布图,然后与解码器上最后一层的/>模块中获得的注意力系数/>进行加权,获得测试集的最终分割结果;
水平集函数计算公式为
,
的计算公式为:
,
最终的分割结果计算公式为:
,
其中为编码器第一个卷积块和解码器第四个卷积块中EEAM模块得到的注意力系数,/>为本发明的网络经过步骤S3第二阶段训练后的训练集/>中的分割概率图。
本发明还提供了一种改进的注意力机制与CV模型相结合的分割方法的系统,包括以下模块:
数据获取模块:选取脑卒中病变数据作为数据集,将数据集按比例划分为训练集和测试集;
数据预处理模块:对进一步划分后的训练集和测试集进行预处理,然后导入读写医学影像文件的库后进行数据加载,再将加载后的数据转换成数组类型的数据,重新设置原始训练集和测试集的大小,计算两者的终止尺寸;
模型训练模块:读取数据预处理模块中处理后的训练集,将其随机裁剪大小为个切片,以/>的概率上下左右翻转对训练集数据进行图像增强,得到增强后的数据,再将数据预处理模块中处理后的训练集输入到模型中进行训练,并将模型训练中得到的最优权重与偏置量进行保存;
测试集处理模块:将增强后的数据中的输入图像进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合获得注意力系数,再读取模型训练模块中训练模型保存的最优权重和偏置量,以及数据预处理模块中预处理后的测试集中的数据,通过网络解码器输出水平集函数,再将其转换成概率分布图,最后进行加权获得测试集的分割结果。
上述技术方案具有如下优点或有益效果:通过改进后的注意力机制应用在病变组织分割上能有效的提高模型对病变组织感兴趣的区域,使得模型能够更好的学习病变组织区域,以便获得更好的分割性能,另外本发明结合了活动轮廓模型,利用曲线演化原理,将第四个解码器输出分割结果朝着目标曲线的方向进行演化,并引入其能量函数进行监督训练,能够进一步的使得分割的结果更加精确。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明的方法流程示意图。
图2为本发明的网络结构示意图。
图3为本发明中EEMA模块示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1 一种改进的注意力机制与CV模型相结合的分割方法,包括以下步骤:
S1.选取脑卒中病变数据作为数据集,将数据集按比例划分为训练集和测试集/>;
S2.对步骤S1获取的训练集和测试集/>进行预处理,将训练集/>和测试集/>导入读写医学影像文件的/>库后进行数据加载,然后将加载后的数据转换成数组类型的数据,重新设置原始训练集/>和测试集/>的大小,计算两者的终止尺寸;
S3. 首先进行数据增强,读取步骤S2中设置后的训练集,随机裁剪大小为/>个切片,以/>的概率上下左右翻转对训练集数据/>进行图像增强,得到增强后的数据/>,然后将步骤S2中设置后的训练集/>输入到模型中进行训练,并将模型训练中得到的最优权重与偏置量/>进行保存;
S4.将增强后的数据中的输入图像/>进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合获得注意力系数/>,然后读取训练模型保存的最优权重/>和偏置量/>,以及步骤S2中预处理后的测试集/>的数据,通过网络解码器输出水平集函数,再将其转换成/>区间上的概率分布图,最后进行加权获得测试集的分割结果。
进一步地,S1的具体步骤为:选取脑卒中病变数据集ATLASv2.0,将其按8:2的比例进行划分,得到训练集和测试集/>,训练集/>,/>表示训练集的个数,测试集/>,/>表示测试集的个数,ATLASv2.0是一个从MR T1加权单模态图像中对脑中风病灶区域进行分割的数据集;
进一步地,S2的具体步骤为:对步骤S1获取的训练集和测试集/>进行预处理,将训练集/>和测试集/>导入/>库后对训练集进行加载,然后得到/>数组类型的数据;重新设置原始训练集/>和测试集/>的大小,用原始尺寸减去目标尺寸后除2作为重新设置数据大小的起始尺寸,用起始尺寸加上目标尺寸为两者的终止尺寸,
,
,
其中为原始数据的尺寸大小,/>为目标尺寸大小,为目标的起始尺寸,/>为目标的终止尺寸。
进一步地,S3的具体步骤为:将步骤S2中重新设置尺寸的训练集输入到模型中进行训练,并将模型训练中得到的最优权重与偏置量进行保存,具体包括两个阶段,第一阶段经过解码器中的卷积块获得水平集函数,第二阶段通过第一阶段获取的水平集函数最小化CV模型来训练优化模型,通过反向传播算法调整训练过程,计算出的模型的权重/>和偏置量/>,并多次迭代训练获得最终权重/>和偏置量/>并保存,CV模型是Chan-Vese主动轮廓模型。
进一步地,第一阶段为:
首先进行数据增强,读取训练集数据,随机裁剪大小为/>个切片,以/>的概率上下左右翻转对训练集数据/>进行图像增强,得到增强后的数据/>;
然后设置网络结构,设计编码器,解码器,Chan-Vese主动轮廓模型模块和边缘增强的注意力EEAM模块;
(1)编码器结构和解码器结构分别由四个卷积块构成,EEAM模块分别放置在编码器第一个卷积块与解码器第四个卷积块的跳跃连接处和编码器第二个卷积块和解码器第三个卷积块的跳跃连接处;
(2)编码器的第一个卷积块读取增强后的数据,经过编码器的第一个卷积得到的特征图/>,/>的维度是/>,将编码器第一个卷积块得到的特征图/>输入到EEAM模块中,其中/>,/>,/>,/>,分别代表编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第一个卷积块包含两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm归一化层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(3)编码器的第二个卷积块读取编码器的第一个卷积块得到的特征图,经过编码器的第二个卷积块得到特征图/>,/>的维度是/>,将编码器第二个卷积块得到的特征图/>输入到EEAM模块中,其中/>,/>,/>,/>,分别代表编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度,
(4)编码器的第三个卷积块读取编码器的第二个卷积块得到的特征图,经过编码器的第三个卷积块得到特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第三个卷积块包括两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(5)编码器的第四个卷积块读取编码器的第三个卷积块得到的特征图,经过编码器的第四个卷积块得到特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第四个卷积块包括两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(6)解码器第一个卷积块读取编码器中第四个卷积块得到的特征图进行上采样得到/>,/>和/>进行拼接,拼接得到的结果输入到解码器的第一个卷积块中,得到输出特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第一个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第一个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层、两个卷积核大小为[3,3,3],步长为2,padding为1的卷积层、BatchNorm层和ReLU激活函数;
(7)解码器第二个卷积块读取解码器中第一个卷积块得到的特征图进行上采样得到/>,/>和/>拼接,拼接得到的结果输入到解码器的第二个卷积块中,得到输出特征图,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第二个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第二个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(8)解码器第三个卷积块读取解码器中第二个卷积块得到的特征图进行上采样得到/>,将上采样特征图/>输入到EEAM模块中和步骤(3)中获到的特征图/>分别进行1×1×1的卷积,将/>和/>卷积后得到的两个结果进行加权,经过ReLU函数,1×1×1的卷积操作和Sigmoid函数的映射得到/>,/>表示第二个EEAM模块获得的第一个归一化后的结果,引入另一分支读取增强后的数据/>分别经过1×1×1和3×3×3的卷积之后与上采样特征图/>进行加权,经过Sigmoid函数得到/>,/>表示第二个EEAM模块获得的第二个归一化后的结果,将/>和/>进行加权,采用最值归一化的方式最终输出注意力系数/>,将获得的注意力系数/>与上采样特征图/>进行相乘,得到注意力权重图,将/>与上采样特征图/>进行拼接,拼接得到的结果输入到解码器的第三个卷积块中,得到输出特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第三个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第三个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(9)解码器第四个卷积块读取解码器中第三个卷积块得到的特征图进行上采样得到/>,将上采样特征图/>输入到EEAM模块中和步骤(2)中获得的特征图/>分别进行1×1×1的卷积,以维持通道数一致,将/>和/>卷积后得到的两个结果进行加权,经过ReLU函数,1×1×1的卷积操作和Sigmoid函数的映射得到/>,/>表示第一个EEAM模块获得的第一个归一化后的结果,引入另一分支读取增强后的数据/>分别经过1×1×1和3×3×3的卷积之后与上采样特征图/>进行加权,经过Sigmoid函数得到/>,/>表示第一个EEAM模块获得的第二个归一化后的结果,将/>和/>进行加权,采用最值归一化的方式将加权后的结果限制在[0,1]的区间上,最终输出注意力系数/>,将获得的注意力系数/>与上采样特征图/>进行相乘,得到注意力权重图/>,将/>与上采样特征图/>进行拼接,拼接得到的结果输入到解码器的第四个卷积块中,得到输出特征图/>,/>的维度是,其中/>,/>,/>,/>,分别代表解码器第四个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第四个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(10)将解码器第四个卷积块获得特征图经过符号距离函数输出为水平集函数,
,
其中,代表/>和/>之间的欧氏距离,/>代表图像边界内,/>代表图像边界外,/>代表图像的边界上,/>是数学符号,表示无穷大,/>和/>表示特征图的坐标。
进一步地,第二阶段为:
将水平集函数输入到Chan-Vese模型中作为一个辅助监督分支,用于拟合图像边缘信息,即通过水平集函数来最小化Chan-Vese模型的能量泛函,以此来训练优化模型;
引用Chan-Vese模型能量函数和/>为损失函数,
,
,
其中为目标区域的像素平均值,/>为背景区域的像素平均值,/>为图像上点的像素值,/>表示目标区域的权重因子,/>表示背景区域的权重因子,H代表Heaviside函数,/>代表梯度,/>表示总损失函数,/>表示/>损失函数,/>和/>表示参数的权重,/>表示闭合轮廓区域,/>表示水平集函数;
网络使用学习率调整策略,使用/>优化器,通过反向传播算法调整训练过程,计算出的模型的权重/>和偏置量/>;
通过多次迭代训练,不断的更新网络的权重和偏置量/>,将最优的网络参数保存,最终完成对训练集/>的训练。
进一步地,S4的具体步骤为:
将步骤S3中得到的增强后的数据中的输入图像/>进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合,以达到对图像的病变进行增强的效果,最终获得注意力系数/>,如公式所示:
注意力系数的计算公式为:
,
其中代表输入图像,/>代表最值归一化,/>代表ReLU激活函数,/>代表Sigmoid函数,/>表示三维卷积,/>、/>和/>均表示/>卷积块;
再读取步骤S3中训练好的模型中保存的权重和偏置量/>,以及测试集数据/>,在网络解码器输出水平集函数/>,通过/>生成[0,1]区间上的概率分布图,然后与解码器上最后一层的/>模块中获得的注意力系数/>进行加权,获得测试集的最终分割结果;
水平集函数计算公式为
,
的计算公式为:
,
最终的分割结果计算公式为:
,
其中为编码器第一个卷积块和解码器第四个卷积块中EEAM模块得到的注意力系数,/>为本发明的网络经过步骤S3第二阶段训练后的训练集/>中的分割概率图。
实施例2 一种改进的注意力机制与CV模型相结合的分割方法的系统,包括以下模块:
数据获取模块:选取脑卒中病变数据作为数据集,将数据集按比例划分为训练集和测试集;
数据预处理模块:对进一步划分后的训练集和测试集进行预处理,然后导入读写医学影像文件的库后进行数据加载,再将加载后的数据转换成数组类型的数据,重新设置原始训练集和测试集的大小,计算两者的终止尺寸;
模型训练模块:读取数据预处理模块中处理后的训练集,将其随机裁剪大小为个切片,以/>的概率上下左右翻转对训练集数据进行图像增强,得到增强后的数据,再将数据预处理模块中处理后的训练集输入到模型中进行训练,并将模型训练中得到的最优权重与偏置量进行保存;
测试集处理模块:将增强后的数据中的输入图像进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合获得注意力系数,再读取模型训练模块中训练模型保存的最优权重和偏置量,以及数据预处理模块中预处理后的测试集中的数据,通过网络解码器输出水平集函数,再将其转换成概率分布图,最后进行加权获得测试集的分割结果。
实施例3 将数据集中的20%的数据用于测试,以分割病变区域为目标,本发明在评价指标Dice上获得结果为62.27%,在评价指标HD上获得结果为60.7734,在评价指标ASD上获得结果为41.3324。相比较于U-Net,Attention U-Net,ResUNet模型获得了更好的分割指标。其中,Dice指只一种图像分割用损失函数,HD指HausdorffDistance豪斯多夫距离,ASD指Average Surface Distance平均表面距离,U-Net是一种主要为图像分割任务开发的图像分割技术,Attention U-Net是基于U-Net模型结构的变体,ResUNet是一种残差网络模型。
下表为本申请与其他模型的结果对比:
上述虽然结合附图对发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种改进的注意力机制与CV模型相结合的分割方法,其特征是,包括以下步骤:
S1.选取脑卒中病变数据作为数据集,将数据集按比例划分为训练集和测试集/>;
S2.对步骤S1获取的训练集和测试集/>进行预处理,将训练集/>和测试集/>导入读写医学影像文件的/>库后进行数据加载,然后将加载后的数据转换成数组类型的数据,重新设置原始训练集/>和测试集/>的大小,计算两者的终止尺寸;
S3. 首先进行数据增强,读取步骤S2中设置后的训练集,随机裁剪大小为/>个切片,以/>的概率上下左右翻转对训练集数据/>进行图像增强,得到增强后的数据/>,然后将步骤S2中设置后的训练集/>输入到模型中进行训练,并将模型训练中得到的最优权重/>与偏置量/>进行保存;
S4.将增强后的数据中的输入图像/>进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合获得注意力系数/>,然后读取训练模型保存的最优权重和偏置量/>,以及步骤S2中预处理后的测试集/>的数据,通过网络解码器输出水平集函数,再将其转换成/>区间上的概率分布图,最后进行加权获得测试集的分割结果。
2.根据权利要求1所述的改进的注意力机制与CV模型相结合的分割方法,其特征在于:
S1的具体步骤为:选取脑卒中病变数据集ATLASv2.0,将其按8:2的比例进行划分,得到训练集和测试集/>,训练集/>,/>表示训练集的个数,测试集,/>表示测试集的个数,ATLASv2.0是一个从MR T1加权单模态图像中对脑中风病灶区域进行分割的数据集。
3.根据权利要求2所述的改进的注意力机制与CV模型相结合的分割方法,其特征在于:
S2的具体步骤为:对步骤S1获取的训练集和测试集/>进行预处理,将训练集/>和测试集/>导入/>库后对训练集进行加载,然后得到/>数组类型的数据;重新设置原始训练集/>和测试集/>的大小,用原始尺寸减去目标尺寸后除2作为重新设置数据大小的起始尺寸,用起始尺寸加上目标尺寸为两者的终止尺寸,
,
,
其中为原始数据的尺寸大小,/>为目标尺寸大小,/>为目标的起始尺寸,/>为目标的终止尺寸。
4.根据权利要求3所述的改进的注意力机制与CV模型相结合的分割方法,其特征在于:
S3的具体步骤为:将步骤S2中重新设置尺寸的训练集输入到模型中进行训练,并将模型训练中得到的最优权重与偏置量进行保存,具体包括两个阶段,第一阶段经过解码器中的卷积块获得水平集函数,第二阶段通过第一阶段获取的水平集函数/>最小化CV模型来训练优化模型,通过反向传播算法调整训练过程,计算出的模型的权重/>和偏置量/>,并多次迭代训练获得最终权重/>和偏置量/>并保存,CV模型是Chan-Vese主动轮廓模型。
5.根据权利要求4所述的改进的注意力机制与CV模型相结合的分割方法,其特征在于:
第一阶段为:
首先进行数据增强,读取训练集数据,随机裁剪大小为/>个切片,以/>的概率上下左右翻转对训练集数据/>进行图像增强,得到增强后的数据/>;
然后设置网络结构,设计编码器,解码器,Chan-Vese主动轮廓模型模块和边缘增强的注意力EEAM模块;
(1)编码器结构和解码器结构分别由四个卷积块构成,EEAM模块分别放置在编码器第一个卷积块与解码器第四个卷积块的跳跃连接处和编码器第二个卷积块和解码器第三个卷积块的跳跃连接处;
(2)编码器的第一个卷积块读取增强后的数据,经过编码器的第一个卷积得到的特征图/>,/>的维度是/>,将编码器第一个卷积块得到的特征图/>输入到EEAM模块中,其中/>,/>,/>,/>,分别代表编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第一个卷积块包含两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm归一化层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(3)编码器的第二个卷积块读取编码器的第一个卷积块得到的特征图,经过编码器的第二个卷积块得到特征图/>,/>的维度是/>,将编码器第二个卷积块得到的特征图/>输入到EEAM模块中,其中/>,/>,/>,/>,分别代表编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度,
编码器的第二个卷积块包含两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(4)编码器的第三个卷积块读取编码器的第二个卷积块得到的特征图,经过编码器的第三个卷积块得到特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第三个卷积块包括两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(5)编码器的第四个卷积块读取编码器的第三个卷积块得到的特征图,经过编码器的第四个卷积块得到特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度,编码器的第四个卷积块包括两个卷积核为[3,3,3],步长为1,填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化;
(6)解码器第一个卷积块读取编码器中第四个卷积块得到的特征图进行上采样得到,/>和/>进行拼接,拼接得到的结果输入到解码器的第一个卷积块中,得到输出特征图,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第一个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第一个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层、两个卷积核大小为[3,3,3],步长为2,padding为1的卷积层、BatchNorm层和ReLU激活函数;
(7)解码器第二个卷积块读取解码器中第一个卷积块得到的特征图进行上采样得到,/>和/>拼接,拼接得到的结果输入到解码器的第二个卷积块中,得到输出特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第二个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第二个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(8)解码器第三个卷积块读取解码器中第二个卷积块得到的特征图进行上采样得到,将上采样特征图/>输入到EEAM模块中和步骤(3)中获到的特征图/>分别进行1×1×1的卷积,将/>和/>卷积后得到的两个结果进行加权,经过ReLU函数,1×1×1的卷积操作和Sigmoid函数的映射得到/>,/>表示第二个EEAM模块获得的第一个归一化后的结果,引入另一分支读取增强后的数据/>分别经过1×1×1和3×3×3的卷积之后与上采样特征图/>进行加权,经过Sigmoid函数得到/>,/>表示第二个EEAM模块获得的第二个归一化后的结果,将/>和/>进行加权,采用最值归一化的方式最终输出注意力系数/>,将获得的注意力系数/>与上采样特征图/>进行相乘,得到注意力权重图/>,将/>与上采样特征图/>进行拼接,拼接得到的结果输入到解码器的第三个卷积块中,得到输出特征图/>,/>的维度是/>,其中/>,/>,/>,/>,分别代表解码器第三个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第三个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(9)解码器第四个卷积块读取解码器中第三个卷积块得到的特征图进行上采样得到,将上采样特征图/>输入到EEAM模块中和步骤(2)中获得的特征图/>分别进行1×1×1的卷积,以维持通道数一致,将/>和/>卷积后得到的两个结果进行加权,经过ReLU函数,1×1×1的卷积操作和Sigmoid函数的映射得到/>,/>表示第一个EEAM模块获得的第一个归一化后的结果,引入另一分支读取增强后的数据/>分别经过1×1×1和3×3×3的卷积之后与上采样特征图/>进行加权,经过Sigmoid函数得到/>,/>表示第一个EEAM模块获得的第二个归一化后的结果,将/>和/>进行加权,采用最值归一化的方式将加权后的结果限制在[0,1]的区间上,最终输出注意力系数/>,将获得的注意力系数与上采样特征图/>进行相乘,得到注意力权重图/>,将/>与上采样特征图/>进行拼接,拼接得到的结果输入到解码器的第四个卷积块中,得到输出特征图/>,/>的维度是,其中/>,/>,/>,/>,分别代表解码器第四个卷积块得到的特征图的通道数、高度、宽度和深度,与编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度相同,解码器的第四个卷积块包括一个卷积核大小为[3,3,3],步长为2,填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2,填充为1的卷积层,BatchNorm层,ReLU激活函数;
(10)将解码器第四个卷积块获得特征图经过符号距离函数输出为水平集函数/>,
,
其中,代表/>和/>之间的欧氏距离,/>代表图像边界内,/>代表图像边界外,代表图像的边界上,/>是数学符号,表示无穷大,/>和/>表示特征图的坐标。
6.根据权利要求5所述的改进的注意力机制与CV模型相结合的分割方法,其特征在于:
第二阶段为:
将水平集函数输入到Chan-Vese模型中作为一个辅助监督分支,用于拟合图像边缘信息,即通过水平集函数来最小化Chan-Vese模型的能量泛函,以此来训练优化模型;
引用Chan-Vese模型能量函数和/>为损失函数,
,
,
其中为目标区域的像素平均值,/>为背景区域的像素平均值,/>为图像上点的像素值,/>表示目标区域的权重因子,/>表示背景区域的权重因子,H代表Heaviside函数,/>代表梯度,/>表示总损失函数,/>表示/>损失函数,/>和/>表示参数的权重,/>表示闭合轮廓区域,/>表示水平集函数;
网络使用学习率调整策略,使用/>优化器,通过反向传播算法调整训练过程,计算出的模型的权重/>和偏置量/>;
通过多次迭代训练,不断的更新网络的权重和偏置量/>,将最优的网络参数保存,最终完成对训练集/>的训练。
7.根据权利要求6所述的改进的注意力机制与CV模型相结合的分割方法,其特征在于:
S4的具体步骤为:
将步骤S3中得到的增强后的数据中的输入图像/>进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合,以达到对图像的病变进行增强的效果,最终获得注意力系数/>,如公式所示:
注意力系数的计算公式为:
,
其中代表输入图像,/>代表最值归一化,/>代表ReLU激活函数,/>代表Sigmoid函数,表示三维卷积,/>、/>和/>均表示/>卷积块;
再读取步骤S3中训练好的模型中保存的权重和偏置量/>,以及测试集数据/>,在网络解码器输出水平集函数/>,通过/>生成[0,1]区间上的概率分布图,然后与解码器上最后一层的/>模块中获得的注意力系数/>进行加权,获得测试集的最终分割结果;
水平集函数计算公式为
,
的计算公式为:
,
最终的分割结果计算公式为:,
其中为编码器第一个卷积块和解码器第四个卷积块中EEAM模块得到的注意力系数,为本发明的网络经过步骤S3第二阶段训练后的训练集/>中的分割概率图。
8.一种改进的注意力机制与CV模型相结合的分割方法的系统,其特征在于,包括以下模块:
数据获取模块:选取脑卒中病变数据作为数据集,将数据集按比例划分为训练集和测试集;
数据预处理模块:对进一步划分后的训练集和测试集进行预处理,然后导入读写医学影像文件的库后进行数据加载,再将加载后的数据转换成数组类型的数据,重新设置原始训练集和测试集的大小,计算两者的终止尺寸;
模型训练模块:读取数据预处理模块中处理后的训练集,将其随机裁剪大小为个切片,以/>的概率上下左右翻转对训练集数据进行图像增强,得到增强后的数据,再将数据预处理模块中处理后的训练集输入到模型中进行训练,并将模型训练中得到的最优权重与偏置量进行保存;
测试集处理模块:将增强后的数据中的输入图像进行卷积操作加入到注意力模型中,先后与上采样和下采样得到的特征图进行融合获得注意力系数,再读取模型训练模块中训练模型保存的最优权重和偏置量,以及数据预处理模块中预处理后的测试集中的数据,通过网络解码器输出水平集函数,再将其转换成概率分布图,最后进行加权获得测试集的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311732678.4A CN117422880B (zh) | 2023-12-18 | 2023-12-18 | 改进的注意力机制与cv模型相结合的分割方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311732678.4A CN117422880B (zh) | 2023-12-18 | 2023-12-18 | 改进的注意力机制与cv模型相结合的分割方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117422880A true CN117422880A (zh) | 2024-01-19 |
CN117422880B CN117422880B (zh) | 2024-03-22 |
Family
ID=89525122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311732678.4A Active CN117422880B (zh) | 2023-12-18 | 2023-12-18 | 改进的注意力机制与cv模型相结合的分割方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117422880B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140090312A (ko) * | 2012-12-31 | 2014-07-17 | 부산가톨릭대학교 산학협력단 | 부분심근관류 스펙 이미지에 베리에이션 레벨 셋을 적용하는 방법 |
CN109919098A (zh) * | 2019-03-08 | 2019-06-21 | 广州视源电子科技股份有限公司 | 目标对象的识别方法和装置 |
CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
CN111798458A (zh) * | 2020-06-15 | 2020-10-20 | 电子科技大学 | 一种基于不确定性引导的交互式医学图像分割方法 |
CN113177943A (zh) * | 2021-06-29 | 2021-07-27 | 中南大学 | 一种脑卒中ct影像分割方法 |
CN113837193A (zh) * | 2021-09-23 | 2021-12-24 | 中南大学 | 一种基于改进U-Net网络的锌浮选泡沫图像分割算法 |
EP3961561A1 (en) * | 2020-08-26 | 2022-03-02 | Siemens Healthcare GmbH | Method for designing a module for image segmentation |
CN114663383A (zh) * | 2022-03-18 | 2022-06-24 | 清华大学 | 一种血细胞分割与识别方法、装置、电子设备和存储介质 |
CN114913327A (zh) * | 2022-05-17 | 2022-08-16 | 河海大学常州校区 | 一种基于改进U-Net的下肢骨骼CT图像分割算法 |
CN114972171A (zh) * | 2022-03-31 | 2022-08-30 | 华中科技大学 | 一种基于深度学习的前列腺mr图像半监督分割方法 |
CN115170582A (zh) * | 2022-06-13 | 2022-10-11 | 武汉科技大学 | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 |
CN115457021A (zh) * | 2022-09-30 | 2022-12-09 | 云南大学 | 基于联合注意卷积神经网络的皮肤病图像分割方法及系统 |
US20220414891A1 (en) * | 2019-09-09 | 2022-12-29 | South China University Of Technology | Method for automatic segmentation of fuzzy boundary image based on active contour and deep learning |
CN116912270A (zh) * | 2023-08-23 | 2023-10-20 | 淮阴工学院 | 一种基于改进的Unet网络的皮肤病图像分割方法及系统 |
CN116977330A (zh) * | 2023-09-21 | 2023-10-31 | 天津医科大学总医院 | 基于脉冲神经网络和上下文感知的房颤辅助分析方法 |
-
2023
- 2023-12-18 CN CN202311732678.4A patent/CN117422880B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140090312A (ko) * | 2012-12-31 | 2014-07-17 | 부산가톨릭대학교 산학협력단 | 부분심근관류 스펙 이미지에 베리에이션 레벨 셋을 적용하는 방법 |
CN109919098A (zh) * | 2019-03-08 | 2019-06-21 | 广州视源电子科技股份有限公司 | 目标对象的识别方法和装置 |
US20220414891A1 (en) * | 2019-09-09 | 2022-12-29 | South China University Of Technology | Method for automatic segmentation of fuzzy boundary image based on active contour and deep learning |
CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
CN111798458A (zh) * | 2020-06-15 | 2020-10-20 | 电子科技大学 | 一种基于不确定性引导的交互式医学图像分割方法 |
EP3961561A1 (en) * | 2020-08-26 | 2022-03-02 | Siemens Healthcare GmbH | Method for designing a module for image segmentation |
CN113177943A (zh) * | 2021-06-29 | 2021-07-27 | 中南大学 | 一种脑卒中ct影像分割方法 |
CN113837193A (zh) * | 2021-09-23 | 2021-12-24 | 中南大学 | 一种基于改进U-Net网络的锌浮选泡沫图像分割算法 |
CN114663383A (zh) * | 2022-03-18 | 2022-06-24 | 清华大学 | 一种血细胞分割与识别方法、装置、电子设备和存储介质 |
CN114972171A (zh) * | 2022-03-31 | 2022-08-30 | 华中科技大学 | 一种基于深度学习的前列腺mr图像半监督分割方法 |
CN114913327A (zh) * | 2022-05-17 | 2022-08-16 | 河海大学常州校区 | 一种基于改进U-Net的下肢骨骼CT图像分割算法 |
CN115170582A (zh) * | 2022-06-13 | 2022-10-11 | 武汉科技大学 | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 |
CN115457021A (zh) * | 2022-09-30 | 2022-12-09 | 云南大学 | 基于联合注意卷积神经网络的皮肤病图像分割方法及系统 |
CN116912270A (zh) * | 2023-08-23 | 2023-10-20 | 淮阴工学院 | 一种基于改进的Unet网络的皮肤病图像分割方法及系统 |
CN116977330A (zh) * | 2023-09-21 | 2023-10-31 | 天津医科大学总医院 | 基于脉冲神经网络和上下文感知的房颤辅助分析方法 |
Non-Patent Citations (8)
Title |
---|
HAORAN WANG 等: "Skin Disease Segmentation Method Based on Network Feature Aggregation Module and Edge Enhanced Attention Mechanism", IEEE ACCESS, 6 November 2023 (2023-11-06), pages 129240 - 129246 * |
MUHAMMAD ZAWISH 等: "Brain Tumor Segmentation in MRI images using Chan-Vese Technique in MATLAB", 2018 INTERNATIONAL CONFERENCE ON COMPUTING, ELECTRONIC AND ELECTRICAL ENGINEERING (ICE CUBE), 13 January 2019 (2019-01-13), pages 1 - 6 * |
NICOLAS MAKAROFF 等: "Chan-Vese Attention U-Net: An Attention Mechanism for Robust Segmentation", GEOMETRIC SCIENCE OF INFORMATION. GSI 2023. LECTURE NOTES IN COMPUTER SCIENCE, 1 August 2023 (2023-08-01), pages 574 * |
朱琳琳 等: "基于U-Net网络的多主动轮廓细胞分割方法研究", 红外与激光工程, vol. 49, no. 1, 25 July 2020 (2020-07-25), pages 151 - 159 * |
李家忻: "基于深度学习的多模态磁共振图像肺部肿块分割方法研究", 中国博士学位论文全文数据库 医药卫生科技辑, vol. 2023, no. 7, 15 July 2023 (2023-07-15), pages 072 - 1 * |
沈烨 等: "嵌入注意力机制的多模型融合冠脉CTA分割算法", 计算机科学与探索, vol. 14, no. 9, 30 September 2020 (2020-09-30), pages 1602 - 1611 * |
陆秋 等: "基于边缘增强的交叉注意力医学影像分割方法", 桂林理工大学学报, 15 November 2023 (2023-11-15), pages 1 - 14 * |
高倩倩 等: "基于CV模型的肝脏核磁共振序列图像自动分割方法", 中国医疗设备, vol. 35, no. 08, 10 August 2020 (2020-08-10), pages 64 - 66 * |
Also Published As
Publication number | Publication date |
---|---|
CN117422880B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109410219B (zh) | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 | |
CN112927255B (zh) | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 | |
CN112132833B (zh) | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 | |
CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
CN110599500B (zh) | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统 | |
CN111476793B (zh) | 动态增强磁共振成像处理方法、系统、存储介质、终端 | |
CN107292312A (zh) | 肿瘤识别方法 | |
CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
CN115170582A (zh) | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 | |
CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
CN113516586A (zh) | 一种低剂量ct图像超分辨率去噪方法和装置 | |
KR20220141205A (ko) | 이미지 처리 방법 및 장치 | |
CN114648541A (zh) | 非小细胞肺癌大体肿瘤靶区自动分割方法 | |
CN117409030B (zh) | 基于动态管状卷积的octa图像血管分割方法及其系统 | |
CN115937113B (zh) | 一种皮肤病超声图像多病种识别方法、设备及存储介质 | |
CN117422880A (zh) | 改进的注意力机制与cv模型相结合的分割方法及其系统 | |
CN116309806A (zh) | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 | |
Xu et al. | Research on optimization scheme for blocking artifacts after patch-based medical image reconstruction | |
CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
CN108447066B (zh) | 胆道图像分割方法、终端、存储介质 | |
CN115439651A (zh) | 一种基于空间多尺度注意网络的dsa脑血管分割系统及方法 | |
CN111126424A (zh) | 一种基于卷积神经网络的超声图像分类方法 | |
CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
CN115375787A (zh) | 伪影校正方法、计算机设备及可读存储介质 | |
CN114693671A (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |