CN116664587A - 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 - Google Patents
基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 Download PDFInfo
- Publication number
- CN116664587A CN116664587A CN202310517177.8A CN202310517177A CN116664587A CN 116664587 A CN116664587 A CN 116664587A CN 202310517177 A CN202310517177 A CN 202310517177A CN 116664587 A CN116664587 A CN 116664587A
- Authority
- CN
- China
- Prior art keywords
- pseudo
- segmentation
- loss function
- attention
- ultrasonic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003709 image segmentation Methods 0.000 title claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 42
- 238000002604 ultrasonography Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000003902 lesion Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
基于伪彩色增强的混合注意力UNet超声图像分割方法与装置，涉及医学图像处理技术领域。前述方法包括：构建包含编码层和解码层的卷积神经网络；对训练集中的超声图像进行预处理；对超声图像进行伪彩色转化；将超声图像输入编码层中进行下采样和特征提取，并完成特征之间的通道信息交互；将特征图输入解码层中，生成分割图，并计算损失函数；调整卷积神经网络的权值和偏置，直到损失函数收敛，得到最优训练模型；调用最优训练模型对目标超声图像进行处理，得到目标分割特征图；对其进行Sigmoid操作后再进行损失函数的计算，再进行二值化处理，得到最终分割图。本发明可以有效地解决超声图像因成像质量差、伪影、对比度低等导致分割困难的问题。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其指一种基于伪彩色增强的混合注意力UNet超声图像分割方法与装置。
背景技术
超声图像是一种无创、实时、便携式的成像技术，被广泛应用于临床诊断和监测各种疾病，而超声图像分割技术则可以帮助医生更加准确地诊断和定量评估疾病。传统的超声图像分割方法通常基于手工设计的特征提取算法，这些算法需要大量的人力和时间成本，且很难适应不同的病变形态。深度学习技术的兴起使得超声图像分割变得更加高效和准确，其中，通过使用卷积神经网络(CNN)等深度学习模型，可以直接从原始图像中学习特征并进行像素级别的分割。但是，超声图像的固有特征，如噪声、阴影、散射、低对比度和模糊边缘，使目标分割具有挑战性。
目前，基于深度学习的超声图像分割方法主要包括U-Net和SegNet等经典的CNN模型，Attention U-Net、Dense U-Net、ResUNet等一些改进的模型，结合卷积和Transformer的改进模型TransUNet，等等。尽管这些改进的方法可以实现更高的分割性能，但它们的代价是昂贵的计算成本和较低的执行效率。并且，由于传统卷积受限的感受野，这些卷积模型往往会忽略目标的全局信息，导致分割不准确。下采样过程中的特征丢失，也会使模型分割目标细节时出现偏差。对于具有挑战性的超声分割任务来说，这些缺点会严重影响分割的准确性的泛化性。所以，如何解决卷积全局特征提取能力不足，充分权衡效率和复杂度，应对复杂环境下的超声图像分割是目前本领域技术人员待解决的技术难点。
发明内容
本发明所要解决的技术问题是提供一种基于伪彩色增强的混合注意力UNet超声图像分割方法，将经典的伪彩色增强算法与深度学习方法相结合，解决超声图像因成像质量差、伪影、对比度低等导致分割困难的问题。
为了实现上述目的，本发明采用如下技术方案：基于伪彩色增强的混合注意力UNet超声图像分割方法，包括以下步骤：
(1)构建包含编码层和解码层的卷积神经网络；
(2)对训练集中的超声图像进行预处理；
(3)根据伪彩色增强算法对超声图像进行伪彩色转化；
(4)将经过伪彩色转化的超声图像输入编码层中进行下采样和特征提取，并实现特征之间的通道信息交互；
(5)将经过远程依赖关系捕获、特征表示和归一化处理的被下采样的特征图和经过注意力加权的特征图同时输入解码层中，生成分割图，并计算损失函数；
(6)调整卷积神经网络的权值和偏置，直到损失函数收敛，得到最优训练模型；
(7)调用最优训练模型对预处理过的目标超声图像进行处理，得到目标分割特征图；
(8)对目标分割特征图进行Sigmoid操作后再进行损失函数的计算，然后再对图像进行二值化处理，得到最终的分割图。
优选地，步骤(3)中，伪彩色转化方法如下：
I＝g(x，y)………………………………………(1.2)
H＝2πg(x，y)/255………………………(1.3)
其中，f(x，y)表示一个像素的灰度值，0≤f(x，y)≤255；H、S和I分别表示HIS颜色空间中的色调、饱和度和强度；其中，通过将k从0更改为2来选择从0到255的不同饱和度。
优选地，步骤(4)中，在进行特征之间的通道信息交互的过程中，通道注意力通过以下方式学习：
ω＝σ(C1Dk(y))………………………(1.5)
其中，没有降维的聚合特征y∈RC；C1D表示一维卷积，σ表示sigmoid函数，k表示y的相邻通道数。
优选地，步骤(5)中，损失函数采用交叉熵损失函数与Dice损失函数的组合进行计算，其中交叉熵损失函数为：
其中，y表示样本的真实标签，p表示预测标签，N是图像中的像素总数；
其中，Dice损失函数为：
其中，X表示标签值，Y表示预测结果，那么pi、yi分别表示预期结果和标签的第i个像素的值；平滑参数s为1；
其中，使用加权Dice损失和BCE损失进行深度监督损失和最终分割：
其中，λ表示两种损失的权衡参数，λ＝0.3；Lfinal为最终分割的损失。
优选地，步骤(5)中，在将特征图输入解码层之后，融合解码层和相应编码层的特征图。
优选地，步骤(5)中，融合解码层和相应编码层的特征图的步骤如下：
首先使用不同大小的卷积核获得多个尺度的特征信息，然后将其与通道注意力相结合，从而获得更丰富的全局信息交互；对于给定的输入特征图，首先利用7×7卷积获得更大尺度的特征，然后使用3×3卷积进行精细的特征提取，最后将生成的特征图通过含有sigmoid激活函数的3×3卷积层生成分割结果。
优选地，步骤(6)中，根据反向传播算法调整卷积神经网络的权值和偏置。
优选地，步骤(6)中，在计算损失函数时，采用随机梯度下降算法求解交叉熵损失函数的最小值。
优选地，步骤(8)中，通过0.5的阈值大小对图像进行二值化处理。
本发明的另一目的在于提供一种基于伪彩色增强的混合注意力UNet超声图像分割装置，其包括：
初始模型构建单元，用于构建包含编码层和解码层的卷积神经网络；
预处理单元，用于对训练集中的超声图像进行预处理；
伪彩色转化单元，用于根据伪彩色增强算法对超声图像进行伪彩色转化；
编码单元，用于将经过伪彩色转化的超声图像输入编码层中进行下采样和特征提取，并完成特征之间的通道信息交互；
解码单元，用于将经过远程依赖关系捕获、特征表示和归一化处理的被下采样的特征图和经过注意力加权的特征图同时输入解码层中，生成分割图，并计算损失函数；
调整收敛单元，用于调整卷积神经网络的权值和偏置，直到损失函数收敛，得到最优训练模型；
目标处理单元，用于调用最优训练模型对预处理过的目标超声图像进行处理，得到目标分割特征图；
最终分割图生成单元，用于对目标分割特征图进行Sigmoid操作后再进行损失函数的计算，然后再对图像进行二值化处理，得到最终的分割图。
其中，超声图像分割装置还可以包括融合单元，用于融合解码层和相应编码层的特征图。
本发明的基于伪彩色增强的混合注意力UNet超声图像分割方法，通过将经典的伪彩色增强算法与深度学习方法相结合，可以有效地解决超声图像因成像质量差、伪影、对比度低等导致分割困难的问题。其中，本发明能够在不增加额外参数数量的情况下增强通道信息交互，获得更精细的特征，而且还可以融合解码层和相应编码层的特征图，以获得像素级预测结果，并且还能在解码信息恢复中保留更多有用的信息并增强分割效果。对卷积神经网络进行训练后可得到最优训练模型，然后对需要进行分割的图像进行预处理后，调用最优训练模型对其进行预测，经过Sigmoid函数得到概率输出矩阵，再转化为最终的分割图。本发明充分提取了图像的全局与局部信息，并捕捉通道与空间的信息交互，提高超声图像分割的准确性。
附图说明
图1为基于伪彩色增强的混合注意力UNet超声图像分割方法的流程图；
图2为卷积神经网络的结构图；
图3为通道与空间注意模块的结构图；
图4为高效通道注意模块的结构图；
图5为伪彩色增强结果图；
图6为多尺度通道注意模块的结构图；
图7为超声数据集中样例的分割结果图。
具体实施方式
为了便于本领域技术人员更好地理解本发明相对于现有技术的改进之处，下面结合附图和实施例对本发明作进一步的说明。
本实施例主要涉及基于伪彩色增强的混合注意力UNet超声图像分割方法，以下简称“本方法”，其实施流程如图1所示。
本实施例中所采用超声图像数据集由四个公开获取及一个自收集数据集组成，分为训练集，验证集和测试集三部分。在将本方法进行实际应用时，应根据实际获取需要进行分割的图像。本实施例根据7：1：2的比例将其随机分为训练集、验证集和测试集，分割对象包括病变区域和背景两类。对一些超声图像的病变分割结果如图7所示，其中示出了采用本方法和其他超声图像分割方法分割超声图像的结果。其中，本实施例构建的卷积神经网络的结构如图2所示。
(1)首先，对训练集中的超声图像与对应的标签进行预处理和数据增强，然后输入所构建的超声分割网络(包含编码层和解码层的卷积神经网络，编码层包含编码器，解码层包含解码器)的编码器中进行图像下采样和抽象特征提取。这里的预处理以及数据增强主要包含垂直翻转、水平翻转、图像旋转。最后将所有的图像分辨率调整到224×224大小。随后，根据传统的伪彩色增强算法对图片进行伪彩色转化，对于以8位或更多位灰度值显示的灰度图像，一个像素的灰度值用f(x，y)表示，其中0≤f(x，y)≤255。伪彩色转化方法如下：
I＝g(x，y)……………………………(1.2)
H＝2πg(x，y)/255……………………(1.3)
其中H、S和I分别表示HIS颜色空间中的色调、饱和度和强度。式(1.3)中系数的作用是随着f(x，y)的变化保持H在0到2π的范围内。另外，可以通过将k从0更改为2来选择从0到255的不同饱和度。其中，伪彩色增强的效果图如图5所示。
(2)将经过伪彩色转化的超声图像输入本方法的编码器中，并通过高效的通道注意模块改善特征之间的通道信息交互。通道注意模块使用一维卷积构造了一种不需要降维且可以高效完成的局部跨通道交互方法，其结构如图4所示。在每个残差块后面链接高效通道注意模块，改善特征之间通道信息的交互。高效通道注意模块是一种利用一维卷积构造一种不需要降维且可以高效完成局部跨通道交互的方法。因此，给定没有降维的聚合特征y∈RC，通道注意力可以通过以下方式学习：
ω＝σ(C1Dk(y))…………………(1.5)
其中C1D表示一维卷积，σ表示sigmoid函数，k表示y的相邻通道数。
将经过编码器后被下采样的特征图输入瓶颈结构，由通道与空间注意模块捕获远程依赖关系并有效利用多通道空间进行特征表示和归一化。通道与空间注意模块的结构图如图3所示。在具有最大感受野的特征图输入CSAM块之前进行1×1卷积，以增加非线性变化。获得经过注意力加权的特征图以后，将其同时输入解码器分支，经过多尺度通道注意模块，使得在解码信息恢复中保留更多有用的信息并增强分割效果。多尺度通道注意模块如图6所示。该模块融合解码层和相应编码层的特征图以获得像素级预测结果。首先使用不同大小的卷积核获得多个尺度的特征信息，然后将其与通道注意力相结合，从而获得更丰富的全局信息交互。对于给定的输入特征图，首先利用7×7卷积获得更大尺度的特征，然后使用3×3卷积进行精细的特征提取，最后将生成的特征图输入到通道注意模块中，由含有sigmoid激活函数的3×3卷积层生成分割结果。解码器用于生成分割图计算损失函数，这里使用Sigmoid函数进行预测像素的类别。损失函数均采用交叉熵与Dice损失函数的组合进行计算，其中交叉熵损失的计算公式为：
其中yi表示样本的真实标签，pi表示预测标签，N是图像中的像素总数。
类似地，Dice损失可以写成：
其中X表示标签值，Y表示预测结果，pi，yi分别表示预期结果和标签的第i个像素的值。平滑参数s防止除以0，设置为1。
为了解决类不平衡的问题，本实施例使用加权Dice损失和BCE损失进行深度监督损失和最终分割：
其中λ表示两种损失的权衡参数，本实施例设置λ＝0.3。Lfinal指的是最终分割的损失。之后根据反向传播算法调整卷积神经网络的权值和偏置，直到损失函数收敛(误差最小化)，得到最优的训练模型，具体方式为：采用随机梯度下降算法求解交叉熵损失函数的最小值，得到优化后的最优训练模型。
(3)为了利用训练得到的最优训练模型，本实施例对测试集合中的图像和标签分别进行图像预处理。这里不再进行数据增强操作，将图像调整为224×224大小以适配模型输入，再进行伪彩色转化。将其送入模型后，加载最优训练模型的权重参数进行前向推理。分别得到对应的目标分割特征图，进行Sigmoid操作后进行损失函数的计算，再通过0.5的阈值大小对图像进行二值化处理，得到最终的分割图。
具体实施操作为：
首先，对其进行图像预处理，将其调整到224×224像素大小，以适配模型要求的尺寸。
然后，加载训练得到的最优模型，对进行过预处理过的测试图像进行测试，利用两个单独的解码器获得目标的特征图。
对于Sigmoid操作得到分割概率图，使用加权损失函数计算损失，得到最后的概率输出矩阵。经过测试，本实施例对于超声图像的分割Dice能达到80％以上，分割准确率较高。
本发明首先设计了一个基于伪彩色增强的混合注意力UNet超声图像分割方法，将经典的伪彩色增强算法与深度学习方法相结合，可以有效地解决超声图像因成像质量差、伪影、对比度低等导致分割困难的问题。在编码阶段结合高效通道注意模块和通道与空间注意模块，在不增加额外参数数量的情况下增强通道信息交互，获得更精细的特征。本方法还提出一种多尺度通道注意模块，以在解码信息恢复中保留更多有用的信息并增强分割效果。随后对网络进行训练后得到最优训练模型，然后对需要进行测试的图像进行预处理后，调用最优训练模型对其进行预测，经过Sigmoid函数得到概率输出矩阵转化为最终的分割图，充分提取了图像的全局与局部信息，并捕捉通道与空间的信息交互，提高超声图像分割的准确性。
上述实施例为本发明较佳的实现方案，除此之外，本发明还可以其它方式实现，在不脱离本技术方案构思的前提下任何显而易见的替换均在本发明的保护范围之内。
最后，应该强调的是，为了让本领域普通技术人员更方便地理解本发明相对于现有技术的改进之处，本发明的一些描述已经被简化，并且为了清楚起见，本申请文件还省略了一些其它元素，本领域技术人员应该意识到这些省略的元素也可构成本发明的内容。
Claims (10)
1.基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，包括以下步骤：
(1)构建包含编码层和解码层的卷积神经网络；
(2)对训练集中的超声图像进行预处理；
(3)根据伪彩色增强算法对超声图像进行伪彩色转化；
(4)将经过伪彩色转化的超声图像输入编码层中进行下采样和特征提取，并实现特征之间的通道信息交互；
(5)将经过远程依赖关系捕获、特征表示和归一化处理的特征图和经过注意力加权的特征图同时输入解码层中，生成分割图，并计算损失函数；
(6)调整卷积神经网络的权值和偏置，直到损失函数收敛，得到最优训练模型；
(7)调用最优训练模型对预处理过的目标超声图像进行处理，得到目标分割特征图；
(8)对目标分割特征图进行Sigmoid操作后再进行损失函数的计算，然后再对图像进行二值化处理，得到最终的分割图。
2.根据权利要求1所述的基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，步骤(3)中，伪彩色转化方法如下：
I＝g(x，y)………………………………………(1.2)
H＝2πg(x，y)/255………………………………(1.3)
其中，f(x，y)表示一个像素的灰度值，0≤f(x，y)≤255；H、S和I分别表示HIS颜色空间中的色调、饱和度和强度；其中，通过将k从0更改为2来选择从0到255的不同饱和度。
3.根据权利要求1所述的基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，步骤(4)中，在进行特征之间的通道信息交互的过程中，通道注意力通过以下方式学习：
ω＝σ(C1Dk(y))………………………(1.5)
其中，没有降维的聚合特征y∈RC；C1D表示一维卷积，σ表示sigmoid函数，k表示y的相邻通道数。
4.根据权利要求1所述的基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，步骤(5)中，损失函数采用交叉熵损失函数与Dice损失函数的组合进行计算，其中交叉熵损失函数为：
其中，y表示样本的真实标签，p表示预测标签，N是图像中的像素总数；
其中，Dice损失函数为：
其中，X表示标签值，Y表示预测结果，那么pi、yi分别表示预期结果和标签的第i个像素的值；平滑参数s为1；
其中，使用加权Dice损失和BCE损失进行深度监督损失和最终分割：
其中，λ表示两种损失的权衡参数，λ＝0.3；Lfinal为最终分割的损失。
5.根据权利要求1所述的基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，步骤(5)中，在将特征图输入解码层之后，融合解码层和相应编码层的特征图。
6.根据权利要求5所述的基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，步骤(5)中，融合解码层和相应编码层的特征图的步骤如下：
首先使用不同大小的卷积核获得多个尺度的特征信息，然后将其与通道注意力相结合，从而获得更丰富的全局信息交互；对于给定的输入特征图，首先利用7×7卷积获得更大尺度的特征，然后使用3×3卷积进行精细的特征提取，最后将生成的特征图通过含有sigmoid激活函数的3×3卷积层生成分割结果。
7.根据权利要求1所述的基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，步骤(6)中，根据反向传播算法调整卷积神经网络的权值和偏置。
8.根据权利要求1所述的基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，步骤(6)中，在计算损失函数时，采用随机梯度下降算法求解交叉熵损失函数的最小值。
9.根据权利要求1所述的基于伪彩色增强的混合注意力UNet超声图像分割方法，其特征在于，步骤(8)中，通过0.5的阈值大小对图像进行二值化处理。
10.基于伪彩色增强的混合注意力UNet超声图像分割装置，其特征在于，包括：
初始模型构建单元，用于构建包含编码层和解码层的卷积神经网络；
预处理单元，用于对训练集中的超声图像进行预处理；
伪彩色转化单元，用于根据伪彩色增强算法对超声图像进行伪彩色转化；
编码单元，用于将经过伪彩色转化的超声图像输入编码层中进行下采样和特征提取，并完成特征之间的通道信息交互；
解码单元，用于将经过远程依赖关系捕获、特征表示和归一化处理的被下采样的特征图和经过注意力加权的特征图同时输入解码层中，生成分割图，并计算损失函数；
调整收敛单元，用于调整卷积神经网络的权值和偏置，直到损失函数收敛，得到最优训练模型；
目标处理单元，用于调用最优训练模型对预处理过的目标超声图像进行处理，得到目标分割特征图；
最终分割图生成单元，用于对目标分割特征图进行Sigmoid操作后再进行损失函数的计算，然后再对图像进行二值化处理，得到最终的分割图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310517177.8A CN116664587A (zh) | 2023-05-09 | 2023-05-09 | 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310517177.8A CN116664587A (zh) | 2023-05-09 | 2023-05-09 | 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664587A true CN116664587A (zh) | 2023-08-29 |
Family
ID=87723240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310517177.8A Pending CN116664587A (zh) | 2023-05-09 | 2023-05-09 | 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664587A (zh) |
-
2023
- 2023-05-09 CN CN202310517177.8A patent/CN116664587A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819910A (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| JP2021179833A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN111797891A (zh) | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN110648331A (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN115565056A (zh) | 基于条件生成对抗网络的水下图像增强方法及系统 | |
| CN114926382A (zh) | 用于融合图像的生成对抗网络、图像融合方法及终端设备 | |
| CN111667407A (zh) | 一种深度信息引导的图像超分辨率方法 | |
| CN115457359A (zh) | 基于自适应对抗生成网络的pet-mri图像融合方法 | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| CN115631107A (zh) | 边缘引导的单幅图像噪声去除 | |
| CN116503703A (zh) | 一种基于分流注意力Transformer的红外光和可见光图像融合系统 | |
| CN113888399B (zh) | 一种基于风格融合与域选结构的人脸年龄合成方法 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN117475268A (zh) | 一种基于sgdd gan的多模态医学图像融合方法 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN117523204A (zh) | 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质 | |
| Wang et al. | Prior‐guided multiscale network for single‐image dehazing | |
| CN116468887A (zh) | 一种具有普适性的结肠息肉分割方法 | |
| Kumar et al. | Underwater image enhancement using deep learning | |
| CN116664587A (zh) | 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 | |
| CN115100091A (zh) | 一种sar图像转光学图像的转换方法及装置 | |
| Huang et al. | An underwater image color correction algorithm based on underwater scene prior and residual network | |
| Li et al. | Single-Image HDR Reconstruction Assisted Ghost Suppression and Detail Preservation Network for Multi-Exposure HDR Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |