CN116152266A - 一种穿刺针超声图像的分割方法、装置和系统 - Google Patents

一种穿刺针超声图像的分割方法、装置和系统 Download PDF

Info

Publication number
CN116152266A
CN116152266A CN202310326364.8A CN202310326364A CN116152266A CN 116152266 A CN116152266 A CN 116152266A CN 202310326364 A CN202310326364 A CN 202310326364A CN 116152266 A CN116152266 A CN 116152266A
Authority
CN
China
Prior art keywords
puncture needle
image
module
feature
ultrasonic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310326364.8A
Other languages
English (en)
Inventor
张旭明
任一杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310326364.8A priority Critical patent/CN116152266A/zh
Publication of CN116152266A publication Critical patent/CN116152266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种穿刺针超声图像的分割方法、装置和系统，属于超声影像分割技术领域，包括：构建包括编码器和解码器的初始图像分割网络；利用历史穿刺针超声图像集对初始图像神经网络进行训练，调整编码器和解码器的网络参数，得到穿刺针超声图像分割网络；将当前穿刺针对应的原始超声图像输入穿刺针超声图像分割网络，以从原始超声图像中分割出当前穿刺针的针轴图像；将针轴图像和原始超声图像进行特征融合，得到目标显示图像；目标显示图像显示当前穿刺针的位置信息；本发明基于局部窗口自注意力和卷积的并行交互模块，用以构建穿刺针超声图像分割网络，对超声图像中穿刺针进行分割，能够增强通道—空间建模能力，确保穿刺针的精确检测。

Description

一种穿刺针超声图像的分割方法、装置和系统
技术领域
本发明属于超声影像分割技术领域，更具体地，涉及一种穿刺针超声图像的分割方法、装置和系统。
背景技术
在超声影像引导的穿刺手术过程中，穿刺针的精确定位对于提升穿刺手术的安全性和准确性而言至关重要。对穿刺针超声图像进行分析处理，分割出较为清晰的穿刺针形状并标注，可较大程度提升穿刺的准确性和安全性。然而，精确的穿刺针分割是一个具有挑战性的问题，原因主要有两方面，一方面，超声图像固有的斑点噪声和较低的图像对比度导致难以识别针的边界；另一方面，穿刺针在超声图像中呈现为高亮度的线型结构，但图像中存在类似的线型结构干扰。
为了在超声图像中识别穿刺针，许多算法已经被提出。传统的算法包括基于主成分分析(PCA)的算法、霍夫变换(HT)、HT模糊增强组合、并行积分投影(PIP)以及随机样本一致性(RANSAC)和计算机辅助分割(CASPER)等基于学习的算法。然而，由于超声图像的质量较差，这些技术不能准确地检测针，也不能满足实时穿刺的需要。深度学习(deeplearning，DL)网络在图像分类、目标检测、分割和配准等方面优于传统技术，近年来被广泛应用于医学图像分析领域。DL方法已普遍应用穿刺针的检测和定位研究，卷积神经网络(convolutional neural network，CNN)、全卷积神经网络(FCNN)等深度学习框架在穿刺针的分割和定位研究中取得了良好的效果。例如，一种在CNN架构中应用自适应矩估计优化器的方法实现了识别和分割二维超声图像中的穿刺针；使用大边距掩模RCNN的网络框架在二维超声图像中也实现了自动多针定位，应用在了超声引导的前列腺近距离放射治疗中。
然而，现有的基于深度学习的分割方法普遍依赖于CNN，而CNN不能有效提取图像的全局特征，这不利于穿刺针的精确检测。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种穿刺针超声图像的分割方法、装置和系统，其目的在于将CNN和ViT结合，提供一种基于局部窗口自注意力和卷积的并行交互模块，用以构建穿刺针超声图像分割网络，对超声图像中穿刺针进行分割，能够增强通道—空间建模能力，实现更好的特征学习，从而确保穿刺针的精确检测，由此解决现有的基于深度学习的分割方法难以对穿刺针精准检测的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种穿刺针超声图像的分割方法，包括：
S1：构建包括编码器和解码器的初始图像分割网络；所述编码器包括：交互模块、第一卷积模块和最大池化模块；所述解码器包括上采样模块、所述第一卷积模块和第二卷积模块；所述交互模块用于对输入图像特征进行深度卷积，再分别进行通道交互和空间交互，将得到的通道注意力特征和空间注意力特征进行拼接；
S2：利用历史穿刺针超声图像集对所述初始图像神经网络进行训练，调整所述编码器和解码器的网络参数，得到穿刺针超声图像分割网络；
S3：将当前穿刺针对应的原始超声图像输入所述穿刺针超声图像分割网络，以从所述原始超声图像中分割出所述当前穿刺针的针轴图像；
S4：将所述针轴图像和所述原始超声图像进行特征融合，得到目标显示图像；所述目标显示图像显示所述当前穿刺针的位置信息；
其中，所述原始超声图像输入所述穿刺针超声图像分割网络，以使所述编码器中的交互模块进行处理得到第一特征，所述第一特征经过所述最大池化模块进行尺寸压缩得到第二特征；将所述第二特征输入所述第一卷积模块按照第一尺寸进行特征提取得到第三特征，再将所述第三特征输入所述交互模块得到一个交互特征，将所述第三特征输入所述最大池化模块得到新第二特征；将所述新第二特征再次输入所述第一卷积模块得到新第三特征，再将所述新第三特征输入所述交互模块得到一个交互特征，将所述新第三特征输入所述最大池化模块更新第二特征；更新后的第二特征重复迭代，直至所述最大池化模块输出的更新第二特征对应的输出通道数量达到第一阈值，将最终的更新第二特征依次输入所述第一卷积模块和所述交互模块得到编码特征；所述编码特征输入所述解码器，以使所述上采样模块对所述编码特征进上采样，得到的采样特征与一个交互特征叠加，并输入所述第一卷积模块进行特征提取得到解码特征，所述解码特征重复所述编码特征的处理过程，直至满足最终的解码特征对应的输出通道数量达到第二阈值，将所述最终的解码特征输入所述第二卷积模块使其按照第二尺寸进行特征提取得到所述针轴图像。
在其中一个实施例中，所述交互模块包括：双向平行交互的局部窗口自注意力分支和深度卷积分支；
平行分支之间的通道和空间相互作用，能够为两个平行分支提供互相补充的线索；所述深度卷积分支中的信息通过通道交互流向所述局部窗口自注意力分支，所述局部窗口自注意力分支中的信息通过空间交互流向所述深度卷积分支；
所述局部窗口自注意力分支和所述深度卷积分支的输出通过不同的归一化层进行归一化操作，并通过拼接进行合并；合并后的特征输入前馈网络生成最终的输出特征。
在其中一个实施例中，所述通道交互包括：一个全局平均池化层、两个连续的卷积层和sigmoid层；两个卷积层之间进行归一化和激活，再利用所述sigmoid层在通道维度上生成注意力特征。
在其中一个实施例中，所述空间交互包括两个卷积层和sigmoid层，两个所述卷积层之间进行归一化BN和GELU函数激活；经过两个所述卷积层后通道数量减少，再利用所述sigmoid层生成空间注意力特征。
在其中一个实施例中，利用交叉熵损失和戴斯损失构造所述初始图像神经网络训练的损失函数。
在其中一个实施例中，所述初始图像神经网络训练的损失函数为：
Figure BDA0004153360850000041
CE为交叉熵损失，Dice为戴斯损失，分别定义为：
Figure BDA0004153360850000042
其中，yk是真值，
Figure BDA0004153360850000043
是网络的实际输出，n为像素点总个数。
在其中一个实施例中，所述S3包括：
将当前穿刺针对应的原始超声图像输入所述穿刺针超声图像分割网络，以使其输出所述当前穿刺针的二值图像；
从所述二值图像中获取所述当前穿刺针的各个像素的位置(i1,j1),(i2,j2)……(in,jn)，其中n是像素的数量；将多个像素点拟合成一条线，并计算针角和针长，从而得到所述针轴图像。
按照本发明的另一方面，提供了一种穿刺针超声图像的分割方法，包括：
构建模块，用于构建包括编码器和解码器的初始图像分割网络；所述解码器包括：交互模块、第一卷积模块和最大池化模块；所述编码器包括上采样模块、所述第一卷积模块和第二卷积模块；所述交互模块用于对输入图像特征进行深度卷积，再分别进行通道交互和空间交互，将得到的通道注意力特征和空间注意力特征进行拼接；
训练模块，用于利用历史穿刺针超声图像集对所述初始图像神经网络进行训练，调整所述编码器和解码器的网络参数，得到穿刺针超声图像分割网络；
分割模块，用于将当前穿刺针对应的原始超声图像输入所述穿刺针超声图像分割网络，以从所述原始超声图像中分割出所述当前穿刺针的针轴图像；
融合模块，用于将所述针轴图像和所述原始超声图像进行特征融合，得到目标显示图像；所述目标显示图像显示所述当前穿刺针的位置信息。
按照本发明的另一方面，提供了一种穿刺针超声图像的分割系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提供了一种穿刺针超声图像的分割方法，其中，设计基于局部窗口自注意力和卷积的并行交互模块，用以构建穿刺针超声图像分割网络，对超声图像中穿刺针进行分割，能够增强通道—空间建模能力，实现更好的特征学习，从而确保穿刺针的精确检测，由此解决现有的基于深度学习的分割方法难以对穿刺针精准检测的技术问题。
(2)引入局部窗口自注意力和深度卷积模块的并行交互模块，通过跳跃连接将编码器中经过并行交互结构之后的每层特征图快速连接到解码器中进行叠加，双向交互作用由平行分支之间的通道和空间相互作用组成，能够为两个平行分支间提供互相补充的线索；充分利用图像空间和通道的信息，更好地实现不同尺寸的特征融合，提升分割网络的精确性。
附图说明
图1是本发明实施例1提供了一种穿刺针超声图像的分割方法的流程图。
图2是本发明实施例3提供的用于穿刺针超声图像分割网络的结构模型图。
图3a-图3d是本发明实施例7在两个历史穿刺针超声图像集上测试的实验结果分析图。
图4是本发明实施例7在部分历史穿刺针超声图像集上的分割结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
如图1所示，提供了一种穿刺针超声图像的分割方法，包括：
S1：构建包括编码器和解码器的初始图像分割网络；解码器包括：交互模块、第一卷积模块和最大池化模块；编码器包括上采样模块、第一卷积模块和第二卷积模块；交互模块用于对输入图像特征进行深度卷积，再分别进行通道交互和空间交互，将得到的通道注意力特征和空间注意力特征进行拼接；
S2：利用历史穿刺针超声图像集对初始图像神经网络进行训练，调整编码器和解码器的网络参数，得到穿刺针超声图像分割网络；
S3：将当前穿刺针对应的原始超声图像输入穿刺针超声图像分割网络，以从原始超声图像中分割出当前穿刺针的针轴图像；
S4：将针轴图像和原始超声图像进行特征融合，得到目标显示图像；目标显示图像显示当前穿刺针的位置信息；
其中，如图2所示，原始超声图像输入穿刺针超声图像分割网络，以使编码器中的交互模块进行处理得到第一特征，第一特征经过最大池化模块进行尺寸压缩得到第二特征；将第二特征输入第一卷积模块按照第一尺寸进行特征提取得到第三特征，再将第三特征输入交互模块得到一个交互特征，将第三特征输入最大池化模块得到新第二特征；将新第二特征再次输入第一卷积模块得到新第三特征，再将新第三特征输入交互模块得到一个交互特征，将新第三特征输入最大池化模块更新第二特征；更新后的第二特征重复迭代，直至最大池化模块输出的更新第二特征对应的输出通道数量达到第一阈值，将最终的更新第二特征依次输入第一卷积模块和交互模块得到编码特征；编码特征输入解码器，以使上采样模块对编码特征进上采样，得到的采样特征与一个交互特征叠加，并输入第一卷积模块进行特征提取得到解码特征，解码特征重复编码特征的处理过程，直至满足最终的解码特征对应的输出通道数量达到第二阈值，将最终的解码特征输入第二卷积模块使其按照第二尺寸进行特征提取得到针轴图像。
具体的，在编码器部分，第一卷积模块中卷积核大小为3×3，每个维度的步幅为1，第一卷积模块还包括一个校正线性单元(ReLu)和BN层，并通过2×2大小的最大池化层进行池化。
在解码器部分，每次上采样都先通过步长为2的第一卷积模块中的卷积层将特征图尺寸放大，同时将通道数量减少一半。然后，特征图大小恢复到输入图像的大小，并通过一个3×3大小的第一卷积模块进行卷积运算，后面是一个校正线性单元(ReLu)和BN层。在解码器的最后一层，使用第二卷积模块中的一个1×1大小的卷积核将特征图展开映射到输出层。
为了更好地整合全局信息，提升网络的性能，编码器和解码器之间使用了跳跃连接操作，并在跳跃连接前引入局部窗口自注意力和深度卷积模块构成的交互模块。编码器中的每层特征图经过交互模块后通过跳跃连接与解码器中的特征图进行融合叠加，充分利用图像空间和通道的信息，更好地实现不同尺寸的特征融合，提升分割网络的精确性。
实施例2
交互模块包括：双向平行交互的局部窗口自注意力分支和深度卷积分支；
平行分支之间的通道和空间相互作用，能够为两个平行分支提供互相补充的线索；深度卷积分支中的信息通过通道交互流向局部窗口自注意力分支，局部窗口自注意力分支中的信息通过空间交互流向深度卷积分支；
局部窗口自注意力分支和深度卷积分支的输出通过不同的归一化层进行归一化操作，并通过拼接进行合并；合并后的特征输入前馈网络生成最终的输出特征。
具体的，在交互模块中，局部窗口自注意力和深度卷积位于两条平行路径上，通过同时建模窗口内和跨窗口的关系来扩大接受域，它们两者的输出通过不同的归一化层进行归一化操作，并通过拼接进行合并。合并后的特征输入到前馈神经网络(FFN)，用于跨通道混合学习到的关系，生成最终的输出特征。双向交互作用由平行分支之间的通道和空间相互作用组成，能够为两个平行分支间提供互相补充的线索。深度卷积分支中的信息通过通道交互流向另一个分支，局部窗口自注意力分支中的信息通过空间交互流向另一个分支。
实施例3
通道交互包括：一个全局平均池化层、两个连续的卷积层和sigmoid层；两个卷积层之间进行归一化和激活，再利用sigmoid层在通道维度上生成注意力特征。
具体的，通道交互包括一个全局平均池化层，然后是两个连续的1×1卷积层，两个卷积层之间进行归一化和激活；最后，使用sigmoid在通道维度上生成注意力图。
实施例4
空间交互包括两个卷积层和sigmoid层，两个卷积层之间进行归一化BN和GELU函数激活；经过两个卷积层后通道数量减少，再利用sigmoid层生成空间注意力特征。
具体的，空间交互的设计同样是由两个1×1的卷积层组成，两个卷积层之间进行归一化BN和GELU函数激活。经过这两层，通道数量减少到一个，最后使用sigmoid层生成空间注意力图。
实施例5
利用交叉熵损失和戴斯损失构造初始图像神经网络训练的损失函数。
实施例6
初始图像神经网络训练的损失函数为：
Figure BDA0004153360850000091
CE为交叉熵损失，Dice为戴斯损失，分别定义为：
Figure BDA0004153360850000092
其中，yk是真值，
Figure BDA0004153360850000093
是网络的实际输出，n为像素点总个数。
具体的，采集穿刺手术实验的包含穿刺针的二维超声图像数据，对数据集样本按照9:1划分为训练集和测试集，将训练集数据和标注后数据，输入到对应网络中，选择最优网络参数，迭代优化，使每批次的损失达到最小。
在训练过程中，基于穿刺针二维超声图像的特点，选择交叉熵(Cross Entropy，CE)损失和Dice损失构造的函数作为损失函数。其函数表达式分别如下所示：总损失函数：
Figure BDA0004153360850000094
交叉熵损失函数CE和Dice损失函数分别定义为：
Figure BDA0004153360850000095
Figure BDA0004153360850000101
其中，yk是真值，
Figure BDA0004153360850000102
是网络的实际输出，n为像素点总个数。
网络的输出经过SoftMax函数的处理，使其成为概率分布。然后，损失函数会计算预测结果与真值之间的差距，使网络确定梯度下降的方向。通过反复迭代训练过程，网络得到训练和优化。
实施例7
S3包括：
将当前穿刺针对应的原始超声图像输入穿刺针超声图像分割网络，以使其输出当前穿刺针的二值图像；
从二值图像中获取当前穿刺针的各个像素的位置(i1,j1),(i2,j2)……(in,jn)，其中n是像素的数量；将多个像素点拟合成一条线，并计算针角和针长，从而得到针轴图像。
具体的，输入待分割的超声图像，自动分割输出二值图像，可以是白色背景、黑色像素和一些噪声组成的二值图像。分割网络输出的二值图像经过细化、迭代过程后获得表示针的图像上像素的位置(行和列坐标)为(i1,j1),(i2,j2)……(in,jn)，其中n是像素的数量。这些坐标存储为行和列坐标数组。然后可以将它们传递给回归算法，通过最小化残差平方和来估计回归模型中的参数m和c，从而拟合数据点上的一条线。
Figure BDA0004153360850000103
其中，it和jt分别是给定点的像素行和列坐标；
Figure BDA0004153360850000104
和/>
Figure BDA0004153360850000105
分别是图像中形成针的所有像素的行和列坐标的平均值。得到最佳拟合直线后，将直线像素设置为红色并与原始超声图像叠加，形成可视化穿刺针分割图像。
在测试数据集上应用5种网络模型的分割结果如图3a、图3b、3c、图3d和表1所示，在分割Dice相似系数(DSC)相差不大的情况下，使用本实施例(TransMixnet)网络分割所得针轴的平均长度误差取得了最好的效果，平均角度误差与5种网络模型中的最好指标相差0.0021。图4是本实施例在部分历史穿刺针超声图像集上的分割结果对比图。综上所述，本发明提供的基于局部窗口自注意力和深度卷积并行交互的分割网络能够帮助其提升穿刺针二维超声图像的分割性能。
表1实验结果
Figure BDA0004153360850000111
实施例8
按照本发明的另一方面，提供了一种穿刺针超声图像的分割方法，包括：
构建模块，用于构建包括编码器和解码器的初始图像分割网络；解码器包括：交互模块、第一卷积模块和最大池化模块；编码器包括上采样模块、第一卷积模块和第二卷积模块；交互模块用于对输入图像特征进行深度卷积，再分别进行通道交互和空间交互，将得到的通道注意力特征和空间注意力特征进行拼接；
训练模块，用于利用历史穿刺针超声图像集对初始图像神经网络进行训练，调整编码器和解码器的网络参数，得到穿刺针超声图像分割网络；
分割模块，用于将当前穿刺针对应的原始超声图像输入穿刺针超声图像分割网络，以从原始超声图像中分割出当前穿刺针的针轴图像；
融合模块，用于将针轴图像和原始超声图像进行特征融合，得到目标显示图像；目标显示图像显示当前穿刺针的位置信息。
实施例9
按照本发明的另一方面，提供了一种穿刺针超声图像的分割系统，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
实施例10
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种穿刺针超声图像的分割方法，其特征在于，包括：
S1：构建包括编码器和解码器的初始图像分割网络；所述编码器包括：交互模块、第一卷积模块和最大池化模块；所述解码器包括上采样模块、所述第一卷积模块和第二卷积模块；所述交互模块用于对输入图像特征进行深度卷积，再分别进行通道交互和空间交互，将得到的通道注意力特征和空间注意力特征进行拼接；
S2：利用历史穿刺针超声图像集对所述初始图像神经网络进行训练，调整所述编码器和解码器的网络参数，得到穿刺针超声图像分割网络；
S3：将当前穿刺针对应的原始超声图像输入所述穿刺针超声图像分割网络，以从所述原始超声图像中分割出所述当前穿刺针的针轴图像；
S4：将所述针轴图像和所述原始超声图像进行特征融合，得到目标显示图像；所述目标显示图像显示所述当前穿刺针的位置信息；
其中，所述原始超声图像输入所述穿刺针超声图像分割网络，以使所述编码器中的交互模块进行处理得到第一特征，所述第一特征经过所述最大池化模块进行尺寸压缩得到第二特征；将所述第二特征输入所述第一卷积模块按照第一尺寸进行特征提取得到第三特征，再将所述第三特征输入所述交互模块得到一个交互特征，将所述第三特征输入所述最大池化模块得到新第二特征；将所述新第二特征再次输入所述第一卷积模块得到新第三特征，再将所述新第三特征输入所述交互模块得到一个交互特征，将所述新第三特征输入所述最大池化模块更新第二特征；更新后的第二特征重复迭代，直至所述最大池化模块输出的更新第二特征对应的输出通道数量达到第一阈值，将最终的更新第二特征依次输入所述第一卷积模块和所述交互模块得到编码特征；所述编码特征输入所述解码器，以使所述上采样模块对所述编码特征进上采样，得到的采样特征与一个交互特征叠加，并输入所述第一卷积模块进行特征提取得到解码特征，所述解码特征重复所述编码特征的处理过程，直至满足最终的解码特征对应的输出通道数量达到第二阈值，将所述最终的解码特征输入所述第二卷积模块使其按照第二尺寸进行特征提取得到所述针轴图像。
2.如权利要求1所述的穿刺针超声图像的分割方法，其特征在于，所述交互模块包括：双向平行交互的局部窗口自注意力分支和深度卷积分支；
平行分支之间的通道和空间相互作用，能够为两个平行分支提供互相补充的线索；所述深度卷积分支中的信息通过通道交互流向所述局部窗口自注意力分支，所述局部窗口自注意力分支中的信息通过空间交互流向所述深度卷积分支；
所述局部窗口自注意力分支和所述深度卷积分支的输出通过不同的归一化层进行归一化操作，并通过拼接进行合并；合并后的特征输入前馈网络生成最终的输出特征。
3.如权利要求2所述的穿刺针超声图像的分割方法，其特征在于，所述通道交互包括：一个全局平均池化层、两个连续的卷积层和sigmoid层；两个卷积层之间进行归一化和激活，再利用所述sigmoid层在通道维度上生成注意力特征。
4.如权利要求2所述的穿刺针超声图像的分割方法，其特征在于，所述空间交互包括两个卷积层和sigmoid层，两个所述卷积层之间进行归一化BN和GELU函数激活；经过两个所述卷积层后通道数量减少，再利用所述sigmoid层生成空间注意力特征。
5.如权利要求1所述的穿刺针超声图像的分割方法，其特征在于，利用交叉熵损失和戴斯损失构造所述初始图像神经网络训练的损失函数。
6.如权利要求5所述的穿刺针超声图像的分割方法，其特征在于，所述初始图像神经网络训练的损失函数为：
Figure FDA0004153360840000021
CE为交叉熵损失，Dice为戴斯损失，分别定义为：
Figure FDA0004153360840000031
其中，yk是真值，
Figure FDA0004153360840000032
是网络的实际输出，n为像素点总个数。
7.如权利要求1所述的穿刺针超声图像的分割方法，其特征在于，所述S3包括：
将当前穿刺针对应的原始超声图像输入所述穿刺针超声图像分割网络，以使其输出所述当前穿刺针的二值图像；
从所述二值图像中获取所述当前穿刺针的各个像素的位置(i1,j1),(i2,j2)……(in,jn)，其中n是像素的数量；
将多个像素点拟合成一条线，并计算针角和针长，从而得到所述针轴图像。
8.一种穿刺针超声图像的分割装置，其特征在于，用于执行权利要求1-7任一项所述的穿刺针超声图像的分割方法，包括：
构建模块，用于构建包括编码器和解码器的初始图像分割网络；所述编码器包括：交互模块、第一卷积模块和最大池化模块；所述解码器包括上采样模块、所述第一卷积模块和第二卷积模块；所述交互模块用于对输入图像特征进行深度卷积，再分别进行通道交互和空间交互，将得到的通道注意力特征和空间注意力特征进行拼接；
训练模块，用于利用历史穿刺针超声图像集对所述初始图像神经网络进行训练，调整所述编码器和解码器的网络参数，得到穿刺针超声图像分割网络；
分割模块，用于将当前穿刺针对应的原始超声图像输入所述穿刺针超声图像分割网络，以从所述原始超声图像中分割出所述当前穿刺针的针轴图像；
融合模块，用于将所述针轴图像和所述原始超声图像进行特征融合，得到目标显示图像；所述目标显示图像显示所述当前穿刺针的位置信息。
9.一种穿刺针超声图像的分割系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310326364.8A 2023-03-30 2023-03-30 一种穿刺针超声图像的分割方法、装置和系统 Pending CN116152266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310326364.8A CN116152266A (zh) 2023-03-30 2023-03-30 一种穿刺针超声图像的分割方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310326364.8A CN116152266A (zh) 2023-03-30 2023-03-30 一种穿刺针超声图像的分割方法、装置和系统

Publications (1)

Publication Number Publication Date
CN116152266A true CN116152266A (zh) 2023-05-23

Family

ID=86340945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310326364.8A Pending CN116152266A (zh) 2023-03-30 2023-03-30 一种穿刺针超声图像的分割方法、装置和系统

Country Status (1)

Country Link
CN (1) CN116152266A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665063A (zh) * 2023-07-27 2023-08-29 南京信息工程大学 基于自注意力和深度卷积并行的高光谱重建方法
CN117237351A (zh) * 2023-11-14 2023-12-15 腾讯科技（深圳）有限公司 一种超声图像分析方法以及相关装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665063A (zh) * 2023-07-27 2023-08-29 南京信息工程大学 基于自注意力和深度卷积并行的高光谱重建方法
CN116665063B (zh) * 2023-07-27 2023-11-03 南京信息工程大学 基于自注意力和深度卷积并行的高光谱重建方法
CN117237351A (zh) * 2023-11-14 2023-12-15 腾讯科技（深圳）有限公司 一种超声图像分析方法以及相关装置
CN117237351B (zh) * 2023-11-14 2024-04-26 腾讯科技（深圳）有限公司 一种超声图像分析方法以及相关装置

Similar Documents

Publication Publication Date Title
US11200424B2 (en) Space-time memory network for locating target object in video content
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111902825A (zh) 多边形对象标注系统和方法以及训练对象标注系统的方法
CN116152266A (zh) 一种穿刺针超声图像的分割方法、装置和系统
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN115953665B (zh) 一种目标检测方法、装置、设备及存储介质
CN110717480B (zh) 基于随机擦除图像融合的合成孔径雷达遮挡目标识别方法
CN113298831B (zh) 图像分割方法、装置、电子设备及存储介质
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
CN112784750B (zh) 基于像素和区域特征匹配的快速视频物体分割方法和装置
CN115512169B (zh) 基于梯度和区域亲和力优化的弱监督语义分割方法及装置
CN114998362A (zh) 基于双分割模型的医学图像分割方法
CN116563303B (zh) 一种场景可泛化的交互式辐射场分割方法
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN113538363A (zh) 一种基于改进U-Net的肺部医学影像分割方法及装置
CN114565953A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113240638B (zh) 基于深度学习的目标检测方法、设备及介质
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN114998630A (zh) 一种从粗到精的地对空图像配准方法
CN114387308A (zh) 一种机器视觉特征跟踪系统
CN116912502B (zh) 全局视角辅助下图像关键解剖结构的分割方法及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination