CN112750142A - 基于边窗注意力机制的超声图像分割系统及方法 - Google Patents

基于边窗注意力机制的超声图像分割系统及方法 Download PDF

Info

Publication number
CN112750142A
CN112750142A CN202110102028.6A CN202110102028A CN112750142A CN 112750142 A CN112750142 A CN 112750142A CN 202110102028 A CN202110102028 A CN 202110102028A CN 112750142 A CN112750142 A CN 112750142A
Authority
CN
China
Prior art keywords
module
ultrasonic
image
ultrasonic image
side window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110102028.6A
Other languages
English (en)
Inventor
方志军
胡尊琪
蔡清萍
贾兰婷
高永彬
付红兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Shanghai Changzheng Hospital
Original Assignee
Shanghai University of Engineering Science
Shanghai Changzheng Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science, Shanghai Changzheng Hospital filed Critical Shanghai University of Engineering Science
Priority to CN202110102028.6A priority Critical patent/CN112750142A/zh
Publication of CN112750142A publication Critical patent/CN112750142A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于边窗注意力机制的超声图像分割系统及方法,所述系统包括超声数据采集模块、第一数据传输模块、服务器模块、第二数据传输模块及可视化模块;第一数据传输模块分别与超声数据采集模块、服务器模块和可视化模块连接;服务器模块包括图像预处理单元和超声图像分割模型;超声图像分割模型包括卷积神经网络、空洞卷积模块、边窗注意力模块及分类器;卷积神经网络分别与图像预处理单元、空洞卷积模块、边窗注意力模块及分类器连接;第二数据传输模块与可视化模块连接;本发明采用基于边窗注意力机制的卷积神经网络,将边窗卷积融合到卷积过程中,与注意力机制结合使得分割的效果更加准确,极大减少了计算量。

Description

基于边窗注意力机制的超声图像分割系统及方法
技术领域
本发明涉及物理领域,尤其涉及超声图像处理技术,特别涉及医学图像分割的医学辅助诊断技术,具体是一种基于边窗注意力机制的超声图像分割系统及方法。
背景技术
随着中国医疗水平的发展与进步,超声图像检查已经成为最快捷经济的医学图像筛查技术,然而对与日俱增的患者,医学工作者需要花费大量的人力时间放在医学图像诊断上,其中最为耗时耗力的即为医学图像分割。
目前,针对医学图像分割的方法有很多,其中,使用传统的技术方法仍然存在着分割准确度不高,类别不均衡导致的分割错误的缺点;使用传统阈值等分割方法进行分割,精确度达不到所要的效果,会出现大量错误分割的噪音;当前国内外关于超声图像分割方法主要有以下几种:
1.基于FCN的神经网络模型;
2.基于U-Net的神经网络模型;
3.基于传统方法,进行手工特征匹配。
而上述的这几种网络模型或传统算法有以下缺点:
1.计算量大,速度慢,不能达到实时的效果;
2.对于不同的机器于医师采集的数据泛化性能较差;
4.对于异常数据,若出现会严重影响到分割精度。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于边窗注意力机制的超声图像分割系统及方法,用于解决现有超声图像分割技术存在的工作量大、效率慢的问题。
为实现上述目的及其他相关目的,本发明提供一种基于边窗注意力机制的超声图像分割系统,应用于超声引导穿刺手术中,包括:超声数据采集模块、第一数据传输模块、服务器模块、第二数据传输模块及可视化模块;所述超声数据采集模块与所述第一数据传输模块连接,用于采集在所述超声引导穿刺手术过程中,对应患者穿刺部位的超声图像;所述第一数据传输模块分别与所述服务器模块和所述可视化模块连接,用于将所述超声图像分别发送至所述服务器模块和所述可视化模块,以使所述可视化模块可视化显示所述超声图像;所述服务器模块用于处理所述超声图像;所述服务器模块包括:图像预处理单元和超声图像分割模型;其中,所述图像预处理单元用于对所述超声图像进行预处理,以获取预处理后的超声图像;所述超声图像分割模型用于分割所述预处理后的超声图像,所述超声图像分割模型包括:卷积神经网络、空洞卷积模块、边窗注意力模块及分类器;其中,所述图像预处理单元与所述卷积神经网络连接,用于将所述预处理后的超声图像输入至所述卷积神经网络中,以使所述卷积神经网络提取出对应所述预处理后的超声图像的特征图;所述空洞卷积模块与所述卷积神经网络连接,用于对所述特征图进行空洞卷积,获取空洞卷积后的特征图;所述边窗注意力模块与所述卷积神经网络连接,用于对所述空洞卷积后的特征图进行边窗卷积,并在边窗卷积的过程中加入注意力机制,以使所述卷积神经网络输出最终的特征图;所述卷积神经网络与所述分类器连接,用于将所述最终的特征图输入至所述分类器中,以使所述分类器对所述最终的特征图进行分类,获取最终的分割结果;所述第二数据传输模块与所述可视化模块连接,用于将所述最终的分割结果发送至所述可视化模块,以使所述最终的分割结果可视化显示在所述可视化模块中显示的所述超声图像上。
于本发明的一实施例中,所述卷积神经网络包括:编码器和解码器;所述空洞卷积模块分别与所述编码器的末端和所述解码器连接;所述边窗注意力模块与所述解码器连接,位于所述解码器的解码阶段。
于本发明的一实施例中,所述超声数据采集模块包括:超声装置;所述超声装置与所述第一数据传输模块连接,用于采集所述超声图像;所述超声图像的分辨率为1024×768。
于本发明的一实施例中,所述第一数据传输模块和所述第二数据传输模块均包括以下任意一种或几种组合:蜂窝数据、无线局域网和网络数据线。
于本发明的一实施例中,所述图像预处理单元对所述超声图像的预处理包括以下步骤:对所述超声图像进行阈值分析,以判断所述超声图像是否正常;对判断正常的超声图像分别进行不同大小的尺寸变换,获取至少两个具有不同尺寸大小的超声图像。
于本发明的一实施例中,所述可视化模块包括:电脑显示屏;所述电脑显示屏的主窗口用来显示所述超声图像;所述超声图像上显示所述患者穿刺部位不同组织的范围采用不同的颜色填充以区分,且显示各不同组织的分割置信度。
于本发明的一实施例中,所述卷积神经网络采用Dense-Net卷积神经网络;所述分类器采用Softmax分类器。
本发明还提供了一种采用上述的基于边窗注意力机制的超声图像分割系统实现的基于边窗注意力机制的超声图像分割方法,应用于超声引导穿刺手术中,包括以下步骤:利用超声数据采集模块获取在所述超声引导穿刺手术过程中,对应患者穿刺部位的超声图像;利用可视化模块可视化显示所述超声图像;利用服务器模块中的图像预处理单元对所述超声图像进行预处理,获取预处理后的超声图像;利用服务器模块中的超声图像分割模型对所述预处理后的超声图像进行分割,获取最终的分割结果;利用所述可视化模块将所述最终的分割结果可视化显示在所述可视化模块中显示的所述超声图像上。
于本发明的一实施例中,还包括:对所述超声图像分割模型进行训练,获取训练好的超声图像分割模型,以基于所述训练好的超声图像分割模型对所述预处理后的超声图像进行分割。
如上所述,本发明所述的基于边窗注意力机制的超声图像分割系统及方法,具有以下有益效果:
(1)与现有技术相比,本发明提出一种基于边窗注意力机制的超声图像分割系统,采用了高速的基于边窗注意力机制的卷积神经网络,通过将边窗卷积融合到卷积过程中优化卷积效果,与注意力机制结合后的特征能够更加利用超声图像特征,使得分割的效果更加准确,消除特征中的冗余信息,保留边缘信息,极大地减少了计算量,使网络能够实时运行;密集空洞卷积的加入能够扩大网络的对于超声图像的感受野,使得图像的上下文信息能更好的学习到,从而使得丢失的信息更少。
(2)本发明采用深度学习技术使得超声图像能够由模型产生分割结果,极大地降低了人工的标注时间,并且能够适应各种机器与采集者的穿刺部位的超声图像,从而大大增强了该超声图像分割系统的泛化性能,相比现有的超声图像分割方法,更为稳定、适应性更强,且应用范围更广。
附图说明
图1显示为本发明的基于边窗注意力机制的超声图像分割系统于一实施例中的工作原理框图。
图2显示为本发明的图像预处理单元对超声图像的预处理于一实施例中的流程图。
图3(a)至图3(c)分别显示为本发明的边窗卷积于一实施例中的结构示意图。
图4显示为本发明的超声图像分割算法于一实施例中的工作流程图。
图5显示为本发明的可视化模块于一实施例中的显示图。
图6显示为本发明的基于边窗注意力机制的超声图像分割方法于一实施例中的流程图。
标号说明
1-超声数据采集模块;101-超声装置;2-第一数据传输模块;3-服务器模块;31-图像预处理单元;32-超声图像分割模型;321-卷积神经网络;322-空洞卷积模块;323-边窗注意力模块;324-分类器;4-第二数据传输模块;5-可视化模块。
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明的基于边窗注意力机制的超声图像分割系统及方法,与现有技术相比,本发明提出一种基于边窗注意力机制的超声图像分割系统,采用了高速的基于边窗注意力机制的卷积神经网络,通过将边窗卷积融合到卷积过程中优化卷积效果,与注意力机制结合后的特征能够更加利用超声图像特征,使得分割的效果更加准确,消除特征中的冗余信息,保留边缘信息,极大地减少了计算量,使网络能够实时运行;密集空洞卷积的加入能够扩大网络的对于超声图像的感受野,使得图像的上下文信息能更好的学习到,从而使得丢失的信息更少;本发明采用深度学习技术使得超声图像能够由模型产生分割结果,极大地降低了人工的标注时间,并且能够适应各种机器与采集者的穿刺部位的超声图像,从而大大增强了该超声图像分割系统的泛化性能,相比现有的超声图像分割方法,更为稳定、适应性更强,且应用范围更广。
如图1所示,于一实施例中,本发明的基于边窗注意力机制的超声图像分割系统应用于超声引导穿刺手术中,包括超声数据采集模块1、第一数据传输模块2、服务器模块3、第二数据传输模块4及可视化模块5。
具体地,所述超声数据采集模块1与所述第一数据传输模块2连接,用于采集在所述超声引导穿刺手术过程中,对应患者穿刺部位(通常为患者腹部)的超声图像。
于一实施例中,所述超声数据采集模块1包括超声装置101。
具体地,所述超声装置101与所述第一数据传输模块2连接,用于采集所述超声图像。
需要说明的是,所述超声图像的分辨率为1024×768。
优选地,该超声装置101为范围内的超声采集探头。
具体地,所述第一数据传输模块2分别与所述服务器模块3和所述可视化模块5连接,用于将所述超声图像分别发送至所述服务器模块3和所述可视化模块5,以使所述可视化模块5可视化显示所述超声图像。
所述服务器模块3用于处理所述超声图像。
于一实施例中,所述服务器模块3包括图像预处理单元31和超声图像分割模型32。
具体地,所述图像预处理单元31用于对所述超声图像进行预处理,以获取预处理后的超声图像。
如图2所示,于一实施例中,所述图像预处理单元31对所述超声图像的预处理包括以下步骤:
步骤S311、对所述超声图像进行阈值分析,以判断所述超声图像是否正常。
步骤S312、对判断正常的超声图像分别进行不同大小的尺寸变换,获取至少两个具有不同尺寸大小的超声图像。
需要说明的是,上述步骤S311中的阈值分析和步骤S312中的对超声图像进行尺寸变换,均为领域内常用的技术手段,其具体的工作原理不作为限制本发明的条件,所以,在此也不再详细赘述。
具体地,所述超声图像分割模型32用于分割所述预处理后的超声图像。
于一实施例中,所述超声图像分割模型32包括卷积神经网络321、空洞卷积模块322、边窗注意力模块323及分类器324。
具体地,所述图像预处理单元31与所述卷积神经网络321连接,用于将所述预处理后的超声图像输入至所述卷积神经网络321中,以使所述卷积神经网络321提取出对应所述预处理后的超声图像的特征图;所述空洞卷积模块322与所述卷积神经网络321连接,用于对所述特征图进行空洞卷积,获取空洞卷积后的特征图。
于一实施例中,所述卷积神经网络321采用Dense-Net卷积神经网络。
于一实施例中,所述卷积神经网络321包括编码器和解码器。
具体地,所述空洞卷积模块322分别与所述编码器的末端和所述解码器连接;所述边窗注意力模块323与所述解码器连接,位于所述解码器的解码阶段。
需要说明的是,该空洞卷积模块322用于处理在卷积神经网络321的编码器最后阶段得到的特征,其设计在Dense-Net的基础上,将空洞卷积引入,可以对于卷积后的特征的感受野增强,Dense-Net的结构能够利用不同时段的卷积特征,可以对特征信息进行重利用,空洞卷积的引入能够增强对上下文信息的利用,在卷积神经网络中起到增强编码器处理的结果。
需要说明的是,该Dense-Net为领域内常见的卷积神经网络,其工作原理不作为限制本发明的条件,所以,在此与不再详细赘述。
具体地,所述边窗注意力模块323与所述卷积神经网络321连接,用于对所述空洞卷积后的特征图进行边窗卷积,并在边窗卷积的过程中加入注意力机制,以使所述卷积神经网络321输出最终的特征图。
需要说明的是,与传统的卷积不同,边窗滤波器的卷积更加适合具有边缘信息的数据,传统卷积方法使用全窗口回归,也就是把窗口的中心位置放在待处理像素的位置,即便是用非线性各向异性加权,仍然无法杜绝沿着图像边缘的扩散,基于分析,可以将窗口的边缘直接放在待处理像素的位置,具体到一个像素位置的时候,可以直接枚举八个可能的方向,让数据自适应地选择一个最佳的方向,并在边窗卷积中加入注意力机制(Attention),再通过将其位于卷积神经网络321的解码器阶段,得到具有响应程度的保边特征图。
具体地,所述卷积神经网络321与所述分类器324连接,用于将所述最终的特征图输入至所述分类器324中,以使所述分类器324对所述最终的特征图进行分类,获取最终的分割结果。
于一实施例中,所述分类器324采用Softmax分类器。
如图3(a)至图3(c)所示,卷积实质上是加权求和的一个过程,一个3*3的卷积核卷积的过程,实际上可以看做是一个3*3的区域内特征值加权求和得到新的更深层次特征值的过程;传统卷积即便是用非线性各向异性加权,仍然无法杜绝沿着图像边缘的扩散,可能只是沿着边缘的扩散比较大,而沿着法线的扩散的比较小,比较小也是扩散,这是传统方法不保边的本质原因;基于分析,可以将窗口的边缘直接放在待处理像素的位置,具体到一个像素位置的时候,可以直接枚举八个可能的方向,让数据自适应地选择一个最佳的方向。
具体地,首先,以连续的方式定义侧窗,侧窗的定义如图3(a)和图3(b)所示,有down(D)、right(R)、up(U)、left(L)侧窗,分别表示为
Figure BDA0002916301540000061
Figure BDA0002916301540000062
使像素i与侧窗对齐,有西南(SW),东南(SE),东北(NE)和西北(NW)侧窗,如图3(c)所示,分别记为
Figure BDA0002916301540000063
Figure BDA0002916301540000064
使像素i与角落对齐。
需要说明的是,在设计侧窗的尺寸,形状和方向方面具有很大的灵活性,其具体不作为限制本发明的条件,唯一的特定要求是将考虑中的像素放置在窗口的侧面或角落。
通过设置每个窗口的卷积核形状,我们可以得到边缘输出I′i
其中,F={L,R,U,D,NW,NE,SW,SE}是侧窗的集合。
I′i=F(qi,)#(1)
这意味着要最小化输入与输出的边缘结构的距离,因此,选择具有最小距离的边缘输出,这里以L2最小距离作为最终输出。
Figure BDA0002916301540000071
普通卷积像素近似为其相邻像素在局部窗口上的加权平均值,Ωi以像素i为中心的卷积窗口,ωij表示卷积核的权重,在位置i时,qj和Ii分别为输入图像q和输出图像I的强度。
Figure BDA0002916301540000072
通过边窗卷积使得通过注意力机制(Attention)后的特征与周围的相邻节点乘上对应的权重矩阵,经过上采样恢复初始的图像尺寸大小,通过Softmax能够得到各层组织的分类概率,经过后处理可以得到最终的分割结果。
需要说明的是,在该服务器模块3内包含有一套超声图像分割算法(用于超声图像分割的软件系统),该超声图像分割算法运行在该服务器模块3上,运行耗时低且配有图像界面操作。
需要说明的是,该超声图像分割算法是当前基于卷积神经网络的最新算法,首先要对采集到的数据信息用阈值分析的方法,判断是否为正常图像;之后,用将预处理的图像为网络可直接读取的数据;然后,使用新的卷积方法————边窗卷积,将提取到的特征图,逐步在上采样阶段进行学习,并加入注意力机制;最后,将每个阶段的预测图融合送入Softmax分类器中进行分类。
进一步地,该超声图像分割算法属于端到端的算法,其网络(指超声图像分割模型32)的输入是从超声装置101中采集的腹部超声图像,网络的输出是具有腹部分层结构的实时图像;其服务器模块3中所描述的空洞卷积模块322、边窗注意力模块323都是包含于这套分割算法中的,其处理的过程是自动的,因此,从输入超声图像(输入端)到输出分割的结果(输出端),整个过程是端到端的进行的,过程能够达到实时的效果。
如图4所示,该超声图像分割算法的工作原理如下:
该超声图像分割算法的输入数据为超声装置101采集的超声图像,由阈值算法处理后得到输入网络的图像;如图4的算法示意图:在卷积神经网络321的编码器的不同阶段输入不同尺寸的超声图像(经步骤S312获取的超声图像),在其编码器的末端使用了空洞卷积模块322(对应图4中的DAC),在卷积神经网络321的解码器的阶段使用边窗注意力机制(SAT),通过加入注意力机制(Attention)以增强重要边缘和特征图的信息,并且通过边窗卷积可以进一步提高该系统的识别精度,最后将各个阶段的特征恢复到原始尺寸,通过共同优化,通过最后所得到的特征值送入Softmax分类器中进行分类,得到最终的分割结果。
需要说明的是,该超声图像分割模型32属于深度学习技术的应用,因此,必不可少的过程是训练模型文件;考虑到超声图像数据有限,并且超声图像成像含有噪音,因此,利用上述的边窗卷积和注意力机制结合,与密集空洞卷积共同作用再次学习特征信息,使该超声图像分割模型32的性能得到进一步提升。
进一步地,在训练该超声图像分割模型32的过程中,使用不同机器产生的样本数据,可使得该基于深度学习的超声图像分割模型32的输入数据更加可靠,泛化能力更强。
需要说明的是,该超声图像分割模型32采用了高速的基于边窗注意力机制的卷积神经网络,通过将边窗卷积融合到卷积过程中优化卷积效果,与注意力机制结合后的特征能够更加利用超声图像特征,使得分割的效果更加准确,密集空洞卷积的加入能够扩大网络的对于超声图像的感受野,使得图像的上下文信息能更好的学习到,从而使得丢失的信息更少。
具体地,所述第二数据传输模块4与所述可视化模块5连接,用于将所述最终的分割结果发送至所述可视化模块5,以使所述最终的分割结果可视化显示在所述可视化模块5中显示的所述超声图像上。
于一实施例中,所述第一数据传输模块2和所述第二数据传输模块4均包括以下任意一种或几种组合:蜂窝数据、无线局域网和网络数据线。
需要说明的是,该第一数据传输模块2和所述第二数据传输模块4不限于上述的蜂窝数据、无线局域网和网络数据线,能够达到将数据传输的效果即可作为该第一数据传输模块2和/或所述第二数据传输模块4。
进一步地,基于便捷性考虑,可以通过无线局域网的方式进行数据传输,该第一数据传输模块2将超声装置101采集的超声图像到传输到服务器模块3,该第二数据传输模块4将服务器模块3处理后的超声图像传输到可视化模块5。
于一实施例中,所述可视化模块5包括电脑显示屏。
具体地,所述电脑显示屏的主窗口用来显示所述超声图像。
需要说明的是,所述超声图像上显示所述患者穿刺部位不同组织的范围采用不同的颜色填充以区分,且显示各不同组织的分割置信度,进而通过该可视化模块5实现在超声引导穿刺手术中精准判断穿刺的位置。
如图5所示,包含一个主窗口用来显示实时超声探头拍摄到的画面,画面中会标出腹部超声组织的分割情况。当采集到的图像正常时,通过服务器模块分割的结果将呈现在显示器,界面还会显示腹部不同组织分割的精度。
需要说明的是,针对大量的超声图像,如果采用手动区分,会给医生的工作量增加且不能保证分割的稳定性,极大的延长了患者诊断的时间,为了解决这个缺点,本发明采用深度学习技术使得超声图像能够由模型产生分割结果,训练过程中的使用的不同机器产生的样本,使得深度学习神经网络模型的输入数据更加可靠,泛化能力更强。
进一步地,该基于边窗注意力机制的超声图像分割系统的整个超声图像分割过程是从输入端(超声采集探头采集的超声图像)到输出端(包含图像预处理与分割)一步到位的,其中间所应用到的密集空洞卷积、边窗注意力模块、阈值处理,都是包含在超声图像分割算法中的,因此,该基于边窗注意力机制的超声图像分割系统的整个过程是端到端并且可视化的。
需要说明的是,该基于边窗注意力机制的超声图像分割系统能对不同设备上对不同个体收集的超声图像进行处理,辅助判断腹部组织情况,降低需要的诊断时间;在接收到超声装置采集的超声图像时,服务器模块3能够实时进行图像分割,并且将可视化结果呈现在图形界面上,实现对腹部组织进行分层判断,以协助医生开展精准超声引导穿刺手术。
如图6所示,于一实施例中,本发明的采用上述的基于边窗注意力机制的超声图像分割系统实现的基于边窗注意力机制的超声图像分割方法,应用于超声引导穿刺手术中,包括以下步骤:
步骤S61、利用超声数据采集模块获取在所述超声引导穿刺手术过程中,对应患者穿刺部位的超声图像。
步骤S62、利用可视化模块可视化显示所述超声图像。
步骤S63、利用服务器模块中的图像预处理单元对所述超声图像进行预处理,获取预处理后的超声图像。
步骤S64、利用服务器模块中的超声图像分割模型对所述预处理后的超声图像进行分割,获取最终的分割结果。
步骤S65、利用所述可视化模块将所述最终的分割结果可视化显示在所述可视化模块中显示的所述超声图像上。
于一实施例中,还包括对所述超声图像分割模型进行训练,获取训练好的超声图像分割模型,以基于所述训练好的超声图像分割模型对所述预处理后的超声图像进行分割。
需要说明的是,本发明所述的基于边窗注意力机制的超声图像分割方法的保护范围不限于本实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
需要说明的是,基于边窗注意力机制的超声图像分割方法的工作原理与上述基于边窗注意力机制的超声图像分割系统的工作原理相同,故在此不再赘述。
综上所述,本发明的基于边窗注意力机制的超声图像分割系统及方法,与现有技术相比,本发明提出一种基于边窗注意力机制的超声图像分割系统,采用了高速的基于边窗注意力机制的卷积神经网络,通过将边窗卷积融合到卷积过程中优化卷积效果,与注意力机制结合后的特征能够更加利用超声图像特征,使得分割的效果更加准确,消除特征中的冗余信息,保留边缘信息,极大地减少了计算量,使网络能够实时运行;密集空洞卷积的加入能够扩大网络的对于超声图像的感受野,使得图像的上下文信息能更好的学习到,从而使得丢失的信息更少;本发明采用深度学习技术使得超声图像能够由模型产生分割结果,极大地降低了人工的标注时间,并且能够适应各种机器与采集者的穿刺部位的超声图像,从而大大增强了该超声图像分割系统的泛化性能,相比现有的超声图像分割方法,更为稳定、适应性更强,且应用范围更广;所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于边窗注意力机制的超声图像分割系统,应用于超声引导穿刺手术中,其特征在于,包括:超声数据采集模块、第一数据传输模块、服务器模块、第二数据传输模块及可视化模块;
所述超声数据采集模块与所述第一数据传输模块连接,用于采集在所述超声引导穿刺手术过程中,对应患者穿刺部位的超声图像;
所述第一数据传输模块分别与所述服务器模块和所述可视化模块连接,用于将所述超声图像分别发送至所述服务器模块和所述可视化模块,以使所述可视化模块可视化显示所述超声图像;
所述服务器模块用于处理所述超声图像;所述服务器模块包括:图像预处理单元和超声图像分割模型;其中,
所述图像预处理单元用于对所述超声图像进行预处理,以获取预处理后的超声图像;
所述超声图像分割模型用于分割所述预处理后的超声图像,所述超声图像分割模型包括:卷积神经网络、空洞卷积模块、边窗注意力模块及分类器;其中,
所述图像预处理单元与所述卷积神经网络连接,用于将所述预处理后的超声图像输入至所述卷积神经网络中,以使所述卷积神经网络提取出对应所述预处理后的超声图像的特征图;
所述空洞卷积模块与所述卷积神经网络连接,用于对所述特征图进行空洞卷积,获取空洞卷积后的特征图;
所述边窗注意力模块与所述卷积神经网络连接,用于对所述空洞卷积后的特征图进行边窗卷积,并在边窗卷积的过程中加入注意力机制,以使所述卷积神经网络输出最终的特征图;
所述卷积神经网络与所述分类器连接,用于将所述最终的特征图输入至所述分类器中,以使所述分类器对所述最终的特征图进行分类,获取最终的分割结果;
所述第二数据传输模块与所述可视化模块连接,用于将所述最终的分割结果发送至所述可视化模块,以使所述最终的分割结果可视化显示在所述可视化模块中显示的所述超声图像上。
2.根据权利要求1所述的基于边窗注意力机制的超声图像分割系统,其特征在于,所述卷积神经网络包括:编码器和解码器;
所述空洞卷积模块分别与所述编码器的末端和所述解码器连接;
所述边窗注意力模块与所述解码器连接,位于所述解码器的解码阶段。
3.根据权利要求1所述的基于边窗注意力机制的超声图像分割系统,其特征在于,所述超声数据采集模块包括:超声装置;
所述超声装置与所述第一数据传输模块连接,用于采集所述超声图像;
所述超声图像的分辨率为1024×768。
4.根据权利要求1所述的基于边窗注意力机制的超声图像分割系统,其特征在于,所述第一数据传输模块和所述第二数据传输模块均包括以下任意一种或几种组合:蜂窝数据、无线局域网和网络数据线。
5.根据权利要求1所述的基于边窗注意力机制的超声图像分割系统,其特征在于,所述图像预处理单元对所述超声图像的预处理包括以下步骤:
对所述超声图像进行阈值分析,以判断所述超声图像是否正常;
对判断正常的超声图像分别进行大小尺寸变换,获取至少两个具有尺寸大小的超声图像。
6.根据权利要求1所述的基于边窗注意力机制的超声图像分割系统,其特征在于,所述可视化模块包括:电脑显示屏;
所述电脑显示屏的主窗口用来显示所述超声图像;
所述超声图像上显示所述患者穿刺部位不同组织的范围采用不同的颜色填充以区分,且显示各不同组织的分割置信度。
7.根据权利要求1所述的基于边窗注意力机制的超声图像分割系统,其特征在于,所述卷积神经网络采用Dense-Net卷积神经网络;所述分类器采用Softmax分类器。
8.一种采用权利要求1至7中任一项所述的基于边窗注意力机制的超声图像分割系统实现的基于边窗注意力机制的超声图像分割方法,应用于超声引导穿刺手术中,其特征在于,包括以下步骤:
利用超声数据采集模块获取在所述超声引导穿刺手术过程中,对应患者穿刺部位的超声图像;
利用可视化模块可视化显示所述超声图像;
利用服务器模块中的图像预处理单元对所述超声图像进行预处理,获取预处理后的超声图像;
利用服务器模块中的超声图像分割模型对所述预处理后的超声图像进行分割,获取最终的分割结果;
利用所述可视化模块将所述最终的分割结果可视化显示在所述可视化模块中显示的所述超声图像上。
9.根据权利要求8所述的基于边窗注意力机制的超声图像分割方法,其特征在于,还包括:对所述超声图像分割模型进行训练,获取训练好的超声图像分割模型,以基于所述训练好的超声图像分割模型对所述预处理后的超声图像进行分割。
CN202110102028.6A 2021-01-26 2021-01-26 基于边窗注意力机制的超声图像分割系统及方法 Pending CN112750142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110102028.6A CN112750142A (zh) 2021-01-26 2021-01-26 基于边窗注意力机制的超声图像分割系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110102028.6A CN112750142A (zh) 2021-01-26 2021-01-26 基于边窗注意力机制的超声图像分割系统及方法

Publications (1)

Publication Number Publication Date
CN112750142A true CN112750142A (zh) 2021-05-04

Family

ID=75653094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110102028.6A Pending CN112750142A (zh) 2021-01-26 2021-01-26 基于边窗注意力机制的超声图像分割系统及方法

Country Status (1)

Country Link
CN (1) CN112750142A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421274A (zh) * 2021-07-13 2021-09-21 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN113793345A (zh) * 2021-09-07 2021-12-14 复旦大学附属华山医院 一种基于改进注意力模块的医疗影像分割方法及装置
WO2023226951A1 (en) * 2022-05-23 2023-11-30 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288611A (zh) * 2019-06-12 2019-09-27 上海工程技术大学 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN110796250A (zh) * 2019-10-11 2020-02-14 浪潮电子信息产业股份有限公司 应用于卷积神经网络的卷积处理方法、系统及相关组件
CN110853049A (zh) * 2019-10-17 2020-02-28 上海工程技术大学 一种腹部超声图像分割方法
CN110992352A (zh) * 2019-12-13 2020-04-10 北京小白世纪网络科技有限公司 基于卷积神经网络的婴儿头围ct图像自动测量方法
CN111161273A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种基于深度学习的医学超声图像分割方法
CN112132817A (zh) * 2020-09-29 2020-12-25 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288611A (zh) * 2019-06-12 2019-09-27 上海工程技术大学 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN110796250A (zh) * 2019-10-11 2020-02-14 浪潮电子信息产业股份有限公司 应用于卷积神经网络的卷积处理方法、系统及相关组件
CN110853049A (zh) * 2019-10-17 2020-02-28 上海工程技术大学 一种腹部超声图像分割方法
CN110992352A (zh) * 2019-12-13 2020-04-10 北京小白世纪网络科技有限公司 基于卷积神经网络的婴儿头围ct图像自动测量方法
CN111161273A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种基于深度学习的医学超声图像分割方法
CN112132817A (zh) * 2020-09-29 2020-12-25 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUILIN TONG等: "SAT-Net: a side attention network for retinal image segmentation", 《APPLIED INTELLIGENCE》 *
刘欣等: "基于边窗滤波和扩张卷积的矿井行人检测", 《电子技术应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421274A (zh) * 2021-07-13 2021-09-21 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN113421274B (zh) * 2021-07-13 2022-08-02 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN113793345A (zh) * 2021-09-07 2021-12-14 复旦大学附属华山医院 一种基于改进注意力模块的医疗影像分割方法及装置
CN113793345B (zh) * 2021-09-07 2023-10-31 复旦大学附属华山医院 一种基于改进注意力模块的医疗影像分割方法及装置
WO2023226951A1 (en) * 2022-05-23 2023-11-30 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Similar Documents

Publication Publication Date Title
CN112750142A (zh) 基于边窗注意力机制的超声图像分割系统及方法
CN115205300B (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
CN112381164B (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
CN112164082A (zh) 基于3d卷积神经网络分割多模态mr脑部图像方法
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN117274270B (zh) 基于人工智能的消化内镜实时辅助系统及方法
CN111402254A (zh) 一种ct图像肺结节高性能自动检测方法及装置
CN113077419A (zh) 用于髋关节ct影像识别的信息处理方法及装置
CN113633315A (zh) 采用超声图处理系统的超声图处理方法
CN112741651B (zh) 一种内窥镜超声影像的处理方法及系统
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113647987A (zh) 用于检测活体组织结节的系统和方法
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN115661029A (zh) 基于YOLOv5的肺结节检测与识别系统
CN114332858A (zh) 病灶检测方法及装置、病灶检测模型获取方法
CN114360695A (zh) 乳腺超声扫查分析辅助系统、介质及设备
CN110930394B (zh) 测量肌肉肌纤维束线斜率和羽状角的方法及终端设备
Wang et al. Vision measurement of gear pitting based on DCGAN and U-Net
CN116524315A (zh) 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法
CN112614123A (zh) 一种超声图像识别方法及相关装置
US20220409181A1 (en) Method and system for identifying a tendon in ultrasound imaging data and verifying such identity in live deployment
CN115690498B (zh) 椎体骨密度确认方法、装置、电子设备及存储介质
CN114445421B (zh) 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210504

WD01 Invention patent application deemed withdrawn after publication