CN111986181B - 基于双注意力机制的血管内支架图像分割方法和系统 - Google Patents

基于双注意力机制的血管内支架图像分割方法和系统 Download PDF

Info

Publication number
CN111986181B
CN111986181B CN202010859488.9A CN202010859488A CN111986181B CN 111986181 B CN111986181 B CN 111986181B CN 202010859488 A CN202010859488 A CN 202010859488A CN 111986181 B CN111986181 B CN 111986181B
Authority
CN
China
Prior art keywords
attention
feature
block
attention block
branch line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010859488.9A
Other languages
English (en)
Other versions
CN111986181A (zh
Inventor
刘市祺
谢晓亮
侯增广
周彦捷
奉振球
周小虎
马西瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010859488.9A priority Critical patent/CN111986181B/zh
Publication of CN111986181A publication Critical patent/CN111986181A/zh
Application granted granted Critical
Publication of CN111986181B publication Critical patent/CN111986181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明属于图像识别领域，具体涉及了一种基于双注意力机制的血管内支架图像分割方法和系统，旨在解决现有技术无法实时并且精确地从手术中X光透射图像中将血管内支架分割出来的问题。本发明包括：通过获取X光透射待检测视频序列并基于待检测视频序列通过基于深度学习的轻量化双注意力融合网络生成显示血管内支架的二值分割掩膜序列，将显示血管内支架的二值分割掩膜覆盖在待检测视频序列上生成显示血管内支架的视频序列。本发明通过采用特征注意块和关联注意块提升了血管内支架图像分割的精确度，采用了Dice损失函数和聚焦损失函数进行模型训练避免了边缘像素的错误分类，提高了图像分类网络的性能。

Description

基于双注意力机制的血管内支架图像分割方法和系统
技术领域
本发明属于图像识别领域，具体涉及了一种基于双注意力机制的血管内支架图像分割方法和系统。
背景技术
腹部主动脉瘤(Abdominal aortic aneurysm,AAA)是最常见的一种动脉瘤。通常腹部主动脉瘤在破裂之前不会出现典型症状，因此通常导致85％到90％的病死率。临床研究表明，比起开放式修复方法，血管内动脉瘤修复(Endovascular aneurysm repair，EVAR)手术可以有效降低患者在围手术期的发病率和死亡率，并维持相同程度的术后存活率。然而，由于EVAR手术的复杂性，在介入手术的过程中通常需要长时间的辐射和大剂量的造影剂注射，进而可能会导致病人出现如肾衰竭之类的常见并发症。因此，减少EVAR手术的时间是非常必要的。
在介入手术中，融合术前数据(CT图像)和术中X光造影能够降低造影剂和辐射的使用剂量。然而，这个融合可能会因为病人的移动和介入器械造成的血管形变而变得不准确。为了避免重复使用造影剂，在手术过程中，对比血管内支架的分割图像和术前数据可以评估检测当前的融合效果。然而，血管内支架分割目前有以下几部分难点：(1)不同介入手术中采用的支架具有不同的形态学特征，例如大小和形状；(2)由于支架的像素数量远小于背景的像素数量，前景和背景类别数量极度不平均；(3)造影剂和其他一些丝状结构(例如脊椎、导丝等)会干扰支架的边缘像素的分类准确性。
目前针对血管内支架分割的研究相对较少。Demirci等人提出了一种基于模型的方法。该方法的数据预处理部分采用了一种基于海森矩阵的滤波器。尽管该方法能直接复原支架的三维形状，它需要提前定义支架的模型，因此在支架的选择上有一定的局限性。
近年来，深度学习在医学图像处理领域里大放异彩。Breininger等人提出了一种具有收缩和舒张模式的全卷积网络，用于动脉血管支架的分割。然而，由于该方法在主干部分对残差模块的应用，其实时性能不是很好。
发明内容
为了解决现有技术中的上述问题，即现有技术无法实时并且精确地从手术中X光透射图像中将血管内支架分割出来的问题，本发明提供了一种基于双注意力机制的血管内支架图像分割方法，所述方法包括：
步骤S10，获取手术过程中包含支架的区域的X光透射视频序列作为待检测视频序列；
步骤S20，基于所述待检测视频序列，通过训练好的基于深度学习的轻量化双注意力融合网络生成显示血管内支架的二值分割掩膜序列；
步骤S30，将所述二值分割掩膜序列覆盖在所述待检测视屏序列上获得血管内支架的视频序列；
其中，所述基于深度学习的轻量化双注意力融合网络包括顺次连接的第一卷积层、多级嵌套的编码解码结构和第二卷积层；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级的编码解码结构的编码模块和解码模块之间插入一个特征注意力块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，在MobileNetV2中将标准卷积层替换为深度可分卷积层；
所述解码模块由解码块和关联注意力块组成。
进一步地，所述训练好的基于深度学习的轻量化双注意力融合网络，其获得方法包括：
步骤A100，获取训练视频序列，按时间顺序提取所述训练视频序列中的第t帧作为当前帧；
步骤A200，基于所述当前帧，通过所述第一卷积层生成第一特征图像；
步骤A300，基于所述第一特征图像，通过所述基于深度学习的轻量化双注意力融合网络的编码器中的编码模块进行分级编码，获得特征压缩图像；
步骤A400，通过所述特征注意力模块获取所述特征压缩图像三个不同尺度的特征，结合所述不同尺度的特征生成编码特征向量；
步骤A500，基于所述编码特征向量，通过所述基于深度学习的轻量化双注意力融合网络中的解码器中的解码块，进行分级解码，每级解码后通过解码器中的所述关联注意力块凸显支架特征以及消除残差连接中的不相关响应和噪声响应，生成上采样特征图像；
步骤A600，基于所述上采样特征图像，通过所述基于深度学习的轻量化双注意力融合网络的第二卷积层生成所述当前帧对应的支架的二值分割掩膜；
步骤A700，若网络全局损失函数不低于设定阈值，则通过随机梯度下降法调节特征注意力块的注意力系数、关联注意力块的激活函数及权重和网络参数，令t＝t+1并跳转步骤A100，直至全局损失函数小于预设的阈值，获得训练好的基于轻量化双注意力融合网络。
进一步地，所述特征注意力块输入端连接特征注意力块第一支线、特征注意力块第二支线和特征注意力块第三支线；
所述特征注意力块第一支线，为与所述特征注意力块输入端顺次连接的自适应平均池化层、卷积核为1×1的卷积层和上采样层；
所述特征注意力块第二支线，为与所述特征注意力块输入端连接的卷积核为1×1的卷积层；
所述特征注意力块第三支线，为与所述特征注意力块输入端顺次连接的呈U型结构的卷积核分别为7×7的卷积层、卷积核为5×5的卷积层和卷积核为3×3的卷积层；
特征注意力块第三支线与特征注意力块第二支线的输出做乘法运算连接后与特征注意力块第一支线的输出做加法运算。
进一步地，所述关联注意力块输入端连关联注意力块第一支线和关联注意力块第二支线；
所述关联注意力块第一支线，为与关联注意力块输入端顺次连接的卷积核为3×3的卷积层和卷积核为1×1的卷积层；
所述关联注意力块第二支线，为与关联注意力块输入端连接的卷积核为1×1的卷积层；
其中，关联注意力块的输入信息通过所述关联注意力块第一支线获取关键特征图，通过所述关联注意力块第二支线获取通用大小特征图；将所述关键特征图和通用大小特征图结合生成增强特征图；将所述增强特征图进行线性修正、线性变化、二分类和重采样后与关联注意力块的输入信息结合注意力系数作乘法运算生成上采样特征图像。
进一步地，上采样特征图像
Figure BDA0002647579060000041
为：
Figure BDA0002647579060000042
其中，
Figure BDA0002647579060000043
是每个像素对应的向量，l是层编号，i表示像素标号，c表示图像通道标号，
Figure BDA0002647579060000044
为最终注意力系数；其中，最终注意力系数
Figure BDA0002647579060000045
用于识别图像的显著区域。
进一步地，关联注意力块通过门向量gi判断每个向量i是否处于焦点区域；所述门向量由环境信息删除底层特征响应组成。
进一步地，所述关联注意力块的注意力系数
Figure BDA0002647579060000051
为：
Figure BDA0002647579060000052
其中，σ1表示线性修正的激活函数，σ2表示二分类的激活函数，gi表示门向量，x为上采样特征图像，i为像素标号，
Figure BDA0002647579060000053
和
Figure BDA0002647579060000054
表示线性变换的权重，bg和bΨ是偏差，Ψ为1*1*1的卷积。
进一步地，最终注意力系数
Figure BDA0002647579060000055
通过三线插值法对注意力系数
Figure BDA0002647579060000057
进行栅格重采样获得
进一步地，所述全局损失函数L为：
L＝LR-Focal+λLDice
其中，LDice是Dice系数损失函数，LR-Focal是聚焦损失函数，λ为用于调整聚焦损失和Dice系数损失之间平衡的超参数。
进一步地，所述聚焦损失函数LR-Focal为：
Figure BDA0002647579060000056
其中，yi是第i个像素的标签，1代表支架，0代表背景，pi是第i个像素的预测概率值，权重因子β和调制因子γ大于等于0。
本发明的另一方面，提出了一种基于双注意力机制的血管内支架图像分割系统，所述系统包括待测视频获取单元、掩膜生成单元和支架显现单元；
所述视频获取单元，用于获取手术过程中包含支架的区域的X光透射视频序列作为待检测视频序列；
所述掩膜生成单元，用于基于所述待检测视频序列，通过训练好的基于深度学习的轻量化双注意力融合网络生成显示血管内支架的二值分割掩膜序列；
所述支架显现单元，用于将所述二值分割掩膜序列覆盖在所述待检测视屏序列上获得血管内支架的视频序列；
其中，所述基于深度学习的轻量化双注意力融合网络包括顺次连接的第一卷积层、多级嵌套的编码解码结构和第二卷积层；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级的编码解码结构的编码模块和解码模块之间插入一个特征注意力块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，在MobileNetV2中将标准卷积层替换为深度可分卷积层；
所述解码模块由解码块和关联注意力块组成。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于双注意力机制的血管内支架图像分割方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于双注意力机制的血管内支架图像分割方法。
本发明的有益效果：
(1)本发明基于双注意力机制的血管内支架图像分割方法，采用轻量化双注意力融合网络中的特征注意力块通过下采样和上采样逐步结合不同尺度的信息更准确地获取相关特征，还采用自适应平均化层进一步改善模型表现，提高了现有的图像分割方法用于识别血管内支架图像的精确度。
(2)本发明基于双注意力机制的血管内支架图像分割方法，采用轻量化双注意力融合网络中的关联注意力块将每一级输入的信息分成关键特征图和通用大小特征图并将两部分结合起来提高非线性特征并滤去不相关信息以及残差连接中的噪音，提高了图像分割方法的精确度。
(3)本发明基于双注意力机制的血管内支架图像分割方法，采用Dice损失函数替换交叉熵损失函数解决了在血管内支架细长的结构导致的间类数据不平衡的问题，避免了由于造影剂和丝状结构的干扰导致的支架边缘像素被误分类的问题。
(4)本发明基于双注意力机制的血管内支架图像分割方法，通过聚焦损失中的调制因子可以自动减少简单数据的权重，并迅速聚焦于错分类的数据，提高了血管内支架图像识别的精确度。
(5)本发明基于双注意力机制的血管内支架图像分割方法，采用轻量化的网络生成显示支架的二值分割掩膜，无需复杂的启发信息，提高了图像处理的速度，速度可达12.6fps，满足了血管内支架手术的实时性要求。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于双注意力机制的血管内支架图像分割方法第一实施例的流程示意图；
图2是本发明第一实施例的基于深度学习的轻量化双注意力融合网络结构示意图；
图3是本发明第一实施例的基于深度学习的轻量化双注意力融合网络中的特征注意力块结构示意图；
图4是本发明第一实施例的基于深度学习的轻量化双注意力融合网络中的关联注意力块结构示意图；
图5是本发明第一实施例的分割不同支架的效果图；
图6是移除了双注意力机制的分割支架效果图；
图7是本发明在数据集PUGSeg进行对比实验中的获取到的图像；
图8是本发明在数据集PUGSeg进行对比实验中的通过GT方式分割的导管示意图；
图9是本发明在数据集PUGSeg进行对比试验中通过U-Net方式分割的导管示意图；
图10是本发明在数据集PUGSeg进行对比实验中通过本发明提出的LDA-Net分割的导管示意图；
图11是本发明在NLM胸部X光数据集进行对比实验中获取到的图像示意图；
图12是本发明在NLM胸部X光数据集进行对比实验中通过GT方式获取的捕捉轮廓效果示意图；
图13是本发明在NLM胸部X光数据集进行对比实验中通过Att.U-Net方式获取的捕捉轮廓效果示意图；
图14是本发明在NLM胸部X光数据集进行对比实验中通过本发明提出的LDA-Net方式获取的捕捉轮廓效果示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于双注意力机制的血管内支架图像分割方法，本方法包括：
步骤S10，获取手术过程中包含支架的区域的X光透射视频序列作为待检测视频序列；
步骤S20，基于所述待检测视频序列，通过训练好的基于深度学习的轻量化双注意力融合网络生成显示血管内支架的二值分割掩膜序列；
步骤S30，将所述二值分割掩膜序列覆盖在所述待检测视屏序列上获得血管内支架的视频序列；
其中，所述基于深度学习的轻量化双注意力融合网络包括顺次连接的第一卷积层、多级嵌套的编码解码结构和第二卷积层；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级的编码解码结构的编码模块和解码模块之间插入一个特征注意力块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，在MobileNetV2中将标准卷积层替换为深度可分卷积层；
所述解码模块由解码块和关联注意力块组成。
为了更清晰地对本发明基于双注意力机制的血管内支架图像分割方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于双注意力机制的血管内支架图像分割方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，获取手术过程中包含支架的区域的X光透射视频序列作为待检测视频序列；
步骤S20，基于所述待检测视频序列，通过训练好的基于深度学习的轻量化双注意力融合网络生成显示血管内支架的二值分割掩膜序列；
在本实施例中，基于深度学习的轻量化双注意力融合网络结构如图2所示，在图2中，1为第一卷积层，2、3、4和5为编码模块，6为特征注意力块，7、9、11和13为解码块，8、10、12和14为关联注意力块，15为第二卷积层。
所述基于深度学习的轻量化双注意力融合网络，其训练方法为：
步骤A100，获取训练视频序列，按时间顺序提取所述训练视频序列中的第t帧作为当前帧；
步骤A200，基于所述当前帧，通过所述第一卷积层生成第一特征图像；
步骤A300，基于所述第一特征图像，通过所述基于深度学习的轻量化双注意力融合网络的编码器中的编码模块进行分级编码，获得特征压缩图像；
步骤A400，通过所述特征注意力模块获取所述特征压缩图像三个不同尺度的特征，结合所述不同尺度的特征生成编码特征向量；
在本实施例中，如图4所示，所述特征注意力块输入端连接特征注意力块第一支线、特征注意力块第二支线和特征注意力块第三支线；
所述特征注意力块第一支线，为与所述特征注意力块输入端顺次连接的自适应平均池化层、卷积核为1×1的卷积层和上采样层；
所述特征注意力块第二支线，为与所述特征注意力块输入端连接的卷积核为1×1的卷积层；
所述特征注意力块第三支线，为与所述特征注意力块输入端顺次连接的呈U型结构的卷积核分别为7×7的卷积层、卷积核为5×5的卷积层和卷积核为3×3的卷积层；
特征注意力块第三支线与特征注意力块第二支线的输出做乘法运算连接后与特征注意力块第一支线的输出做加法运算。
步骤A500，基于所述编码特征向量，通过所述基于深度学习的轻量化双注意力融合网络中的解码器中的解码块，进行分级解码，每级解码后通过解码器中的所述关联注意力块凸显支架特征以及消除残差连接中的不相关响应和噪声响应，生成上采样特征图像；
本实施例中，如图5所示，所述关联注意力块输入端连关联注意力块第一支线和关联注意力块第二支线；
所述关联注意力块第一支线，为与关联注意力块输入端顺次连接的卷积核为3×3的卷积层和卷积核为1×1的卷积层；
所述关联注意力块第二支线，为与关联注意力块输入端连接的卷积核为1×1的卷积层；
其中，关联注意力块的输入信息通过所述关联注意力块第一支线获取关键特征图，通过所述关联注意力块第二支线获取通用大小特征图；将所述关键特征图和通用大小特征图结合生成增强特征图；将所述增强特征图进行线性修正、线性变化、二分类和重采样后与关联注意力块的输入信息结合注意力系数作乘法运算生成上采样特征图像。
本实施例中，所述上采样特征图像
Figure BDA0002647579060000111
如公式(1)所示：
Figure BDA0002647579060000112
其中，
Figure BDA0002647579060000113
是每个像素对应的向量，l是层编号，i表示像素标号，c表示图像通道标号，
Figure BDA0002647579060000114
为最终注意力系数；其中，最终注意力系数
Figure BDA0002647579060000115
用于识别图像的显著区域。
在本实施例中，所述关联注意力块通过门向量gi判断每个向量i是否处于焦点区域；所述门向量由环境信息删除底层特征响应组成。
在本实施例中，关联注意力块的注意力系数
Figure BDA0002647579060000116
如公式(2)所示：
Figure BDA0002647579060000117
其中，σ1表示线性修正的激活函数，σ2表示二分类的激活函数，gi表示门向量，x为上采样特征图像，i为像素标号，
Figure BDA0002647579060000118
和
Figure BDA0002647579060000119
表示线性变换的权重，bg和bΨ是偏差，Ψ为1*1*1的卷积。
最终注意力系数
Figure BDA00026475790600001110
通过三线插值法对注意力系数
Figure BDA00026475790600001111
进行栅格重采样获得
步骤A600，基于所述上采样特征图像，通过所述基于深度学习的轻量化双注意力融合网络的第二卷积层生成所述当前帧对应的支架的二值分割掩膜；
步骤A700，若网络全局损失函数不低于设定阈值，则通过随机梯度下降法调节特征注意力块的注意力系数、关联注意力块的激活函数及权重和网络参数，令t＝t+1并跳转步骤A100，直至全局损失函数小于预设的阈值，获得训练好的基于轻量化双注意力融合网络。
在本实施例中，所述全局损失函数L如公式(3)所示：
L＝LR-Focal+λLDice(3)
其中，LDice是Dice系数损失函数，LR-Focal是聚焦损失函数，λ为用于调整聚焦损失和Dice系数损失之间平衡的超参数。
在本实施例中，所述聚焦损失函数LR-Focal如公式(4)所示：
Figure BDA0002647579060000121
其中，yi是第i个像素的标签，1代表支架，0代表背景，pi是第i个像素的预测概率值，权重因子β和调制因子γ大于等于0。
本发明提出的模型采用的优化器是随机梯度下降算法(Stochastic gradientdecent，SGD)，初始学习率为0.001，权重衰减为0.0005，动量参数为0.9。为了找到最佳模型表现，本发明采用了多元学习率策略，当验证准确度饱和时，会给学习率乘以0.9。每次训练模型的batch size为8，epoch为180。
步骤S30，将所述二值分割掩膜序列覆盖在所述待检测视屏序列上获得血管内支架的视频序列；
其中，所述基于深度学习的轻量化双注意力融合网络包括顺次连接的第一卷积层、多级嵌套的编码解码结构和第二卷积层；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级的编码解码结构的编码模块和解码模块之间插入一个特征注意力块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，在MobileNetV2中将标准卷积层替换为深度可分卷积层；
所述解码模块由解码块和关联注意力块组成。
本实施例中将本发明提出的模型LDA-Net分别在三个不同的数据集上进行测试，分别为SeTaX，PUGSeg和NLM胸部X光数据集。SeTaX是一个基于X光造影的术中支架数据集，由北京协和医院提供。该数据集包括1269张训练集图像、254张验证集图像和381张测试集图像。PUGSeg是一个包含多种导丝的介入手术器械数据集，由上海华东医院和北京协和医院提供。该数据集包括1585张训练集图像、317张验证集图像和476张测试集图像。NLM胸部X光数据集是一个针对结核的标准数字图像数据集，包含336例结核数据和326例正常数据。
为了评估不同模块对于本发明所述方法的贡献，本实施例对不同设置下的模型分别在数据集SeTaX上进行了测试，结果如表1所示：
表1消融实验结果
Figure BDA0002647579060000131
Figure BDA0002647579060000141
其中，BaseNet就是常规的U-Net。BCE代表二值交叉熵损失函数(Binary CrossEntropy Loss)。DL代表Dice Loss，FL代表聚焦损失函数。DRF代表前文所述的混合损失函数。
表1清楚地展现出了双注意力模块对模型表现的提升。具体地，加入FAM后模型的表现从0.898提升到了0.946，加入RAM后模型的表现能平均提升0.227。当把FAM和RAM都加入模型中后。模型的平均F1值达到了0.969，提升了约7.91％。同时从运行时间可以看出，加入双注意力模块后，模型的计算量也只是略有增加，而没有带来太多的计算负担。
为了验证主干算法的表现，本实施例还将原始的主干网络分别替换为ResNet和VGGNet进行了测试。从表1中可清楚看出，采用预训练的MobileNetV2可以大幅减少程序运行时间。
为了验证损失函数的表现，本实施例还对模型分别应用了另外三种损失函数，分别为二值交叉熵损失函数(BCE Loss)、Dice Loss和聚焦损失函数(Focal Loss)。从表1中可看出，本发明提出的混合损失函数的表现优于另外三种损失函数。
为了展示本方法的优越性，本实施例将本方法与三种常用的网络(U-Net，LinkNet和TernausNet)、两种基于注意力的网络(Attention U-Net和CS-Net)、以及一种最近提出的方法(KBS)在数据集SeTaX上进行了测试。对其他方法本实施例中采用的都是最佳参数。测试结果如表2所示；
表2与尖端技术的量化对比(基于SeTax数据集)
Figure BDA0002647579060000142
Figure BDA0002647579060000151
表2中清晰地显示出，本发明提出的方法可以达到更高的准确度，同时用的处理时间也是最短的。此外，本方法的对每张图像的平均处理时间为79.6ms(12.6FPS)，可以达到实时性的要求。本发明实施例的分割支架效果示意图如图5所示，通过对比没有双注意力的支架分割效果示意图如图6，本发明提出的方法具有很强的鲁棒性，对于各种不同介入手术的术中支架都能准确地分割出来，且无需任何附加处理步骤。
更进一步地，为了验证本发明提出的模型LDA-Net的有效性，本实施例又在另外两个数据集PUGSeg和NLM胸部X光数据集上进行了测试。测试结果如表3所示。
Figure BDA0002647579060000152
表3与尖端技术的量化对比(基于PUGSeg和NLM Chest X-ray Database数据集)
从表3中可以清楚看到，本发明提出的方法在准确性和鲁棒性上都有很好的表现，且显著优于其他方法。图7、图8、图9、图10、图11、图12、图13和图14是本对比实验的可视化结果。相比于U-Net和AttentionU-Net，本方法能够更好地捕捉其他方法难以捕捉到的轮廓信息，从而获得更准确和平滑的分割淹没。
本发明提出的用于血管内支架分割的方法，是目前第一个实现术中X光造影时全自动实时支架分割的方法，速度可达12.6FPS。该方法中涉及的双注意力模型和混合损失函数都能提高模型对支架像素的敏感度，且无需复杂的启发信息。此外，该方法经在三个不同的数据集(SeTaX，PUGSeg，NLM Chest)上测试后，均实现了目前所有尖端方法中最好的分割结果。
本发明第二实施例的基于双注意力机制的血管内支架图像分割系统，所述系统包括待测视频获取单元、掩膜生成单元和支架显现单元；
所述视频获取单元，用于获取手术过程中包含支架的区域的X光透射视频序列作为待检测视频序列；
所述掩膜生成单元，用于基于所述待检测视频序列，通过训练好的基于深度学习的轻量化双注意力融合网络生成显示血管内支架的二值分割掩膜序列；
所述支架显现单元，用于将所述二值分割掩膜序列覆盖在所述待检测视屏序列上获得血管内支架的视频序列；
其中，所述基于深度学习的轻量化双注意力融合网络包括顺次连接的第一卷积层、多级嵌套的编码解码结构和第二卷积层；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级的编码解码结构的编码模块和解码模块之间插入一个特征注意力块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，在MobileNetV2中将标准卷积层替换为深度可分卷积层；
所述解码模块由解码块和关联注意力块组成。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于双注意力机制的血管内支架图像分割系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于双注意力机制的血管内支架图像分割方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于双注意力机制的血管内支架图像分割方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于双注意力机制的血管内支架图像分割方法，其特征在于，所述方法包括：
步骤S10，获取手术过程中包含支架的区域的X光透射视频序列作为待检测视频序列；
步骤S20，基于所述待检测视频序列，通过训练好的基于深度学习的轻量化双注意力融合网络生成显示血管内支架的二值分割掩膜序列；
步骤S30，将所述二值分割掩膜序列覆盖在所述待检测视频序列上获得血管内支架的视频序列；
其中，所述基于深度学习的轻量化双注意力融合网络包括顺次连接的第一卷积块、多级嵌套的编码解码结构和第二卷积块；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级的编码解码结构的编码模块和解码模块之间插入一个特征注意力块；
所述特征注意力块输入端连接特征注意力块第一支线、特征注意力块第二支线和特征注意力块第三支线；
所述特征注意力块第一支线，为与所述特征注意力块输入端顺次连接的自适应平均池化层、卷积核为1×1的卷积层和上采样层；
所述特征注意力块第二支线，为与所述特征注意力块输入端连接的卷积核为1×1的卷积层；
所述特征注意力块第三支线，为与所述特征注意力块输入端顺次连接的呈U型结构的卷积核分别为7×7的卷积层、卷积核为5×5的卷积层和卷积核为3×3的卷积层；
特征注意力块第三支线与特征注意力块第二支线的输出做乘法运算连接后与特征注意力块第一支线的输出做加法运算；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，在MobileNetV2中将标准卷积层替换为深度可分卷积层；
所述解码模块由解码块和关联注意力块组成；
所述关联注意力块输入端连关联注意力块第一支线和关联注意力块第二支线；
所述关联注意力块第一支线，为与关联注意力块输入端顺次连接的卷积核为3×3的卷积层和卷积核为1×1的卷积层；
所述关联注意力块第二支线，为与关联注意力块输入端连接的卷积核为1×1的卷积层；
其中，关联注意力块的输入信息通过所述关联注意力块第一支线获取关键特征图，通过所述关联注意力块第二支线获取通用大小特征图；将所述关键特征图和通用大小特征图结合生成增强特征图；将所述增强特征图进行线性修正、线性变化、二分类和重采样后与关联注意力块的输入信息结合注意力系数作乘法运算生成上采样特征图像；
所述基于深度学习的轻量化双注意力融合网络，其训练方法为：
步骤A100，获取训练视频序列，按时间顺序提取所述训练视频序列中的第t帧作为当前帧；
步骤A200，基于所述当前帧，通过所述第一卷积层生成第一特征图像；
步骤A300，基于所述第一特征图像，通过所述基于深度学习的轻量化双注意力融合网络的编码器中的编码模块进行分级编码，获得特征压缩图像；
步骤A400，通过所述特征注意力块获取所述特征压缩图像三个不同尺度的特征，结合所述不同尺度的特征生成编码特征向量；
步骤A500，基于所述编码特征向量，通过所述基于深度学习的轻量化双注意力融合网络中的解码器中的解码块，进行分级解码，每级解码后通过解码器中的所述关联注意力块凸显支架特征以及消除残差连接中的不相关响应和噪声响应，生成上采样特征图像；
步骤A600，基于所述上采样特征图像，通过所述基于深度学习的轻量化双注意力融合网络的第二卷积层生成所述当前帧对应的支架的二值分割掩膜；
步骤A700，若网络全局损失函数不低于预设阈值，则通过随机梯度下降法调节特征注意力块的注意力系数、关联注意力块的激活函数及权重和网络参数，令t＝t+1并跳转步骤A100，直至全局损失函数小于预设的阈值，获得训练好的基于轻量化双注意力融合网络。
2.根据权利要求1所述的基于双注意力机制的血管内支架图像分割方法，其特征在于，所述上采样特征图像
Figure FDA0003125270190000031
为：
Figure FDA0003125270190000032
其中，
Figure FDA0003125270190000033
是每个像素对应的向量，l是层编号，i表示像素标号，c表示图像通道标号，
Figure FDA0003125270190000034
为最终注意力系数；其中，最终注意力系数
Figure FDA0003125270190000035
用于识别图像的显著区域。
3.根据权利要求2所述的基于双注意力机制的血管内支架图像分割方法，其特征在于，所述关联注意力块通过门向量gi判断每个向量i是否处于焦点区域；所述门向量由环境信息删除底层特征响应组成。
4.根据权利要求3所述的基于双注意力机制的血管内支架图像分割方法，其特征在于，所述关联注意力块的注意力系数
Figure FDA0003125270190000036
为：
Figure FDA0003125270190000037
其中，σ1表示线性修正的激活函数，σ2表示二分类的激活函数，gi表示门向量，x为上采样特征图像，i为像素标号，
Figure FDA0003125270190000038
和
Figure FDA0003125270190000039
表示线性变换的权重，bg和bΨ是偏差，Ψ为1*1*1的卷积。
5.根据权利要求4所述的基于双注意力机制的血管内支架图像分割方法，其特征在于，最终注意力系数
Figure FDA0003125270190000041
通过三线插值法对注意力系数
Figure FDA0003125270190000042
进行栅格重采样获得。
6.根据权利要求5所述的基于双注意力机制的血管内支架图像分割方法，其特征在于，所述全局损失函数L为：
L＝LR-Focal+λLDice
其中，LDice是Dice系数损失函数，LR-Focal是聚焦损失函数，λ为用于调整聚焦损失和Dice系数损失之间平衡的超参数。
7.根据权利要求6所述的基于双注意力机制的血管内支架图像分割方法，其特征在于，所述聚焦损失函数LR-Focal为：
Figure FDA0003125270190000043
其中，yi是第i个像素的标签，1代表支架，0代表背景，pi是第i个像素的预测概率值，权重因子β和调制因子γ大于等于0。
8.一种基于双注意力机制的血管内支架图像分割系统，其特征在于，所述系统包括待测视频获取单元、掩膜生成单元和支架显现单元；
所述视频获取单元，用于获取手术过程中包含支架的区域的X光透射视频序列作为待检测视频序列；
所述掩膜生成单元，用于基于所述待检测视频序列，通过训练好的基于深度学习的轻量化双注意力融合网络生成显示血管内支架的二值分割掩膜序列；
所述支架显现单元，用于将所述二值分割掩膜序列覆盖在所述待检测视屏序列上获得血管内支架的视频序列；
其中，所述基于深度学习的轻量化双注意力融合网络包括顺次连接的第一卷积层、多级嵌套的编码解码结构和第二卷积层；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级的编码解码结构的编码模块和解码模块之间插入一个特征注意力块；
所述特征注意力块输入端连接特征注意力块第一支线、特征注意力块第二支线和特征注意力块第三支线；
所述特征注意力块第一支线，为与所述特征注意力块输入端顺次连接的自适应平均池化层、卷积核为1×1的卷积层和上采样层；
所述特征注意力块第二支线，为与所述特征注意力块输入端连接的卷积核为1×1的卷积层；
所述特征注意力块第三支线，为与所述特征注意力块输入端顺次连接的呈U型结构的卷积核分别为7×7的卷积层、卷积核为5×5的卷积层和卷积核为3×3的卷积层；
特征注意力块第三支线与特征注意力块第二支线的输出做乘法运算连接后与特征注意力块第一支线的输出做加法运算；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，在MobileNetV2中将标准卷积层替换为深度可分卷积层；
所述解码模块由解码块和关联注意力块组成；
所述关联注意力块输入端连关联注意力块第一支线和关联注意力块第二支线；
所述关联注意力块第一支线，为与关联注意力块输入端顺次连接的卷积核为3×3的卷积层和卷积核为1×1的卷积层；
所述关联注意力块第二支线，为与关联注意力块输入端连接的卷积核为1×1的卷积层；
其中，关联注意力块的输入信息通过所述关联注意力块第一支线获取关键特征图，通过所述关联注意力块第二支线获取通用大小特征图；将所述关键特征图和通用大小特征图结合生成增强特征图；将所述增强特征图进行线性修正、线性变化、二分类和重采样后与关联注意力块的输入信息结合注意力系数作乘法运算生成上采样特征图像；
所述基于深度学习的轻量化双注意力融合网络，其训练方法为：
步骤A100，获取训练视频序列，按时间顺序提取所述训练视频序列中的第t帧作为当前帧；
步骤A200，基于所述当前帧，通过所述第一卷积层生成第一特征图像；
步骤A300，基于所述第一特征图像，通过所述基于深度学习的轻量化双注意力融合网络的编码器中的编码模块进行分级编码，获得特征压缩图像；
步骤A400，通过所述特征注意力块获取所述特征压缩图像三个不同尺度的特征，结合所述不同尺度的特征生成编码特征向量；
步骤A500，基于所述编码特征向量，通过所述基于深度学习的轻量化双注意力融合网络中的解码器中的解码块，进行分级解码，每级解码后通过解码器中的所述关联注意力块凸显支架特征以及消除残差连接中的不相关响应和噪声响应，生成上采样特征图像；
步骤A600，基于所述上采样特征图像，通过所述基于深度学习的轻量化双注意力融合网络的第二卷积层生成所述当前帧对应的支架的二值分割掩膜；
步骤A700，若网络全局损失函数不低于预设阈值，则通过随机梯度下降法调节特征注意力块的注意力系数、关联注意力块的激活函数及权重和网络参数，令t＝t+1并跳转步骤A100，直至全局损失函数小于预设的阈值，获得训练好的基于轻量化双注意力融合网络。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于双注意力机制的血管内支架图像分割方法。
10.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于双注意力机制的血管内支架图像分割方法。
CN202010859488.9A 2020-08-24 2020-08-24 基于双注意力机制的血管内支架图像分割方法和系统 Active CN111986181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010859488.9A CN111986181B (zh) 2020-08-24 2020-08-24 基于双注意力机制的血管内支架图像分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010859488.9A CN111986181B (zh) 2020-08-24 2020-08-24 基于双注意力机制的血管内支架图像分割方法和系统

Publications (2)

Publication Number Publication Date
CN111986181A CN111986181A (zh) 2020-11-24
CN111986181B true CN111986181B (zh) 2021-07-30

Family

ID=73443739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010859488.9A Active CN111986181B (zh) 2020-08-24 2020-08-24 基于双注意力机制的血管内支架图像分割方法和系统

Country Status (1)

Country Link
CN (1) CN111986181B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012172B (zh) * 2021-04-09 2023-10-03 杭州师范大学 一种基于AS-UNet的医学图像分割方法及系统
CN113223002A (zh) * 2021-05-07 2021-08-06 西安智诊智能科技有限公司 一种血管图像分割方法
CN113223704B (zh) * 2021-05-20 2022-07-26 吉林大学 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
CN113378907B (zh) * 2021-06-04 2024-01-09 南京大学 增强数据预处理过程的自动化软件可追踪性恢复方法
CN113420770A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN113469258B (zh) * 2021-07-08 2022-03-11 中国科学院自动化研究所 基于两阶段cnn的x射线血管造影图像匹配方法和系统
CN113538475B (zh) * 2021-07-19 2022-03-25 中国科学院自动化研究所 基于多任务算法的实时多器械分割方法和系统
CN114494482A (zh) * 2021-12-24 2022-05-13 中国人民解放军总医院第一医学中心 一种基于平扫ct生成ct血管成像的方法
CN114565770B (zh) * 2022-03-23 2022-09-13 中南大学 基于边缘辅助计算和掩模注意力的图像分割方法及系统
CN114723760B (zh) * 2022-05-19 2022-08-23 北京世纪好未来教育科技有限公司 人像分割模型的训练方法、装置及人像分割方法、装置
CN116402780B (zh) * 2023-03-31 2024-04-02 北京长木谷医疗科技股份有限公司 基于双自注意力和深度学习的胸椎图像分割方法及装置
CN116758087B (zh) * 2023-08-22 2023-10-31 邦世科技(南京)有限公司 一种腰椎ct骨窗侧隐窝间隙检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463965A (zh) * 2014-12-17 2015-03-25 中国科学院自动化研究所 一种面向微创心血管介入手术的训练场景模拟系统及方法
US10169873B2 (en) * 2017-03-23 2019-01-01 International Business Machines Corporation Weakly supervised probabilistic atlas generation through multi-atlas label fusion
US10902588B2 (en) * 2018-08-13 2021-01-26 International Business Machines Corporation Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
CN109389091B (zh) * 2018-10-22 2022-05-03 重庆邮电大学 基于神经网络和注意力机制结合的文字识别系统及方法
CN109448006B (zh) * 2018-11-01 2022-01-28 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109584246B (zh) * 2018-11-16 2022-12-16 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
EP3657391B1 (en) * 2018-11-21 2023-07-26 Siemens Healthcare GmbH Processing a medical image
CN109685813B (zh) * 2018-12-27 2020-10-13 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN109886273B (zh) * 2019-02-26 2022-12-16 四川大学华西医院 一种cmr图像分割分类系统
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN110727824B (zh) * 2019-10-11 2022-04-01 浙江大学 利用多重交互注意力机制解决视频中对象关系问答任务的方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111079649B (zh) * 2019-12-17 2023-04-07 西安电子科技大学 基于轻量化语义分割网络的遥感图像地物分类方法
CN111402310B (zh) * 2020-02-29 2023-03-28 同济大学 一种基于深度估计网络的单目图像深度估计方法及系统
CN111526434B (zh) * 2020-04-24 2021-05-18 西北工业大学 基于转换器的视频摘要方法
CN111445474B (zh) * 2020-05-25 2023-06-27 南京信息工程大学 基于双向复注意力深度网络的肾脏ct图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法

Also Published As

Publication number Publication date
CN111986181A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111986181B (zh) 基于双注意力机制的血管内支架图像分割方法和系统
CN110197493B (zh) 眼底图像血管分割方法
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
CN112348821B (zh) 基于x光图像的导丝分割和尖端点定位方法、系统和装置
CN113159040B (zh) 医学图像分割模型的生成方法及装置、系统
CN111696126B (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN111985485A (zh) 基于金字塔形注意力循环网络的手术介入器械追踪方法
CN112348883B (zh) 血管介入手术中介入器械端点实时定位系统、方法、装置
CN112036506A (zh) 图像识别方法及相关装置、设备
CN111724365B (zh) 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN111815735A (zh) 一种人体组织自适应的ct重建方法及重建系统
CN114648541A (zh) 非小细胞肺癌大体肿瘤靶区自动分割方法
CN113313728B (zh) 一种颅内动脉分割方法及系统
CN114359248A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
CN116778016A (zh) 一种mri图像重建方法、系统及介质
CN113538475B (zh) 基于多任务算法的实时多器械分割方法和系统
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN112837218B (zh) 基于双流边界感知的动脉瘤图像分析系统、方法和设备
CN115239674A (zh) 基于多尺度判别的计算机血管造影成像合成方法
CN112634224A (zh) 基于目标影像的病灶检测方法和装置
CN112017136A (zh) 一种基于深度学习的肺部ct图像参数重建方法、系统、终端及存储介质
CN111311531A (zh) 图像增强方法、装置、控制台设备及医学成像系统
CN110570417A (zh) 肺结节分类方法、装置及图像处理设备
CN115578285B (zh) 一种乳腺钼靶图像细节增强方法及系统
US20230019733A1 (en) Motion artifact correction using artificial neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant