CN111985485A - 基于金字塔形注意力循环网络的手术介入器械追踪方法 - Google Patents
基于金字塔形注意力循环网络的手术介入器械追踪方法 Download PDFInfo
- Publication number
- CN111985485A CN111985485A CN202010858840.7A CN202010858840A CN111985485A CN 111985485 A CN111985485 A CN 111985485A CN 202010858840 A CN202010858840 A CN 202010858840A CN 111985485 A CN111985485 A CN 111985485A
- Authority
- CN
- China
- Prior art keywords
- block
- pyramid
- attention
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000005070 sampling Methods 0.000 claims abstract description 55
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 66
- 238000011176 pooling Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000011477 surgical intervention Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000001356 surgical procedure Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000002679 ablation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013146 percutaneous coronary intervention Methods 0.000 description 4
- 208000002223 abdominal aortic aneurysm Diseases 0.000 description 3
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 206010002329 Aneurysm Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011976 chest X-ray Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013152 interventional procedure Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 201000008827 tuberculosis Diseases 0.000 description 2
- 238000007631 vascular surgery Methods 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052797 bismuth Inorganic materials 0.000 description 1
- JCXGWMGPZLAOME-UHFFFAOYSA-N bismuth atom Chemical compound [Bi] JCXGWMGPZLAOME-UHFFFAOYSA-N 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 210000004013 groin Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像识别领域，具体涉及了一种基于金字塔形注意力循环网络的手术介入器械追踪方法，旨在解决现有技术无法实时并且精确地依据手术中X光透射图像对手术的介入器械进行追踪的问题。本发明包括：通过获取X光透射待检测视频序列并基于待检测视频序列通过基于深度学习的金字塔形注意力循环网络生成显示手术介入器械的二值分割掩膜序列，将显示手术介入器械的二值分割掩膜覆盖在待检测视频序列上生成显示手术介入器械的视频序列。本发明通过金字塔形注意力块分级提取图像特征再通过循环上采样块降低图像的特征损失，避免了边缘像素的错误分类提高了手术介入器械追踪的精确度。
Description
技术领域
本发明属于图像识别领域，具体涉及了一种基于金字塔形注意力循环网络的手术介入器械追踪方法。
背景技术
冠心病(Coronary heart disease，CHD)是当前世界上最主要的致死原因之一；腹主动脉瘤(Abdominal aortic aneurysm,AAA)是最常见的一种动脉瘤，通常腹主动脉瘤在破裂之前不会表现出明显症状，因此通常导致85％到90％的病死率。在血管类手术和心内科疾病中，相比于传统的开放式治疗方法，介入治疗法有着非常大的优势，例如可以有效降低患者在围手术期的发病率和死亡率，并减小出现术后并发症的可能。
经皮冠状动脉介入治疗(Percutaneous coronary intervention，PCI)和血管内动脉瘤修复(Endovascular aneurysm repair，EVAR)分别是目前最常用的针对CHD和AAA的治疗方法。因此，减少PCI和EVAR的手术风险是非常有必要的。
在介入手术中，导丝从腹股沟插入人体，并在造影图像指导下提前送达至病变区，从而便于进行支架放置、消融手术或药物递送。然而，导丝的操纵(包括递送和旋转)需要很精巧的技术才能避免对血管壁造成伤害，进而避免造成致命性的穿孔或出血。因此，导丝位置和形状的实时获取和准确的导丝分割是一次成功的介入手术的前提条件。
在计算机的辅助下，实时的导丝分割和追踪可以为医生们提供必要的视觉反馈辅助。然而，这一任务面临着以下难点：(1)由于导丝纤细的结构，背景噪声会极大程度上干扰导丝的分割；(2)由于心脏的跳动和病人的呼吸，导丝会发生非刚性形变，并且这类运动从三维投射到二维图像中时会更增复杂性；(3)导丝像素远少于背景像素，这会造成类间数据的极度不平衡；(4)造影剂和丝状结构(如肋骨和血管)易造成导丝边缘像素的错分类。
发明内容
为了解决现有技术中的上述问题，即现有技术无法实时并且精确地依据手术中X光透射图像对手术的介入器械进行追踪的问题，本发明提供了一种基于金字塔形注意力循环网络的手术介入器械追踪方法，所述方法包括：
步骤S10，获取手术过程中包含介入器械的区域的X光透射视频序列作为待检测视频序列；
步骤S20，基于所述待检测视频序列，通过训练好的基于金字塔形注意力循环网络生成显示血管内介入器械的二值分割掩膜序列；
步骤S30，将所述显示血管内介入器械的二值分割掩膜序列覆盖在所述待检测视频序列上获得显示介入器械的视频序列；
其中，所述基于金字塔形注意力循环网络包括第一卷积块、最大池化块、多级嵌套的编码解码结构和第二卷积块；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级编码解码结构的编码模块和解码模块之间插入一个金字塔形注意力模块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，每个编码模块包含一个编码块和一个循环下采样块；编码块为在MobileNetV2的残差模块中，采用深度可分卷积层代替其中的标准卷积层；
所述解码模块包括解码块和循环上采样块。
进一步地，所述基于金字塔形注意力循环网络，其训练方法为：
步骤A100，获取训练视频序列，按时间顺序提取所述训练视频序列中的第s帧作为当前帧；
步骤A200，基于所述当前帧，通过所述第一卷积层生成第一特征图像，基于所述第一特征图像通过最大池化层生成第一池化特征图像；
步骤A300，基于所述第一池化特征图像，通过所述基于金字塔形注意力循环网络中的编码块进行分级编码，再通过所述循环下采样块生成特征压缩图像；
步骤A400，通过所述基于金字塔形注意力循环网络的金字塔形注意力块获取所述特征压缩图像三个不同尺度的特征，结合所述不同尺度的特征生成编码特征向量；
步骤A500，基于所述编码特征向量，通过所述基于金字塔形注意力循环网络中的解码块进行分级解码，再通过所述循环上采样块生成上采样特征图像；
步骤A600，基于所述上采样特征图像，通过所述基于金字塔形注意力循环网络的第二卷积层生成所述当前帧对应的介入器械的二值分割掩膜；
步骤A700，若网络全局损失函数不低于预设的阈值，则通过随机梯度下降法调节金字塔形注意力块的参数，令s＝s+1并跳转至步骤A100，直至全局损失函数小于预设的阈值，获得训练好的基于金字塔形注意力循环网络。
进一步地，所述编码块包括顺次连接的卷积核为1×1的卷积层、卷积核为3×3的Dwise卷积层和卷积核为1×1的卷积层；所述编码块的输入端和输出端通过残差连接相连。
进一步地，所述循环上采样块包括顺次连接的三个卷积核为3×3的线性修正循环卷积层；所述循环上采样块的输入端和输出端通过残差连接相连，每个所述循环卷积层都配置为空洞卷积层。
进一步地，所述循环下采样块与所述循环上采样块结构相同。
进一步地，所述循环上采样块的卷积层在t时刻的输出
为：
其中，xl表示循环上采样块第l层的输入，k表示第k个特征图，i和j表示像素在特征图中的位置，
为常规前向卷积层的输入，
为第l层卷积层的输入，
为第k个特征图常规前向卷积层的权重，
为第k个特征图循环卷积层的权重，bk是偏移量；
所述循环上采样块的卷积层输出
后连接标准的线性修正激活函数；所述循环上采样块的卷积层的输出通过残差连接与输入信息相加，生成循环卷积层的输出xl+1：
其中，xl代表循环上采样块的第l层卷积层的输入图像，F(xl,wl)是循环上采样块的第l层卷积层的输出，所述循环卷积层的输出xl+1为下一层循环卷积层的输入。
进一步地，所述金字塔形注意力块的输入端连接金字塔形注意力块第一支线、金字塔形注意力块第二支线和金字塔形注意力块第三支线；
所述金字塔形注意力块第一支线，为与所述金字塔形注意力块输入端顺次连接的自适应平均化层、卷积核为1×1的卷积层和上采样层；
所述金字塔形注意力块第二支线，为与所述金字塔形注意力块输入端连接的卷积核为1×1的卷积层；
所述金字塔形注意力块第三支线，为与所述金字塔形注意力块输入端顺次连接的呈U型结构的两层卷积核分别为7×7的卷积层、两层卷积核为5×5的卷积层和两层卷积核为3×3的卷积层；
所述金字塔形注意力块第三支线的两层卷积核为3×3的卷积层输出端与第一上采样层相连，两层卷积核为5×5的卷积层的输出端与第一上采样层输出端连接后与第二上采样层输入端相连，两层卷积核分别为7×7的卷积层的输出端与第二上采样层输出端连接后与第三上采样层输入端相连，第三上采样层的输出信息与金字塔形注意力块第二支线的输出信息做乘运算后与金字塔形注意力块第一支线的输出信息做加运算，获得所述金字塔形注意力块的输出信息。
进一步地，所述解码块的输入端顺次连接卷积核为1×1的卷积层、卷积核为4×4的转置卷积层和卷积核为1×1的卷积层。
进一步地，所述全局损失函数L为：
L＝LR-Focal+λLDice
其中，LDice是Dice系数损失函数，LR-Focal是聚焦损失函数，λ为用于调整聚焦损失和Dice系数损失之间平衡的超参数。
进一步地，所述聚焦损失函数LR-Focal为：
其中，yi是第i个像素的标签，1代表介入器械，0代表背景，pi是第i个像素的预测概率值，权重因子α和调制因子γ大于等于0。
本发明的另一方面，提出了一种基于金字塔形注意力循环网络的手术介入器械追踪系统，所述系统包括，待测视频获取单元、掩膜生成单元和介入器械显现单元；
所述待测视频获取单元，用于获取手术过程中包含介入器械的区域的X光透射视频序列作为待检测视频序列；
所述掩膜生成单元，用于基于所述待检测视频序列，通过训练好的基于金字塔形注意力循环网络生成显示血管内介入器械的二值分割掩膜序列；
所述介入器械显现单元，用于将所述显示血管内介入器械的二值分割掩膜序列覆盖在所述待检测视频序列上获得显示介入器械的视频序列；
其中，所述基于金字塔形注意力循环网络包括第一卷积块、最大池化块、多级嵌套的编码解码结构和第二卷积块；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级编码解码结构的编码模块和解码模块之间插入一个金字塔形注意力模块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接于对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，每个编码模块包含一个编码块和一个循环下采样块；编码块为MobileNetV2的残差模块中，用深度可分卷积层代替了标准的卷积层；
所述解码模块包括解码块和循环上采样块。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于金字塔形注意力循环网络的手术介入器械追踪方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于金字塔形注意力循环网络的手术介入器械追踪方法。
本发明的有益效果：
(1)本发明基于金字塔形注意力循环网络的手术介入器械追踪方法，采用金字塔形注意力网络通过U型结构在下采样和上采样中逐步结合不同尺度的图像特征，增加了在图像分割任务中的像素级别的接受阈，提高了现有的手术介入器械追踪方法的准确性。
(2)本发明基于金字塔形注意力循环网络的手术介入器械追踪方法，在编码块中，用深度可分卷积代替了标准卷积层，减少了计算量，保持网络性能的同时提高运行速度，满足了血管手术对即时性的要求。
(3)本发明基于金字塔形注意力循环网络的手术介入器械追踪方法，采用循环卷积神经网络在解码模块的解码块后添加循环上采样块，并且循环上采样快中的卷积采用了膨胀卷积代替常规卷积扩大了感受野降低了图像空间特征的损失，使得追踪到的介入器械更为精确。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于金字塔形注意力循环网络的手术介入器械追踪方法第一实施例的流程示意图；
图2是本发明第一实施例的基于金字塔形注意力循环网络结构示意图；
图3是本发明第一实施例的基于金字塔形注意力循环网络结构中的编码块示意图；
图4是本发明第一实施例的基于金字塔形注意力循环网络结构中的解码块结构示意图；
图5是本发明第一实施例的基于金字塔形注意力循环网络结构中金字塔形注意力块结构示意图；
图6是本发明第一实施例的基于金字塔形注意力循环网络结构中循环上采样块结构示意图；
图7是本发明针对不同导丝进行介入器械追踪的效果示意图；
图8是本发明第一实施例的数据集CTRSeg进行对比试验各种方法追踪手术介入器械的效果示意图；
图9是本发明第一实施例的在NLM胸部X光数据集进行对比试验各种方法追踪手术介入器械的效果示意图
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于金字塔形注意力循环网络的手术介入器械追踪方法，本方法包括：
步骤S10，获取手术过程中包含介入器械的区域的X光透射视频序列作为待检测视频序列；
步骤S20，基于所述待检测视频序列，通过训练好的基于金字塔形注意力循环网络生成显示血管内介入器械的二值分割掩膜序列；
步骤S30，将所述显示血管内介入器械的二值分割掩膜序列覆盖在所述待检测视频序列上获得显示介入器械的视频序列；
其中，所述基于金字塔形注意力循环网络包括第一卷积块、最大池化块、多级嵌套的编码解码结构和第二卷积块；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级编码解码结构的编码模块和解码模块之间插入一个金字塔形注意力模块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，每个编码模块包含一个编码块和一个循环下采样块；编码块为在MobileNetV2的残差模块中，采用深度可分卷积层代替其中的标准卷积层；
所述解码模块包括解码块和循环上采样块。
为了更清晰地对本发明基于金字塔形注意力循环网络的手术介入器械追踪方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于金字塔形注意力循环网络的手术介入器械追踪方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，获取手术过程中包含介入器械的区域的X光透射视频序列作为待检测视频序列；
步骤S20，基于所述待检测视频序列，通过训练好的基于金字塔形注意力循环网络生成显示血管内介入器械的二值分割掩膜序列；
在本实施例中，所述基于金字塔形注意力循环网络，其训练方法包括步骤A100-步骤A700，各步骤具体详述如下：
在本实施例中，所述金字塔形注意力循环网络结构如图2所示，在图2中，1为第一卷积层，2、4、6和8为编码块，3、5、7和9为循环下采样块，10为金字塔形注意力块，11、13、15和17为解码块，12、14、16和18为循环上采样块，19为第二卷积层。
步骤A100，获取训练视频序列，按时间顺序提取所述训练视频序列中的第s帧作为当前帧；
步骤A200，基于所述当前帧，通过所述第一卷积层生成第一特征图像，基于所述第一特征图像通过最大池化层生成第一池化特征图像；
在本实施例中，首先对一个512*512的输入灰度图像作7*7卷积，然后进行一个3*3的最大池化，生成第一池化特征图像。
步骤A300，基于所述第一池化特征图像，通过所述基于金字塔形注意力循环网络中的编码块进行分级编码，再通过所述循环下采样块生成特征压缩图像；
步骤A400，通过所述基于金字塔形注意力循环网络的金字塔形注意力块获取所述特征压缩图像三个不同尺度的特征，结合所述不同尺度的特征生成编码特征向量；
步骤A500，基于所述编码特征向量，通过所述基于金字塔形注意力循环网络中的解码块进行分级解码，再通过所述循环上采样块生成上采样特征图像；
步骤A600，基于所述上采样特征图像，通过所述基于金字塔形注意力循环网络的第二卷积层生成所述当前帧对应的介入器械的二值分割掩膜；
步骤A700，若网络全局损失函数不低于预设的阈值，则通过随机梯度下降法调节金字塔形注意力块的参数，令s＝s+1并跳转至步骤A100，直至全局损失函数小于预设的阈值，获得训练好的基于金字塔形注意力循环网络。
在本实施例中，所述编码块包括顺次连接的卷积核为1×1的卷积层、卷积核为3×3的Dwise卷积层和卷积核为1×1的卷积层；所述编码块的输入端和输出端通过残差连接相连。
在本实施例中，所述循环上采样块包括顺次连接的三个卷积核为3×3的线性修正循环卷积层；所述循环上采样块的输入端和输出端通过残差连接相连，每个所述循环卷积层都配置为空洞卷积层。
在本实施例中，所述循环下采样块与所述循环上采样块结构相同。
在本实施例中，所述循环上采样块的卷积层在t时刻的输出
如公式(1)所示：
其中，xl表示循环上采样块第l层的输入，k表示第k个特征图，i和j表示像素在特征图中的位置，
为常规前向卷积层的输入，
为第l层卷积层的输入，
为第k个特征图常规前向卷积层的权重，
为第k个特征图循环卷积层的权重，bk是偏移量；
所述循环上采样块的卷积层输出
后连接标准的线性修正激活函数；所述循环上采样块的卷积层的输出通过残差连接与输入信息相加，生成循环卷积层的输出xl+1如公式(2)所示：
其中，xl代表循环上采样块的第l层卷积层的输入图像，F(xl,wl)是循环上采样块的第l层卷积层的输出，所述循环卷积层的输出xl+1为下一层循环卷积层的输入。
在本实施例中，所述金字塔形注意力块的输入端连接金字塔形注意力块第一支线、金字塔形注意力块第二支线和金字塔形注意力块第三支线；
所述金字塔形注意力块第一支线，为与所述金字塔形注意力块输入端顺次连接的自适应平均化层、卷积核为1×1的卷积层和上采样层；
所述金字塔形注意力块第二支线，为与所述金字塔形注意力块输入端连接的卷积核为1×1的卷积层；
所述金字塔形注意力块第三支线，为与所述金字塔形注意力块输入端顺次连接的呈U型结构的两层卷积核分别为7×7的卷积层、两层卷积核为5×5的卷积层和两层卷积核为3×3的卷积层；
所述金字塔形注意力块第三支线的两层卷积核为3×3的卷积层输出端与第一上采样层相连，两层卷积核为5×5的卷积层的输出端与第一上采样层输出端连接后与第二上采样层输入端相连，两层卷积核分别为7×7的卷积层的输出端与第二上采样层输出端连接后与第三上采样层输入端相连，第三上采样层的输出信息与金字塔形注意力块第二支线的输出信息做乘运算后与金字塔形注意力块第一支线的输出信息做加运算，获得所述金字塔形注意力块的输出信息。
所述解码块的输入端顺次连接卷积核为1×1的卷积层、卷积核为4×4的转置卷积层和卷积核为1×1的卷积层。
在本实施例中，所述全局损失函数L如公式(3)所示：
L＝LR-Focal+λLDice
(3)
其中，LDice是Dice系数损失函数，LR-Focal是聚焦损失函数，λ为用于调整聚焦损失和Dice系数损失之间平衡的超参数。
在本实施例中，所述聚焦损失函数LR-Focal如公式(4)所示：
其中，yi是第i个像素的标签，1代表介入器械，0代表背景，pi是第i个像素的预测概率值，权重因子α和调制因子γ大于等于0。
步骤S30，将所述显示血管内介入器械的二值分割掩膜序列覆盖在所述待检测视频序列上获得显示介入器械的视频序列；
其中，所述基于金字塔形注意力循环网络包括第一卷积块、最大池化块、多级嵌套的编码解码结构和第二卷积块；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级编码解码结构的编码模块和解码模块之间插入一个金字塔形注意力模块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，每个编码模块包含一个编码块和一个循环下采样块；编码块为在MobileNetV2的残差模块中，采用深度可分卷积层代替其中的标准卷积层；
所述解码模块包括解码块和循环上采样块。
尽管对于手术器械分割的研究很多，但针对介入器械的分割和追踪的研究还是相对较少。目前已提出的方法主要可以被分为两大类，分别是基于特征的方法和基于学习的方法。
传统的介入手术器械追踪方法主要是基于一些显著特征，例如纹理、直方图或像素强度。在采用这些方法时，需要人为标记第一个造影序列的标签来进行初始化，且在两个连续序列之间出现的器械不能发生明显形变。显然，这一方法不适用于实时动态的手术环境。Sheng等人采用了一种基于Hough变换的方法在胸部X光片中检测支持设备的位置。类似地，Kao等人提出了一种用局部特征和多重阈值在儿科胸部X光片中检测气管内导管的方法。Keller等人提出了一种半自动化的方法，通过先验知识来检测导管。Bismuth等人用带有可控平滑度的局部曲线特征和全局曲线特征来进行导丝的分割。
之后，出现了一些基于学习的器械追踪方法。Vandini等人采用了片段特征来克服连续帧之间的剧烈形变。Pauly等人引入了局部平均正交图作为原始图像的特征，并通过回归方法学习追踪误差和特征之间的关系。然而，这类方法由于需要人工标注特征，具有较差的普适性和鲁棒性，由于在环境噪声较大的情况下。
近年来，深度学习在医学图像分割领域崭露头角。基于卷积神经网络的方法在检测、分割和追踪介入器械方面得到广泛应用。Vlontzos等人提出了一种在X光造影图像中分割导管的深度网络。Ambrosini等人提出了一种导管和导丝的分割方法。然而，由于材料的不同以及两种器械直径的差异，他们的同一网络在分割导丝时会呈现更大的误差。Wu等人提出了一种基于级联CNN的导丝分割方法，但级联结构会导致过重的计算负担，进而使得处理速度较慢。
本发明提出的模型采用的优化器是随机梯度下降算法(Stochastic gradientdecent，SGD)，初始学习率为0.001，权重衰减为0.0005，动量参数为0.9。为了得到最佳模型表现，本发明采用了多元学习率策略，当验证准确度饱和时，会给学习率乘以0.9。每次训练模型的batch size为8，epoch为180。在训练部分，采用了四重交叉验证来评估网络的表现。
本实施例中将本发明提出的模型PAR-Net分别在三个不同的数据集上进行测试，分别为MDGSeg，CTRSeg和NLM Chest X-ray Database。MDGSeg是一个介入手术器械数据集，由北京协和医院和上海华东医院提供。该数据集包括PCI中的1380张单导丝图像、984张多导丝图像和EVAR中的875张硬导丝图像，图像大小均为512*512。CTRSeg是一个导管数据集，由北京协和医院提供。该数据集包括934张训练集图像、234张测试集图像。NLM Chest X-ray Database是一个针对结核的标准数字图像数据集，包含336例结核数据和326例正常数据。
本实施例采用精确度、敏感度和F1值来评估分割表现，采用运行时间来评估方法的实时性。
PAM可以融合不同尺度的信息从而提取出更精确的特征，RRM保证了能够从底层特征中提取出更具代表性的特征。为了评估PAM和RRM的效果，在数据集MDGSeg上进行了消融实验，结果如表1所示。
表1在MDGSeg上的PAM和RRM的消融实验结果
其中，BaseNet是膨胀的FCN。RRM代表循环残差模块。C333代表PAM内所有的核的大小都是3*3，C357代表PAM内核的大小是3*3、5*5和7*7。AAP代表自适应性平均池化。
从表1可以看出，PAM和RRM能够大幅提升模型性能。基础实验的平均F1值为0.846。加入C333配置的金字塔结构后，带来了0.047的提升；当将金字塔结构改为C357后，又提升到了0.902；最后，自适应性平均池化进一步提升了模型的性能。从运行时间可以看出，运算量并没有增加太多。此外，可以看出RRM对模型的表现也会带来提升。当模型同时加入PAM和RRM结构时，相比于基础实验，平均F1值提升到了0.942，提高了约11.3％。
预训练的MobileNetV2可以减少模型参数，从而大幅减少程序运行时间。混合损失函数可以解决类间数据不平均的问题，使模型聚焦于易错分的数据。为了验证主干算法和损失函数的表现，本实施例将原始的主干网络分别替换为ResNet和VGGNet，将损失函数替换为另外三种损失函数，分别为二值交叉熵损失函数(BCE Loss)、Dice Loss和聚焦损失函数(Focal Loss)，在数据集MDGSeg上进行了测试。测试结果如表2所示。
表2在MDGSeg上的主干部分和损失函数的消融实验结果
其中，BCE代表二值交叉熵损失函数(Binary Cross Entropy Loss)。DL代表DiceLoss，FL代表聚焦损失函数。DRF代表前文所述的混合损失函数。
表2中清晰地显示出预训练的MobileNetV2对模型性能的提升。MobileNetV2可以提高处理速度，能够将ResNet-101的177.3ms降低到81.5ms。同时，从表2中也能看出混合损失函数的表现远优于其他损失函数。
混合损失函数的超参数的选择如表3所示。
表3混合损失函数的超参数选择
表3中加粗的值代表着最佳分割表现，其对应的超参数就是最佳超参数组合，即α＝100，γ＝2.5，λ＝0.75。
更进一步地，为了验证本发明提出的模型PAR-Net的优越性，本实施例将本方法与三种常用的网络(U-Net，LinkNet和TernausNet)以及其他一些最近提出的方法在MDGSeg上进行了对比，且对于其他方法均采用最佳参数设置。测试结果如表4所示。
表4在MDGSeg上的与尖端技术的量化对比
从表4中可以清楚看到，基于WSP和F1值，本发明提出的方法在准确性显著优于其他方法。参照图7，可以看出本方法对于各种介入导丝的分割都具有较好的鲁棒性。此外，Heidbuchel提到为了减少医生收到的辐射，C臂系统要在低帧率(6-12FPS)下操作，而本发明提出的方法平均处理每张图像的时间为81.5ms(12.3FPS)，因此能够实现实时的分割和追踪。
更进一步地，为了验证本发明提出的模型PAR-Net的有效性，本实施例又在另外两个数据集CTRSeg和NLM Chest X-ray Database上进行了测试。测试结果如表5所示。
表5在CTRSeg和NLM Chest X-ray Database上的与尖端技术的量化对比
从表5中可看出，本发明提出的方法优于其他方法，其中显著优于U-Net。具体分割的可视化结果可分别参照图8和图9。
以上所述的具体实施例用以对本发明的技术方案进行详细说明，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本发明第二实施例的基于金字塔形注意力循环网络的手术介入器械追踪系统，所述系统包括，待测视频获取单元、掩膜生成单元和介入器械显现单元；
所述待测视频获取单元，用于获取手术过程中包含介入器械的区域的X光透射视频序列作为待检测视频序列；
所述掩膜生成单元，用于基于所述待检测视频序列，通过训练好的基于金字塔形注意力循环网络生成显示血管内介入器械的二值分割掩膜序列；
所述介入器械显现单元，用于将所述显示血管内介入器械的二值分割掩膜序列覆盖在所述待检测视频序列上获得显示介入器械的视频序列；
其中，所述基于金字塔形注意力循环网络包括第一卷积块、最大池化块、多级嵌套的编码解码结构和第二卷积块；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级编码解码结构的编码模块和解码模块之间插入一个金字塔形注意力模块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，每个编码模块包含一个编码块和一个循环下采样块；编码块为在MobileNetV2的残差模块中，采用深度可分卷积层代替其中的标准卷积层；
所述解码模块包括解码块和循环上采样块。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于金字塔形注意力循环网络的手术介入器械追踪系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于金字塔形注意力循环网络的手术介入器械追踪方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于金字塔形注意力循环网络的手术介入器械追踪方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (13)
1.一种基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述方法包括：
步骤S10，获取手术过程中包含介入器械的区域的X光透射视频序列作为待检测视频序列；
步骤S20，基于所述待检测视频序列，通过训练好的基于金字塔形注意力循环网络生成显示血管内介入器械的二值分割掩膜序列；
步骤S30，将所述显示血管内介入器械的二值分割掩膜序列覆盖在所述待检测视频序列上获得显示介入器械的视频序列；
其中，所述基于金字塔形注意力循环网络包括第一卷积块、最大池化块、多级嵌套的编码解码结构和第二卷积块；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级编码解码结构的编码模块和解码模块之间插入一个金字塔形注意力模块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，每个编码模块包含一个编码块和一个循环下采样块；编码块为在MobileNetV2的残差模块中，采用深度可分卷积层代替其中的标准卷积层；
所述解码模块包括解码块和循环上采样块。
2.根据权利要求1所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述基于金字塔形注意力循环网络，其训练方法为：
步骤A100，获取训练视频序列，按时间顺序提取所述训练视频序列中的第s帧作为当前帧；
步骤A200，基于所述当前帧，通过所述第一卷积层生成第一特征图像，基于所述第一特征图像通过最大池化层生成第一池化特征图像；
步骤A300，基于所述第一池化特征图像，通过所述基于金字塔形注意力循环网络中的编码块进行分级编码，再通过所述循环下采样块生成特征压缩图像；
步骤A400，通过所述基于金字塔形注意力循环网络的金字塔形注意力块获取所述特征压缩图像三个不同尺度的特征，结合所述不同尺度的特征生成编码特征向量；
步骤A500，基于所述编码特征向量，通过所述基于金字塔形注意力循环网络中的解码块进行分级解码，再通过所述循环上采样块生成上采样特征图像；
步骤A600，基于所述上采样特征图像，通过所述基于金字塔形注意力循环网络的第二卷积层生成所述当前帧对应的介入器械的二值分割掩膜；
步骤A700，若网络全局损失函数不低于预设的阈值，则通过随机梯度下降法调节金字塔形注意力块的参数，令s＝s+1并跳转至步骤A100，直至全局损失函数小于预设的阈值，获得训练好的基于金字塔形注意力循环网络。
3.根据权利要求1所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述编码块包括顺次连接的卷积核为1×1的卷积层、卷积核为3×3的Dwise卷积层和卷积核为1×1的卷积层；所述编码块的输入端和输出端通过残差连接相连。
4.根据权利要求1所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述循环上采样块包括顺次连接的三个卷积核为3×3的线性修正循环卷积层；所述循环上采样块的输入端和输出端通过残差连接相连，每个所述循环卷积层都配置为空洞卷积层。
5.根据权利要求4所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述循环下采样块与所述循环上采样块结构相同。
6.根据权利要求4所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述循环上采样块的卷积层在t时刻的输出
为：
其中，xl表示循环上采样块第l层的输入，k表示第k个特征图，i和j表示像素在特征图中的位置，
为常规前向卷积层的输入，
为第l层卷积层的输入，
为第k个特征图常规前向卷积层的权重，
为第k个特征图循环卷积层的权重，bk是偏移量；
所述循环上采样块的卷积层输出
后连接标准的线性修正激活函数；所述循环上采样块的卷积层的输出通过残差连接与输入信息相加，生成循环卷积层的输出xl+1：
其中，xl代表循环上采样块的第l层卷积层的输入图像，F(xl，wl)是循环上采样块的第l层卷积层的输出，所述循环卷积层的输出xl+1为下一层循环卷积层的输入。
7.根据权利要求1所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述金字塔形注意力块的输入端连接金字塔形注意力块第一支线、金字塔形注意力块第二支线和金字塔形注意力块第三支线；
所述金字塔形注意力块第一支线，为与所述金字塔形注意力块输入端顺次连接的自适应平均化层、卷积核为1×1的卷积层和上采样层；
所述金字塔形注意力块第二支线，为与所述金字塔形注意力块输入端连接的卷积核为1×1的卷积层；
所述金字塔形注意力块第三支线，为与所述金字塔形注意力块输入端顺次连接的呈U型结构的两层卷积核分别为7×7的卷积层、两层卷积核为5×5的卷积层和两层卷积核为3×3的卷积层；
所述金字塔形注意力块第三支线的两层卷积核为3×3的卷积层输出端与第一上采样层相连，两层卷积核为5×5的卷积层的输出端与第一上采样层输出端连接后与第二上采样层输入端相连，两层卷积核分别为7×7的卷积层的输出端与第二上采样层输出端连接后与第三上采样层输入端相连，第三上采样层的输出信息与金字塔形注意力块第二支线的输出信息做乘运算后与金字塔形注意力块第一支线的输出信息做加运算，获得所述金字塔形注意力块的输出信息。
8.根据权利要求1所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述解码块的输入端顺次连接卷积核为1×1的卷积层、卷积核为4×4的转置卷积层和卷积核为1×1的卷积层。
9.根据权利要求2所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述全局损失函数L为：
L＝LR-Focal+λLDice
其中，LDice是Dice系数损失函数，LR-Focal是聚焦损失函数，λ为用于调整聚焦损失和Dice系数损失之间平衡的超参数。
10.根据权利要求9所述的基于金字塔形注意力循环网络的手术介入器械追踪方法，其特征在于，所述聚焦损失函数LR-Focal为：
其中，yi是第i个像素的标签，1代表介入器械，0代表背景，pi是第i个像素的预测概率值，权重因子α和调制因子γ大于等于0。
11.一种基于金字塔形注意力循环网络的手术介入器械追踪系统，其特征在于，所述系统包括，待测视频获取单元、掩膜生成单元和介入器械显现单元；
所述待测视频获取单元，用于获取手术过程中包含介入器械的区域的X光透射视频序列作为待检测视频序列；
所述掩膜生成单元，用于基于所述待检测视频序列，通过训练好的基于金字塔形注意力循环网络生成显示血管内介入器械的二值分割掩膜序列；
所述介入器械显现单元，用于将所述显示血管内介入器械的二值分割掩膜序列覆盖在所述待检测视频序列上获得显示介入器械的视频序列；
其中，所述基于金字塔形注意力循环网络包括第一卷积块、最大池化块、多级嵌套的编码解码结构和第二卷积块；所述多级嵌套的编码解码结构在各级编码器与解码器之间嵌套插入下一级编码解码结构，在最下一级编码解码结构的编码模块和解码模块之间插入一个金字塔形注意力模块；
所述多级嵌套的编码解码结构，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于MobileNetV2网络构建，每个编码模块包含一个编码块和一个循环下采样块；编码块为在MobileNetV2的残差模块中，采用深度可分卷积层代替其中的标准卷积层；
所述解码模块包括解码块和循环上采样块。
12.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-10任一项所述的基于金字塔形注意力循环网络的手术介入器械追踪方法。
13.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序,其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-10任一项所述的基于金字塔形注意力循环网络的手术介入器械追踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010858840.7A CN111985485A (zh) | 2020-08-24 | 2020-08-24 | 基于金字塔形注意力循环网络的手术介入器械追踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010858840.7A CN111985485A (zh) | 2020-08-24 | 2020-08-24 | 基于金字塔形注意力循环网络的手术介入器械追踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111985485A true CN111985485A (zh) | 2020-11-24 |
Family
ID=73444003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010858840.7A Pending CN111985485A (zh) | 2020-08-24 | 2020-08-24 | 基于金字塔形注意力循环网络的手术介入器械追踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985485A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113055676A (zh) * | 2021-03-26 | 2021-06-29 | 中南大学 | 基于深度网络视频编解码的后处理优化方法 |
| CN113538475A (zh) * | 2021-07-19 | 2021-10-22 | 中国科学院自动化研究所 | 基于多任务算法的实时多器械分割方法和系统 |
| CN114663474A (zh) * | 2022-03-10 | 2022-06-24 | 济南国科医工科技发展有限公司 | 一种用于持镜机器人的腹腔镜视野中多器械视觉追踪方法 |
| CN116473692A (zh) * | 2023-04-17 | 2023-07-25 | 中山大学附属第六医院 | 基于人工智能图像识别的手术室器械敷料点数方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340046A (zh) * | 2020-02-18 | 2020-06-26 | 上海理工大学 | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 |
-
2020
- 2020-08-24 CN CN202010858840.7A patent/CN111985485A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340046A (zh) * | 2020-02-18 | 2020-06-26 | 上海理工大学 | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YAN-JIE ZHOU 等: "Pyramid attention recurrent networks for real-time guidewire segmentation and tracking in intraoperative X-ray fluoroscopy", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 * |
| 高丹等: "A-PSPNet:一种融合注意力机制的PSPNet图像语义分割模型", 《中国电子科学研究院学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113055676A (zh) * | 2021-03-26 | 2021-06-29 | 中南大学 | 基于深度网络视频编解码的后处理优化方法 |
| CN113055676B (zh) * | 2021-03-26 | 2024-04-26 | 中南大学 | 基于深度网络视频编解码的后处理优化方法 |
| CN113538475A (zh) * | 2021-07-19 | 2021-10-22 | 中国科学院自动化研究所 | 基于多任务算法的实时多器械分割方法和系统 |
| CN113538475B (zh) * | 2021-07-19 | 2022-03-25 | 中国科学院自动化研究所 | 基于多任务算法的实时多器械分割方法和系统 |
| CN114663474A (zh) * | 2022-03-10 | 2022-06-24 | 济南国科医工科技发展有限公司 | 一种用于持镜机器人的腹腔镜视野中多器械视觉追踪方法 |
| CN116473692A (zh) * | 2023-04-17 | 2023-07-25 | 中山大学附属第六医院 | 基于人工智能图像识别的手术室器械敷料点数方法及系统 |
| CN116473692B (zh) * | 2023-04-17 | 2024-06-14 | 中山大学附属第六医院 | 基于人工智能图像识别的手术室器械敷料点数方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986181B (zh) | 基于双注意力机制的血管内支架图像分割方法和系统 | |
| CN111985485A (zh) | 基于金字塔形注意力循环网络的手术介入器械追踪方法 | |
| CN110689083B (zh) | 一种上下文金字塔融合网络及图像分割方法 | |
| US20190128989A1 (en) | Motion artifact reduction of magnetic resonance images with an adversarial trained network | |
| CN109409503B (zh) | 神经网络的训练方法、图像转换方法、装置、设备及介质 | |
| CN112348821B (zh) | 基于x光图像的导丝分割和尖端点定位方法、系统和装置 | |
| JP6120843B2 (ja) | 時間フィルタリングおよび空間フィルタリングによる一連の蛍光透視画像における雑音を低減させるための方法 | |
| CN111681254A (zh) | 用于血管动脉瘤介入手术导航系统的导管检测方法及系统 | |
| CN106530236B (zh) | 一种医学图像处理方法及系统 | |
| CN113539402B (zh) | 多模态影像自动勾画模型迁移方法 | |
| CN111724365B (zh) | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 | |
| CN112036506A (zh) | 图像识别方法及相关装置、设备 | |
| CN116206108A (zh) | 一种基于域自适应的oct图像脉络膜分割网络模型及方法 | |
| CN110599530B (zh) | 基于双正则约束的mvct图像纹理增强方法 | |
| CN113724203B (zh) | 应用于oct图像中目标特征分割的模型训练方法及装置 | |
| CN114359248A (zh) | 一种医学图像分割方法、装置、存储介质及电子设备 | |
| CN116778016A (zh) | 一种mri图像重建方法、系统及介质 | |
| CN115359046B (zh) | 一种脏器血管分割方法、装置、存储介质及电子设备 | |
| CN116071270A (zh) | 基于可变形卷积生成对抗网络的电子数据生成方法及系统 | |
| CN116138877A (zh) | 目标定位方法、装置、电子设备及存储介质 | |
| CN114693733A (zh) | 一种基于深度学习的运动预测方法和运动预测装置 | |
| CN112348860B (zh) | 用于血管内动脉瘤手术的血管配准方法、系统和装置 | |
| CN113538475A (zh) | 基于多任务算法的实时多器械分割方法和系统 | |
| CN111915516B (zh) | 运动补偿方法、装置、ct设备及ct系统 | |
| KR102481027B1 (ko) | 팬텀을 이용한 의료 영상 보정 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |