CN111724365B - 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 - Google Patents
血管内动脉瘤修复手术的介入器械检测方法、系统及装置 Download PDFInfo
- Publication number
- CN111724365B CN111724365B CN202010546847.5A CN202010546847A CN111724365B CN 111724365 B CN111724365 B CN 111724365B CN 202010546847 A CN202010546847 A CN 202010546847A CN 111724365 B CN111724365 B CN 111724365B
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- interventional instrument
- layer
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010002329 Aneurysm Diseases 0.000 title claims abstract description 40
- 230000008439 repair process Effects 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 36
- 238000001356 surgical procedure Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 47
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012952 Resampling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 239000000654 additive Substances 0.000 claims description 7
- 230000000996 additive effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 208000002223 abdominal aortic aneurysm Diseases 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 239000002872 contrast media Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 208000007474 aortic aneurysm Diseases 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
本发明属于图像处理技术领域，具体涉及了一种血管内动脉瘤修复手术介入器械检测方法，旨在解决无法实时并准确地分割和追踪血管内动脉瘤修复术中X光透射图像中介入器械的问题。本发明包括：将包含介入器械的区域的X光透射图像作为待检测图像；通过训练好的快速注意力网络生成介入器械的二值分割掩膜；将二值分割掩膜覆盖在待检测图像上获得介入器械的图像。本发明解决了前景与背景像素数量极度不平衡的问题和图像错分类问题，还提高了现有技术的X光透射图像识别对手术介入器械的分割和追踪图像的速度和准确度，可以满足在血管内动脉瘤修复手术中实时协助医生的需求。
Description
技术领域
本发明属于图像处理技术领域，具体涉及了一种血管内动脉瘤修复手术的介入器械检测方法、系统及装置。
背景技术
腹部主动脉瘤(Abdominal aortic aneurysm,AAA)是最常见的一种动脉瘤。通常腹部主动脉瘤在破裂之前不会伴随其他症状，因此腹部主动脉瘤的破裂会导致85％到90％的患者去世。临床研究表明，血管内动脉瘤修复(EVAR，Endovascular aneurysm repair)可以有效降低患者在围手术期的发病率和死亡率。同时，近年来科技的发展也使得血管内动脉瘤修复可以成为大多数病人治疗腹部主动脉瘤的一个选择。
血管内动脉瘤修复的关键步骤是医生在一个复杂的介入通道内将介入器械(例如介入器械)送至病变处。因此，在手术中对介入器械实时并准确地分割和追踪非常重要。然而，介入器械的分割和追踪有以下几部分难点：(1)X光图像有较低的信噪比，背景噪音会对介入器械的分割有较强的干扰；(2)由于介入器械的像素数量远小于背景的像素数量，前景和背景类别数量极度不平均；(3)由于造影剂和丝状结构(例如脊椎和骨盆的轮廓)的存在，介入器械的边缘像素可能会被错误分类。
目前针对血管内动脉瘤修复治疗方法中介入器械检测的研究相对较少。Baert等人提出的介入器械检测方法是基于B样条拟合方法。该方法首先对图像进行了两步预处理，分别是图像减影与非线性滤波。主要的检测方法同样包括两步：首先采用一个二值模板来粗略地估计介入器械所在位置，再通过内部和外部的一些限制来对样条进行优化。该方法可以在一系列图像中较为准确地追踪到介入器械，但在图像噪声较强时准确率会大幅降低。
Wu等人提出的介入器械检测方法是基于级联卷积神经网络，先采用Faster R-CNN网络检测介入器械所在目标区域，再采用Deep-Lab网络来在此区域实现介入器械的分割。然而，这种方法需要过量的计算和冗余的模型参数，会使得处理速度较慢。
Liu等人提出了使用图像增强算法和改进的Faster-Rcnn来提高介入器械的检测准确率和鲁棒性，最后使用Canny边缘检测进行边缘检测，但是该方法速度慢，并且canny边缘检测结果受到上一步结果的制约，性能不稳定。
发明内容
为了解决现有技术中的上述问题，即无法实时并准确地分割和追踪血管内动脉瘤修复手术中X光透射图像中介入器械的问题，本发明提供了一种血管内动脉瘤修复手术介入器械检测方法，所述检测方法包括：
步骤S10，获取包含介入器械的区域的X光透射图像作为待检测图像；
步骤S20，基于所述待检测图像，通过训练好的快速注意力网络生成所述介入器械的二值分割掩膜；
步骤S30，将所述二值分割掩膜覆盖在所述待检测图像上获得所述介入器械的图像；
其中，所述快速注意力网络包括顺次连接的第一卷积层、空间最大池化层、多级嵌套的编码器-解码器和第二卷积层；所述多级嵌套的编码器-解码器为在各级编码器-解码器的编码器与解码器之间嵌套插入下一级编码器-解码器；
所述多级嵌套的编码器-解码器，包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；所述各解码模块前分别设置有注意力门控模块；
所述编码模块基于MobileNetV2网络构建，并通过ImageNet进行预训练；
所述解码模块包括顺次连接的第三卷积层、转置卷积层和第四卷积层。
在一些优选的实施方式中，所述步骤S20包括：
步骤S21，通过所述快速注意力网络的第一卷积层和空间最大池化层将所述待检测图像转化为池化图像；
步骤S22，基于所述池化图像，通过所述快速注意力网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
步骤S23，通过残差连接将所述各级编码模块的输入信息传递至同级的解码模块；通过注意力门控模块对各级解码器的输入信息进行特征强化；
步骤S24，结合所述各级编码模块的输入信息以及特征强化的各级解码器的输入信息，进行分级解码，获得强化特征图像；
步骤S25，基于所述强化特征图像，通过所述快速注意力网络的第二卷积层生成所述介入器械的二值分割掩膜。
在一些优选的实施方式中，所述注意力门控模块包括：
顺次连接的ReLU线性修正层、Linear Transformation线性变化层、Sigmold二分类层和Resampler重采样层。
在一些优选的实施方式中，所述注意力门控模块，其注意力系数通过加性注意力机制获取；所述注意力系数为：
其中，αi为注意力系数，x为图像向量，l为图像标号，gi为决定第i个向量是否是注意力区域的门向量，αi∈[0，1]为注意力系数，σ1代表ReLU线性修正层的激活函数，σ2代表Sigmoid二分类层的激活函数；Wx和Wg是线性变换的权重，bg和bψ是偏差，ψ为通过一个通道方式的1*1*1卷积层ψ来计算线性变换。
在一些优选的实施方式中，通过加性注意力机制获取所述注意力系数后，还设置有注意力系数重采样的步骤，其方法为：
通过三线插值法对所述注意力系数进行重采样。
在一些优选的实施方式中，所述快速注意力网络，其训练中采用的损失函数为增强聚焦损失函数；所述增强聚焦损失函数为：
其中，yi是第i个像素的标签，1代表介入器械，0代表背景；pi是第i个像素的最终掩膜概率，β为权重因子，γ为调制因子，β和γ均大于等于0。
在一些优选的实施方式中，所述快速注意力网络，其训练中通过随机梯度下降算法来减小损失函数，多次迭代直至损失函数低于设定阈值或达到设定的训练次数，获得训练好的快速注意力网络。
本发明的另一方面，提出了一种血管内动脉瘤修复手术介入器械检测系统，所述检测系统包括：图像获取单元100、掩膜生成单元200和结果生成单元300；
图像获取单元100，获取包含介入器械的区域的X光透射图像作为待检测图像；
掩膜生成单元200，基于所述待检测图像，通过训练好的快速注意力网络生成所述介入器械的二值分割掩膜；
结果生成单元300，将所述二值分割掩膜覆盖在所述待检测图像上获得所述介入器械的图像；
在一些优选的实施方式中，所述掩膜生成单元200还包括：图像预处理子单元210、图像压缩子单元220、特征强化子单元230、图像解码子单元240和掩膜生成子单元250；
图像预处理子单元210，通过所述快速注意力网络的第一卷积层和空间最大池化层将所述待检测图像转化为池化图像；
图像压缩子单元220，基于所述池化图像，通过所述快速注意力网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
特征强化子单元230，通过残差连接将所述各级编码模块的输入信息传递至同级的解码模块；通过注意力门控模块对各级解码器的输入信息进行特征强化；
图像解码子单元240，结合所述各级编码模块的输入信息以及特征强化的各级解码器的输入信息，进行分级解码，获得强化特征图像；
掩膜生成子单元250，基于所述强化特征图像，通过所述所述快速注意力网络的第二卷积层生成所述介入器械的二值分割掩膜。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的血管内动脉瘤修复手术介入器械检测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的血管内动脉瘤修复手术介入器械检测方法。
本发明的有益效果：
(1)本发明血管内动脉瘤修复手术的介入器械检测方法，通过注意力门控有效地强化了图像中的介入器械的特征，提高了通过X光透射图像分割和追踪手术介入器械图像的速度和准确度；
(2)本发明血管内动脉瘤修复手术的介入器械检测方法，通过加性注意力机制获取注意力系数，用三线插值法对注意力系数进行重采样，避免了现有技术中容易对某一区域错误识别的问题，同时消除了残差连接中的无关响应或噪声响应；
(3)本发明血管内动脉瘤修复手术的介入器械检测方法，通过特有的增强聚焦损失函数解决了前景与背景像素数量的极度不平衡和容易被错误分类的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明血管内动脉瘤修复手术的介入器械检测方法一种实施例的流程示意图；
图2是本发明血管内动脉瘤修复手术的介入器械检测方法中快速注意力网络结构示意图；
图3是本发明血管内动脉瘤修复手术的介入器械检测方法中快速注意力网络里的编码模块的结构示意图；
图4是本发明血管内动脉瘤修复手术的介入器械检测方法中快速注意力网络里的解码模块的结构示意图；
图5是发明血管内动脉瘤修复手术的介入器械检测方法中快速注意力网络里的注意力门控模块的结构示意图；
图6是本发明实施例提供的待分割的介入器械的示意图；
图7是本发明实施例提供的采用类激活映射后的结果示意图；
图8是本发明实施例提供的使用了增强聚焦损失函数的分割和追踪结果图；
图9是本发明实施例提供使用加权BCE损失函数下的介入器械的分割结果图；
图10是本发明实施例提供使用GHM-C函数下的介入器械的分割结果示意图；
其中，图2中，第1层为卷积层，第2层为空间最大池化层，第3、4、5和6层为快速注意力网络里的编码模块，第7、8、9和10层是快速注意力网络里的解码模块，第12、13、14和15为注意力门控，第3-10、4-9、5-8、6-7为通过残差连接和注意力门控连接的对应的编码解码结构。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种用于血管内动脉瘤修复手术的介入器械检测方法，本方法包括：
步骤S10，获取包含介入器械的区域的X光透射图像作为待检测图像；
步骤S20，基于所述待检测图像，通过训练好的快速注意力网络生成所述介入器械的二值分割掩膜；
步骤S30，将所述二值分割掩膜覆盖在所述待检测图像上获得所述介入器械的图像。
为了更清晰地对本发明血管内动脉瘤修复手术介入器械检测方法进行说明，下面结合图1本发明血管内动脉瘤修复手术的介入器械检测方法一种实施例的流程示意图对本发明方法实施例中各步骤展开详述。
本发明一种实施例的血管内动脉瘤修复手术介入器械检测方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，获取包含介入器械的区域的X光透射图像作为待检测图像；
在本实施例中，将来自24名患者的144个序列作为训练集，将来自6名患者的36个序列作为测试集。
步骤S20基于所述待检测图像，通过训练好的快速注意力网络生成所述介入器械的二值分割掩膜；
其中，如图2所示，为本发明血管内动脉瘤修复手术的介入器械检测方法中快速注意力网络结构示意图，快速注意力网络基于编码器-解码器结构(encoder-decoder)组成，包括顺次连接的第一卷积层、空间最大池化层、多级嵌套的编码器-解码器和第二卷积层；多级嵌套的编码器-解码器在各级编码器-解码器的编码器与解码器之间嵌套插入下一级编码器-解码器；图中第1层为卷积层，第2层为空间最大池化层，第3、4、5和6层为快速注意力网络里的编码模块，第7、8、9和10层是快速注意力网络里的解码模块，第12、13、14和15为注意力门控，第3-10、4-9、5-8、6-7为通过残差连接和注意力门控连接的对应的编码解码结构。
多级嵌套的编码器-解码器，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；所述各解码模块前分别设置有注意力门控模块；
如图3所示，所述编码模块基于MobileNetV2网络构建，并通过ImageNet进行预训练；所述MobileNetV2网络包含反向残差模块(inverted residual block)；在残差模块中，深度可分卷积取代了标准卷积层，从而大大降低了计算量。
如图4所示，所述解码模块包括顺次连接的第三卷积层、转置卷积层和第四卷积层；优选的，在第三卷积层和第四卷积层后可加入批正则化层。
步骤S21，通过所述快速注意力网络的第一卷积层和空间最大池化层将所述待检测图像转化为池化图像；
在本实施例中，编码器结构的输入是一个512*512的灰度图，由一个7*7大小的卷积核以2为步长对输入图像进行卷积运算。之后，用一个3*3的窗格以2为步长对卷积层进行空间最大池化处理。
步骤S22，基于所述池化图像，通过所述快速注意力网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
步骤S23，通过残差连接将所述各级编码模块的输入信息传递至同级的解码模块；通过注意力门控模块对各级解码器的输入信息进行特征强化；
为本发明血管内动脉瘤修复手术的介入器械检测方法中快速注意力网络结构示意图，在本实施例中，将池化图像通过残差连接传输至第1级解码模块，将第1级编码模块编码后的特征压缩图像即第2级编码模块的输入信息传递至第2级解码模块，将第3级编码模块的输入信息传递至第3级解码模块，将第4级编码模块的输入信息传递至第4级解码模块。
步骤S24，结合所述各级编码模块的输入信息以及特征强化的各级解码器的输入信息，进行分级解码，获得强化特征图像；
在本实施例中，每一个解码模块首先通过一个1*1的卷积层，可将滤波器的数量减少4倍，再通过一个转置卷积层，从而通过上采样将特征映射从16*16恢复至512*512。
步骤S25，基于所述强化特征图像，通过所述快速注意力网络的第二卷积层生成所述介入器械的二值分割掩膜。
如图5所示，所述注意力门控模块包括：
顺次连接的ReLU线性修正层、Linear Transformation线性变化层、Sigmold二分类层和Resampler重采样层。
将所述编码模块的输入信息和门向量合成输入ReLU线性修正层，所述编码模块的输入信息和Resampler重采样层的输出信息相乘作为注意力门控的强化特征压缩图像。
所述注意力门控模块，其注意力系数通过加性注意力机制获取；所述注意力系数为式(1)：
其中，αi为注意力系数，x为图像向量，l为图像标号，gi为决定第i个向量是否是注意力区域的门向量，αi∈[0，1]为注意力系数，σ1代表ReLU线性修正层的激活函数，σ2代表Sigmoid二分类层的激活函数；Wx和Wg是线性变换的权重，bg和bψ是偏差，ψ为通过一个通道方式的1*1*1卷积层ψ来计算线性变换。
在本实施例中，注意力系数αi∈[0,1]可以识别出图像的显著区域。
通过加性注意力机制获取所述注意力系数后，还设置有注意力系数重采样的步骤，其方法为：
通过三线插值法对所述注意力系数进行重采样。
所述所述快速注意力网络，其训练中采用的损失函数为增强聚焦损失函数；所述增强聚焦损失函数如式(2)所示：
其中，yi是第i个像素的标签，1代表介入器械，0代表背景。pi是第i个像素的最终掩膜概率，β为权重因子，γ为调制因子，β和γ均大于等于0。
在本实施例中，在介入器械分割和追踪的过程中，如图6本发明实施例提供的待分割的介入器械的示意图所示，由于介入器械细长的特殊结构，使得前景与背景像素数量极度不平衡(比例约为1：1000)。同时，由于造影剂和介入器械结构的干扰，介入器械的边缘像素极易被错误分类。采用本发明提出的增强聚焦损失函数无论是前景像素还是背景像素，其损失函数的影响都可以通过改变γ来进行调整。
为了评估增强聚焦学习对本发明所述方法的影响，同时训练了另外两个带有不同损失函数的网络。一个网络的损失函数是加权二值交叉熵(binary cross entropy，BCE)损失函数，是一个解决二值图像分割任务中种类不平衡问题的常用方法。另一个网络的损失函数是梯度协调机制分类(gradient harmonizing mechanism classification，GHM-C)损失函数，是现在解决种类不平衡问题的最先进的技术。将这两种损失函数作为基准线。
增强聚焦学习有两个超参数β和γ。β的其他参数值都设置在加权BCE损失函数的权重因子的最佳值附近。已有研究证明γ的最佳值为2，因此将γ的其他参数值设置为1.5，2，2.5和3。实验结果证明当权重因子β＝100且调制因子γ＝2.5时，模型表现最佳。此时模型结果的平均F1值为0.946，精确度为0.939，敏感度为0.956。该结果的F1值比基准线分别提高了12.26％和0.95％。具体结果如表2所示。
表2本发明采用增强聚焦损失函数学习与尖端技术的对比
如图9本发明实施例提供的使用了增强聚焦损失函数的分割和追踪结果图所示，由于脊椎的影响，加权BCE函数的分割结果中部分背景像素被错分为介入器械，种类极度不平衡和造影剂使得GHM-C函数的分割结果中如图10本发明实施例提供使用加权BCE损失函数下的介入器械的分割结果图所示，存在背景像素的错分和介入器械像素的缺失的问题。相反，如图8本发明实施例提供的使用了增强聚焦损失函数的分割和追踪结果图所示，增强聚焦损失函数的分割和追踪结果要更加平滑和准确。
数据的金标准由两名医生分别标注，首先确定介入器械所在的区域，并将该区域扩大至边界框，接着对介入器械上的一些点进行标注，使其符合线形。对每一幅图，当两名医生的标注点相隔小于0.5个像素时即认为有效，此时采用两个标注中任意一个均可，否则需要重新进行标注。
测试结果表明本方法有效地解决了由于介入器械的细长结构导致的种类极度不平衡问题和丝状结构和造影剂干扰导致的错分类问题。与同类其他方法相比，本方法的F1值为0.946，达到了目前最先进的技术结果。此外，本方法的处理速度为17FPS，可以达到在EVAR术中实时协助医生的要求。
在本实施例中，所述“训练快速注意力网络”通过随机梯度下降算法(Stochasticgradient decent，SGD)来减小损失函数，多次迭代直至损失函数低于设定阈值或达到设定的训练次数获得快速注意力网络。
在本实施例中，初始学习率为0.001，权重衰减为0.0005，动量参数为0.9。每次训练模型的batch size为32，epoch为300。
在本实施例中，采用了数据增强算法。即将图像在0—360°的范围内旋转，或沿x轴或y轴翻转，来增加数据集的大小。
在本实施例中，注意力系数αi∈[0,1]可以识别出图像的显著区域。
计算出所述注意力系数αi后，通过三线插值法对注意力系数进行重采样。以避免某一区域的错误识别。这些从粗尺度中提取出的信息可以用于消除残差连接中的无关响应或噪声响应。本发明提出的模型在加入注意力门控后，可以在突出介入器械有用特征的同时有效抑制无关区域。
步骤S35，基于所述强化特征压缩图像通过所述解码模块和第二卷积层生成显示介入器械的二值分割掩膜，在所述二值分割掩膜中(1代表介入器械，0代表其他)
为了评估注意力门控对于本发明所述方法的影响，分别对移除注意力门控前后的模型进行了训练。同时，为了验证预训练后的MobileNetV2对运算速度带来的改进，分别将原网络的编码器部分替换为ResNet-50、Resnet-101和VGG-16进行训练。所有测试结果如表1所示。
表1AG和预训练MobileNetV2的分析
表1清楚地展现出了注意力门控对于模型准确性的提高和预训练MobileNetV2对模型处理速度的改进。
为了更进一步地验证模型的鲁棒性，采用类激活映射(class activation map，CAM)来可视化测试数据中网络的特定区域。全局平均池化会输出特征映射的空间平均值，之后再将预测的等级分数映射回之前的卷积层，来产生类激活映射。类激活映射会凸显出特征区域，参照图7本发明实施例提供的采用类激活映射后的结果示意图，大部分特征区域集中在介入器械附近，说明网络的鲁棒性很强。
本发明第二实施例的血管内动脉瘤修复手术介入器械检测系统，所述检测系统包括：图像获取单元100、掩膜生成单元200和结果生成单元300；
图像获取单元100，获取包含介入器械的区域的X光透射图像作为待检测图像；
掩膜生成单元200，基于所述待检测图像，通过训练好的快速注意力网络生成所述介入器械的二值分割掩膜；
结果生成单元300，将所述二值分割掩膜覆盖在所述待检测图像上获得所述介入器械的图像；
在一些优选的实施方式中，所述掩膜生成单元200还包括：图像预处理子单元210、图像压缩子单元220、特征强化子单元230、图像解码子单元240和掩膜生成子单元250；
图像预处理子单元210，通过所述快速注意力网络的第一卷积层和空间最大池化层将所述待检测图像转化为池化图像；
图像压缩子单元220，基于所述池化图像，通过所述快速注意力网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
特征强化子单元230，通过残差连接将所述各级编码模块的输入信息传递至同级的解码模块；通过注意力门控模块对各级解码器的输入信息进行特征强化；
图像解码子单元240，结合所述各级编码模块的输入信息以及特征强化的各级解码器的输入信息，进行分级解码，获得强化特征图像；
掩膜生成子单元250，基于所述强化特征图像，通过所述所述快速注意力网络的第二卷积层生成所述介入器械的二值分割掩膜。所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的血管内动脉瘤修复手术介入器械检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的血管内动脉瘤修复手术介入器械检测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的血管内动脉瘤修复手术介入器械检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种血管内动脉瘤修复手术介入器械检测方法，其特征在于，所述检测方法包括：
步骤S10，获取包含介入器械的区域的X光透射图像作为待检测图像；
步骤S20，基于所述待检测图像，通过训练好的快速注意力网络生成所述介入器械的二值分割掩膜；
步骤S21，通过所述快速注意力网络的第一卷积层和空间最大池化层将所述待检测图像转化为池化图像；
步骤S22，基于所述池化图像，通过所述快速注意力网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
步骤S23，通过残差连接将所述各级编码模块的输入信息传递至同级的解码模块；通过注意力门控模块对各级解码器的输入信息进行特征强化；
步骤S24，结合所述各级编码模块的输入信息以及特征强化的各级解码器的输入信息，进行分级解码，获得强化特征图像；
步骤S25，基于所述强化特征图像，通过所述快速注意力网络的第二卷积层生成所述介入器械的二值分割掩膜；
步骤S30，将所述二值分割掩膜覆盖在所述待检测图像上获得所述介入器械的图像；
其中，所述快速注意力网络包括顺次连接的第一卷积层、空间最大池化层、多级嵌套的编码器-解码器和第二卷积层；所述多级嵌套的编码器-解码器为在各级编码器-解码器的编码器与解码器之间嵌套插入下一级编码器-解码器；
所述快速注意力网络，其训练中采用的损失函数为增强聚焦损失函数；所述增强聚焦损失函数为：
其中，yi是第i个像素的标签，1代表介入器械，0代表背景；pi是第i个像素的最终掩膜概率，β为权重因子，γ为调制因子，β和γ均大于等于0；
所述多级嵌套的编码器-解码器，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；所述各解码模块前分别设置有注意力门控模块；
所述注意力门控模块包括：
顺次连接的ReLU线性修正层、Linear Transformation线性变化层、Sigmold二分类层和Resampler重采样层；
所述编码模块基于MobileNetV2网络构建，并通过ImageNet进行预训练；
所述解码模块包括顺次连接的第三卷积层、转置卷积层和第四卷积层。
2.根据权利要求1所述的血管内动脉瘤修复手术介入器械检测方法，其特征在于，所述注意力门控模块，其注意力系数通过加性注意力机制获取；所述注意力系数为：
其中，αi为注意力系数，x为图像向量，l为图像标号，gi为决定第i个向量是否是注意力区域的门向量，αi∈[0，1]为注意力系数，σ1代表ReLU线性修正层的激活函数，σ2代表Sigmoid二分类层的激活函数；Wx和Wg是线性变换的权重，bg和bψ是偏差，ψ为通过一个通道方式的1*1*1卷积层ψ来计算线性变换。
3.根据权利要求2所述的血管内动脉瘤修复手术介入器械检测方法，其特征在于，通过加性注意力机制获取所述注意力系数后，还设置有注意力系数重采样的步骤，其方法为：
通过三线插值法对所述注意力系数进行重采样。
4.根据权利要求1所述的管内动脉瘤修复手术介入器械检测方法，其特征在于，所述快速注意力网络，其训练中通过随机梯度下降算法来减小损失函数，多次迭代直至损失函数低于设定阈值或达到设定的训练次数，获得训练好的快速注意力网络。
5.一种血管内动脉瘤修复手术介入器械检测系统，其特征在于，所述检测系统包括：图像获取单元100、掩膜生成单元200和结果生成单元300；
图像获取单元100，用于获取包含介入器械的区域的X光透射图像作为待检测图像；
掩膜生成单元200，基于所述待检测图像，通过训练好的快速注意力网络生成所述介入器械的二值分割掩膜；
所述掩膜生成单元200还包括：图像预处理子单元210、图像压缩子单元220、特征强化子单元230、图像解码子单元240和掩膜生成子单元250；
图像预处理子单元210，用于通过所述快速注意力网络的第一卷积层和空间最大池化层将所述待检测图像转化为池化图像；
图像压缩子单元220，用于基于所述池化图像，通过所述快速注意力网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
特征强化子单元230，用于通过残差连接将所述各级编码模块的输入信息传递至同级的解码模块；通过注意力门控模块对各级解码器的输入信息进行特征强化；
图像解码子单元240，用于结合所述各级编码模块的输入信息以及特征强化的各级解码器的输入信息，进行分级解码，获得强化特征图像；
掩膜生成子单元250，用于基于所述强化特征图像，通过所述快速注意力网络的第二卷积层生成所述介入器械的二值分割掩膜；结果生成单元300，用于将所述二值分割掩膜覆盖在所述待检测图像上获得所述介入器械的图像；
其中，所述快速注意力网络包括顺次连接的第一卷积层、空间最大池化层、多级嵌套的编码器-解码器和第二卷积层；所述多级嵌套的编码器-解码器为在各级编码器-解码器的编码器与解码器之间嵌套插入下一级编码器-解码器；
所述快速注意力网络，其训练中采用的损失函数为增强聚焦损失函数；所述增强聚焦损失函数为：
其中，yi是第i个像素的标签，1代表介入器械，0代表背景；pi是第i个像素的最终掩膜概率，β为权重因子，γ为调制因子，β和γ均大于等于0；
所述多级嵌套的编码器-解码器，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；所述各解码模块前分别设置有注意力门控模块；
所述注意力门控模块包括：
顺次连接的ReLU线性修正层、Linear Transformation线性变化层、Sigmold二分类层和Resampler重采样层；
所述编码模块基于MobileNetV2网络构建，并通过ImageNet进行预训练；
所述解码模块包括顺次连接的第三卷积层、转置卷积层和第四卷积层。
6.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-4任一项所述的血管内动脉瘤修复手术介入器械检测方法。
7.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现：权利要求1-4任一项所述的血管内动脉瘤修复手术介入器械检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010546847.5A CN111724365B (zh) | 2020-06-16 | 2020-06-16 | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010546847.5A CN111724365B (zh) | 2020-06-16 | 2020-06-16 | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111724365A CN111724365A (zh) | 2020-09-29 |
| CN111724365B true CN111724365B (zh) | 2021-11-09 |
Family
ID=72566923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010546847.5A Active CN111724365B (zh) | 2020-06-16 | 2020-06-16 | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111724365B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348821B (zh) * | 2020-11-24 | 2021-06-25 | 中国科学院自动化研究所 | 基于x光图像的导丝分割和尖端点定位方法、系统和装置 |
| CN112348883B (zh) * | 2020-11-24 | 2021-06-29 | 中国科学院自动化研究所 | 血管介入手术中介入器械端点实时定位系统、方法、装置 |
| CN112837218B (zh) * | 2021-01-14 | 2022-02-08 | 中国科学院自动化研究所 | 基于双流边界感知的动脉瘤图像分析系统、方法和设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101809618A (zh) * | 2007-10-01 | 2010-08-18 | 皇家飞利浦电子股份有限公司 | 对介入工具的探测和跟踪 |
| CN108492272A (zh) * | 2018-03-26 | 2018-09-04 | 西安交通大学 | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 |
| CN109886273A (zh) * | 2019-02-26 | 2019-06-14 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
| CN110189299A (zh) * | 2019-04-22 | 2019-08-30 | 华中科技大学 | 一种基于MoileNet的脑血管事件自动识别方法及系统 |
| CN110288611A (zh) * | 2019-06-12 | 2019-09-27 | 上海工程技术大学 | 基于注意力机制和全卷积神经网络的冠状血管分割方法 |
| CN110458833A (zh) * | 2019-08-15 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 基于人工智能的医学图像处理方法、医学设备和存储介质 |
| CN111260786A (zh) * | 2020-01-06 | 2020-06-09 | 南京航空航天大学 | 一种智能超声多模态导航系统及方法 |
-
2020
- 2020-06-16 CN CN202010546847.5A patent/CN111724365B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101809618A (zh) * | 2007-10-01 | 2010-08-18 | 皇家飞利浦电子股份有限公司 | 对介入工具的探测和跟踪 |
| CN108492272A (zh) * | 2018-03-26 | 2018-09-04 | 西安交通大学 | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 |
| CN109886273A (zh) * | 2019-02-26 | 2019-06-14 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
| CN110189299A (zh) * | 2019-04-22 | 2019-08-30 | 华中科技大学 | 一种基于MoileNet的脑血管事件自动识别方法及系统 |
| CN110288611A (zh) * | 2019-06-12 | 2019-09-27 | 上海工程技术大学 | 基于注意力机制和全卷积神经网络的冠状血管分割方法 |
| CN110458833A (zh) * | 2019-08-15 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 基于人工智能的医学图像处理方法、医学设备和存储介质 |
| CN111260786A (zh) * | 2020-01-06 | 2020-06-09 | 南京航空航天大学 | 一种智能超声多模态导航系统及方法 |
Non-Patent Citations (6)
| Title |
|---|
| FRR-NET: Fast Recurrent Residual Networks for Real-Time Catheter Segmentation and Tracking in Endovascular Aneurysm Repair;Yan-Jie Zhou; Xiao-Liang Xie; Zeng-Guang Hou; Gui-Bin Bian; Shi-;《2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI)》;20200522;第961-964页 * |
| RASNet: Segmentation for Tracking Surgical Instruments in Surgical Videos Using Refined Attention Segmentation Network;Zhen-Liang Ni1, Gui-Bin Bian1; Xiao-Liang Xie, Zeng-Guang Hou等;《2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)》;20191007;全文 * |
| 基于区域建议网络和残差结构的导丝跟踪;刘市祺，孙晓波，谢晓亮，侯增广;《模式识别与人工智能》;20190131;第32 卷(第1期);全文 * |
| 微创血管介入手术机器人的主从交互控制方法与实现;奉振球，侯增广， 边桂彬， 谢晓亮，周小虎;《自动化学报》;20160531;第42 卷(第5 期);全文 * |
| 机器人辅助血管介入手术中器械跟踪与控制方法研究;谢晓亮;《科研成果》;20190415;全文 * |
| 经皮冠状动脉介入手术导航系统研究;刘市祺;《中国优秀硕士学位论文数据库 医药卫生科技辑》;20190831;第2019年卷(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111724365A (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111724365B (zh) | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 | |
| CN111476757B (zh) | 一种冠脉斑块数据检测方法、系统、存储介质、终端 | |
| CN111986181B (zh) | 基于双注意力机制的血管内支架图像分割方法和系统 | |
| US8483488B2 (en) | Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images | |
| EP2124191A2 (en) | Feature based neural network regression for feature suppression | |
| US11735316B2 (en) | Method and apparatus of labeling target in image, and computer recording medium | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN112348883B (zh) | 血管介入手术中介入器械端点实时定位系统、方法、装置 | |
| CN112348821B (zh) | 基于x光图像的导丝分割和尖端点定位方法、系统和装置 | |
| CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
| CN114511581B (zh) | 一种多任务多分辨率协作的食管癌病变分割方法及装置 | |
| CN111820948B (zh) | 胎儿生长参数测量方法、系统及超声设备 | |
| CN113539402B (zh) | 多模态影像自动勾画模型迁移方法 | |
| CN114998292A (zh) | 一种基于残差双注意力机制的心血管钙化斑块检测系统 | |
| CN116862885A (zh) | 超声图像病变检测的分割引导去噪知识蒸馏方法及装置 | |
| CN113706684A (zh) | 三维血管图像重建方法、系统、医疗设备以及存储介质 | |
| CN114010227B (zh) | 一种右心室特征信息识别方法及装置 | |
| CN113298807A (zh) | 一种计算机断层扫描图像处理方法及装置 | |
| CN113902689A (zh) | 一种血管中心线提取方法、系统、终端以及存储介质 | |
| CN111311531A (zh) | 图像增强方法、装置、控制台设备及医学成像系统 | |
| CN110786839A (zh) | 瞬时无波形比值的生成方法、装置、设备及介质 | |
| CN116740041B (zh) | 基于机器视觉的cta扫描图像分析系统及其方法 | |
| CN115359046B (zh) | 一种脏器血管分割方法、装置、存储介质及电子设备 | |
| CN116309593B (zh) | 基于数学模型的肝脏穿刺活检b超图像处理方法及系统 | |
| CN116935048A (zh) | 基于知识蒸馏的dsa影像语义分割方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |