CN112348883A - 血管介入手术中介入器械端点实时定位系统、方法、装置 - Google Patents
血管介入手术中介入器械端点实时定位系统、方法、装置 Download PDFInfo
- Publication number
- CN112348883A CN112348883A CN202011325869.5A CN202011325869A CN112348883A CN 112348883 A CN112348883 A CN 112348883A CN 202011325869 A CN202011325869 A CN 202011325869A CN 112348883 A CN112348883 A CN 112348883A
- Authority
- CN
- China
- Prior art keywords
- unit
- convolution
- interventional
- feature
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000002792 vascular Effects 0.000 title claims description 27
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 58
- 238000011176 pooling Methods 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 34
- 230000007246 mechanism Effects 0.000 claims description 26
- 230000004807 localization Effects 0.000 claims description 17
- 238000013152 interventional procedure Methods 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 238000002059 diagnostic imaging Methods 0.000 abstract description 2
- 210000004204 blood vessel Anatomy 0.000 abstract 1
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 208000024172 Cardiovascular disease Diseases 0.000 description 4
- 238000013146 percutaneous coronary intervention Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 229940050561 matrix product Drugs 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于数字图像处理与医学成像的交叉领域，具体涉及一种血管介入手术中介入器械端点实时定位系统、方法、装置，旨在解决现有的介入器械端点定位方法定位的实时性、准确性较差的问题。本系统包括：图像获取模块，配置为获取包含介入导丝的X光透射图像，作为输入图像；端点定位模块，配置为通过预训练的导丝端点定位网络获取所述输入图像中介入导丝两端点的位置信息。本发明有效地解决了X光透射图像中的冗余背景信息对导丝端点定位的影响，实现较为快速的介入导丝端点定位，并提高了定位准确率。
Description
技术领域
本发明属于数字图像处理与医学成像的交叉领域，具体涉及一种血管介入手术中介入器械端点实时定位系统、方法、装置。
背景技术
心血管疾病是一种常见且多发的疾病，是目前世界范围内危害人类生命健康的第一杀手。世界卫生组织指出心血管疾病每年都会造成全球约1790万人死亡，占总死亡人数的31%。心血管疾病的治疗手段主要包括两种：传统的打开式手术治疗和血管介入手术治疗。由于经皮冠状动脉介入具有创伤小，术后恢复迅速等特点，近年来被广泛应用于心血管疾病的治疗。
经皮冠状动脉介入手术的关键步骤是在一个复杂的介入血管通道内将介入器械递送至病变位置。在介入手术过程中，介入导丝用以协助导管通过复杂的血管通道到达血管病变位置，进而放置支架。因此导丝端点的精准实时定位就显得尤为重要。然而，目前导丝的端点实时定位面临如下问题：（1）X光图像有较低的信噪比，背景噪声会对导丝端点的检测产生较强的干扰。（2）在介入手术过程中，在兼顾准确率的同时，导丝端点定位有较高的实时性需求。
目前经皮冠状动脉介入手术治疗方法中导丝端点定位的研究相对较少，多数工作是关于介入手术中导丝的分割，如Wu等人提出一种基于级联卷机网络的导丝分割方法；Zhou等人提出了一种新型的U-net网络进行导丝的分割网络。
在过去的工作中，也有涉及到介入手术中导丝端点定位的研究。Li等人提出两阶段的导丝端点定位方法。即首先应用YOLOv3算法检测出导丝，而后在已检测出导丝的基础上对导丝端点进行定位。然而，此流程较为复杂，较难满足导丝实时定位的需求。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的介入器械端点定位方法定位的实时性、准确性较差的问题，本发明第一方面，提出了一种血管介入手术中介入器械端点实时定位系统，该系统包括：图像获取模块、端点定位模块；
所述图像获取模块，配置为获取包含介入导丝的X光透射图像，作为输入图像；
所述端点定位模块，配置为通过预训练的导丝端点定位网络获取所述输入图像中介入导丝两端点的位置信息；
其中，所述导丝端点定位网络包括卷积模块、M个依次连接的沙漏模块；M为偶数；
所述卷积模块用于对所述输入图像进行卷积，得到第一特征图；
所述沙漏模块包括卷积池化单元、卷积单元、多特征的MobileNetV2单元、上采样单元以及关键点注意力单元；
所述卷积池化单元用于对第一特征图进行卷积、最大池化，得到第二特征图；
所述卷积单元用于对所述第二特征图进行卷积，得到第三特征图；
所述多特征的MobileNetV2单元包括小型沙漏分支、MobileNetV2网络的反向残差分支和残差连接分支；所述小型沙漏分支基于最大池化层、卷积层、上采样层构建；所述多特征的MobileNetV2单元用于通过三个分支将所述第一特征图预处理后进行融合，得到第四特征图；
所述上采样单元用于结合所述第四特征图，对所述第三特征图进行上下样，得到第五特征图；
所述关键点注意力单元用于基于所述第四特征图与所述第五特征图融合后的特征图，通过注意力机制获取注意力特征。
在一些优选的实施方式中，所述卷积池化单元基于N组1×1的卷积层和2×2的最大池化层的构建；N为正整数。
在一些优选的实施方式中，所述多特征的MobileNetV2单元的反向残差分支基于
顺次连接的卷积核为
的卷积层、卷积核为
的深度可分卷积层和卷积核为
的卷积层构建。
在一些优选的实施方式中，所述多特征的MobileNetV2单元中的小型沙漏分支基于顺次连接的2×2的池化层、两个3×3的卷积层、上采样层构建。
在一些优选的实施方式中，所述导丝端点定位网络中前
个沙漏模块中关键点注
意力单元的注意力机制，如下式所示：
后
个沙漏模块中关键点注意力单元的注意力机制，如下式所示：
其中，
表示沙漏模块中上采样单元与多特征的MobileNetV2单元融合后的特征图，
表示介入导丝两端点的注意力特征图，
表示同时关注介入导丝两个端点的注意力特
征，
表示关键点
的注意力特征图，
表示分别关注介入导丝的顶点或尾部的注意力特
征，
，
，
、
表示特征图的宽、高，
、
表示函数变量。
在一些优选的实施方式中，所述导丝端点定位网络，其在训练时的损失函数为均方误差损失函数，具体如下：
其中，
表示介入导丝端点热力图的真实值，
表示介入导丝端点热力图的预测值，
表示介入导丝的端点个数。
本发明的第二方面，提出了一种血管介入手术中介入器械端点实时定位方法，该方法包括以下步骤：
步骤S10，获取包含介入导丝的X光透射图像，作为输入图像；
步骤S20，通过预训练的导丝端点定位网络获取所述输入图像中介入导丝两端点的位置信息；
其中，所述导丝端点定位网络包括卷积模块、M个依次连接的沙漏模块；M为偶数；
所述卷积模块用于对所述输入图像进行卷积，得到第一特征图；
所述沙漏模块包括卷积池化单元、卷积单元、多特征的MobileNetV2单元、上采样单元以及关键点注意力单元；
所述卷积池化单元用于对第一特征图进行卷积、最大池化，得到第二特征图；
所述卷积单元用于对所述第二特征图进行卷积，得到第三特征图；
所述多特征的MobileNetV2单元包括小型沙漏分支、MobileNetV2网络的反向残差分支和残差连接分支；所述小型沙漏分支基于最大池化层、卷积层、上采样层构建；所述多特征的MobileNetV2单元用于通过三个分支将所述第一特征图预处理后进行融合，得到第四特征图；
所述上采样单元用于结合所述第四特征图，对所述第三特征图进行上下样，得到第五特征图；
所述关键点注意力单元用于基于所述第四特征图与所述第五特征图融合后的特征图，通过注意力机制获取注意力特征。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的血管介入手术中介入器械端点实时定位方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的血管介入手术中介入器械端点实时定位方法。
本发明的有益效果：
本发明有效地解决了X光透射图像中的冗余背景信息对导丝端点定位的影响，实现较为快速的介入导丝端点定位，并提高了定位准确率。
（1）本发明设计了一个新型的导丝端点定位网络，该网络中的多特征的MobileNetV2单元由三个分支组成，分别为一个反向残差分支，一个残差连接分支以及一个小型沙漏分支，反向残差分支中的深度可分卷积取代了标准卷积，降低了参数量及计算时间，残差连接分支避免了梯度消失的问题，小型沙漏分支增加特征图的感受野，提高了传统MobileNetV2的准确率，从而实现快速的介入导丝端点定位，并提高了定位准确率。
（2）本发明采用两种不同的关键点注意力机制，以降低冗余的背景区域对端点检测的影响，并且突出介入导丝端点区域，从而有效地解决了X光透射图像中的冗余背景信息对介入导丝端点定位的影响。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的血管介入手术中介入器械端点实时定位系统的框架示意图；
图2是本发明一种实施例的血管介入手术中介入器械端点实时定位方法的流程示意图；
图3是本发明一种实施例的血管介入手术中介入器械端点实时定位方法的简略流程示意图；
图4是本发明一种实施例的导丝端点定位网络结构的示意图；
图5是本发明一种实施例的导丝端点定位网络中多特征的MobileNetV2单元的结构示意图；
图6是本发明一种实施例的导丝端点定位网络中关键点注意力单元中两种注意力机制的结构示意图；
图7是本发明一种实施例的关键点注意力机制的消融实验结果图；
图8是本发明一种实施例的可视化的关键点注意力特征图；
图9是本发明一种实施例的多特征的MobileNetV2单元消融实验结果图；
图10是本发明一种实施例的本发明方法与现有技术对比实验结果图；
图11是本发明一种实施例的应用本发明导丝端点定位网络进行定位的导丝端点预测结果及真实值展示图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种血管介入手术中介入器械端点实时定位系统，如图1所示，该系统包括：图像获取模块100、端点定位模块200；
所述图像获取模块100，配置为获取包含介入导丝的X光透射图像，作为输入图像；
所述端点定位模块200，配置为通过预训练的导丝端点定位网络获取所述输入图像中介入导丝两端点的位置信息；
其中，所述导丝端点定位网络包括卷积模块、M个依次连接的沙漏模块；M为偶数；
所述卷积模块用于对所述输入图像进行卷积，得到第一特征图；
所述沙漏模块包括卷积池化单元、卷积单元、多特征的MobileNetV2单元、上采样单元以及关键点注意力单元；
所述卷积池化单元用于对第一特征图进行卷积、最大池化，得到第二特征图；
所述卷积单元用于对所述第二特征图进行卷积，得到第三特征图；
所述多特征的MobileNetV2单元包括小型沙漏分支、MobileNetV2网络的反向残差分支和残差连接分支；所述小型沙漏分支基于最大池化层、卷积层、上采样层构建；所述多特征的MobileNetV2单元用于通过三个分支将所述第一特征图预处理后进行融合，得到第四特征图；
所述上采样单元用于结合所述第四特征图，对所述第三特征图进行上下样，得到第五特征图；
所述关键点注意力单元用于基于所述第四特征图与所述第五特征图融合后的特征图，通过注意力机制获取注意力特征。
为了更清晰地对本发明血管介入手术中介入器械端点实时定位系统进行说明，下面结合附图对本发明系统一种实施例中各模块进行展开详述。
本发明血管介入手术中介入器械端点实时定位系统包括图像获取模块、端点定位模块；
所述图像获取模块，配置为获取包含介入导丝的X光透射图像，作为输入图像；
所述端点定位模块，配置为通过预训练的导丝端点定位网络获取所述输入图像中介入导丝两端点的位置信息。
其中，在本实施例中，导丝端点定位网络（或简称为新型堆叠沙漏网络）基于卷积模块、M个依次连接的沙漏模块构建；M为偶数；本发明中M优选设置为4。
卷积模块基于3层卷积构建，用于对512×512×3的输入图像进行卷积处理，得到128×128×128的特征图，作为第一特征图。
沙漏模块，如图4所示，包含N组卷积池化单元，卷积单元，N组上采样单元，N组多特征的MobileNetV2单元以及关键点注意力单元。本发明中N优选设置为4。其中，图4中的Convolution+Maxpooling表示卷积池化单元, Convolution表示卷积单元，Attention map表示注意力特征图，MFMU表示多特征的MobileNetV2单元，Loss表示损失，Upsampling表示上采样单元，Attention feature表示注意力特征，predicition表示预测。
卷积池化单元基于4组1×1的卷积层和2×2的最大池化层的组合而成，用于对第一特征图进行卷积、最大池化，得到第二特征图，第二特征图的大小依次为64×64×128、32×32×128、16×16×128、8×8×128。
卷积单元用于对所述第二特征图进行卷积，得到第三特征图。
多特征的MobileNetV2单元包括小型沙漏分支（Hourglass branch）、MobileNetV2网络的反向残差分支（inverted residual branch）和残差连接分支（ResidualConnection），用于通过三个分支将第一特征图预处理后进行融合，得到第四特征图，如图5所示，图5中Residual Connection为残差连接分支，用于避免梯度消失的问题。反向残差分支将标准卷积层替换为深度可分卷积层，进而降低了参数量及计算时间。反向残差网络基于顺次连接的卷积核为1×1的卷积层、卷积核为3×3的深度可分卷积层（Dwise）和卷积核为1×1的卷积层构建。
小型沙漏分支基于最大池化层、卷积层、上采样层构建。其具体处理过程为：首先
通过一个核为2×2的池化层（Pooling），将输入的第二特征图的尺寸大小变为原尺寸的
，
再通过两个3×3的卷积层（Conv）扩大感受野，最终经过一个上采样层（Upsampling）得到与
输入尺寸大小相同的特征图。小型沙漏分支用于增加感受野，从而提高传统MobileNetV2单
元的准确率。
最后将小型沙漏分支（Hourglass branch）、MobileNetV2网络的反向残差分支（inverted residual branch）和残差连接分支（residual connection）三个分支产生的特征图进行融合，将融合后的特征图作为第三特征图，进而提高端点定位的准确率。
上采样单元用于结合第四特征图，对第三特征图进行上下样，重新得到128×128×128的特征图，作为第五特征图。具体处理过程如下：
如图4所示，依次将上采样单元从左到右依次作为第一上采样单元、第二上采样单元、第三上采样单元、第四上采样单元；多特征的MobileNetV2单元从上到下，依次作为第一多特征单元、第二多特征单元、第三多特征单元、第四多特征单元。其中，将卷积池化单元输出的第二特征图进行卷积后，作为第一上采样单元的输入；第一上采样单元采样后与第三多特征单元输出的特征图进行融合，作为第二上采样单元的输入；第二上采样单元采样后与第二多特征单元输出的特征图进行融合，作为第三上采样单元的输入；第三上采样单元采样后与第四多特征单元输出的特征图进行融合，作为第四上采样单元的输入；第四上采样单元采样后与第一多特征单元输出的特征图进行融合，作为关键点注意力单元的输入。
关键点注意力单元用于基于第四特征图与第五特征图融合后的特征图，通过注意力机制获取注意力特征（对于前两个沙漏模块生成128×128×1的注意力特征图；对于后两个沙漏模块先生成128×128×1的注意力特征图，再生成128×128×2的注意力特征图）。
本实施例中，采用两种不同的注意力机制，以降低冗余的背景区域对接入导丝两端点检测的影响，并且突出导丝端点区域。
本发明第一种注意力机制获取同时关注导丝两个端点的注意力特征，如公式（1）所示：
其中，
表示沙漏模块中上采样单元与多特征的MobileNetV2单元融合后的特征图，
表示介入导丝两端点的注意力特征图（此处的所有注意力特征图皆采用软注意力机制
生成），
表示同时关注介入导丝两个端点的注意力特征。
注意力特征图的获取过程，如公式（2）（3）所示：
其中，
表示滤波器，
表示卷积操作，
表示偏差，
表示融合特征图，
表示激活
函数，
、
表示融合特征图的宽、高，
、
表示函数变量。
本发明第二种注意力机制在第一个机制所产生的注意力特征基础上，分别产生关注顶点和关注尾部的特征图，具体过程如公式（4）所示：
其中，
表示介入导丝的端点
的的注意力特征图，
表示分别关注介入导丝的顶点
或尾部的注意力特征。
本发明两种不同的注意力机制的机构图，如图6所示，其中，图6（a）为第一种注意力机制，图6（b）为第二种注意力机制。本发明优选前两个沙漏模块采用第一种注意力机制，即“Endpoint Attention module for the first two hourglass blocks”，后两个沙漏模块采用第二中注意力机制，即“Endpoint Attention module for the last twohourglass blocks”。Final feature of one hourglass block表示多特征的MobileNetV2单元的最后一个特征，即上采样单元与多特征的MobileNetV2单元融合后的特征，Perdicition表示预测，Attention map表示注意力特征图，Hadamard Matrix productoperation表示哈达玛矩阵乘积运算，Attention feature表示注意力特征。
基于注意力特征图，进而生成输入图像中介入导丝两端点的预测热力图。具体如下：
对于前两个沙漏单元的预测过程如公式（5）所示：
其中，
表示介入导丝的端点
的预测热力图的预测值，
表示分类器，
表示卷
积操作。
对于后两个沙漏单元的预测过程如公式（6）所示：
其中，
表示介入导丝的端点
的卷积滤波器。
导丝端点定位网络在训练过程中将原始的X光透射图像分成两组，将 944张图像作为训练集，将256张图像作为测试集，如图3所示。采用均方误差损失函数（Mean SquareError Loss）计算导丝两个端点预测值与真实值之间的误差，如公式（7）所示：
其中，
表示介入导丝端点热力图的真实值，
表示介入导丝端点热力图的预测值，
表示介入导丝的端点个数，此处数值为2。
导丝端点定位网络在训练过程中采用的优化器为RMSprop优化器，初始学习率为2.5e-4，batch size为2，epoch为200。为衡量模型的准确率，网络采用关键点正确估计比例（PCK）作为衡量标准。
导丝端点定位网络在训练过程中数据的金标准由两名医生分别标注，首先确定导丝所在的区域，并将该区域扩大至边界框，接着对导丝上的顶点及尾部进行标注。对每一幅图，当两名医生的标注点相隔小于0.5个像素时即认为有效，此时采用两个标注中任意一个均可，否则需要重新进行标注。
另外，为了进一步验证导丝端点定位网络的鲁棒性，本发明进行了消融实验，图7显示了在不同阈值下关键点注意力机制对导丝端点定位准确率的影响，其中，Stackedhourglass：堆叠沙漏模型（本发明的基准模型：导丝端点定位网络），Stacked hourglasswith Attention：加注意力机制的堆叠沙漏模型，Accuracy为定位准确率，Threshold为阈值，Accuracy for guidewire tip为导丝顶点定位精度，Accuracy for guidewire end表示导丝尾部定位精度。图7表明在不同的阈值下，增加注意力模块后，导丝顶点和尾部的定位准确率都有所提高。图8显示了对网络中部分特征图进行了可视化操作，可以发现大部分特征区域集中于导丝两端点附近，说明网络的鲁棒性较强。
为评估沙漏MobileNetV2单元对本发明提出导丝端点定位网络的影响，分别用Residual单元（残差单元）和传统的MobileNetV2单元对其进行替换。在阈值为8时，导丝两端点平均准确率如表1所示：
表1
表1中Residual为残差单元，MobileNetV2表示传统的MobileNetV2单元，Multi-Feature MobileNetV2表示多特征的MobileNetV2单元，Average Accuracy表示准确率，Params表示参数量，Block表示单元。
由表1可知，在与Residual单元相同参数量时，应用本发明的多特征的MobileNetV2单元获得更高的准确率。
图9表明在不同阈值下多特征的MobileNetV2单元在定位导丝顶点和尾部时都可以获得最高的精度。图9中Residual unit with A ttention为残差单元，MobileNetV2unit with Attention为传统的MobileNetV2单元，MFMU with attention为多特征的MobileNetV2单元。
图10显示在不同阈值下，本发明的端点平均定位准确率优于其他模型的准确率。在阈值为8时，端点平均定位准确率可达到91.94%，比基准模型提高了1.9%。图10中的OurModule表示本发明的方法，SRPE的方法可参考文献：“Kurmann T, Neila P M, Du X, etal. Simultaneous recognition and pose estimation of instruments in minimallyinvasive surgery. In: Proceedings of International Conference on MedicalImage Computing and Computer-Assisted Intervention,2017: 505-513.”，CL的方法可参考文献：“Laina I, Rieke N, Rupprecht C, et al. Concurrent segmentation andlocalization for tracking of surgical instruments. In: Proceedings ofInternational Conference on Medical Image Computing and Computer-AssistedIntervention, 2017: 664-672.”，Hourglass的方法可参考文献：“Newell A, Yang K,Deng J. Stacked hourglass networks for human pose estimation. In: Proceedingsof the European Conference on Computer Vision, 2016: 483-499.”。
图11显示了部分测试图像通过修改后的导丝端点定位预测出的导丝端点位置及真实位置，可以看出本发明可以较为准确地定位导丝端点位置。
由上述的实验结果表明本发明方法有效地解决了X光透射图像中的冗余背景信息对导丝端点定位的影响。首次在冠状动脉介入手术中，实现了端到端的导丝端点定位，实现较为快速的导丝端点定位。与其他方法相比，本发明方法的准确率可达到91.94%（阈值为8），达到目前最先进的技术结果。
本发明第二实施例的一种血管介入手术中介入器械端点实时定位方法，如图2所示，该方法包括以下步骤：
步骤S10，获取包含介入导丝的X光透射图像，作为输入图像；
步骤S20，通过预训练的导丝端点定位网络获取所述输入图像中介入导丝两端点的位置信息；
其中，所述导丝端点定位网络包括卷积模块、M个依次连接的沙漏模块；M为偶数；
所述卷积模块用于对所述输入图像进行卷积，得到第一特征图；
所述沙漏模块包括卷积池化单元、卷积单元、多特征的MobileNetV2单元、上采样单元以及关键点注意力单元；
所述卷积池化单元用于对第一特征图进行卷积、最大池化，得到第二特征图；
所述卷积单元用于对所述第二特征图进行卷积，得到第三特征图；
所述多特征的MobileNetV2单元包括小型沙漏分支、MobileNetV2网络的反向残差分支和残差连接分支；所述小型沙漏分支基于最大池化层、卷积层、上采样层构建；所述多特征的MobileNetV2单元用于通过三个分支将所述第一特征图预处理后进行融合，得到第四特征图；
所述上采样单元用于结合所述第四特征图，对所述第三特征图进行上下样，得到第五特征图；
所述关键点注意力单元用于基于所述第四特征图与所述第五特征图融合后的特征图，通过注意力机制获取注意力特征。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的血管介入手术中介入器械端点实时定位系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的血管介入手术中介入器械端点实时定位方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的血管介入手术中介入器械端点实时定位方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种血管介入手术中介入器械端点实时定位系统，其特征在于，所述系统包括：图像获取模块、端点定位模块；
所述图像获取模块，配置为获取包含介入导丝的X光透射图像，作为输入图像；
所述端点定位模块，配置为通过预训练的导丝端点定位网络获取所述输入图像中介入导丝两端点的位置信息；
其中，所述导丝端点定位网络包括卷积模块、M个依次连接的沙漏模块；M为偶数；
所述卷积模块用于对所述输入图像进行卷积，得到第一特征图；
所述沙漏模块包括卷积池化单元、卷积单元、多特征的MobileNetV2单元、上采样单元以及关键点注意力单元；
所述卷积池化单元用于对第一特征图进行卷积、最大池化，得到第二特征图；
所述卷积单元用于对所述第二特征图进行卷积，得到第三特征图；
所述多特征的MobileNetV2单元包括小型沙漏分支、MobileNetV2网络的反向残差分支和残差连接分支；所述小型沙漏分支基于最大池化层、卷积层、上采样层构建；所述多特征的MobileNetV2单元用于通过三个分支将所述第一特征图预处理后进行融合，得到第四特征图；
所述上采样单元用于结合所述第四特征图，对所述第三特征图进行上下样，得到第五特征图；
所述关键点注意力单元用于基于所述第四特征图与所述第五特征图融合后的特征图，通过注意力机制获取注意力特征。
2.根据权利要求1所述的血管介入手术中介入器械端点实时定位系统，其特征在于，所述卷积池化单元基于N组1×1的卷积层和2×2的最大池化层的构建；N为正整数。
3.根据权利要求1所述的血管介入手术中介入器械端点实时定位系统，其特征在于，所
述多特征的MobileNetV2单元的反向残差分支基于顺次连接的卷积核为
的卷积层、卷
积核为
的深度可分卷积层和卷积核为
的卷积层构建。
4.根据权利要求1所述的血管介入手术中介入器械端点实时定位系统，其特征在于，所述多特征的MobileNetV2单元中的小型沙漏分支基于顺次连接的2×2的池化层、两个3×3的卷积层、上采样层构建。
5.根据权利要求1所述的血管介入手术中介入器械端点实时定位系统，其特征在于，所
述导丝端点定位网络中前
个沙漏模块中关键点注意力单元的注意力机制，如下式所示：
后
个沙漏模块中关键点注意力单元的注意力机制，如下式所示：
其中，
表示沙漏模块中上采样单元与多特征的MobileNetV2单元融合后的特征图，
表示介入导丝两端点的注意力特征图，
表示同时关注介入导丝两个端点的注意力特征，
表示介入导丝的端点
的注意力特征图，
表示分别关注介入导丝的顶点或尾部的注
意力特征，
，
，
、
表示特征图的宽、高，
、
表示函数变量。
6.根据权利要求5中所述的血管介入手术中介入器械端点实时定位系统，其特征在于，所述导丝端点定位网络，其在训练时的损失函数为均方误差损失函数，具体如下：
其中，
表示介入导丝端点热力图的真实值，
表示介入导丝端点热力图的预测值，
表示介入导丝的端点个数。
7.一种血管介入手术中介入器械端点实时定位方法，其特征在于，该方法包括以下步骤：
步骤S10，获取包含介入导丝的X光透射图像，作为输入图像；
步骤S20，通过预训练的导丝端点定位网络获取所述输入图像中介入导丝两端点的位置信息；
其中，所述导丝端点定位网络包括卷积模块、M个依次连接的沙漏模块；M为偶数；
所述卷积模块用于对所述输入图像进行卷积，得到第一特征图；
所述沙漏模块包括卷积池化单元、卷积单元、多特征的MobileNetV2单元、上采样单元以及关键点注意力单元；
所述卷积池化单元用于对第一特征图进行卷积、最大池化，得到第二特征图；
所述卷积单元用于对所述第二特征图进行卷积，得到第三特征图；
所述多特征的MobileNetV2单元包括小型沙漏分支、MobileNetV2网络的反向残差分支和残差连接分支；所述小型沙漏分支基于最大池化层、卷积层、上采样层构建；所述多特征的MobileNetV2单元用于通过三个分支将所述第一特征图预处理后进行融合，得到第四特征图；
所述上采样单元用于结合所述第四特征图，对所述第三特征图进行上下样，得到第五特征图；
所述关键点注意力单元用于基于所述第四特征图与所述第五特征图融合后的特征图，通过注意力机制获取注意力特征。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求7所述的血管介入手术中介入器械端点实时定位方法。
9.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求7所述的血管介入手术中介入器械端点实时定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325869.5A CN112348883B (zh) | 2020-11-24 | 2020-11-24 | 血管介入手术中介入器械端点实时定位系统、方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325869.5A CN112348883B (zh) | 2020-11-24 | 2020-11-24 | 血管介入手术中介入器械端点实时定位系统、方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348883A true CN112348883A (zh) | 2021-02-09 |
| CN112348883B CN112348883B (zh) | 2021-06-29 |
Family
ID=74365553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011325869.5A Active CN112348883B (zh) | 2020-11-24 | 2020-11-24 | 血管介入手术中介入器械端点实时定位系统、方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348883B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114005022A (zh) * | 2021-12-30 | 2022-02-01 | 四川大学华西医院 | 一种手术器械使用的动态预测方法及系统 |
| CN115035001A (zh) * | 2022-08-11 | 2022-09-09 | 北京唯迈医疗设备有限公司 | 基于dsa成像设备的术中导航系统、计算装置和程序产品 |
| CN115089294A (zh) * | 2022-08-24 | 2022-09-23 | 北京思创贯宇科技开发有限公司 | 介入手术导航的方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014055908A2 (en) * | 2012-10-05 | 2014-04-10 | Kemp Nathaniel J | Methods and systems for establishing parameters, playback, and artifact removal three-dimensional imaging |
| CN107920747A (zh) * | 2015-07-25 | 2018-04-17 | 光学实验室成像公司 | 导丝检测系统、方法和装置 |
| CN110188598A (zh) * | 2019-04-13 | 2019-08-30 | 大连理工大学 | 一种基于MobileNet-v2的实时手部姿态估计方法 |
| US20190287243A1 (en) * | 2018-03-16 | 2019-09-19 | Case Western Reserve University | VASCULAR NETWORK ORGANIZATION VIA HOUGH TRANSFORM (VaNgOGH): A RADIOMIC BIOMARKER FOR DIAGNOSIS AND TREATMENT RESPONSE |
| CN111369542A (zh) * | 2020-03-06 | 2020-07-03 | 上海联影智能医疗科技有限公司 | 血管标记方法、图像处理系统和存储介质 |
| CN111681254A (zh) * | 2020-06-16 | 2020-09-18 | 中国科学院自动化研究所 | 用于血管动脉瘤介入手术导航系统的导管检测方法及系统 |
| CN111724365A (zh) * | 2020-06-16 | 2020-09-29 | 中国科学院自动化研究所 | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 |
| US20200334828A1 (en) * | 2019-04-16 | 2020-10-22 | Disney Enterprises Inc. | Pose Estimation and Body Tracking Using an Artificial Neural Network |
| CN111882531A (zh) * | 2020-07-15 | 2020-11-03 | 中国科学技术大学 | 髋关节超声图像自动分析方法 |
| CN111913435A (zh) * | 2020-07-30 | 2020-11-10 | 浙江科技学院 | 一种基于堆积沙漏网络的单/多目标关键点定位方法 |
| CN111931626A (zh) * | 2020-08-03 | 2020-11-13 | 天津理工大学 | 一种基于深度学习的血管介入机器人自动手术方法 |
| US10839543B2 (en) * | 2019-02-26 | 2020-11-17 | Baidu Usa Llc | Systems and methods for depth estimation using convolutional spatial propagation networks |
-
2020
- 2020-11-24 CN CN202011325869.5A patent/CN112348883B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014055908A2 (en) * | 2012-10-05 | 2014-04-10 | Kemp Nathaniel J | Methods and systems for establishing parameters, playback, and artifact removal three-dimensional imaging |
| CN107920747A (zh) * | 2015-07-25 | 2018-04-17 | 光学实验室成像公司 | 导丝检测系统、方法和装置 |
| US20190287243A1 (en) * | 2018-03-16 | 2019-09-19 | Case Western Reserve University | VASCULAR NETWORK ORGANIZATION VIA HOUGH TRANSFORM (VaNgOGH): A RADIOMIC BIOMARKER FOR DIAGNOSIS AND TREATMENT RESPONSE |
| US10839543B2 (en) * | 2019-02-26 | 2020-11-17 | Baidu Usa Llc | Systems and methods for depth estimation using convolutional spatial propagation networks |
| CN110188598A (zh) * | 2019-04-13 | 2019-08-30 | 大连理工大学 | 一种基于MobileNet-v2的实时手部姿态估计方法 |
| US20200334828A1 (en) * | 2019-04-16 | 2020-10-22 | Disney Enterprises Inc. | Pose Estimation and Body Tracking Using an Artificial Neural Network |
| CN111369542A (zh) * | 2020-03-06 | 2020-07-03 | 上海联影智能医疗科技有限公司 | 血管标记方法、图像处理系统和存储介质 |
| CN111681254A (zh) * | 2020-06-16 | 2020-09-18 | 中国科学院自动化研究所 | 用于血管动脉瘤介入手术导航系统的导管检测方法及系统 |
| CN111724365A (zh) * | 2020-06-16 | 2020-09-29 | 中国科学院自动化研究所 | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 |
| CN111882531A (zh) * | 2020-07-15 | 2020-11-03 | 中国科学技术大学 | 髋关节超声图像自动分析方法 |
| CN111913435A (zh) * | 2020-07-30 | 2020-11-10 | 浙江科技学院 | 一种基于堆积沙漏网络的单/多目标关键点定位方法 |
| CN111931626A (zh) * | 2020-08-03 | 2020-11-13 | 天津理工大学 | 一种基于深度学习的血管介入机器人自动手术方法 |
Non-Patent Citations (6)
| Title |
|---|
| ADRIAN BULAT ET AL.: "Toward fast and accurate human pose estimation via soft-gated skip connections", 《ARXIV》 * |
| LI WANG ET AL.: "Guide-wire Detection Using Region Proposal Network for X-ray Image-guided Navigation", 《2017 IJCNN》 * |
| RUI-QI LI ET AL.: "A Two-Stage Framework for Real-Time Guidewire Endpoint Localization", 《MICCAI 2019》 * |
| 刘市祺 等: "基于区域建议网络和残差结构的导丝跟踪", 《模式识别与人工智能》 * |
| 赵威驰 等: "基于沙漏网络的人脸面部特征点检测", 《光学学报》 * |
| 邹昆 等: "基于堆叠沙漏网络的量体特征点定位", 《电子科技大学学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114005022A (zh) * | 2021-12-30 | 2022-02-01 | 四川大学华西医院 | 一种手术器械使用的动态预测方法及系统 |
| CN115035001A (zh) * | 2022-08-11 | 2022-09-09 | 北京唯迈医疗设备有限公司 | 基于dsa成像设备的术中导航系统、计算装置和程序产品 |
| CN115089294A (zh) * | 2022-08-24 | 2022-09-23 | 北京思创贯宇科技开发有限公司 | 介入手术导航的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348883B (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348883B (zh) | 血管介入手术中介入器械端点实时定位系统、方法、装置 | |
| CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及系统 | |
| CN111986181A (zh) | 基于双注意力机制的血管内支架图像分割方法和系统 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN111724365B (zh) | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 | |
| CN111080700A (zh) | 医疗器械图像检测方法及装置 | |
| CN111009032B (zh) | 基于改进外极线约束匹配的血管三维重建方法 | |
| US20220261997A1 (en) | Method and apparatus for acquiring blood vessel evaluation parameter based on physiological parameter, and storage medium | |
| CN111681254A (zh) | 用于血管动脉瘤介入手术导航系统的导管检测方法及系统 | |
| CN111612756A (zh) | 冠状动脉特异性钙化检测方法及装置 | |
| CN109003280A (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
| CN114663445A (zh) | 一种基于多尺度边缘感知的三维心脏图像分割方法 | |
| CN117409002A (zh) | 一种用于创伤的视觉识别检测系统及其检测方法 | |
| CN107194922B (zh) | 一种血管内超声图像序列关键帧的提取方法 | |
| CN116138877A (zh) | 目标定位方法、装置、电子设备及存储介质 | |
| CN114862865A (zh) | 基于多视角冠状动脉造影序列图像的血管分割方法及系统 | |
| Zhang et al. | Multi-scale deep information and adaptive attention mechanism based coronary reconstruction of superior mesenteric artery | |
| CN115359046B (zh) | 一种脏器血管分割方法、装置、存储介质及电子设备 | |
| CN116152278B (zh) | 医疗图像的分割方法及装置、非易失性存储介质 | |
| CN116523983B (zh) | 融合多路径特征与器官形态导向的胰腺ct图像配准方法 | |
| CN116091489B (zh) | 基于深度学习的心电图图像识别方法及其系统 | |
| CN115170912B (zh) | 图像处理模型训练的方法、生成图像的方法及相关产品 | |
| CN118052715A (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
| CN116310084A (zh) | 一种构建方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |