CN111667456B - 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 - Google Patents
一种冠状动脉x光序列造影中血管狭窄检测方法及装置 Download PDFInfo
- Publication number
- CN111667456B CN111667456B CN202010354792.8A CN202010354792A CN111667456B CN 111667456 B CN111667456 B CN 111667456B CN 202010354792 A CN202010354792 A CN 202010354792A CN 111667456 B CN111667456 B CN 111667456B
- Authority
- CN
- China
- Prior art keywords
- detection
- stenosis
- sequence
- frames
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 206010057469 Vascular stenosis Diseases 0.000 title claims abstract description 22
- 238000002601 radiography Methods 0.000 title claims abstract description 11
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 197
- 208000031481 Pathologic Constriction Diseases 0.000 claims abstract description 61
- 230000036262 stenosis Effects 0.000 claims abstract description 61
- 208000037804 stenosis Diseases 0.000 claims abstract description 61
- 201000000057 Coronary Stenosis Diseases 0.000 claims abstract description 45
- 206010011089 Coronary artery stenosis Diseases 0.000 claims abstract description 30
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 25
- 238000002586 coronary angiography Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012805 post-processing Methods 0.000 claims description 8
- 230000000717 retained effect Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 201000010099 disease Diseases 0.000 abstract description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 description 4
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种冠状动脉X光序列造影中血管狭窄检测方法及装置，能够有效地检测出序列图像中血管上疑似狭窄的区域，得到精确的冠脉狭窄检测结果，可以真正帮助医生进行有效的快速的疾病诊断。方法包括：(1)获取XRA图像的序列图像信息；(2)冠脉狭窄检测：结合序列图像中前后帧信息实现单帧图像上冠脉狭窄段检测，将连续多帧的图像检测结果再进行深度的序列特征融合以得到这连续多帧每一帧上更准确的狭窄检测结果，该检测结果作为初始的序列狭窄检测结果；(3)对初始的序列狭窄检测结果进行处理，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种冠状动脉X光序列造影中血管狭窄检测方法，还涉及一种冠状动脉X光序列造影中血管狭窄检测装置。
背景技术
考虑到目前多数存在的冠脉狭窄检测方法是针对三维CT造影图像(ComputedTomography Angiography,CTA)，或是单帧二维造影图像，这些方法不能很好地实现二维冠状动脉X光序列造影图像(X-Ray Angiography,XRA)图像中冠脉血管狭窄的检测，因此本发明提出一种能够自动地从冠状动脉XRA序列图像中检测出血管狭窄并标记其位置的方法。在序列XRA图像上实现准确的冠状动脉狭窄检测，可以辅助医生高效地完成病情诊断。
临床上，冠状动脉序列造影是检测血管是否缺血最直接、最客观的方法，同时也是医生用来判断冠脉狭窄的金标准。在对病人进行病情分析时，需要多名医生仔细分析该病人的序列造影图像，综合确定血管发生狭窄的部位以及狭窄程度。在计算机辅助诊疗领域，为了实现对冠心病的自动诊断，从序列造影图像中自动完成冠脉狭窄的判断是一项重要的研究。但由于冠脉造影图像背景结构复杂、显影强度不均匀，XRA中冠状动脉狭窄的自动检测是一项具有挑战性的问题。
目前已有的基于单帧的二维冠状动脉XRA图像实现血管狭窄检测算法，多数是根据图像灰度梯度信息或根据血管增强、分割得到的血管结构，计算血管边缘，以求出血管各个位置的管径值，通过分析血管管径变化确定冠脉狭窄的位置及程度。另外，近期有研究者提出使用基于深度学习方法实现冠状动脉狭窄的自动检测。该方法通过设计卷积神经网络模型，提取单帧造影图像特征，随后送入基于深度学习的目标检测网络，对图像中冠脉狭窄进行定位。针对序列造影图像的冠脉狭窄检测研究，有人提出利用序列的时空特性，通过分析序列上相应血管段管径变化是否出现持续的异常衰减，确定狭窄。但是，这些方法有的检测结果准确性差，有的检测速度慢，无法真正帮助医生进行有效的快速的疾病诊断。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种冠状动脉X光序列造影中血管狭窄检测方法，其能够有效地检测出序列图像中血管上疑似狭窄的区域，得到精确的冠脉狭窄检测结果，可以真正帮助医生进行有效的快速的疾病诊断。
本发明的技术方案是：这种冠状动脉X光序列造影中血管狭窄检测方法，其包括以下步骤：
(1)获取XRA图像的序列图像信息；
(2)冠脉狭窄检测：结合序列图像中前后帧信息实现单帧图像上冠脉狭窄段检测，将连续多帧的图像检测结果再进行深度的序列特征融合以得到这连续多帧每一帧上更准确的狭窄检测结果，该检测结果作为初始的序列狭窄检测结果；
(3)对初始的序列狭窄检测结果进行处理，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果。
本发明充分利用序列图像信息的冠脉狭窄检测过程能够有效地检测出序列图像中血管上疑似狭窄的区域，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果，从而可以有效的帮助医生进行有效的快速的疾病诊断。
还提供了一种冠状动脉X光序列造影中血管狭窄检测装置，其包括：
图像获取模块，其配置来获取XRA图像的序列图像信息；
冠脉狭窄检测模块，其配置来结合序列图像中前后帧信息实现单帧图像上冠脉狭窄段检测，将连续多帧的图像检测结果再进行深度的序列特征融合以得到这连续多帧每一帧上更准确的狭窄检测结果，该检测结果作为初始的序列狭窄检测结果；
后处理模块，其配置来对初始的序列狭窄检测结果进行处理，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果。
附图说明
图1是根据本发明的冠状动脉X光序列造影中血管狭窄检测方法的流程图。
图2是根据本发明的所述步骤(2)中的单帧图像上冠脉狭窄段检测的流程图。
图3是根据本发明的所述步骤(2)中的深度的序列特征融合的流程图。
图4是根据本发明的所述步骤(3)的流程图。
图5是根据本发明的冠状动脉X光序列造影中血管狭窄检测装置的结构示意图。
具体实施方式
本发明是从冠状动脉序列造影图像中自动检测血管狭窄，将狭窄所在的位置标记出来，为后续的冠心病诊断提供准确的冠脉狭窄信息。如图1所示，这种冠状动脉X光序列造影中血管狭窄检测方法，其包括以下步骤：
(1)获取XRA图像的序列图像信息；
(2)冠脉狭窄检测：结合序列图像中前后帧信息实现单帧图像上冠脉狭窄段检测，将连续多帧的图像检测结果再进行深度的序列特征融合以得到这连续多帧每一帧上更准确的狭窄检测结果，该检测结果作为初始的序列狭窄检测结果；
(3)对初始的序列狭窄检测结果进行处理，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果。
本发明充分利用序列图像信息的冠脉狭窄检测过程能够有效地检测出序列图像中血管上疑似狭窄的区域，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果，从而可以有效的帮助医生进行有效的快速的疾病诊断。
优选地，所述步骤(2)中，单帧图像上冠脉狭窄段检测包括以下步骤：
(2.a.1)从序列造影图像中选择待检测的一帧图像t及其前后各连续2帧图像，这五帧图像构成本模块的输入图像集合利用带注意力机制的图像特征提取网络得到五帧图像各自的特征金字塔；
(2.a.2)使用带有注意力机制的特征融合网络对上述五帧图像的特征金字塔的各个尺度分别进行融合，得到包含了序列信息的多尺度特征图；
(2.a.3)使用目标检测中的特征金字塔操作结合注意力机制对上述多尺度特征进行不同尺度间的特征融合，再通过多尺度的复原得到最终特征金字塔；
(2.a.4)将特征金字塔输入到区域建议网络中得到若干目标定位框，随后利用感兴趣区域特征提取网络从特征图上得到目标框内特征；
(2.a.5)使用分类回归网络对目标框内特征进行分类，得到目标框内血管为狭窄的概率；对目标框的位置和大小进行回归，得到最终的目标框位置与大小；
(2.a.6)网络的最终输出是判断为狭窄类别的目标框位置及该目标属于狭窄类别的概率值。
优选地，所述步骤(2)中，深度的序列特征融合包括以下步骤：
(2.b.1)分别计算连续5帧图像中所有检测出的目标框之间的余弦相似度；
(2.b.2)根据各个目标框的余弦相似度将相似的目标结果的特征进行聚类融合，得到更有鉴别性和鲁棒性的目标检测特征；将增强的特征进一步反馈到检测网络中进行分类和目标框的回归。
优选地，所述步骤(3)包括以下步骤：
(3.1)在由序列狭窄检测模块输出的每帧图像检测结果的基础上，计算所有检测框是否重叠，如果检测框有重叠，再根据两个检测框的重叠比例和检测框中心点处的图像相似度判断两个检测框是否重复，如果两个检测框重复，保留面积更大的框；
(3.2)针对连续九帧图像，记录九帧图像中针对同一处血管位置检测框出现的次数，如果出现次数大于设定的阈值，则认为该检测框检测出了正确的狭窄，保留序列图像上该位置的狭窄检测框。
优选地，所述步骤(3.2)中，阈值设为5。
优选地，所述步骤(3)中，在判断九帧图像中同一处血管位置时，使用距离约束和区域纹理相似性约束。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种冠状动脉X光序列造影中血管狭窄检测装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
图像获取模块，其配置来获取XRA图像的序列图像信息；
冠脉狭窄检测模块，其配置来结合序列图像中前后帧信息实现单帧图像上冠脉狭窄段检测，将连续多帧的图像检测结果再进行深度的序列特征融合以得到这连续多帧每一帧上更准确的狭窄检测结果，该检测结果作为初始的序列狭窄检测结果；
后处理模块，其配置来对初始的序列狭窄检测结果进行处理，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果。
优选地，所述冠脉狭窄检测模块包括：单帧图像上冠脉狭窄段检测单元和深度的序列特征融合单元；单帧图像上冠脉狭窄段检测单元执行以下步骤：
(2.a.1)从序列造影图像中选择待检测的一帧图像t及其前后各连续2帧图像，这五帧图像构成本模块的输入图像集合利用带注意力机制的图像特征提取网络得到五帧图像各自的特征金字塔；
(2.a.2)使用带有注意力机制的特征融合网络对上述五帧图像的特征金字塔的各个尺度分别进行融合，得到包含了序列信息的多尺度特征图；
(2.a.3)使用目标检测中的特征金字塔操作结合注意力机制对上述多尺度特征进行不同尺度间的特征融合，再通过多尺度的复原得到最终特征金字塔；
(2.a.4)将特征金字塔输入到区域建议网络中得到若干目标定位框，
随后利用感兴趣区域特征提取网络从特征图上得到目标框内特征；
(2.a.5)使用分类回归网络对目标框内特征进行分类，得到目标框内血管为狭窄的概率；对目标框的位置和大小进行回归，得到最终的目标框位置与大小；
(2.a.6)网络的最终输出是判断为狭窄类别的目标框位置及该目标属于狭窄类别的概率值。
优选地，所述深度的序列特征融合单元执行以下步骤：
(2.b.1)分别计算连续5帧图像中所有检测出的目标框之间的余弦相似度；
(2.b.2)根据各个目标框的余弦相似度将相似的目标结果的特征进行聚类融合，得到更有鉴别性和鲁棒性的目标检测特征；将增强的特征进一步反馈到检测网络中进行分类和目标框的回归。
优选地，所述后处理模块执行以下步骤：
(3.1)在由序列狭窄检测模块输出的每帧图像检测结果的基础上，计算所有检测框是否重叠，如果检测框有重叠，再根据两个检测框的重叠比例和检测框中心点处的图像相似度判断两个检测框是否重复，如果两个检测框重复，保留面积更大的框；
(3.2)针对连续九帧图像，记录九帧图像中针对同一处血管位置检测框出现的次数，如果出现次数大于设定的阈值，则认为该检测框检测出了正确的狭窄，保留序列图像上该位置的狭窄检测框。
以下更详细地说明本发明。
在本发明中，为了自动从序列造影图像中检测血管狭窄，主要基于深度学习的目标检测框架。该方法是将狭窄定义为一个目标类别，利用目标检测网络来检测该目标。目标检测网络主要分为两大类，第一类是单步目标检测方法，该方法利用特征提取网络得到图像的特征图，在特征图上直接进行分类和回归，得到最终的目标检测结果。但是该方法用在冠脉血管狭窄检测上效果很差，因为它无法将狭窄的血管与正常血管区分出来。另一类是两步目标检测方法，对于两步目标检测网络，首先通过卷积操作提取图像空间特征，随后通过区域建议网络得到所有可能是目标的候选框；第二步是根据候选框内图像特征，通过分类网络得到该候选框属于狭窄类别的概率。两步目标检测网络的准确度高、速度相对单步慢，但它可以在一定程度上将狭窄血管与正常血管区分出来。
倘若直接利用上述已有的目标检测网络对序列造影图像进行血管狭窄检测，结果会出现较多假阳性或假阴性检测框。为了解决这一问题，本发明将充分利用序列造影的图像纹理信息和序列时序信息，设计带有注意力机制的图像空间特征提取网络，设计综合了时序检测结果一致性的序列特征融合网络、设计加深时序检测结果一致性的后处理模块。
下面参照附图说明，对本发明实施例具体的模块进行详细介绍，来枚举针对不同病人的序列造影图像，进行冠脉狭窄检测的方法。此具体实施方式，只是本发明的一个举例，包括但不限于下面的具体实施方式。
图5是本发明基于序列造影图像分析的冠脉狭窄检测方法的流程图。本发明装置的输入是某位冠心病患者的序列冠脉造影图像。
1、冠脉狭窄检测模块
输入XRA序列造影图像，设计基于深度学习的单帧狭窄检测算法与全面考虑序列信息的序列狭窄检测算法得到初始的序列狭窄检测结果。
2、后处理模块
针对初始的序列狭窄检测结果，通过剔除帧内重复的检测框和保留序列中相似度高的检测框两个步骤得到最终的检测结果。
结合图2，对本发明的序列造影图像上冠脉狭窄检测模块中的单帧狭窄检测网络进行描述。
步骤一：首先从序列造影图像中选择待检测的一帧图像t及其前后各连续2帧图像，这五帧图像构成本模块的输入图像集合利用带注意力机制的图像特征提取网络得到五帧图像各自的特征金字塔。
步骤二：使用带有注意力机制的特征融合网络对上述五帧图像的特征金字塔的各个尺度分别进行融合，得到包含了序列信息的多尺度特征图。
步骤三：使用目标检测中常见的特征金字塔操作结合注意力机制对上述多尺度特征进行不同尺度间的特征融合，再通过多尺度的复原得到最终特征金字塔。
步骤四：将特征金字塔输入到区域建议网络中得到若干目标定位框，随后利用感兴趣区域特征提取网络从特征图上得到目标框内特征。
步骤五：使用分类回归网络对目标框内特征进行分类，得到目标框内血管为狭窄的概率；对目标框的位置和大小进行回归，得到最终的目标框位置与大小。
网络的最终输出是判断为狭窄类别的目标框位置及该目标属于狭窄类别的概率值。
结合图3，对本发明的序列造影图像上冠脉狭窄检测模块中的序列狭窄检测网络进行描述。
步骤一：分别计算连续5帧图像中所有检测出的目标框之间的余弦相似度。
步骤二：根据各个目标框的余弦相似度可以将相似的目标结果的特征进行聚类融合，得到更有鉴别性和鲁棒性的目标检测特征。将增强的特征进一步反馈到检测网络中进行分类和目标框的回归。
结合图4，对本发明后处理模块的实现步骤进行详细的描述。
步骤一：在由序列狭窄检测模块输出的每帧图像检测结果的基础上，计算所有检测框是否重叠，如果检测框有重叠，再根据两个检测框的重叠比例和检测框中心点处的图像相似度判断两个检测框是否重复，如果两个框重复，保留面积更大的框。
步骤二：针对连续九帧图像，每张图像的检测框都经过了步骤一的处理，记录九帧图像中针对同一处血管位置检测框出现的次数，如果出现次数大于设定的阈值(例如阈值设为5)，则认为该检测框检测出了正确的狭窄，保留序列图像上该位置的狭窄检测框。值得注意的是，由于血管在序列造影图像的拍摄过程中存在运动，本发明在判断九帧图像中同一处血管位置时使用了距离约束和区域纹理相似性约束。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (8)
1.一种冠状动脉X光序列造影中血管狭窄检测方法，其特征在于：其包括以下步骤：
(1)获取XRA图像的序列图像信息；
(2)冠脉狭窄检测：结合序列图像中前后帧信息实现单帧图像上冠脉狭窄段检测，将连续多帧的图像检测结果再进行深度的序列特征融合以得到这连续多帧每一帧上更准确的狭窄检测结果，该检测结果作为初始的序列狭窄检测结果；
(3)对初始的序列狭窄检测结果进行处理，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果；
所述步骤(2)中，单帧图像上冠脉狭窄段检测包括以下步骤：
(2.a.1)从序列造影图像中选择待检测的一帧图像t及其前后各连续2帧图像，这五帧图像构成输入图像集合利用带注意力机制的图像特征提取网络得到五帧图像各自的特征金字塔；
(2.a.2)使用带有注意力机制的特征融合网络对上述五帧图像的特征金字塔的各个尺度分别进行融合，得到包含了序列信息的多尺度特征图；
(2.a.3)使用目标检测中的特征金字塔操作结合注意力机制对上述多尺度特征进行不同尺度间的特征融合，再通过多尺度的复原得到最终特征金字塔；
(2.a.4)将特征金字塔输入到区域建议网络中得到若干目标定位框，随后利用感兴趣区域特征提取网络从特征图上得到目标框内特征；
(2.a.5)使用分类回归网络对目标框内特征进行分类，得到目标框内血管为狭窄的概率；对目标框的位置和大小进行回归，得到最终的目标框位置与大小；
(2.a.6)网络的最终输出是判断为狭窄类别的目标框位置及该目标属于狭窄类别的概率值。
2.根据权利要求1所述的冠状动脉X光序列造影中血管狭窄检测方法，其特征在于：所述步骤(2)中，深度的序列特征融合包括以下步骤：
(2.b.1)分别计算连续5帧图像中所有检测出的目标框之间的余弦相似度；
(2.b.2)根据各个目标框的余弦相似度将相似的目标结果的特征进行聚类融合，得到更有鉴别性和鲁棒性的目标检测特征；将增强的特征进一步反馈到检测网络中进行分类和目标框的回
归。
3.根据权利要求2所述的冠状动脉X光序列造影中血管狭窄检测方法，其特征在于：所述步骤(3)包括以下步骤：
(3.1)在由序列狭窄检测模块输出的每帧图像检测结果的基础
上，计算所有检测框是否重叠，如果检测框有重叠，再根
据两个检测框的重叠比例和检测框中心点处的图像相似度
判断两个检测框是否重复，如果两个检测框重复，保留面
积更大的框；
(3.2)针对连续九帧图像，记录九帧图像中针对同一处血管位置
检测框出现的次数，如果出现次数大于设定的阈值，则认
为该检测框检测出了正确的狭窄，保留序列图像上该位置的狭窄检测框。
4.根据权利要求3所述的冠状动脉X光序列造影中血管狭窄检测方法，其特征在于：所述步骤(3.2)中，阈值设为5。
5.根据权利要求4所述的冠状动脉X光序列造影中血管狭窄检测方法，其特征在于：所述步骤(3)中，在判断九帧图像中同一处血管位置时，使用距离约束和区域纹理相似性约束。
6.一种冠状动脉X光序列造影中血管狭窄检测装置，其特征在于：其包括：
图像获取模块，其配置来获取XRA图像的序列图像信息；
冠脉狭窄检测模块，其配置来结合序列图像中前后帧信息实现单帧图像上冠脉狭窄段检测，将连续多帧的图像检测结果再进行深度的序列特征融合以得到这连续多帧每一帧上更准确的狭窄检测结果，该检测结果作为初始的序列狭窄检测结果；
后处理模块，其配置来对初始的序列狭窄检测结果进行处理，通过剔除帧内重复的检测框和保留序列中相似度高的检测框得到精确检测结果；
所述冠脉狭窄检测模块包括：单帧图像上冠脉狭窄段检测单元和深度的序列特征融合单元；单帧图像上冠脉狭窄段检测单元执行以下步骤：
(2.a.1)从序列造影图像中选择待检测的一帧图像t及其前后各连续2帧图像，这五帧图像构成输入图像集合利用带注意力机制的图像特征提取网络得到五帧图像各自的特征金字塔；
(2.a.2)使用带有注意力机制的特征融合网络对上述五帧图像的特征金字塔的各个尺度分别进行融合，得到包含了序列信息的多尺度特征图；
(2.a.3)使用目标检测中的特征金字塔操作结合注意力机制对上述多尺度特征进行不同尺度间的特征融合，再通过多尺度的复原得到最终特征金字塔；
(2.a.4)将特征金字塔输入到区域建议网络中得到若干目标定位框，随后利用感兴趣区域特征提取网络从特征图上得到目标框内特征；
(2.a.5)使用分类回归网络对目标框内特征进行分类，得到目标框内血管为狭窄的概率；对目标框的位置和大小进行回归，得到最终的目标框位置与大小；
(2.a.6)网络的最终输出是判断为狭窄类别的目标框位置及该目标属于狭窄类别的概率值。
7.根据权利要求6所述的冠状动脉X光序列造影中血管狭窄检测装置，其特征在于：所述深度的序列特征融合单元执行以下步骤：
(2.b.1)分别计算连续5帧图像中所有检测出的目标框之间的余弦相似度；
(2.b.2)根据各个目标框的余弦相似度将相似的目标结果的特征进行聚类融合，得到更有鉴别性和鲁棒性的目标检测特征；将增强的特征进一步反馈到检测网络中进行分类和目标框的回归。
8.根据权利要求7所述的冠状动脉X光序列造影中血管狭窄检测装置，其特征在于：所述后处理模块执行以下步骤：
(3.1)在由序列狭窄检测模块输出的每帧图像检测结果的基础上，计算所有检测框是否重叠，如果检测框有重叠，再根据两个检测框的重叠比例和检测框中心点处的图像相似度判断两个检测框是否重复，如果两个检测框重复，保留面积更大的框；
(3.2)针对连续九帧图像，记录九帧图像中针对同一处血管位置检测框出现的次数，如果出现次数大于设定的阈值，则认为该检测框检测出了正确的狭窄，保留序列图像上该位置的狭窄检测框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010354792.8A CN111667456B (zh) | 2020-04-28 | 2020-04-28 | 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010354792.8A CN111667456B (zh) | 2020-04-28 | 2020-04-28 | 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111667456A CN111667456A (zh) | 2020-09-15 |
| CN111667456B true CN111667456B (zh) | 2023-11-14 |
Family
ID=72383075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010354792.8A Active CN111667456B (zh) | 2020-04-28 | 2020-04-28 | 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667456B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112469B (zh) * | 2021-04-06 | 2023-04-28 | 上海深至信息科技有限公司 | 一种b超图像选取方法及系统 |
| CN113408603B (zh) * | 2021-06-15 | 2023-10-31 | 西安华企众信科技发展有限公司 | 一种基于多分类器融合的冠状动脉狭窄病变程度识别方法 |
| CN113723419B (zh) * | 2021-09-03 | 2023-11-21 | 乐普（北京）医疗器械股份有限公司 | 一种基于语义分割网络对造影图像进行分割的方法和装置 |
| CN114119455B (zh) * | 2021-09-03 | 2024-04-09 | 乐普（北京）医疗器械股份有限公司 | 一种基于目标检测网络定位血管狭窄部位的方法和装置 |
| CN116523813A (zh) * | 2022-01-20 | 2023-08-01 | 乐普（北京）医疗器械股份有限公司 | 基于血管造影图像分析血流储备分数的处理方法和装置 |
| CN114764788B (zh) * | 2022-03-29 | 2022-12-16 | 首都医科大学附属北京天坛医院 | 一种颅内动脉狭窄检测方法及系统 |
| CN114972220B (zh) * | 2022-05-13 | 2023-02-21 | 北京医准智能科技有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN114972221B (zh) * | 2022-05-13 | 2022-12-23 | 北京医准智能科技有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN116681716B (zh) * | 2023-08-04 | 2023-10-10 | 杭州脉流科技有限公司 | 颅内血管感兴趣区域分割方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945169A (zh) * | 2017-12-01 | 2018-04-20 | 中国人民解放军第三军医大学 | 一种冠状动脉影像分析方法及数据结构 |
| CN109754388A (zh) * | 2018-12-04 | 2019-05-14 | 众安信息技术服务有限公司 | 一种颈动脉狭窄程度计算方法、装置及存储介质 |
| CN110136107A (zh) * | 2019-05-07 | 2019-08-16 | 上海交通大学 | 基于dssd和时域约束x光冠脉造影序列自动分析方法 |
| CN110310256A (zh) * | 2019-05-30 | 2019-10-08 | 上海联影智能医疗科技有限公司 | 冠脉狭窄检测方法、装置、计算机设备和存储介质 |
| CN110910370A (zh) * | 2019-11-21 | 2020-03-24 | 北京理工大学 | 一种cta图像冠脉狭窄检测的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9943277B2 (en) * | 2014-04-02 | 2018-04-17 | International Business Machines Corporation | Detecting coronary stenosis through spatio-temporal tracking |
-
2020
- 2020-04-28 CN CN202010354792.8A patent/CN111667456B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945169A (zh) * | 2017-12-01 | 2018-04-20 | 中国人民解放军第三军医大学 | 一种冠状动脉影像分析方法及数据结构 |
| CN109754388A (zh) * | 2018-12-04 | 2019-05-14 | 众安信息技术服务有限公司 | 一种颈动脉狭窄程度计算方法、装置及存储介质 |
| CN110136107A (zh) * | 2019-05-07 | 2019-08-16 | 上海交通大学 | 基于dssd和时域约束x光冠脉造影序列自动分析方法 |
| CN110310256A (zh) * | 2019-05-30 | 2019-10-08 | 上海联影智能医疗科技有限公司 | 冠脉狭窄检测方法、装置、计算机设备和存储介质 |
| CN110910370A (zh) * | 2019-11-21 | 2020-03-24 | 北京理工大学 | 一种cta图像冠脉狭窄检测的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| A fusion framework based on multi-domain features and deep learning features of phonocardiogram for coronary artery disease detection;Han Li 等;《Computers in Biology and Medicine》;第1-10页 * |
| Automatic detection of coronary artery stenosis by convolutional neural network with temporal constraint;Wei Wu 等;《Computers in Biology and Medicine》;第1-11页 * |
| 基于冠脉造影图像血管树分割的血管狭窄自动识别方法;陈建辉 等;《中国生物医学工程学报》;第38卷(第3期);第266-272页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111667456A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667456B (zh) | 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 | |
| Zhao et al. | Automatic extraction and stenosis evaluation of coronary arteries in invasive coronary angiograms | |
| Nasr-Esfahani et al. | Segmentation of vessels in angiograms using convolutional neural networks | |
| Jiang et al. | An automatic detection system of lung nodule based on multigroup patch-based deep learning network | |
| US10452957B2 (en) | Image classification apparatus, method, and program | |
| Fan et al. | Multichannel fully convolutional network for coronary artery segmentation in X-ray angiograms | |
| Lin et al. | Automatic retinal vessel segmentation via deeply supervised and smoothly regularized network | |
| Wan et al. | Automated identification and grading of coronary artery stenoses with X-ray angiography | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| CN110838114B (zh) | 肺结节检测方法、装置及计算机存储介质 | |
| Pang et al. | Stenosis-DetNet: Sequence consistency-based stenosis detection for X-ray coronary angiography | |
| Jiang et al. | Automatic detection of coronary metallic stent struts based on YOLOv3 and R-FCN | |
| Blaiech et al. | Impact of enhancement for coronary artery segmentation based on deep learning neural network | |
| Ma et al. | Polyp detection in colonoscopy videos by bootstrapping via temporal consistency | |
| Nayan et al. | A deep learning approach for brain tumor detection using magnetic resonance imaging | |
| Zhou et al. | Review of vessel segmentation and stenosis classification in X-ray coronary angiography | |
| Lu et al. | Adaboost-based detection and segmentation of bioresorbable vascular scaffolds struts in IVOCT images | |
| Wang et al. | Geometric morphology based irrelevant vessels removal for accurate coronary artery segmentation | |
| Wen et al. | A novel lesion segmentation algorithm based on U-net network for tuberculosis CT image | |
| Zhao et al. | A new approach to extracting coronary arteries and detecting stenosis in invasive coronary angiograms | |
| Saglam et al. | COVID-19 Detection from X-ray Images Using a New CNN Approach | |
| Zuluaga et al. | Feature selection for SVM-based vascular anomaly detection | |
| Alam et al. | Early detection of coronary artery blockage using image processing: segmentation, quantification, identification of degree of blockage and risk factors of heart attack | |
| Kim et al. | Automatic CAC voxel classification with multi-scale CNN architecture | |
| Zhao et al. | Development of an approach to extracting coronary arteries and detecting stenosis in invasive coronary angiograms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |