CN113487616B - 一种使用连续多帧图像构建完整结构血管树结构的方法 - Google Patents
一种使用连续多帧图像构建完整结构血管树结构的方法 Download PDFInfo
- Publication number
- CN113487616B CN113487616B CN202110760035.5A CN202110760035A CN113487616B CN 113487616 B CN113487616 B CN 113487616B CN 202110760035 A CN202110760035 A CN 202110760035A CN 113487616 B CN113487616 B CN 113487616B
- Authority
- CN
- China
- Prior art keywords
- node
- frame
- blood vessel
- continuous
- catheter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002792 vascular Effects 0.000 title claims abstract description 12
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 45
- 238000002586 coronary angiography Methods 0.000 claims abstract description 14
- 238000003672 processing method Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 239000010410 layer Substances 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000012805 post-processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种使用连续多帧图像构建完整结构血管树结构的方法，涉及冠脉造影图像处理技术领域，解决现有方法针对单帧图像存储，存在信息不完整，导致不能完整还原血管形态的风险，且存储时无法对其进行修正等问题，本发能够自动根据造影图像建立起完整血管树。包含冠脉造影血管实例分割，分割图像后处理，骨架线提取，连续多帧图像配准，血管树信息存储。使用基于计算机视觉领域中的图像处理方法，并使用统一的评判标准，可以减少人为因素所带来的误判。根据提出的依据节点信息进行血管树建立，可以快速帮助进行血管结构的分析。本发明使得存储的骨架线结构最大限度的完整，使得血管信息最大程度的保留，为建立完整的血管树提供更可靠的参考价值。
Description
技术领域
本发明涉及一种冠脉造影图像处理技术领域，具体涉及一种使用连续多帧图像构建完整结构血管树结构的方法。
背景技术
根据近几年的中国心血管病报告可知，心血管病的死亡率在逐年上升，甚至已经超过了肿瘤以及其他重大疾病。较多的病患以及复杂的诊断流程使得医生的工作量骤然上升，除此之外，由于心血管病的病情复杂，种类较多，进行病情诊断时对于医生的专业知识以及治疗诊断标准有着极高的要求。
现有专利名称：一种基于骨架图的冠状动脉造影数据集存储方法，专利号：201911196224.3；该技术方案根据二值骨架图中像素点定义其坐标偏移量，获得二值骨架图的位置标签信息；定义节点类；将二值骨架图的信息通过节点类进行存储，以节点类的根节点为起点，通过遍历二值骨架图紧邻四周是否存在血管像素，不断更新血管像素点之间的位置关系，使血管像素点之间通过位置标签建立联系，得到一个存储所有血管像素信息的节点列表；将节点列表作为下一步网络的学习输入，从而进行学习预测。
采用上述方法提出的血管骨架线的存储方法，所建立的血管树存在不能完整还原血管形态的风险，其存储原则是以是否有相邻像素进行的，如果所存储的骨架线因前一步的分割失误存在分支断裂或不完整的情况，那么存储时是无法对其进行修正的。
同时，现有技术根据单张图像进行骨架线信息的存储，这对骨架线的准确度要求很高，一旦骨架线出现错误或者前期处理结果存在错误则存储的信息就会错误且因没有其他参考图像而导致错误无法修正，此外，若骨架线出现断裂则断裂部分的信息则会被丢弃，使得存储的信息不完整。
本发明中延用该存储方法。不同之处是上述发明为针对单张图片的存储方法。本发明采用的连续多帧存储方法，通过结合连续帧上的骨架线信息，能够进行信息互补，可以有效避免单张图片出现错误导致骨架线断裂从而造成信息存储缺失进而影响血管树完整性的问题。
发明内容
本发明为解决现有方法针对单帧图像存储，存在信息不完整，导致不能完整还原血管形态的风险，且存储时无法对其进行修正等问题，提供一种使用连续多帧图像构建完整结构血管树结构的方法。
一种使用连续多帧图像构建完整结构血管树结构的方法，该方法由以下步骤实现：
步骤一、将从DICOM视频中提取出的连续的冠状动脉造影图像并依次输入卷积神经网络，所述神经网络对冠状动脉造影图像进行血管分割，获得血管各个段的分割图；
步骤二、采用逐像素遍历的方式，确定导管与血管段的交界线，同时记录组成血管边界线像素点的位置坐标，即确定根节点所在的线；
步骤三、运用图形学处理方法，对步骤一获得的分割图像进行处理，获得血管的骨架线，同时将存在于所述骨架线且位于步骤二中根节点所在线的第一段血管边界线上的像素点定义为该图像上血管树的根节点，即：血管树的起点；所述骨架线与其他血管段边界线的交点即为不同血管段的起始点；
步骤四、将当前图像帧规定为标准帧，使用DTW对齐算法，分别将该帧后连续的三帧与标准帧进行血管配准；具体过程为：
首先，在所述连续三帧上分别找到与标准帧上根节点的对应位置，作为各自图像上的根节点；
所述标准帧及其后连续三帧均从各自根节点开始遍历，判断当前节点周围是否有相邻节点，对比标准帧及其后连续三帧的结果，若在同一位置的节点，任意连续帧在该节点周围存在相邻节点，而标准帧在该节点周围并不存在相邻节点，表明标准帧存在节点缺失的情况，采用该连续帧，即当前帧中该节点处的信息更新标准帧中对应节点的信息，使标准帧中节点存储的信息始终是最完整的；
直到遍历到标准帧及其它连续帧中对应节点均无相邻节点。
本发明的有益效果：
本发明所述的方法，无需人工参与，能够自动根据造影图像建立起完整血管树。该方法包含了冠脉造影血管实例分割，分割图像后处理，骨架线提取，连续多帧图像配准，血管树信息存储一系列流程。使用基于计算机视觉领域中的图像处理方法，并使用统一的评判标准，可以减少人为因素所带来的误判。根据提出的依据节点信息进行血管树建立，可以快速帮助进行血管结构的分析。
本发明使用连续多帧图像辅助信息存储完整的方法，通过对比连续帧之间的异同可以判断骨架线是否出现断裂，并且可以按照像素对应的方法补全缺失的节点信息，使得存储的骨架线结构最大限度的完整，使得血管信息最大程度的保留，为建立完整的血管树提供更可靠的参考价值。
本发明所述的方法较现有方法更加规范，本方法将构建血管树的流程标准化，通过连续帧之间的信息互补能够对标准帧的骨架线信息进行完善，使得存储的血管树信息最大程度上完整，为后期根据所存储的信息还原血管完整结构提供了更加可靠的依据。
附图说明
图1为本发明所述的一种使用连续多帧图像构建完整结构血管树结构的方法的流程图；
图2为本发明所述的一种使用连续多帧图像构建完整结构血管树结构的方法中确定导管与血管段的交界线的流程图。
具体实施方式
结合图1和图2说明本实施方式，一种冠状动脉造影血管树的建立方法，该方法包含了冠脉造影血管实例分割，分割图像后处理，骨架线提取，连续多帧图像配准，血管树信息存储一系列流程。使用基于计算机视觉领域中的图像处理方法，为计算机辅助诊疗提供较多可能。计算机辅助诊疗的开发与应用，可以减少人为因素所带来的误判。根据提出的依据节点信息进行血管树建立，可以快速帮助进行血管结构的分析。
步骤一：基于深度学习图像分割网络，将从医院获得的冠状动脉造影图像进行血管分割，得到血管各个节段的实例分割图。
本实施方式中用于分割冠状动脉造影图像的卷积神经网络由特征提取模块、金字塔池化模块、特征融合模块以及单层卷积层组成。网络的输入为从DICOM视频中提取出的连续图像帧，将其作为一组依次输入网络。
步骤二：采用逐像素遍历的方式，找到导管部分与血管段部分的交界线，记录这条交界线上每个像素点的坐标。判断流程如图2，确定导管与血管段的交界线的具体方法为：
步骤二一、判断当前节点是否为导管像素点，如果是，执行步骤二二；如果否，则继续遍历下一节点继续判断；
步骤二二、遍历所述导管像素点的八领域像素点，判断是否存在非导管非背景的像素点，即：RGB值不为(255,255,255)和(0，0，0)的像素点。如果是，执行步骤二三，如果否，执行步骤二四；
步骤二三、记录该导管像素点与非导管非背景像素点位置，(则说明该点为导管边界线上的点，则将该点的坐标信息记录下来，同时也将与之相邻的RGB值不为(255,255,255)和(0，0，0)的象素点的位置记录下来，说明该点为第一段血管节段边界线上的点，即与血管树根节点在同一条线上)；以遍历到的节点为中心节点，返回步骤二二；
步骤二四、判断是否存在首次遍历到的节点，如果是，以其八邻域内第一次被遍历到的像素点为中心节点，返回步骤二二；如果否，返回最终结果后结束。
步骤三：对于步骤一后得到的分割图，运用图形学处理方法，得到血管的骨架线。通过不断细化血管得到骨架线，细化血管的过程即去掉多余点的过程。同时存在于骨架线和步骤三后得到的第一段血管节段边界线上的像素点，被定义为该图像上血管树的根节点，即存储血管树的起点。骨架线与其他血管节段边界线的交点即为不同血管节段的起始点。
步骤四：将当前图像帧规定为标准帧，使用DTW对齐算法，分别将该帧后连续的三帧与标准帧进行血管配准。分别在标准帧后连续三帧上找到标准帧上的根节点的对应位置，作为各自图像上的根节点，标准帧及其后连续均从各自根节点开始遍历，判断该节点周围是否有相邻节点，对比标准帧及其后相邻帧的结果，若在同一位置的节点，任意连续帧在该节点(指标准帧后连续三帧中与当前判断的标准帧中的节点在同一位置的节点)周围存在相邻节点，而标准帧该节点周围并不存在相邻节点，表明标准帧存在节点缺失的情况，故使用该连续帧(只要标准帧后连续三帧中任意一帧中同一位置的节点周围有相邻节点，则更新标准帧中当前节点的信息)中该节点处的信息更新标准帧中对应节点的信息，保证标准帧中节点存储的信息始终是最完整的。直到遍历到标准帧及连续帧中对应节点均无相邻节点。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (2)
1.一种使用连续多帧图像构建完整结构血管树结构的方法，其特征是：该方法由以下步骤实现：
步骤一、将从DICOM视频中提取出的连续的冠状动脉造影图像并依次输入卷积神经网络，所述神经网络对冠状动脉造影图像进行血管分割，获得血管各个段的分割图；
用于分割冠状动脉造影图像的卷积神经网络由特征提取模块、金字塔池化模块、特征融合模块以及单层卷积层组成；
步骤二、采用逐像素遍历的方式，确定导管与血管段的交界线，同时记录组成血管边界线像素点的位置坐标，即确定根节点所在的线；
步骤二中，确定导管与血管段的交界线的具体方法为：
步骤二一、判断当前节点是否为导管像素点，如果是，执行步骤二二；如果否，则继续遍历下一节点继续判断；
步骤二二、遍历所述导管像素点的八领域像素点，判断是否存在非导管非背景的像素点，如果是，执行步骤二三，如果否，执行步骤二四；
步骤二三、记录该导管像素点与非导管非背景像素点位置；以遍历到的节点为中心节点，返回步骤二二；
步骤二四、判断是否存在首次遍历到的节点，如果是，以其八邻域内第一次被遍历到的像素点为中心节点，返回步骤二二；如果否，返回最终结果后结束；
步骤三、运用图形学处理方法，对步骤一获得的分割图像进行处理，获得血管的骨架线，同时将存在于所述骨架线且位于步骤二中根节点所在线的第一段血管边界线上的像素点定义为该图像上血管树的根节点，即：血管树的起点；所述骨架线与其他血管段边界线的交点即为不同血管段的起始点；
步骤四、将当前图像帧规定为标准帧，使用DTW对齐算法，分别将该帧后连续的三帧与标准帧进行血管配准；具体过程为：
首先，在所述连续三帧上分别找到与标准帧上根节点的对应位置，作为各自图像上的根节点；
所述标准帧及其后连续三帧均从各自根节点开始遍历，判断当前节点周围是否有相邻节点，对比标准帧及其后连续三帧的结果，若在同一位置的节点，任意连续帧在该节点周围存在相邻节点，而标准帧在该节点周围并不存在相邻节点，表明标准帧存在节点缺失的情况，采用该连续帧，即当前帧中该节点处的信息更新标准帧中对应节点的信息，使标准帧中节点存储的信息始终是最完整的；
直到遍历到标准帧及其它连续帧中对应节点均无相邻节点。
2.根据权利要求1所述的一种使用连续多帧图像构建完整结构血管树结构的方法，其特征在于：非导管非背景的像素点具体指：RGB值不为(255,255,255)和（0，0，0）的像素点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110760035.5A CN113487616B (zh) | 2021-07-06 | 2021-07-06 | 一种使用连续多帧图像构建完整结构血管树结构的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110760035.5A CN113487616B (zh) | 2021-07-06 | 2021-07-06 | 一种使用连续多帧图像构建完整结构血管树结构的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487616A CN113487616A (zh) | 2021-10-08 |
| CN113487616B true CN113487616B (zh) | 2024-03-19 |
Family
ID=77941053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110760035.5A Active CN113487616B (zh) | 2021-07-06 | 2021-07-06 | 一种使用连续多帧图像构建完整结构血管树结构的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487616B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961334A (zh) * | 2018-06-26 | 2018-12-07 | 电子科技大学 | 一种基于图像配准的视网膜血管壁厚度测量方法 |
| CN109727242A (zh) * | 2018-12-28 | 2019-05-07 | 上海联影医疗科技有限公司 | 血管中心线提取方法、装置、计算机设备和存储介质 |
| CN109993730A (zh) * | 2019-03-20 | 2019-07-09 | 北京理工大学 | 3d/2d血管配准方法及装置 |
| CN110970117A (zh) * | 2019-11-29 | 2020-04-07 | 北京邮电大学 | 一种基于二值骨架图的冠状动脉造影数据集存储方法 |
| CN112652052A (zh) * | 2020-12-15 | 2021-04-13 | 山东大学 | 一种基于血管分支配准的冠状动脉三维重建方法及系统 |
| CN112863654A (zh) * | 2021-02-09 | 2021-05-28 | 杭州深睿博联科技有限公司 | 一种心脏冠脉血管的自动化命名方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9351698B2 (en) * | 2013-03-12 | 2016-05-31 | Lightlab Imaging, Inc. | Vascular data processing and image registration systems, methods, and apparatuses |
-
2021
- 2021-07-06 CN CN202110760035.5A patent/CN113487616B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961334A (zh) * | 2018-06-26 | 2018-12-07 | 电子科技大学 | 一种基于图像配准的视网膜血管壁厚度测量方法 |
| CN109727242A (zh) * | 2018-12-28 | 2019-05-07 | 上海联影医疗科技有限公司 | 血管中心线提取方法、装置、计算机设备和存储介质 |
| CN109993730A (zh) * | 2019-03-20 | 2019-07-09 | 北京理工大学 | 3d/2d血管配准方法及装置 |
| CN110970117A (zh) * | 2019-11-29 | 2020-04-07 | 北京邮电大学 | 一种基于二值骨架图的冠状动脉造影数据集存储方法 |
| CN112652052A (zh) * | 2020-12-15 | 2021-04-13 | 山东大学 | 一种基于血管分支配准的冠状动脉三维重建方法及系统 |
| CN112863654A (zh) * | 2021-02-09 | 2021-05-28 | 杭州深睿博联科技有限公司 | 一种心脏冠脉血管的自动化命名方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487616A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035255B (zh) | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 | |
| CN110298844B (zh) | X光造影图像血管分割与识别方法及装置 | |
| US9811912B2 (en) | Image processing apparatus, image processing method and medical imaging device | |
| CN111696089A (zh) | 一种动静脉确定方法、装置、设备和存储介质 | |
| CN111145206A (zh) | 肝脏图像分割质量评估方法、装置及计算机设备 | |
| CN111145173A (zh) | 一种冠脉造影图像的斑块识别方法、装置、设备及介质 | |
| CN112862759B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| US9684957B2 (en) | Systems methods, and media for detecting an anatomical object in a medical device image using a multi-stage classifier | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| CN110310280A (zh) | 肝胆管及结石的图像识别方法、系统、设备及存储介质 | |
| US20210142470A1 (en) | System and method for identification of pulmonary arteries and veins depicted on chest ct scans | |
| CN113160189A (zh) | 血管中心线提取方法、装置、设备及存储介质 | |
| CN112862835A (zh) | 冠脉血管分割方法、装置、设备及计算机可读存储介质 | |
| CN112102275A (zh) | 肺主动脉血管图像提取方法、装置、存储介质及电子设备 | |
| CN113313715B (zh) | 心脏动脉血管的分割方法、分割装置、设备和介质 | |
| CN113487616B (zh) | 一种使用连续多帧图像构建完整结构血管树结构的方法 | |
| CN113379741A (zh) | 基于血管特征的视网膜血管分割方法、设备和存储介质 | |
| CN113077418A (zh) | 基于卷积神经网络的ct影像骨骼分割方法及装置 | |
| CN117373070A (zh) | 血管分段标注的方法及装置、电子设备和存储介质 | |
| CN110428431B (zh) | 一种心脏医学图像的分割方法、装置、设备及存储介质 | |
| CN115908418A (zh) | 一种主动脉ct图像中心线确定方法、系统、设备及介质 | |
| US20230196568A1 (en) | Angiography image determination method and angiography image determination device | |
| CN116664592A (zh) | 基于图像的动静脉血管分离方法、装置、电子设备及介质 | |
| CN114782452B (zh) | 一种荧光素眼底血管造影图像的处理系统及装置 | |
| CN111209946A (zh) | 三维图像处理方法、图像处理模型训练方法及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |