CN112184690B - 冠脉血管走向的预测方法、预测模型的训练方法及装置 - Google Patents
冠脉血管走向的预测方法、预测模型的训练方法及装置 Download PDFInfo
- Publication number
- CN112184690B CN112184690B CN202011085430.XA CN202011085430A CN112184690B CN 112184690 B CN112184690 B CN 112184690B CN 202011085430 A CN202011085430 A CN 202011085430A CN 112184690 B CN112184690 B CN 112184690B
- Authority
- CN
- China
- Prior art keywords
- image
- prediction
- segmentation
- coronary
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000012549 training Methods 0.000 title claims abstract description 48
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 98
- 238000002586 coronary angiography Methods 0.000 claims abstract description 77
- 238000003709 image segmentation Methods 0.000 claims abstract description 48
- 230000002966 stenotic effect Effects 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims description 110
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 43
- 230000036262 stenosis Effects 0.000 claims description 43
- 208000037804 stenosis Diseases 0.000 claims description 43
- 238000002583 angiography Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000011282 treatment Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 19
- 238000002560 therapeutic procedure Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000013146 percutaneous coronary intervention Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 5
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 206010069729 Collateral circulation Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013152 interventional procedure Methods 0.000 description 2
- 230000000302 ischemic effect Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002107 myocardial effect Effects 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000010412 perfusion Effects 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003291 sinus of valsalva Anatomy 0.000 description 2
- 230000002861 ventricular Effects 0.000 description 2
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 208000005228 Pericardial Effusion Diseases 0.000 description 1
- 208000000418 Premature Cardiac Complexes Diseases 0.000 description 1
- GMBQZIIUCVWOCD-WWASVFFGSA-N Sarsapogenine Chemical compound O([C@@H]1[C@@H]([C@]2(CC[C@@H]3[C@@]4(C)CC[C@H](O)C[C@H]4CC[C@H]3[C@@H]2C1)C)[C@@H]1C)[C@]11CC[C@H](C)CO1 GMBQZIIUCVWOCD-WWASVFFGSA-N 0.000 description 1
- 206010047281 Ventricular arrhythmia Diseases 0.000 description 1
- 210000001992 atrioventricular node Anatomy 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015624 blood vessel development Effects 0.000 description 1
- 210000004413 cardiac myocyte Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 230000000050 nutritive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000250 revascularization Effects 0.000 description 1
- 210000003752 saphenous vein Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000001013 sinoatrial node Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- Business, Economics & Management (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Vascular Medicine (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
Abstract
本申请提供了一种冠脉血管走向的预测方法、预测模型的训练方法及装置，该冠脉血管走向的预测方法包括：采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像；采用至少一个预测模型对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像。本申请的技术方案能够对闭塞血管段和/或狭窄血管段进行较为准确、客观的预测，提高介入治疗的成功率。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种冠脉血管走向的预测方法、预测模型的训练方法及装置。
背景技术
冠状动脉造影技术是诊断冠状动脉病变的有效方法，该技术可以帮助医生发现狭窄的血管位置、发生堵塞的血管位置或有病变的血管位置。但是对于一些较为狭窄或堵塞严重的血管段，冠状动脉造影技术也难以将其清晰显示，一般是医生根据经验对较为狭窄或堵塞严重的血管段进行走向预测。这种根据经验预测得到的血管段走向，难免会出现与实际血管段走向偏差较大的情况，这对血管疏通的治疗过程是十分不利的。
发明内容
有鉴于此，本申请实施例提供了一种冠脉血管走向的预测方法、预测模型的训练方法及装置，能够对闭塞血管段和/或狭窄血管段进行较为准确、客观的预测，提高介入治疗的成功率。
第一方面，本申请的实施例提供了一种冠脉血管走向的预测方法，包括：采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像；采用至少一个预测模型对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像。
在本申请某些实施例中，至少一个预测模型包括多个模型参数不同的预测模型，其中，采用至少一个预测模型对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像，包括：利用多个模型参数不同的预测模型分别对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第一组预测图像。
在本申请某些实施例中，冠状动脉造影图像为冠状动脉造影视频中第t帧图像，分割图像与第一组预测图像对应第t帧图像，其中，该预测方法还包括：采用图像分割模型分割出冠状动脉造影视频中第t-k帧图像中的冠脉区域，以得到第t-k帧图像对应的分割图像，其中，k为小于或等于t的整数；利用多个模型参数不同的预测模型分别对第t-k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第二组预测图像。
在本申请某些实施例中，该预测方法还包括：采用图像分割模型分割出冠状动脉造影视频中第t+k帧图像中的冠脉区域，以得到第t+k帧图像对应的分割图像；利用多个模型参数不同的预测模型分别对第t+k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第三组预测图像；基于第一组预测图像、第二组预测图像和第三组预测图像进行相似度计算，以确定分别与第t-k帧图像、第t帧图像和第t+k帧图像对应的最终预测图像。
在本申请某些实施例中，基于第一组预测图像、第二组预测图像和第三组预测图像进行相似度计算，以确定分别与第t-k帧图像、第t帧图像和第t+k帧图像对应的最终预测图像，包括：采用基于孪生神经网络或快速图像检索的深度学习二进制哈希码算法或图嵌入的深度图匹配算法，对第一组预测图像、第二组预测图像和第三组预测图像进行相似度计算，以确定分别与第t-k帧图像、第t帧图像和第t+k帧图像对应的最终预测图像。
在本申请某些实施例中，该预测方法还包括：对原始图像进行预处理，以得到冠状动脉造影图像，其中，预处理包括以下一种或多种处理：滤波处理、对比度增强处理、灰度翻转处理。
在本申请某些实施例中，预测模型为生成对抗网络模型。
在本申请某些实施例中，图像分割模型为UNet++网络模型。
在本申请某些实施例中，至少一个预测模型中每个预测模型采用如下方法训练而成：采用图像分割模型分割出样本冠状动脉造影图像中的冠脉区域，以得到样本分割图像，其中，样本冠状动脉造影图像为闭塞血管段和/或狭窄血管段疏通后的冠状动脉造影图像；对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像；采用样本分割图像和遮挡后的样本分割图像训练生成对抗网络模型，以得到预测模型。
第二方面，本申请的实施例提供了一种预测模型的训练方法，包括：采用图像分割模型分割出样本冠状动脉造影图像中的冠脉区域，以得到样本分割图像，其中，样本冠状动脉造影图像为闭塞血管段和/或狭窄血管段疏通后的冠状动脉造影图像；对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像；采用样本分割图像和遮挡后的样本分割图像训练生成对抗网络模型，以得到预测模型。
在本申请某些实施例中，对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像，包括：将样本分割图像中冠脉区域的部分冠脉对应的像素值调整成样本分割图像中背景区域对应的像素值，以得到遮挡后的样本分割图像。
第三方面，本申请的实施例提供了一种冠脉血管走向的预测装置，包括：分割模块，用于采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像；预测模块，用于采用至少一个预测模型对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像。
第四方面，本申请的实施例提供了一种预测模型的训练装置，包括：分割模块，用于采用图像分割模型分割出样本冠状动脉造影图像中的冠脉区域，以得到样本分割图像，其中，样本冠状动脉造影图像为闭塞血管段和/或狭窄血管段疏通后的冠状动脉造影图像；遮挡模块，用于对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像；训练模块，用于采用样本分割图像和遮挡后的样本分割图像训练生成对抗网络模型，以得到预测模型。
第五方面，本申请的实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的冠脉血管走向的预测方法或第二方面所述的预测模型的训练方法。
第六方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的冠脉血管走向的预测方法或第二方面所述的预测模型的训练方法。
本申请实施例提供了一种冠脉血管走向的预测方法、预测模型的训练方法及装置，通过结合图像分割模型和预测模型对冠状动脉造影图像中闭塞血管段和/或狭窄血管段进行走向预测，可以摆脱完全依赖医生的经验对闭塞血管段和/或狭窄血管段进行走向预测的情况，提供智能化的血管段预测过程，从而能够对闭塞血管段和/或狭窄血管段进行较为准确、客观的预测，提高介入治疗的成功率。
附图说明
图1所示为本申请一示例性实施例提供的冠脉血管走向的预测系统或预测模型的训练系统的系统架构示意图。
图2所示为本申请一示例性实施例提供的冠脉血管走向的预测方法的流程示意图。
图3所示为本申请一示例性实施例提供的利用三个预测模型对三个分割图像进行处理过程的示意图。
图4所示为本申请另一示例性实施例提供的冠脉血管走向的预测方法的流程示意图。
图5所示为本申请一示例性实施例提供的预测模型的训练方法的流程示意图。
图6所示为本申请一示例性实施例提供的冠脉血管走向的预测装置的结构示意图。
图7所示为本申请一示例性实施例提供的预测模型的训练装置的结构示意图。
图8所示为本申请一示例性实施例提供的用于执行冠脉血管走向的预测方法或预测模型的训练方法的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
慢性完全闭塞性病变(Chronic Total Occlusion,CTO)是指心脏冠脉中大于12周没有前向血流的冠脉完全或几乎完全闭塞的病变。在血管造影后明确诊断的冠脉病例中约有20％属于CTO。CTO病变以远段心肌血流的灌注完全是侧支循环依赖性的，良好的侧支循环能满足闭塞段血管所营养心肌在静息状态下的灌注需求，但在负荷状态下常不能满足需要，表现为有稳定的、劳力型心绞痛发作或缺血性心电图改变。现有研究表明，开通CTO病变能为患者带来获益。
经皮冠脉介入治疗(Percutaneous Coronary Intervention,PCI)是冠脉疾病治疗的主流以及绝大部分冠脉血管重建的首选治疗方法，成功的CTO介入治疗能有效缓解心肌缺血，完全的再血管化治疗可以明显降低该类患者的死亡率，降低室性心律失常的发生率，改善患者左心室功能及生活质量。临床上，CTO-PCI已被证明可显著降低患者心肌缺血负荷。
CTO-PCI常用的策略可以大体分为前向技术和逆向技术。前向PCI技术包括平行导丝技术、双导丝轨道技术、多导丝斑块挤压技术、内膜下寻径及重人真腔技术、血管内超声指引下PCI导丝通过技术等等；逆向PCI-CTO技术始于20世纪90年代早期，是在高度选择的大隐静脉旁路血管或粗大心外膜侧支血管的患者中进行的，包括逆向球囊技术、“屈指”导丝技术等一系列控制性正向和逆向内膜下寻径技术。总的来说，不论是前向技术还是逆向技术，其基本原理都是利用导丝沿着冠脉走向对梗堵区域进行机械清除。
因为无法预测闭塞的冠状动脉走行以及各种复杂的技术难度导致CTO病变成为介入心脏病学的“最后的堡垒”。冠状动脉分为左、右冠状动脉，分别直接开口于主动脉根部的左、右主动脉窦内，由此开始向心脏表面延伸并不断分支进入心脏，由于血液与血液壁是同样不透光的，且与心脏重叠，所以冠脉发生狭窄或堵塞时在普通X光下无法看出，只有通过冠状动脉造影(Coronary Arteriography,CAG)才能发现病变部位。PCI-CTO介入治疗成功的关键是准确判断闭塞血管段的区位走向。然而，对于严重狭窄或者堵塞的血管区段，由于造影剂不能伴随血流通过，导致其无法被清晰显示在CAG造影图像中。目前尚没有任何技术对冠脉的走向进行预判，PCI介入治疗过程中对于冠脉堵塞区段走向的判断完全依赖于术者治疗CTO病变的经验，因此，血管疏通时导丝的走向非常依赖于临床操作医生的个人经验和技术，如果因为预判冠脉走向失误而导致导丝穿出血管，进入心肌并刺激心肌细胞，可能会导致频繁室性早搏甚至心包积液等不良事件的发生。如何根据冠脉走向的特点以及在冠脉造影图像中血管显影的实际情况，准确预测严重狭窄或者堵塞的血管区段所在位置和走向，对于CTO介入治疗有着重要意义。
示例性系统
图1所示为本申请一示例性实施例提供的冠脉血管走向的预测系统或预测模型的训练系统的系统架构示意图。图1的系统包括计算机设备110以及图像获取设备120。
图像获取设备120为用于获取冠状动脉造影图像的设备。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。本申请实施例对计算机设备110的数量和设备类型不加以限定。
当图1的系统用于执行本申请实施例提供的冠脉血管走向的预测方法时，计算机设备110可以从图像获取设备120处获取冠状动脉造影图像，并对该冠状动脉造影图像中的闭塞血管段和/或狭窄血管段进行走向预测，以获得预测图像。
当图1的系统用于执行本申请实施例提供的预测模型的训练方法时，计算机设备110可以从图像获取设备120处获取样本冠状动脉造影图像，并基于该样本冠状动脉造影图像对部署在该计算机设备110上的生成对抗网络模型进行训练，以获得预测模型。
在一些实施例中，计算机设备110可以是服务器，即图像获取设备120直接与服务器通信连接。
在另一些实施例中，计算机设备110可以分别与图像获取设备120以及服务器通信连接，并将从图像获取设备120获取的冠状动脉造影图像发送至服务器，以便服务器基于该冠状动脉造影图像执行冠脉血管走向的预测方法或者预测模型的训练方法。
示例性方法
图2所示为本申请一示例性实施例提供的冠脉血管走向的预测方法的流程示意图。图2的方法可由计算设备，例如，由图1的计算机设备或服务器来执行。如图2所示，该冠脉血管走向的预测方法包括如下内容。
210：采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像。
具体地，可以将冠状动脉造影图像输入图像分割模型，该图像分割模型对冠状动脉造影图像中的冠脉区域进行分割以输出分割图像。冠状动脉造影图像可以是经过预处理的图像，也可以是未经过预处理的图像。
在一实施例中，该分割图像的尺寸与冠状动脉造影图像的尺寸一致。在该分割图像中，冠脉区域作为目标区域显示，其他区域作为背景区域显示。
利用图像分割模型分割出冠状动脉造影图像中的冠脉区域，可以便于医生基于该冠脉区域的血管段走向情况开展后续的介入治疗过程，排除冠状动脉造影图像中其他区域的干扰。在本实施例中，将冠状动脉造影图像输入图像分割模型以得到分割图像，可以实现端到端的冠脉区域自动分割过程。
220：采用至少一个预测模型对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像。
分割图像中的冠脉区域可能存在狭窄的血管段或者闭塞的血管段，该狭窄的血管段或者闭塞的血管段(特别是狭窄严重或闭塞严重的血管段)，在该分割图像中难以清晰地显示。在这种情况下，医生会根据经验对没有清晰显示的血管段进行走向预测，然后根据预测的血管段走向进行介入治疗。这个过程完全依赖医生的主观判断，难以保证预测结果的准确性，从而难以保证介入治疗的安全。
为了便于进行安全有效的介入治疗，本申请实施例提出了对狭窄血管段或者闭塞血管段的走向进行智能化预测的方法。例如，可以利用预测模型对该分割图像中的狭窄的血管段或者闭塞的血管段进行走向预测。该预测模型可以是深度学习网络模型，将分割图像输入该预测模型，可以获得预测图像。在该预测图像中，一些在分割图像中没有显示或没有清晰显示的血管段可以被清晰地显示出来，从而便于医生基于预测模型预测出来的这些血管段对患者进行介入治疗。
即预测图像可以为CTO患者的PCI介入治疗提供指导，相较于传统依赖医生经验判断冠脉走向的方法而言，利用预测模型可以有效地利用冠脉形态特征的先验知识，更加准确、客观地预判冠脉走向，避免因医生主观误判而导致介入治疗时导丝穿出血管而引发不良事件，提高手术治疗成功率。
在一实施例中，可以利用一个预测模型对分割图像进行处理，以得到一个预测图像。
在另一实施例中，可以利用多个预测模型分别对分割图像进行处理，以得到多个预测图像。医生可以综合考虑该多个预测图像中的预测血管段，以便对患者进行更为精准安全的治疗。例如，医生可以比较该多个预测图像，从中选择血管段走向预测准确度最高的预测图像，基于该预测图像中的预测血管段对患者进行介入治疗。
本申请实施例提供了一种冠脉血管走向的预测方法，通过结合图像分割模型和预测模型对冠状动脉造影图像中闭塞血管段和/或狭窄血管段进行走向预测，可以摆脱完全依赖医生的经验对闭塞血管段和/或狭窄血管段进行走向预测的情况，提供智能化的血管段预测过程，从而能够对闭塞血管段和/或狭窄血管段进行较为准确、客观的预测，提高介入治疗的成功率。
根据本申请一实施例，至少一个预测模型包括多个模型参数不同的预测模型，其中，采用至少一个预测模型对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像，包括：利用多个模型参数不同的预测模型分别对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第一组预测图像。
在一实施例中，多个模型参数不同的预测模型，可以是利用不同的样本对同一深度学习网络模型进行训练得到的。
在另一实施例中，多个模型参数不同的预测模型，可以是利用不同(或相同)的样本对不同的深度学习网络模型进行训练得到的。
本申请实施例利用多个模型参数不同的预测模型分别对分割图像进行预测，可以得到多个(第一组)预测图像。该多个预测图像可以相互补充，医生可以结合该多个预测结果获悉更精确的血管段走向。或者，该多个预测图像可以作为多个选择便于医生从该多个预测图像中选取最为接近真实血管段走向的一个预测图像，避免单一预测模型出现预测结果准确度低的问题。例如，利用三个模型参数不同的预测模型分别对分割图像进行预测得到三个预测图像，通过比较该三个预测图像，可以排除预测结果较差的一个预测图像，然后可以基于另外两个预测图像选取准确度较高的预测图像。换句话说，当有两个预测图像相似度较高，而另外一个预测图像与该两个预测图像相差甚远时，则可以很快地排除该预测图像。这样，可以便于医生及时发现某一预测模型针对某一分割图像预测不准确的情况，可以弥补单一预测模型的不足。
本申请实施例中的预测模型的个数也可以是两个、四个或更多个，其可以根据实际需要进行设定，本申请实施例对此不做限制。
根据本申请一实施例，冠状动脉造影图像为冠状动脉造影视频中第t帧图像，分割图像与第一组预测图像对应第t帧图像，其中，该预测方法还包括：采用图像分割模型分割出冠状动脉造影视频中第t-k帧图像中的冠脉区域，以得到第t-k帧图像对应的分割图像，其中，k为小于或等于t的整数；利用多个模型参数不同的预测模型分别对第t-k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第二组预测图像。
具体地，在对患者进行冠状动脉造影检查或介入治疗时，可以获得冠状动脉造影视频，该视频包括不同时刻的冠状动脉造影图像。不同时刻的冠状动脉造影图像中冠脉区域的血管走向趋势大致上一致，可能会有细微的差别，这与患者的心脏跳动频率等因素有关。
利用图像分割模型对第t帧图像进行分割可以得到该第t帧图像对应的分割图像，将该第t帧图像对应的分割图像输入多个预测模型可以得到第一组预测图像。类似地，利用图像分割模型对第t-k帧图像进行分割可以得到该第t-k帧图像对应的分割图像，将该第t-k帧图像对应的分割图像输入多个预测模型可以得到第二组预测图像。
基于邻近帧冠脉走向基本一致的先验知识，对比第一组预测图像(对应第t帧图像)和第二组预测图像(对应第t-k帧图像)，可以从第一组预测图像和第二组预测图像中获取最终的两个预测图像，一个是对应第t-k帧图像的最终预测图像，另一个是对应第t帧图像的最终预测图像。
具体地，预测模型的个数可以为三个，第一组预测图像包括三个预测图像，第二组预测图像包括三个预测图像。在第一组预测图像中任取一个，在第二组预测图像中任取一个，对这两者计算相似度，可获得9个相似度值。在这9个相似度值中选取最大相似度值对应的两个预测图像，该两个预测图像分别作为第t、t-k帧图像对应的最终预测图像。
当然，在其他实施例中，预测模型的个数也可以是两个、四个或更多个，其可以根据实际需要进行设定，本申请实施例对此不做限制。
在一实施例中，第一组预测图像和第二组预测图像可以对应相邻的冠状动脉造影图像，即k＝1。
在其他实施例中，第一组预测图像和第二组预测图像可以对应相近的冠状动脉造影图像(如k＝2)，而不是相邻的冠状动脉造影图像。
本申请实施例通过基于邻近帧冠脉走向基本一致的先验知识，对不同时刻的冠状动脉造影图像对应的多组预测图像进行比较，从该多组预测图像中获取该不同时刻对应的最终预测图像，从而可以提高预测结果的准确度，确保最终得到的血管段走向更加准确、可靠。
根据本申请一实施例，该预测方法还包括：采用图像分割模型分割出冠状动脉造影视频中第t+k帧图像中的冠脉区域，以得到第t+k帧图像对应的分割图像；利用多个模型参数不同的预测模型分别对第t+k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第三组预测图像；基于第一组预测图像、第二组预测图像和第三组预测图像进行相似度计算，以确定分别与第t-k帧图像、第t帧图像和第t+k帧图像对应的最终预测图像。
在本实施例中，可以利用图像分割模型对三个不同时刻的冠状动脉造影图像进行分割以获得三个分割图像。将该三个分割图像均输入多个预测模型可以得到三组预测图像。从每组预测图像中任取一个预测图像得到三个预测图像，计算该三个预测图像之间的相似度(或者匹配度)。选取相似度最大的三个预测图像作为第t-k、t、t+k帧图像对应的最终预测图像。
具体地，预测模型的个数为三个，利用三个预测模型对第t-k、t、t+k帧图像对应的分割图像进行处理以得到预测结果的示意图如图3所示，预测模型1、预测模型2以及预测模型3分别对第t帧图像对应的分割图像进行处理输出三个预测图像(第一组预测图像)。类似地，预测模型1、预测模型2以及预测模型3分别对第t-k帧图像对应的分割图像进行处理输出三个预测图像(第二组预测图像)。预测模型1、预测模型2以及预测模型3分别对第t+k帧图像对应的分割图像进行处理输出三个预测图像(第三组预测图像)。从三组预测图像中分别任选一个预测图像可以得到三个预测图像，计算该三个预测图像的相似度，这样可以获得27个相似度值。在这27个相似度值中选取最大相似度值对应的三个预测图像，该三个预测图像分别作为第t-k、t、t+k帧图像对应的最终预测图像。
这里，每个相似度值可以这样获得：从三组预测图像中分别任选一个预测图像得到三个预测图像，计算该三个预测图像中任意两个之间的子相似度得到三个子相似度值，然后取该三个子相似度值的均值作为该三个预测图像对应的相似度值。当然，也可以通过其他方法获取该三个预测图像对应的相似度值，只要该相似度值可以衡量该三个预测图像之间的相似度即可，本申请实施例对获取相似度值的具体方法不做限制。
在本实施例中，第二组预测图像和第三组预测图像可以看成是第一组预测图像的参照组。在该三组预测图像中，当有两组预测图像相似度较高，而另外一组预测图像与该两组预测图像相差甚远时，则可以很快地排除该组预测图像。这样，可以便于医生及时发现某一时刻对应的冠状动脉造影图像有问题的情况，进一步提高预测结果的准确度，确保最终得到的血管段走向更加准确、可靠。
根据本申请一实施例，基于第一组预测图像、第二组预测图像和第三组预测图像进行相似度计算，以确定分别与第t-k帧图像、第t帧图像和第t+k帧图像对应的最终预测图像，包括：采用基于孪生神经网络或快速图像检索的深度学习二进制哈希码算法或图嵌入的深度图匹配算法，对第一组预测图像、第二组预测图像和第三组预测图像进行相似度计算，以确定分别与第t-k帧图像、第t帧图像和第t+k帧图像对应的最终预测图像。
具体地，可以采用孪生神经网络计算任意两个预测图像之间的相似度，例如将两个预测图像输入孪生神经网络，该孪生神经网络通过计算得到的损失函数值可以作为评估该两个预测图像之间相似度的指标。
可选地，采用孪生神经网络可以同时计算任意三个预测图像之间的相似度，例如将三个预测图像输入孪生神经网络，该孪生神经网络通过计算得到的损失函数值可以作为评估该三个预测图像之间相似度的指标。
此外，本申请实施例还可以采用基于快速图像检索的深度学习二进制哈希码(Deep Learning of Binary Hash Codes for Fast Image Retrieval)、基于图嵌入的深度图匹配(Learning Combinatorial Embedding Networks for Deep Graph Matching)等等算法，计算预测图像之间相似度。
根据本申请一实施例，该预测方法还包括：对原始图像进行预处理，以得到冠状动脉造影图像，其中，预处理包括以下一种或多种处理：滤波处理、对比度增强处理、灰度翻转处理。
具体地，原始图像可以是未经处理的、通过冠状动脉造影技术直接获得的图像，该原始图像中可能存在噪声，而且对于不同的成像设备，其获得原始图像的明暗对比度也会存在差别，因此需要对原始图像进行预处理。
在一实施例中，可以采用中值滤波算法降低原始图像的噪声，由于原始图像中的噪声主要为脉冲噪声，因此采用中值滤波算法可以对原始图像进行很好地降噪，且中值滤波算法比较简单、计算速度快，可以缩短冠脉血管走向的预测过程的时间。当然，也可以采用其他的滤波方法对原始图像进行滤波处理。
在一实施例中，由于冠脉造影过程中客观条件的限制，实际获得的原始图像的灰度值范围往往小于0～255，从而导致原始图像相对模糊。为突出图像细节，可以对原始图像(或滤波后的图像)进行对比度增强处理，以突出图像细节、提升图像质量。例如，原始图像的灰度值范围是[m,M]，可以通过以下公式将其灰度值范围变换为[n,N]。
这里，f(x,y)是原始图像中像素灰度值，g(x,y)是变换后的像素灰度值。通常将变化后的灰度值范围设定为[0,255]以最大化突出冠脉形态。
在一实施例中，可以对原始图像(或滤波后的图像或对比度增强处理后的图像)进行灰度翻转处理。例如，原始图像中冠脉区域是暗的，背景区域是亮的，经过灰度翻转处理，可以使得冠脉区域变成亮的，背景区域变成暗的。由于人眼对亮的事物更为敏感，因此通过灰度翻转处理，可以提高图像的显示效果，有利于医生对冠脉走向的快速获取。具体地，灰度翻转处理可以采用以下公式实现。
g′(x,y)＝255-f′(x,y)
这里，f′(x,y)表示原始图像中像素灰度值，g′(x，y)表示灰度翻转处理后的图像中像素灰度值。
本申请实施例通过对原始图像进行预处理，可以获得冠脉走向较为清晰的冠状动脉造影图像，从而有利于后续的分割和预测过程，便于对闭塞血管段和/或狭窄血管段进行准确的走向预测。
根据本申请一实施例，预测模型为生成对抗网络模型。
生成对抗网络(Generative Adversarial Network,GAN)是图像处理领域里一种无监督学习的技术，常用于图像生成。
采用多组样本图像对生成对抗网络模型进行训练，训练后的生成对抗网络模型可以对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到预测图像。
具体地，可以采用图像分割模型分割出闭塞和/或狭窄血管段疏通后的冠状动脉造影图像中的冠脉区域，以得到样本分割图像。对该样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像。该样本分割图像和遮挡后的样本分割图像可以作为一组样本图像，用于对生成对抗网络模型进行训练。
这里，闭塞和/或狭窄血管段疏通后的冠状动脉造影图像中的冠脉走向，可以视为冠脉走向规律的先验知识。例如，冠脉起于主动脉根部主动脉窦内，分左右两支，左冠状动脉包括动脉圆锥支、外侧支和室间隔支，右冠状动脉沿途发出动脉圆锥支、右缘支、窦房结支、房室结支和后室间支，具有独特的形态特点。虽然待预测的冠状动脉造影图像中部分血管段可能由于重度狭窄或者堵塞导致在CAG图像上难以显现，但是整体冠脉的形态仍保持独特的规律。
本申请实施例采用该生成对抗网络模型对分割图像进行预测，使得该生成对抗网络模型可以基于冠脉形态和冠脉在心脏内走向的先验知识，获得准确、客观的预测血管段。
具体地，生成对抗网络模型可以是一般的GAN模型，或者是CoGAN(Coupled GAN)、InfoGAN(Information Maximizing GAN)、CycleGAN、DCGAN(Deep Convolutional GAN)、WGAN(Wasserstein GAN)或ConditionalGAN等模型。
根据本申请一实施例，图像分割模型为UNet++网络模型。
具体地，为了能够准确预测冠状动脉造影图像中无法清晰显示的闭塞血管段和/或狭窄血管段的走向(或位置)，首先需要识别冠状动脉造影图像中的血管，即将冠状动脉造影图像中的冠脉区域分割出来。
UNet++网络模型是基于UNet网络模型改良而来的。该UNet++网络模型通过抓取不同层次的特征并将它们通过特征叠加的方式整合，实现了特征的再利用，从而提高了网络感受野的敏感范围，可以更好的完成医学图像分割任务。相比于计算机断层扫描(ComputedTomography,CT)/磁共振(Magnetic Resonance,MR)影像、病理图片等医学图像，CAG图像存在背景干扰和伪影较多的情况，因此用UNet++可以更好的实现冠脉区域精准分割。
将冠状动脉造影图像输入UNet++网络模型，经过一系列下采样、上采样等卷积操作和跳跃式传递步骤，最终可实现冠脉区域的识别和智能分割，即得到分割图像。
可选地，本申请实施例的图像分割模型也可以为UNet、FCN(Full ConvolutionalNetworks)、SegNet等网络模型。
图4所示为本申请另一示例性实施例提供的冠脉血管走向的预测方法的流程示意图。图4是图2实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图4所示，该方法包括如下内容。
410：对冠状动脉造影视频中第t帧原始图像进行预处理，以得到第t帧冠状动脉造影图像。
原始图像可以是未经处理的、通过冠状动脉造影技术直接获得的图像。该原始图像可能存在噪声大、对比度低、显示效果差等问题。通过对原始图像进行预处理可以提高图像质量。预处理可包括以下一种或多种处理：滤波处理、对比度增强处理、灰度翻转处理。预处理的具体过程可以参见上述图2实施例中的描述，为避免重复，此处不再赘述。
420：采用图像分割模型分割出第t帧冠状动脉造影图像中的冠脉区域，以得到第t帧分割图像。
该图像分割模型可以是UNet++网络模型。
430：采用多个预测模型对第t帧分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第一组预测图像。
多个预测模型具体可以为三个模型参数不同GAN模型。
440：采用孪生神经网络对第t帧分割图像对应的第一组预测图像、第t-k帧分割图像对应的第二组预测图像和第t+k帧分割图像对应的第三组预测图像进行相似度计算，以确定分别与第t-k、t、t+k帧冠状动脉造影图像对应的最终预测图像。
k为小于或等于t的整数。通过相似度计算可以获取相互之间相似度最高的三个预测图像(分别来自三组预测图像)作为最终预测图像。第t-k帧分割图像以及第t+k帧分割图像的获取过程与第t帧分割图像的获取过程类似，第二组预测图像以及第三组预测图像的获取过程与第一组预测图像的获取过程类似，此处不再赘述。
采用孪生神经网络对预测图像进行相似度计算的过程可以参见上述图2实施例中的描述，为避免重复，此处不再赘述。
本申请实施例通过采用多个预测模型分别对邻近的多帧(多个时刻的)冠状动脉造影图像进行冠脉走向预测，从而可以结合冠脉走向规律的先验知识以及邻近帧之间冠脉走向基本一致的先验知识，对该多帧冠状动脉造影图像中的闭塞和/或狭窄血管段进行准确的预测。
图5所示为本申请一示例性实施例提供的预测模型的训练方法的流程示意图。图5的方法可由计算设备，例如，由图1的计算机设备或服务器来执行。如图5所示，该预测模型的训练方法包括如下内容。
510：采用图像分割模型分割出样本冠状动脉造影图像中的冠脉区域，以得到样本分割图像。
本实施例中的图像分割模型可以是上述图2和图4实施例中的图像分割模型。例如可以为UNetUNet++网络模型。样本冠状动脉造影图像为闭塞血管段和/或狭窄血管段疏通后的冠状动脉造影图像。
520：对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像。
530：采用样本分割图像和遮挡后的样本分割图像训练生成对抗网络模型，以得到预测模型。
该样本分割图像和遮挡后的样本分割图像可以作为一组样本图像，用于对生成对抗网络模型进行训练。生成对抗网络模型的具体类型可以参见上述冠脉血管走向的预测方法实施例中的描述。
这里的遮挡可以是随机遮挡，通过随机遮挡可以快速扩增样本分割图像的数量，以满足模型训练过程对样本量的需求，从而确保模型性能。
采用不同的样本图像对生成对抗网络模型进行训练，可以获得模型参数不同的多个预测模型。例如，采用该预测模型的训练方法可以获得上述冠脉血管走向的预测方法实施例中的预测模型1、预测模型2以及预测模型3。
在一实施例中，生成对抗网络模型可以包括两部分网络，一部分网络(生成网络)用于生成图像，一部分网络(判断网络)用于鉴别生成图像是否与原图片一致。通过构建成对的生成网络和判断网络之间的竞争对抗，不断交替迭代优化，从而实现CAG图像中因重度狭窄或者堵塞产生的缺失段冠脉位置信息的准确预测。相交于传统的GAN模型，本实施例的GAN模型中判断网络使用了两个鉴别器：一个全局鉴别器(Global Discriminator)以及一个局部鉴别器(Local Discriminator)，两个鉴别器同时进行训练，以区分真实图像和通过预测补全的图像。在训练过程中，全局鉴别器将完整图像作为输入，识别场景的全局一致性，而局部鉴别器仅在以填充区域为中心的区域上进行观测，以确保生成图像的局部一致性。通过采用两个不同的鉴别器，使得最终网络不但可以使全局观测一致，并且能够优化其细节，最终产生更好的图片填充效果(预测效果)。
本申请实施例提供了一种预测模型的训练方法，通过结合图像分割模型和预测模型对冠状动脉造影图像中闭塞血管段和/或狭窄血管段进行走向预测，可以摆脱完全依赖医生的经验对闭塞血管段和/或狭窄血管段进行走向预测的情况，提供智能化的血管段预测过程，从而能够对闭塞血管段和/或狭窄血管段进行较为准确、客观的预测，提高介入治疗的成功率。
根据本申请一实施例，对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像，包括：将样本分割图像中冠脉区域的部分冠脉对应的像素值调整成样本分割图像中背景区域对应的像素值，以得到遮挡后的样本分割图像。
具体地，可以从样本分割图像中选取长度为该样本分割图像边长的三分之一的血管段(部分冠脉)，并将该血管段对应的像素值调整成背景区域的像素值，以实现对部分冠脉的随机遮挡。
该部分冠脉的长度可以是预设的值，其可以是样本分割图像边长的三分之一或四分之一等，即该部分冠脉的长度可以根据实际需要进行设定，本申请实施例对此不作具体限制。
示例性装置
图6所示为本申请一示例性实施例提供的冠脉血管走向的预测装置600的结构示意图。如图6所示，装置600包括：分割模块610以及预测模块620。
分割模块610用于采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像；预测模块620用于采用至少一个预测模型对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像。
本申请实施例提供了一种冠脉血管走向的预测装置，通过结合图像分割模型和预测模型对冠状动脉造影图像中闭塞血管段和/或狭窄血管段进行走向预测，可以摆脱完全依赖医生的经验对闭塞血管段和/或狭窄血管段进行走向预测的情况，提供智能化的血管段预测过程，从而能够对闭塞血管段和/或狭窄血管段进行较为准确、客观的预测，提高介入治疗的成功率。
根据本申请一实施例，至少一个预测模型包括多个模型参数不同的预测模型，其中，预测模块620用于利用多个模型参数不同的预测模型分别对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第一组预测图像。
根据本申请一实施例，冠状动脉造影图像为冠状动脉造影视频中第t帧图像，分割图像与第一组预测图像对应第t帧图像，其中，分割模块610还用于采用图像分割模型分割出冠状动脉造影视频中第t-k帧图像中的冠脉区域，以得到第t-k帧图像对应的分割图像，其中，k为小于或等于t的整数；预测模块620还用于利用多个模型参数不同的预测模型分别对第t-k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第二组预测图像。
根据本申请一实施例，分割模块610还用于采用图像分割模型分割出冠状动脉造影视频中第t+k帧图像中的冠脉区域，以得到第t+k帧图像对应的分割图像；预测模块620还用于利用多个模型参数不同的预测模型分别对第t+k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第三组预测图像；装置600还包括相似度计算模块630，用于基于第一组预测图像、第二组预测图像和第三组预测图像进行相似度计算，以确定分别与第t-k帧图像、第t帧图像和第t+k帧图像对应的最终预测图像。
根据本申请一实施例，相似度计算模块630用于采用基于孪生神经网络或快速图像检索的深度学习二进制哈希码算法或图嵌入的深度图匹配算法，对第一组预测图像、第二组预测图像和第三组预测图像进行相似度计算，以确定分别与第t-k帧图像、第t帧图像和第t+k帧图像对应的最终预测图像。
根据本申请一实施例，装置600还包括预处理模块640，用于对原始图像进行预处理，以得到冠状动脉造影图像，其中，预处理包括以下一种或多种处理：滤波处理、对比度增强处理、灰度翻转处理。
根据本申请一实施例，预测模型为生成对抗网络模型。
根据本申请一实施例，图像分割模型为UNet++网络模型。
根据本申请一实施例，至少一个预测模型中每个预测模型采用如下方法训练而成：采用图像分割模型分割出样本冠状动脉造影图像中的冠脉区域，以得到样本分割图像，其中，样本冠状动脉造影图像为闭塞血管段和/或狭窄血管段疏通后的冠状动脉造影图像；对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像；采用样本分割图像和遮挡后的样本分割图像训练生成对抗网络模型，以得到预测模型。
应当理解，上述实施例中的分割模块610、预测模块620、相似度计算模块630以及预处理模块640的操作和功能可以参考上述图2和图4实施例中提供的冠脉血管走向的预测方法中的描述，为了避免重复，在此不再赘述。
图7所示为本申请一示例性实施例提供的预测模型的训练装置700的结构示意图。如图7所示，装置700包括：分割模块710、遮挡模块720以及训练模块730。
分割模块710用于采用图像分割模型分割出样本冠状动脉造影图像中的冠脉区域，以得到样本分割图像，其中，样本冠状动脉造影图像为闭塞血管段和/或狭窄血管段疏通后的冠状动脉造影图像；遮挡模块720用于对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像；训练模块730用于采用样本分割图像和遮挡后的样本分割图像训练生成对抗网络模型，以得到预测模型。
本申请实施例提供了一种预测模型的训练装置，通过结合图像分割模型和预测模型对冠状动脉造影图像中闭塞血管段和/或狭窄血管段进行走向预测，可以摆脱完全依赖医生的经验对闭塞血管段和/或狭窄血管段进行走向预测的情况，提供智能化的血管段预测过程，从而能够对闭塞血管段和/或狭窄血管段进行较为准确、客观的预测，提高介入治疗的成功率。
根据本申请一实施例，遮挡模块720用于将样本分割图像中冠脉区域的部分冠脉对应的像素值调整成样本分割图像中背景区域对应的像素值，以得到遮挡后的样本分割图像。
应当理解，上述实施例中的分割模块710、遮挡模块720以及训练模块730的操作和功能可以参考上述图5实施例中提供的预测模型的训练方法中的描述，为了避免重复，在此不再赘述。
图8所示为本申请一示例性实施例提供的用于执行冠脉血管走向的预测方法或预测模型的训练方法的电子设备800的框图。
参照图8，电子设备800包括处理组件810，其进一步包括一个或多个处理器，以及由存储器820所代表的存储器资源，用于存储可由处理组件810的执行的指令，例如应用程序。存储器820中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件810被配置为执行指令，以执行上述冠脉血管走向的预测方法或预测模型的训练方法。
电子设备800还可以包括一个电源组件被配置为执行电子设备800的电源管理，一个有线或无线网络接口被配置为将电子设备800连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器820的操作系统操作电子设备800，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备800的处理器执行时，使得上述电子设备800能够执行一种冠脉血管走向的预测方法或预测模型的训练方法。该冠脉血管走向的预测方法包括：采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像；采用至少一个预测模型对分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像。该预测模型的训练方法包括：采用图像分割模型分割出样本冠状动脉造影图像中的冠脉区域，以得到样本分割图像，其中，样本冠状动脉造影图像为闭塞血管疏通后的冠状动脉对应的冠状动脉造影图像；对样本分割图像中冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像；采用样本分割图像和遮挡后的样本分割图像训练生成对抗网络模型，以得到预测模型。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种冠脉血管走向的预测装置，其特征在于，包括：
分割模块，用于采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像；
预测模块，用于采用至少一个预测模型对所述分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像，其中，
所述至少一个预测模型包括多个模型参数不同的预测模型，其中，
所述预测模块用于利用所述多个模型参数不同的预测模型分别对所述分割图像中的所述闭塞血管段和/或所述狭窄血管段进行走向预测，以得到第一组预测图像，其中，
所述冠状动脉造影图像为冠状动脉造影视频中第t帧图像，所述分割图像与所述第一组预测图像对应所述第t帧图像，其中，
所述分割模块还用于采用所述图像分割模型分割出所述冠状动脉造影视频中第t-k帧图像中的冠脉区域，以得到所述第t-k帧图像对应的分割图像，其中，k为小于或等于t的整数；
所述预测模块还用于利用所述多个模型参数不同的预测模型分别对所述第t-k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第二组预测图像；
所述预测装置还包括相似度计算模块，用于基于所述第一组预测图像和所述第二组预测图像进行相似度计算，以确定最终预测图像，所述最终预测图像包括分别与所述第t-k帧图像和所述第t帧图像对应的预测图像。
2.根据权利要求1所述的预测装置，其特征在于，所述分割模块还用于采用所述图像分割模型分割出所述冠状动脉造影视频中第t+k帧图像中的冠脉区域，以得到所述第t+k帧图像对应的分割图像；
所述预测模块还用于利用所述多个模型参数不同的预测模型分别对所述第t+k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第三组预测图像，其中，
所述相似度计算模块，用于基于所述第一组预测图像、所述第二组预测图像和所述第三组预测图像进行所述相似度计算，以确定所述最终预测图像，所述最终预测图像包括分别与所述第t-k帧图像、所述第t帧图像和所述第t+k帧图像对应的预测图像。
3.根据权利要求2所述的预测装置，其特征在于，所述相似度计算模块用于采用基于孪生神经网络或快速图像检索的深度学习二进制哈希码算法或图嵌入的深度图匹配算法，对所述第一组预测图像、所述第二组预测图像和所述第三组预测图像进行所述相似度计算，以确定所述最终预测图像。
4.根据权利要求1至3中任一项所述的预测装置，其特征在于，还包括预处理模块，用于对原始图像进行预处理，以得到所述冠状动脉造影图像，其中，所述预处理包括以下一种或多种处理：滤波处理、对比度增强处理、灰度翻转处理。
5.根据权利要求1至3中任一项所述的预测装置，其特征在于，所述预测模型为生成对抗网络模型。
6.根据权利要求1至3中任一项所述的预测装置，其特征在于，所述图像分割模型为UNet++网络模型。
7.根据权利要求1至3中的任一项所述的预测装置，其特征在于，所述至少一个预测模型中每个预测模型采用如下方法训练而成：
采用所述图像分割模型分割出样本冠状动脉造影图像中的冠脉区域，以得到样本分割图像，其中，所述样本冠状动脉造影图像为闭塞血管段和/或狭窄血管段疏通后的冠状动脉造影图像；
对所述样本分割图像中所述冠脉区域的部分冠脉进行遮挡处理，以得到遮挡后的样本分割图像；
采用所述样本分割图像和所述遮挡后的样本分割图像训练生成对抗网络模型，以得到所述预测模型。
8.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行一种冠脉血管走向的预测方法，包括：
采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像；
采用至少一个预测模型对所述分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像，其中，
所述至少一个预测模型包括多个模型参数不同的预测模型，其中，
所述采用至少一个预测模型对所述分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像，包括：
利用所述多个模型参数不同的预测模型分别对所述分割图像中的所述闭塞血管段和/或所述狭窄血管段进行走向预测，以得到第一组预测图像，其中，
所述冠状动脉造影图像为冠状动脉造影视频中第t帧图像，所述分割图像与所述第一组预测图像对应所述第t帧图像，其中，
所述冠脉血管走向的预测方法还包括：
采用所述图像分割模型分割出所述冠状动脉造影视频中第t-k帧图像中的冠脉区域，以得到所述第t-k帧图像对应的分割图像，其中，k为小于或等于t的整数；
利用所述多个模型参数不同的预测模型分别对所述第t-k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第二组预测图像；
基于所述第一组预测图像和所述第二组预测图像进行相似度计算，以确定最终预测图像，所述最终预测图像包括分别与所述第t-k帧图像和所述第t帧图像对应的预测图像。
9.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行一种冠脉血管走向的预测方法，包括：
采用图像分割模型分割出冠状动脉造影图像中的冠脉区域，以得到分割图像；
采用至少一个预测模型对所述分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像，其中，
所述至少一个预测模型包括多个模型参数不同的预测模型，其中，
所述采用至少一个预测模型对所述分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到至少一个预测图像，包括：
利用所述多个模型参数不同的预测模型分别对所述分割图像中的所述闭塞血管段和/或所述狭窄血管段进行走向预测，以得到第一组预测图像，其中，
所述冠状动脉造影图像为冠状动脉造影视频中第t帧图像，所述分割图像与所述第一组预测图像对应所述第t帧图像，其中，
所述冠脉血管走向的预测方法还包括：
采用所述图像分割模型分割出所述冠状动脉造影视频中第t-k帧图像中的冠脉区域，以得到所述第t-k帧图像对应的分割图像，其中，k为小于或等于t的整数；
利用所述多个模型参数不同的预测模型分别对所述第t-k帧图像对应的分割图像中的闭塞血管段和/或狭窄血管段进行走向预测，以得到第二组预测图像；
基于所述第一组预测图像和所述第二组预测图像进行相似度计算，以确定最终预测图像，所述最终预测图像包括分别与所述第t-k帧图像和所述第t帧图像对应的预测图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011085430.XA CN112184690B (zh) | 2020-10-12 | 2020-10-12 | 冠脉血管走向的预测方法、预测模型的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011085430.XA CN112184690B (zh) | 2020-10-12 | 2020-10-12 | 冠脉血管走向的预测方法、预测模型的训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184690A CN112184690A (zh) | 2021-01-05 |
| CN112184690B true CN112184690B (zh) | 2021-11-02 |
Family
ID=73949265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011085430.XA Active CN112184690B (zh) | 2020-10-12 | 2020-10-12 | 冠脉血管走向的预测方法、预测模型的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184690B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487628B (zh) * | 2021-07-07 | 2024-02-23 | 广州市大道医疗科技有限公司 | 模型训练的方法及冠状血管识别方法、装置、设备和介质 |
| CN113469258B (zh) * | 2021-07-08 | 2022-03-11 | 中国科学院自动化研究所 | 基于两阶段cnn的x射线血管造影图像匹配方法和系统 |
| CN113763331A (zh) * | 2021-08-17 | 2021-12-07 | 北京医准智能科技有限公司 | 冠状动脉优势型判定方法、装置、存储介质及电子设备 |
| CN113768547B (zh) * | 2021-09-14 | 2024-03-22 | 南京超维景生物科技有限公司 | 冠状动脉成像方法及装置、存储介质及电子设备 |
| CN116681716B (zh) * | 2023-08-04 | 2023-10-10 | 杭州脉流科技有限公司 | 颅内血管感兴趣区域分割方法、装置、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110176013A (zh) * | 2019-05-29 | 2019-08-27 | 数坤（北京）网络科技有限公司 | 血管分割方法、装置、电子设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108022237B (zh) * | 2017-11-30 | 2021-07-13 | 上海联影医疗科技股份有限公司 | 血管提取方法、系统及存储介质 |
| CN108537801A (zh) * | 2018-03-29 | 2018-09-14 | 山东大学 | 基于生成对抗网络的视网膜血管瘤图像分割方法 |
| CN109272514B (zh) * | 2018-10-05 | 2021-07-13 | 数坤(北京)网络科技股份有限公司 | 冠脉分割模型的样本评价方法及模型训练方法 |
| CN109448005B (zh) * | 2018-10-31 | 2019-12-27 | 数坤（北京）网络科技有限公司 | 一种用于冠状动脉的网络模型分割方法及设备 |
| US10635941B1 (en) * | 2019-01-29 | 2020-04-28 | StradVision, Inc. | Method and device for on-device continual learning of neural network which analyzes input data by optimized sampling of training images, and method and device for testing the neural network for smartphones, drones, vessels, or military purpose |
| CN110163809A (zh) * | 2019-03-31 | 2019-08-23 | 东南大学 | 基于U-net生成对抗网络DSA成像方法及装置 |
| CN109978796B (zh) * | 2019-04-04 | 2021-06-01 | 北京百度网讯科技有限公司 | 眼底血管图片生成方法、装置及存储介质 |
-
2020
- 2020-10-12 CN CN202011085430.XA patent/CN112184690B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110176013A (zh) * | 2019-05-29 | 2019-08-27 | 数坤（北京）网络科技有限公司 | 血管分割方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184690A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184690B (zh) | 冠脉血管走向的预测方法、预测模型的训练方法及装置 | |
| Saikumar et al. | A novel implementation heart diagnosis system based on random forest machine learning technique. | |
| CN112368781A (zh) | 基于机器学习来评估血管阻塞的方法和系统 | |
| Xian et al. | Main coronary vessel segmentation using deep learning in smart medical | |
| US9962124B2 (en) | Automated analysis of vasculature in coronary angiograms | |
| Badsha et al. | A new blood vessel extraction technique using edge enhancement and object classification | |
| WO2022105623A1 (zh) | 一种基于迁移学习的颅内血管病灶识别方法 | |
| Revathi et al. | An intelligent model for coronary heart disease diagnosis | |
| Blaiech et al. | Impact of enhancement for coronary artery segmentation based on deep learning neural network | |
| Dikkala et al. | A comprehensive analysis of morphological process dependent retinal blood vessel segmentation | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| Dabass et al. | Effectiveness of region growing based segmentation technique for various medical images-a study | |
| Sigit et al. | Development of Healthcare Kiosk for Checking Heart Health | |
| Xiao et al. | PET and CT image fusion of lung cancer with siamese pyramid fusion network | |
| Lavi et al. | Single-seeded coronary artery tracking in CT angiography | |
| CN113706541B (zh) | 一种图像处理方法及装置 | |
| Khan et al. | RVD: a handheld device-based fundus video dataset for retinal vessel segmentation | |
| CN115775219A (zh) | 医学图像分割方法、系统、电子设备及介质 | |
| Chakshu et al. | Automating fractional flow reserve (FFR) calculation from CT scans: A rapid workflow using unsupervised learning and computational fluid dynamics | |
| Dey et al. | Computed tomography and artificial intelligence | |
| EP3667618A1 (en) | Deep partial-angle coronary restoration | |
| CN114155208B (zh) | 一种基于深度学习的心房颤动评估方法和装置 | |
| LU503428B1 (en) | Method, Device and System for Diagnosing Pulmonary Embolism Based on non-contrast chest CT Images | |
| Helmberger et al. | Pulmonary vascular tree segmentation from contrast-enhanced CT images | |
| Martin et al. | Epistemic uncertainty modeling for vessel segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |