CN114140453B - 一种基于神经网络的剪影血管造影术的分割方法 - Google Patents
一种基于神经网络的剪影血管造影术的分割方法 Download PDFInfo
- Publication number
- CN114140453B CN114140453B CN202111489198.0A CN202111489198A CN114140453B CN 114140453 B CN114140453 B CN 114140453B CN 202111489198 A CN202111489198 A CN 202111489198A CN 114140453 B CN114140453 B CN 114140453B
- Authority
- CN
- China
- Prior art keywords
- path
- neural network
- deep learning
- layer
- angiography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000011218 segmentation Effects 0.000 title claims abstract description 16
- 238000002583 angiography Methods 0.000 title claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 8
- 230000002490 cerebral effect Effects 0.000 abstract description 6
- 230000008602 contraction Effects 0.000 abstract description 3
- 208000026106 cerebrovascular disease Diseases 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000022211 Arteriovenous Malformations Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000005744 arteriovenous malformation Effects 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000036262 stenosis Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000031104 Arterial Occlusive disease Diseases 0.000 description 1
- 206010060965 Arterial stenosis Diseases 0.000 description 1
- 208000032929 Cerebral haemangioma Diseases 0.000 description 1
- 201000008450 Intracranial aneurysm Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 206010047115 Vasculitis Diseases 0.000 description 1
- 206010047163 Vasospasm Diseases 0.000 description 1
- 208000021328 arterial occlusion Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002408 directed self-assembly Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- NTHXOOBQLCIOLC-UHFFFAOYSA-N iohexol Chemical group OCC(O)CN(C(=O)C)C1=C(I)C(C(=O)NCC(O)CO)=C(I)C(C(=O)NCC(O)CO)=C1I NTHXOOBQLCIOLC-UHFFFAOYSA-N 0.000 description 1
- 229960001025 iohexol Drugs 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于神经网络的剪影血管造影术的分割方法，包括使用12层U‑net结构分割DSA图像以及通过计算原始图像中的像素是血管的一部分，深度学习网络的结构由两条路径组成，即收缩路径和扩展路径，本发明在有限数量的图像的基础上取得了很好的性能，该方法可以识别非常不同的血管轮廓，如长和直与短和曲折和分叉。在我们的测试中，我们发现深度学习网络可以分割和跟踪血管，证明了在二维图像中使用深度学习分割脑血管的可行性。
Description
技术领域
本发明涉及血管造影术领域，尤其是涉及一种基于神经网络的剪影血管造影术的分割方法。
背景技术
脑血管疾病(CVDs)影响大量患者，并往往具有破坏性的结果。心血管疾病的特征是在脑血管上形成的异常，包括血管的突起、狭窄、增宽和分叉。心血管疾病通常是通过数字减影血管造影(DSA)诊断的，但DSA的解释是具有挑战性的，因为人们必须充分检查每个脑血管，脑血管疾病(CVDs)是一个庞大的疾病家族，许多人作为紧急情况出现，如果不及时治疗，可能是致命的。常见的CVD包括颅内动脉瘤、颅内动脉闭塞或狭窄、血管炎、血管痉挛和动静脉畸形或瘘管(AVM/AVF)。这些疾病影响着全世界数百万人，许多人的疾病风险和死亡率超过50％。心血管疾病的诊断仍然具有挑战性，因为许多患者突然出现，没有初步的警告迹象或症状。虽然CT和MR脑成像和横断面血管造影现在是一线诊断方法，但数字减影血管造影(DSA)仍然是诊断和指导治疗的明确方法。
发明内容
本发明为克服上述情况不足，旨在提供一种能解决上述问题的技术方案。
一种基于神经网络的剪影血管造影术的分割方法，具备包括以下步骤：
S1、使用12层U-net结构分割DSA图像以及通过计算原始图像中的像素是血管的一部分，深度学习网络的结构由两条路径组成，即收缩路径(图3的顶部路径)和扩展路径(图3底部路径)；
S2、在收缩路径中，每个conv2d层使用一个3×3的卷积核，每两个conv2d层后接一个ReLU(整流线性单元)激活函数和2×2最大池层，步长为2进行下采样；
S3、在扩展路径中，池运算符被上采样运算符所取代。在每一个池层，下采样步数加倍
S4、特征通道数和上采样数以及conv2d将特征通道数减半，因此扩展路径与收缩路径最为对称。
S5、由于每个卷积都会丢失边界像素，因此需要对收缩路径中的特征映射进行相应的复制和裁剪。
S6、扩展路径创建高分辨率分割图。Sigmoid激活函数代替了最后一个卷积层的ReLU。在两个连续的卷积层之间使用0.2的衰减。
S7、采用“分类交叉熵”损失函数和随机梯度下降法进行优化。输出的尺寸为(128×128)，而输出中的每个像素表示像素血管的一部分。我们用32个小批量进行了500个周期的训练，选出了最佳的模型作为最终的深度学习网络。
本发明的有益效果：本发明在有限数量的图像的基础上取得了很好的性能，该方法可以识别非常不同的血管轮廓，如长和直与短和曲折和分叉。在我们的测试中，我们发现深度学习网络可以分割和跟踪血管，证明了在二维图像中使用深度学习分割脑血管的可行性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是一张DSA图像；
图2中(a)从一张每日生活津贴图像中提取的若干块和(b)其相应的真实情况。
图3是深度学习网络的结构。
图4中(a)测试数据增强前后深度学习方法的AUC和(b)ROC图。
图5中(a)网络的性能，以敏感性、特异性、准确性和500训练来衡量。(b)网络的ROC曲线。
图6是(a)DSA图像原件。(b)手工标明真实情况。(c)由深度学习网络为血管类别分配像素的概率图。(d)我们的方法在确定概率图后给出的最后结果。
图7中分割结果覆盖到原始DSA图像
图8中(a)DSA图像原件。(b)手工标明真实情况。(c)为血管类别分配像素的概率图。(d)我们的方法所提供的最后结果。
图9中(a)DSA图像原件。(b)手工标明真实情况。(c)为血管类别分配像素的概率图。(d)我们的方法所提供的最后结果。
图10中(a)DSA图像原件。(b)手工标明真实情况。(c)为血管类别分配像素的概率图。(d)我们的方法所提供的最后结果。
图11中(a)DSA图像原件。(b)手工标明真实情况。(c)为血管类别分配像素的概率图。(d)我们的方法所提供的最后结果。
具体实施方式
材料与方法
本发明中的患者要么有动静脉畸形、动静脉瘘和脑血管瘤的病理异常，要么有正常的DSA表现。我们从随机选择的一组患者中手动追踪了20张DSA图像，以标记他们的真实情况。这些图像是在西门子Axiom Artis系统上获得的。由Axiom Artis系统自动设置kv和mA。造影剂是碘醇，以5毫升/秒的动脉注射，共8毫升注入颈动脉，或以3毫升/秒的剂量注入颈椎动脉。由于我们的网络要求输入为128×128像素，我们首先从原始的512×512或1024×1024像素的DSA图像中提取128×128像素的随机重叠图像块。每个512×512像素图像生成200个补丁，1024×1024像素图像生成800个补丁。附图2显示了我们从一个DSA图像中提取的一些补丁及其相应的真实情况。将DSA检查随机分为20次培训和10次测试，训练集中的20幅图像总共产生了5200个补丁。我们选择这些图像补丁中的4680(90％)作为训练集，并使用剩余的520(10％)图像补丁进行验证。测试集图像来自不同的患者，而不是训练集和验证集。
分析DSA图像。定量测量脑血管可以帮助临床医生做出准确的诊断，并启动对患者的及时治疗。开发了多种提取血管图像的技术方法，如基于模型的方法、基于形状分析的方法、基于跟踪的方法、典型识别方法和基于神经网络的方法。我们提出了一种在DSA中自动分割脑血管的深度学习方法。在这项工作中，我们使用U-net检测DSA中的脑血管，并在真实的DSA图像上进行测试。
算法
数据增强可以帮助神经网络做出不变和稳健的预测，特别是在训练数据有限的情况下，深度学习中最常用的增强方法是通过现有训练示例的标签保存转换生成额外的示例。在我们的工作中，我们将旋转、翻转和缩放应用于图像数据以进行增强。
我们使用12层U-net结构分割DSA图像以及通过计算原始图像中的像素是血管的一部分。深度学习网络的结构如图3所示。网络的结构可以考虑由两条路径组成，即收缩路径(图3的顶部路径)和扩展路径(图3底部路径)。
在收缩路径中，每个conv2d层使用一个3×3的卷积核，每两个conv2d层后接一个ReLU(整流线性单元)激活函数和2×2最大池层，步长为2进行下采样。
在扩展路径中，池运算符被上采样运算符所取代。在每一个池层，下采样步数加倍，
特征通道数和上采样数以及conv2d将特征通道数减半，因此扩展路径与收缩路径最为对称。由于每个卷积都会丢失边界像素，因此需要对收缩路径中的特征映射进行相应的复制和裁剪。扩展路径创建高分辨率分割图。Sigmoid激活函数代替了最后一个卷积层的ReLU。在两个连续的卷积层之间使用0.2的衰减。采用“分类交叉熵”损失函数和随机梯度下降法进行优化。输出的尺寸为(128×128)，而输出中的每个像素表示像素血管的一部分。我们用32个小批量进行了500个周期的训练，选出了最佳的模型作为最终的深度学习网络。
结果
在训练和验证过程中，我们发现，在三个增强步骤中，图像的缩放对提高网络的性能有着深远的影响。因此，我们在从缩放后的图像中提取面片之前进行了缩放，以扩充训练集。增强改进了模型的性能，如图4所示，增强前后接收机工作特性(ROC)图中的曲线下面积(AUC)所示。从图4(a)可以看出，尽管在训练的前200个时期，增强作用没有什么不同，但它从整体上对AUC产生了实质性的改善200到500。有趣的是，从图4(b)可以看出有和没有8月的假阳性率几乎没有差异，这表明我们使用的增强步骤没有增加深度学习方法造假的机会检测。然后我们将训练好的网络应用于10个新的DSA以测试其性能。为了定量评估算法的性能，我们计算
其中TP、FP、TN和FP表示真阳性、假阳性，分别是真阴性和假阴性。在计算根据上述标准，我们绘制了深度学习的结果方法对基本事实进行处理，排除头骨。对于由深度学习方法确定的作为血管一部分的每个像素u(x，y)，如果在基本事实中，以位置(x，y)为中心的3×3窗口中的任何一个像素在血管上，则我们认为u(x，y)是深度学习方法的正确结果。深度学习网络的总结性能如图5所示。图5(a)和ROC如图5(b)所示。测试集的平均精度为0.978±0.00796(标准差)。平均敏感性为0.76±0.096，特异性为0.994±0.0036。平均骰子系数为0.8268±0.052。这些数字表明了分割血管算法的性能。
图6(a)示出原始DSA图像。它是手动标记的实际情况如图6(b)所示。分割结果经过训练的深度学习网络给出的概率图形式如图6(c)所示。从这个例子中我们观察到深度学习网络可以忠实地分割血管大小不一的大血管图像中央底部的小血管位于附近颅骨。
通过设置阈值，最终结果如图6(d)所示概率图为0.5。结果如图6(d)所示，与图6(c)相比，得到了实质性的改进。图7显示了将分割结果叠加在原始图像上。另一个例子如图8所示，我们从中注意到深度学习网络可以成功地追踪高难度的血管，尽管它们很小。第三个测试如图9所示，从中我们注意到深度学习一种非常干净的血液网络分割方法血管时原始图像的SBR值相对较高。非常具有挑战性的示例如图10所示，其中左下角有许多低对比度的细血管图像的一角。在这个例子中，我们观察到我们的方法仍然可以分割大部分血管，显示了它在处理低SBR的DSA图像方面的潜力。另一个极具挑战性的例子如图11所示，其中我们可以观察到该算法可以跟踪曲折的血管。更多的结果和与现有技术的比较，包括全局和局部阈值和Frangi-vesselness滤波以补充材料的形式呈现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (4)
1.一种基于神经网络的剪影血管造影术的分割方法，其特征在于，具备包括以下步骤：
S1、使用12层U-net结构分割DSA图像以及通过计算原始图像中的像素是血管的一部分，深度学习网络的结构由两条路径组成，即收缩路径和扩展路径；
S2、在收缩路径中，每个conv2d层使用一个3×3的卷积核，每两个conv2d层后接一个整流线性单元ReLU激活函数和2×2最大池层；进行下采样；
S3、在扩展路径中，池运算符被上采样运算符所取代；
S4、特征通道数和上采样数以及conv2d将特征通道数减半；
S5、由于每个卷积都会丢失边界像素，因此需要对收缩路径中的特征映射进行相应的复制和裁剪；
S6、扩展路径创建高分辨率分割图，Sigmoid激活函数代替了最后一个卷积层的ReLU；
S7、采用“分类交叉熵”损失函数和随机梯度下降法进行优化；输出的尺寸为128×128，而输出中的每个像素表示像素血管的一部分；我们用32个小批量进行了500个周期的训练，选出了最佳的模型作为最终的深度学习网络。
2.根据权利要求1所述的基于神经网络的剪影血管造影术的分割方法，其特征在于，步骤S6还包括在两个连续的卷积层之间使用0.2的衰减。
3.根据权利要求1所述的基于神经网络的剪影血管造影术的分割方法，其特征在于，步骤S2中进行下采样的步长为2。
4.根据权利要求1所述的基于神经网络的剪影血管造影术的分割方法，其特征在于，步骤S3中在每一个池层，下采样步数加倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111489198.0A CN114140453B (zh) | 2021-12-08 | 2021-12-08 | 一种基于神经网络的剪影血管造影术的分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111489198.0A CN114140453B (zh) | 2021-12-08 | 2021-12-08 | 一种基于神经网络的剪影血管造影术的分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114140453A CN114140453A (zh) | 2022-03-04 |
| CN114140453B true CN114140453B (zh) | 2024-04-12 |
Family
ID=80384746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111489198.0A Active CN114140453B (zh) | 2021-12-08 | 2021-12-08 | 一种基于神经网络的剪影血管造影术的分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140453B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及系统 |
| CN111899274A (zh) * | 2020-08-05 | 2020-11-06 | 大连交通大学 | 一种基于深度学习tem图像分割的粒径分析方法 |
| CN113177950A (zh) * | 2021-04-22 | 2021-07-27 | 燕山大学 | 基于半监督对抗学习的冠脉造影血管图像分割的方法 |
-
2021
- 2021-12-08 CN CN202111489198.0A patent/CN114140453B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及系统 |
| CN111899274A (zh) * | 2020-08-05 | 2020-11-06 | 大连交通大学 | 一种基于深度学习tem图像分割的粒径分析方法 |
| CN113177950A (zh) * | 2021-04-22 | 2021-07-27 | 燕山大学 | 基于半监督对抗学习的冠脉造影血管图像分割的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114140453A (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6859445B2 (ja) | 脳卒中の診断及び予後予測方法システム及びその作動方法 | |
| Dubost et al. | Enlarged perivascular spaces in brain MRI: automated quantification in four regions | |
| Chawla et al. | A method for automatic detection and classification of stroke from brain CT images | |
| Tyan et al. | Ischemic stroke detection system with a computer‐aided diagnostic ability using an unsupervised feature perception enhancement method | |
| JP5970766B2 (ja) | 医用画像処理装置、医用画像処理方法、プログラム | |
| Yamamoto et al. | Computer-aided detection of multiple sclerosis lesions in brain magnetic resonance images: False positive reduction scheme consisted of rule-based, level set method, and support vector machine | |
| Wu et al. | Fracture detection in traumatic pelvic CT images | |
| CN113436166A (zh) | 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统 | |
| CN109414184B (zh) | 用于监测脑动脉瘤状况的方法和系统 | |
| Chesebro et al. | Automated detection of cerebral microbleeds on T2*-weighted MRI | |
| US20100290689A1 (en) | Discriminating infarcts from artifacts in mri scan data | |
| KR20200087427A (ko) | 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 방법 | |
| CN115136192A (zh) | 对模型的输入实例的分布外检测 | |
| KR100998630B1 (ko) | 폐질환 자동 분류 방법 | |
| CN115018863A (zh) | 基于深度学习的图像分割方法及装置 | |
| CN111402218A (zh) | 脑出血检测方法和装置 | |
| CN113192067B (zh) | 基于图像检测的智能预测方法、装置、设备及介质 | |
| AU2021100007A4 (en) | Deep Learning Based System for the Detection of COVID-19 Infections | |
| CN116862930B (zh) | 适用于多模态的脑血管分割方法、装置、设备和存储介质 | |
| CN114140453B (zh) | 一种基于神经网络的剪影血管造影术的分割方法 | |
| Rava et al. | Use of a convolutional neural network to identify infarct core using computed tomography perfusion parameters | |
| CN116542963A (zh) | 一种基于机器学习的浮法玻璃缺陷检测系统及检测方法 | |
| Genc et al. | Automated abnormality classification of chest radiographs using MobileNetV2 | |
| CN112802040B (zh) | 一种基于边缘感知的x光片气胸分割及评估方法 | |
| CN113516608B (zh) | 轮胎的缺陷检测方法和检测装置、轮胎检测设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |