CN112669439B - 基于迁移学习的颅内血管造影增强三维模型的建立方法 - Google Patents
基于迁移学习的颅内血管造影增强三维模型的建立方法 Download PDFInfo
- Publication number
- CN112669439B CN112669439B CN202011322228.4A CN202011322228A CN112669439B CN 112669439 B CN112669439 B CN 112669439B CN 202011322228 A CN202011322228 A CN 202011322228A CN 112669439 B CN112669439 B CN 112669439B
- Authority
- CN
- China
- Prior art keywords
- image
- blood
- bright
- images
- black
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 189
- 238000007917 intracranial administration Methods 0.000 title claims abstract description 126
- 238000002583 angiography Methods 0.000 title claims abstract description 31
- 238000013526 transfer learning Methods 0.000 title claims abstract description 12
- 210000004369 blood Anatomy 0.000 claims abstract description 566
- 239000008280 blood Substances 0.000 claims abstract description 566
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 161
- 238000005070 sampling Methods 0.000 claims abstract description 25
- 238000013508 migration Methods 0.000 claims abstract description 16
- 230000005012 migration Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 230000002792 vascular Effects 0.000 claims description 53
- 230000011218 segmentation Effects 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 14
- 238000007667 floating Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 2
- 231100000216 vascular lesion Toxicity 0.000 abstract description 6
- 230000005291 magnetic effect Effects 0.000 description 45
- 238000003384 imaging method Methods 0.000 description 28
- 230000000694 effects Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 230000008030 elimination Effects 0.000 description 8
- 238000003379 elimination reaction Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004451 qualitative analysis Methods 0.000 description 6
- 238000004445 quantitative analysis Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000036262 stenosis Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 206010008190 Cerebrovascular accident Diseases 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 206010057469 Vascular stenosis Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004087 circulation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000037804 stenosis Diseases 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 206010028851 Necrosis Diseases 0.000 description 1
- 206010053649 Vascular rupture Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005298 paramagnetic effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 210000002385 vertebral artery Anatomy 0.000 description 1
Landscapes
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于迁移学习的颅内血管造影增强三维模型的建立方法，包括：获取亮血图像组、黑血图像组和增强黑血图像组；预处理得到第一亮血图像和第一黑血图像；对每个第一亮血图像以对应的第一黑血图像为基准，利用基于高斯分布抽样的互信息和图像金字塔的配准方法得到配准后亮血图像组；流空伪影消除得到伪影消除增强黑血图像组；将伪影消除增强黑血图像组和黑血图像组中对应图像相减得到K个造影增强图；利用配准后亮血图像组，采用迁移学习方法建立血液三维模型，利用所述配准后亮血图像组建立血液边界扩展的血管三维模型。本发明的方法能够在临床上简便、快速、直观地获得颅内血管整体状态以进行颅内血管病变分析。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于迁移学习的颅内血管造影增强三维模型的建立方法。
背景技术
随着我国国民经济的快速发展，人们对健康问题越来越重视。《Lancet》在2019年6月发表的论文分析了从1990年到2017年，中国34个省份(包括港澳台)居民的死亡原因，发现高居中国人死亡原因第一位的是脑卒中。脑卒中是颅内血管破裂、狭窄或堵塞引起脑组织坏死，进而产生的一系列症状，包括脑出血、脑梗死等，如果治疗不及时，患者可能会死亡；而即使治疗及时，也有可能造成患者残疾。
目前临床上对于颅内血管病变程度与血管狭窄化程度的评估，通常使用基于管腔成像的方法，如数字减影血管造影术(Digital Subtraction Angiography,DSA)、CT血管成像(Computed Tomography Angiography,CTA)、磁共振血管成像(Magnetic ResonanceAngiography,MRA)以及高分辨率磁共振血管成像(High-Resolution Magnetic ResonanceAngiography,HRMRA)等。颅内动脉血管与颈动脉和椎动脉相连，在脑底部形成环状结构，结构形态特殊，走形曲折，且管壁厚度极薄。通过磁共振血管成像技术，能够清晰地描绘出颅内动脉血管的路径。
其中，磁共振血管成像技术(MRA或HRMRA)作为一种对患者无创的成像方法，可以清晰地检测到颅内血管的血管壁结构并进行分析，扫描得到的磁共振图像对于软组织的分辨率高，没有骨伪影，图像质量好，且能够使用多种序列扫描得到具有不同成像特点的组织结构，在颅内血管的显示上具有明显的优越性。
由于磁共振血管成像技术得到的亮血序列、黑血序列对应的图像均为二维图像，在临床上，医生需要凭借经验结合两种图像的信息，来获得颅内血管的综合情况，以进行颅内血管病变分析。但二维图像具有局限性，不利于简便快速地获得颅内血管的真实信息。
发明内容
为了在临床应用上，简便快速地获得颅内血管的真实信息，以进行颅内血管病变分析。本发明实施例提供了一种基于迁移学习的颅内血管造影增强三维模型的建立方法。包括：
获取颅内血管部位的亮血图像组、黑血图像组和增强黑血图像组；其中，所述亮血图像组、所述黑血图像组、所述增强黑血图像组分别包括K个亮血图像、黑血图像和增强黑血图像；所述亮血图像组、所述黑血图像组、所述增强黑血图像组中的图像一一对应；K为大于2的自然数；
将每个亮血图像和对应的增强黑血图像作为一个图像对，对每个图像对进行预处理，得到该图像对的第一亮血图像和第一黑血图像；
针对每个第一亮血图像，以对应的第一黑血图像为基准，利用基于高斯分布抽样的互信息和图像金字塔的配准方法进行图像配准，得到包括K个配准后亮血图像的配准后亮血图像组；
利用所述配准后亮血图像组，对所述增强黑血图像组中的增强黑血图像进行流空伪影消除操作，得到包括K个目标增强黑血图像的伪影消除增强黑血图像组；
将所述伪影消除增强黑血图像组和所述黑血图像组中对应图像相减，得到K个造影增强图；
利用所述配准后亮血图像组，采用迁移学习方法建立血液三维模型；
利用所述配准后亮血图像组建立血液边界扩展的血管三维模型；
利用所述K个造影增强图建立造影增强三维模型；
基于所述血液三维模型、所述血管三维模型、所述造影增强三维模型，得到颅内血管造影增强三维模型。
本发明实施例所提供的方案中，首先对磁共振血管成像技术扫描得到的亮血图像和增强黑血图像采用基于高斯分布抽样的互信息和图像金字塔的配准方法进行图像配准，可提高配准效率，使图像从低分辨率到高分辨率逐层提高配准精度。通过上述图像配准可以将亮血图像和增强黑血图像统一在相同坐标系下。其次利用配准后亮血图像对增强黑血图像进行流空伪影消除操作，可以显示更准确、全面的血管信息。本发明实施例所提供的方案是从图像后处理的角度对流空伪影进行消除，无需使用新的成像技术、成像模式或脉冲序列，因此可以简便、准确、快速地消除流空伪影，并可以在临床应用实现较好的推广。再次，利用配准后亮血图像，采用迁移学习方法建立血液三维模型，并利用配准后亮血图像建立血液边界扩展的血管三维模型血液边界扩展的血管三维模型，通过将伪影消除增强黑血图像和黑血图像相减得到具有造影增强效果的造影增强三维模型；最后基于血液三维模型、血管三维模型、造影增强三维模型，得到具有造影增强效果的血管壁对应的颅内血管造影增强三维模型。该颅内血管造影增强三维模型可以模拟颅内三维血管形态，实现颅内血管的三维可视化，无需医生通过想象力还原颅内血管组织结构及病症特征等，能够方便医生从任意感兴趣的角度、层次观察和分析血管形态特征，可以提供具有形象的血管三维空间信息，便于直观观测，便于定位与显示病灶区域。能够在临床上简便、快速、直观地获得颅内血管整体状态以进行颅内血管病变分析。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于迁移学习的颅内血管造影增强三维模型的建立方法的流程示意图；
图2为本发明实施例的颅内血管磁共振图像经过预配准后的结果图；
图3为本发明实施例的颅内血管磁共振图像的待配准区域示意图；
图4(a)为本发明实施例的颅内血管磁共振图像的亮血高斯金字塔和黑血高斯金字塔；图4(b)为本发明实施例的颅内血管磁共振图像的亮血拉普拉斯金字塔和黑血拉普拉斯金字塔；
图5为本发明实施例的颅内血管磁共振图像的拉普拉斯金字塔图像的配准结果；
图6为本发明实施例的颅内血管磁共振图像基于互信息的高斯金字塔图像配准步骤示意图；
图7为本发明实施例的不同迭代次数下的归一化互信息；
图8为包含互信息金字塔方法的多种配准方法的颅内血管磁共振图像的配准结果；
图9为本发明实施例的基于高斯分布抽样的互信息和图像金字塔的配准方法与互信息金字塔方法的颅内血管磁共振图像的配准结果；
图10为本发明实施例所提供的灰度线性变换及参数设置示意图；
图11为本发明实施例的图像二值化结果图；
图12为本发明实施例中针对颅内血管用不同方法得到的流空伪影消除结果；
图13为本发明实施例的作为示例的一个MIP图；
图14为本发明实施例的MIP图对应的反转图、特征MIP图；
图15为本发明实施例的颅内血管模拟三维模型的效果图；
图16为本发明实施例的颅内血管造影增强三维模型效果图。
具体实施方式
为了在临床应用上，简便快速地获得颅内血管的真实信息，以进行颅内血管病变分析。本发明实施例提供了一种基于迁移学习的颅内血管造影增强三维模型的建立方法。
如图1所示，图1为本发明实施例提供的一种基于迁移学习的颅内血管造影增强三维模型的建立方法的流程示意图，可以包括如下步骤：
S1，获取颅内血管部位的亮血图像组、黑血图像组和增强黑血图像组；
其中，亮血图像组、黑血图像组、增强黑血图像组分别包括K个亮血图像、黑血图像和增强黑血图像；亮血图像组、黑血图像组、增强黑血图像组中的图像一一对应；K为大于2的自然数；
亮血图像组是对颅内血管部位使用磁共振血管成像技术进行亮血序列扫描得到的图像组。黑血图像组是对颅内血管部位使用磁共振血管成像技术进行黑血序列扫描得到的图像组。增强黑血图像组是对患者先注入顺磁性造影剂，再对颅内血管部位使用磁共振血管成像技术进行黑血序列扫描得到的图像组。本发明实施例中，磁共振血管成像技术优选为HRMRA。
亮血图像组、黑血图像组、增强黑血图像组中的K个图像是一一对应的，其中对应方式是按照扫描时间形成的图像次序相同。
S2，将每个亮血图像和对应的增强黑血图像作为一个图像对，对每个图像对进行预处理，得到该图像对的第一亮血图像和第一黑血图像；
该步骤可以理解为图像的预处理过程，可选的一种实施方式中，对每个图像对进行预处理，得到该图像对的第一亮血图像和第一黑血图像，可以包括S21和S22：
S21，针对每个图像对，以增强黑血图像为基准，将亮血图像进行坐标变换和图像插值，使用基于互信息的相似性度量，并采用预定搜索策略，得到预配准后的第一亮血图像；
增强黑血图像是按冠状面扫描成像的，而亮血图像却是按轴状面扫描成像的，序列扫描方向的不同导致两者最终的磁共振成像层面不同，因此需要通过坐标变换来实现在一个标准参考坐标系下观察不同成像层面的磁共振图像。
针对血管图像，可以利用医学图像DICOM(Digital Imaging and Communicationsin Medicine,医学数字成像与通信)文件中的方向信息实现图像的坐标变换。
具体的，增强黑血图像和亮血图像为待配准的图像，可以根据亮血图像的DICOM文件中的方位标签信息，以增强黑血图像的坐标系为基准，将增强黑血图像作为参考图像，将亮血图像作为浮动图像，将亮血图像进行坐标变换，实现旋转亮血图像至与增强黑血图像相同坐标系的目的，旋转后亮血图像的扫描方向也变为呈冠状面。
并且使用梯度下降优化器和(1+1)-ES这两种搜索策略分别对160幅亮血图像与相应扫描层面的160幅增强黑血图像进行配准，其中增强黑血图像为参考图像，亮血图像为浮动图像，
参见图2，图2为本发明实施例的颅内血管磁共振图像经过预配准后的结果图。左图为预配准后的第一亮血图像，其中插值方法采用双三次插值；中图为增强黑血图像，可见两者都为冠状面，右图为两者直接叠加后的效果图，右图可以看到虽然经过了预配准，可在同一冠状面下观测到当前成像层下的亮血图像和增强黑血图像，但两者仍存在不重合现象，因此还需要后续进行图像精配准。
通过该步骤的预配准，可以初步实现在同一坐标系下对比相同扫描层面的磁共振图像，但是由于亮血序列和黑血序列扫描的时间不同，且患者可能在扫描前后发生了轻微的运动，所以上述操作只是一个粗糙的坐标变换，仅通过预配准并不能实现多模态磁共振图像的完全配准，但是该步骤可以为后续的精确配准环节省略不必要的处理过程，提高处理速度。
S22，从增强黑血图像中，提取与第一亮血图像的扫描范围相同的区域内容，形成第一黑血图像。
可选的，S22可以包括以下步骤：
1.获得第一亮血图像中血管的边缘轮廓信息；
具体可以使用Sobel边缘检测方法等方法获取边缘轮廓信息。边缘轮廓信息包含各个边缘点的坐标值。
2.在边缘轮廓信息中，提取横坐标、纵坐标的最小值和最大值，基于获得的四个坐标值确定初始提取边框；
也就是在边缘轮廓信息中，提取最小横坐标值、最大横坐标值、最小纵坐标值、最大纵坐标值，利用这四个坐标值确定方形边框的四个顶点，从而得到初始提取边框；
3.在第一亮血图像的尺寸范围内，将初始提取边框沿四个方向分别扩大预设数量个像素大小，得到最终提取边框；
其中，四个方向分别是横纵坐标的正负方向；预设数量根据血管图像的类型合理选择，目的是保证扩大后的最终提取边框不超过第一亮血图像的尺寸范围，比如预设数量可以为20等。
4.在增强黑血图像中提取最终提取边框中对应的区域内容，形成第一黑血图像。
依据最终提取边框划定的坐标范围，提取增强黑血图像中对应区域的内容，将提取出的内容形成第一黑血图像。该步骤通过提取待配准区域来获取两种模态下磁共振图像的共同扫描范围，有利于后续的快速配准。
参见图3，图3为本发明实施例的颅内血管磁共振图像的待配准区域示意图，其中左图为预配准后的第一亮血图像，右图为增强黑血图像，方框为增强黑血图像中待提取区域。这个区域包含了在颅内血管磁共振图像中，亮血序列以及黑血序列的共同扫描范围，通过确定待提取区域，能够更快速地关注到有用信息。
本发明实施例的上述两步预处理过程有着非常重要的作用，经过该预处理后的图像可以更多地关注有用信息，排除无关信息，在实际使用中，使用该图像预处理可以提高颅内血管图像配准、识别的可靠性。
S3，针对每个第一亮血图像，以对应的第一黑血图像为基准，利用基于高斯分布抽样的互信息和图像金字塔的配准方法进行图像配准，得到包括K个配准后亮血图像的配准后亮血图像组；
可选的一种实施方式中，S3可以包括S31～S34：
S31，采用高斯分布抽样选取预处理后的部分图像对作为测试图像对；
本发明实施例的测试图像对是待配准的图像对，本发明实施例对待配准图像对的随机选取采用高斯分布抽样。这是由于亮血图像与增强黑血图像的扫描方向不同，在图像预处理过程中，为在同一成像层面上观测亮血图像与增强黑血图像，亮血图像经过了坐标变换与插值，使得每一张亮血图像与当前层面的增强黑血图像对应；同时由于亮血图像与增强黑血图像的扫描范围不同，亮血图像边缘层的数据可能并不完整。综上原因，扫描中间层的亮血数据与增强黑血数据最丰富，因此选取高斯均值μ为待配准图像总数的一半，使得高斯随机选取到中间层图像配准的概率最大。
S32，对每个测试图像对中的第一亮血图像和第一黑血图像，采用基于互信息和图像金字塔的配准方法进行图像配准，得到配准后该测试图像对中第一亮血图像对应的旋转矩阵；可选的一种实施方式中，S32具体可以包括步骤S321～S324：
S321，针对每个测试图像对，基于下采样处理，由第一亮血图像得到亮血高斯金字塔，由第一黑血图像得到黑血高斯金字塔；其中，亮血高斯金字塔和黑血高斯金字塔中包括从下至上分辨率依次变小的m个图像；m为大于3的自然数；
为提高图像配准的准确度，避免图像在配准过程中收敛到局部最大值，可以使用多分辨率策略来解决局部极值的问题，同时多分辨率策略可以在满足图像配准精度的条件下，提高算法执行速度，增加鲁棒性。构建图像金字塔就是一种通过增加模型复杂度来提高配准精度和速度的有效方式，即在配准过程中，按从粗配准到精配准的顺序执行，首先对低分辨率的图像进行配准，接着在低分辨率图像配准完成的基础上，对分辨率高的图像进行配准。
可选的一种实施方式中，S321步骤可以包括：
获取第i层的输入图像，对第i层的输入图像利用高斯内核进行滤波，并删除滤波后图像的偶数行和偶数列，得到高斯金字塔的第i层图像Gi，并将第i层图像Gi作为第i+1层的输入图像，得到高斯金字塔的第i+1层图像Gi+1；
其中，i＝1、2，…，m-1；当高斯金字塔为亮血高斯金字塔时，第1层的输入图像为第一亮血图像，当高斯金字塔为黑血高斯金字塔时，第1层的输入图像为第一黑血图像。
具体的，高斯金字塔中的多个图像是同一原图像不同分辨率所对应的图像。高斯金字塔通过高斯滤波和下采样来获取图像，它的每一层构建步骤可以分为两步：首先使用高斯滤波对图像进行平滑滤波，即采用高斯内核进行滤波；接着删除滤波后图像的偶数行和偶数列，即将低一层图像的宽和高缩小一半，得到当前层图像，因此当前层图像为低一层图像大小的四分之一，通过不断地迭代以上步骤，最终可以得到高斯金字塔。
本步骤中通过对经过预处理后的第一亮血图像和第一黑血图像进行上述处理，可以得到亮血高斯金字塔和黑血高斯金字塔。如图4(a)所示，图4(a)为本发明实施例的颅内血管磁共振图像的亮血高斯金字塔和黑血高斯金字塔。
这些分辨率逐渐减小，来源于同一张图像不同分辨率的图像组合，排列起来形似金字塔，因此被称为图像金字塔，其中分辨率最高的图像位于金字塔底部，分辨率最低的图像位于金字塔顶部。在计算机视觉下不同分辨率的图像，恰恰模拟了在不同距离下人眼观测的一幅图像，在图像信息处理上，多分辨率的图像相较于传统的单分辨率图像，更容易获取图像的本质特征。
S322，基于上采样处理，利用亮血高斯金字塔得到亮血拉普拉斯金字塔，利用黑血高斯金字塔得到黑血拉普拉斯金字塔；其中，亮血拉普拉斯金字塔和黑血拉普拉斯金字塔中包括从下至上分辨率依次变小的m-1个图像；
由于高斯金字塔是向下采样，即缩小图像，因此会丢失掉图像的一部分数据。因此，本发明实施例为避免图像在缩放过程中的数据缺失，恢复细节数据，使用拉普拉斯金字塔，配合高斯金字塔一起实现图像重建，在高斯金字塔图像的基础上突出细节。
可选的一种实施方式中，S322步骤可以包括：
对高斯金字塔的第i+1层图像Gi+1进行上采样，并用数据0填充新增的行和列，得到填充图像；
对填充图像利用高斯内核进行卷积，获得填充像素的近似值，得到放大图像；
将高斯金字塔的第i层图像Gi与放大图像相减，得到拉普拉斯金字塔的第i层图像Li；
其中，当高斯金字塔为亮血高斯金字塔时，拉普拉斯金字塔为亮血拉普拉斯金字塔，当高斯金字塔为黑血高斯金字塔时，拉普拉斯金字塔为黑血拉普拉斯金字塔。
由于拉普拉斯金字塔是图像经过下采样操作后与原图的残差，因此从下至上对比，拉普拉斯金字塔比高斯金字塔结构少一层高层图像。
具体的，生成拉普拉斯金字塔结构的数学公式如(1)所示，其中Li表示第i层拉普拉斯金字塔(亮血拉普拉斯金字塔或黑血拉普拉斯金字塔)，Gi表示第i层高斯金字塔(亮血高斯金字塔或黑血高斯金字塔)，而UP操作为向上采样放大图像，符号是卷积符号，/>是在构建高斯金字塔中使用的高斯内核。
对应于4层的高斯金字塔，本步骤可以得到图像层数为3的亮血拉普拉斯金字塔和黑血拉普拉斯金字塔。如图4(b)所示，图4(b)为本发明实施例的颅内血管磁共振图像的亮血拉普拉斯金字塔和黑血拉普拉斯金字塔。图像显示使用了伽马矫正实现更清晰的效果，伽马值为0.5。
S323，对亮血拉普拉斯金字塔和黑血拉普拉斯金字塔中对应层的图像进行配准，得到配准的亮血拉普拉斯金字塔；
可选的一种实施方式中，S323步骤可以包括：
针对亮血拉普拉斯金字塔和黑血拉普拉斯金字塔中的每一层，将该层对应的黑血拉普拉斯图像作为参考图像，将该层对应的亮血拉普拉斯图像作为浮动图像，使用基于互信息的相似性度量，，并采用预定搜索策略，实现图像配准，得到配准后的该层亮血拉普拉斯图像；
由配准后的多层亮血拉普拉斯图像，依据分辨率依次减小的顺序，从下至上构成配准的亮血拉普拉斯金字塔；
其中，黑血拉普拉斯图像为黑血拉普拉斯金字塔中的图像，亮血拉普拉斯图像为亮血拉普拉斯金字塔中的图像。
该步骤中的配准过程类似于前述的预配准过程，通过对亮血拉普拉斯图像进行坐标变换、图像插值，使用相似性度量及预定搜索策略，实现图像配准，可以得到配准后的亮血拉普拉斯图像。其中，坐标变换、图像插值、相似性度量及预定搜索策略不再赘述。
结果如图5所示，图5为本发明实施例的颅内血管磁共振图像的拉普拉斯金字塔图像的配准结果，左图为黑血拉普拉斯金字塔中的参考图像，中图为亮血拉普拉斯金字塔中已配准好的图像，右图为左、中两幅图像直接叠加后的效果图，叠加图像显示采用蒙太奇效果，使用伪彩色透明处理增强黑血图像与亮血图像，其中紫色为增强黑血拉普拉斯金字塔图像，绿色为亮血拉普拉斯金字塔图像(附图图像是原图经过灰度处理的图像，颜色未示出)。
S324，利用配准的亮血拉普拉斯金字塔作为叠加信息，对亮血高斯金字塔和黑血高斯金字塔中各层图像进行自上而下的配准，得到配准的亮血高斯金字塔，并得到配准后该测试图像对中第一亮血图像对应的旋转矩阵。
在该步骤的配准中，需要对高斯金字塔中不同分辨率的图像进行配准，由于低分辨率图像的配准可以更容易把握住图像的本质特征，因此本发明实施例在低分辨率图像配准的基础上配准高分辨率图像，即将高斯金字塔图像从上到下配准，将上一层图像的配准结果作为下一层图像配准的输入。
可选的一种实施方式中，S324中利用配准的亮血拉普拉斯金字塔作为叠加信息，对亮血高斯金字塔和黑血高斯金字塔中各层图像进行自上而下的配准，得到配准的亮血高斯金字塔，可以包括：
对亮血高斯金字塔和黑血高斯金字塔中自上而下的第j层，将该层对应的黑血高斯图像作为参考图像，将该层对应的亮血高斯图像作为浮动图像，使用基于互信息的相似性度量，并采用预定搜索策略，实现图像配准，得到配准后的第j层亮血高斯图像；
将配准后的第j层亮血高斯图像进行上采样操作，并与配准后的对应层亮血拉普拉斯图像相加，利用相加后的图像替换亮血高斯金字塔中第j+1层的亮血高斯图像；
将第j+1层的黑血高斯图像作为参考图像，将替换后的第j+1层的亮血高斯图像作为浮动图像，使用预定相似性度量及预定搜索策略，实现图像配准，得到配准后的第j+1层亮血高斯图像；
其中j＝1，2，…，m-1，黑血高斯图像为黑血高斯金字塔中的图像，亮血高斯图像为亮血高斯金字塔中的图像。
重复以上操作，直至完成底层高斯金字塔图像的高分辨率配准，得到配准的亮血高斯金字塔。在配准过程中，类似于前述的预配准过程。其中，坐标变换、图像插值、相似性度量及预定搜索策略不再赘述。
基于互信息的高斯金字塔图像配准具体步骤如图6所示，图6为本发明实施例的颅内血管磁共振图像基于互信息的高斯金字塔图像配准步骤示意图。首先对顶层的低分辨率的黑血高斯图像和顶层的低分辨率亮血高斯图像进行基于互信息的配准；接着将已配准好的亮血高斯图像进行上采样操作，并与保留了高频信息，且根据上述操作已配准好的对应层的亮血拉普拉斯图像相加，作为下一层亮血高斯图像；接着将上述操作得到的亮血高斯图像作为输入图像，再与对应层的黑血高斯图像进行配准，重复以上操作，直至完成底层高斯金字塔图像的高分辨率配准。
在基于互信息的高斯金字塔图像配准中，需要对每一层亮血高斯图像和黑血高斯图像以归一化互信息作为相似性度量进行配准，通过循环迭代计算两幅图的NMI，直至NMI达到最大。其中当迭代次数太小时，不能完成图像的准确配准，但是当迭代次数太大时，计算量会急剧增加，图7为本发明实施例的不同迭代次数下的归一化互信息，当第一层图像，也就是高斯金字塔中分辨率最高的底层图像配准达到最大NMI值且数据稳定时，停止迭代。
至此，得到配准的亮血高斯金字塔，其中的亮血图像的坐标系与增强黑血图像的坐标系一致，且图像具备较高的相似性，可以完成本发明实施例的血管图像配准过程。并且，配准后可以得到配准后该测试图像对中第一亮血图像对应的旋转矩阵。
为验证本发明实施例中的基于互信息和图像金字塔的配准方法(简称为互信息金字塔方法)的有效性与实用性，还进行了对比实验，共使用了五位患者的颅内血管磁共振图像，其中患者A、B、C、D的增强黑血图像与亮血图像分别为160张，患者E的增强黑血图像与亮血图像分别为150张；同时选取仅使用DICOM图像方位标签信息进行配准的算法，以及基于互信息度量的配准算法，与本发明实施例中的互信息金字塔方法进行对比，其中基于互信息度量的算法是通过多参数优化方法寻找参考图像和浮动图像间的最佳变换，使得两幅图像的互信息值最大，并没有使用到图像金字塔算法。
实验平台是Matlab R2016b。针对实验的图像配准结果，采用定性分析与定量分析相结合。在定性分析方面，由于多模态医学图像间存在较大的灰度差异，将配准图像与参考图像相减得到的差值图像无法有效地反映出多模态医学图像的配准结果，因此本发明实施例通过将配准图像与参考图像进行重叠，获得可以反映出配准图像和参考图像对齐程度的彩色重叠图像，通过彩色重叠图像对多模态配准算法的配准效果进行定性分析，图8显示了多模态颅内血管磁共振图像的配准结果，图8为包含互信息金字塔方法的多种配准方法的颅内血管磁共振图像的配准结果。其中，(a)为参考图像；(b)为浮动图像；(c)为基于图像方位标签信息的重叠图像；(d)为基于互信息度量的重叠图像；(e)为本发明实施例的互信息金字塔方法的重叠图像。其中附图均为原图的灰度图，彩色未示出。在定量分析方面，由于评价指标均方根误差RMSE和峰值信噪比PSNR并不适用于对灰度变化较大的图像进行评价，所以为了更好地对多模态医学图像的配准结果进行评价，采用归一化互相关系数NCC，归一化互信息NMI作为评价指标，当归一化互相关系数NCC和归一化互信息NMI的值越大时，表示图像配准精度越高，表1显示了不同配准算法的评价指标结果分析。
表1不同配准方法的结果分析
a中的值是基于患者多幅图像配准的评价指标平均值±均方误差
定性分析：从图8的重叠图像可以明显看出，基于互信息度量的方法出现了较大的配准偏移，分析原因可能是因为仅使用基于互信息度量的方法容易陷入局部最优值，而非全局最优值；基于图像方位标签信息的配准效果表现同样欠佳，图像出现了部分不重叠情况；而互信息金字塔方法的配准图像效果表现良好，图像显示更加清晰，图像几乎完全重叠在一起。
定量分析：由表1可知，从NCC与NMI这两个评价指标来看，相较于只使用DICOM图像的方位标签信息的配准算法，以及基于互信息度量的配准算法，本发明实施例的互信息金字塔方法在配准精度上有所提高，说明本发明实施例提出的基于互信息和图像金字塔的配准方法可以良好地处理多模态颅内血管磁共振图像的配准。
S33，获得所有测试图像对的旋转矩阵的均值；
上一步中，可以获得每个测试图像对中，配准后第一亮血图像对应的旋转矩阵，那么，可以计算获得所有测试图像对的旋转矩阵的均值。
S34，利用旋转矩阵的均值，对除测试图像对之外的、其余预处理后的图像对中的第一亮血图像进行坐标变换，完成图像配准，得到若干个配准后图像对。
考虑到患者在使用磁共振亮血序列扫描时，如果发生了轻微的运动，那么亮血序列扫描得到的颅内血管图像坐标位置就会发生轻微的变化，这时需要将每一张亮血图像都进行空间坐标变换操作，才能保持与增强黑血图像具有相同的坐标位置。基于互信息和图像金字塔的配准方法的配准过程中需要不停地迭代计算每两幅待配准图像的互信息，当图像尺寸和数量较大时，耗时会过大，如果对所有待配准的图像对均使用基于互信息和图像金字塔的配准方法会导致计算速度较慢。而发明人考虑到颅内血管可以看作是一个刚体，它不同于心脏或肺部等器官会随着人的呼吸等运动发生改变，所以每一张亮血图像的空间坐标变换操作几乎都是一致的，即几乎使用的是同一个旋转矩阵。参见表2，表2显示了使用互信息金字塔方法计算得到的旋转矩阵均值与均方误差，源于患者A的160张400×400增强黑血图像与160张400×400亮血图像，经过互信息金字塔方法的配准之后得到的旋转矩阵，由数据可知旋转矩阵的均方误差很小。那么，可以使用患者的少量几张亮血图像配准计算得到的旋转矩阵，来对所有亮血图像进行相同的空间坐标变换，而无需再对每张亮血图像求旋转矩阵，从而加速图像配准过程。
表2旋转矩阵的均值与均方误差
该步骤中，利用旋转矩阵的均值，也就是一个新的旋转矩阵，对其余预处理后的图像对中的第一亮血图像进行坐标变换，可以快速完成所有图像的配准，极大地提高了配准速度。关于利用旋转矩阵实现亮血图像的坐标变换、图像插值、使用基于互信息的相似性度量，并采用预定搜索策略实现图像配准的过程可以参见前文，也可以结合相关现有技术理解，在此不再赘述。
在该步骤后，可以得到配准后的若干个亮血图像，这些亮血图像和对应的增强黑血图像在同一坐标系下，且相似度较高。
为验证本发明实施例的基于高斯分布抽样的互信息和图像金字塔的配准方法的可行性，共使用了五位患者的颅内血管磁共振图像进行配准，其中患者A、B、C、D的增强黑血图像与亮血图像分别为160张，患者E的增强黑血图像与亮血图像分别为150张。针对实验的图像配准结果，由于多模态磁共振图像的获取原理不同，呈现信息不同，现阶段仍没有一个统一的金标准来评价哪一种配准算法最好，应该从具体的配准对象以及应用目的对配准结果的好坏进行评价，所以采用定性分析与定量分析相结合。在定性分析方面，通过对能反映出配准图像和参考图像对齐程度的彩色重叠图像，对配准算法结果进行定性分析，图9显示了多模态颅内血管磁共振图像的配准结果对比。图9为本发明实施例的基于高斯分布抽样的互信息和图像金字塔的配准方法与互信息金字塔方法的颅内血管磁共振图像的配准结果。其中(a)为参考图像；(b)为浮动图像；(c)为互信息金字塔方法的重叠图像；(d)为本发明方法的重叠图像，标准差σ取1；(e)为本发明方法的重叠图像，标准差σ取2；(f)为本发明方法的重叠图像，标准差σ取3；(g)为本发明方法的重叠图像，标准差σ取4；(h)为本发明方法的重叠图像，标准差σ取5；(i)为本发明方法的重叠图像，标准差σ取6。各图像为处理后的灰度图，彩色未示出。在定量分析方面，采用归一化互相关系数NCC，归一化互信息NMI作为评价指标，NCC与NMI的值越大时，表示图像配准精度越高。表3为对其中一位患者所有图像对均使用基于互信息和图像金字塔的配准方法(简称为互信息金字塔方法)，以及使用本发明实施例提出的基于高斯分布抽样的互信息和图像金字塔的配准方法(简称为本发明方法)的配准结果(其余患者数据受篇幅限制不予显示)，实验平台是Matlab R2016b。由于本发明方法不需要对所有图像进行配准，只需要随机选取少量几幅图像进行配准即可，因此实验设置高斯分布均值μ为待配准图像总数的一半，标准差σ分别为1，2，3，4，5，6时，随机抽取20幅增强黑血图像与对应的亮血图像进行配准。
表3不同配准算法的结果分析
a中的值是基于160幅亮血图像与160幅增强黑血图像配准的评价指标平均值±均方误差
从图9的重叠图像可以明显看出，互信息金字塔方法的配准图像与本发明方法的配准图像效果表现均良好，图像都几乎完全重叠在一起；且由表3可知，从NCC与NMI这两个评价指标来看，虽然本发明方法相较于互信息金字塔方法精度较低，但在不同的高斯分布函数设置下，均没有相差太多。当参与配准的图像尺寸较大，数量较多时，互信息金字塔方法计算量较大。本发明方法针对颅内血管的刚性空间变换特征对算法进行改进，利用变换矩阵的相似性对图像配准加速，实验结果证明改进后的算法配准耗时仅为互信息金字塔方法配准时间的五分之一，可大幅度提高配准速度，可以良好地实现多模态颅内血管磁共振图像的配准。
本发明实施例提供的配准方案中，颅内血管可视为一个刚体，每一张亮血图像的空间坐标变换操作几乎一致，因此可以使用同一个旋转矩阵。因此，一方面选取少量图像对进行亮血图像的图像配准，利用已配准的少量亮血图像的旋转矩阵的均值，对其余图像对的亮血图像进行相同的空间坐标变换，而无需再对其余每张亮血图像求旋转矩阵，因此可以加速图像配准过程。另一方面，在图像配准过程中，基于互信息作为相似性度量，并采用图像金字塔算法增加模型复杂度，可以提高配准精度和速度。相比现有技术中，观察颅内血管的亮血图像和黑血图像需要医生凭着空间想象和主观经验。本发明实施例采用图像配准方法可以将亮血图像和增强黑血图像统一在相同坐标系下，可以方便医生理解黑血序列和亮血序列对应的颅内血管图像，简便、快速地得到诊断所需的综合信息，为后续的医疗诊断、制定手术计划、放射治疗计划等提供准确可靠的参考信息。同时，该图像配准是后续流空伪影消除的重要步骤。通过本发明实施例提供的配准方案，可以给其余医学图像配准提供一种较好的参考方式，具有很大的临床应用价值。同时，本发明实施例的图像配准过程是后续消除流空伪影的重要基础。
在图像配准后，可以对配准后增强黑血图像中的流空伪影进行消除，其中流空伪影出现的原因是在血管壁成像过程中，由于血管太细小，走向迂曲处血液流速较慢，以及周围血液和组织液可能有信号污染等问题，导致在黑血序列扫描得到的图像中，本应该为黑色的血液信息反而表现为亮色，从而模拟正常个体的壁增厚或斑块外观，夸大血管狭窄程度。本发明实施例考虑利用配准后亮血图像中的血液信息，对配准后增强黑血图像中信号显示不正确的血液信息进行修正，将配准后亮血图像中的血液信息嵌入配准后增强黑血图像中，以达到图像融合的效果。具体可以通过以下步骤实现：
S4，利用配准后亮血图像组，对增强黑血图像组中的增强黑血图像进行流空伪影消除操作，得到包括K个目标增强黑血图像的伪影消除增强黑血图像组；
可选的一种实施方式中，S4可以包括S41～S44：
S41，针对每一个配准后亮血图像，提高该配准后亮血图像的对比度，得到对比增强亮血图像；
步骤可选的一种实施方式中，可以根据在亮血图像中血液呈高信号，而周围脑组织呈低信号的特点，对配准后亮血图像进行灰度线性变换，调整图像灰度范围，实现提高图像对比度的目的。
比如，配准后亮血图像所使用的一种具体的灰度线性变换及参数设置如图10所示，图10为本发明实施例所提供的灰度线性变换及参数设置示意图。利用图10所示的灰度线性变换，可以将原来的配准后亮血图像f中较小的灰度值变化区间扩展为新的配准后亮血图像f1(对比增强亮血图像)中的较大灰度值变化区间，调整图像灰度范围，实现提高配准后亮血图像的对比度的目的。通过该步骤，可以得到对比增强亮血图像。
S42，从对比增强亮血图像中提取出血液信息，得到亮血特征图；
可选的一种实施方式中，S42可以包括以下步骤：
S421，利用预设图像二值化方法确定第一阈值；
S422，利用第一阈值，从对比增强亮血图像中提取出血液信息；
该步骤使用的方法称为阈值分割。
S423，由提取出的血液信息得到亮血特征图。
预设图像二值化方法即图像的二值化处理，可以将图像上的点的灰度置为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。本发明实施例通过预设图像二值化方法可以将对比增强亮血图像中的血液信息突出显示为白色，将无关信息显示为黑色，以便于提取出血液信息对应的亮血特征图。本发明实施例中的预设图像二值化方法可以包括最大类间方差法OTSU、kittle等等。
血液信息的提取公式如(2)所示，其中T(x,y)为对比增强亮血图像灰度值，F(x,y)为亮血特征图灰度值，T为第一阈值。
可选的一种实施方式中，采用最大类间方差法OTSU，结果如图11所示，图11为本发明实施例的图像二值化结果图，其中左图为对比增强亮血图像，右图为其经过阈值提取后的血液信息。可以看到，右图中显示为亮色的部分仅为与血液相关的信息。
S43，将亮血特征图与该配准后亮血图像对应的增强黑血图像，依据预设融合公式进行图像融合，得到该增强黑血图像对应的流空伪影消除的目标增强黑血图像；
在该步骤中，首先建立亮血特征图与对应的增强黑血图像之间的空间映射关系，将亮血特征图映射到对应的增强黑血图像中，依据预设融合公式进行图像融合，其中预设融合公式为：
其中，F(x,y)为亮血特征图的灰度值，R(x,y)为对应的增强黑血图像的灰度值，g(x,y)为融合后的目标增强黑血图像的灰度值。
经过以上操作，可以将对应的增强黑血图像中本应该为黑色，却表现为亮色的流空伪影灰度值更改为黑色，从而实现消除流空伪影的目的。
参见图12，图12为本发明实施例中针对颅内血管用不同方法得到的流空伪影消除结果，其中箭头所示处出现了流空伪影，左一图为出现了流空伪影的颅内血管增强黑血图像的原图，左二图为使用基于互信息和图像金字塔的配准方法的流空伪影消除方法得到的结果，左三图为使用基于高斯分布抽样的互信息和图像金字塔的配准方法的流空伪影消除方法得到的结果，其中高斯分布标准差σ为3，可以看出本发明实施例所采用的基于高斯分布抽样的互信息和图像金字塔的配准方法的流空伪影消除方法的消除效果与基于互信息和图像金字塔的配准方法的流空伪影消除方法的消除效果都较好。但可以理解的是，本发明实施例所采用的基于高斯分布抽样的互信息和图像金字塔的配准方法的流空伪影消除方法比基于互信息和金字塔的流空伪影消除方法处理速度更快，实验证实可节省约80％的时间。
S44，由K个增强黑血图像对应的目标增强黑血图像，得到伪影消除增强黑血图像组。
所有增强黑血图像均完成流空伪影消除后，可以得到伪影消除增强黑血图像组。
本发明实施例所提供的方案中，对磁共振血管成像技术扫描得到的亮血图像和增强黑血图像进行基于高斯分布抽样的互信息和图像金字塔的配准方法的图像配准，可以提高配准精度和配准速度。通过阈值分割从配准后的亮血图像中提取血液信息，将其融合进配准后的增强黑血图像中，从而对配准后的增强黑血图像中信号显示不正确的血液信息进行修正，将表现为亮色的流空伪影灰度值更改为黑色，从而实现消除流空伪影的目的，得到显示更准确、全面的颅内血管图像。本发明实施例所提供的方案是从图像后处理的角度对流空伪影进行消除，无需使用新的成像技术、成像模式或脉冲序列，因此可以简便、准确、快速地消除流空伪影，并可以在临床应用实现较好的推广。
S5，将伪影消除增强黑血图像组和黑血图像组中对应图像相减，得到K个造影增强图；
每个目标增强黑血图像和对应的黑血图像相减，可以得到具有造影增强效果的造影增强图，当所有目标增强黑血图像和对应的黑血图像均相减后，可以得到K个造影增强图，可以理解的是，这K个造影增强图均是二维图。
S6，利用配准后亮血图像组，采用迁移学习方法建立血液三维模型；
可选的一种实施方式中，S6可以包括以下步骤：
S61，将配准后亮血图像组利用最大强度投影法在预设的三个方向进行投影，得到各个方向的MIP图；
最大强度投影法(maximum intensity projection，MIP)是CT三维图像重建技术之一，记作MIP。其利用一组投影线沿着预选的视角穿过容积数据系列，每条投影线上的最高CT值被编码形成二维投影影像。是通过计算沿着被扫描物每条射线上所遇到的最大密度像素而产生二维图像的一种方法。具体是当光纤束通过一段组织的原始图像时，图像中密度最大的像素被保留，并被投影到一个二维平面上，从而形成MIP重建图像(本发明实施例中简称为MIP图)。MIP能反应相应像素的X线衰减值，较小的密度变化也能在MIP图像上显示，能很好地显示血管的狭窄、扩张、充盈缺损及区分血管壁上的钙化与血管腔内的对比剂。
本领域技术人员可以理解的是，配准后亮血图像组实际为一个三维体数据，对该三维体数据可以利用上述MIP方法，在预设的三个方向进行投影，得到各个方向的一个二维的MIP图，其中，预设的三个方向包括：轴向、冠状向和矢状向。
关于MIP方法请参考现有技术的相关介绍，在此不再赘述，参见图13，图13为本发明实施例的作为示例的一个MIP图。
S62，将各个方向的MIP图作为目标域，将眼底血管图作为源域，利用迁移学习方法得到各个方向的MIP图对应的二维血管分割图。
发明人通过研究发现，颅内血管亮血序列的MIP图具有与眼底血管类似的血管树的分布。因此，发明人考虑借助迁移学习方法，具体采用特征迁移的方式，将眼底血管(源域)分割任务预训练好的模型迁移到颅内血管分割任务中。特征迁移(Feature based TL)是假设源域和目标域含有一些共同的交叉特征，通过特征变换，将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行传统的机器学习。
针对S62，可选的一种实施方式中，可以包括S621～S623：
S621，获得针对眼底血管图分割任务预训练好的目标神经网络；
其中，目标神经网络是根据眼底血管图数据集、改进型U-net网络模型预先训练得到的。
如前文，本发明实施例希望借助特征迁移的迁移学习方式，将眼底血管(源域)分割任务预训练好的模型迁移到颅内血管分割任务中。因此，需要先获得一个成熟的，用于眼底血管图的血管分割的网络模型。具体的，获得目标神经网络可以分为以下步骤进行：
步骤1，获得原始网络模型；
在本发明实施例中，可以对现有的U-net网络模型的结构进行改进，将其每一个子模块分别替换为具有残差连接形式的残差模块，得到改进型U-net网络模型。本发明实施例在U-net网络模型中引入残差模块可以有效解决因为神经网络层数加深所导致的梯度消失使得训练误差不降反升的问题。
步骤2，获得眼底血管图的样本数据；
本发明实施例获取眼底血管图数据集-DRIVE数据集，该数据集是已经标注好的数据集。
步骤3，利用眼底血管图的样本数据训练原始网络模型，得到训练完成的目标神经网络。
以下概要介绍本发明实施例的目标神经网络的一些参数特征：
本发明实施例中的改进型U-net网络模型有5个level，形成2.5M参数的梯形网。每一个残差模块中使用0.25的dropout rate(dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。一般情况，dropout rate可以设为0.3-0.5)；并且使用批标准化(Batch Normalization，BN)，利用优化改变方差大小和均值位置，使得新的分布更切合数据的真实分布，从而保证了模型的非线性表达能力。激活函数采用LeakyRelu；网络模型最后一层使用Softmax进行激活。
并且，因为医学图像样本前景背景分布不均匀的问题，损失函数使用医学图像分割常用的Dice系数(Dice coefficient)损失函数，并具体使用改进的Dice损失函数，以解决Dice损失函数训练不稳定的情况。
在神经网络优化方面，采用Adam优化算法与默认参数，批量大小为256。采用“降低的学习速率”策略训练250个epoch，分别将epochs 0、20和150上的学习速率设置为0.01、0.001、0.0001，将总的学习速率设置为250。并且使用随机裁剪的方式进行数据增强，将DRIVE数据集中的训练样本扩大20000倍。
以上简要介绍了目标神经网络的获得过程，训练完成的目标神经网络可以实现对眼底血管图的血管分割，得到对应的二维血管分割图。
S622，将各个方向的MIP图分别进行灰度反转处理以及对比度增强处理，得到对应的特征MIP图；
特征迁移学习的实现需要源域(眼底血管图像)和目标域(颅内血管亮血序列MIP图)具有高度的相似性，实现相同的数据分布。
因此，在S622步骤中，将MIP图进行灰度反转处理以及对比度增强处理，得到特征MIP图，以使得特征MIP图更接近于眼底血管图像。
可选的一种实施方式中，S622可以包括S6221和S6222：
S6221，将MIP图利用灰度反转公式进行像素变换，得到反转图；其中，灰度反转公式为T(x)＝255–x，x为MIP图中的像素值，T(x)为反转图中的像素值；
该步骤可以通俗理解为灰度的反转处理，由于MIP图的像素范围在0～255之间，通过该步骤可以将原先较为明亮的区域变暗，而将原先较为黑暗的区域变亮，具体的，可以通过上述灰度反转公式进行像素变换实现，得到的反转图请参见图14中的左图，图14中的左图为本发明实施例的MIP图对应的反转图。
S6222，将反转图利用限制对比度自适应直方图均衡方法增强对比度，得到特征MIP图。
该步骤的主要目的是增强反转图的对比度，以显示更为清晰的血管分布。关于增强对比度的方式，可以采用任意一种现有技术实现，可选的一种实施方式中，该步骤可以采用限制对比度自适应直方图均衡(Contrast Limited Adaptive HistogramEqualization，CLAHE)来增强对比度。关于CLAHE方法请参见现有技术理解，在此不再赘述。得到的特征MIP图请参见图14中的右图，图14中的右图为本发明实施例的MIP图对应的特征MIP图。可以看到，特征MIP图相比于反转图，对比度明显增强，血管更为清晰。
S6222后可以针对各个方向的MIP图分别得到对应的特征MIP图。
本发明实施例中，考虑颅内血管亮血序列MIP图与眼底血管图像具有交叉特征，因此采用特征迁移的迁移学习方法，将MIP图像特征映射到眼底血管图像，使目标神经网络对应的颅内血管输入样本和眼底血管输入样本其具有相同的样本分布。其中，S621和S622可以不分先后顺序。
S623，将各个方向的特征MIP图分别输入目标神经网络，得到对应的二维血管分割图；
将各个方向的特征MIP图分别输入目标神经网络，得到每个方向对应的二维血管分割图，得到的二维血管分割图为一个二值图，即像素只有0和255，白色代表血管，黑色代表背景。
S63，将三个方向的二维血管分割图利用反投影法进行合成，得到第一三维血管体数据；
反投影法的原理是将所测得的投影值，按照其原投影路径，平均地分配到经过的每一个点上，把各个方向的投影值都这样反投影后，在把每个角度的反投影图像进行累加，从而推断出原图。通过将三个方向的二维血管分割图利用反投影法进行合成，可以得到一个三维体数据，本发明实施例称为第一三维血管体数据。其中，本发明实施例中的反投影法可以是直接反投影法、滤波反投影法、卷积反投影法等，在此不做限制。
在进行反投影法处理时，可以对像素值进行控制，在本发明实施例中，通过反投影法的像素控制，得到的第一三维血管体数据中血管部分的体素值为0，非血管部分的体素值为负无穷。
S64，基于第一三维血管体数据、配准后亮血图像组对应的第二三维血管体数据，得到颅内血管模拟三维模型。
可选的一种实施方式中，S64可以包括S641和S642：
S641，将第一三维血管体数据和第二三维血管体数据相加，得到第三三维血管体数据；
可以直接将第一三维血管体数据和第二三维血管体数据中各个体素值对应相加，得到第三三维血管体数据，通过该步骤，可以将颅内与血管信号强度相同的脑脊髓液与脂肪信号消除。
S642，利用阈值分割方法对第三三维血管体数据进行处理，得到颅内血管模拟三维模型。
阈值分割方法是一种基于区域的图像分割技术，原理是把图像象素点分为若干类。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。阈值是界限的意思，阈值分割就是以一个合适的像素值作为界限将图像处理成高对比度、容易识别的图像的一种方法。
本发明实施例所采用的的阈值分割方法包括最大类间方差法、最大熵、迭代法、自适应阀值、手动、迭代法、基本全局阈值法等等。可选的一种实施方式中，本发明实施例可以采用最大类间方差法。
最大类间方差法(或称为大津法，简称OTSU)是一种自适合于双峰情况的自动求取阈值的方法，采用OTSU进行S642可以包括以下步骤：
首先，利用OTSU计算第三三维血管体数据中，居中的第四三维血管体数据对应的第一阈值；
该步骤中是使用OTSU方法求出位于第三三维血管体数据这个大的三维立方体中，靠近中间部分的一个小立方体(称为第四三维血管体数据)中的多个图像所对应的一个阈值作为第一阈值。因为在第三三维血管体数据中，血液信息基本集中于图像的中部，那么，针对第三三维血管体数据中，选取居中的小的立方体数据(第四三维血管体数据)确定第一阈值，可以减小阈值计算量，提高计算速度，且该第一阈值可以准确适用于第三三维血管体数据中所有血液信息。
对于第四三维血管体数据的大小，可以首先确定第三三维血管体数据的中心点，然后以预设边长在立方体对应的六个方向延伸，从而确定第四三维血管体数据的大小；其中，预设边长可以根据包含Willis环的经验值确定，比如为第三三维血管体数据这个立方体的边长的1/4等。其中Willis环是颅内最重要的侧支循环途径，将两侧半球和前、后循环联系起来。
然后，利用第一阈值实现第三三维血管体数据的阈值分割，得到颅内血管模拟三维模型。
本领域技术人员可以理解的是，通过阈值分割，可以将第三三维血管体数据对应图像上的点的灰度值置为0或255，也就是将整个图像呈现出明显的黑白效果，血液信息突出显示为白色，将无关信息显示为黑色。关于阈值分割的处理过程请参考现有技术，在此不再赘述。最终所得到的颅内血管模拟三维模型。请参见图15，图15为本发明实施例的颅内血管模拟三维模型的效果图。该图经过灰度处理，颜色未示出，在实际中，可以以彩色，比如红色显示血管区域。
本发明实施例所提供的方案中，首先对磁共振血管成像技术得到的亮血图像和增强黑血图像采用基于高斯分布抽样的互信息和图像金字塔的配准方法进行图像配准，可以提高配准效率，使图像从低分辨率到高分辨率逐层提高配准精度。通过上述图像配准可以将亮血图像和增强黑血图像统一在相同坐标系下便于后续统一观测。在本领域中，配准后亮血图像均为二维图，虽然已经经过配准，和对应的增强黑血图像在同一坐标系下，减轻了医生观察的难度，但二维图像具有局限性，医生需要结合多个二维图想象血管的具体形态，无法在临床上简便、快速、直观地获得颅内血管整体状态。本发明实施例通过对配准后亮血图像利用最大强度投影法得到各方向的MIP图，并利用颅内血管亮血序列MIP图与眼底血管图像具有相似性的特点，一方面利用眼底血管图像的标注样本训练用于眼底血管分割的网络模型，另一方面对颅内血管亮血序列MIP图进行特征变换，获得与眼底血管图像具有相同样本分布的特征MIP图，采用特征迁移的方式，将眼底血管分割任务预训练好的网络模型迁移到颅内血管分割任务中，得到颅内血管亮血序列MIP图对应的各方向的二维血管分割图。本发明实施例将迁移学习的研究思路应用于颅内血管的分割领域，可以获得较为精准的血管分割效果。之后，利用反投影法得到第一三维血管体数据，并利用配准后亮血图像组对应的第二三维血管体数据实现颅内血管模拟三维模型。该颅内血管模拟三维模型可以模拟颅内三维血管形态，实现了颅内血管的三维可视化，无需医生通过想象力还原血管组织结构及病症特征等，能够方便医生从任意感兴趣的角度、层次观察和分析颅内血管形态特征，可以提供具有形象的颅内血管三维空间信息，便于直观观测，便于定位与显示病灶区域。能够在临床上简便、快速、直观地获得颅内血管整体状态以进行颅内血管病变分析。
S7，利用配准后亮血图像组建立血液边界扩展的血管三维模型；
S6步骤中得到的是血液三维模型，其表征的其实是颅内血液的流向和区域分布，由于实际中血液外围存在有血管壁，因此血液三维模型其实并不能完全代表真实的颅内血管情况。
因此，在S7步骤中，可以对配准后亮血图像中的血液边界进行扩展，使得扩展后的血液边界能够涵盖颅内血管壁的范围，形成一个中空管的效果，再对扩展血液边界后的二维图像利用三维重建方法生成三维模型，进而得到比S6中的血液三维模型更接近真实颅内血管情况的血管三维模型。
关于血液边界的扩展可以通过检测配准后亮血图像中血液边界像素点，将检测到的像素点向预设方向扩展预设个像素点实现，预设个像素点可以根据大量颅内血管直径及血管壁厚度数据所得到的经验值来选取。当然，本发明实施例中扩展血液边界的方式不限于此。
可选的一种实施方式中，S7可以包括S71～S75：
S71，获取K个亮血特征图；
即获取S42步骤得到的K个亮血特征图。
S72，针对每个亮血特征图，利用膨胀操作扩大该亮血特征图中血液的边界，得到该亮血特征图对应的扩展亮血特征图；
膨胀操作是形态学运算的一种，膨胀操作可以填充图像中的空洞，并使物体位于边缘的凸出点向外扩张，最终膨胀后的物体比原先的面积更大。膨胀运算可以记为A⊕B，定义为A⊕B＝{x:B(x)∩A≠Φ}，其中B为结构元素，A为原图。这里的原图A是亮血特征图，亮血特征图中仅有0和255两种像素值，0对应黑色，255对应白色。
S73，将该亮血特征图对应的扩展亮血特征图与该亮血特征图求差，得到该亮血特征图对应的差值特征图；
该步骤针对每个亮血特征图得到的差值特征图是一个类似于中空血管的二维平面图。同样的，该差值特征图的像素值也仅有0和255。
S74，确定第三阈值；
该步骤可以根据经验值为所有差值特征图选定一个像素值作为第三阈值，比如可以选取100～200之间的任意一个值，如128作为第三阈值。
S75，将第三阈值作为移动立方体方法的输入阈值，利用移动立方体方法对K个差值特征图进行处理，得到血液边界扩展的血管三维模型。
移动立方体方法利用第三阈值作为输入阈值，可以由K个差值特征图得到血液边界扩展的血管三维模型。关于移动立方体方法的具体实施过程在此不再赘述。
S8，利用K个造影增强图建立造影增强三维模型；
该步骤可以利用移动立方体方法实现，具体参见S6和S7，在此不再赘述。
S9，基于血液三维模型、血管三维模型、造影增强三维模型，得到颅内血管造影增强三维模型。
可选的一种实施方式中，S9可以包括以下步骤：
S91，保留造影增强三维模型中与血管三维模型的重叠部分，得到保留后造影增强三维模型；
由于S8得到的造影增强三维模型并非只包含了血管的造影增强，需要排除无关组织的增强特性，因此使用S7得到的血管三维模型中血管壁造影增强特性的搜索范围，来判断S8得到的造影增强图三维模型是否位于血液附近的血管壁区域，即判断造影增强三维模型中是否有与血管三维模型的重叠部分，如果是，则表明重叠部分位于搜索范围之内，则需要保留该重叠部分，因此得到保留后造影增强三维模型。
S92，将保留后造影增强三维模型与血液三维模型融合，得到颅内血管造影增强三维模型。
将表征血管造影增强的保留后造影增强三维模型，与表征血液信息的血液三维模型进行融合，可以直观显示有明显造影增强的血管壁，可以清晰地看到颅内血管的哪个部位范围内造影增强效果最为明显，那么该区域可能出现粥样硬化或易损性斑块。
可选的一种实施方式中，颅内血管造影增强三维模型中可以获得造影增强定量分析，具体的，可以针对颅内血管造影增强三维模型中血管壁上任意一个点，得到斑块强化指数CE，其中CE定义为：
其中，SpreBBMR和SpostBBMR分别为黑血图像和造影增强黑血图像中的信号强度。
本领域技术人员可以理解的是，SpreBBMR和SpostBBMR分别是拍摄黑血图像和造影增强黑血图像后，图像中携带的信息。本发明实施例利用上述信息得到颅内血管壁边沿各个点的斑块强化指数CE，并将其体现在颅内血管造影增强三维模型中，可以方便医生获取更为详细的血管信息，具体的，当CE大于一个斑块阈值，比如0.5时，表示该处血管壁上出现了斑块，因此，通过测量血管壁区域的斑块强化指数，有助于鉴别责任颅内动脉斑块等，可以提供有价值的诊断辅助信息。关于两个三维模型的融合技术可以采用现有技术实现，在此不做赘述。具体结果参见图16，图16为本发明实施例的颅内血管造影增强三维模型效果图。其中图像进行了灰度处理。在实际中，图16中可以用不同颜色进行区分，比如蓝色为没有出现造影增强的血管部位，红色处为出现了造影增强的血管部位。说明书附图中白色线圈内的亮色部分为出现了造影增强的颅内血管部位，即该处可能出现了颅内动脉粥样硬化的病症或者易损性斑块，其余部分为没有出现造影增强的血管部位，并且该血管造影增强三维模型可以实现旋转、放大缩小等基本功能，从而辅助医生定位病灶区域，作出更精准的判断。
本发明实施例所提供的方案中，首先对磁共振血管成像技术扫描得到的亮血图像和增强黑血图像采用基于高斯分布抽样的互信息和图像金字塔的配准方法进行图像配准，可提高配准效率，使图像从低分辨率到高分辨率逐层提高配准精度。通过上述图像配准可以将亮血图像和增强黑血图像统一在相同坐标系下。其次利用配准后亮血图像对增强黑血图像进行流空伪影消除操作，可以显示更准确、全面的血管信息。本发明实施例所提供的方案是从图像后处理的角度对流空伪影进行消除，无需使用新的成像技术、成像模式或脉冲序列，因此可以简便、准确、快速地消除流空伪影，并可以在临床应用实现较好的推广。再次，利用配准后亮血图像，采用迁移学习方法建立血液三维模型，并利用配准后亮血图像建立血液边界扩展的血管三维模型，通过将伪影消除增强黑血图像和黑血图像相减得到具有造影增强效果的造影增强三维模型；最后基于血液三维模型、血管三维模型、造影增强三维模型，得到具有造影增强效果的血管壁对应的颅内血管造影增强三维模型。该颅内血管造影增强三维模型可以模拟颅内三维血管形态，实现颅内血管的三维可视化，无需医生通过想象力还原颅内血管组织结构及病症特征等，能够方便医生从任意感兴趣的角度、层次观察和分析血管形态特征，可以提供具有形象的血管三维空间信息，便于直观观测，便于定位与显示病灶区域。能够在临床上简便、快速、直观地获得颅内血管整体状态以进行颅内血管病变分析。
注：本发明实施例中的患者实验数据均来源于陕西省人民医院，图像可用作一般的科学研究。以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (5)
1.一种基于迁移学习的颅内血管造影增强三维模型的建立方法，其特征在于，包括：
获取颅内血管部位的亮血图像组、黑血图像组和增强黑血图像组；其中，所述亮血图像组、所述黑血图像组、所述增强黑血图像组分别包括K个亮血图像、黑血图像和增强黑血图像；所述亮血图像组、所述黑血图像组、所述增强黑血图像组中的图像一一对应；K为大于2的自然数；
将每个亮血图像和对应的增强黑血图像作为一个图像对，对每个图像对进行预处理，得到该图像对的第一亮血图像和第一黑血图像；
针对每个第一亮血图像，以对应的第一黑血图像为基准，利用基于高斯分布抽样的互信息和图像金字塔的配准方法进行图像配准，得到包括K个配准后亮血图像的配准后亮血图像组；
利用所述配准后亮血图像组，对所述增强黑血图像组中的增强黑血图像进行流空伪影消除操作，得到包括K个目标增强黑血图像的伪影消除增强黑血图像组；
将所述伪影消除增强黑血图像组和所述黑血图像组中对应图像相减，得到K个造影增强图；
利用所述配准后亮血图像组，采用迁移学习方法建立血液三维模型；
利用所述配准后亮血图像组建立血液边界扩展的血管三维模型；
利用所述K个造影增强图建立造影增强三维模型；
基于所述血液三维模型、所述血管三维模型、所述造影增强三维模型，得到颅内血管造影增强三维模型；
其中，所述针对每个第一亮血图像，以对应的第一黑血图像为基准，利用基于高斯分布抽样的互信息和图像金字塔的配准方法进行图像配准，得到包括K个配准后亮血图像的配准后亮血图像组，包括：
采用高斯分布抽样选取预处理后的部分图像对作为测试图像对；
对每个测试图像对中的所述第一亮血图像和所述第一黑血图像，采用基于互信息和图像金字塔的配准方法进行图像配准，得到配准后该测试图像对中所述第一亮血图像对应的旋转矩阵；
获得所有测试图像对的旋转矩阵的均值；
利用所述旋转矩阵的均值，对除所述测试图像对之外的、其余预处理后的图像对中的所述第一亮血图像进行坐标变换，完成图像配准，得到包括K个配准后亮血图像的配准后亮血图像组；
所述对每个测试图像对中的所述第一亮血图像和所述第一黑血图像，采用基于互信息和图像金字塔的配准方法进行图像配准，得到配准后该测试图像对中所述第一亮血图像对应的旋转矩阵，包括：
针对每个测试图像对，基于下采样处理，由所述第一亮血图像得到亮血高斯金字塔，由所述第一黑血图像得到黑血高斯金字塔；其中，所述亮血高斯金字塔和所述黑血高斯金字塔中包括从下至上分辨率依次变小的m个图像；m为大于3的自然数；
基于上采样处理，利用所述亮血高斯金字塔得到亮血拉普拉斯金字塔，利用所述黑血高斯金字塔得到黑血拉普拉斯金字塔；其中，所述亮血拉普拉斯金字塔和所述黑血拉普拉斯金字塔中包括从下至上分辨率依次变小的m-1个图像；
对所述亮血拉普拉斯金字塔和所述黑血拉普拉斯金字塔中对应层的图像进行配准，得到配准的亮血拉普拉斯金字塔；
利用所述配准的亮血拉普拉斯金字塔作为叠加信息，对所述亮血高斯金字塔和所述黑血高斯金字塔中各层图像进行自上而下的配准，得到配准的亮血高斯金字塔，并得到配准后该测试图像对中所述第一亮血图像对应的旋转矩阵；
所述利用所述配准的亮血拉普拉斯金字塔作为叠加信息，对所述亮血高斯金字塔和所述黑血高斯金字塔中各层图像进行自上而下的配准，得到配准的亮血高斯金字塔，包括：
对所述亮血高斯金字塔和所述黑血高斯金字塔中自上而下的第j层，将该层对应的黑血高斯图像作为参考图像，将该层对应的亮血高斯图像作为浮动图像，使用基于互信息的相似性度量，并采用预定搜索策略，实现图像配准，得到配准后的第j层亮血高斯图像；
将所述配准后的第j层亮血高斯图像进行上采样操作，并与配准后的对应层亮血拉普拉斯图像相加，利用相加后的图像替换所述亮血高斯金字塔中第j+1层的亮血高斯图像；
将第j+1层的黑血高斯图像作为参考图像，将替换后的第j+1层的亮血高斯图像作为浮动图像，使用预定相似性度量及预定搜索策略，实现图像配准，得到配准后的第j+1层亮血高斯图像；
其中j＝1，2，…，m-1，所述黑血高斯图像为所述黑血高斯金字塔中的图像，所述亮血高斯图像为所述亮血高斯金字塔中的图像；
所述利用所述配准后亮血图像组，采用迁移学习方法建立血液三维模型，包括：
将所述配准后亮血图像组利用最大强度投影法在预设的三个方向进行投影，得到各个方向的MIP图；
将各个方向的MIP图作为目标域，将眼底血管图作为源域，利用迁移学习方法得到各个方向的MIP图对应的二维血管分割图；
将三个方向的所述二维血管分割图利用反投影法进行合成，得到第一三维血管体数据；其中，所述第一三维血管体数据中血管部分的体素值为0，非血管部分的体素值为负无穷；
基于所述第一三维血管体数据、所述配准后亮血图像组对应的第二三维血管体数据，得到血液三维模型；
所述将各个方向的MIP图作为目标域，将眼底血管图作为源域，利用迁移学习方法得到各个方向的MIP图对应的二维血管分割图；包括：
获得针对眼底血管图分割任务预训练好的目标神经网络；其中，所述目标神经网络是根据眼底血管图数据集、改进型U-net网络模型预先训练得到的；
将各个方向的MIP图分别进行灰度反转处理以及对比度增强处理，得到对应的特征MIP图；其中，所述特征MIP图与眼底血管图具有相同的样本分布；
将各个方向的所述特征MIP图分别输入所述目标神经网络，得到对应的二维血管分割图。
2.根据权利要求1所述的方法，其特征在于，所述对每个图像对进行预处理，得到该图像对的第一亮血图像和第一黑血图像，包括：
针对每个图像对，以所述增强黑血图像为基准，将所述亮血图像进行坐标变换和图像插值，使用基于互信息的相似性度量，并采用预定搜索策略，得到预配准后的第一亮血图像；
从所述增强黑血图像中，提取与所述第一亮血图像的扫描范围相同的区域内容，形成第一黑血图像。
3.根据权利要求1所述的方法，其特征在于，所述利用所述配准后亮血图像组，对所述增强黑血图像组中的增强黑血图像进行流空伪影消除操作，得到包括K个目标增强黑血图像的伪影消除增强黑血图像组，包括：
针对每一个配准后亮血图像，提高该配准后亮血图像的对比度，得到对比增强亮血图像；
从所述对比增强亮血图像中提取出血液信息，得到亮血特征图；
将所述亮血特征图与该配准后亮血图像对应的增强黑血图像，依据预设融合公式进行图像融合，得到该增强黑血图像对应的流空伪影消除的目标增强黑血图像；
由K个增强黑血图像对应的目标增强黑血图像，得到伪影消除增强黑血图像组。
4.根据权利要求3所述的方法，其特征在于，所述从所述对比增强亮血图像中提取出血液信息，得到亮血特征图，包括：
利用预设图像二值化方法确定第一阈值；
利用所述第一阈值，从所述对比增强亮血图像中提取出血液信息；
由提取出的所述血液信息得到亮血特征图。
5.根据权利要求1或4所述的方法，其特征在于，所述基于所述血液三维模型、所述血管三维模型、所述造影增强三维模型，得到颅内血管造影增强三维模型，包括：
保留所述造影增强三维模型中与所述血管三维模型的重叠部分，得到保留后造影增强三维模型；
将所述保留后造影增强三维模型与所述血液三维模型融合，得到颅内血管造影增强三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011322228.4A CN112669439B (zh) | 2020-11-23 | 2020-11-23 | 基于迁移学习的颅内血管造影增强三维模型的建立方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011322228.4A CN112669439B (zh) | 2020-11-23 | 2020-11-23 | 基于迁移学习的颅内血管造影增强三维模型的建立方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112669439A CN112669439A (zh) | 2021-04-16 |
| CN112669439B true CN112669439B (zh) | 2024-03-19 |
Family
ID=75403533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011322228.4A Active CN112669439B (zh) | 2020-11-23 | 2020-11-23 | 基于迁移学习的颅内血管造影增强三维模型的建立方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112669439B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899876A (zh) * | 2015-05-18 | 2015-09-09 | 天津工业大学 | 一种基于自适应高斯差分的眼底图像血管分割方法 |
| WO2019231844A1 (en) * | 2018-05-27 | 2019-12-05 | Elucid Bioimaging Inc. | Methods and systems for utilizing quantitative imaging |
| CN112669399A (zh) * | 2020-11-23 | 2021-04-16 | 西安科锐盛创新科技有限公司 | 一种基于迁移学习的颅内血管增强三维模型的建立方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012143824A1 (en) * | 2011-04-21 | 2012-10-26 | Koninklijke Philips Electronics N.V. | Interleaved black and bright blood dynamic contrast enhanced (dce) mri |
-
2020
- 2020-11-23 CN CN202011322228.4A patent/CN112669439B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899876A (zh) * | 2015-05-18 | 2015-09-09 | 天津工业大学 | 一种基于自适应高斯差分的眼底图像血管分割方法 |
| WO2019231844A1 (en) * | 2018-05-27 | 2019-12-05 | Elucid Bioimaging Inc. | Methods and systems for utilizing quantitative imaging |
| CN112669399A (zh) * | 2020-11-23 | 2021-04-16 | 西安科锐盛创新科技有限公司 | 一种基于迁移学习的颅内血管增强三维模型的建立方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王云 ; 朱祖福 ; 彭岚 ; 刘定华 ; 王其平 ; 王旭 ; 姜岐涛 ; .三维对比增强MR血管成像在颈动脉狭窄诊断中的临床应用.徐州医学院学报.2007,(10),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112669439A (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022105623A1 (zh) | 一种基于迁移学习的颅内血管病灶识别方法 | |
| WO2022105647A1 (zh) | 一种颅内血管造影增强三维模型的建立方法 | |
| US11830193B2 (en) | Recognition method of intracranial vascular lesions based on transfer learning | |
| CN112598619A (zh) | 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 | |
| CN112509075A (zh) | 基于智慧医疗的颅内血管病灶标记与三维显示方法 | |
| CN112950737B (zh) | 基于深度学习的眼底荧光造影图像生成方法 | |
| CN112634196A (zh) | 一种基于智慧医疗的医学图像分割与显示方法 | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| CN112508867A (zh) | 一种模拟化三维颅内血管狭窄分析模型的建立方法 | |
| CN114170151A (zh) | 一种基于迁移学习的颅内血管病灶识别方法 | |
| CN112508873A (zh) | 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 | |
| CN112509079A (zh) | 颅内血管造影增强三维狭窄化分析模型的建立方法 | |
| CN112669256B (zh) | 一种基于迁移学习的医学图像分割与显示方法 | |
| CN114170337A (zh) | 一种基于迁移学习的颅内血管增强三维模型的建立方法 | |
| US20220164967A1 (en) | Method of establishing an enhanced three-dimensional model of intracranial angiography | |
| CN112669439B (zh) | 基于迁移学习的颅内血管造影增强三维模型的建立方法 | |
| CN112509076A (zh) | 基于智慧医疗的颅内血管病灶标记与三维显示系统 | |
| CN112509080A (zh) | 一种基于迁移学习的颅内血管模拟三维模型的建立方法 | |
| Zhao et al. | Automated coronary tree segmentation for x-ray angiography sequences using fully-convolutional neural networks | |
| CN112508874A (zh) | 基于智慧医疗的脑血管病变标记与三维显示系统 | |
| CN112509077A (zh) | 一种基于智慧医疗的颅内血管图像分割与显示方法 | |
| CN114240841A (zh) | 一种模拟化三维血管狭窄分析模型的建立方法 | |
| CN112634386A (zh) | 一种血管造影增强三维狭窄化分析模型的建立方法 | |
| CN112508881A (zh) | 一种颅内血管图像配准方法 | |
| CN112508868A (zh) | 一种颅内血管综合图像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |