CN112508873A - 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 - Google Patents

基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 Download PDF

Info

Publication number
CN112508873A
CN112508873A CN202011324130.2A CN202011324130A CN112508873A CN 112508873 A CN112508873 A CN 112508873A CN 202011324130 A CN202011324130 A CN 202011324130A CN 112508873 A CN112508873 A CN 112508873A
Authority
CN
China
Prior art keywords
image
blood
bright
pyramid
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011324130.2A
Other languages
English (en)
Inventor
贾艳楠
王文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Cresun Innovation Technology Co Ltd
Original Assignee
Xian Cresun Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Cresun Innovation Technology Co Ltd filed Critical Xian Cresun Innovation Technology Co Ltd
Priority to CN202011324130.2A priority Critical patent/CN112508873A/zh
Publication of CN112508873A publication Critical patent/CN112508873A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/421—Filtered back projection [FBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Epidemiology (AREA)
  • Algebra (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法，包括：获取颅内血管的亮血图像组和增强黑血图像组；利用基于互信息和图像金字塔的配准方法进行图像配准得到配准后亮血图像组；利用配准后亮血图像组得到各个方向的MIP图；基于MIP图作为目标域和眼底血管图得到二维血管分割图；将三个方向的二维血管分割图利用反投影法进行合成得到第一三维血管体数据；并利用配准后亮血图像组对应的第二三维血管体数据，得到颅内血管模拟三维模型；针对该模型中的每一段血管，得到表征该段血管狭窄程度的目标参数的数值，利用目标参数的数值对颅内血管模拟三维模型进行标记，得到模拟化三维颅内血管狭窄分析模型。

Description

基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法
技术领域
本发明属于图像处理领域，具体涉及一种基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法。
背景技术
近年来，血管类疾病位居高发疾病榜首，已严重危害当代人的生命健康安全。尤其是颅内血管类疾病如脑卒中，已成为致死率高的疾病之一。脑卒中是颅内血管破裂、狭窄或堵塞引起脑组织坏死，进而产生的一系列症状，包括脑出血、脑梗死等。
目前临床上对于颅内血管病变程度的评估，通常使用基于管腔成像的方法，如数字减影血管造影术(Digital Subtraction Angiography,DSA)、CT血管成像(ComputedTomography Angiography,CTA)、磁共振血管成像(Magnetic Resonance Angiography,MRA)以及高分辨率磁共振血管成像(High-Resolution Magnetic ResonanceAngiography,HRMRA)等。颅内动脉血管与颈动脉和椎动脉相连，在脑底部形成环状结构，结构形态特殊，走形曲折，且管壁厚度极薄。通过磁共振血管成像技术，能够清晰地描绘出颅内动脉血管的路径。
其中，磁共振血管成像技术(MRA或HRMRA)作为一种对患者无创的成像方法，可以清晰地检测到颅内血管壁结构并进行分析，扫描得到的磁共振图像对于软组织的分辨率高，没有骨伪影，图像质量好，且能够使用多种序列扫描得到具有不同成像特点的组织结构，在颅内血管的显示上具有明显的优越性。
由于磁共振血管成像技术得到的亮血序列、黑血序列对应的图像均为二维图像，具有局限性。不利于临床上简便、快速、直观地获得颅内血管整体状态。
发明内容
为了在临床上简便、快速、直观地获得颅内血管整体状态。本发明实施例提供了一种基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法。包括：
获取颅内血管的亮血图像组和增强黑血图像组；其中，亮血图像组和增强黑血图像组分别包括K个亮血图像和K个增强黑血图像；亮血图像组和增强黑血图像组中的图像一一对应；K为大于2的自然数；针对亮血图像组中每一个亮血图像，以增强黑血图像组中对应的增强黑血图像为基准，利用基于互信息和图像金字塔的配准方法进行图像配准，得到包括K个配准后亮血图像的配准后亮血图像组；将配准后亮血图像组利用最大强度投影法在预设的三个方向进行投影，得到各个方向的MIP图；将各个方向的MIP图作为目标域，将眼底血管图作为源域，利用迁移学习方法得到各个方向的MIP图对应的二维血管分割图；将三个方向的二维血管分割图利用反投影法进行合成，得到第一三维血管体数据；其中，第一三维血管体数据中血管部分的体素值为0，非血管部分的体素值为负无穷；基于第一三维血管体数据、配准后亮血图像组对应的第二三维血管体数据，得到颅内血管模拟三维模型；针对所述颅内血管模拟三维模型中的每一段血管，得到表征该段血管狭窄程度的目标参数的数值；利用各段血管的所述目标参数的数值对所述颅内血管模拟三维模型进行标记，得到模拟化三维颅内血管狭窄分析模型。
本发明实施例所提供的方案中，首先对磁共振血管成像技术得到的亮血图像和增强黑血图像采用基于互信息和图像金字塔的配准方法进行图像配准，可以提高配准效率，使图像从低分辨率到高分辨率逐层提高配准精度。通过对配准后亮血图像利用最大强度投影法得到各方向的MIP图，并利用颅内血管亮血序列MIP图与眼底血管图像具有相似性的特点，一方面利用眼底血管图像的标注样本训练用于眼底血管分割的网络模型，另一方面对颅内血管亮血序列MIP图进行特征变换，获得与眼底血管图像具有相同样本分布的特征MIP图，采用特征迁移的方式，将眼底血管分割任务预训练好的网络模型迁移到颅内血管分割任务中，得到颅内血管亮血序列MIP图对应的各方向的二维血管分割图。本发明实施例将迁移学习的研究思路应用于颅内血管的分割领域，可以获得较为精准的血管分割效果。之后，利用反投影法得到第一三维血管体数据，并利用配准后亮血图像组对应的第二三维血管体数据实现颅内血管模拟三维模型。该颅内血管模拟三维模型可以模拟颅内三维血管形态，实现了颅内血管的三维可视化，无需医生通过想象力还原血管组织结构及病症特征等，能够方便医生从任意感兴趣的角度、层次观察和分析颅内血管形态特征，可以提供具有形象的颅内血管三维空间信息，便于直观观测，便于定位与显示病灶区域。能够在临床上简便、快速、直观地获得颅内血管整体状态以进行颅内血管病变分析。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于迁移学习的颅内血管模拟三维模型的建立方法的流程示意图；
图2为本发明实施例的颅内血管磁共振图像坐标变换示意图；
图3为本发明实施例的两种搜索策略配准对比结果；
图4为本发明实施例的颅内血管磁共振图像经过预配准后的结果图；
图5为本发明实施例的颅内血管磁共振图像的待配准区域示意图；
图6(a)为本发明实施例的颅内血管磁共振图像的亮血高斯金字塔和黑血高斯金字塔；图6(b)为本发明实施例的颅内血管磁共振图像的亮血拉普拉斯金字塔和黑血拉普拉斯金字塔；
图7为本发明实施例的颅内血管磁共振图像的拉普拉斯金字塔图像的配准结果；
图8为本发明实施例的颅内血管磁共振图像基于互信息的高斯金字塔图像配准步骤示意图；
图9为本发明实施例的不同迭代次数下的归一化互信息；
图10为多种配准方法的颅内血管磁共振图像的配准结果；
图11为本发明实施例的作为示例的一个MIP图；
图12为本发明实施例的MIP图对应的反转图、特征MIP图；
图13为本发明实施例的颅内血管模拟三维模型的效果图；
图14为本发明实施例的模拟化三维颅内血管狭窄分析模型效果图；
图15为本发明实施例的模拟化三维颅内血管狭窄分析模型和切面图显示效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了在临床上简便、快速、直观地获得颅内血管整体状态。本发明实施例提供了一种基于迁移学习的颅内血管模拟三维模型的建立方法。
如图1所示，本发明实施例所提供的一种基于迁移学习的颅内血管模拟三维模型的建立方法，可以包括如下步骤：
S1，获取颅内血管部位的亮血图像组和增强黑血图像组；
其中，亮血图像组和增强黑血图像组分别包括K个亮血图像和K个增强黑血图像；亮血图像组和增强黑血图像组中的图像一一对应；K为大于2的自然数；
亮血图像组是对颅内血管部位使用磁共振血管成像技术进行亮血序列扫描得到的图像组。具体的，亮血图像组可以是TOF-MRA序列。其中，TOF是亮血序列扫描方法之一，称为时间飞跃法(Time of Fly,TOF)。增强黑血图像组是对患者先注入顺磁性造影剂，再对颅内血管部位使用磁共振血管成像技术进行黑血序列扫描得到的图像组。本发明实施例中，磁共振血管成像技术优选为HRMRA。
亮血图像组和增强黑血图像组中的K个图像的对应方式是按照扫描时间形成的图像次序相同。
S2，针对亮血图像组中每一个亮血图像，以增强黑血图像组中对应的增强黑血图像为基准，利用基于互信息和图像金字塔的配准方法进行图像配准，得到包括K个配准后亮血图像的配准后亮血图像组；
该步骤实际上是完成每一个亮血图像的图像配准，即将待配准的亮血图像作为浮动图像，将该亮血图像对应的增强黑血图像作为参考图像，利用基于互信息的相似性度量，并引入图像金字塔方法，进行图像配准。
可选的一种实施方式中，S2可以包括S21～S27：
S21，对每一个亮血图像和对应的增强黑血图像进行预处理，得到第一亮血图像和第一黑血图像；
可选的一种实施方式中，S21可以包括S211和S212：
S211，针对每一个亮血图像，以对应的增强黑血图像为基准，将该亮血图像进行坐标变换和图像插值，并使用基于互信息的相似性度量及预定搜索策略，得到预配准后的第一亮血图像；
S211步骤实际上是对亮血图像以增强黑血图像为基准进行的图像预配准。
增强黑血图像是按冠状面扫描成像的，而亮血图像却是按轴状面扫描成像的，序列扫描方向的不同导致两者最终的磁共振成像层面不同，因此需要通过坐标变换来实现在一个标准参考坐标系下观察不同成像层面的磁共振图像。
针对血管图像，可以利用医学图像DICOM(Digital Imaging and Communicationsin Medicine,医学数字成像与通信)文件中的方向信息实现图像的坐标变换。DICOM文件是CT或核磁共振等医疗设备的图像保存格式，DICOM标准中存储的内容除了图像信息，还包括患者的个人数据、图像层厚、时间戳、医疗设备信息等。DICOM3.0格式影像文件中含有与成像方向有关的方位标签信息，该信息简要地介绍了患者与影像仪器之间的方位关系，通过其中的数据，可以得知在图像中每个像素准确的位置信息。
具体的，增强黑血图像和亮血图像为待配准的图像，可以根据亮血图像的DICOM文件中的方位标签信息，以增强黑血图像的坐标系为基准，将增强黑血图像作为参考图像，将亮血图像作为浮动图像，将亮血图像进行坐标变换，实现旋转亮血图像至与增强黑血图像相同坐标系的目的，旋转后亮血图像的扫描方向也变为呈冠状面。
为了便于理解本发明实施例的方法，以下结合图像配准过程进行简要介绍，具体过程可以借鉴相关现有技术进行了解。
对于两幅图像A和B的配准，实际上就是将图像A中的每个坐标位置通过一个映射关系，对应到图像B中。具体的坐标变换方法可以包括刚体变换、仿射变换、投影变换和非线性变换等。由于颅内血管可以看作是一个刚体，因此，本发明实施例选用刚体变换作为坐标变换方法。
但是在坐标变换过程中，浮动图像的坐标系会发生拉伸或形变，经过坐标变换后的图像像素坐标与原图的采样网格并不会完全重合，即原先为整数的像素坐标点经过坐标变换后可能不再是整数，导致图像的有些区域丢失掉部分像素，因此在图像坐标变换的过程中，需要同时对图像进行重采样插值，来确定经过坐标变换后图像像素坐标点的灰度值，便于后续处理。图像插值方法包括最近邻插值、双线性插值和双三次插值等。
本发明实施例对亮血图像的图像插值方法进行仿真实验，先将原图缩小50％，然后使用不同插值算法得到与原图大小相同的效果图，并与原图像做对比。表1所示数据为重复100次插值操作的结果平均值，实验共设定了5项评价指标，分别是均方根误差RMSE、峰值信噪比PSNR、归一化互相关系数NCC、归一化互信息NMI以及耗时Time，其中RMSE越小配准越精确，PSNR、NCC与NMI值越高配准越精确。从整体实验数据上看，双三次插值的精度明显优于最近邻插值和双线性插值，虽然双三次插值的插值时间较前两种方法慢，但100次插值操作只比最快的最近邻插值多了0.1秒，即每次操作只慢了0.001秒。因此，权衡之下，本发明实施例采用图像质量较高的双三次插值。
表1图像插值结果分析
Figure BDA0002793809590000061
使用图像插值方法将缺失的像素点进行图像恢复之后，还需要使用某种相似性度量来计算参考图像和变化后的浮动图像的相似性，接着利用搜索策略找到最优的相似性度量，循环反复迭代求优，直到两幅图像的相似性度量达到最优时，迭代停止，最后根据确定的空间变换矩阵(旋转矩阵)对浮动图像进行坐标转换，实现图像完全配准。待配准的图像在经历一个迭代算法优化后，能够计算得到两幅图像的空间位置配准关系以及配准图像，使得配准后的浮动图像与参考图像相似度达到最高。
衡量两幅图像之间特征相似性的尺度为相似性度量，选择合适的相似性度量可以提高配准精度，有效抑制噪声等，它在图像的配准中有着非常重要的作用。常用的相似性度量主要分为三大类，分别是距离度量、相关度量以及信息熵。在本发明实施例中，针对颅内血管，其可以看作是一个刚体，几乎不会发生形变，不同于心脏或肺部等器官会随着人的呼吸等运动发生改变，因此针对颅内血管可以选用互信息或归一化互信息作为相似性度量，使配准效果更精确。
互信息和归一化互信息是信息熵中的一种。互信息(Mutual Information,MI)，它衡量了两幅图像之间的相关性，或是互相包含的信息量，用来解释两幅图像是否达到了最优配准，互信息的值越大，表示两幅图像越相似。归一化互信息(Normalization MutualInformation,NMI)，它是互信息度量的改良，当两幅待配准图像的像素灰度级数类似的时候，使用NMI作为相似性度量，得到的配准图像准确度更高，更加可靠。NMI的取值范围为[0,1]，值越接近于1，表明两幅图像越相似。归一化互信息的概念，解决了当两幅图像的重叠部分较小或者重叠区域大部分为背景信息时，基于互信息的图像配准反而精度不高，配准效果不好的问题，降低了互信息对于图像重叠区域的敏感性。
图像配准实质上是一个多参数的优化问题，即通过使用某种搜索策略对图像进行空间坐标变化，最终使得两幅图像的相似性度量达到最优，其中搜索策略与空间坐标变化在实际计算过程中是彼此交叉进行的。算法思想是在每次迭代中计算两幅图像之间的相似性度量，并通过平移或旋转等坐标变换的操作调整浮动图像，同时对图像进行插值，一直到两幅图像的相似性度量最大为止。目前常用的搜索策略包括梯度下降优化器、基于进化策略(Evolution Strategy,ES)的(1+1)-ES等等，本发明实施例中的预定搜索策略可以根据需要选择。
具体的实验结果如下所示，参见图2，图2为本发明实施例的颅内血管磁共振图像坐标变换示意图，其中第一行分别为增强黑血图像和亮血图像，第二行分别为增强黑血图像和经过坐标变换后的亮血图像，可见，经过坐标变换后，亮血图像与增强黑血图像的扫描方向一致，均呈冠状面。
实验中使用梯度下降优化器和(1+1)-ES这两种搜索策略分别对160幅亮血图像与相应扫描层面的160幅增强黑血图像进行配准，其中增强黑血图像为参考图像，亮血图像为浮动图像，配准结果显示如图3所示，图3为本发明实施例的两种搜索策略配准对比结果；图3中左图为未使用优化器配准的两幅图像成对显示结果，中图为使用梯度下降优化器配准的图像成对显示结果，右图为使用(1+1)-ES优化器配准的图像成对显示结果。右图像显示采用蒙太奇效果，使用伪彩色透明处理增强黑血图像与亮血图像，紫色为增强黑血图像，绿色为亮血图像(附图图像是原图灰度处理后的图像，颜色未示出)。从图中可以看出，未使用优化器进行配准的图像中，增强黑血图像与亮血图像并未重合，且阴影较多；当使用梯度下降优化器配准图像时，虽然较左图配准效果较好，但在脑灰质处仍出现了明显的不重合现象；而使用(1+1)-ES优化器的图像中，配准结果精确，图像中不重合的阴影部分完全消失。表1所示数据为配准结果的3项评价指标，分别是归一化互信息NMI、归一化互相关系数NCC与算法耗时Time。从实验结果图上看，(1+1)-ES的配准图像效果显示更清晰，优于梯度下降优化器；从实验数据上看，三项评价指标都表现了(1+1)-ES优化器的良好性能，因此，本发明实施例中，优选的，预定搜索策略为(1+1)-ES。
表2不同搜索策略下的结果分析
Figure BDA0002793809590000081
a中的值是基于160幅亮血图像与160幅增强黑血图像配准的评价指标平均值±均方误差
参见图4，图4为本发明实施例的颅内血管磁共振图像经过预配准后的结果图。左图为预配准后的第一亮血图像，其中插值方法采用双三次插值；中图为增强黑血图像，可见两者都为冠状面，右图为两者直接叠加后的效果图，右图可以看到虽然经过了预配准，可在同一冠状面下观测到当前成像层下的亮血图像和增强黑血图像，但两者仍存在不重合现象，因此还需要后续进行图像精配准。
通过该步骤的预配准，可以初步实现在同一坐标系下对比相同扫描层面的磁共振图像，但是由于亮血序列和黑血序列扫描的时间不同，且患者可能在扫描前后发生了轻微的运动，所以上述操作只是一个粗糙的坐标变换，仅通过预配准并不能实现多模态磁共振图像的完全配准，但是该步骤可以为后续的精确配准环节省略不必要的处理过程，提高处理速度。
S212，从对应的增强黑血图像中，提取与第一亮血图像的扫描范围相同的区域内容，形成第一黑血图像。
由于血管成像在不同磁共振序列中的扫描范围不同，当亮血图像经过图像坐标变换后，其冠状面的信息并没有增强黑血图像的信息丰富，因此为能够更快速、准确地配准好两种序列下的同一区域，可以根据第一亮血图像的扫描区域，在增强黑血图像中提取出相同的扫描区域，缩小后续图像的配准范围。
可选的，S212可以包括以下步骤：
1.获得第一亮血图像中血管的边缘轮廓信息；
具体可以使用Sobel边缘检测方法等方法获取边缘轮廓信息。边缘轮廓信息包含各个边缘点的坐标值。
2.在边缘轮廓信息中，提取横坐标、纵坐标的最小值和最大值，基于获得的四个坐标值确定初始提取边框；
也就是在边缘轮廓信息中，提取最小横坐标值、最大横坐标值、最小纵坐标值、最大纵坐标值，利用这四个坐标值确定方形边框的四个顶点，从而得到初始提取边框；
3.在第一亮血图像的尺寸范围内，将初始提取边框沿四个方向分别扩大预设数量个像素大小，得到最终提取边框；
其中，四个方向分别是横纵坐标的正负方向；预设数量根据血管图像的类型合理选择，目的是保证扩大后的最终提取边框不超过第一亮血图像的尺寸范围，比如预设数量可以为20等。
4.从对应的增强黑血图像中，提取最终提取边框中对应的区域内容，形成第一黑血图像。
依据最终提取边框划定的坐标范围，提取对应的增强黑血图像中对应区域的内容，将提取出的内容形成第一黑血图像。该步骤通过提取待配准区域来获取两种模态下磁共振图像的共同扫描范围，有利于后续的快速配准。
参见图5，图5为本发明实施例的颅内血管磁共振图像的待配准区域示意图，其中左图为预配准后的第一亮血图像，右图为增强黑血图像，方框为增强黑血图像中待提取区域。这个区域包含了在颅内血管磁共振图像中，亮血序列以及黑血序列的共同扫描范围，通过确定待提取区域，能够更快速地关注到有用信息。
本发明实施例的上述两步预处理过程有着非常重要的作用，经过该预处理后的图像可以更多地关注有用信息，排除无关信息，在实际使用中，使用该图像预处理可以提高图像配准、识别的可靠性。
本发明实施例中，为提高图像配准的准确度，避免图像在配准过程中收敛到局部最大值，选择使用多分辨率策略来解决局部极值的问题，同时利用多分辨率策略在满足图像配准精度的条件下，提高算法执行速度，增加鲁棒性。因此采用图像金字塔方法。构建图像金字塔就是一种通过增加模型复杂度来提高配准精度和速度的有效方式，即在配准过程中，按从粗配准到精配准的顺序执行，首先对低分辨率的图像进行配准，接着在低分辨率图像配准完成的基础上，对分辨率高的图像进行配准。可选的，可以采用以下步骤：
S22，基于下采样处理，由第一亮血图像得到亮血高斯金字塔，由第一黑血图像得到黑血高斯金字塔；其中，亮血高斯金字塔和黑血高斯金字塔中包括从下至上分辨率依次变小的m个图像；m为大于3的自然数；
可选的一种实施方式中，S22可以包括以下步骤：
获取第i层的输入图像，对第i层的输入图像利用高斯内核进行滤波，并删除滤波后图像的偶数行和偶数列，得到高斯金字塔的第i层图像Gi，并将第i层图像Gi作为第i+1层的输入图像，得到高斯金字塔的第i+1层图像Gi+1；
其中，i＝1、2，…，m-1；当高斯金字塔为亮血高斯金字塔时，第1层的输入图像为第一亮血图像，当高斯金字塔为黑血高斯金字塔时，第1层的输入图像为第一黑血图像。
具体的，高斯金字塔中的多个图像是同一原图像不同分辨率所对应的图像。高斯金字塔通过高斯滤波和下采样来获取图像，它的每一层构建步骤可以分为两步：首先使用高斯滤波对图像进行平滑滤波，即采用高斯内核进行滤波；接着删除滤波后图像的偶数行和偶数列，即将低一层图像的宽和高缩小一半，得到当前层图像，因此当前层图像为低一层图像大小的四分之一，通过不断地迭代以上步骤，最终可以得到高斯金字塔。
高斯滤波其实是一种低通滤波器，高斯金字塔中的图像频率范围很广，其中低一层图像的截止频率是高一层图像截止频率的2倍。
高斯滤波先使用高斯函数来计算得到一个权重矩阵，再使用该权重矩阵对原图像做卷积运算，一般可以使用二维的高斯模板进行上述处理。虽然使用二维的高斯模板可以实现模糊图像的效果，但是当一个点在边界，周围没有足够的点时，会由于权重矩阵的关系导致边缘图像缺失，因此本发明实施例对二维高斯模板进行优化。可以将二维高斯滤波拆分成两个独立的一维高斯滤波，分别在横纵两个方向上进行图像滤波。将高斯函数分离，不仅能够消除二维高斯模板产生的边缘，还可以极大地加快程序的运行速度。相较于其他模糊滤波器，高斯滤波既可以实现图像的模糊效果，又能更好地保留边际效果。
本步骤中通过对经过预处理后的第一亮血图像和第一黑血图像进行上述处理，可以得到亮血高斯金字塔和黑血高斯金字塔。其中，图像层数m可以为4。如图6(a)所示，图6(a)为本发明实施例的颅内血管磁共振图像的亮血高斯金字塔和黑血高斯金字塔。
这些分辨率逐渐减小，来源于同一张图像不同分辨率的图像组合，排列起来形似金字塔，因此被称为图像金字塔，其中分辨率最高的图像位于金字塔底部，分辨率最低的图像位于金字塔顶部。在计算机视觉下不同分辨率的图像，恰恰模拟了在不同距离下人眼观测的一幅图像，在图像信息处理上，多分辨率的图像相较于传统的单分辨率图像，更容易获取图像的本质特征。
S23，基于上采样处理，利用亮血高斯金字塔得到亮血拉普拉斯金字塔，利用黑血高斯金字塔得到黑血拉普拉斯金字塔；其中，亮血拉普拉斯金字塔和黑血拉普拉斯金字塔中包括从下至上分辨率依次变小的m-1个图像；
由于高斯金字塔是向下采样，即缩小图像，因此会丢失掉图像的一部分数据。因此，本发明实施例为避免图像在缩放过程中的数据缺失，恢复细节数据，在后续步骤使用拉普拉斯金字塔，配合高斯金字塔一起实现图像重建，在高斯金字塔图像的基础上突出细节。
可选的一种实施方式中，S23可以包括以下步骤：
对高斯金字塔的第i+1层图像Gi+1进行上采样，并用数据0填充新增的行和列，得到填充图像；
对填充图像利用高斯内核进行卷积，获得填充像素的近似值，得到放大图像；
将高斯金字塔的第i层图像Gi与放大图像相减，得到拉普拉斯金字塔的第i层图像Li；
其中，当高斯金字塔为亮血高斯金字塔时，拉普拉斯金字塔为亮血拉普拉斯金字塔，当高斯金字塔为黑血高斯金字塔时，拉普拉斯金字塔为黑血拉普拉斯金字塔。
由于拉普拉斯金字塔是图像经过下采样操作后与原图的残差，因此从下至上对比，拉普拉斯金字塔比高斯金字塔结构少一层高层图像。
具体的，生成拉普拉斯金字塔结构的数学公式如(1)所示，其中Li表示第i层拉普拉斯金字塔(亮血拉普拉斯金字塔或黑血拉普拉斯金字塔)，Gi表示第i层高斯金字塔(亮血高斯金字塔或黑血高斯金字塔)，而UP操作为向上采样放大图像，符号
Figure BDA0002793809590000111
是卷积符号，
Figure BDA0002793809590000112
是在构建高斯金字塔中使用的高斯内核。此公式表明了拉普拉斯金字塔实质上是使用原图像减去先缩小、再放大的图像的残差数据构成的，是一种残差预测金字塔，核心思想是用来存储图像经过下采样操作后与原图的差异，保留图像的高频信息，目的是为能够完整地恢复出每一层级进行下采样操作前的图像。由于之前下采样操作丢失的一部分信息并不能通过上采样来完全恢复，即下采样是不可逆的，所以图像先经过下采样，再进行上采样后的显示效果比原图模糊。通过存储图像经过下采样操作后与原图的残差，能够在高斯金字塔图像的基础上给不同频率层的图像增加细节，对细节等进行突出。
Figure BDA0002793809590000121
对应于4层的高斯金字塔，本步骤可以得到图像层数为3的亮血拉普拉斯金字塔和黑血拉普拉斯金字塔。如图6(b)所示，图6(b)为本发明实施例的颅内血管磁共振图像的亮血拉普拉斯金字塔和黑血拉普拉斯金字塔。图像显示使用了伽马矫正实现更清晰的效果，伽马值为0.5。
S24，对亮血拉普拉斯金字塔和黑血拉普拉斯金字塔中对应层的图像进行配准，得到配准的亮血拉普拉斯金字塔；
可选的一种实施方式中，S24可以包括以下步骤：
针对亮血拉普拉斯金字塔和黑血拉普拉斯金字塔中的每一层，将该层对应的黑血拉普拉斯图像作为参考图像，将该层对应的亮血拉普拉斯图像作为浮动图像，使用基于互信息的相似性度量及预定搜索策略，实现图像配准，得到配准后的该层亮血拉普拉斯图像；
由配准后的多层亮血拉普拉斯图像，依据分辨率依次减小的顺序，从下至上构成配准的亮血拉普拉斯金字塔；
其中，黑血拉普拉斯图像为黑血拉普拉斯金字塔中的图像，亮血拉普拉斯图像为亮血拉普拉斯金字塔中的图像。
该步骤中的配准过程类似于前述的预配准过程，通过对亮血拉普拉斯图像进行坐标变换、图像插值，使用基于互信息的相似性度量及预定搜索策略，实现图像配准，可以得到配准后的亮血拉普拉斯图像。其中，坐标变换、图像插值、相似性度量及预定搜索策略不再赘述。
结果如图7所示，图7为本发明实施例的颅内血管磁共振图像的拉普拉斯金字塔图像的配准结果，左图为黑血拉普拉斯金字塔中的参考图像，中图为亮血拉普拉斯金字塔中已配准好的图像，右图为左、中两幅图像直接叠加后的效果图，叠加图像显示采用蒙太奇效果，使用伪彩色透明处理增强黑血图像与亮血图像，其中紫色为增强黑血拉普拉斯金字塔图像，绿色为亮血拉普拉斯金字塔图像(附图图像是原图经过灰度处理的图像，颜色未示出)。
S25，利用配准的亮血拉普拉斯金字塔作为叠加信息，对亮血高斯金字塔和黑血高斯金字塔中各层图像进行自上而下的配准，得到配准的亮血高斯金字塔；
针对S25，利用配准的亮血拉普拉斯金字塔作为叠加信息，对亮血高斯金字塔和黑血高斯金字塔中各层图像进行自上而下的配准，需要对高斯金字塔中不同分辨率的图像进行配准，由于低分辨率图像的配准可以更容易把握住图像的本质特征，因此本发明实施例在低分辨率图像配准的基础上配准高分辨率图像，即将高斯金字塔图像从上到下配准，将上一层图像的配准结果作为下一层图像配准的输入。
可选的一种实施方式中，S25可以包括以下步骤：
对亮血高斯金字塔和黑血高斯金字塔中自上而下的第j层，将该层对应的黑血高斯图像作为参考图像，将该层对应的亮血高斯图像作为浮动图像，使用基于互信息的相似性度量及预定搜索策略，实现图像配准，得到配准后的第j层亮血高斯图像；
将配准后的第j层亮血高斯图像进行上采样操作，并与配准后的对应层亮血拉普拉斯图像相加，利用相加后的图像替换亮血高斯金字塔中第j+1层的亮血高斯图像；
将第j+1层的黑血高斯图像作为参考图像，将替换后的第j+1层的亮血高斯图像作为浮动图像，使用预定相似性度量及预定搜索策略，实现图像配准，得到配准后的第j+1层亮血高斯图像；其中j＝1，2，…，m-1，黑血高斯图像为黑血高斯金字塔中的图像，亮血高斯图像为亮血高斯金字塔中的图像。
重复以上操作，直至完成底层高斯金字塔图像的高分辨率配准，得到配准的亮血高斯金字塔。其中的亮血图像的坐标系与黑血图像的坐标系一致，且图像具备较高的相似性。配准过程类似于前述的预配准过程，不再赘述。
基于互信息的高斯金字塔图像配准具体步骤如图8所示，图8为本发明实施例的颅内血管磁共振图像基于互信息的高斯金字塔图像配准步骤示意图。首先对顶层的低分辨率的黑血高斯图像和顶层的低分辨率亮血高斯图像进行基于互信息的配准；接着将已配准好的亮血高斯图像进行上采样操作，并与保留了高频信息，且根据上述操作已配准好的对应层的亮血拉普拉斯图像相加，作为下一层亮血高斯图像；接着将上述操作得到的亮血高斯图像作为输入图像，再与对应层的黑血高斯图像进行配准，重复以上操作，直至完成底层高斯金字塔图像的高分辨率配准。
在基于互信息的高斯金字塔图像配准中，需要对每一层亮血高斯图像和黑血高斯图像以归一化互信息作为相似性度量进行配准，通过循环迭代计算两幅图的NMI，直至NMI达到最大。其中当迭代次数太小时，不能完成图像的准确配准，但是当迭代次数太大时，计算量会急剧增加，图9为本发明实施例的不同迭代次数下的归一化互信息，当第一层图像，也就是高斯金字塔中分辨率最高的底层图像配准达到最大NMI值且数据稳定时，停止迭代。
至此，得到配准的亮血高斯金字塔，其中的亮血图像的坐标系与增强黑血图像的坐标系一致，且图像具备较高的相似性，可以完成本发明实施例的血管图像配准过程。
S26，基于配准的亮血高斯金字塔得到该亮血图像对应的配准后亮血图像；
该步骤中，获取配准的亮血高斯金字塔中的底层图像作为配准后亮血图像。
为验证本发明实施例中的基于互信息和图像金字塔的配准方法(简称为互信息金字塔方法)的有效性与实用性，还进行了对比实验，共使用了五位患者的颅内血管磁共振图像，其中患者A、B、C、D的增强黑血图像与亮血图像分别为160张，患者E的增强黑血图像与亮血图像分别为150张；同时选取仅使用DICOM图像方位标签信息进行配准的算法，以及基于互信息度量的配准算法，与本发明实施例中的互信息金字塔方法进行对比，其中基于互信息度量的算法是通过多参数优化方法寻找参考图像和浮动图像间的最佳变换，使得两幅图像的互信息值最大，并没有使用到图像金字塔算法。
实验平台是Matlab R2016b。针对实验的图像配准结果，采用定性分析与定量分析相结合。在定性分析方面，由于多模态医学图像间存在较大的灰度差异，将配准图像与参考图像相减得到的差值图像无法有效地反映出多模态医学图像的配准结果，因此本发明实施例通过将配准图像与参考图像进行重叠，获得可以反映出配准图像和参考图像对齐程度的彩色重叠图像，通过彩色重叠图像对多模态配准算法的配准效果进行定性分析，图10显示了多模态颅内血管磁共振图像的配准结果，图10为包含互信息金字塔方法的多种配准方法的颅内血管磁共振图像的配准结果。其中，(a)为参考图像；(b)为浮动图像；(c)为基于图像方位标签信息的重叠图像；(d)为基于互信息度量的重叠图像；(e)为本发明实施例的互信息金字塔方法的重叠图像。其中附图均为原图的灰度图，彩色未示出。在定量分析方面，由于评价指标均方根误差RMSE和峰值信噪比PSNR并不适用于对灰度变化较大的图像进行评价，所以为了更好地对多模态医学图像的配准结果进行评价，采用归一化互相关系数NCC，归一化互信息NMI作为评价指标，当归一化互相关系数NCC和归一化互信息NMI的值越大时，表示图像配准精度越高，表3显示了不同配准算法的评价指标结果分析。
表3不同配准方法的结果分析
Figure BDA0002793809590000151
a中的值是基于患者多幅图像配准的评价指标平均值±均方误差
定性分析：从图10的重叠图像可以明显看出，基于互信息度量的方法出现了较大的配准偏移，分析原因可能是因为仅使用基于互信息度量的方法容易陷入局部最优值，而非全局最优值；基于图像方位标签信息的配准效果表现同样欠佳，图像出现了部分不重叠情况；而互信息金字塔方法的配准图像效果表现良好，图像显示更加清晰，图像几乎完全重叠在一起。
定量分析：由表3可知，从NCC与NMI这两个评价指标来看，相较于只使用DICOM图像的方位标签信息的配准算法，以及基于互信息度量的配准算法，本发明实施例的互信息金字塔方法在配准精度上有所提高，说明本发明实施例提出的基于互信息和图像金字塔的配准方法可以良好地处理多模态颅内血管磁共振图像的配准。
S27，由K个亮血图像分别对应的配准后亮血图像，得到配准后亮血图像组。
所有亮血图像均配准完成后，由K个配准后亮血图像可以得到配准后亮血图像组。每一个配准后亮血图像和对应的增强黑血图像可以作为配准后图像对。
通过以上步骤，可以实现亮血图像和增强黑血图像的图像配准，在本发明实施例提供的配准方案中，基于互信息作为相似性度量，可以提高配准精度；同时引入了图像金字塔算法，它是一种通过增加模型复杂度来提高配准精度和速度的有效方式，即首先对分辨率较低的图像进行粗配准，接着在粗配准的基础上，对分辨率高的图像进行精配准，通过运用高斯金字塔和拉普拉斯金字塔来对血管图像进行分解和重建，模拟了人眼在不同距离下观测一幅图像的效果，更容易获取血管图像的本质特征。使用金字塔算法对颅内血管部位的磁共振亮血图像与黑血图像进行配准，可以提高配准效率，使图像从低分辨率到高分辨率逐层提高配准精度。通过上述图像配准可以将亮血图像和增强黑血图像统一在相同坐标系下，可以方便医生理解黑血序列和亮血序列对应的血管图像，简便、快速地得到诊断所需的综合信息，为后续的医疗诊断、制定手术计划、放射治疗计划等提供准确可靠的参考信息。本发明实施例提供的配准方案，可以给其余医学图像配准提供一种较好的参考方式，具有很大的临床应用价值。
S3，将配准后亮血图像组利用最大强度投影法在预设的三个方向进行投影，得到各个方向的MIP图；
最大强度投影法(maximum intensity projection，MIP)是CT三维图像重建技术之一，记作MIP。其利用一组投影线沿着预选的视角穿过容积数据系列，每条投影线上的最高CT值被编码形成二维投影影像。是通过计算沿着被扫描物每条射线上所遇到的最大密度像素而产生二维图像的一种方法。具体是当光纤束通过一段组织的原始图像时，图像中密度最大的像素被保留，并被投影到一个二维平面上，从而形成MIP重建图像(本发明实施例中简称为MIP图)。MIP能反应相应像素的X线衰减值，较小的密度变化也能在MIP图像上显示，能很好地显示血管的狭窄、扩张、充盈缺损及区分血管壁上的钙化与血管腔内的对比剂。
本领域技术人员可以理解的是，配准后亮血图像组实际为一个三维体数据，对该三维体数据可以利用上述MIP方法，在预设的三个方向进行投影，得到各个方向的一个二维的MIP图，其中，预设的三个方向包括：轴向、冠状向和矢状向。
关于MIP方法请参考现有技术的相关介绍，在此不再赘述，参见图11，图11为本发明实施例的作为示例的一个MIP图。
S4，将各个方向的MIP图作为目标域，将眼底血管图作为源域，利用迁移学习方法得到各个方向的MIP图对应的二维血管分割图。
发明人通过研究发现，颅内血管亮血序列的MIP图具有与眼底血管类似的血管树的分布，颈总动脉和椎动脉是血管树的主干，颅内血管是血管树的分支，其中的细小血管是血管树的细小分支。因为颅内血管亮血序列的MIP图与眼底血管图像具有一定的相似性，即具有相同的特征，因此，发明人考虑借助迁移学习方法，具体采用特征迁移的方式，将眼底血管(源域)分割任务预训练好的模型迁移到颅内血管分割任务中。特征迁移(Featurebased TL)是假设源域和目标域含有一些共同的交叉特征，通过特征变换，将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行传统的机器学习。
针对S4，可选的一种实施方式中，可以包括S41～S43：
S41，获得针对眼底血管图分割任务预训练好的目标神经网络；
其中，目标神经网络是根据眼底血管图数据集、改进型U-net网络模型预先训练得到的。
如前文，本发明实施例希望借助特征迁移的迁移学习方式，将眼底血管(源域)分割任务预训练好的模型迁移到颅内血管分割任务中。因此，需要先获得一个成熟的，用于眼底血管图的血管分割的网络模型。具体的，获得目标神经网络可以分为以下步骤进行：
步骤1，获得原始网络模型；
在本发明实施例中，可以对现有的U-net网络模型的结构进行改进，将其每一个子模块分别替换为具有残差连接形式的残差模块，得到改进型U-net网络模型。本发明实施例在U-net网络模型中引入残差模块可以有效解决因为神经网络层数加深所导致的梯度消失使得训练误差不降反升的问题。
步骤2，获得眼底血管图的样本数据；
本发明实施例获取眼底血管图数据集-DRIVE数据集，该数据集是已经标注好的数据集。
步骤3，利用眼底血管图的样本数据训练原始网络模型，得到训练完成的目标神经网络。
该步骤具体可以包括以下步骤：
1)将DRIVE数据集中每一样本图像对应的标注数据作为该样本图像对应的真值，将各样本图像和对应的真值，通过改进型U-net网络模型进行训练，获得各样本图像的训练结果。
2)将每一样本图像的训练结果与该样本图像对应的真值进行比较，得到该样本图像对应的输出结果。
3)根据各个样本图像对应的输出结果，计算网络的损失值。
4)根据损失值调整网络的参数，并重新进行1)-3)步骤，直至网络的损失值达到了一定的收敛条件，也就是损失值达到最小，这时，意味着每一样本图像的训练结果与该样本路图像对应的真值一致，从而完成网络训练，得到目标神经网络。
以下概要介绍本发明实施例的目标神经网络的一些参数特征：
本发明实施例中的改进型U-net网络模型有5个level，形成2.5M参数的梯形网。每一个残差模块中使用0.25的dropout rate(dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。一般情况，dropout rate可以设为0.3-0.5)；并且使用批标准化(Batch Normalization，BN)，利用优化改变方差大小和均值位置，使得新的分布更切合数据的真实分布，从而保证了模型的非线性表达能力。激活函数采用LeakyRelu；网络模型最后一层使用Softmax进行激活。
并且，因为医学图像样本前景背景分布不均匀的问题，损失函数使用医学图像分割常用的Dice系数(Dice coefficient)损失函数，并具体使用改进的Dice损失函数，以解决Dice损失函数训练不稳定的情况。
在神经网络优化方面，采用Adam优化算法与默认参数，批量大小为256。采用“降低的学习速率”策略训练250个epoch，分别将epochs 0、20和150上的学习速率设置为0.01、0.001、0.0001，将总的学习速率设置为250。并且使用随机裁剪的方式进行数据增强，将DRIVE数据集中的训练样本扩大20000倍。
以上简要介绍了目标神经网络的获得过程，训练完成的目标神经网络可以实现对眼底血管图的血管分割，得到对应的二维血管分割图。
S42，将各个方向的MIP图分别进行灰度反转处理以及对比度增强处理，得到对应的特征MIP图；
特征迁移学习的实现需要源域(眼底血管图像)和目标域(颅内血管亮血序列MIP图)具有高度的相似性，实现相同的数据分布。
因此，在S42步骤中，将MIP图进行灰度反转处理以及对比度增强处理，得到特征MIP图，以使得特征MIP图更接近于眼底血管图像。
可选的一种实施方式中，S42可以包括S421和S422：
S421，将MIP图利用灰度反转公式进行像素变换，得到反转图；
其中，灰度反转公式为T(x)＝255–x，x为MIP图中的像素值，T(x)为反转图中的像素值；
该步骤可以通俗理解为灰度的反转处理，由于MIP图的像素范围在0～255之间，通过该步骤可以将原先较为明亮的区域变暗，而将原先较为黑暗的区域变亮，具体的，可以通过上述灰度反转公式进行像素变换实现，得到的反转图请参见图12中的左图，图12中的左图为本发明实施例的MIP图对应的反转图。
S422，将反转图利用限制对比度自适应直方图均衡方法增强对比度，得到特征MIP图。
该步骤的主要目的是增强反转图的对比度，以显示更为清晰的血管分布。关于增强对比度的方式，可以采用任意一种现有技术实现，可选的一种实施方式中，该步骤可以采用限制对比度自适应直方图均衡(Contrast Limited Adaptive HistogramEqualization，CLAHE)来增强对比度。关于CLAHE方法请参见现有技术理解，在此不再赘述。得到的特征MIP图请参见图12中的右图，图12中的右图为本发明实施例的MIP图对应的特征MIP图。可以看到，特征MIP图相比于反转图，对比度明显增强，血管更为清晰。
S422后可以针对各个方向的MIP图分别得到对应的特征MIP图。
本发明实施例中，考虑颅内血管亮血序列MIP图与眼底血管图像具有交叉特征，因此采用特征迁移的迁移学习方法，将MIP图像特征映射到眼底血管图像，使目标神经网络对应的颅内血管输入样本和眼底血管输入样本具有相同的样本分布。其中，S41和S42可以不分先后顺序。
S43，将各个方向的特征MIP图分别输入目标神经网络，得到对应的二维血管分割图；
将各个方向的特征MIP图分别输入目标神经网络，得到每个方向对应的二维血管分割图，得到的二维血管分割图为一个二值图，即像素只有0和255，白色代表血管，黑色代表背景。
S5，将三个方向的二维血管分割图利用反投影法进行合成，得到第一三维血管体数据；
反投影法的原理是将所测得的投影值，按照其原投影路径，平均地分配到经过的每一个点上，把各个方向的投影值都这样反投影后，在把每个角度的反投影图像进行累加，从而推断出原图。通过将三个方向的二维血管分割图利用反投影法进行合成，可以得到一个三维体数据，本发明实施例称为第一三维血管体数据。其中，本发明实施例中的反投影法可以是直接反投影法、滤波反投影法、卷积反投影法等，在此不做限制。
在进行反投影法处理时，可以对像素值进行控制，在本发明实施例中，通过反投影法的像素控制，得到的第一三维血管体数据中血管部分的体素值为0，非血管部分的体素值为负无穷。
S6，基于第一三维血管体数据、配准后亮血图像组对应的第二三维血管体数据，得到颅内血管模拟三维模型。
可选的一种实施方式中，S6可以包括S61和S62：
S61，将第一三维血管体数据和第二三维血管体数据相加，得到第三三维血管体数据；
可以直接将第一三维血管体数据和第二三维血管体数据中各个体素值对应相加，得到第三三维血管体数据，通过该步骤，可以将颅内与血管信号强度相同的脑脊髓液与脂肪信号消除。
S62，利用阈值分割方法对第三三维血管体数据进行处理，得到颅内血管模拟三维模型。
阈值分割方法是一种基于区域的图像分割技术，原理是把图像象素点分为若干类。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。阈值是界限的意思，阈值分割就是以一个合适的像素值作为界限将图像处理成高对比度、容易识别的图像的一种方法。
本发明实施例所采用的阈值分割方法包括最大类间方差法、最大熵、迭代法、自适应阀值、手动、迭代法、基本全局阈值法等等。可选的一种实施方式中，本发明实施例可以采用最大类间方差法。
最大类间方差法(或称为大津法，简称OTSU)是一种自适合于双峰情况的自动求取阈值的方法，使用的是聚类的思想，把图像的灰度数按灰度级分成两个部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算来寻找一个合适的灰度级别来划分。所以可以在二值化的时候采用OTSU算法来自动选取阈值进行二值化。它是按图像的灰度特性,将图像分成背景和目标两部分。背景和目标之间的类间方差越大,说明构成图像的两部分的差别越大。OTSU算法被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响。因此，使类间方差最大的分割意味着错分概率最小。采用OTSU进行S62可以包括以下步骤：
首先，利用OTSU计算第三三维血管体数据中，居中的第四三维血管体数据对应的第一阈值；
该步骤中是使用OTSU方法求出位于第三三维血管体数据这个大的三维立方体中，靠近中间部分的一个小立方体(称为第四三维血管体数据)中的多个图像所对应的一个阈值作为第一阈值。因为在第三三维血管体数据中，血液信息基本集中于图像的中部，那么，针对第三三维血管体数据中，选取居中的小的立方体数据(第四三维血管体数据)确定第一阈值，可以减小阈值计算量，提高计算速度，且该第一阈值可以准确适用于第三三维血管体数据中所有血液信息。
对于第四三维血管体数据的大小，可以首先确定第三三维血管体数据的中心点，然后以预设边长在立方体对应的六个方向延伸，从而确定第四三维血管体数据的大小；其中，预设边长可以根据包含Willis环的经验值确定，比如为第三三维血管体数据这个立方体的边长的1/4等。其中Willis环是颅内最重要的侧支循环途径，将两侧半球和前、后循环联系起来。
然后，利用第一阈值实现第三三维血管体数据的阈值分割，得到颅内血管模拟三维模型。
本领域技术人员可以理解的是，通过阈值分割，可以将第三三维血管体数据对应图像上的点的灰度值置为0或255，也就是将整个图像呈现出明显的黑白效果，血液信息突出显示为白色，将无关信息显示为黑色。关于阈值分割的处理过程请参考现有技术，在此不再赘述。最终所得到的颅内血管模拟三维模型请参见图13，图13为本发明实施例的颅内血管模拟三维模型的效果图。该图经过灰度处理，颜色未示出，在实际中，可以以彩色，比如红色显示血管区域。
可选的一种实施方式中，S6之后，还可以包括：
显示颅内血管模拟三维模型，具体的，可以将颅内血管模拟三维模型显示在计算机等设备的显示屏上，以便于医生观测；并且，可以和亮血图像和增强黑血图像同时显示，这都是合理的。
S7，针对颅内血管模拟三维模型中的每一段血管，得到表征该段血管狭窄程度的目标参数的数值；
可选的一种实施方式中，S7包括：
S71，针对所述颅内血管模拟三维模型中的每一段血管，从预设的三个方位进行切分，获得各方位的二维切面图；
该步骤中，可以先将颅内血管模拟三维模型中的血管进行划分，针对每一段血管，从预设的三个方位进行切分，获得各方位的二维切面图。
其中，预设的三个方位包括：轴位、冠状位和矢状位。
关于对血管模拟三维模型进行某一方位切分，得到该方位的二维切面图，可以采用现有技术实现，在此不再赘述。
S72，将每个方位的二维切面图中的血管进行腐蚀操作，记录血管腐蚀至单个像素时的目标腐蚀次数；
腐蚀操作是形态学运算的一种，形态学运算的基本思想是在原图中利用结构元素，提取出用户感兴趣的图像数据，剔除无关信息，保留感兴趣区域的本质特征，一般用于二值图像，通常用来提取连通区域或消除噪声等，在图像处理中有着广泛的应用。
腐蚀操作能够消去物体的边缘数据，腐蚀后的物体比原先面积小，甚至会完全消失，腐蚀还可以断开一些细小狭长的连通区域。腐蚀操作可记为AΘB，定义为
Figure BDA0002793809590000221
其中B为结构元素，A为原图。
当血管较粗时，可以进行多次腐蚀操作，而血管较细小时，却只能进行少数几次腐蚀操作，本发明实施例是根据腐蚀操作达到血管对应部分达到单个像素时的次数估计血管的粗细程度。本领域技术人员可以理解的是，血管腐蚀至单个像素也就是达到最细状态，可能是一个点，也可能是一条线。关于腐蚀操作的具体过程可以参见相关的现有技术，在此不再赘述。
在S72步骤中，针对轴位的二维切面图中的血管进行腐蚀操作，记录该方位的二维切面图中的血管腐蚀至单个像素时对应的目标腐蚀次数n1；针对冠状位的二维切面图中的血管进行腐蚀操作，记录该方位的二维切面图中的血管腐蚀至单个像素时对应的目标腐蚀次数n2；针对矢状位的二维切面图中的血管进行腐蚀操作，记录该方位的二维切面图中的血管腐蚀至单个像素时对应的目标腐蚀次数n3；
即三个方位分别对应的目标腐蚀次数包括：轴位对应的目标腐蚀次数n1、冠状位对应的目标腐蚀次数n2和矢状位对应的目标腐蚀次数n3。
S73，根据该段血管在三个方位分别对应的目标腐蚀次数，得到表征该段血管狭窄程度的目标参数的数值；
可选的一种实施方式中，目标参数包括狭窄率和/或扁平度；本领域技术人员可以理解，这两个参数均可以表征血管狭窄程度。
当目标参数包括狭窄率时，S73可以包括：
根据n1、n2、n3，利用血管的狭窄率公式得到该段血管的狭窄率的数值；其中，狭窄率公式为：
Figure BDA0002793809590000231
其中，分辨率为各方位二维切面图的分辨率(三个方位的二维切面图的分辨率相同)，狭窄率的数值越小表明血管越狭窄。
当目标参数包括扁平度时，S53可以包括：
根据n1、n2、n3，利用血管的扁平度公式得到该段血管的扁平度的数值；其中，扁平度公式为：
Figure BDA0002793809590000232
扁平度的数值越大表明血管越狭窄。
S8，利用各段血管的目标参数的数值对颅内血管模拟三维模型进行标记，得到模拟化三维颅内血管狭窄分析模型。
通过上述步骤，可以得到每一段血管的目标参数的数值，那么可以将各段血管的这些数值在颅内血管模拟三维模型上进行标记，得到模拟化三维颅内血管狭窄分析模型。即将各个点的目标参数的数值嵌入在该模拟化三维颅内血管狭窄分析模型中，以便于在需要时，可以提取出并显示每个点的目标参数的数值，便于医生在观察整体三维血管状态时，及时获取各个位置的血管狭窄程度的数据，比如，在计算机的显示屏上显示该模拟化三维颅内血管狭窄分析模型时，可以在该模型的空白区域显示鼠标位置点的狭窄率和/或扁平度的数值。
可选的一种实施方式中，S8可以包括：
利用各段血管的目标参数的数值，采用与各数值对应的颜色对颅内血管模拟三维模型进行标记，得到模拟化三维颅内血管狭窄分析模型。
为了便于直观显示，可以将不同的数值利用不同的颜色标记在血管模拟三维模型上得到模拟化三维血管狭窄分析模型，比如针对狭窄率数值由小至大可以用由浅至深的多个颜色对应标记，针对扁平度数值，由于数值较少，可能只有2种数值，那么可以采用与狭窄率区分的两种颜色对应标记。采用不同色调的颜色显示可以更加直观地表现出血管的狭窄化程度，便于引起医生的注意。
其中，优选的实施方式中，可以在一个颅内血管模拟三维模型上用不同数值对应的颜色标记狭窄率数值，在另一个颅内血管模拟三维模型上用不同数值对应的颜色标记扁平度数值，以便于医生分别观察狭窄率情况和扁平度情况。
参见图14，图14为本发明实施例的模拟化三维颅内血管狭窄分析模型效果图。其中左图为狭窄率标记效果，右图为扁平度标记效果。在实际中，模型上显示有不同的颜色，可以区分狭窄化程度，比如血管较细的部位为暖色调，最狭窄的部位为红色，血管较粗的部位为冷色调，最粗的部位显示为绿色等，白色箭头所示处为颅内血管的突变狭窄，不同色调的颜色显示可以更加直观地表现出血管的狭窄化。附图中是经过灰度处理的效果，颜色未示出。
由于医生习惯于观察切平面的二维医学图像，本发明实施例可以在提供模拟化三维颅内血管狭窄分析模型的同时提供三个方位的二维切面图，即可以将该模拟化三维颅内血管狭窄分析模型中的每一个点对应的当前点所在冠状面、矢状面、轴状面图像显示出来。参见图15，图15为本发明实施例的模拟化三维颅内血管狭窄分析模型和切面图显示效果图。图15中血管的暖色调处可能出现了血管狭窄化，冷色调处没有明显的血管狭窄化现象，且图像右边的三幅二维图像从上至下分别为当前点所在的轴状面、矢状面以及冠状面成像；在显示该模拟化三维颅内血管狭窄分析模型时，还可以使用诸如红绿蓝三种颜色的点，实现两个点测距，三个点测量角度的功能，并在显示屏左下方显示出来，在显示屏右下方显示当前选取模型的体积大小。以便于医生获取颅内血管更为详细的数据。
本发明实施例所提供的方案中，首先对磁共振血管成像技术得到的亮血图像和增强黑血图像采用基于互信息和图像金字塔的配准方法进行图像配准，可以提高配准效率，使图像从低分辨率到高分辨率逐层提高配准精度。通过上述图像配准可以将亮血图像和增强黑血图像统一在相同坐标系下便于后续统一观测。在本领域中，配准后亮血图像均为二维图，虽然已经经过配准，和对应的增强黑血图像在同一坐标系下，减轻了医生观察的难度，但二维图像具有局限性，医生需要结合多个二维图想象血管的具体形态，无法在临床上简便、快速、直观地获得颅内血管整体状态。本发明实施例通过对配准后亮血图像利用最大强度投影法得到各方向的MIP图，并利用颅内血管亮血序列MIP图与眼底血管图像具有相似性的特点，一方面利用眼底血管图像的标注样本训练用于眼底血管分割的网络模型，另一方面对颅内血管亮血序列MIP图进行特征变换，获得与眼底血管图像具有相同样本分布的特征MIP图，采用特征迁移的方式，将眼底血管分割任务预训练好的网络模型迁移到颅内血管分割任务中，得到颅内血管亮血序列MIP图对应的各方向的二维血管分割图。本发明实施例将迁移学习的研究思路应用于颅内血管的分割领域，可以获得较为精准的血管分割效果。之后，利用反投影法得到第一三维血管体数据，并利用配准后亮血图像组对应的第二三维血管体数据实现颅内血管模拟三维模型。该颅内血管模拟三维模型可以模拟颅内三维血管形态，实现了颅内血管的三维可视化，无需医生通过想象力还原血管组织结构及病症特征等，能够方便医生从任意感兴趣的角度、层次观察和分析颅内血管形态特征，可以提供具有形象的颅内血管三维空间信息，便于直观观测，便于定位与显示病灶区域。能够在临床上简便、快速、直观地获得颅内血管整体状态以进行颅内血管病变分析。
注：本发明实施例中的患者实验数据均来源于陕西省人民医院，图像可用作一般的科学研究。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法，其特征在于，包括：
获取颅内血管的亮血图像组和增强黑血图像组；其中，所述亮血图像组和所述增强黑血图像组分别包括K个亮血图像和K个增强黑血图像；所述亮血图像组和所述增强黑血图像组中的图像一一对应；K为大于2的自然数；
针对所述亮血图像组中每一个亮血图像，以所述增强黑血图像组中对应的增强黑血图像为基准，利用基于互信息和图像金字塔的配准方法进行图像配准，得到包括K个配准后亮血图像的配准后亮血图像组；
将所述配准后亮血图像组利用最大强度投影法在预设的三个方向进行投影，得到各个方向的MIP图；
将各个方向的MIP图作为目标域，将眼底血管图作为源域，利用迁移学习方法得到各个方向的MIP图对应的二维血管分割图；
将三个方向的所述二维血管分割图利用反投影法进行合成，得到第一三维血管体数据；其中，所述第一三维血管体数据中血管部分的体素值为0，非血管部分的体素值为负无穷；
基于所述第一三维血管体数据、所述配准后亮血图像组对应的第二三维血管体数据，得到颅内血管模拟三维模型；
针对所述颅内血管模拟三维模型中的每一段血管，得到表征该段血管狭窄程度的目标参数的数值；
利用各段血管的所述目标参数的数值对所述颅内血管模拟三维模型进行标记，得到模拟化三维颅内血管狭窄分析模型。
2.根据权利要求1所述的方法，其特征在于，所述针对所述亮血图像组中每一个亮血图像，以所述增强黑血图像组中对应的增强黑血图像为基准，利用基于互信息和图像金字塔的配准方法进行图像配准，得到包括K个配准后亮血图像的配准后亮血图像组，包括：
对每一个亮血图像和对应的增强黑血图像进行预处理，得到第一亮血图像和第一黑血图像；
基于下采样处理，由所述第一亮血图像得到亮血高斯金字塔，由所述第一黑血图像得到黑血高斯金字塔；其中，所述亮血高斯金字塔和所述黑血高斯金字塔中包括从下至上分辨率依次变小的m个图像；m为大于3的自然数；
基于上采样处理，利用所述亮血高斯金字塔得到亮血拉普拉斯金字塔，利用所述黑血高斯金字塔得到黑血拉普拉斯金字塔；其中，所述亮血拉普拉斯金字塔和所述黑血拉普拉斯金字塔中包括从下至上分辨率依次变小的m-1个图像；
对所述亮血拉普拉斯金字塔和所述黑血拉普拉斯金字塔中对应层的图像进行配准，得到配准的亮血拉普拉斯金字塔；
利用所述配准的亮血拉普拉斯金字塔作为叠加信息，对所述亮血高斯金字塔和所述黑血高斯金字塔中各层图像进行自上而下的配准，得到配准的亮血高斯金字塔；
基于所述配准的亮血高斯金字塔得到该亮血图像对应的配准后亮血图像；
由K个亮血图像分别对应的配准后亮血图像，得到配准后亮血图像组。
3.根据权利要求2所述的方法，其特征在于，所述对每一个亮血图像和对应的增强黑血图像进行预处理，得到第一亮血图像和第一黑血图像，包括：
针对每一个亮血图像，以对应的增强黑血图像为基准，将该亮血图像进行坐标变换和图像插值，并使用基于互信息的相似性度量及预定搜索策略，得到预配准后的第一亮血图像；
从对应的增强黑血图像中，提取与所述第一亮血图像的扫描范围相同的区域内容，形成第一黑血图像。
4.根据权利要求3所述的方法，其特征在于，所述基于下采样处理，由所述第一亮血图像得到亮血高斯金字塔，由所述第一黑血图像得到黑血高斯金字塔，包括：
获取第i层的输入图像，对第i层的输入图像利用高斯内核进行滤波，并删除滤波后图像的偶数行和偶数列，得到高斯金字塔的第i层图像Gi，并将第i层图像Gi作为第i+1层的输入图像，得到高斯金字塔的第i+1层图像Gi+1；
其中，i＝1、2，…，m-1；当高斯金字塔为亮血高斯金字塔时，第1层的输入图像为第一亮血图像，当高斯金字塔为黑血高斯金字塔时，第1层的输入图像为第一黑血图像。
5.根据权利要求4所述的方法，其特征在于，所述基于上采样处理，利用所述亮血高斯金字塔得到亮血拉普拉斯金字塔，利用所述黑血高斯金字塔得到黑血拉普拉斯金字塔，包括：
对高斯金字塔的第i+1层图像Gi+1进行上采样，并用数据0填充新增的行和列，得到填充图像；
对填充图像利用高斯内核进行卷积，获得填充像素的近似值，得到放大图像；
将高斯金字塔的第i层图像Gi与放大图像相减，得到拉普拉斯金字塔的第i层图像Li；
其中，当高斯金字塔为亮血高斯金字塔时，拉普拉斯金字塔为亮血拉普拉斯金字塔，当高斯金字塔为黑血高斯金字塔时，拉普拉斯金字塔为黑血拉普拉斯金字塔。
6.根据权利要求5所述的方法，其特征在于，所述对所述亮血拉普拉斯金字塔和所述黑血拉普拉斯金字塔中对应层的图像进行配准，得到配准的亮血拉普拉斯金字塔，包括：
针对所述亮血拉普拉斯金字塔和所述黑血拉普拉斯金字塔中的每一层，将该层对应的黑血拉普拉斯图像作为参考图像，将该层对应的亮血拉普拉斯图像作为浮动图像，使用基于互信息的相似性度量及预定搜索策略，实现图像配准，得到配准后的该层亮血拉普拉斯图像；
由配准后的多层亮血拉普拉斯图像，依据分辨率依次减小的顺序，从下至上构成配准的亮血拉普拉斯金字塔；
其中，所述黑血拉普拉斯图像为所述黑血拉普拉斯金字塔中的图像，所述亮血拉普拉斯图像为所述亮血拉普拉斯金字塔中的图像。
7.根据权利要求6所述的方法，其特征在于，所述利用所述配准的亮血拉普拉斯金字塔作为叠加信息，对所述亮血高斯金字塔和所述黑血高斯金字塔中各层图像进行自上而下的配准，得到配准的亮血高斯金字塔，包括：
对所述亮血高斯金字塔和所述黑血高斯金字塔中自上而下的第j层，将该层对应的黑血高斯图像作为参考图像，将该层对应的亮血高斯图像作为浮动图像，使用基于互信息的相似性度量及预定搜索策略，实现图像配准，得到配准后的第j层亮血高斯图像；
将所述配准后的第j层亮血高斯图像进行上采样操作，并与配准后的对应层亮血拉普拉斯图像相加，利用相加后的图像替换所述亮血高斯金字塔中第j+1层的亮血高斯图像；
将第j+1层的黑血高斯图像作为参考图像，将替换后的第j+1层的亮血高斯图像作为浮动图像，使用预定相似性度量及预定搜索策略，实现图像配准，得到配准后的第j+1层亮血高斯图像；
其中j＝1，2，…，m-1，所述黑血高斯图像为所述黑血高斯金字塔中的图像，所述亮血高斯图像为所述亮血高斯金字塔中的图像。
8.根据权利要求1所述的方法，其特征在于，所述将各个方向的MIP图作为目标域，将眼底血管图作为源域，利用迁移学习方法得到各个方向的MIP图对应的二维血管分割图，包括：
获得针对眼底血管图分割任务预训练好的目标神经网络；其中，所述目标神经网络是根据眼底血管图数据集、改进型U-net网络模型预先训练得到的；
将各个方向的MIP图分别进行灰度反转处理以及对比度增强处理，得到对应的特征MIP图；其中，所述特征MIP图与眼底血管图具有相同的样本分布；
将各个方向的所述特征MIP图分别输入所述目标神经网络，得到对应的二维血管分割图。
9.根据权利要求1所述的方法，其特征在于，所述针对所述颅内血管模拟三维模型中的每一段血管，得到表征该段血管狭窄程度的目标参数的数值，包括：
针对所述颅内血管模拟三维模型中的每一段血管，从预设的三个方向进行切分，获得各方位的二维切面图；
将每个方位的二维切面图中的血管进行腐蚀操作，记录血管腐蚀至单个像素时的目标腐蚀次数；
根据该段血管在所述三个方向分别对应的目标腐蚀次数，得到表征该段血管狭窄程度的目标参数的数值。
10.根据权利要求1所述的方法，其特征在于，所述利用各段血管的所述目标参数的数值对所述颅内血管模拟三维模型进行标记，得到模拟化三维颅内血管狭窄分析模型，包括：
利用各段血管的所述目标参数的数值，采用与各数值对应的颜色对所述颅内血管模拟三维模型进行标记，得到模拟化三维颅内血管狭窄分析模型。
CN202011324130.2A 2020-11-23 2020-11-23 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 Withdrawn CN112508873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011324130.2A CN112508873A (zh) 2020-11-23 2020-11-23 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011324130.2A CN112508873A (zh) 2020-11-23 2020-11-23 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法

Publications (1)

Publication Number Publication Date
CN112508873A true CN112508873A (zh) 2021-03-16

Family

ID=74959649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011324130.2A Withdrawn CN112508873A (zh) 2020-11-23 2020-11-23 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法

Country Status (1)

Country Link
CN (1) CN112508873A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222987A (zh) * 2021-06-04 2021-08-06 清华大学 磁共振成像血管壁增强强度映射方法、装置、设备和介质
CN113421638A (zh) * 2021-06-22 2021-09-21 平安科技（深圳）有限公司 基于迁移学习的模型生成方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222987A (zh) * 2021-06-04 2021-08-06 清华大学 磁共振成像血管壁增强强度映射方法、装置、设备和介质
CN113421638A (zh) * 2021-06-22 2021-09-21 平安科技（深圳）有限公司 基于迁移学习的模型生成方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN112598619A (zh) 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法
WO2022105623A1 (zh) 一种基于迁移学习的颅内血管病灶识别方法
WO2022105647A1 (zh) 一种颅内血管造影增强三维模型的建立方法
CN110934606A (zh) 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质
US11830193B2 (en) Recognition method of intracranial vascular lesions based on transfer learning
CN112634196A (zh) 一种基于智慧医疗的医学图像分割与显示方法
CN112509075A (zh) 基于智慧医疗的颅内血管病灶标记与三维显示方法
CN112508867A (zh) 一种模拟化三维颅内血管狭窄分析模型的建立方法
CN114170151A (zh) 一种基于迁移学习的颅内血管病灶识别方法
CN112508873A (zh) 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法
CN112562058B (zh) 一种基于迁移学习的颅内血管模拟三维模型快速建立方法
CN112509079A (zh) 颅内血管造影增强三维狭窄化分析模型的建立方法
CN112509080A (zh) 一种基于迁移学习的颅内血管模拟三维模型的建立方法
CN114170337A (zh) 一种基于迁移学习的颅内血管增强三维模型的建立方法
US20220164967A1 (en) Method of establishing an enhanced three-dimensional model of intracranial angiography
CN114240841A (zh) 一种模拟化三维血管狭窄分析模型的建立方法
CN112669256B (zh) 一种基于迁移学习的医学图像分割与显示方法
CN112509076A (zh) 基于智慧医疗的颅内血管病灶标记与三维显示系统
CN112509077A (zh) 一种基于智慧医疗的颅内血管图像分割与显示方法
CN112634386A (zh) 一种血管造影增强三维狭窄化分析模型的建立方法
CN112508874A (zh) 基于智慧医疗的脑血管病变标记与三维显示系统
CN112508881A (zh) 一种颅内血管图像配准方法
CN112508868A (zh) 一种颅内血管综合图像生成方法
CN112509081A (zh) 颅内血管造影增强三维狭窄化分析模型的建立方法
CN112669439B (zh) 基于迁移学习的颅内血管造影增强三维模型的建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210316

WW01 Invention patent application withdrawn after publication