CN112348860B - 用于血管内动脉瘤手术的血管配准方法、系统和装置 - Google Patents

用于血管内动脉瘤手术的血管配准方法、系统和装置 Download PDF

Info

Publication number
CN112348860B
CN112348860B CN202011161676.0A CN202011161676A CN112348860B CN 112348860 B CN112348860 B CN 112348860B CN 202011161676 A CN202011161676 A CN 202011161676A CN 112348860 B CN112348860 B CN 112348860B
Authority
CN
China
Prior art keywords
image
blood vessel
dimensional
aorta
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011161676.0A
Other languages
English (en)
Other versions
CN112348860A (zh
Inventor
刘市祺
谢晓亮
周小虎
侯增广
刘暴
来志超
张勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Institute of Automation of Chinese Academy of Science
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202011161676.0A priority Critical patent/CN112348860B/zh
Publication of CN112348860A publication Critical patent/CN112348860A/zh
Application granted granted Critical
Publication of CN112348860B publication Critical patent/CN112348860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于图像数据处理领域，具体涉及了一种用于血管内动脉瘤手术的血管配准方法、系统和装置，旨在解决现有的图像配准技术生成的配准图像较为模糊，耗时长干扰多的问题。本发明包括：将获取的CTA图像转化为主动脉血管三维图像，并进一步转化为主动脉血管二维图像，同时将DSA图像转化为主动脉血管二值图像，通过基于回归器子网络、空间变换子网络和重采样子网络构建的基于深度学习的血管配准网络获取配准后的图像。本发明仅可以解决术中DSA影像模糊的问题，还能够在目前X光透射图像中更快速和准确的找到腹主动脉瘤位置，可以达到在血管内动脉瘤修复手术中实时协助医生的要求。

Description

用于血管内动脉瘤手术的血管配准方法、系统和装置
技术领域
本发明属于图像数据处理领域，具体涉及了一种用于血管内动脉瘤手术的血管配准方法、系统和装置。
背景技术
腹部主动脉瘤(Abdominal aortic aneurysm,AAA)是最常见的一种动脉瘤。通常腹部主动脉瘤在破裂之前不会伴随其他症状，因此会导致85％到90％的患者去世。临床研究表明，血管内动脉瘤修复(Endovascular aneurysm repair，EVAR)可以有效降低患者在围手术期的发病率和死亡率。同时，近年来科技的发展也使得血管内动脉瘤修复可以成为大多数病人治疗腹部主动脉瘤的一个选择。
血管内动脉瘤修复的关键步骤是医生在一个复杂的介入通道内将介入器械(例如导丝)送至病变处。通常，介入通道往往是在血管中输入造影剂并在X射线下显影出来，经过多次造影剂注入及X光显影，导丝导管等手术器械才能送往目标位置。因此，在手术中对介入路径的显示非常重要。然而，介入路径血管的显影有以下几部分难点：
(1)X光图像有较低的信噪比，背景噪音会血管显影有较强的干扰；
(2)由于DSA影像为投射影像，只能显示二维信息，产生大量血管信息丢失；(3)多次打入造影剂对人体伤害较大。
目前针对血管内动脉瘤修复治疗方法中血管配准的研究相对较少。Dibildox G提出了3D-3D之间的血管配准方法，通过术前CTA影像对血管进行三维重建并提取中心线，然后与术中的双边造影的血管模型通过高斯混合模型算法进行配准。该方法以双边造影的DSA影像作为配准影像，虽然能够获得精确的血管三维影像，但由于仪器成本高，不适合普遍使用。
Ghoshhajra B通过现有的技术手段提取术前CTA影像血管三维模型的中心线和DSA影像中心线，通过全局仿射变换进行配准。在配准过程中，通过正交的ECG信号以提高配准精度，并且着重验证了使用配准后对血管钙化斑块的影响。虽然通过ECG信号对准减少血管移动，但其配准方法需要大量时间，不能满足实时配准的临床需求。
Tony C.W.Mok等人提出了使用快速对称微分同胚的算法改进输入图像需要标注固定图像和配准图像的问题，并通过引入局部惩罚项进一步提高配准精度。虽然通过深度学习的方法大大提高了配准速度，但是由于医生通常以DSA影像作为临床手术标准，其同时改变了两幅图像的形状，并不能适用此配准需求。
发明内容
为了解决现有技术中的上述问题，即现有的血管图像配准方法得出的配准图噪音过多、精确度不足、生成图像时间过长无法满足手术的实时性需要和不能标注固定图像的问题，本发明提供了一种用于血管内动脉瘤手术的血管配准方法，所述方法包括：
步骤S100，获取CTA序列图像和DSA序列图像；
步骤S200，基于所述CTA序列图像，通过种子点法及区域生长方法获取主动脉血管三维图像，基于所述主动脉血管三维图像获取主动脉血管二维图像；
基于所述DSA序列图像，通过第一合成方法获取主动脉血管造影二值图像；
步骤S300，基于所述主动脉血管二维图像和主动脉血管造影二值图像，通过训练好的基于深度学习的血管配准网络获取配准后图像；
其中，所述训练好的基于深度学习的血管配准网络包括回归器子网络、空间变换子网络和重采样子网络；
所述回归器子网络基于卷积神经网络构建，包括依次连接的第一卷积层、第一平均池化层、两个第二卷积层、第二平均池化层和全连接层，所述第一卷积层和第二卷积层均采用elu激活函数；
Figure BDA0002744427990000031
所述空间变换子网络基于二次B样条构建。
进一步地，所述通过种子点法及区域生长方法获取血管三维模型，其方法为：
步骤A100，基于所述CTA序列图像，根据时间顺序选取第一帧CTA序列图像，通过人机交互的方式确定所述第一帧CTA图像中的主动脉血管区域的种子点，然后使用种子点法确定血管区域；
步骤A200，计算所述主动脉血管区域的血管中心点和血管面积，将所述血管中心点作为下一帧图像的初始点；
步骤A300，将下一帧图像设置为当前帧；
步骤A400，基于所述初始点，搜索预设面积的区域内像素的灰度值，将灰度值大于预设的第一阈值的小区域设定为标记小区域；
步骤A500，将距离所述初始点距离最近的标记小区域作为当前帧的主动脉血管区域；
步骤A600，重复步骤A200-A500，直至当前帧的所述标记小区域的数量大于或等于上一帧的小区域数量时，计算所述血管中心点至次近邻标记小区域的第一距离，若所述第一距离小于预设的分叉阈值时，将所述次近邻标记小区域设定为待定分叉血管区域；其中，所述次近邻标记小区域表示距离所述血管中心点距离第二近的标记小区域；
步骤A700，当所述待定分叉血管区域满足预设的分叉血管判定条件时，将所述待定分叉血管区域设定为分叉血管区域；所述预设的分叉血管判定条件为：待定分叉血管区域的周长小于60像素、离心率小于0.8、区域面积与边界外接框面积的比率大于0.4且当前帧的两个或两个以上待定分叉血管区域的总面积与上一帧的血管与区面积之差小于200像素；
步骤A800，将下一帧图像设置为当前帧，重复步骤A200-A700，直至所述CTA序列图像全部完成区域计算，将所有带有标记小区域的图像数据在VTK软件中进行三维处理并可视化计算，获得所述主动脉血管三维图像。
进一步地，所述基于所述主动脉血管三维图像获取主动脉血管二维图像，其方法为将所述主动脉血管三维图像对y轴方向进行投影，得到xz轴的二维投影图像，将所述二维投影图像设定为主动脉血管二维图像。
进一步地，所述通过第一合成方法获取主动脉血管造影二值图像，其方法为：
步骤B100，基于所述DSA序列影像，对每一帧DSA序列影像进行加权计算并进通过双边滤波方法进行滤波，再合称为1张清晰的造影图像；
步骤B200，基于所述清晰的造影图像，通过高斯滤波方法和frangi滤波方法滤波并二值化生成主动脉血管造影二值图像。
进一步地，步骤S300包括：
步骤S310，基于所述主动脉血管二维图像X，通过所述回归器子网络获取待配准图像一维向量；
基于所述主动脉血管造影二值图像Y，通过所述回归器子网络获取标准图像一维向量；
步骤S320，通过所述回归器子网络将所述待配准图像一维向量和标准图像一维向量重新变形为128*128大小的待配准图像二维向量和标准图像二维向量；
步骤S330，将待配准图像二维向量dx、标准图像二维向量dy以及CTA影像X进行2D仿射变换，所述2D仿射变换包括平移、旋转、缩放；所述的仿射变换还可包含其他方式，此处的距离仅为方便理解，不作为具体限定；
步骤S340在所述仿射变换中，在图像中等间隔地生成控制点，所述控制点将图像分隔成多个网格，通过空间变换子网络的二次B样条插值计算网格控制点映射的矢量生成位移矢量场，所述矢量信息包括大小和方向信息；
步骤S350，通过所述空间变换子网络基于所述位移矢量场移动所述主动脉血管二维图像，并通过重采样子网络生成512*512大小的配准后图像。
进一步地，所述训练好的基于深度学习的血管配准网络，其训练方法为：
步骤C100，重复步骤S310-步骤S350的方法获取配准后图像，将所述配准后图像与主动脉血管造影二值图像进行相似度计算，图像间的相似度损失以归一化的互相关函数r(X,Y)作为损失函数：；
Figure BDA0002744427990000051
其中，X,Y为输入的两张图像，Cov[X,Y]为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差；
步骤C200，通过小批量梯度下降法重复步骤C100调整回归器子网络的参数反复迭代至达到预设的迭代次数或1-r(X,Y)<0.05时，获得训练好的基于深度学习的血管配准网络。
进一步地，所述小批量梯度下降法初始学习率为0.001，权重衰减为0.0005，每次训练模型的batch size为64，epoch为160。
本发明的另一方面，提出了一种用于血管内动脉瘤手术的血管配准系统，图像获取模块、图像预处理模块和图像配准模块；
所述图像获取模块，获取CTA序列图像和DSA序列图像；
所述图像预处理模块，基于所述CTA序列图像，通过种子点法及区域生长方法获取主动脉血管三维图像，基于所述主动脉血管三维图像获取主动脉血管二维图像；
基于所述DSA序列图像，通过第一合成方法获取主动脉血管造影二值图像；
所述图像配准模块，基于所述主动脉血管二维图像和主动脉血管造影二值图像，通过训练好的基于深度学习的血管配准网络获取配准后图像；
其中，所述训练好的基于深度学习的血管配准网络包括回归器子网络、空间变换子网络和重采样子网络；
所述回归器子网络基于卷积神经网络构建，包括依次连接的第一卷积层、第一平均池化层、两个第二卷积层、第二平均池化层和全连接层，所述第一卷积层和第二卷积层采用elu激活函数：
Figure BDA0002744427990000061
所述空间变换子网络基于二次B样条构建。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的用于血管内动脉瘤手术的血管配准方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的用于血管内动脉瘤手术的血管配准方法。
本发明的有益效果：
(1)本发明用于血管内动脉瘤手术的血管配准方法，通过种子点法和区域生长方法获取到的血管三维模型用于与DSA的影像进行配准，提高了配准图像的精确度。
(2)本发明用于血管内动脉瘤手术的血管配准方法，通过将CTA序列影像和DSA序列影像均转化为一维向量，再将一位向量变形为二维图像，再通过二维图像生成位移场以进行配准，提高了血管图像配准的精确度。
(3)本发明用于血管内动脉瘤手术的血管配准方法，提出了一个图像配准结构，结合回归器子网络、空间变换子网络和重采样子网络，输出的配准后的图像不仅解决了手术中DSA影像模糊的问题，还能使X光透射图像更快速更准确地找到主动脉瘤地位置，满足了血管内动脉瘤修复手术中实施协助医生地需求；
(4)本发明用于血管内动脉瘤手术的血管配准方法，能够以DSA影像作为标准图像，通过CTA影像与DSA影像配准，在有限次X光造影情况下，完成腹主动脉显示，减少临床手术中多次灌注造影剂对患者身体造成损害等问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明用于血管内动脉瘤手术的血管配准方法实施例的流程示意图；
图2是本发明实施例中通过种子点法及区域生长方法获取主动脉血管三维图像的原理示意图；
图3是本发明实施例中通过第一合成方法获取主动脉血管造影二值图像的原理示意图；
图4是本发明实施例中的通过训练好的基于深度学习的血管配准网络获取配准后图像的原理示意图；
图5是本发明实施例中的回归器子网络的结构示意图；
图6是本发明实施例生成的配准图像的效果图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种用于血管内动脉瘤手术的血管配准方法，本方法，本方法包括：
步骤S100，获取CTA序列图像和DSA序列图像；
步骤S200，基于所述CTA序列图像，通过种子点法及区域生长方法获取主动脉血管三维图像，基于所述主动脉血管三维图像获取主动脉血管二维图像；
基于所述DSA序列图像，通过第一合成方法获取主动脉血管造影二值图像；
步骤S300，基于所述主动脉血管二维图像和主动脉血管造影二值图像，通过训练好的基于深度学习的血管配准网络获取配准后图像；
其中，所述训练好的基于深度学习的血管配准网络包括回归器子网络、空间变换子网络和重采样子网络；
所述回归器子网络基于卷积神经网络构建，包括每次选取64张图像作为网络输入以及依次连接的第一卷积层、第一平均池化层、两个第二卷积层、第二平均池化层和全连接层，所述第一卷积层和第二卷积层采用elu激活函数；
所述空间变换子网络基于二次B样条构建。
为了更清晰地对本发明用于血管内动脉瘤手术的血管配准方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的用于血管内动脉瘤手术的血管配准方法，包括步骤S100-步骤S300，各步骤详细描述如下：
步骤S100，获取CTA序列图像和DSA序列图像；
步骤S200，基于所述CTA序列图像，通过种子点法及区域生长方法获取主动脉血管三维图像，基于所述主动脉血管三维图像获取主动脉血管二维图像；
在本实施例中，如图2所示，所述通过种子点法及区域生长方法获取血管三维模型，其方法为：
步骤A100，基于所述CTA序列图像，根据时间顺序选取第一帧CTA序列图像，通过人机交互的方式确定所述第一帧CTA图像中的主动脉血管区域的种子点，然后使用种子点法确定血管区域；
步骤A200，计算所述主动脉血管区域的血管中心点和血管面积，将所述血管中心点作为下一帧图像的初始点；
步骤A300，将下一帧图像设置为当前帧；
步骤A400，基于所述初始点，搜索预设面积的区域内像素的灰度值，将灰度值大于预设的第一阈值的小区域设定为标记小区域；
优选的，所述预设面积可以选用90*90像素的区域，所述第一阈值可以选用250灰度值；
步骤A500，将距离所述初始点距离最近的标记小区域作为当前帧的主动脉血管区域；
步骤A600，重复步骤A200-A500，直至当前帧的所述标记小区域的数量大于或等于上一帧的小区域数量时，计算所述血管中心点至次近邻标记小区域的第一距离，若所述第一距离小于预设的分叉阈值时，将所述次近邻标记小区域设定为待定分叉血管区域；其中，所述次近邻标记小区域表示距离所述血管中心点距离第二近的标记小区域；
优选的，所述分叉阈值可以选用30像素；
步骤A700，当所述待定分叉血管区域满足预设的分叉血管判定条件时，将所述待定分叉血管区域设定为分叉血管区域；所述预设的分叉血管判定条件为：待定分叉血管区域的周长小于60像素、离心率小于0.8、区域面积与边界外接框面积的比率大于0.4且当前帧的两个或两个以上待定分叉血管区域的总面积与上一帧的血管与区面积之差小于200像素；
步骤A800，将下一帧图像设置为当前帧，重复步骤A200-A700，直至所述CTA序列图像全部完成区域计算，将所有带有标记小区域的图像数据在VTK软件中进行三维处理并可视化计算，获得所述主动脉血管三维图像。
在本实施例中，所述基于所述主动脉血管三维图像获取主动脉血管二维图像，其方法为将所述主动脉血管三维图像对y轴方向进行投影，得到xz轴的二维投影图像，将所述二维投影图像设定为主动脉血管二维图像。
基于所述DSA序列图像，通过第一合成方法获取主动脉血管造影二值图像；
在本实施例中，如图3所示，通过第一合成方法获取主动脉血管造影二值图像，其方法为：
步骤B100，基于所述DSA序列影像，对每一帧DSA序列影像进行加权计算并进通过双边滤波方法进行滤波，再合称为1张清晰的造影图像；
步骤B200，基于所述清晰的造影图像，通过高斯滤波方法和frangi滤波方法滤波并二值化生成主动脉血管造影二值图像。
在本实施例中，通过frangi滤波对DSA影像每一帧图像进行血管提取，然后将多帧图像进行融合形成一幅完整的血管二值影像，其中血管为1，其他为0；
步骤S300，如图4所示，基于所述主动脉血管二维图像和主动脉血管造影二值图像，通过训练好的基于深度学习的血管配准网络获取配准后图像；
在本实施例中，如图5所示，步骤S310，基于所述主动脉血管二维图像X，通过所述回归器子网络获取待配准图像一维向量；
基于所述主动脉血管造影二值图像Y，通过所述回归器子网络生成标准图像一维向量；
在本实施例中，回归器子网络的输入分别为512*512大小的CTA血管影像X和DSA二值影像Y。
步骤S320，通过所述回归器子网络将生成的待配准图像一维向量和标准图像一维向量重新变形为128*128大小待配准图像二维向量dx和标准图像二维向量dy；
步骤S330，通过所述回归器子网络所述待配准图像一维向量和标准图像一维向量重新变形为128*128大小的待配准图像二维向量dx和标准图像二维向量dy；
步骤S340，在所述仿射变换中，在图像中等间隔地生成控制点，所述控制点将图像分隔成多个网格，通过空间变换子网络的二次B样条插值计算网格控制点映射的矢量生成位移矢量场，所述矢量信息包括大小和方向信息；
在本实施例中，空间变换子网络通过二次B样条将图像以网格控制点为基点，生成大小不同的方向矢量。其网格控制点维度为归一化网络输出维度即128*128，每个网格维度大小为4*4，输出为配准图像X的位移矢量场；
步骤S350，通过所述空间变换子网络基于所述位移矢量场移动所述主动脉血管二维图像，并通过重采样子网络生成512*512大小的配准后图像。
在本实施例中，步骤C100，重复步骤S310-步骤S350的方法获取配准后图像，将所述配准后图像与主动脉血管造影二值图像进行相似度计算，图像间的相似度损失以归一化的互相关函数r(X,Y)作为损失函数，如公式(1)所示：
Figure BDA0002744427990000121
其中，X,Y为输入的两张图像，Cov[X,Y]为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差
步骤C200，通过小批量梯度下降法重复步骤C100调整回归器子网络的参数，反复迭代至达到预设的迭代次数或1-r(X,Y)<0.05时，获得训练好的基于深度学习的血管配准网络。
所述小批量梯度下降法初始学习率为0.001，权重衰减为0.0005，每次训练模型的batch size为64，epoch为160。
为了解决图像样本有限的问题，本发明提出的网络结果采用了数据增强算法，即将图像在0—360°的范围内旋转，或沿x轴或y轴翻转，来增加数据集的大小。
数据的金标准由两名医生分别标注，首先确定CTA影像中主动脉所在的区域，然后标注DSA影像中主动脉区域。对每一幅图，当两名医生的标注区域重合度大于95％时即认为有效，此时采用两个标注中任意一个均可，否则需要重新进行标注。
测试结果表明本方法有效地解决了两种不同影像下的血管配准问题。与同类其他方法相比，本方法的ACC平均值为0.783。
其中，所述训练好的基于深度学习的血管配准网络包括回归器子网络、空间变换子网络和重采样子网络；
如图5所示，所述回归器子网络基于卷积神经网络构建，包括依次连接的第一卷积层、第一平均池化层、两个第二卷积层、第二平均池化层和全连接层，所述第一卷积层和第二卷积层采用elu激活函数如公式(2)表示：
Figure BDA0002744427990000131
图5中，其中1表示每次输入64张图像作为处理的输入，每次输入为512*512的主动脉血管二维图像和主动脉血管造影二值图像，2表示卷积核为7*7步长为2的第一卷积层，3表示第一平均池化层，4和5表示卷积核为3*3步长为2的第二卷积层，6表示第二平均池化层，7表示全连接层；
所述空间变换子网络基于二次B样条构建。
本发明第二实施例的用于血管内动脉瘤手术的血管配准系统，所述系统包括：图像获取模块、图像预处理模块和图像配准模块；
所述图像获取模块，获取CTA序列图像和DSA序列图像；
所述图像预处理模块，基于所述CTA序列图像，通过种子点法及区域生长方法获取主动脉血管三维图像，基于所述主动脉血管三维图像获取主动脉血管二维图像；
基于所述DSA序列图像，通过第一合成方法获取主动脉血管造影二值图像；
所述图像配准模块，基于所述主动脉血管二维图像和主动脉血管造影二值图像，通过训练好的基于深度学习的血管配准网络获取配准后图像；
其中，所述训练好的基于深度学习的血管配准网络包括回归器子网络、空间变换子网络和重采样子网络；
所述回归器子网络基于卷积神经网络构建，包括依次连接的第一卷积层、第一平均池化层、两个第二卷积层、第二平均池化层和全连接层，所述第一卷积层和第二卷积层采用elu激活函数如公式(3)所示：
Figure BDA0002744427990000141
所述空间变换子网络基于二次B样条构建。
本实施例生成的主动脉血管配准图向如图6所示。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的用于血管内动脉瘤手术的血管配准系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的一种用于血管内动脉瘤手术的血管配准方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的一种用于血管内动脉瘤手术的血管配准方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种用于血管内动脉瘤手术的血管配准方法，其特征在于，所述方法包括：
步骤S100，获取CTA序列图像和DSA序列图像；
步骤S200，基于所述CTA序列图像，通过种子点法及区域生长方法获取主动脉血管三维图像，基于所述主动脉血管三维图像获取主动脉血管二维图像；
基于所述DSA序列图像，通过第一合成方法获取主动脉血管造影二值图像；
步骤S300，基于所述主动脉血管二维图像和主动脉血管造影二值图像，通过训练好的基于深度学习的血管配准网络获取配准后图像；
其中，所述训练好的基于深度学习的血管配准网络包括回归器子网络、空间变换子网络和重采样子网络；
所述回归器子网络基于卷积神经网络构建，包括依次连接的第一卷积层、第一平均池化层、两个第二卷积层、第二平均池化层和全连接层，所述第一卷积层和第二卷积层均采用elu激活函数:
Figure FDA0003743802620000011
所述空间变换子网络基于二次B样条构建；
步骤S300包括：
步骤S310，基于所述主动脉血管二维图像X，通过所述回归器子网络获取待配准图像一维向量；
基于所述主动脉血管造影二值图像Y，通过所述回归器子网络获取标准图像一维向量；
步骤S320，通过所述回归器子网络将所述待配准图像一维向量和标准图像一维向量重新变形为128*128大小的待配准图像二维向量dx和标准图像二维向量dy；
步骤S330，将待配准图像二维向量dx和标准图像二维向量dy进行2D仿射变换，所述2D仿射变换包括平移、旋转、缩放；
步骤S340，在所述仿射变换中，在图像中等间隔地生成控制点，所述控制点将图像分隔成多个网格，通过空间变换子网络中的二次B样条插值计算网格控制点映射的矢量生成位移矢量场，所述矢量信息包括大小和方向信息；
步骤S350，通过所述空间变换子网络基于所述位移矢量场移动所述主动脉血管二维图像，并通过重采样子网络生成512*512大小的配准后图像。
2.根据权利要求1所述的用于血管内动脉瘤手术的血管配准方法，其特征在于，所述通过种子点法及区域生长方法获取血管三维模型，其方法为：
步骤A100，基于所述CTA序列图像，根据时间顺序选取第一帧CTA序列图像，通过人机交互的方式确定所述第一帧CTA图像中的主动脉血管区域的种子点，然后使用种子点法确定血管区域；
步骤A200，计算所述主动脉血管区域的血管中心点和血管面积，将所述血管中心点作为下一帧图像的初始点；
步骤A300，将下一帧图像设置为当前帧；
步骤A400，基于所述初始点，搜索预设面积的区域内像素的灰度值，将灰度值大于预设的第一阈值的小区域设定为标记小区域；
步骤A500，将距离所述初始点距离最近的标记小区域作为当前帧的主动脉血管区域；
步骤A600，重复步骤A200-A500，直至当前帧的所述标记小区域的数量大于或等于上一帧的小区域数量时，计算所述血管中心点至次近邻标记小区域的第一距离，若所述第一距离小于预设的分叉阈值时，将所述次近邻标记小区域设定为待定分叉血管区域；其中，所述次近邻标记小区域表示距离所述血管中心点距离第二近的标记小区域；
步骤A700，当所述待定分叉血管区域满足预设的分叉血管判定条件时，将所述待定分叉血管区域设定为分叉血管区域；所述预设的分叉血管判定条件为：待定分叉血管区域的周长小于60像素、离心率小于0.8、区域面积与边界外接框面积的比率大于0.4且当前帧的两个或两个以上待定分叉血管区域的总面积与上一帧的血管与区面积之差小于200像素；
步骤A800，将下一帧图像设置为当前帧，重复步骤A200-A700，直至所述CTA序列图像全部完成区域计算，将所有带有标记小区域的图像数据在VTK软件中进行三维处理并可视化计算，获得所述主动脉血管三维图像。
3.根据权利要求2所述的用于血管内动脉瘤手术的血管配准方法，其特征在于，所述基于所述主动脉血管三维图像获取主动脉血管二维图像，其方法为将所述主动脉血管三维图像对y轴方向进行投影，得到xz轴的二维投影图像，将所述二维投影图像设定为主动脉血管二维图像。
4.根据权利要求1所述的用于血管内动脉瘤手术的血管配准方法，其特征在于，所述通过第一合成方法获取主动脉血管造影二值图像，其方法为：
步骤B100，基于所述DSA序列影像，对每一帧DSA序列影像进行加权计算并进通过双边滤波方法进行滤波，再合成为1张清晰的造影图像；
步骤B200，基于所述清晰的造影图像，通过高斯滤波方法和frangi滤波方法滤波并二值化生成主动脉血管造影二值图像。
5.根据权利要求1所述的用于血管内动脉瘤手术的血管配准方法，其特征在于，所述训练好的基于深度学习的血管配准网络，其训练方法为：
步骤C100，重复步骤S310-步骤S350的方法获取配准后图像，将所述配准后图像与主动脉血管造影二值图像进行相似度计算，图像间的相似度损失以归一化的互相关函数r(X，Y)作为损失函数：
Figure FDA0003743802620000041
其中，X,Y为输入的两张图像，Cov[X,Y]为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差；
步骤C200，通过小批量梯度下降法重复步骤C100调整回归器子网络的参数反复迭代至达到预设的迭代次数或1-r(X,Y)<0.05时，获得训练好的基于深度学习的血管配准网络。
6.根据权利要求5所述的用于血管内动脉瘤手术的血管配准方法，其特征在于，所述小批量梯度下降法初始学习率为0.001，权重衰减为0.0005，每次训练模型的batch size为64，epoch为160。
7.一种用于血管内动脉瘤手术的血管配准系统，其特征在于，所述系统包括：图像获取模块、图像预处理模块和图像配准模块；
所述图像获取模块，获取CTA序列图像和DSA序列图像；
所述图像预处理模块，基于所述CTA序列图像，通过种子点法及区域生长方法获取主动脉血管三维图像，基于所述主动脉血管三维图像获取主动脉血管二维图像；
基于所述DSA序列图像，通过第一合成方法获取主动脉血管造影二值图像；
所述图像配准模块，基于所述主动脉血管二维图像和主动脉血管造影二值图像，通过训练好的基于深度学习的血管配准网络获取配准后图像；
其中，所述训练好的基于深度学习的血管配准网络包括回归器子网络、空间变换子网络和重采样子网络；
所述回归器子网络基于卷积神经网络构建，包括依次连接的第一卷积层、第一平均池化层、两个第二卷积层、第二平均池化层和全连接层，所述第一卷积层和第二卷积层采用elu激活函数：
Figure FDA0003743802620000051
所述空间变换子网络基于二次B样条构建；
图像配准模块包括：
基于所述主动脉血管二维图像X，通过所述回归器子网络获取待配准图像一维向量；
基于所述主动脉血管造影二值图像Y，通过所述回归器子网络获取标准图像一维向量；
通过所述回归器子网络将所述待配准图像一维向量和标准图像一维向量重新变形为128*128大小的待配准图像二维向量dx和标准图像二维向量dy；
将待配准图像二维向量dx和标准图像二维向量dy进行2D仿射变换，所述2D仿射变换包括平移、旋转、缩放；
在所述仿射变换中，在图像中等间隔地生成控制点，所述控制点将图像分隔成多个网格，通过空间变换子网络中的二次B样条插值计算网格控制点映射的矢量生成位移矢量场，所述矢量信息包括大小和方向信息；
通过所述空间变换子网络基于所述位移矢量场移动所述主动脉血管二维图像，并通过重采样子网络生成512*512大小的配准后图像。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序用于由处理器加载并执行以实现权利要求1-6任一项所述的用于血管内动脉瘤手术的血管配准方法。
9.一种处理装置，包括处理器，用于执行各条程序，其特征在于，所述程序由处理器加载并执行以实现权利要求1-6任一项所述的用于血管内动脉瘤手术的血管配准方法。
CN202011161676.0A 2020-10-27 2020-10-27 用于血管内动脉瘤手术的血管配准方法、系统和装置 Active CN112348860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011161676.0A CN112348860B (zh) 2020-10-27 2020-10-27 用于血管内动脉瘤手术的血管配准方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011161676.0A CN112348860B (zh) 2020-10-27 2020-10-27 用于血管内动脉瘤手术的血管配准方法、系统和装置

Publications (2)

Publication Number Publication Date
CN112348860A CN112348860A (zh) 2021-02-09
CN112348860B true CN112348860B (zh) 2022-08-16

Family

ID=74359074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011161676.0A Active CN112348860B (zh) 2020-10-27 2020-10-27 用于血管内动脉瘤手术的血管配准方法、系统和装置

Country Status (1)

Country Link
CN (1) CN112348860B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469258B (zh) * 2021-07-08 2022-03-11 中国科学院自动化研究所 基于两阶段cnn的x射线血管造影图像匹配方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588501B2 (en) * 2011-07-29 2013-11-19 Siemens Aktiengesellschaft Automatic pose initialization for accurate 2-D/3-D registration applied to abdominal aortic aneurysm endovascular repair
CN107392922B (zh) * 2017-07-18 2019-12-03 东南大学 基于对称性匹配滤波器组和区域生长的三维血管分割方法
CN108335304B (zh) * 2018-02-07 2021-08-03 华侨大学 一种腹部ct扫描序列图像的主动脉瘤分割方法
CN109993730B (zh) * 2019-03-20 2021-03-30 北京理工大学 3d/2d血管配准方法及装置
CN111784727B (zh) * 2020-06-17 2023-04-07 北京理工大学 基于3d/2d配准应用于血管介入手术导航的方法及装置

Also Published As

Publication number Publication date
CN112348860A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
AU2017206136B2 (en) Method and apparatus for automated determination of a lumen contour of a blood vessel
CN105279759B (zh) 结合上下信息窄带约束的腹腔主动脉瘤外轮廓分割方法
US10758125B2 (en) Enhanced personalized evaluation of coronary artery disease using an integration of multiple medical imaging techniques
Rezaei et al. Whole heart and great vessel segmentation with context-aware of generative adversarial networks
CN112862833A (zh) 血管分段方法、电子装置和存储介质
Xu et al. An improved algorithm for vessel centerline tracking in coronary angiograms
CN113066091A (zh) 基于黑血管壁曲面重建的脑血管分割方法、装置及存储介质
CN112348860B (zh) 用于血管内动脉瘤手术的血管配准方法、系统和装置
Zhou et al. Automatic detection approach for bioresorbable vascular scaffolds using a U-shaped convolutional neural network
CN107767435B (zh) 一种血管管腔结构重建方法
CN116630334B (zh) 用于多分段血管实时自动分割方法、装置、设备及介质
Czajkowska et al. Skeleton graph matching vs. maximum weight cliques aorta registration techniques
Mathai et al. Fast vessel segmentation and tracking in ultra high-frequency ultrasound images
Shiffman et al. Semiautomated editing of computed tomography sections for visualization of vasculature
Zhao et al. Automatic aortic dissection centerline extraction via morphology-guided CRN tracker
CN114782443A (zh) 基于数据增强的动脉瘤风险评估的装置和存储介质
CN117078711A (zh) 医学图像分割方法、系统、电子设备和存储介质
Gessert et al. Bioresorbable scaffold visualization in IVOCT images using CNNs and weakly supervised localization
De Bruijne et al. Localization and segmentation of aortic endografts using marker detection
Wang et al. Real time tracking of exterior and interior organ surfaces using sparse sampling of the exterior surfaces
US20240070855A1 (en) Method and System of Calculating the Cross-section Area and Included Angle of Three-dimensional Blood Vessel Branch
Ranne et al. AiAReSeg: Catheter Detection and Segmentation in Interventional Ultrasound using Transformers
US20240177829A1 (en) Method And Apparatus For Automated Determination Of A Lumen Contour Of A Stented Blood Vessel
Wu Fast Catheter segmentation and tracking based on X-ray fluoroscopic and echocardiographic modalities for catheter-based cardiac minimally invasive interventions
He et al. A study on CT aorta segmentation using vessel enhancement diffusion filter and region growing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant