CN113935889A - 2d/3d冠状动脉自动配准方法、系统及介质 - Google Patents

2d/3d冠状动脉自动配准方法、系统及介质 Download PDF

Info

Publication number
CN113935889A
CN113935889A CN202111051006.8A CN202111051006A CN113935889A CN 113935889 A CN113935889 A CN 113935889A CN 202111051006 A CN202111051006 A CN 202111051006A CN 113935889 A CN113935889 A CN 113935889A
Authority
CN
China
Prior art keywords
xca
cta
dimensional
starting point
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111051006.8A
Other languages
English (en)
Inventor
顾力栩
吴蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gu Lixu
Original Assignee
Gu Lixu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gu Lixu filed Critical Gu Lixu
Priority to CN202111051006.8A priority Critical patent/CN113935889A/zh
Publication of CN113935889A publication Critical patent/CN113935889A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种2D/3D冠状动脉自动配准方法、系统及介质，包括：对病人的术前三维CTA影像与对应的术中二维XCA影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；将对应的2D/3D血管中心线分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合；将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。本发明率先使用深度神经网络进行2D/3D冠状动脉配准，稳定可靠、运算效率高、结果精确。

Description

2D/3D冠状动脉自动配准方法、系统及介质
技术领域
本发明涉及医学领域，具体地，涉及一种2D/3D冠状动脉自动配准方法、系统及介质，更为详细的，涉及基于双流特征提取与角位移预测深度神经网络的2D/3D冠状动脉自动配准方法。
背景技术
在PCI(经皮冠状动脉介入)手术中，通常采用术中XCA造影图像作为引导图像，它具有动态实时、无伪影、解剖结构清晰等优势。但其本质为二维投影图像，损失了空间三维结构信息，存在着较为严重的组织重叠现象，故难以直观地引导医生进行导丝行进、支架放置等一系列复杂操作。而术前CTA作为一种三维重建成像方式，能立体地呈现冠状动脉的整体结构及走形，因此将术前CTA影像包含的三维信息融入术中，能够弥补XCA造影的先天不足，为PCI手术提供更为直观、完整、实时的三维冠脉结构图像作为引导，极大提高手术的效率以及精度。
2D/3D冠状动脉图像配准具有重要临床意义，文献检索发现，已有一系列技术发表。Groher等人在论文《Deformable 2D-3D registration of vascular structures in aone view scenario》中通过Gold and Rangarajan方法建立点对间的软对应关系，将欧氏距离作为目标优化项，使用了BFGS优化器来控制优化过程，避免陷入全局最小值。
Serradell等人在论文《Simultaneous correspondence and non-rigid 3Dreconstruction of the coronary tree from single X-ray images》中首先通过k聚类的方法对三维空间以及二维空间的点分别进行采样，结合距离与方向两种信息建立点之间的对应关系，使用Hungarian算法进行匹配。再利用弱先验知识，对已有三维结构加入高斯扰动，产生一系列基样本，将高维的形变场预测转化为对基样本的权重预测，压缩了预测参数量，加速了迭代优化的进程。
Liu等人在论文《A 3D/2D registration of the coronary arteries based ontree topology consistency matching》中考虑了冠状动脉的树状结构与血管分级对应关系，在去除伪分叉点的基础上，对于每个真实分叉点，严格将其上游血管与下游分支血管对齐，由此构建全局匹配，避免错误优化。使用薄板样条形变来控制运动，优化对应点间的欧氏距离。
Baka等人在论文《Oriented Gaussian mixture models for nonrigid 2D/3Dcoronary artery registration》中将三维空间与二维空间的中心线点集看作两个独立的高斯分布模型，将两者进行配准，即要两个高斯分布尽可能接近，于是可以构建高斯混合模型，并优化参数使L2距离最小。上述方法都基于迭代优化思想，总体算法较为复杂，预测参数量大，优化过程缓慢，且容易出现不收敛或陷入局部极小值的情况，鲁棒性仍待提高。目前，仍然没有一个配准效果好，运行速度快的方法。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种2D/3D冠状动脉自动配准方法、系统及介质。
根据本发明提供的一种2D/3D冠状动脉自动配准方法，包括如下步骤：
预处理步骤：对病人的术前三维CTA影像与对应的术中二维XCA影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
双流特征提取步骤：将三维CTA影像对应的3D血管中心线结构、二维XCA影像对应的2D血管中心线结构分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合，形成双流特征；
角位移预测步骤：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
优选地，所述预处理步骤包括：
CTA影像训练步骤：随机选取CTA影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3D U-net；
CTA处理步骤：利用训练好的3D U-net，对新数据的CTA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的CTA中心线进行进一步的平滑；
XCA影像训练步骤：随机选取XCA影像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2D U-net；
XCA处理步骤：利用训练好的2D U-net，对新数据的XCA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的XCA中心线进行进一步的平滑。
优选地，所述双流特征提取步骤包括：
CTA坐标表示步骤：CTA血管段中心线表示为一系列连续点的集合C＝{a1，...，an}，其中an＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息a1与形态信息{a2-a1，...，an-an-1}，其中形态用相邻两点间的偏移量构成的集合表示；
XCA坐标表示步骤：XCA血管段中心线表示为一系列连续点的集合X＝{b1，...，bn}，其中bn＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息b1与形态信息{b2-b1，...，bn-bn-1}，其中形态用相邻两点间的偏移量构成的集合表示；
CTA特征融合步骤：将维度为N×3×1的CTA中心线起点信息集合输入CTA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的CTA起点特征；将维度为N×3×(n-1)的CTA中心线形态信息集合输入CTA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的CTA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
XCA特征融合步骤：将维度为N×2×1的XCA中心线起点信息集合输入XCA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的XCA起点特征；将维度为N×2×(n-1)的XCA中心线形态信息集合输入XCA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的XCA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
拼接融合步骤：将CTA特征与XCA特征进行通道维度的拼接，得到维度为N×2m×(n-1)的跨模态融合特征。
优选地，所述角位移预测步骤包括：
角度偏移输出步骤：将融合了CTA与XCA信息的跨模态融合特征输入角位移预测网络；角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
形态还原步骤：根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
Figure BDA0003252749730000041
Figure BDA0003252749730000042
Figure BDA0003252749730000043
其中，θ与
Figure BDA0003252749730000044
为空间中两个角度的变化量，r为相邻两点的距离；训练阶段建立一个高斯混合模型来度量两个点集的相似性：
Figure BDA0003252749730000045
其中，LGMM表示误差，PCTA表示CTA点集，PXCA表示XCA点集，σ表示平滑参数。
根据本发明提供的一种2D/3D冠状动脉自动配准系统，包括如下模块：
预处理模块：对病人的术前三维CTA影像与对应的术中二维XCA影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
双流特征提取模块：将三维CTA影像对应的3D血管中心线结构、二维XCA影像对应的2D血管中心线结构分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合，形成双流特征；
角位移预测模块：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
优选地，所述预处理模块包括：
CTA影像训练模块：随机选取CTA影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3D U-net；
CTA处理模块：利用训练好的3D U-net，对新数据的CTA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的CTA中心线进行进一步的平滑；
XCA影像训练模块：随机选取XCA影像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2D U-net；
XCA处理模块：利用训练好的2D U-net，对新数据的XCA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的XCA中心线进行进一步的平滑。
优选地，所述双流特征提取模块包括：
CTA坐标表示模块：CTA血管段中心线表示为一系列连续点的集合C＝{a1，...，an}，其中an＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息a1与形态信息{a2-a1，...，an-an-1}，其中形态用相邻两点间的偏移量构成的集合表示；
XCA坐标表示模块：XCA血管段中心线表示为一系列连续点的集合X＝{b1，...，bn}，其中bn＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息b1与形态信息{b2-b1，...，bn-bn-1}，其中形态用相邻两点间的偏移量构成的集合表示；
CTA特征融合模块：将维度为N×3×1的CTA中心线起点信息集合输入CTA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的CTA起点特征；将维度为N×3×(n-1)的CTA中心线形态信息集合输入CTA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的CTA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
XCA特征融合模块：将维度为N×2×1的XCA中心线起点信息集合输入XCA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的XCA起点特征；将维度为N×2×(n-1)的XCA中心线形态信息集合输入XCA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的XCA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
拼接融合模块：将CTA特征与XCA特征进行通道维度的拼接，得到维度为N×2m×(n-1)的跨模态融合特征。
优选地，所述角位移预测模块包括：
角度偏移输出模块：将融合了CTA与XCA信息的跨模态融合特征输入角位移预测网络；角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
形态还原模块：根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
Figure BDA0003252749730000051
Figure BDA0003252749730000052
Figure BDA0003252749730000053
其中，θ与
Figure BDA0003252749730000054
为空间中两个角度的变化量，r为相邻两点的距离；训练阶段建立一个高斯混合模型来度量两个点集的相似性：
Figure BDA0003252749730000055
其中，LGMM表示误差，PCTA表示CTA点集，PXCA表示XCA点集，σ表示平滑参数。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明具有稳定可靠、运算效率高、结果精确等优点。
2、本发明利用基于深度学习的2D/3D冠状动脉配准网络，进行形态信息与起点信息的双流特征提取，丰富特征信息，同时进行角位移预测。
3、本发明摒弃传统优化函数中复杂的显式长度约束，极大简化网络的训练过程，加速收敛，使配准网络模型更加鲁棒，实现冠状动脉结构的自动快速配准，为PCI手术打下了良好的基础。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于双流特征提取与角位移预测深度神经网络的2D/3D冠状动脉自动配准方法流程图。
图2为2D/3D冠状动脉配准网络的结构图。
图3为配准的效果图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1至图3所示，本发明针对现有技术存在的不足，提供一种基于双流特征提取与角位移预测深度神经网络的2D/3D冠状动脉自动配准方法，包括以下步骤：
步骤1、预处理：对病人的术前三维CTA(CT冠状动脉造影)影像与对应的术中二维XCA(X光冠状动脉造影)影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
步骤2、双流特征提取：将对应的2D/3D血管中心线结构分解为起点信息与形态信息，分别经过起点特征提取支路与形态特征提取支路，由两个信息流动通道进行特征提取与特征融合；
步骤3、角位移预测：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
进一步地，所述步骤1包括以下步骤：
步骤11、随机选取一些CT冠状动脉造影影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3D U-net；
步骤12、利用训练好的冠状动脉分割网络3D U-net，对新数据的CTA进行分割，在此基础上利用形态学方法进行中心线提取，并利用平滑算法对提取的CTA中心线进行进一步的平滑；
步骤13、随机选取一些X光冠状动脉造影图像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2D U-net；
步骤14、利用训练好的冠状动脉分割网络2D U-net，对新数据的XCA进行分割，在此基础上利用形态学方法进行中心线提取，并利用平滑算法对提取的XCA中心线进行进一步的平滑。
进一步地，所述步骤2包括以下步骤：
步骤21、CTA血管段中心线可表示为一系列连续点的集合C＝{a1，...，an}，其中an＝(xn，yn，zn)由点在三维空间的欧式坐标表示。可将其分解为起始点信息a1与形态信息{a2-a1，...，an-an-1}，其中形态用相邻两点间的偏移量构成的集合表示；
步骤22、XCA血管段中心线可表示为一系列连续点的集合X＝{b1，...，bn}，其中b＝(xn，yn，zn)由点在三维空间的欧式坐标表示。可将其分解为起始点信息b1与形态信息{b2-b1，...，bn-bn-1}，其中形态用相邻两点间的偏移量构成的集合表示；
步骤23、将维度为N×3×1的CTA中心线起点信息集合输入CTA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的CTA起点特征；将维度为N×3×(n-1)的CTA中心线形态信息集合输入CTA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的CTA形态特征。最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
步骤24、将维度为N×2×1的XCA中心线起点信息集合输入XCA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的XCA起点特征；将维度为N×2×(n-1)的XCA中心线形态信息集合输入XCA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的XCA形态特征。最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
步骤25、将CTA特征与XCA特征进行通道维度的拼接，得到维度为N×2m×(n-1)的跨模态融合特征。
进一步地，所述步骤3包括以下步骤：
步骤31、将融合了CTA与XCA信息的跨模态融合特征输入角位移预测网络。角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
步骤32、根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
Figure BDA0003252749730000081
Figure BDA0003252749730000082
Figure BDA0003252749730000083
其中，θ与
Figure BDA0003252749730000084
为空间中两个角度的变化量，r为相邻两点的距离。训练阶段建立一个高斯混合模型来度量两个点集的相似性：
Figure BDA0003252749730000085
其中，LGMM表示误差，PCTA表示CTA点集，PXCA表示XCA点集，σ表示平滑参数。
本发明还提供一种2D/3D冠状动脉自动配准系统，包括如下模块：
预处理模块：对病人的术前三维CTA影像与对应的术中二维XCA影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
双流特征提取模块：将三维CTA影像对应的3D血管中心线结构、二维XCA影像对应的2D血管中心线结构分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合，形成双流特征；
角位移预测模块：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
所述预处理模块包括：
CTA影像训练模块：随机选取CTA影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3D U-net；
CTA处理模块：利用训练好的3D U-net，对新数据的CTA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的CTA中心线进行进一步的平滑；
XCA影像训练模块：随机选取XCA影像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2D U-net；
XCA处理模块：利用训练好的2D U-net，对新数据的XCA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的XCA中心线进行进一步的平滑。
所述双流特征提取模块包括：
CTA坐标表示模块：CTA血管段中心线表示为一系列连续点的集合C＝{a1，...，an}，其中an＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息a1与形态信息{a2-a1，...，an-an-1}，其中形态用相邻两点间的偏移量构成的集合表示；
XCA坐标表示模块：XCA血管段中心线表示为一系列连续点的集合X＝{b1，...，bn}，其中bn＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息b1与形态信息{b2-b1，...，bn-bn-1}，其中形态用相邻两点间的偏移量构成的集合表示；
CTA特征融合模块：将维度为N×3×1的CTA中心线起点信息集合输入CTA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的CTA起点特征；将维度为N×3×(n-1)的CTA中心线形态信息集合输入CTA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的CTA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
XCA特征融合模块：将维度为N×2×1的XCA中心线起点信息集合输入XCA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的XCA起点特征；将维度为N×2×(n-1)的XCA中心线形态信息集合输入XCA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的XCA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
拼接融合模块：将CTA特征与XCA特征进行通道维度的拼接，得到维度为N×2m×(n-1)的跨模态融合特征。
所述角位移预测模块包括：
角度偏移输出模块：将融合了CTA与XCA信息的跨模态融合特征输入角位移预测网络；角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
形态还原模块：根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
Figure BDA0003252749730000101
Figure BDA0003252749730000102
Figure BDA0003252749730000103
其中，θ与
Figure BDA0003252749730000104
为空间中两个角度的变化量，r为相邻两点的距离；训练阶段建立一个高斯混合模型来度量两个点集的相似性：
Figure BDA0003252749730000105
其中，LGMM表示误差，PCTA表示CTA点集，PXCA表示XCA点集，σ表示平滑参数。
本实施例在一台64位的Linux系统，64GB的RAM，Intel(R)Xeon E5-2630 v3 CPU，Nvidia Titan X pascal GPU的电脑上实现，整个方法基于Pytorch深度学习框架，采用python编程语言实现。将采集到的临床医学数据加载输入网络模型，即可完成配准工作，效果图展示了两个实例(黑色表示待配准CTA中心线投影，灰色表示目标XCA中心线。第一行表示配准前初始状态，第二行表示配准后结果)。本发明可快速有效地实现CTA结构与XCA结构的配准对齐，平均误差控制在0.8mm。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种2D/3D冠状动脉自动配准方法，其特征在于，包括如下步骤：
预处理步骤：对病人的术前三维CTA影像与对应的术中二维XCA影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
双流特征提取步骤：将三维CTA影像对应的3D血管中心线结构、二维XCA影像对应的2D血管中心线结构分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合，形成双流特征；
角位移预测步骤：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
2.根据权利要求1所述的2D/3D冠状动脉自动配准方法，其特征在于，所述预处理步骤包括：
CTA影像训练步骤：随机选取CTA影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3D U-net；
CTA处理步骤：利用训练好的3D U-net，对新数据的CTA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的CTA中心线进行进一步的平滑；
XCA影像训练步骤：随机选取XCA影像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2D U-net；
XCA处理步骤：利用训练好的2D U-net，对新数据的XCA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的XCA中心线进行进一步的平滑。
3.根据权利要求2所述的2D/3D冠状动脉自动配准方法，其特征在于，所述双流特征提取步骤包括：
CTA坐标表示步骤：CTA血管段中心线表示为一系列连续点的集合C＝{a1,…,an}，其中an＝(xn,yn,zn)由点在三维空间的欧式坐标表示；可分解为起始点信息a1与形态信息{a2-a1,…,an-an-1}，其中形态用相邻两点间的偏移量构成的集合表示；
XCA坐标表示步骤：XCA血管段中心线表示为一系列连续点的集合X＝{b1,…,bn}，其中bn＝(xn,yn,zn)由点在三维空间的欧式坐标表示；可分解为起始点信息b1与形态信息{b2-b1,…,bn-bn-1}，其中形态用相邻两点间的偏移量构成的集合表示；
CTA特征融合步骤：将维度为N×3×1的CTA中心线起点信息集合输入CTA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的CTA起点特征；将维度为N×3×(n-1)的CTA中心线形态信息集合输入CTA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的CTA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
XCA特征融合步骤：将维度为N×2×1的XCA中心线起点信息集合输入XCA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的XCA起点特征；将维度为N×2×(n-1)的XCA中心线形态信息集合输入XCA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的XCA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
拼接融合步骤：将CTA特征与XCA特征进行通道维度的拼接，得到维度为N×2m×(n-1)的跨模态融合特征。
4.根据权利要求3所述的2D/3D冠状动脉自动配准方法，其特征在于，所述角位移预测步骤包括：
角度偏移输出步骤：将融合了CTA与XCA信息的跨模态融合特征输入角位移预测网络；角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
形态还原步骤：根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
Figure FDA0003252749720000021
Figure FDA0003252749720000022
Figure FDA0003252749720000023
其中，θ与
Figure FDA0003252749720000024
为空间中两个角度的变化量，r为相邻两点的距离；训练阶段建立一个高斯混合模型来度量两个点集的相似性：
Figure FDA0003252749720000025
其中，LGMM表示误差，PCTA表示CTA点集，PXCA表示XCA点集，σ表示平滑参数。
5.一种2D/3D冠状动脉自动配准系统，其特征在于，包括如下模块：
预处理模块：对病人的术前三维CTA影像与对应的术中二维XCA影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
双流特征提取模块：将三维CTA影像对应的3D血管中心线结构、二维XCA影像对应的2D血管中心线结构分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合，形成双流特征；
角位移预测模块：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
6.根据权利要求5所述的2D/3D冠状动脉自动配准系统，其特征在于，所述预处理模块包括：
CTA影像训练模块：随机选取CTA影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3D U-net；
CTA处理模块：利用训练好的3D U-net，对新数据的CTA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的CTA中心线进行进一步的平滑；
XCA影像训练模块：随机选取XCA影像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2D U-net；
XCA处理模块：利用训练好的2D U-net，对新数据的XCA进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的XCA中心线进行进一步的平滑。
7.根据权利要求6所述的2D/3D冠状动脉自动配准系统，其特征在于，所述双流特征提取模块包括：
CTA坐标表示模块：CTA血管段中心线表示为一系列连续点的集合C＝{a1,…,an}，其中an＝(xn,yn,zn)由点在三维空间的欧式坐标表示；可分解为起始点信息a1与形态信息{a2-a1,…,an-an-1}，其中形态用相邻两点间的偏移量构成的集合表示；
XCA坐标表示模块：XCA血管段中心线表示为一系列连续点的集合X＝{b1,…,bn}，其中bn＝(xn,yn,zn)由点在三维空间的欧式坐标表示；可分解为起始点信息b1与形态信息{b2-b1,…,bn-bn-1}，其中形态用相邻两点间的偏移量构成的集合表示；
CTA特征融合模块：将维度为N×3×1的CTA中心线起点信息集合输入CTA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的CTA起点特征；将维度为N×3×(n-1)的CTA中心线形态信息集合输入CTA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的CTA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
XCA特征融合模块：将维度为N×2×1的XCA中心线起点信息集合输入XCA起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为N×m×1的XCA起点特征；将维度为N×2×(n-1)的XCA中心线形态信息集合输入XCA形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为N×m×(n-1)的XCA形态特征；最后将N×m×1的起点特征沿着最后一维复制为N×m×(n-1)，与形态特征相加进行特征融合；
拼接融合模块：将CTA特征与XCA特征进行通道维度的拼接，得到维度为N×2m×(n-1)的跨模态融合特征。
8.根据权利要求7所述的2D/3D冠状动脉自动配准系统，其特征在于，所述角位移预测模块包括：
角度偏移输出模块：将融合了CTA与XCA信息的跨模态融合特征输入角位移预测网络；角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
形态还原模块：根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
Figure FDA0003252749720000041
Figure FDA0003252749720000042
Figure FDA0003252749720000043
其中，θ与
Figure FDA0003252749720000044
为空间中两个角度的变化量，r为相邻两点的距离；训练阶段建立一个高斯混合模型来度量两个点集的相似性：
Figure FDA0003252749720000045
其中，LGMM表示误差，PCTA表示CTA点集，PXCA表示XCA点集，σ表示平滑参数。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202111051006.8A 2021-09-08 2021-09-08 2d/3d冠状动脉自动配准方法、系统及介质 Pending CN113935889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111051006.8A CN113935889A (zh) 2021-09-08 2021-09-08 2d/3d冠状动脉自动配准方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111051006.8A CN113935889A (zh) 2021-09-08 2021-09-08 2d/3d冠状动脉自动配准方法、系统及介质

Publications (1)

Publication Number Publication Date
CN113935889A true CN113935889A (zh) 2022-01-14

Family

ID=79275337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111051006.8A Pending CN113935889A (zh) 2021-09-08 2021-09-08 2d/3d冠状动脉自动配准方法、系统及介质

Country Status (1)

Country Link
CN (1) CN113935889A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798613A (zh) * 2023-08-23 2023-09-22 山东大学齐鲁医院(青岛) 一种基于关节镜成像的膝骨性关节炎诊断方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798613A (zh) * 2023-08-23 2023-09-22 山东大学齐鲁医院(青岛) 一种基于关节镜成像的膝骨性关节炎诊断方法
CN116798613B (zh) * 2023-08-23 2023-11-28 山东大学齐鲁医院(青岛) 一种基于关节镜成像的膝骨性关节炎诊断方法

Similar Documents

Publication Publication Date Title
US20230104173A1 (en) Method and system for determining blood vessel information in an image
US11216950B2 (en) Method and system for automatically segmenting blood vessel in medical image by using machine learning and image processing algorithm
US20070109299A1 (en) Surface-based characteristic path generation
US10258304B1 (en) Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks
CN109478327B (zh) 用于在任意视场计算断层摄影血管造影（cta）中自动检测全身动脉的方法
JP2018139693A (ja) 画像分類装置、方法およびプログラム
CN111612778B (zh) 一种术前cta与术中x光冠状动脉配准方法
US20210142470A1 (en) System and method for identification of pulmonary arteries and veins depicted on chest ct scans
CN111369528A (zh) 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN110796670A (zh) 一种夹层动脉分割方法及装置
Marai et al. Super-resolution registration using tissue-classified distance fields
Matsuzaki et al. Automated anatomical labeling of abdominal arteries and hepatic portal system extracted from abdominal CT volumes
Liu et al. A parallelized 4D reconstruction algorithm for vascular structures and motions based on energy optimization
Du et al. Real-time lesion detection of cardiac coronary artery using deep neural networks
Tahoces et al. Deep learning method for aortic root detection
US20220092786A1 (en) Method and arrangement for automatically localizing organ segments in a three-dimensional image
WO2015150320A1 (en) Segmentation of tubular organ structures
Blondel et al. Automatic trinocular 3D reconstruction of coronary artery centerlines from rotational X-ray angiography
CN113935889A (zh) 2d/3d冠状动脉自动配准方法、系统及介质
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
CN117237322A (zh) 一种基于医学图像的器官分割建模方法及终端
CN114419032B (zh) 心脏左心室的心肌内膜和/或心肌外膜的分割方法和装置
Cheng et al. Automatic centerline detection of small three-dimensional vessel structures
KR102250173B1 (ko) 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템
Gómez Betancur et al. Airway segmentation, skeletonization, and tree matching to improve registration of 3D CT images with large opacities in the lungs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination