CN113409291B - 一种肺部4d-ct医学图像配准方法及系统 - Google Patents

一种肺部4d-ct医学图像配准方法及系统 Download PDF

Info

Publication number
CN113409291B
CN113409291B CN202110728765.7A CN202110728765A CN113409291B CN 113409291 B CN113409291 B CN 113409291B CN 202110728765 A CN202110728765 A CN 202110728765A CN 113409291 B CN113409291 B CN 113409291B
Authority
CN
China
Prior art keywords
deformation field
layer
image
input
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110728765.7A
Other languages
English (en)
Other versions
CN113409291A (zh
Inventor
魏莹
朱振宇
宋锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110728765.7A priority Critical patent/CN113409291B/zh
Publication of CN113409291A publication Critical patent/CN113409291A/zh
Application granted granted Critical
Publication of CN113409291B publication Critical patent/CN113409291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Biophysics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了一种肺部4D‑CT医学图像配准方法及系统，获取一个呼吸周期内的CT影像数据；对获取的一个呼吸周期内的CT影像数据做至少两次下采样，得到的结果作为第一全连接网络的输入，得到第一形变场；将第一形变场进行一次上采样操作，对获取的一个周期的3D肺部CT图像做一次下采样操作，两者共同作为第二全连接网络的输入，得到第二形变场；将第二形变场进行一次上采样操作，并与获得的一个呼吸周期内的CT影像数据共同作为第三全连接网络的输入，得到第三形变场；本公开将不同分辨率图像输入到网络中学习不同尺度特征，将所得到的低分辨率的形变场作为相对高分辨率网络的输入，最后得到总的配准形变场，极大的提高了配准精度。

Description

一种肺部4D-CT医学图像配准方法及系统
技术领域
本公开涉及图像处理技术领域，特别涉及一种肺部4D-CT医学图像配准方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
肺部4D-CT是指同一个患者在一个呼吸周期内的CT影像集合，其可以反应肺部肿瘤的运动情况。通过对在对肺部的4D-CT图像肿瘤进行配准，使不同时刻的肿瘤反映在同一个坐标尺度下，可以对肺部肿瘤进行放射治疗。因此肺部的4D-CT图像配准是肺癌放疗计划和实施的关键步骤。
形变图像配准拥有几十年的历史，其作为医学图像研究中的基本任务，直到今天仍旧是一个热门的研究课题。形变图像配准的目的是在两幅图像之间建立稠密的非线性空间对应关系，并采取适当的非线性变换来对两幅图像进行配准，使两幅图像之间的相似性最大化。传统的形变配准方法通常将该问题建模为一个优化问题，并力求以迭代方式使能量函数最小化。但是，这些方法通常将配准问题表述为一个独立的迭代优化问题。因此，配准时间显著增加。
近几年随着深度学习的快速发展，许多基于深度学习的医学图像配准方法相继提出，这些方法通常将配准问题定义为卷积神经网络的学习问题。与传统方法相比，基于深度学习的方法可以通过预先训练好的模型有效地预测测试图像对的转换，快速的实现配准。根据是否需要监督信息可以将基于深度学习的方法分为监督学习方法和非监督学习方法。监督学习方法通常需要图像特定的“金标准”(医生手工标记等)来对网络进行指导学习。
发明人发现：尽管监督学习的方法加快了图像配准的进程，但是由于“金标准”信息难以收集，监督方法在实践中通常效果有限；此外，监督学习方法的配准性能很大程度上取决于预定义的“金标准”的质量。无监督的方法通过利用卷积神经网络、空间变换和可微的相似度函数以无监督的方式学习输入图像对之间的密集空间映射。这些方法在进行网络训练的时候不依赖于任何预先定义的监督信息，许多研究表明这些方法在实现快速配准的同时，获得了与经典配准方法相当的配准精度。然而，上述方法多数采用成对的方式将数据集中图像输入到网络中进行学习，这样虽然会的到较好的结果，但是所得网络训练参数仅仅是与所选固定图像相关，这势必会忽略一部分图像特征。此外基于成对输入的方法还需要大量的数据集来训练网络参数，而医学图像数据集的数量受到多方的约束，不可能有充足的数据进行训练，因而为了缓解数据量的缺乏，现有的成对训练的方法将不同患者的CT图像混在一起进行网络训练，这样势必会造成一些配准误差。最后现有的基于深度学习方法大多数通常只对形变场进行正则化约束，虽然正则化约束的权值可以控制变形场的平整度，但是当正则化约束的权值较大时可能会降低模型的配准精度；正则化约束的权值较小时会出现变换中的折叠现象(通常意味着配准错误)。
发明内容
为了解决现有技术的不足，本公开提供了一种肺部4D-CT医学图像配准方法(Multiple-net)及系统，具体内容为让原始图像为高分辨率图像，对原始图像分别进行一次下采样、两次下采样，得到中、低分辨率图像，将不同分辨率图像输入到网络中学习不同尺度特征，将所得到的低分辨率的形变场进行一次上采样并作为相应高分辨率网络的输入，最后得到总的配准形变场，解决了医学图像数据集较少时的图像配准问题，极大的提高了配准精度。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种肺部4D-CT医学图像配准方法。
一种肺部4D-CT医学图像配准方法，包括以下过程：
获取一个呼吸周期内的CT影像数据；
对获取的一个呼吸周期内的CT影像数据做至少两次下采样，得到的结果作为第一全连接网络(即低分辨率网络)的输入，得到第一形变场
Figure BDA0003138542100000031
将第一形变场
Figure BDA0003138542100000032
进行一次上采样操作，对获取的一个周期的3D肺部CT图像做一次下采样操作，两者共同作为第二全连接网络(即中分辨率网络)的输入，得到第二形变场
Figure BDA0003138542100000033
将第二形变场
Figure BDA0003138542100000034
进行一次上采样操作，并与获得的一个呼吸周期内的CT影像数据共同作为第三全连接网络(即高分辨率网络)的输入，得到第三形变场
Figure BDA0003138542100000035
进一步的，利用归一化互相关作为各个全连接网络的相似性度量来计算两幅图像之间的相似程度。
进一步的，第一全连接网络、第二全连接网络和第三全连接网络的损失函数中均包括平滑约束，避免获得不实际或不连续的变形场。
进一步的，采用雅可比行列式作为空间折叠惩罚损失函数，利用雅可比行列式正则化方法对形变场施加局部折叠约束，降低了形变场折叠发生，保持高配准精。
进一步的，第一全连接网络、第二全连接网络和第三全连接网络的损失函数均为：相似性测度损失函数、平滑正则损失函数、空间折叠惩罚损失函数和周期约束损失函数四者的加权和。
进一步的，第一全连接网络、第二全连接网络和第三全连接网络均包括四层带有跳跃连接层的编码器和解码器。
进一步的，第一全连接网络、第二全连接网络和第三全连接网络的结构相同且共享初始参数。
本公开第二方面提供了一种肺部4D-CT医学图像配准系统。
一种肺部4D-CT医学图像配准系统，包括：
数据获取模块，被配置为：获取一个呼吸周期内的CT影像数据；
第一形变场获取模块，被配置为：对获取的一个呼吸周期内的CT影像数据做至少两次下采样，得到的结果作为第一全连接网络的输入，得到第一形变场
Figure BDA0003138542100000041
第二形变场获取模块，被配置为：将第一形变场
Figure BDA0003138542100000042
进行一次上采样操作，对获取的一个周期的3D肺部CT图像做一次下采样操作，两者共同作为第二全连接网络的输入，得到第二形变场
Figure BDA0003138542100000043
第三形变场获取模块，被配置为：将第二形变场
Figure BDA0003138542100000044
进行一次上采样操作，并与获得的一个呼吸周期内的CT影像数据共同作为第三全连接网络的输入，得到第三形变场
Figure BDA0003138542100000045
本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的一种肺部4D-CT医学图像配准方法中的步骤。
本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的一种肺部4D-CT医学图像配准方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的方法、系统、介质或电子设备，Multiple-net采用将一个周期的3D肺部CT图像作为网络的输入取代成对输入学习，Multiple-net网络并不需要将所有数据集输入网络进行训练，其网络参数仅仅是通过所输入的一个周期的3D肺部CT图像进行训练得到的，有效的避免了潜在误差的产生。
2、本公开所述的方法、系统、介质或电子设备，针对数据量不足的情况，采用多分辨率机制，原始图像为高分辨率，对原始图像分别进行一次下采样、两次下采样，得到中、低分辨率图像，将不同分辨率图像输入到网络中学习不同尺度特征，将所得到的低分辨率的形变场作为相应高分辨率网络的输入，最后得到总的配准形变场，极大的提高了配准精度。
3、本公开所述的方法、系统、介质或电子设备，将雅可比行列式用在空间正则化约束项上来降低变换中的折叠，保持高配准精。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的肺部4D-CT医学图像配准方法的网络结构示意图。
图2为本公开实施例1提供的全连接网络的结构示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
本公开实施例1提供了一种肺部4D-CT医学图像配准方法，包括以下过程：
如图1所示，优选的，本实施例在三个不同分辨率下学习图像特征；
总体架构的最下面一层是一个低分辨率的图像，具体操作为：
让一个周期的3D肺部CT图像做两次下采样，得到的结果作为网络的输入，让网络学习图像大尺度的特征，得到相应的形变场(即第一形变场
Figure BDA0003138542100000061
)，并将得到的形变场
Figure BDA0003138542100000062
进行一次上采样操作，将其作为总体架构中间层的输入；
总体架构中间层是中等分辨率的图像，具体操作为：
让一个周期的3D肺部CT图像做一次下采样，得到的结果和最底层得到的形变场(即第一形变场
Figure BDA0003138542100000063
)一同作为网络的输入，让网络再学习图像中等尺度的特征的同时学习低尺度的特征，得到相应的形变场(即第二形变场
Figure BDA0003138542100000064
)，并将得到的形变场
Figure BDA0003138542100000065
进行一次上采样操作，将其作为总体架构最上层的输入；
总体架构最上层是高分辨率的图像也就是原始图像，将其与中间层得到的形变场
Figure BDA0003138542100000071
一起输入到网络中进行学习，使得网络学习到低、中、高三种尺度的特征，得到相应形变场(即第三形变场
Figure BDA0003138542100000072
)，这样做可以提高网络配准精度。
可以理解的，在其他一些实施方式中，也可以在四个或者五个或者更多个不同分辨率下学习图像特征，只要按照本公开所述的方法进行逐级采样和连接即可，本领域技术人员可以根据具体工况进行选择，这里不再赘述。
如图2所示，本实施例所设计的网络框架是类似于U-net的全连接网络，整个网络由四层带有跳跃连接层的编码器解码器组成。图1中不同分辨率层中的全连接网络是相同的，本实施例只介绍一下最底层全连接网。
首先编码阶段，将一组一个周期的3D肺部CT图像输入到网络中(如图1中最左侧网络的输入)，应用一个大小为3×3×3，步长为1的卷积核，得到图2最左侧的卷积层，然后是一个步长为2，大小为3×3×3卷积层进行下采样操作，进一步计算输入图像对之间的高级特征，并将图像尺寸减半采样，直到达到最低尺寸(如图2中卷积层尺寸从左到右逐渐减小)。
解码阶段，首先通过应用大小为2×2×2，步长为2卷积核进行反卷积操作，使通过编码阶段得到的卷积层上采样到其两倍大小。将编码阶段得到的相同尺寸的卷积层通过残差网络跳跃连接，从弥补网络丢失的特征信息。应用大小为3×3×3，步长为1的卷积核来减少连接之后网络的通道数。经过4次操作，使卷积层尺寸大小与图1最左侧卷积层尺寸大小相同。最后应用一个大小为1×1×1，步长为1的卷积核得到形变场。另外在网络中除了最后输出卷积层外，剩下的每一个卷积之后都有Relu激活函数，并且在进行每一步步长为1的卷积操作的后都会有一个填充操作，以便使输出卷积层和输入卷积层尺寸一致。
全连接网络的损失函数包括：
(1)相似性测度损失函数
计算两幅图像相似度损失函数有很多，比如均方误差(mean squared error，MSE)、距离平方和(sum of squares distance，SSD)、交互信息(mutual information，MI)、互相关(cross-correlation，CC)、归一化互相关(normalized cross-correlation NCC)等。为了简单起见，本实施例利用归一化互相关作为网络的相似性度量来计算两幅图像之间的对齐程度。让Ii和Ij分别为一个呼吸周期内的CT影像集合内的两幅图像(i≠j)，
Figure BDA0003138542100000081
和
Figure BDA0003138542100000082
分别为以x为中心的一个ω3图像块的期望值，其中在本实施例的实验中ω的值为9。因此归一化互相关定义为如下等式：
Figure BDA0003138542100000083
其中，Ω代表的使图像域，xi代表的是在ω3图像块里与中心x的相邻的体素。另外归一化互相关NCC的取值范围为[-1,1]，数字-1代表两幅图像完全不相关，数字1代表两幅图像相关度极高。因此,将相似性测度损失函数设计为：
Figure BDA0003138542100000084
其中，IN代表的是一个呼吸周期内的CT影像集合，TN表示的是一个呼吸周期内的所有CT影像转换向量场的集合，
Figure BDA0003138542100000085
指的是第i和第j图像转换向量场的集合。
(2)平滑正则损失函数
在以往的研究中，通常对其空间梯度进行局部平滑约束来使估计的形变场平滑，这样是为了避免获得不实际或不连续的变形场。因此，本实施例在损失函数中也使用平滑约束：
Figure BDA0003138542100000091
其中，μi(p)代表的是第i个图像在位置p处的形变向量场，
Figure BDA0003138542100000092
代表的是形变向量场的梯度，||·||2代表的是l2范数，在本实施例中，用相邻体素之间的差值来近似空间梯度。
(3)空间折叠惩罚损失函数
虽然正则化器可以控制变形场的平整度，但是当正则化器的权值较大时可能会降低模型的配准精度；正则化器的权值较小时会出现变换中的折叠现象。这些折叠点在数学上就是其雅可比行列式的值为负数，因此为了在选择较小正则化权值的时候能最大化图像配准精度，本实施例应用雅可比行列式正则化方法，该方法对估计的变形场施加局部折叠约束。空间折叠惩罚损失函数定义如下：
Figure BDA0003138542100000093
其中，σ(·)表示的是一个线性约束，其表达为：
Figure BDA0003138542100000094
(4)式中，
Figure BDA0003138542100000095
表示形变向量场μn在点p处的雅可比行列式。
雅可比矩阵定义如下：
Figure BDA0003138542100000096
位移场的雅可比矩阵是由图像域中点各方向的方向导数形成的二阶张量场，利用雅可比行列式可以分析形变场的局部行为，例如
Figure BDA0003138542100000101
则表示点p处的形变场在p的邻域内保持方向，反之则点p处的变形场在p的邻域方向相反，有可能产生折叠。因此采用雅可比行列式作为空间折叠惩罚损失函数来避免折叠发生。
(4)周期约束损失函数
周期约束定义的是一个周期内所有体素对应的形变向量之和。
周期约束损失函数定义如下：
Figure BDA0003138542100000102
其中，
Figure BDA0003138542100000103
表示的是第一幅图像到第n幅图像对应点p的形变向量。(6)式和为零则表示完整的周期运动。
因此，本实施例的完整损失函数可以写成：
Ltotal(IN,TN)＝Lsim+λ1Lreg+λ2LJdet+λ3Lpre (7)
其中，λ1,λ2,λ3分别代表平滑正则损失函数、空间折叠惩罚损失函数和周期约束损失函数的权重。
实施例2：
本公开实施例2提供了一种肺部4D-CT医学图像配准系统，包括：
数据获取模块，被配置为：获取一个呼吸周期内的CT影像数据；
第一形变场获取模块，被配置为：对获取的一个呼吸周期内的CT影像数据做至少两次下采样，得到的结果作为第一全连接网络的输入，得到第一形变场
Figure BDA0003138542100000104
第二形变场获取模块，被配置为：将第一形变场
Figure BDA0003138542100000105
进行一次上采样操作，对获取的一个周期的3D肺部CT图像做一次下采样操作，两者共同作为第二全连接网络的输入，得到第二形变场
Figure BDA0003138542100000111
第三形变场获取模块，被配置为：将第二形变场
Figure BDA0003138542100000112
进行一次上采样操作，并与获得的一个呼吸周期内的CT影像数据共同作为第三全连接网络的输入，得到第三形变场
Figure BDA0003138542100000113
实施例3：
本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的一种肺部4D-CT医学图像配准方法中的步骤。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的一种肺部4D-CT医学图像配准方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (9)

1.一种肺部4D-CT医学图像配准方法，其特征在于：包括以下过程：
获取一个呼吸周期内的CT即4D-CT影像数据；
对获取的一个呼吸周期内的4D-CT影像数据做至少两次下采样，得到的结果作为第一全连接网络的输入，得到第一形变场；
将第一形变场进行一次上采样操作，对获取的一个周期的4D肺部CT图像做一次下采样操作，两者共同作为第二全连接网络的输入，得到第二形变场；
将第二形变场进行一次上采样操作，并与获得的一个呼吸周期内的4D-CT影像数据共同作为第三全连接网络的输入，得到第三形变场；
第一全连接网络、第二全连接网络和第三全连接网络均包括四层带有跳跃连接层的编码器和解码器，对于编码阶段的每一层都含有两个卷积层，其中包含一个卷积层进行特征提取，另一个卷积层进行下采样操作，进一步计算输入图像之间的高级特征，并将图像尺寸减半，直到达到最低尺寸；对于解码阶段的每一层，首先通过跳跃连接层将编码阶段相同尺度的特征映射进行连接，然后用卷积层和反卷积层，将特征映射上采样到其两倍大小，直到达到特征图像尺寸大小与输入图像大小相同。
2.如权利要求1所述的肺部4D-CT医学图像配准方法，其特征在于：
利用归一化互相关作为各个全连接网络的相似性度量来计算两幅图像之间的对齐程度。
3.如权利要求1所述的肺部4D-CT医学图像配准方法，其特征在于：
第一全连接网络、第二全连接网络和第三全连接网络的损失函数中均包括平滑约束。
4.如权利要求1所述的肺部4D-CT医学图像配准方法，其特征在于：
采用雅可比行列式作为空间折叠惩罚损失函数，利用雅可比行列式正则化方法对形变场施加局部折叠约束。
5.如权利要求1所述的肺部4D-CT医学图像配准方法，其特征在于：
第一全连接网络、第二全连接网络和第三全连接网络的损失函数均为：相似性测度损失函数、平滑正则损失函数、空间折叠惩罚损失函数和周期约束损失函数四者的加权和。
6.如权利要求1所述的肺部4D-CT医学图像配准方法，其特征在于：
第一全连接网络、第二全连接网络和第三全连接网络的结构相同且共享初始参数。
7.一种肺部4D-CT医学图像配准系统，其特征在于：包括：
数据获取模块，被配置为：获取一个呼吸周期内的CT即4D-CT影像数据；
第一形变场获取模块，被配置为：对获取的一个呼吸周期内的4D-CT影像数据做至少两次下采样，得到的结果作为第一全连接网络的输入，得到第一形变场；第一全连接网络包括四层带有跳跃连接层的编码器和解码器，对于编码阶段的每一层都含有两个卷积层，其中包含一个卷积层进行特征提取，另一个卷积层进行下采样操作，进一步计算输入图像之间的高级特征，并将图像尺寸减半，直到达到最低尺寸；对于解码阶段的每一层，首先通过跳跃连接层将编码阶段相同尺度的特征映射进行连接，然后用卷积层和反卷积层，将特征映射上采样到其两倍大小，直到达到特征图像尺寸大小与输入图像大小相同；
第二形变场获取模块，被配置为：将第一形变场进行一次上采样操作，对获取的一个周期的4D肺部CT图像做一次下采样操作，两者共同作为第二全连接网络的输入，得到第二形变场；第二全连接网络包括四层带有跳跃连接层的编码器和解码器，对于编码阶段的每一层都含有两个卷积层，其中包含一个卷积层进行特征提取，另一个卷积层进行下采样操作，进一步计算输入图像之间的高级特征，并将图像尺寸减半，直到达到最低尺寸；对于解码阶段的每一层首先通过跳跃连接层将编码阶段相同尺度的特征映射进行连接，然后用卷积层和反卷积层，将特征映射上采样到其两倍大小，直到达到特征图像尺寸大小与输入图像大小相同；
第三形变场获取模块，被配置为：将第二形变场进行一次上采样操作，并与获得的一个呼吸周期内的4D-CT影像数据共同作为第三全连接网络的输入，得到第三形变场；第三全连接网络包括四层带有跳跃连接层的编码器和解码器，对于编码阶段的每一层都含有两个卷积层，其中包含一个卷积层进行特征提取，另一个卷积层进行下采样操作，进一步计算输入图像之间的高级特征，并将图像尺寸减半，直到达到最低尺寸；对于解码阶段的每一层，首先通过跳跃连接层将编码阶段相同尺度的特征映射进行连接，然后用卷积层和反卷积层，将特征映射上采样到其两倍大小，直到达到特征图像尺寸大小与输入图像大小相同。
8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的一种肺部4D-CT医学图像配准方法中的步骤。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的一种肺部4D-CT医学图像配准方法中的步骤。
CN202110728765.7A 2021-06-29 2021-06-29 一种肺部4d-ct医学图像配准方法及系统 Active CN113409291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110728765.7A CN113409291B (zh) 2021-06-29 2021-06-29 一种肺部4d-ct医学图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110728765.7A CN113409291B (zh) 2021-06-29 2021-06-29 一种肺部4d-ct医学图像配准方法及系统

Publications (2)

Publication Number Publication Date
CN113409291A CN113409291A (zh) 2021-09-17
CN113409291B true CN113409291B (zh) 2022-04-22

Family

ID=77680393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110728765.7A Active CN113409291B (zh) 2021-06-29 2021-06-29 一种肺部4d-ct医学图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN113409291B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363760A (zh) * 2019-07-22 2019-10-22 广东工业大学 用于识别医学图像的计算机系统
CN111345837A (zh) * 2019-09-06 2020-06-30 上海联影医疗科技有限公司 医学图像重建方法、设备和计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854276B (zh) * 2012-12-04 2018-02-09 东芝医疗系统株式会社 图像配准及分割装置和方法，以及医学图像设备
CN110599528B (zh) * 2019-09-03 2022-05-27 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363760A (zh) * 2019-07-22 2019-10-22 广东工业大学 用于识别医学图像的计算机系统
CN111345837A (zh) * 2019-09-06 2020-06-30 上海联影医疗科技有限公司 医学图像重建方法、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN113409291A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
Mahapatra et al. Training data independent image registration using generative adversarial networks and domain adaptation
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN107492071A (zh) 医学图像处理方法及设备
CN110047138A (zh) 一种磁共振薄层图像重建方法
CN112602114B (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN114445420B (zh) 编解码结构结合注意力机制的图像分割模型及其训练方法
CN115564649B (zh) 一种图像超分辨率重建方法、装置及设备
CN102915527A (zh) 基于形态学成分分析的人脸图像超分辨率重建方法
CN106408550A (zh) 一种改进的自适应多字典学习的图像超分辨率重建方法
CN104899835A (zh) 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
Benou et al. De-noising of contrast-enhanced MRI sequences by an ensemble of expert deep neural networks
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
CN111860528A (zh) 基于改进U-Net网络的图像分割模型及训练方法
CN112991483B (zh) 一种非局部低秩约束的自校准并行磁共振成像重构方法
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
Zhao et al. MPSHT: multiple progressive sampling hybrid model multi-organ segmentation
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
Xu et al. Medsyn: Text-guided anatomy-aware synthesis of high-fidelity 3d ct images
CN117333371A (zh) 基于生成对抗网络的自适应域医学图像跨模态转换方法
CN113744284A (zh) 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN113409291B (zh) 一种肺部4d-ct医学图像配准方法及系统
Kim et al. Multi-domain CT translation by a routable translation network
CN106204667B (zh) 一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法
CN115908811A (zh) 一种基于Transformer和卷积注意力机制的CT图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant