CN113327274B - 集成分割功能的肺ct图像配准方法及系统 - Google Patents
集成分割功能的肺ct图像配准方法及系统 Download PDFInfo
- Publication number
- CN113327274B CN113327274B CN202110408013.2A CN202110408013A CN113327274B CN 113327274 B CN113327274 B CN 113327274B CN 202110408013 A CN202110408013 A CN 202110408013A CN 113327274 B CN113327274 B CN 113327274B
- Authority
- CN
- China
- Prior art keywords
- lung
- image
- registration
- segmentation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 234
- 230000011218 segmentation Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000010354 integration Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000241 respiratory effect Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000002685 pulmonary effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 abstract description 6
- 210000000056 organ Anatomy 0.000 description 4
- 238000001959 radiotherapy Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种集成分割功能的肺CT图像配准方法及系统，该方法包括以下步骤：S1、数据预处理；S2、建立肺分割‑配准集成网络，所述肺分割‑配准集成网络包括特征编码模块、肺分割模块和肺配准模块；S3、构建肺分割模块；S4、构建肺配准模块；S5、建立用于肺配准的自适应正则约束项：S6、训练肺分割‑配准集成网络；S7、将待配准的肺部4D‑CT图像输入到训练后的肺分割‑配准集成网络中，自动输出配准结果。本发明能够获得滑移和平滑运动模式兼容的理想的肺部位移场，本发明根据像素点位置特征不同，计算自适应正则项，并将两种正则项进行空间加权结合，保障了图像的局部差异和配准精度。
Description
技术领域
本发明涉及医学图像处理技术领域，特别涉及一种集成分割功能的肺CT 图像配准方法及系统。
背景技术
肺部4D-CT图像的形变配准是监测肺部器官和肺部肿瘤的精确运动轨迹，可以应用于肺癌放疗中以最大化病灶靶区的剂量同时避免了对健康组织的损害的必要技术。然而，肺是高度复杂变形的器官，对于传统的配准方法，实现精确的肺部形变配准是一项具有挑战性的任务，主要体现在：(1)由于肺部的运动较大，传统的配准方法容易陷入局部最优解，从而导致误配准。 (2)在呼吸过程中，肺的CT强度值会发生变化。其局部强度不均匀性不符合传统配准方法中强度恒定的假设。因此，这些传统的基于灰度的配准方法 (如基于B样条的形变模型、Demons和光流法)，无法有效地配准肺部图像。此外，这些传统方法是迭代优化的，通常计算耗时非常长，特别是对于大型 4D-CT数据集。
现今，深度学习技术被有效应用于快速预测形变场，并且也有肺部4D-CT 的配准网络被提出提升了肺部4D-CT图像的配准速度。这些方法通常采用传统的正则化项(如L2范数)，以保证形变场的平滑性。然而，当人体进行呼吸运动时，肺器官和它们周围组织之间会存在一个相对的滑移运动，此时肺的运动和它们边界的运动是断裂的，因此会在肺和胸膜之间、隔膜之间会产生一个不连续的位移场。因此，上述传统的全局平滑L2约束虽可以有效避免软组织及器官内部的折叠或拉伸，但也模糊了滑动边界，以致不能准确地表示滑动界面处的不连续位移场。
一些研究者采用基于L1范数的TV非光滑约束项来保持滑移运动。TV 算子沿梯度的正交方向扩散，可以允许保持器官边界的不连续位移。然而，对肺图像施加全局的TV非平滑约束，则会无法保证肺内部运动的平滑性，从而出现折叠或间隙，影响肺内部结构的配准质量。
因此，现在有必要提供一种兼容滑移和平滑运动模式的理想的肺部图像配准方案。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种集成分割功能的肺CT图像配准方法及系统。
为解决上述技术问题，本发明采用的技术方案是：提供一种集成分割功能的肺CT图像配准方法，包括以下步骤：
S1、对采集的病人的肺部4D-CT数据进行预处理，形成若干组图像对，构建为训练数据集；
其中，每组图像对均包括一幅参考图像F和一幅浮动图像M，每一幅参考图像和浮动图像均进行肺实质手动分割形成有参考图像的标准的肺实质边界SF以及浮动图像的标准的肺实质边界SM；
S2、建立肺分割-配准集成网络，所述肺分割-配准集成网络包括特征编码模块、肺分割模块和肺配准模块；
其中，参考图像F和浮动图像M输入所述特征编码模块后，输出参考图像F的特征映射CF和浮动图像M的特征映射CM；肺分割模块根据所述特征编码模块的输出得到参考图像F的预测的肺实质边界以及浮动图像M的预测的肺实质边界/>所述肺配准模块输出根据所述特征编码模块的输出得到参考图像F与浮动图像M之间的形变场φ，并得到与参考图像F完成配准后的浮动图像M(φ)；
S3、构建肺分割模块；
S4、构建肺配准模块；
S5、建立用于肺配准的自适应正则约束项
以所述肺分割模块输出的参考图像F的预测的肺实质边界为辅助先验知识，利用体素点到肺表面的空间位置权重，将L2约束和L1约束进行加权结合构建一个综合的自适应正则约束项/>
S6、训练所述肺分割-配准集成网络，其中采用联合优化损失函数Ltotal为目标函数进行训练，Ltotal为：
其中，LS为所述肺分割模块的训练目标函数，LG为所述肺配准模块的训练目标函数，λ和β为调节系数，-NCC(F,M(φ))为配准后的浮动图像M(φ)和对应的参考图像F的归一化互相关值；
S7、将待配准的肺部4D-CT图像输入到经步骤S6训练后得到的肺分割- 配准集成网络中，自动输出配准结果。
优选的是，所述步骤S1中，每例肺部4D-CT数据均包括整个呼吸周期的至少两个阶段的3D-CT数据，所述步骤S1中进行预处理的方法具体包括：
S1-1、将整个呼吸周期的至少两个阶段中任意两个阶段的两幅图像形成一个图像对，选择图像对中的一幅作为参考图像，另一幅作为浮动图像；进行数据扩增，增大训练数据集量；
S1-2、采用水平集分割算法对所有的参考图像和浮动图像进行肺实质粗略分割；
S1-3、根据步骤S1-2的结果，由医生或专家对每一幅参考图像和浮动图像均进行手动分割，得到参考图像的标准的肺实质边界SF以及浮动图像的标准的肺实质边界SM。
优选的是，所述特征编码模块为向下采样卷积，所述肺分割模块和肺配准模块均为上采样卷积，所述肺分割模块和肺配准模块共用所述特征编码模块；
所述特征编码模块由三个下采样池化操作模块形成四个分辨率级别，每个分辨率级别包含一个最大池化层和两个卷积层。
优选的是，所述肺分割模块的结构与所述特征编码模块形成对称，所述肺分割模块由三个上采样操作模块形成四个分辨率级别，每个分辨率级别包含一个反卷积层和两个卷积层，所述肺分割模块的最后一层是一个1通道的以Sigmoid为激活函数的卷积层，用于输出肺实质边界的预测概率图。
优选的是，参考图像F和浮动图像M输入所述特征编码模块后，得到参考图像F的特征映射CF和浮动图像M的特征映射CM，CF和CM均输入到所述肺分割模块中后，预测得到参考图像F的肺实质边界以及浮动图像M的肺实质边界/>其中的训练目标函数为：
其中，SF和SM分别为步骤S1中得到的手动分割所获得的参考图像的标准的肺实质边界以及浮动图像的标准的肺实质边界，FL为Focal Loss损失函数，用于计算预测的肺实质边界与标准的肺实质边界SM、SF的差异，公式如下：
其中，α是平衡因子，γ为调节简单样本权重降低的速率。
优选的是，所述肺配准模块的结构与所述肺分割模块的结构的不同之处仅在于：所述肺配准模块中的最后一层是一个3通道的不包括激活函数的卷积层，用于输出待配准图像对原始分辨率下x、y、z方向的形变场φ；
CF和CM均输入到所述肺配准模块中后，得到参考图像F和浮动图像M 之间的形变场φ，并通过φ对浮动图像M形变得到配准后的浮动图像M(φ)，其中采用的训练目标函数为：
优选的是，步骤S5中的计算公式为：
其中，η为经验参数，用来调整L2约束和L1约束的比例范围；w(x)为体素点分配给L2约束和L1约束的空间位置权重；
其中，w(x)的计算步骤包括：
1)首先，对所述肺分割模块输出的参考图像F的分割后的图像进行高斯核卷积滤波，得到肺边界信息图像d(x)，图像d(x)包含了体素与肺边界的距离信息；
2)通过以下公式计算w(x)：
优选的是，其中，c1和c2为经验参数。
优选的是，其中，α＝0.25，γ＝2。
优选的是，其中，c1为100，c2为1×10-5。
优选的是，其中，λ设置为1，β设置为0.01。
本发明还提供一种集成分割功能的肺CT图像配准系统，其采用如上所述的方法对肺CT图像进行配准。
本发明还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是：
1、本发明能够用于具有滑移运动的肺部图像的配准，获得滑移和平滑运动模式兼容的理想的肺部位移场，本发明根据像素点位置特征不同，计算自适应正则项，并将两种正则项进行空间加权结合，保障了图像的局部差异和配准精度。
2、本发明基于深度网络实现肺配准，极大地加快了配准速度；
3、本发明融合了配准和分割两种功能，能够同时实现肺4D-CT图像的准确分割和配准，能为精准的肺癌放疗或呼吸运动建模提供技术支撑，也能为其他具有周期性运动的器官图像配准建模奠定了技术基础。
附图说明
图1为本发明的实施例1中的集成分割功能的肺CT图像配准方法的流程图；
图2为本发明的实施例1中的肺分割-配准集成网络的结构图；
图3为本发明的实施例1中提供的肺部CT图像的经过肺分割网络的肺边界检测结果；
图4为本发明的实施例1中的基于不同正则化项的配准结果图；
图5为本发明的实施例1中提供的两幅图像经过专家手动分割的标准肺边界和本发明的肺分割模块获得的肺边界图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
参考图1，本实施例的一种集成分割功能的肺CT图像配准方法，包括以下步骤：
S1、对采集的病人的肺部4D-CT数据进行预处理，形成若干组图像对，构建为训练数据集
其中，每组图像对均包括一幅参考图像F和一幅浮动图像M，每一幅参考图像和浮动图像均进行肺实质手动分割形成有参考图像的标准的肺实质边界SF以及浮动图像的标准的肺实质边界SM。
本发明中的4D-CT训练数据集是在苏州大学附属第一医院放疗科采集的 38例病人的肺部CT临床数据。其中，每例肺部4D-CT数据均包括整个呼吸周期的10个阶段的3D-CT数据，该临床数据的切片厚度为3mm，每张切片大小为768×768体素，切片内体素间的分辨率为0.9115mm，而各例4D-CT 数据包含的切片数不相同，从87到289张不等。
在优选的实施例中，所述步骤S1中进行预处理的方法具体包括：
S1-1、将10个阶段中任意两个阶段的两幅图像形成一个图像对，选择图像对中的一幅作为参考图像，另一幅作为浮动图像，产生了1710组图像对。进行数据扩增，增大训练数据集量；本实施例中具体方式为：交换图像对中的参考图像和浮动图像，训练样本对的总数增加了一倍，最终产生了3420组用于训练的图像对。
S1-2、采用水平集分割算法对所有的参考图像和浮动图像进行肺实质粗略分割；
S1-3、根据步骤S1-2的结果，由经验丰富的放疗科医生或专家对每一幅参考图像和浮动图像均进行手动分割，得到参考图像的标准的肺实质边界SF以及浮动图像的标准的肺实质边界SM。
其中，对肺感兴趣区域进行裁剪时，为了避免边界效应，图像裁剪后保留了一定的边缘。
S2、建立肺分割-配准集成网络，所述肺分割-配准集成网络包括特征编码模块、肺分割模块和肺配准模块
在本实施例中提供的肺分割-配准集成网络的结构类似于3D-Unet网络结构，如图2所示。其中，参考图像F和浮动图像M输入所述特征编码模块后，输出参考图像F的特征映射CF和浮动图像M的特征映射CM；肺分割模块根据所述特征编码模块的输出得到参考图像F的预测的肺实质边界以及浮动图像M的预测的肺实质边界/>所述肺配准模块输出根据所述特征编码模块的输出得到参考图像F与浮动图像M之间的形变场φ，并得到与参考图像F完成配准后的浮动图像M(φ)。
S3、构建肺分割模块
所述特征编码模块为向下采样卷积，所述肺分割模块和肺配准模块均为上采样卷积，所述肺分割模块和肺配准模块共用所述特征编码模块；
所述特征编码模块由三个下采样池化操作模块形成四个分辨率级别，每个分辨率级别包含一个最大池化层和两个卷积层。
所述肺分割模块的结构与所述特征编码模块形成对称，所述肺分割模块由三个上采样操作模块形成四个分辨率级别，每个分辨率级别包含一个反卷积层和两个卷积层，所述肺分割模块的最后一层是一个1通道的以Sigmoid 为激活函数的卷积层，用于输出肺实质边界的预测概率图。
具体的，参考图像F和浮动图像M输入所述特征编码模块后，得到参考图像F的特征映射CF和浮动图像M的特征映射CM，CF和CM均输入到所述肺分割模块中后，预测得到参考图像F的肺实质边界以及浮动图像M的肺实质边界/>其中的训练目标函数为：
其中，SF和SM分别为步骤S1中得到的手动分割所获得的参考图像的标准的肺实质边界以及浮动图像的标准的肺实质边界，FL为Focal Loss损失函数，用于计算预测的肺实质边界与标准的肺实质边界SM、SF的差异，公式如下：
其中，α是平衡因子，γ为调节简单样本权重降低的速率。在本实施例中，α＝0.25，γ＝2。相较于传统的交叉熵损失函数基，本实施例中采用Focal loss损失函数降低了大量简单负样本在训练中所占的权重，能更关注于肺边界点的预测。这些肺实质边界反映了肺表面的解剖信息，即每个像素的肺分割概率。将该边界信息集成到肺配准模块的优化中，对肺实质不同部位的形变场自适应施加不同的正则约束，在一定程度上保留了肺的形变特性。
S4、构建肺配准模块
所述肺配准模块的结构与所述肺分割模块的结构的不同之处仅在于：所述肺配准模块中的最后一层是一个3通道的不包括激活函数的卷积层，用于输出待配准图像对原始分辨率下x、y、z方向的形变场φ；
并且，为了加快网络模型的收敛速度，在一种可选的实施例中，肺分割- 配准集成网络在各编码阶段和对应的分割、配准解码阶段之间都使用了跳跃连接。这使得网络的每一层，特别是第一层，可以得到有效的训练，因为梯度可以更容易地从最后一层传递到第一层，减少梯度消失或爆炸的问题。
CF和CM均输入到所述肺配准模块中后，得到参考图像F和浮动图像M 之间的形变场φ，并通过φ对浮动图像M形变得到配准后的浮动图像M(φ)，其中采用的训练目标函数为：
其中，-NCC(F,M(φ))为配准后的浮动图像M(φ)和对应的参考图像F的归一化互相关值，为配准中对形变场φ的自适应正则约束项，λ为调节系数。
S5、建立用于肺配准的自适应正则约束项
图像配准任务是一个高复杂度的优化问题，很容易会出现过拟合问题。所以一般会在配准问题的优化函数中加入对形变参数的正则约束，可以防止不合理的形变，保证所求解的图像形变具有空间拓扑结构，近似于一一映射。对于正则化约束项R(φ)，现有方法通常使用单一的L2-范数或L1-范数约束，公式如下：
其中Ω为图像域Ω＝{x＝(x,y,z)|0≤x＜Nx,0≤y＜Ny,0≤z＜Nz}上，Nx，Ny， Nz分别为图像x，y，z方向的大小，为形变场φ在x，y，z方向的梯度。
现有方法中，单一的L2-范数或L1-范数全局约束会过度光滑或聚焦不连续的滑移运动。故本发明中，针对具有滑移运动的肺部图像配准任务，在保留肺表面边界不连续形变的同时，依然需要保证非边界的内部区域的位移光滑性。具体地，图像中体素点越接近肺表面边界，形变场的不连续性越突出，相反，越远离肺边界的内部区域的形变场就越需要光滑性。因此，本发明中以所述肺分割模块输出的参考图像F的预测的肺实质边界为辅助先验知识，利用体素点到肺表面的空间位置权重，将L2约束和L1约束进行加权结合构建一个综合的自适应正则约束项/>来对配准中的形变场φ进行约束，具体的，/>的计算公式为：
其中，η为经验参数，用来调整L2约束和L1约束的比例范围；w(x)为体素点分配给L2约束和L1约束的空间位置权重；
其中，w(x)的计算步骤包括：
1)首先，对所述肺分割模块输出的参考图像F的分割后的图像进行高斯核卷积滤波，得到肺边界信息图像d(x)，图像d(x)包含了体素与肺边界的距离信息；若当前体素越接近于肺边界，对应的d(x)值越大。反之，则若当前体素越远离边界，对应的d(x)越小，接近于0；
2)通过以下公式计算w(x)：
其中，c1和c2为经验参数。本实施例中，c1为100，c2为1×10-5。
有以上公式可知，权重w(x)是有关d(x)的单调递增函数，在0到1之间变化。因此，如果当前体素越接近于滑动界面，对应的w(x)越接近于1，则L1约束作用越显著。反之，则若当前体素属于肺内部，越远离边界，对应的w(x) 越接近于0，则L2约束作用越显著。如此，该正则项能够同时兼容肺边界处的滑移运动和肺内部的平滑运动模式。图3展示了一幅肺部CT图像的经过肺分割网络的肺边界检测结果：图3(b)，以及对应的肺部空间位置权重w(x)图像：图3(c)；其中，图3(a)为原始肺CT图像。
S6、训练所述肺分割-配准集成网络
本发明中分割网络和配准网络同时训练，使分割损失函数(即肺分割模块的训练目标函数)和配准损失函数(即肺配准模块的训练目标函数)共同最小化，具体的，采用以下联合优化损失函数Ltotal为目标函数进行训练：
其中，LS为所述肺分割模块的训练目标函数，LG为所述肺配准模块的训练目标函数，λ和β为调节系数，-NCC(F,M(φ))为配准后的浮动图像M(φ)和对应的参考图像F的归一化互相关值。本实施例中，λ设置为1，β设置为0.01。
S7、将待配准的肺部4D-CT图像输入到经步骤S6训练后得到的肺分割- 配准集成网络中，自动输出配准结果
由于本发明的分割-配准集成网络集成有肺图像分割功能，所以待配准的肺部图像不再续约其他分割网络和人工分割处理，直接输入该分割-配准集成网络即可得到最终的配准结果。
相比于传统方案中采用全局不变的正则项对图像进行配准，本发明则根据像素点位置特征不同，计算自适应正则项，并将两种正则项进行空间加权结合，保障了图像的局部差异和配准精度；本发明基于深度网络实现肺配准，相比于传统采用4D-CT配准算法极大地加快了配准速度；本发明中肺分割模块能够同时提供肺表面的解剖信息，从而使得本发明能够同时实现肺4D-CT 图像的准确分割和配准。
为了验证本发明中的4D-CT配准模型在不同数据集上的鲁棒性和泛化能力，本实施例中，使用从公开的DIR-Lab数据集作为配准精度评估的测试数据集。DIR-Lab数据集中提供了10例病人4D-CT数据，每例4D-CT数据同样包含有10个呼吸阶段的3D-CT数据。空间分辨率从0.97mm×0.97mm×2.5 mm到1.16mm×1.16mm×2.5mm不等，切片数从94到136张不等，切片厚度为2.5mm。其中每例4D-CT数据中的第0阶段(吸气相末端)和第5阶段(呼气相末端)图像具有由临床专家精心标定的300组对应解剖标记点，用于TRE 定量指标评估，对比结果见表1和图3。在预处理过程中，DIR-Lab数据集与训练数据集采用相同的操作。其中，裁剪训练数据集中的4D-CT数据和 DIR-Lab数据集的数据覆盖一致的肺部区域，并且对训练集和测试集进行重采样使之具有相同的分辨率(128×128×96)。
表1.DIR-Lab 10组肺CT图像基于不同正则项配准后TRE结果(单位：mm)
TRE为目标配准误差，值越小代表配准结果越准确，从表1的结果可以看出，本实施例的方法获得的配准结果具有很高的准确度。
参照图4，为两幅图像经过专家手动分割的标准肺边界和本发明的肺分割模块获得的肺边界图。图像中包括两条绿色轮廓线，一条为通过本发明中的肺分割模块获得的肺边界，另一条轮廓线是专家手动分割的标准肺边界；可以看出，本发明中的肺分割模块产生的肺边界与标准的肺边界是高度吻合的。
实施例2
本实施例提供一种集成分割功能的肺CT图像配准系统，其采用实施例1 的方法对肺CT图像进行配准。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现实施例1的方法。
本实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1的方法。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。
Claims (7)
1.一种集成分割功能的肺CT图像配准方法，其特征在于，包括以下步骤：
S1、对采集的病人的肺部4D-CT数据进行预处理，形成若干组图像对，构建为训练数据集；
其中，每组图像对均包括一幅参考图像F和一幅浮动图像M，每一幅参考图像和浮动图像均进行肺实质手动分割形成有参考图像的标准的肺实质边界SF以及浮动图像的标准的肺实质边界SM；
S2、建立肺分割-配准集成网络，所述肺分割-配准集成网络包括特征编码模块、肺分割模块和肺配准模块；
其中，参考图像F和浮动图像M输入所述特征编码模块后，输出参考图像F的特征映射CF和浮动图像M的特征映射CM；肺分割模块根据所述特征编码模块的输出得到参考图像F的预测的肺实质边界以及浮动图像M的预测的肺实质边界/>所述肺配准模块输出根据所述特征编码模块的输出得到参考图像F与浮动图像M之间的形变场φ，并得到与参考图像F完成配准后的浮动图像M(φ)；
S3、构建肺分割模块；
S4、构建肺配准模块；
S5、建立用于肺配准的自适应正则约束项
以所述肺分割模块输出的参考图像F的预测的肺实质边界为辅助先验知识，利用体素点到肺表面的空间位置权重，将L2约束和L1约束进行加权结合构建一个综合的自适应正则约束项/>
S6、训练所述肺分割-配准集成网络，其中采用联合优化损失函数Ltotal为目标函数进行训练，Ltotal为：
其中，LS为所述肺分割模块的训练目标函数，LG为所述肺配准模块的训练目标函数，λ和β为调节系数，-NCC(F,M(φ))为配准后的浮动图像M(φ)和对应的参考图像F的归一化互相关值；
S7、将待配准的肺部4D-CT图像输入到经步骤S6训练后得到的肺分割-配准集成网络中，自动输出配准结果；
所述步骤S1中，每例肺部4D-CT数据均包括整个呼吸周期的至少两个阶段的3D-CT数据，所述步骤S1中进行预处理的方法具体包括：
S1-1、将整个呼吸周期的至少两个阶段中任意两个阶段的两幅图像形成一个图像对，选择图像对中的一幅作为参考图像，另一幅作为浮动图像；进行数据扩增，增大训练数据集量；
S1-2、采用水平集分割算法对所有的参考图像和浮动图像进行肺实质粗略分割；
S1-3、根据步骤S1-2的结果，由医生或专家对每一幅参考图像和浮动图像均进行手动分割，得到参考图像的标准的肺实质边界SF以及浮动图像的标准的肺实质边界SM；
步骤S5中的计算公式为：
其中，η为经验参数，用来调整L2约束和L1约束的比例范围；w(x)为体素点分配给L2约束和L1约束的空间位置权重；
其中，w(x)的计算步骤包括：
1)首先，对所述肺分割模块输出的参考图像F的分割后的图像进行高斯核卷积滤波，得到肺边界信息图像d(x)，图像d(x)包含了体素与肺边界的距离信息；
2)通过以下公式计算w(x)：
其中，c1和c2为经验参数；
其中Ω为图像域Ω＝{x＝(x,y,z)|0≤x＜Nx,0≤y＜Ny,0≤z＜Nz}上，Nx，Ny，Nz分别为图像x，y，z方向的大小，▽φ为形变场φ在x，y，z方向的梯度。
2.根据权利要求1所述的集成分割功能的肺CT图像配准方法，其特征在于，所述特征编码模块为向下采样卷积，所述肺分割模块和肺配准模块均为上采样卷积，所述肺分割模块和肺配准模块共用所述特征编码模块；
所述特征编码模块由三个下采样池化操 作模块形成四个分辨率级别，每个分辨率级别包含一个最大池化层和两个卷积层。
3.根据权利要求2所述的集成分割功能的肺CT图像配准方法，其特征在于，所述肺分割模块的结构与所述特征编码模块形成对称，所述肺分割模块由三个上采样操作模块形成四个分辨率级别，每个分辨率级别包含一个反卷积层和两个卷积层，所述肺分割模块的最后一层是一个1通道的以Sigmoid为激活函数的卷积层，用于输出肺实质边界的预测概率图。
4.根据权利要求3所述的集成分割功能的肺CT图像配准方法，其特征在于，参考图像F和浮动图像M输入所述特征编码模块后，得到参考图像F的特征映射CF和浮动图像M的特征映射CM，CF和CM均输入到所述肺分割模块中后，预测得到参考图像F的肺实质边界以及浮动图像M的肺实质边界/>其中的训练目标函数为：
其中，SF和SM分别为步骤S1中得到的手动分割所获得的参考图像的标准的肺实质边界以及浮动图像的标准的肺实质边界，FL为Focal Loss损失函数，用于计算预测的肺实质边界与标准的肺实质边界SM、SF的差异，公式如下：
其中，α是平衡因子，γ为调节简单样本权重降低的速率。
5.根据权利要求4所述的集成分割功能的肺CT图像配准方法，其特征在于，所述肺配准模块的结构与所述肺分割模块的结构的不同之处仅在于：所述肺配准模块中的最后一层是一个3通道的不包括激活函数的卷积层，用于输出待配准图像对原始分辨率下x、y、z方向的形变场φ；
CF和CM均输入到所述肺配准模块中后，得到参考图像F和浮动图像M之间的形变场φ，并通过φ对浮动图像M形变得到配准后的浮动图像M(φ)，其中采用的训练目标函数为：
6.一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现如权利要求1-5中任意一项所述的方法。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110408013.2A CN113327274B (zh) | 2021-04-15 | 2021-04-15 | 集成分割功能的肺ct图像配准方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110408013.2A CN113327274B (zh) | 2021-04-15 | 2021-04-15 | 集成分割功能的肺ct图像配准方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113327274A CN113327274A (zh) | 2021-08-31 |
| CN113327274B true CN113327274B (zh) | 2024-01-30 |
Family
ID=77414727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110408013.2A Active CN113327274B (zh) | 2021-04-15 | 2021-04-15 | 集成分割功能的肺ct图像配准方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327274B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4350608A1 (en) * | 2022-10-05 | 2024-04-10 | Koninklijke Philips N.V. | Automatic and precise localization of sliding tissue in medical images |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108701360A (zh) * | 2015-12-15 | 2018-10-23 | 皇家飞利浦有限公司 | 图像处理系统和方法 |
| CN110652297A (zh) * | 2019-10-10 | 2020-01-07 | 中国计量大学 | 基于mri技术的肺功能成像处理方法 |
| CN111563902A (zh) * | 2020-04-23 | 2020-08-21 | 华南理工大学 | 一种基于三维卷积神经网络的肺叶分割方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8265356B2 (en) * | 2008-01-30 | 2012-09-11 | Computerized Medical Systems, Inc. | Method and apparatus for efficient automated re-contouring of four-dimensional medical imagery using surface displacement fields |
-
2021
- 2021-04-15 CN CN202110408013.2A patent/CN113327274B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108701360A (zh) * | 2015-12-15 | 2018-10-23 | 皇家飞利浦有限公司 | 图像处理系统和方法 |
| CN110652297A (zh) * | 2019-10-10 | 2020-01-07 | 中国计量大学 | 基于mri技术的肺功能成像处理方法 |
| CN111563902A (zh) * | 2020-04-23 | 2020-08-21 | 华南理工大学 | 一种基于三维卷积神经网络的肺叶分割方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Boundary-aware registration network for 4D-CT lung image with sliding motion;Luwen Duan, Yuzhu Cao, Ziyu Wang, Desen Liud, Tianxiao Fue, Gang Yuana, Jian Zheng;《Biomedical Signal Processing and Control》;第86卷;1-9 * |
| 基于无监督深度学习的医学图像配准关键技术研究;段陆文;《中国科学技术大学博士论文》;67-82 * |
| 基于自适应薄板样条全变分的肺CT_PET图像配准;杜雪莹，龚伦，刘兆邦，章程，刘含秋，丁敏，郑健;《计算机工程与应用》;第55卷(第3期);202-208 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113327274A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vishnevskiy et al. | Isotropic total variation regularization of displacements in parametric image registration | |
| Puonti et al. | Fast and sequence-adaptive whole-brain segmentation using parametric Bayesian modeling | |
| Hering et al. | mlvirnet: Multilevel variational image registration network | |
| US9561004B2 (en) | Automated 3-D orthopedic assessments | |
| Wang et al. | A review of deformation models in medical image registration | |
| Park et al. | GGO nodule volume-preserving nonrigid lung registration using GLCM texture analysis | |
| CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN112602099A (zh) | 基于深度学习的配准 | |
| CN107230223B (zh) | 基于不连续运动的肝部三维多模态图像配准方法 | |
| US20110216954A1 (en) | Hierarchical atlas-based segmentation | |
| JP2008511395A (ja) | 一連の画像における動き修正のための方法およびシステム | |
| CN114359310B (zh) | 一种基于深度学习的3d心室核磁共振视频分割优化系统 | |
| CN116258671B (zh) | 一种基于mr图像智能勾画方法、系统、设备及存储介质 | |
| US20170098311A1 (en) | Graph search using non-euclidean deformed graph | |
| CN112884792A (zh) | 肺部图像分割的方法、装置、电子设备及存储介质 | |
| CN113989551A (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
| CN113327274B (zh) | 集成分割功能的肺ct图像配准方法及系统 | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| Yu et al. | Unsupervised 3D PET-CT image registration method using a metabolic constraint function and a multi-domain similarity measure | |
| Papież et al. | GIFTed Demons: deformable image registration with local structure-preserving regularization using supervoxels for liver applications | |
| Duan et al. | Boundary-aware registration network for 4d-ct lung image with sliding motion | |
| US20210307610A1 (en) | Methods and systems for precise quantification of human sensory cortical areas | |
| Anas et al. | Ct scan registration with 3d dense motion field estimation using lsgan | |
| Sun et al. | Dynamic surface reconstruction in robot-assisted minimally invasive surgery based on neural radiance fields | |
| CN116993805A (zh) | 面向手术规划辅助的术中剩余器官体积估计系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |