CN111524170A - 一种基于无监督深度学习的肺部ct图像配准方法 - Google Patents

一种基于无监督深度学习的肺部ct图像配准方法 Download PDF

Info

Publication number
CN111524170A
CN111524170A CN202010286805.2A CN202010286805A CN111524170A CN 111524170 A CN111524170 A CN 111524170A CN 202010286805 A CN202010286805 A CN 202010286805A CN 111524170 A CN111524170 A CN 111524170A
Authority
CN
China
Prior art keywords
image
layer
point
displacement field
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010286805.2A
Other languages
English (en)
Other versions
CN111524170B (zh
Inventor
赵于前
伍若宽
陈武阳
张帆
杨振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202010286805.2A priority Critical patent/CN111524170B/zh
Publication of CN111524170A publication Critical patent/CN111524170A/zh
Application granted granted Critical
Publication of CN111524170B publication Critical patent/CN111524170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Abstract

本发明公开了一种基于无监督深度学习的肺部CT图像配准方法。首先应用由滑动窗口和反向采样组成的预处理方法将肺部CT图像对划分成若干个便于神经网络模型处理的中间图像块对；随后使用由“缩减路径”、“扩张路径”、后续卷积层以及空间变换层组成的频繁连接U型卷积神经网络模型提取、融合图像特征，并输出与中间图像块对对应的密集位移场块和变形图像块；最后应用由边缘裁剪和重叠区域均值化组成的后处理方法将若干个变形图像块和密集位移场块拼接缝合成与原始肺部CT图像大小一致的变形图像和密集位移场。与已有配准算法相比，本发明方法完全自动，运行速度快且配准精度高。

Description

一种基于无监督深度学习的肺部CT图像配准方法
技术领域
本发明涉及医学图像处理与分析领域，具体涉及一种基于无监督深度学习的肺部CT图像配准方法。
背景技术
肺部CT图像配准是医学图像处理与分析领域中的一项重要工作。通过配准技术，融合多张肺部CT图像信息，实现肺部组织器官对齐，不仅可以辅助医生对肺部相关疾病进行诊断，例如慢性阻塞性肺病诊断，还可以辅助医生进行外科手术，例如辅助胸腔内视镜手术。此外，在图像引导肺部肿瘤放疗任务中，由于病患的呼吸运动导致肺部组织器官或肿瘤的形状、体积及位置具有较大的不确定性，需要利用肺部CT图像配准技术对属于同一呼吸过程、位于不同呼吸阶段的多张肺部CT图像进行配准，以实现肺部组织器官对齐，帮助医生完成肺部肿瘤的精准定位。
目前肺部CT图像配准算法一般可分为：传统算法和基于深度学习的算法。传统算法可分为基于特征的配准算法和基于图像强度的配准算法。其中基于特征的配准算法通过匹配浮动图像(Moving Image)和固定图像(Fixed Image)中包含的特征点，拟合空间变换模型参数，最终输出变形图像(Deformed Image)。该类方法的配准精度依赖于特征点的选择，常见特征点包括：人为提取的特征点，如皮肤标记点、肺部图像边界点或显著点；计算机自动提取的特征点，如SURF(Speeded Up Robust Features)特征描述符、MIND(ModalityIndependent Neighborhood Descriptor)特征描述符等。基于特征的配准算法运行速度较快，但空间变换模型简单，难以描述复杂形变。基于图像强度的配准算法通过最优化图像间相似度，预测生成图像空间变换模型参数或密集位移场(Dense Displacement Field，DDF)，最终输出变形图像。与前者相比，基于图像强度的配准算法能够描述更复杂的图像形变。但高维参数空间的优化过程通常需要巨大的时间开销，这使得基于图像强度的配准算法难以应对时效性要求较高的配准任务。近年来基于深度学习的配准算法以其配准速度快的优点引起了广泛的关注，该类算法依据有无训练真值标签可被分为两类：有监督配准算法和无监督配准算法。前者是指在模型训练阶段需要提供空间变换模型参数标签或者密集位移场标签以指导模型训练。由于配准任务真值标签缺乏良好定义，有监督配准算法大都使用人为标注特征点或由传统算法生成的密集位移场作为假定的真值标签。这类做法一方面引入了人为主观因素，降低了算法鲁棒性，另一方面额外的真值标签准备阶段增加了时间开销，降低了整体效率，同时影响了卷积神经网络模型的精度上限。无监督配准算法是指模型在训练阶段不需要提供真值标签，仅通过最小化由数据损失项和正则化项构成的损失函数来指导模型训练。与前者相比，无监督配准算法摆脱了人为主观因素的影响以及传统算法生成的训练真值标签对模型精度上限的影响，整体效率得到大幅度提升。目前大多数基于深度学习的配准算法，受限于硬件条件或深度学习框架等因素的限制，需要对原始肺部CT图像对进行裁剪或缩放，以满足卷积神经网络模型的输入要求。然而这种做法可能破坏CT图像中的肺部组织器官的结构，导致不符合预期的配准结果。此外，已有的用于配准任务的卷积神经网络模型没有充分考虑医学图像与自然图像差异，未能提取有效的医学图像特征，导致算法的鲁棒性不强，配准精度不高。
发明内容
本发明的目的在于提供一种基于无监督深度学习的、准确、快速、鲁棒的肺部CT图像配准方法。本发明通过以下方案实现：
一种基于无监督深度学习的肺部CT图像配准方法，包括以下步骤：
(1)读入肺部CT图像对，确定浮动图像和固定图像，并使用仿射变换对其进行粗配准；
(2)将粗配准后的浮动图像和固定图像作为输入，应用自主设计的预处理方法得到若干固定尺寸的浮动图像块和固定图像块；
(3)构建频繁连接U型卷积神经网络模型，具体包括以下步骤：
(3-a)将经过预处理得到的浮动图像块和固定图像块按通道堆叠，构成单一的、具有双通道的中间图像块对作为后续神经网络模型的输入；
(3-b)使用以由连接层、残差层构成的模块为起点，以由池化层、残差层构成的模块为中间节点或终点的“缩减路径”提取中间图像块对的低维空间信息特征以及高维语义信息特征，并输出具有不同尺寸的特征图；
(3-c)使用以由包含于“缩减路径”中的池化层、残差层构成的模块为起点，以由上采样层、连接层、瓶颈层、残差层构成的模块为中间节点或终点的“扩张路径”来扩大低层特征图尺寸，同时使用包含于“扩张路径”中各中间节点或终点中的连接层连接位于同一层次的、具有相同尺寸的、包含不同空间或语义信息的特征图，以完成多尺度图像信息融合，最终输出具有与浮动图像块相同尺寸的特征图；
(3-d)使用卷积层提取步骤(3-c)的输出特征图中的有用信息，输出对应于中间图像块对的密集位移场块预测，然后使用空间变换层将密集位移场块预测应用于浮动图像块上得到变形图像块预测；
(4)以步骤(3-d)输出的密集位移场块预测、变形图像块预测为输入，使用自主设计的后处理方法，分别对其进行拼接、缝合，得到具有与原始肺部CT图像相同尺寸的密集位移场和变形图像；
(5)以由数据损失项、正则化项构成的损失函数为优化目标，使用反向传播算法，指导频繁连接U型卷积神经网络训练，输出最终的网络模型；
(6)使用已训练好的频繁连接U型卷积神经网络模型，对肺部CT图像对进行自动、快速、准确的配准。
在上述的步骤(2)中，自主设计的预处理方法包含以下步骤：
(a)在完全包含于图像空间内部的正常窗口区域中，使用模型耦合的滑动窗口方法生成若干固定尺寸的浮动图像块和固定图像块，其中滑动窗口的步长s与窗口大小w以及神经网络模型的下采样系数c相关，满足s＝w-2×2c，其中w和c取值均为正整数，在正常窗口区域内，该方法每隔s个单位长度生成一个固定尺寸的浮动图像块和固定图像块；
(b)在超出图像空间的非正常窗口区域中，使用反向采样方法生成若干固定尺寸的浮动图像块和固定图像块，反向采样方法通过调整窗口的起始索引以保证修正后的窗口完全包含于原始图像空间内部，该方法为每一个非正常窗口区域生成一个固定尺寸的浮动图像块和固定图像块。
在上述的步骤(3-b)中，“缩减路径”由四个节点组成：
一号节点即起始节点，由连接层、残差层构成，其中残差层由两个卷积层、两个批规范化层、一个泄露修正线性单元层堆叠而成；
二号和三号节点为中间节点，四号节点为终点，它们都由池化层、残差层构成，其中池化层采用均值池化方法，残差层设置与起始节点中的残差层设置相同。
在上述的步骤(3-c)中，频繁连接U型卷积神经网络模型包含若干条“扩张路径”，每条“扩张路径”具有不同起点，不同长度，但具有如下相似结构：
起始节点由包含于“缩减路径”中的池化层、残差层构成，其中池化层采用均值池化方法，残差层设置与步骤(3-b)中的残差层设置相同；
中间节点或终点，由上采样层、连接层、瓶颈层和残差层构成，其中上采样层用于扩大低层特征图尺寸，瓶颈层由三个卷积层顺序堆叠而成，残差层设置与起始节点中的残差层设置相同。
在上述的步骤(3-d)中空间变换层将密集位移场块预测PDDF应用在浮动图像块Pm上得到变形图像块Pd，满足：
Figure BDA0002448839240000041
其中v表示变形图像块Pd上一点，v′表示v在浮动图像块Pm上的对应点，满足v′＝v+PDDF(v)；N(v′)表示以v′为中心、大小为N的邻域窗口，N取值为正整数，v″是该窗口内的一点；i在x、y、z上取值，表示不同的轴分量。
在上述的步骤(4)中，自主设计的后处理方法包含以下步骤：
(a)对由滑动窗口方法生成的密集位移场块预测以及变形图像块预测进行边缘裁剪，为保证输出图像尺寸，忽略全部或部分靠近块边界2k个单位的点的预测值，其中k为模型下采样系数，取值为正整数，将块中剩余点的预测值作为最终密集位移场或变形图像中对应点的预测值；
(b)对由反向采样方法生成的密集位移场块预测以及变形图像块预测进行边缘裁剪和重叠区域均值化，为保证输出图像尺寸，忽略全部或部分靠近块边界2k个单位的点的预测值，其中k为模型下采样系数，取值为正整数，依据当前点在最终密集位移场或变形图像中的对应点是否已被赋值，将当前点划分为重叠类和非重叠类；针对重叠类，对当前点的预测值与对应点的已有预测值进行均值化操作得到新值，将新值作为最终密集位移场或变形图像中对应点的预测值；针对非重叠类，将当前点的预测值作为最终密集位移场或变形图像中对应点的预测值。
在上述的步骤(5)中，数据损失项用局部相关系数(Local CorrelationCoefficient，LCC)表示，用以刻画变形图像Id与固定图像If的相似性，数据损失项Lsim表示如下：
Figure BDA0002448839240000051
其中Ω表示图像空间，点p′是以p为中心、窗宽大小为n的邻域窗口中的内部点，n取值为正整数，映射I′(p)满足
Figure BDA0002448839240000052
在上述的步骤(5)中，正则化项用关于密集位移场DDF的梯度的L2范式表示，用以惩罚不合理变换，正则化项Lreg表示如下：
Figure BDA0002448839240000053
其中Ω表示图像空间，p＝(px,py,pz)为图像中任意点，▽为梯度算子，满足：
Figure BDA0002448839240000054
在上述的步骤(5)中，损失函数L由上述数据损失项Lsim和正则化项Lreg组成，损失函数L构建如下：
L＝-Lsim+β*Lreg
其中β为大于0的超参数。
在上述的步骤(5)中，指导频繁连接U型卷积神经网络模型进行训练时，以损失函数L作为优化目标，采用Adam学习器进行梯度反向传播，用以修正模型参数。
步骤(2)预处理方法相关参数设置中，优选w为64～256，优选c为3～5。
步骤(3-d)空间变换层相关参数设置中，优选N为7～27。
步骤(4)后处理方法相关参数设置中，优选k为3～5。
步骤(5)损失函数构造相关参数设置中，优选n为1～5，优选β为0～3之间的任意实数。
与现有的肺部CT图像配准技术相比，本发明方法有以下优点：
(a)速度快，时效性高。与传统算法相比，运行时间明显缩短。
(b)不需要提供真值标签。与有监督配准算法相比，本发明方法避免了主观因素的影响和传统算法对模型精度上限的影响。
(c)不需要对原始图像进行裁剪或缩放。与其他无监督配准算法相比，本发明方法能够保证图像内肺部结构信息完整。
(d)配准精度高，能够描述复杂的肺部图像形变。
(e)操作简单，流程清晰，完全自动。
附图说明
图1本发明实施方式的一种基于无监督深度学习的肺部CT图像配准方法流程图。
图2本发明实施方式的频繁连接U型卷积神经网络模型主体结构图。
图3本发明实施方式的频繁连接U型卷积神经网络模型中“缩减路径”示意图。
图4本发明实施方式的频繁连接U型卷积神经网络模型中“扩张路径”示意图。
图5本发明实施方式的预处理方法以及后处理方法示意图。
图6本发明实施方式的基于无监督深度学习的肺部CT图像配准方法与其他配准方法可视化结果对比图。
具体实施方式
为了使本技术领域相关人员能够更好地理解本发明方案，下面结合本发明相关附图，对本发明实施例中的参数设置、模型构建等技术方案进行清楚、完整地描述。值得注意的是，以下描述的实施例仅是本发明一部分的实施例，而非全部，因此在没有做出创造性劳动的前提下获得的本发明其他实施例，都应当是本发明保护的范围。
本发明的说明书以及具体实施例中的方法介绍并不是完成依序排列的。本发明说明书中涉及的组件和模块的顺序在适当情况下可以互换。此外不同组件和模块可以被合并或拆分成新的组件和模块，而这些新的组件和模块也应当在本发明保护范围内。
实施例1
如图1所示，本发明一种基于无监督深度学习的肺部CT图像配准方法包括以下步骤：
(1)读入肺部CT图像对，确定浮动图像和固定图像，并使用仿射变换对其进行粗配准；
(2)将粗配准后的肺部CT浮动图像和固定图像作为输入，应用如图5(a)所示的自主设计的预处理方法得到若干固定尺寸的浮动图像块和固定图像块。该自主设计的预处理方法包含以下步骤：
(2-a)在完全包含于图像空间内部的正常窗口区域中，使用模型耦合的滑动窗口方法生成若干固定尺寸的浮动图像块和固定图像块，其中滑动窗口的步长s与窗口大小w以及神经网络模型的下采样系数c相关，且满足s＝w-2×2c，其中w取值为128，c取值为3，在正常窗口区域内，该方法每隔s个单位长度生成一个固定尺寸的浮动图像块和固定图像块。
(2-b)在超出图像空间的非正常窗口区域中，使用反向采样方法生成若干固定尺寸的浮动图像块和固定图像块，反向采样方法通过调整窗口的起始索引以保证修正后的窗口完全包含于原始图像空间内部，该方法为每一个非正常窗口区域生成一个固定尺寸的浮动图像块和固定图像块。
(3)构建频繁连接U型卷积神经网络模型，其主体结构如图2所示，卷积神经网络模型主体由1条“缩减路径”、3条“扩张路径”以及后续卷积层和空间变换层构成。具体包括以下步骤：
(3-a)将经过预处理得到的浮动图像块和固定图像块按通道堆叠，构成单一的、具有双通道的中间图像块对作为新型卷积神经网络的输入；
(3-b)使用以由连接层、残差层构成的模块为起点，以由池化层、残差层构成的模块为中间节点或终点的“缩减路径”提取中间图像块对的低维空间信息特征以及高维语义信息特征，并输出具有不同尺寸的特征图。如图3所示，“缩减路径”由四个节点组成：
一号节点即起始节点，由连接层、残差层构成，其中残差层由两个卷积层、两个批规范化层、一个泄露修正线性单元层堆叠而成，残差层参数设置如下：
(a)第一卷积层使用大小为3×3×3的卷积核，“SAME”补全模式，“He归一化”权重初始方案，输出通道数为32；
(b)第一批规范化层中动量设置为0.99；
(c)第二卷积层使用大小为3×3×3的卷积核，“SAME”补全模式，“He归一化”权重初始方案，输出通道数为32；
(d)第二批规范化层中动量设置为0.99；
(e)泄露修正线性单元层中Alpha值设置为0.1。
二号和三号节点为中间节点，四号节点为终点，它们都由池化层、残差层构成，其中池化层采用大小为2×2×2的均值池化方法，残差层设置与起始节点中的残差层设置相同。
(3-c)使用以包含于“缩减路径”中的池化层、残差层构成的模块为起点，以由上采样层、连接层、瓶颈层、残差层构成的模块为中间节点或终点的“扩张路径”来扩大低层特征图尺寸，同时使用包含于“扩张路径”中各中间节点或终点中的连接层连接位于同一层次的、具有相同尺寸的、包含不同空间或语义信息的特征图，以完成相关图像信息融合，并输出具有与浮动图像块相同图像尺寸的特征图。如图4所示，“扩张路径”由如下若干节点构成：
起始节点由池化层和残差层构成，其中池化层采用大小为2×2×2的均值池化方法，残差层参数设置如下：
(a)第一卷积层使用大小为3×3×3的卷积核，“SAME”补全模式，“He归一化”权重初始方案，输出通道数为32；
(b)第一批规范化层中动量设置为0.99；
(c)第二卷积层使用大小为3×3×3的卷积核，“SAME”补全模式，“He归一化”权重初始方案，输出通道数为32；
(d)第二批规范化层中动量设置为0.99；
(e)泄露修正线性单元层中alpha值设置为0.1。
中间节点或终点由上采样层、连接层、瓶颈层、残差层构成，其中残差层参数设置与起始节点中残差层参数设置相同，瓶颈层由三个卷积层顺序堆叠而成，具体参数设置如下：
(a)第一卷积层使用大小为1×1×1的卷积核，“SAME”补全模式，“正态化”权重初始方案，输出通道数为64；
(b)第二卷积层使用大小为3×3×3的卷积核，“SAME”补全模式，“He归一化布”权重初始方案，输出通道数为64；
(c)第三卷积层使用大小为1×1×1的卷积核，“SAME”补全模式，“正态化”权重初始方案，输出通道数为32。
(3-d)使用卷积层提取步骤(3-c)的输出特征图中的有用信息，输出对应于中间图像块对的密集位移场块预测，然后使用空间变换层将密集位移场块预测应用于浮动图像块上得到变形图像块预测。其中卷积层使用大小为3×3×3的卷积核，“SAME”补全模式，“正态化”权重初始方案，输出通道数为3，空间变换层将密集位移场块预测PDDF应用在浮动图像块Pm上得到变形图像块Pd，满足：
Figure BDA0002448839240000091
其中v表示变形图像块Pd上一点，v′表示v在浮动图像块Pm上的对应点，满足v′＝v+PDDF(v)；N(v′)表示以v′为中心、大小为N的邻域窗口，N取值为27，v″是该窗口内的一点；i在x、y、z上取值，表示不同的轴分量。
(4)以步骤(3-d)输出的密集位移场块预测、变形图像块预测为输入，使用如图5(b)所示的自主设计的后处理方法，分别对其进行拼接、缝合，得到具有与原始肺部CT图像相同尺寸的密集位移场的变形图像。该自主设计的后处理方法包含以下步骤：
(4-a)对由滑动窗口方法生成的密集位移场块预测以及变形图像块预测进行边缘裁剪，为保证输出图像尺寸，忽略全部或部分靠近块边界2k个单位的点的预测值，其中k为模型下采样系数，取值为3，将块中剩余点的预测值作为最终密集位移场或变形图像中对应点的预测值；
(4-b)对由反向采样方法生成的密集位移场块预测以及变形图像块预测进行边缘裁剪和重叠区域均值化，为保证输出图像尺寸，忽略全部或部分靠近块边界2k个单位的点的预测值，其中k为模型下采样系数，取值为3，依据当前点在最终密集位移场或变形图像中的对应点是否已被赋值，将当前点划分为重叠类和非重叠类；针对重叠类，对当前点的预测值与对应点的已有预测值进行均值化操作得到新值，将新值作为最终密集位移场或变形图像中对应点的预测值；针对非重叠类，将当前点的预测值作为最终密集位移场或变形图像中对应点的预测值。
(5)以由数据损失项、正则化项构成的损失函数为优化目标，使用反向传播算法，指导频繁连接U型卷积神经网络模型训练，输出最终的网络模型；
其中数据损失项用局部相关系数表示，用以刻画变形图像Id与固定图像If的图像相似性，数据损失项Lsim表示如下：
Figure BDA0002448839240000092
其中Ω表示图像空间，点p′为以p为中心、窗宽大小为n的邻域窗口内部点，n取值为3，映射I′(p)满足
Figure BDA0002448839240000101
其中正则化项用关于密集位移场DDF的梯度的L2范式表示，用以惩罚不合理变换，正则化项Lreg表示如下：
Figure BDA0002448839240000102
其中Ω表示图像空间，p＝(px,py,pz)为图像中任意点，▽为梯度算子，满足：
Figure BDA0002448839240000103
其中损失函数由数据损失项Lsim和正则化项Lreg组合而成，损失函数L构建如下：
L＝-Lsim+β*Lreg
其中β为大于0的超参数，且β取值为2.0。
训练过程采用Adam学习器进行梯度反向传播，用以修正频繁连接U型卷积神经网络模型中的参数，其中Adam学习器初始学习率设置为0.0001。
(6)使用最终的频繁连接U型卷积神经网络模型，对肺部CT图像对进行自动、快速、准确的配准。
实施例2
采用实施例1中的方法，使用EMPIRE10数据集的30对肺部CT序列图像作为测试数据对本发明方法的性能进行评估。该30对肺部CT序列图像的平均切片数为400，单个切片平均尺寸为400×350，切片像素间距平均为0.744mm×0.774mm，切片层间距平均为0.700mm。参与评估对比的算法包括：自由形变算法(Free-form deformation registration)，对称微分同胚算法(Symmetric diffeomorphic registration)，UNET算法，VoxelMorph算法，以及本发明方法。其中自由形变算法由NiftyReg工具实现，对称微分同胚算法由ANTs工具实现。实验采用的性能评价指标为：互信息(Mutual Information,MI)，峰值信噪比(PeakSignal-to-Noise Ratio,PSNR)，均方误差(Mean Square Error,MSE)，Dice系数，Jacobian系数，以及时间开销(Time)；其中Jacobian系数包含两个子指标：Jacobian行列式小于0的体素个数以及这类体素数目占总体素数目的百分比(％)。这些指标中，MI、PSNR和Dice系数越大越好；MSE、Jacobian系数和Time则越小越好；MI、PSNR、Dice、MSE无单位，Time以秒为单位。不同算法实验结果的性能比较如表1所示。
表1
Figure BDA0002448839240000111
从EMPIRE10数据集中随机选取3对肺部CT序列图像，并从每对序列图像中挑选一对切片用作二维展示，不同配准算法的可视化结果对比如图6所示，其中“Scan 1”、“Scan2”和“Scan 3”表示不同的切片对，第一行为固定图像f，第二行为浮动图像m与固定图像f的差异，第三行为由NiftyReg实现的自由形变算法配准结果与固定图像f的差异，第四行为由ANTs实现的对称微分同胚算法配准结果与固定图像f的差异，第五行为UNET算法配准结果与固定图像f的差异，第六行为VoxelMorph算法配准结果与固定图像f的差异，第七行为本发明方法配准结果与固定图像f的差异。实验结果表明本发明能够准确、有效地配准肺部CT图像。
以上所述仅为本发明的实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述方法包括以下步骤：
(1)读入肺部CT图像对，确定浮动图像和固定图像，并使用仿射变换对其进行粗配准；
(2)将粗配准后的浮动图像和固定图像作为输入，应用自主设计的预处理方法得到若干固定尺寸的浮动图像块和固定图像块；
(3)构建频繁连接U型卷积神经网络模型，具体包括以下步骤：
(3-a)将经过预处理得到的浮动图像块和固定图像块按通道堆叠，构成单一的、具有双通道的中间图像块对作为后续神经网络模型的输入；
(3-b)使用以由连接层、残差层构成的模块为起点，以由池化层、残差层构成的模块为中间节点或终点的“缩减路径”提取中间图像块对的低维空间信息特征以及高维语义信息特征，并输出具有不同尺寸的特征图；
(3-c)使用以由包含于“缩减路径”中的池化层、残差层构成的模块为起点，以由上采样层、连接层、瓶颈层、残差层构成的模块为中间节点或终点的“扩张路径”来扩大低层特征图尺寸，同时使用包含于“扩张路径”中各中间节点或终点中的连接层连接位于同一层次的、具有相同尺寸的、包含不同空间或语义信息的特征图，以完成多尺度图像信息融合，最终输出具有与浮动图像块相同尺寸的特征图；
(3-d)使用卷积层提取步骤(3-c)的输出特征图中的有用信息，输出对应于中间图像块对的密集位移场块预测，然后使用空间变换层将密集位移场块预测应用于浮动图像块上得到变形图像块预测；
(4)以步骤(3-d)输出的密集位移场块预测、变形图像块预测为输入，使用自主设计的后处理方法，分别对其进行拼接、缝合，得到具有与原始肺部CT图像相同尺寸的密集位移场和变形图像；
(5)以由数据损失项、正则化项构成的损失函数为优化目标，使用反向传播算法，指导频繁连接U型卷积神经网络训练，输出最终的网络模型；
(6)使用已训练好的频繁连接U型卷积神经网络模型，对肺部CT图像对进行自动、快速、准确的配准。
2.如权利要求1所述一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(2)中，自主设计的预处理方法包含以下步骤：
(1)在完全包含于图像空间内部的正常窗口区域中，使用模型耦合的滑动窗口方法生成若干固定尺寸的浮动图像块和固定图像块，其中滑动窗口的步长s与窗口大小w以及神经网络模型的下采样系数c相关，满足s＝w-2×2c，其中w和c取值均为正整数，在正常窗口区域内，该方法每隔s个单位长度生成一个固定尺寸的浮动图像块和固定图像块；
(2)在超出图像空间的非正常窗口区域中，使用反向采样方法生成若干固定尺寸的浮动图像块和固定图像块，反向采样方法通过调整窗口的起始索引以保证修正后的窗口完全包含于原始图像空间内部，该方法为每一个非正常窗口区域生成一个固定尺寸的浮动图像块和固定图像块。
3.如权利要求1所述的一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(3-b)中，“缩减路径”由四个节点组成：
一号节点即起始节点，由连接层、残差层构成，其中残差层由两个卷积层、两个批规范化层、一个泄露修正线性单元层堆叠而成；
二号和三号节点为中间节点，四号节点为终点，它们都由池化层、残差层构成，其中池化层采用均值池化方法，残差层设置与起始节点中的残差层设置相同。
4.如权利要求1所述的一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(3-c)中，频繁连接U型卷积神经网络模型包含若干条“扩张路径”，每条“扩张路径”具有不同起点，不同长度，但具有如下相似结构：
起始节点由包含于“缩减路径”中的池化层、残差层构成，其中池化层采用均值池化方法，残差层设置与权利要求3中的残差层设置相同；
中间节点或终点，由上采样层、连接层、瓶颈层和残差层构成，其中上采样层用于扩大低层特征图尺寸，瓶颈层由三个卷积层顺序堆叠而成，残差层设置与起始节点中的残差层设置相同。
5.如权利要求1所述的一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(3-d)中空间变换层将密集位移场块预测PDDF应用在浮动图像块Pm上得到变形图像块Pd，满足：
Figure FDA0002448839230000021
其中v表示变形图像块Pd上一点，v′表示v在浮动图像块Pm上的对应点，满足v′＝v+PDDF(v)；N(v′)表示以v′为中心、大小为N的邻域窗口，N取值为正整数，v″是该窗口内的一点；i在x、y、z上取值，表示不同的轴分量。
6.如权利要求1所述的一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(4)中，自主设计的后处理方法包含以下步骤：
(1)对由滑动窗口方法生成的密集位移场块预测以及变形图像块预测进行边缘裁剪，为保证输出图像尺寸，忽略全部或部分靠近块边界2k个单位的点的预测值，其中k为模型下采样系数，取值为正整数，将块中剩余点的预测值作为最终密集位移场或变形图像中对应点的预测值；
(2)对由反向采样方法生成的密集位移场块预测以及变形图像块预测进行边缘裁剪和重叠区域均值化，为保证输出图像尺寸，忽略全部或部分靠近块边界2k个单位的点的预测值，其中k为模型下采样系数，取值为正整数，依据当前点在最终密集位移场或变形图像中的对应点是否已被赋值，将当前点划分为重叠类和非重叠类；针对重叠类，对当前点的预测值与对应点的已有预测值进行均值化操作得到新值，将新值作为最终密集位移场或变形图像中对应点的预测值；针对非重叠类，将当前点的预测值作为最终密集位移场或变形图像中对应点的预测值。
7.如权利要求1所述的一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(5)中，数据损失项用局部相关系数(Local Correlation Coefficient，LCC)表示，用以刻画变形图像Id与固定图像If的相似性，数据损失项Lsim表示如下：
Figure FDA0002448839230000031
其中Ω表示图像空间，点p′是以p为中心、窗宽大小为n的邻域窗口中的内部点，n取值为正整数，映射I′(p)满足
Figure FDA0002448839230000032
8.如权利要求1所述的一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(5)中，正则化项用关于密集位移场DDF的梯度的L2范式表示，用以惩罚不合理变换，正则化项Lreg表示如下：
Figure FDA0002448839230000033
其中Ω表示图像空间，p＝(px,py,pz)为图像中任意点，▽为梯度算子，满足：
Figure FDA0002448839230000041
9.如权利要求1所述的一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(5)中，损失函数由权利要求7中的数据损失项Lsim和权利要求8中的正则化项Lreg组成，损失函数L构建如下：
L＝-Lsim+β*Lreg
其中β为大于0的超参数。
10.如权利要求1所述的一种基于无监督深度学习的肺部CT图像配准方法，其特征在于，所述的步骤(5)中，指导频繁连接U型卷积神经网络模型训练时，以权利要求9中的损失函数L作为优化目标，采用Adam学习器进行梯度反向传播，用以修正模型参数。
CN202010286805.2A 2020-04-13 2020-04-13 一种基于无监督深度学习的肺部ct图像配准方法 Active CN111524170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010286805.2A CN111524170B (zh) 2020-04-13 2020-04-13 一种基于无监督深度学习的肺部ct图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286805.2A CN111524170B (zh) 2020-04-13 2020-04-13 一种基于无监督深度学习的肺部ct图像配准方法

Publications (2)

Publication Number Publication Date
CN111524170A true CN111524170A (zh) 2020-08-11
CN111524170B CN111524170B (zh) 2023-05-26

Family

ID=71901768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286805.2A Active CN111524170B (zh) 2020-04-13 2020-04-13 一种基于无监督深度学习的肺部ct图像配准方法

Country Status (1)

Country Link
CN (1) CN111524170B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN112330724A (zh) * 2020-10-15 2021-02-05 贵州大学 一种基于集成注意力增强的无监督多模态图像配准方法
CN112686932A (zh) * 2020-12-15 2021-04-20 中国科学院苏州生物医学工程技术研究所 用于医学影像的图像配准方法及图像处理方法、介质
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113448473A (zh) * 2021-06-23 2021-09-28 深圳市润天智数字设备股份有限公司 图片裁剪区域可视化操作方法及装置
CN113450394A (zh) * 2021-05-19 2021-09-28 浙江工业大学 一种基于Siamese网络的异尺寸图像配准方法
CN113763441A (zh) * 2021-08-25 2021-12-07 中国科学院苏州生物医学工程技术研究所 无监督学习的医学图像配准方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093050A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
CN109461115A (zh) * 2018-07-27 2019-03-12 北京电影学院 一种基于深度卷积网络的自动图像配准方法
CN110363797A (zh) * 2019-07-15 2019-10-22 东北大学 一种基于过度形变抑制的pet与ct图像配准方法
CA3042819A1 (en) * 2018-05-09 2019-11-09 Postureco, Inc. Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
CN110473196A (zh) * 2019-08-14 2019-11-19 中南大学 一种基于深度学习的腹部ct图像目标器官配准方法
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统
US20200074626A1 (en) * 2018-09-04 2020-03-05 The Trustees Of The University Of Pennsylvania Image Registration Using A Fully Convolutional Network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093050A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
CA3042819A1 (en) * 2018-05-09 2019-11-09 Postureco, Inc. Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
CN109461115A (zh) * 2018-07-27 2019-03-12 北京电影学院 一种基于深度卷积网络的自动图像配准方法
US20200074626A1 (en) * 2018-09-04 2020-03-05 The Trustees Of The University Of Pennsylvania Image Registration Using A Fully Convolutional Network
CN110363797A (zh) * 2019-07-15 2019-10-22 东北大学 一种基于过度形变抑制的pet与ct图像配准方法
CN110473196A (zh) * 2019-08-14 2019-11-19 中南大学 一种基于深度学习的腹部ct图像目标器官配准方法
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DALCA A V ET AL: "Unsupervised Learning of Probabilistic Diffeomorphic Registration for images and Surfaces" *
刘助龙等: "基于局部仿射模型的多模态弹性图像配准" *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN112330724A (zh) * 2020-10-15 2021-02-05 贵州大学 一种基于集成注意力增强的无监督多模态图像配准方法
CN112330724B (zh) * 2020-10-15 2024-04-09 贵州大学 一种基于集成注意力增强的无监督多模态图像配准方法
CN112686932A (zh) * 2020-12-15 2021-04-20 中国科学院苏州生物医学工程技术研究所 用于医学影像的图像配准方法及图像处理方法、介质
CN112686932B (zh) * 2020-12-15 2024-01-23 中国科学院苏州生物医学工程技术研究所 用于医学影像的图像配准方法及图像处理方法、介质
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113450394A (zh) * 2021-05-19 2021-09-28 浙江工业大学 一种基于Siamese网络的异尺寸图像配准方法
CN113448473A (zh) * 2021-06-23 2021-09-28 深圳市润天智数字设备股份有限公司 图片裁剪区域可视化操作方法及装置
CN113448473B (zh) * 2021-06-23 2023-10-27 深圳市润天智数字设备股份有限公司 图片裁剪区域可视化操作方法及装置
CN113763441A (zh) * 2021-08-25 2021-12-07 中国科学院苏州生物医学工程技术研究所 无监督学习的医学图像配准方法及系统
CN113763441B (zh) * 2021-08-25 2024-01-26 中国科学院苏州生物医学工程技术研究所 无监督学习的医学图像配准方法及系统

Also Published As

Publication number Publication date
CN111524170B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN111524170B (zh) 一种基于无监督深度学习的肺部ct图像配准方法
Zhou et al. Cocosnet v2: Full-resolution correspondence learning for image translation
Yang et al. Fine-grained recurrent neural networks for automatic prostate segmentation in ultrasound images
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
Jia et al. ABSORB: Atlas building by self-organized registration and bundling
Enokiya et al. Automatic liver segmentation using U-Net with Wasserstein GANs
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN109493346A (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
US20100266175A1 (en) Image and data segmentation
WO2024021523A1 (zh) 基于图网络的大脑皮层表面全自动分割方法及系统
Ni et al. Elastic boundary projection for 3D medical image segmentation
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN105976364B (zh) 基于简化带权无向图的统计平均模型构建方法
CN111402278B (zh) 分割模型训练方法、图像标注方法及相关装置
Xia et al. MC-Net: multi-scale context-attention network for medical CT image segmentation
Bharati et al. Deep learning for medical image registration: A comprehensive review
CN111340816A (zh) 一种基于双u型网络框架的图像分割方法
CN109859101A (zh) 农作物冠层热红外图像识别方法及系统
NL2029876A (en) Deep residual network-based classification system for thyroid cancer computed tomography (ct) images
CN115294086A (zh) 医学影像分割方法、分割模型训练方法、介质及电子设备
CN116681894A (zh) 一种结合大核卷积的相邻层特征融合Unet多器官分割方法、系统、设备及介质
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
Lin et al. Adversarial learning with data selection for cross-domain histopathological breast cancer segmentation
Chen et al. Learning shape priors for single view reconstruction
Miao et al. SC-SSL: Self-correcting Collaborative and Contrastive Co-training Model for Semi-Supervised Medical Image Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant