CN109767459A - 新型眼底图配准方法 - Google Patents

Abstract

本发明公开了一种新型眼底图配准方法，包括对输入图像处理；将处理后的输入图像对输送到深度回归网络得到相应的变形场；对输入图像进行增强得到辅助图像；采用空间变换器对辅助图像进行扭曲得到变形图像；构建损失函数；对深度回归网络进行反复学习和训练得到最优配准模型；利用最优配准模型对待配准的眼底图像进行配准。本发明利用无监督的卷积神经网络，以一种端到端的方式执行眼底图配准，因此本发明极大地提高了眼底配准结果的准确性和鲁棒性，而且可靠性高、计算效率较高且配准结果准确。

Description

新型眼底图配准方法

技术领域

本发明具体涉及一种新型眼底图配准方法。

背景技术

随着经济技术的发展，人工智能技术已经逐步开始应用于医疗领域，为医疗领域的诊断提供辅助和补充的技术信息。

在眼底图像分析和处理中，眼底图配准是一项重要的基础任务。眼底图配准在临床应用中能够提供补充信息以帮助诊断和跟踪许多眼科疾病，包括ARMD、糖尿病视网膜病变和血管炎等。眼科医生通常通过比较在不同时期拍摄的眼底图像来诊断眼科疾病以及评估疾病的发展阶段，进一步决定采取相应的医疗措施。为了确保这种比较和评估的客观性，研究开发一种自动化的眼底图配准方法是一项十分迫切而极具价值的任务。尽管有很多研究工作致力于解决眼底图像配准问题，但是眼底图配准仍然是一个具有挑战性的工作。现存的配准方法主要存在以下困难：(1)眼底图像的血管结构复杂，常常由于灰度差异和结构变化导致难以对齐血管结构；(2)传统的配准方法不断迭代优化损失函数，这通常严重限制了配准的速度；(3)收集大量准确的配准标签通常是困难的。

可变形配准在建立图像对之间的非刚性对应关系上具有很大的潜力。目前，有很多基于可变形配准的眼底图配准方法。传统的变形配准方法在各种数据集上取得了令人满意的成绩。然而，它们有一个不容忽视的问题。传统的配准方法对每一对配准图像都要从头开始迭代优化定义的损失函数来更新变换参数或变形场，这严重地限制了配准速度，而且需要非常仔细地调整参数。其中有部分是基于机器学习的方法，这类方法存在两个缺陷限制了其发展。其一，信息特征表示很难直接从学习和优化变形函数或相似性函数中获取；其二，与图像分类和分割不同的是，配准的标签是很难收集的。最近，深度学习在图像分类，分割和目标检测中表现出色，并且有少量的研究工作验证了深度学习特别是卷积神经网络在图像配准中的有效性。为了解决需要大量收集丰富而可靠的配准标签的问题，有少量的研究工作提出了基于无监督的深度学习的配准方法，而且受到研究人员的广泛青睐。不幸的是，当配准图像存在解剖差异或者灰度等变化时，这类方法的配准性能将会降低。

发明内容

本发明的目的在于提供一种可靠性高、计算效率较高且配准结果准确的新型眼底图配准方法。

本发明提供的这种新型眼底图配准方法，包括如下步骤：

S1.对输入图像对进行预处理；所述的图像包括固定图像和移动图像，且固定图像和对应的移动图像组成一个输入图像对；

S2.将步骤S1处理后的输入图像对输送到深度回归网络中，从而得到相应的变形场；

S3.对步骤S1的输入图像进行增强，从而得到辅助图像；

S4.采用空间变换器对步骤S3得到的辅助图像进行扭曲，从而得到变形图像；

S5.根据得到的输入图像对的变形场、辅助图像和变形图像，构建损失函数；

S6.根据步骤S5得到的损失函数，对深度回归网络进行反复学习和训练，从而得到最优配准模型；

S7.利用步骤S6得到的最优配准模型，对眼底图像对进行配准。

步骤S1所述的对输入图像进行预处理，具体为将固定图像和移动图像转换为灰度图像，并将得到的灰度图像合并成一个双通道的图谱作为深度回归网络的输入。

步骤S2所述的得到输入图像对的变形场，具体为采用多尺度变形场策略从三个尺度上预测出输入图像对的变形场。

所述的采用多尺度变形场策略从三个尺度上预测出输入图像对的变形场，具体为采用如下步骤得到变形场：

A.将输入数据输入到卷积层进行卷积运算；所述的卷积层采用K₁×K₁(比如3×3)的且步长为S₁(比如1)个像素的卷积；

B.将步骤A的结果输入ReLu激活函数进行运算，从而增加数据的非线性并增强网络的建模能力；

C.将步骤B的结果输入池化层进行运算；所述的池化层采用的是K₂×K₂(比如2×2)且步长为S₂(比如2)个像素最大池化操作。

D.将网络中若干个(比如3个)池化层输出的特征图谱，执行K₃×K₃(比如3×3)，步长为S₃(比如1)个像素的卷积操作，从而得到最终的变形场。

步骤S3所述的对输入图像进行增强，具体为改进多尺度Hessian滤波，新的增强方法克服现有方法的不足并且该方法能够表现出较为理想的增强功能(如：可变的血管形态，病理学以及血流、造影剂引起的血管内外强度不均匀性等)。通过利用该方法能够增强配准图像的血管结构和边缘信息，从而得到辅助图像。具体步骤可以参见文献[Jerman,T.,F.,Likar,B.,&(2016).Enhancement of vascular structures in3D and 2D angiographic images.IEEE transactions on medical imaging,35(9),2107-2118.]；

步骤S4所述的采用空间变换器对得到的辅助图像进行扭曲，从而得到变形图像，具体为首先利用变形场将规则网格通过网格生成器转换为采样网格，然后采样器采用采样网格对增强后的移动图像进行扭曲，从而得到变形图像；所述的空间变换器包括网格生成器和采样器。

所述的利用变形场将规则网格通过网格生成器转换为采样网格，具体为采用如下算式进行转换：

式中为D_θ在i上的坐标，D_θ为变形场，G_i为常规网格，为D_θ中的位移向量，为G在i上的坐标。

所述的采样器采用采样网格对增强后的移动图像进行扭曲，具体为采用如下算式进行扭曲计算：

式中V_trans为变形图像，i为V_trans中像素的位置，c为通道，V_m为经过增强操作后的移动图像，H为V_m的高，W为V_m的宽，为V_m在c通道下坐标位置为(x,y)处的像素值，max()为取最大值操作，为D_θ在i上的坐标。

步骤S5所述的损失函数包括了惩罚项和正则项；惩罚项为通过计算固定图像的血管增强图与变形图像的相似性得到，用于惩罚图像的差异；正则项为通过对变形场施加平滑操作得到。

所述的惩罚项，具体为采用如下算式计算得到：

L_sim＝-α_lowNCC(φ_low,I_f,I_m)-α_midNCC(φ_mid,I_f,I_m)-α_highNCC(φ_high,I_f,I_m)

式中α_low为低尺度上图像相似性的权重值，α_mid为中尺度上图像相似性的权重值，α_high为高尺度上图像相似性的权重值，NCC(φ_a,I_f,I_m)为在a尺度上的相似性指标且式中a取值为low、mid或high，I_f为输入图像中的固定图像，I_m为输入图像中的移动图像，xi为像素的空间坐标，φ_a为在尺度a下的变形场，为使用φ_a对I_m中xi执行步骤S4后得到的变形后的空间坐标，为固定图像的平均值且 为固定图像的平均值且 为I_f中像素点的数量。

所述的正则项，具体为采用如下算式计算得到：

L_smooth＝β_lowL_grad(φ_low)+β_midL_grad(φ_mid)+β_highL_grad(φ_high)

式中β_low为低维尺度上图像的正则参数；β_mid为中维尺度上图像的正则参数；β_high为高维尺度上图像的正则参数；φ_a为尺度为a的变形场，a取值为low、mid或high；L_grad计算了变形场的梯度且Ω为φ_a的取值域，为φ_a梯度的L₂范数的平方。

步骤S6所述的对深度回归网络进行反复学习和训练，具体为利用基于梯度下降的优化器优化损失函数，进而深度回归网络中的参数在神经网络向前反馈和向后传播的机制中得到更新。

本发明提供的这种新型眼底图配准方法，利用无监督的卷积神经网络，以一种端到端的方式执行眼底图配准；本发明使用无监督的卷积神经网络，减少配准过程对大量配准标签的依赖，并且以一种学习的方式避免每次配准图像都要从头迭代优化定义好的代价函数，从而减少了配准所需的时间；本发明使用空间变换器确保深度回归网络能够以一种端到端的方式进行训练，从而避免了配准任务割裂，难以提取最具描述性特征用于图像配准的情况；同时，本发明创新性地提出多尺度变形场的策略，增强网络自我监督的能力，从而提高配准结果的准确性和鲁棒性，最后，本发明创新性地提出血管引导的思想，通过将全局和局部信息相结合的方式，来帮助图像更好地对齐图像；因此，本发明极大地提高了眼底配准结果的准确性和鲁棒性，而且可靠性高、计算效率较高且配准结果准确。

附图说明

图1为本发明方法的方法流程图。

图2为本发明的对比实施例中五中方法的配准结果对比示意图。

具体实施方式

如图1所示为本发明方法的方法流程图：本发明提供的这种新型眼底图配准方法，包括如下步骤：

S1.对输入图像进行预处理；所述的图像包括固定图像和移动图像，且固定图像和对应的移动图像组成一个输入图像对；

在具体实施时，具体为将输入图像转换为灰度图像，并将灰度图像合并成一个双通道的图谱作为深度回归网络的输入；

S2.将步骤S1处理后的输入图像对输送到深度回归网络，从而得到相应的变形场；具体为采用多尺度变形场策略从三个尺度上预测出输入图像对的变形场；

在具体实施时，采用如下步骤得到变形场：

A.将输入数据输入到卷积层进行卷积运算；所述的卷积层采用K₁×K₁(比如3×3)且步长为S₁(比如1)个像素的卷积；

B.将步骤A的结果输入ReLu激活函数进行运算，从而增加数据的非线性并增强网络的建模能力；

C.将步骤B的结果输入池化层进行运算；所述的池化层采用的是K₂×K₂(比如2×2)且步长为S₂(比如2)个像素最大池化操作。

D.将网络中若干个(比如3个)池化层输出的特征图谱，执行K₃×K₃(比如3×3)，步长为S₃(比如1)个像素的卷积操作，从而得到最终的变形场；

S3.对步骤S1的配准图像进行增强，从而得到辅助图像；具体为定义一种新的增强方法改进多尺度Hessian滤波，克服现有方法的不足并且该方法能够表现出较为理想的增强功能(如：可变的血管形态，病理学以及血流、造影剂引起的血管内外强度不均匀性等)。通过利用该方法能够增强配准图像的血管结构和边缘信息，从而得到辅助图像；具体步骤可以参见文献[Jerman,T.,F.,Likar,B.,&(2016).Enhancement ofvascular structures in 3D and 2D angiographic images.IEEE transactions onmedical imaging,35(9),2107-2118.]；

S4.采用空间变换器对步骤S3得到的辅助图像进行扭曲，从而得到变形图像；具体为首先利用变形场将规则网格通过网格生成器转换为采样网格，然后采样器采用采样网格对增强后的移动图像进行扭曲，从而得到变形图像；所述的空间变换器包括网格生成器和采样器；

具体的，采用如下算式进行转换：

式中为D_θ在i上的坐标，D_θ为变形场，G_i为常规网格，为D_θ中的位移向量，为G在i上的坐标；

同时，采用如下算式进行扭曲计算：

式中V_trans为变形图像，i为V_trans中像素的位置，c为通道，V_m为经过增强操作后的移动图像，H为V_m的高，W为V_m的宽，为V_m在c通道下坐标位置为(x,y)处的像素值，max()为取最大值操作，为D_θ在i上的坐标；

S5.根据得到的配准图像对的变形场、辅助图像和变形图像，构建损失函数；损失函数包括了惩罚项和正则项；惩罚项为通过计算固定图像的血管增强图与变形图像的相似性得到，用于惩罚图像的差异；正则项为通过对变形场施加平滑操作得到；

在具体实施时，采用如下算式计算得到惩罚项：

L_sim＝-α_lowNCC(φ_low,I_f,I_m)-α_midNCC(φ_mid,I_f,I_m)-α_highNCC(φ_high,I_f,I_m)

式中α_low为低尺度上图像相似性的权重值，α_mid为中尺度上图像相似性的权重值，α_high为高尺度上图像相似性的权重值，NCC(φ_a,I_f,I_m)为在a尺度上的相似性指标且式中a取值为low、mid或high，I_f为输入图像中的固定图像，I_m为输入图像中的移动图像，xi为像素的空间坐标，φ_a为在尺度a下的变形场，为使用φ_a对I_m中xi执行步骤S4后得到的变形后的空间坐标，为固定图像的平均值且 为固定图像的平均值且 为I_f中像素点的数量。

采用如下算式计算得到正则项：

L_smooth＝β_lowL_grad(φ_low)+β_midL_grad(φ_mid)+β_highL_grad(φ_high)

式中β_low为低维尺度上图像的正则参数；β_mid为中维尺度上图像的正则参数；β_high为高维尺度上图像的正则参数；φ_a为尺度为a的变形场，a取值为low、mid或high；L_grad计算了变形场的梯度且Ω为φ_a的取值域，为φ_a梯度的L₂范数的平方。

S6.根据步骤S5得到的损失函数，对深度回归网络进行反复学习和训练，从而得到最优配准模型；具体为利用基于梯度下降的优化器优化损失函数，进而深度回归网络中的参数在神经网络向前反馈和向后传播的机制中得到更新，从而得到最优配准模型；

S7.利用步骤S6得到的最优配准模型，对眼底图像对进行配准。

为了验证模型的有效性和准确性，本实施例在眼底图像上进行仿真实验，通过和当前先进的配准工具箱SimpleITK和SimpleElastix，以及另外一种基于卷积神经网络的无监督配准方法DIRNet进行对比。

—SimpleITK：是先进的图像处理工具ITK的简化接口，旨在促进其在快速原型，教育和解释语言中应用。参考文献[Lowekamp,B.C.,Chen,D.T.,L.,&Blezek,D.(2013).The design of SimpleITK.Frontiers in neuroinformatics,7,45.]。

—SimpleElastix：是一个模块化的高性能医学图像配准算法集合，SimpleElastix自动生成Python、Java、R、Ruby和C#等编程语言的绑定。这使得最新的图像配准可以在各种其他的编程环境中完成。参考文献[Marstal,K.,Berendsen,F.,Staring,M.,&Klein,S.(2016).SimpleElastix:A user-friendly,multi-lingual library formedical image registration.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition Workshops(pp.134-142).]。

—DIRNet：是一种端到端的图像配准方法，该方法采用无监督的卷积网络执行配准任务。参考文献[de Vos,B.D.,Berendsen,F.F.,Viergever,M.A.,Staring,M.,&I.(2017).End-to-end unsupervised deformable image registration with aconvolutional neural network.In Deep Learning in Medical Image Analysis andMultimodal Learning for Clinical Decision Support(pp.204-212).Springer,Cham.]。

实验通过DSC(Dice Similarity Coefficient)来衡量配准前后解剖结构的重叠情况。DSC的值越大，表示配准结果越准确。除此之外，通过PA(Pixel Accuracy)来衡量配准前后解剖结构中相同像素的比率，同样PA的值越大。通过图2((a)是固定图像，(b)是移动图像，(c)是配准之前的棋盘图，(d)是使用SimpleITK(Demons)后的配准结果，(e)是使用SimpleITK(BSplines)后的配准结果，(f)是使用SimpleElastix后的配准结果，(g)是使用DIRNet后的配准结果，(h)是使用本发明后的配准结果)展示的配准结果对比的例子可以看出，本发明相比其他方法可以生成最真实的血管变形，因此图像对齐的效果最佳。从图2可以看出，在固定图像和移动图像存在灰度变化和解剖差异时，本发明依然能表现出良好的配准性能。然而，其他方法却出现图像失真的情况，即预测出的血管形变不是图像对中真实的形变。从表1的具体实验指标对比可以看出，相对先进的配准工具和基于无监督学习的方法，本发明取得最高的DSC 0.753和PA0.750。这表明本发明相比上述方法配准性能更高。

表1不同方法的配准性能比较示意表

方法	DSC	PA	Time(s)
				SimpleITK(Demons)	0.446	0.441	30.685
SimpleITK(BSplines)	0.526	0.522	14.451
				SimpleElastix	0.599	0.594	71.005
DIRNet	0.575	0.567	0.006
				本发明	0.753	0.750	0.020

除此之外，本发明能够在1秒之内配准一对图像，这也有效地解决了传统方法耗时的问题。

Claims (10)

1.一种新型眼底图配准方法，包括如下步骤：

S1.对输入图像对进行预处理；所述的图像包括固定图像和移动图像，且固定图像和对应的移动图像组成一个输入图像对；

S2.将步骤S1处理后的输入图像对输送到深度回归网络中，从而得到相应的变形场；

S3.对步骤S1的输入图像进行增强，从而得到辅助图像；

S4.采用空间变换器对步骤S3得到的辅助图像进行扭曲，从而得到变形图像；

S5.根据得到的输入图像对的变形场、辅助图像和变形图像，构建损失函数；

S6.根据步骤S5得到的损失函数，对深度回归网络进行反复学习和训练，从而得到最优配准模型；

S7.利用步骤S6得到的最优配准模型，对眼底图像对进行配准。

2.根据权利要求1所述的新型眼底图配准方法，其特征在于步骤S1所述的对输入图像进行预处理，具体为将固定图像和移动图像转换为灰度图像，并将得到的灰度图像合并成一个双通道的图谱作为深度回归网络的输入。

3.根据权利要求2所述的新型眼底图配准方法，其特征在于步骤S2所述的得到输入图像对的变形场，具体为采用如下步骤，采用多尺度变形场策略从三个尺度上预测出输入图像对的变形场：

A.将输入数据输入到卷积层进行卷积运算；所述的卷积层采用K₁×K₁且步长为S₁个像素的卷积；

B.将步骤A的结果输入ReLu激活函数进行运算，从而增加数据的非线性并增强网络的建模能力；

C.将步骤B的结果输入池化层进行运算；所述的池化层采用的是K₂×K₂且步长为S₂个像素最大池化操作；

D.将网络中若干个池化层输出的特征图谱，执行K₃×K₃，步长为S₃个像素的卷积操作，从而得到最终的变形场。

4.根据权利要求3所述的新型眼底图配准方法，其特征在于步骤S3所述的对输入图像进行增强，具体为改进多尺度Hessian滤波，新的增强方法克服现有方法的不足并且该方法能够表现出较为理想的增强功能；通过利用该方法能够增强配准图像的血管结构和边缘信息，从而得到辅助图像。

5.根据权利要求4所述的新型眼底图配准方法，其特征在于步骤S4所述的采用空间变换器对得到的辅助图像进行扭曲，从而得到变形图像，具体为首先利用变形场将规则网格通过网格生成器转换为采样网格，然后采样器采用采样网格对增强后的移动图像进行扭曲，从而得到变形图像；所述的空间变换器包括网格生成器和采样器。

6.根据权利要求5所述的新型眼底图配准方法，其特征在于所述的利用变形场将规则网格通过网格生成器转换为采样网格，具体为采用如下算式进行转换：

式中为D_θ在i上的坐标，D_θ为变形场，G_i为常规网格，为D_θ中的位移向量，为G在i上的坐标。

7.根据权利要求6所述的新型眼底图配准方法，其特征在于所述的采样器采用采样网格对增强后的移动图像进行扭曲，具体为采用如下算式进行扭曲计算：

式中V_trans为变形图像，i为V_trans中像素的位置，c为通道，V_m为经过增强操作后的移动图像，H为V_m的高，W为V_m的宽，为V_m在c通道下坐标位置为(x,y)处的像素值，max()为取最大值操作，为D_θ在i上的坐标。

8.根据权利要求7所述的新型眼底图配准方法，其特征在于步骤S5所述的损失函数包括了惩罚项和正则项；惩罚项为通过计算固定图像的血管增强图与变形图像的相似性得到，用于惩罚图像的差异；正则项为通过对变形场施加平滑操作得到；步骤S6所述的对深度回归网络进行反复学习和训练，具体为利用基于梯度下降的优化器优化损失函数，进而深度回归网络中的参数在神经网络向前反馈和向后传播的机制中得到更新。

9.根据权利要求8所述的新型眼底图配准方法，其特征在于所述的惩罚项，具体为采用如下算式计算得到：

L_sim＝-α_lowNCC(φ_low,I_f,I_m)-α_midNCC(φ_mid,I_f,I_m)-α_highNCC(φ_high,I_f,I_m)

式中α_low为低尺度上图像相似性的权重值，α_mid为中尺度上图像相似性的权重值，α_high为高尺度上图像相似性的权重值，NCC(φ_a,I_f,I_m)为在a尺度上的相似性指标且式中a取值为low、mid或high，I_f为输入图像中的固定图像，I_m为输入图像中的移动图像，xi为像素的空间坐标，φ_a为在尺度a下的变形场，为使用φ_a对I_m中xi执行步骤S4后得到的变形后的空间坐标，为固定图像的平均值且 为固定图像的平均值且 为I_f中像素点的数量。

10.根据权利要求9所述的新型眼底图配准方法，其特征在于所述的正则项，具体为采用如下算式计算得到：

L_smooth＝β_lowL_grad(φ_low)+β_midL_grad(φ_mid)+β_highL_grad(φ_high)

式中β_low为低维尺度上图像的正则参数；β_mid为中维尺度上图像的正则参数；β_high为高维尺度上图像的正则参数；φ_a为尺度为a的变形场，a取值为low、mid或high；L_grad计算了变形场的梯度且Ω为φ_a的取值域，为φ_a梯度的L₂范数的平方。