CN110033848B - 一种基于无监督学习的三维医学影像z轴插值方法 - Google Patents

Abstract

一种基于无监督学习的三维医学影像z轴插值方法，涉及图像处理领域。能够有效的提高三维医学影像z轴分辨率，很大程度上解决了三维医学影像x、y、z轴上分辨率不够匹配的问题，对医生的诊断具有辅助意义。方法包括：A、通过特征偏移对无监督学习网络进行优化的方法；B、对数据进行退化处理辅助指导无监督学习网络优化方向的方法；C、一种评估特征偏移的评价方法。建立在深度学习模型的基础上，能够实现很好的z轴数据插值效果。

Description

一种基于无监督学习的三维医学影像z轴插值方法

技术领域

本发明涉及图像处理领域，尤其是涉及一种基于无监督学习的三维医学影像z轴插值方法。

背景技术

三维医学影像数据在日常医疗诊断中有着极其重要的作用，可以帮助医生对病患的病灶位置进行精确的诊断。在深度学习的快速发展过程中，智能辅助诊断系统的出现缓解了医生的诊断压力。通过对三维医学影像的智能分析，智能辅助诊断系统精准的判断影像区域的病情，给予医生相应的病灶区域候选建议、病情分析建议和辅助诊疗意见，由医生做最终诊断判别。

然而，智能辅助诊断系统依托于深度学习强大的非线性拟合能力，同时需要大量数据的训练学习。传统扫描获得的三维医学影像数据在x、y轴上的分辨率与z轴上的分辨率有所不同，网络在z轴上学习到的映射关系相较于x、y轴上的映射关系更弱，不能很好的反映客观规律。因此在z轴上的插值可以提高z轴分辨率，进而提升网络学习效果，增强系统的性能。

由于三维医学影像的特殊性，在获得数据的过程中无法获取训练监督学习网络的z轴插值标签；使用下采样的数据模拟退化过程可以获取模拟的数据及标签，但无法客观的反映退化的真实规律；因此在此背景下，我们提出了基于无监督学习的三维医学影像z轴插值方法，通过特征约束进行网络优化，并使用退化数据对网络优化方向进行校正。

发明内容

本发明的目的在于提供能改善获取的三维医学影像数据z轴分辨率，提高智能辅助诊断系统性能的一种基于无监督学习的三维医学影像z轴插值方法。

本发明包括以下步骤：

1)基于特征偏移对无监督学习网络进行优化的方法；

2)对数据进行退化处理辅助指导无监督学习网络优化方向的方法；

3)一种评估特征偏移的评价方法。

在步骤1)中，所述基于特征偏移对无监督学习网络进行优化的方法的具体步骤可为：

在无标签数据情况下，通过对输出图像的特征偏移约束优化无监督学习网络；由于三维医学影像的特殊性，在采集过程中无法获取直接的标签数据，即z轴上无法直接获得两帧图像的中间图像，因此，监督学习的标签约束无法被应用到网络学习过程中，三维医学影像数据由于其连贯性，相邻帧之间特征变化不明显，即在相邻帧中，结构特性和病理特性变化不大。基于这一特点，提出一种基于图像特偏移约束网络优化的方法，其优化过程由以下表达式确定：

其中，x_in为输入图像组，x_near为所求插值帧的相邻帧，f_θ(·)为由参数组θ给参的无监督网络，AlexNet(·)为AlexNet特征抽取网络，该表达式的含义在于，在无监督网络输出图像的特征逼近相邻帧特征的约束下优化网络参数θ，使得网络收敛。

在步骤2)中，所述对数据进行退化处理辅助指导无监督学习网络优化方向的方法的具体步骤可为：

由于特征约束网络优化不能完整约束整个网络的优化方向，提出一种以退化的数据对网络进行优化方向约束的方法；在通过提出的退化数据获取方法获取退化的数据组后，使用该数据组对无监督网络进行监督优化，辅助无监督网络约束优化方向，该优化过程由以下表达式确定：

其中，

为退化的输入数据组，

为退化的输入数据组标签，该表达式描述为：无监督网络输入退化的数据组，在输出图像逼近退化数据组的标签的约束下，对网络优化方向进行辅助约束；

具体步骤如下：

第一步：对数据做退化处理，对三维医学影像进行等奇数间隔抽取，即每隔奇数帧对图像进行抽取，组成退化后的数据组，该数据组模拟z轴插值的退化过程，同时由于等奇数间隔抽取，退化数据组的标签帧得到保留；

第二步：使用退化的数据组对无监督网络进行带标签的监督训练，辅助无监督网络约束优化方向。

在步骤3)中，所述一种评估特征偏移的评价方法的具体方法可为：

在获得z轴插值后的图像后，需要一种评价指标反映插值图像的优劣，提出一种基于图像特征偏移的指标评估方法DoFS，通过衡量特征的变化反映z轴插值效果；

该评价指标由以下表达式表示：

其中，FeatureShifts表示处理前后特征的实际变化量，Features表示处理前特征总量；

DoFS定量的衡量网络对于输入输出图像的特征影响程度，反映图像在经过网络处理后的特征偏移情况；

具体步骤如下：

第一步：获取输入图像的特征，获取输出图像的特征，计算两者之间的差值；

第二步：通过DoFS表达式计算DoFS；

第三步：通过计算所得DoFS评估系统对特征的偏移。

本发明能够在没有标签数据的情况下通过学习，对三维医学影像数据进行z轴上的数据插值，能够有效的提高三维医学影像z轴分辨率，很大程度上解决了三维医学影像x、y、z轴上分辨率不够匹配的问题，对医生的诊断具有辅助意义。本发明提供的方法包括：A、通过特征偏移对无监督学习网络进行优化的方法；B、对数据进行退化处理辅助指导无监督学习网络优化方向的方法；C、一种评估特征偏移的评价方法。本发明建立在深度学习模型的基础上，能够实现很好的z轴数据插值效果。

附图说明

图1为本发明三维医学影像数据z轴插值过程的整体流程图。

图2为本发明无监督数据组与退化数据组的组成方式。

具体实施方式

以下实施例将结合附图对本发明实施方式作进一步地详细描述。

根据图1，三维医学影像数据z轴插值的实现方法主要有三个步骤：

步骤1：根据图1：Stage1，基于特征变化对网络进行无监督优化。

该阶段网络优化过程由以下表达式展现：

其中，AlexNet为特征提取网络，具体实现参见参考文献^[1]；f_θ为深度网络，具体实现参见参考文献^[2]。与参考文献^[1]不同，采取的AlexNet网络去除了后续的全连接层，仅保留前续的卷积层。与参考文献^[2]不同，使用的f_θ采取无监督的优化方式优化参数簇θ。

具体步骤如下：

1、将连续的四帧图像x_in作为网络输入送入网络。

2、通过编解码结构f_θ获取输入图像对应的蒙版图像Mask＝f_θ(x_in)。

3、将蒙版图像与输入图像进行点乘操作，获得最终的输出图像，即：

y＝Mask·x_in＝f_θ(x_in)·x_in

4、对输出图像y提取特征AlexNet[f_θ(x_in)·x_in]，并对输入图像的中间两帧图像提取特征AlexNet(x_near)，并计算特征之间的损失：

5、利用特征差值diff_unsupervised对网络参数簇θ进行优化。

其中，f_θ为四层卷积、四层解卷积与最后一层卷积组成的编解码网络，负责提取输入数据x_in特征并将特征融合成一个与输入数据同样大小、相同通道数的蒙版图像Mask。输入图像x_in与Mask相乘继而得到最终的输出图像y。AlexNet(·)负责提取图像特征，为预训练好的AlexNet前继卷积层。

网络具体设置详见图1。

步骤2：根据图1：Stage2，使用退化的数据组对网络优化方向进行约束。

该阶段网络优化过程可以由以下表达式展现：

退化的数据组

及其标签

可由获取方式的具体步骤如下：

1、确定抽取间距d。

2、根据抽取间距d对图像进行等间隔抽取，例如起始图像标号为1，抽取间距为d＝3，则抽取的退化的图像

标号为1/5/9/13，标签

标号为7。

3、将抽取好的退化的图像

送入网络中获取输出图像

4、计算输出图像

与对应标签

的损失

5、根据差值diff_supervised更新网络参数θ。

数据抽取过程见图2。

步骤3：评价网络性能指标。

评价网络性能优劣由以下指标判定：

训练完后的网络进行测试，得到测试输入x_test的插值结果y_test。将y_test和x_test的相邻帧

送入AlexNet，计算两者之间的DoFS。具体步骤如下：

1、将测试图像组x_test作为网络输入送入网络中。

2、通过训练好的编解码结构f_θ获取输入图像对应的蒙版图像Mask_test＝f_θ(x_test)。

3、将蒙版图像与输入图像进行点乘操作，获得最终的输出图像，即

y_test＝Mask_test·x_test＝f_θ(x_test)·x_test

4、对输出图像y_test提取特征AlexNet[f_θ(x_test)·x_test]，并对输入图像的相邻图像

提取特征

并计算特征之间的差值FeatureShifts。

5、根据公式计算DoFS。

表1给出实验结果SSR表示提出的使用退化数据对网络进行约束的方法，其中，w/表示使用提出的使用退化数据对网络进行约束的方法，w/o表示不使用提出的使用退化数据对网络进行约束的方法。

表1

抽取距离d	平均内容损失ACL	平均特征偏移AFS	DoFS
				1,w/SSR	5.90921	0.226326	3.06741×10<sup>-3</sup>
1,w/o SSR	7.76315	0.30541	3.98364×10<sup>-3</sup>
				3,w/SSR	7.06056	0.243712	3.26244×10<sup>-3</sup>
3,w/o SSR	10.0865	0.353206	4.59499×10<sup>-3</sup>
				5,w/SSR	9.14361	0.253018	3.38214×10<sup>-3</sup>
5,w/o SSR	13.4465	0.383361	5.20329×10<sup>-3</sup>
				7,w/SSR	10.1216	0.277129	3.50100×10<sup>-3</sup>
7,w/o SSR	16.8693	0.454309	5.93390×10<sup>-3</sup>

本发明的突出技术效果在于：首次提出一种基于无监督学习的三维医学影像插值方法，利用前后图像特征对网络做约束来达到网络优化的目的，并同时应用退化的图像数据对网络进行辅助的优化约束，促进网络向正确的方向进行优化。在该方法的基础上提出了一种基于特征偏移的衡量指标，反映经过网络前后图像特征的定量变化程度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于无监督学习的三维医学影像z轴插值方法，其特征在于包括以下步骤：

1)基于特征偏移对无监督学习网络进行优化，优化过程由以下表达式确定：

其中，x_in为输入图像组，x_near为所求插值帧的相邻帧，f_θ(·)为由参数组θ给参的无监督网络，AlexNet(·)为AlexNet特征抽取网络，该表达式的含义在于，在无监督网络输出图像的特征逼近相邻帧特征的约束下优化网络参数θ，使得网络收敛；

具体步骤如下：

1.1将连续的四帧图像x_in作为网络输入送入网络；

1.2通过编解码结构f_θ获取输入图像对应的蒙版图像Mask＝f_θ(x_in)；

1.3将蒙版图像与输入图像进行点乘操作，获得最终的输出图像，即：

y＝Mask·x_in＝f_θ(x_in)·x_in

1.4对输出图像y提取特征AlexNet[f_θ(x_in)·x_in]，并对输入图像的中间两帧图像提取特征AlexNet(x_near)，并计算特征之间的损失：

1.5利用特征差值diff_unsupervised对网络参数簇θ进行优化；

其中，f_θ为四层卷积、四层解卷积与最后一层卷积组成的编解码网络，负责提取输入数据x_in特征并将特征融合成一个与输入数据同样大小、相同通道数的蒙版图像Mask；输入图像x_in与Mask相乘继而得到最终的输出图像y；AlexNet(·)负责提取图像特征，为预训练好的AlexNet前继卷积层；

2)对数据进行退化处理辅助指导无监督学习网络优化方向，该优化过程由以下表达式确定：

其中，

为退化的输入数据组，

为退化的输入数据组标签，该表达式描述为：无监督网络输入退化的数据组，在输出图像逼近退化数据组的标签的约束下，对网络优化方向进行辅助约束；

具体步骤如下：

2.1对数据做退化处理，对三维医学影像进行等奇数间隔抽取，即每隔奇数帧对图像进行抽取，组成退化后的数据组，该数据组模拟z轴插值的退化过程，同时由于等奇数间隔抽取，退化数据组的标签帧得到保留；

2.2使用退化的数据组对无监督网络进行带标签的监督训练，辅助无监督网络约束优化方向；

3)通过衡量特征的变化反映z轴插值效果，评价指标由以下表达式表示：

其中，FeatureShifts表示处理前后特征的实际变化量，Features表示处理前特征总量；

训练完后的网络进行测试，得到测试输入x_test的插值结果y_test，将y_test和x_test的相邻帧x_testnear送入AlexNet，计算两者之间的DoFS，具体步骤如下：

3.1将测试图像组x_test作为网络输入送入网络中；

3.2通过训练好的编解码结构f_θ获取输入图像对应的蒙版图像Mask_test＝f_θ(x_test)；

3.3将蒙版图像与输入图像进行点乘操作，获得最终的输出图像，即

y_test＝Mask_test·x_test＝f_θ(x_test)·x_test

3.4对输出图像y_test提取特征AlexNet[f_θ(x_test)·x_test]，并对输入图像的相邻图像

提取特征

并计算特征之间的差值FeatureShifts；

3.5根据公式计算DoFS；

DoFS定量的衡量网络对于输入输出图像的特征影响程度，反映图像在经过网络处理后的特征偏移情况，具体步骤如下：

第一步：获取输入图像的特征，获取输出图像的特征，计算两者之间的差值；

第二步：通过DoFS表达式计算DoFS；

第三步：通过计算所得DoFS评估系统对特征的偏移。

Images