CN113706379B - 一种基于医学图像处理的层间插值方法及系统 - Google Patents

Abstract

本发明提供一种基于医学图像处理的层间插值方法及系统，方法使用生成式对抗网络将医学图像转换成连续二值图；基于自适应分离卷积网络对连续二值图插值进行处理生成中间二值图；使用生成式对抗网络将中间二值图映射回其对应的原图像。本发明解决了传统的自适应可分离卷积网络运行过程需要消耗大量计算能力和存储使用量的缺陷。本发明在图像转换模块生成网络中的解码阶段使用双线性上采样模块去除传统生成网络生成图像中的棋盘状伪影以实现医学图像和其相对应的二值图像之间的循环映射。在插值模块中使用专门应用于医学图像的损失函数替代传统的逐像素损失函数来保留生成图像的边缘以避免图像模糊,并进一步提高生成图像的质量。

Description

一种基于医学图像处理的层间插值方法及系统

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于医学图像处理的层间插值方法及系统。

背景技术

医学影像从产生至今，一直致力于为医生提供更加准确和全面的诊断信息。从两个连续医学图像之间生成新的中间帧一直是医学图像处理中一个有价值且具有挑战性的问题。通常情况下，图像采集设备不能达到临床诊断上所需要的图像质量要求。而且在通常情况下，医学成像系统都是以层的方式进行3D扫描。一般2D层图像的分辨率和层间距是不同的、层间距本身也不是恒定的。在医学图像处理和分析过程中，需要通过插值操作来获得所需要的图像。

插值是计算机视觉和图像处理中的经典主题。传统的插值方法大多都依靠基于光流的方法，该方法估计两个输入帧之间的密集运动，通常是光流，然后插值由运动引导的一个或多个中间帧。这些方法的性能通常取决于光流，如果光流效果不佳，将会对最终的插值结果产生很大的影响。但是在通常情况下并不能准确的计算出图像之间的光流。现有技术中，又开发了一种基于相位的插值方法，该方法表示单个像素相移中的运动，并通过逐像素相位调整来生成中间帧。这种基于相位的方法通常会产生令人印象深刻的内插结果。但是，有时无法保留变化较大图像中的高频细节。

深度学习广泛应用于运动估计和图像生成任务中，尤其是其中的生成对抗网络和自适应可分离卷积网络，在最近的深度学习任务中被广泛使用，并且取得了优异的结果。但是，传统的生成对抗网络训练不稳定且生成图像中经常出现棋盘状伪影，对图像结果造成很大的影响；传统的自适应可分离卷积网络需要消耗高计算能力和存储使用量且该网络及其中的损失函数仍有不足，并不能很好的保留医学图像的边缘及细节。

发明内容

本发明提供一种基于医学图像处理的层间插值方法，方法是一种有效且适应性强的医学图像插值算法，解决了传统的自适应可分离卷积网络运行过程需要消耗大量计算能力和存储使用量的缺陷。

方法包括：

使用生成式对抗网络将医学图像转换成连续二值图；

基于自适应分离卷积网络对连续二值图插值进行处理生成中间二值图；

使用生成式对抗网络将中间二值图映射回其对应的原图像。

本发明还提供一种基于医学图像处理的层间插值系统，包括：图像转换模块、差值模块以及映射模块；

图像转换模块用于使用生成式对抗网络将医学图像转换成连续二值图；

插值模块用于基于自适应分离卷积网络对连续二值图插值进行处理生成中间二值图；

映射模块用于使用生成式对抗网络将中间二值图映射回其对应的原图像。

进一步需要说明的是，图像转换模块还用于先使用倍数为2的双线性插值，然后使用值为1的镜像填充，最后再使用卷积核大小为3、步幅为1的二维卷积，将这三层堆叠成一个双线上采样模块。

进一步需要说明的是，图像转换模块使用镜像填充的方式对医学图像边界像素进行处理；

插值模块使用零填充的方式保留图像边界信息。

从以上技术方案可以看出，本发明具有以下优点：

本发明提出的基于医学图像处理的层间插值方法使用生成对抗网络将医学图像进行转换，转换成对应的二值图，然后借助改进的自适应可分离卷积网络对连续二值图插值以生成中间二值图，最后再使用改进的生成对抗网络将中间二值图映射回其对应的原图像。本发明的方法解决了传统的自适应可分离卷积网络运行过程需要消耗大量计算能力和存储使用量的缺陷。

本发明在图像转换模块生成网络中的解码阶段使用双线性上采样模块去除传统生成网络生成图像中的棋盘状伪影以实现医学图像和其相对应的二值图像之间的循环映射；在插值模块中使用专门应用于医学图像的损失函数L_robust替代传统的逐像素损失函数来保留生成图像的边缘以避免图像模糊,并进一步提高生成图像的质量。循环插值网络通过将医学图像转换成相对应的二值图像可以实现对连续医学图像进行更加流畅且自然的中间帧插值。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于医学图像处理的层间插值方法的整体结构；

图2为基于医学图像处理的层间插值方法流程图；

图3为图像转换模块中的功能说明图；

图4为U型网络的具体结构图；

图5为双线性上采样模块和转置卷积的对比结果图；

图6为部分样本示例图；

图7为循环插值网络和插值模块的生成结果对比图；

图8为不同算法网络对心脏的定性对比图；

图9为不同算法网络对脑部的定性对比图；

图10为不同算法网络对肺部的定性对比图。

具体实施方式

本发明提供的基于医学图像处理的层间插值方法中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明提供的基于医学图像处理的层间插值方法中所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

如图1和图2所示，本发明提供的基于医学图像处理的层间插值方法包括：

S101，使用生成式对抗网络将医学图像转换成连续二值图；

S102，基于自适应分离卷积网络对连续二值图插值进行处理生成中间二值图；

S103，使用生成式对抗网络将中间二值图映射回其对应的原图像。

其中，生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型。对于本发明来讲，方法是基于图像转换模块、差值模块以及映射模块来实现的。

图像转换模块用于使用生成式对抗网络将医学图像转换成连续二值图；插值模块用于基于自适应分离卷积网络对连续二值图插值进行处理生成中间二值图；映射模块用于使用生成式对抗网络将中间二值图映射回其对应的原图像。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中，图像转换模块由两个网络组成:一个是生成网络,另一个是判别网络。本发明的生成网络由2个步幅2卷积,9个残差块和2个双线性上采样模块组成,其中双线性上采样方式在后续进行说明。对于判别器网络,本发明使用70×70的PatchGAN,其目的是对70×70重叠的图像块进行分类,以判断真假。这种级别的判别器架构比全图像判别器具有更少的参数,并且可以以全卷积的方式应用于任意大小的图像。该模块可以实现图像的双向映射,即可以把医学图像映射到其相对应的二值图像,又可以把二值图像映射回原医学图像。

图像转换模块的目标是在给定训练样本

和/>

的情况下学习两个域A和B之间的映射函数。如图3a所示,该模块使用两个生成器用于两个域之间的循环映射,G_A：A→B和G_B：B→A。此外,还引入了两种对抗性判别器D_A和D_B。

其中D_A旨在区分图像{a}和转换后图像{G_B(b)},促使G_B将域B转换为与域A难以区分的输出；D_B以同样的方式旨在区分{b}和{G_(a)},促使G_A将域A转换为与域B难以区分的输出。该网络主要包括三种损失函数：对抗损失函数，用于使生成图像中的数据分布与目标域中的数据分布相匹配；循环一致性损失函数,用于防止学习的映射G_A和G_B相互矛盾；恒等映射损失函数,用于使生成图像的风格以及色调和目标域尽可能的逼近。

本发明引入对抗损失函数。将对抗损失应用于两个映射函数。对于映射函数G_A:A→B及其鉴别器D_B,本发明将该损失函数定义为等式(1):

等式中的P_data表示数据分布,下同。其中G_A尝试生成和目标域B中样本b难以区分的输出G_A(a),而D_B旨在区分生成后的样本G_A(a)和目标域样本b。本发明为映射函数G_B:b→a及其鉴别器D_A引入了类似的对抗损失:L_gan(G_Β,D_A,B,A)。

其次引入循环一致性损失函数。从理论上讲,对抗训练可以学习映射G_A和G_B,它们分别产生与目标域B和A中样本相同分布的输出。严格地说,这要求G_A和G_B是随机函数。然而如果具有足够大的容量,一个网络可以将同一组输入图像映射到目标域图像中的任何随机排列,其中任何学习到的映射都可以促使输出分布与目标分布相匹配。

因此,不能保证单独依靠对抗损失函数而学习到的映射可以将每个输入映射到所期望得到的输出。为了进一步减少可能的映射函数空间,网络认为学习到的映射函数应该是周期一致的:如图3b所示,对于来自域A的每个图像a,图像循环转换能够将a带回到原始图像,即a→G_A(a)→G_B(G_A(a))≈a,称此为前向循环一致性。类似地,如图3c所示,对于来自域B的每个图像b,G_A和G_B还应满足后向循环一致性：b→G_B(b)→G_A(G_B(b))≈b。本发明使用周期一致性损失来激励这种行为,将该损失函数定义为等式(2)：

除了以上损失函数外,本发明还引入了恒等映射损失函数。生成器G_A用来生成域B风格中的图像,将域B中的样本b输入到生成器G_A中,然后对G_A(b)和b做差来提高生成图像和目标图像在风格和色调上的相似性。生成器G_B亦是如此。本发明将该损失函数定义为等式(3)：

本模块完整的损失函数如等式(4)所定义:

其中,α和β是为了控制各目标函数之间的平衡。本发明使用该函数来优化本发明的图像转换模块,以使生成网络和判别网络达到最优性能。本模块的总体优化目标为

本发明中的插值模块是由一个插值网络构成，具体的网络结构如图4所示。网络具有U型结构,由具有跳跃连接的几个模块组成。每个模块中包括一个池化层或者上采样层以及三个卷积层。该网络在最后一部分分为四个子网络,每个子网络都预测一个一维局部卷积核与输入帧进行局部卷积,其中局部是指对输入帧中的每个像素使用不同的核矩阵。因此,所预测的四个一维核提供输入帧中相邻像素的加权和系数,同时还表示帧之间的局部运动。此外,因为一个一维局部卷积内核水平应用而另一个垂直应用,所以每对一维内核可用于近似一个二维内核,这样可以节省大量内存和计算量。最后,通过对输入帧分别进行局部卷积然后再相加可以得到该网络的输出。

本实施例中，首先为网络尝试了多种不同的损失函数，如L1函数、均方误差(L2)、Chabonnier函数。许多论发明引用均方误差(Mean Squared Error)作为网络的损失函数,也称为L2损失函数,但引用它在帧插值的情况下通常不那么可靠，会导致图像模糊，这经常会出现在一些图像生成任务中。Charbonnier函数是一种更加鲁棒性的损失函数,并且在图像生成任务中发现使用Charbonnier函数代替传统损失函数可以提高模型的性能，从而使生成图像更加清晰、自然。在本模块中,首先使用L1函数来优化U型网络。L1损失函数计算预测帧

和其对应的真实帧I_t之间的像素级差异,如等式(6)所定义:

其中,N表示训练样本的个数,在本模块中取值为1。

在本发明中发现,仅使用上发明中的像素级别的损失函数并不能很好的保留图像的高频细节，所以希望比较图像中的高级特征，而不是简单地逐像素比较帧之间的差异，这可以帮助创建视觉上令人满意且边缘更加清晰的图像。本发明首先基于不同的特征提取器,如VGG-16和VGG-19网络对图像进行特征提取,然后再使用不同的损失函数,如L1、L2或者Charbonnier函数来计算高级特征之间的差异。

本发明中,先基于VGG-16网络的relu2_2层进行特征图提取,然后再使用Charbonniner函数计算图像高级特征之间的差异,可以得到一个更加鲁棒性的损失函数。因为Charbonnier函数引入一个额外的变量ε,可以更好的保留图像边缘信息以避免图像边缘模糊,同时可以避免输入带来的不连续性,有效的帮助网络稳定收敛,并且已被证明在图像生成任务中使用Charbonnier函数可以获得更好的视觉效果。函数定义如等式(7)所示,其中φ表示对图像的高维特征提取,N、

以及I_t与等式(6)中所定义的相同,按经验ε取值为1e-3:

本发明中，在图像转换模块,对于等式(1)L_gan,本发明用最小平方损失函数代替负对数似然损失函数。损失函数在训练过程中表现得更稳定,可以更好的优化图像转换模块中的生成网络和判别网络,从而生成更加清晰且平滑的医学图像。使用最小平方损失函数代替后,等式(1)变成:

本发明中，现有技术中，生成网络的卷积核大小为3、步幅为1的转置卷积进行上采样会经常在生成图像中出现棋盘状伪影,如图5a所示,并且对最终的生成结果有很大的影响。如果未合理选择上采样层,则在图像生成任务中会出现棋盘状伪影。上采样层可以通过各种方式实现,例如子像素卷积,最近邻插值和双线性插值。

本发明对图像转换模块中生成网络的解码阶段使用的上采样方式进行改进：先使用倍数为2的双线性插值,然后使用值为1的镜像填充,最后再使用卷积核大小为3、步幅为1的二维卷积。将这三层堆叠成一个双线上采样模块替换原来使用的卷积核大小为3、步幅为

的转置卷积(Transpose2d)以此来去除原生成网络生成图像中的棋盘状伪影(checkerboard artifact),以改善生成图像的质量,改善后的结果如图5(b)所示。插值模块中插值网络的解码阶段也使用了类似方法来改善生成图像的质量。

本发明中，由于使用了基于卷积的插值方式,因此需要对输入进行填充,从而对边界像素进行更合理的处理。本发明在两个模块中均尝试了零填充、镜像填充以及重复填充。在图像转换模块中使用镜像填充、在插值模块中使用零填充可以更好的保留图像边界信息。

本发明基于医学图像处理的层间插值方法进行实验与分析。实验所需的数据集是由某个附属医院提供的3000张不同层间距的CT和MRI图像,包括人体的心脏、脑部以及肺部。这三类数据集具有不同的层间距,在医学影像研究任务中被广泛使用。图6展示了部分样本示例,表1列出了相关的成像参数。图6当中的第一行和第三行作为网络的连续输入帧,中间第二行作为ground truth。本发明算法由python编写实现,运行环境为Ubuntu 18。04。5LTS,图形处理器为GeForce RTX 3090/PCle/SSE2,处理器为Intel(R)Core(TM)i9-10900FCPU@2。80GHz×20,内存为16GB。

表1数据相关参数

本发明还对实验分析的评价指标进行选择。现有技术中,可以通过视觉来观察生成图像的质量,但是这种方式非常具有主观性,并不能精确的评估生成图像的质量,所以除了通过主观视觉来观察生成图像的质量外,本发明还致力于使用数值上的评价方法。目前,峰值信噪比(PSNR)是最普遍和使用最为广泛的一种图像客观评价指标,其值越高,代表图像质量越好。然而它是基于对应像素点间的误差,即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性,因而会出现评价结果与人的主观感觉不一致的情况。有可能峰值信噪比较高的图像比较低的图像看起来效果还要差。针对PSNR有可能会出现的问题,本发明又引入了一种全参考的图像质量评价指标,结构相似性(SSIM),该指标分别从亮度、对比度、结构三方面度量图像间的相似性。结构相似性指标值越大,代表两张图片的相似性越高。在本发明中,主要使用这两种评价指标来对实验结果进行度量。

本发明中，对于图像转换模块和插值模块,分别使用多个不同的验证数据集,以便为本发明的网络体系结构选择较优的超参数,该验证数据集与训练集、测试集是不相交的。经过验证,获得以下超参数。在图像转换模块中,本发明为等式(4)设定α＝10,β＝5且在该模块中使用Adam优化器,每次向网络输入一张图片进行训练。网络的初始学习速率为0。0002,在前100轮中,使用该学习速率,在后100轮中不断线性下降到0。对于该模块,还有一个重要的超参数,残差块的个数。残差块的个数直接影响生成网络的性能,经过验证,使用9个残差块可以取得最优的生成结果。在插值模块中,本发明使用Adam优化器,并且设置学习率为0。001,每次读入一张图像进行训练。除了诸如学习率之类的常用参数外,对于本模块中的插值网络,另一个重要的超参数是池化层的数量。池化层对卷积神经网络的接收场有很大影响。经过验证,本发明使用五个池化层可以产生最优的插值结果。

本发明进行了消融实验。在深度学习中,损失函数扮演者至关重要的角色,是一个网络的核心。通过最小化损失函数,使网络达到收敛状态,以此来减小网络预测值的误差。因此,不同的损失函数对网络具有不同的影响。为了生成在视觉上令人满意且边缘更加清晰的图像,本发明在插值模块中考虑了各种损失函数,促使生成的中间二值图更加逼近原中间二值图,从而使循环插值网络经图像转换模块反映射后所生成的插值图像更加清晰、光滑。本发明在实验中首先考虑了三种损失函数来优化本发明的插值网络,并且最后提出符合本发明预期效果且更加鲁棒性的损失函数。本发明首先考虑的这三种损失函数分别为L₁、均方误差(L₂)和Charbonnier函数(L_c),以及本发明所提出的专门应用于医学图像的损失函数(L_robust)。为了更全面的证明本发明所提出的损失函数的优异性能,本发明除了与上述的逐像素损失函数比较外,还与其它两个损失函数进行比较：本发明首先基于VGG-16的relu2_2层对预测帧和其对应的真实帧进行特征提取,然后分别使用L₁与L₂函数对预测帧和其对应真实帧的特征图做差来优化本发明的网络,为了方便起见,本发明分别简记为L_{1_f}和L_{2_f},其中L_{2_f}和特征重构损失函数比较相似。

为了证明所提出的更具鲁棒性的损失函数在性能上的提升,本发明对这些损失函数进行比较,实验对比结果如表2所示。由于对预测帧和其对应中间帧的高级特征进行做差,可以使生成图像的边缘信息得以更好的重建,从而使生成图像更加清晰、光滑,所以L_{1_f}、L_{2_f}以及L_robust相比于逐像素损失函数性能更佳。相对于L₁、L₂,Charbonnier函数引入一个额外的变量ε,可以更好的保留图像边缘信息以避免图像边缘模糊,并有效的帮助网络稳定收敛,所以L_robust的性能均优于L_{1_f}、L_{2_f}。因此,本发明所提出的损失函数L_robust相比于其它损失函数效果更佳。

表2不同损失函数的对比结果

为了充分且全面的证明循环插值网络的优异性能,本发明用插值模块以及其中所提出的损失函数L_robust直接对连续医学图像进行插值,不再使用图像转换模块对医学图像进行循环映射。简而言之,本发明对循环插值网络进行消融实验,以此来比较循环插值网络和其中插值模块的性能。定量对比结果如表3所示,定性对比结果如图7所示。从PSNR和SSIM这两个指标来看,直接用插值模块对连续医学图像进行插值的效果明显不如循环插值网络,进一步可以推断出图像转换模块对本发明整体框架起着十分重要的作用。本发明把整体框架的良好结果归因于循环插值网络本身固有的优异性能,该网络通过将连续医学图像转换成相对应的二值图像进行中间帧插值,由于二值图像相比于其对应的原图像具有更少的信息、更清晰的高频区域,因此在插值过程中可以避免丢失较多有价值的像素、轮廓等其它信息,并且可以更好的保留住图像中的高频区域,使得循环插值网络所生成的中间帧拥有更清晰且完整的细节以及边缘信息。从图7中循环插值网络和插值模块生成结果的对比可以发现,循环插值网络在轮廓、边缘、细节等信息处理上表现更加出色。

表3整体结构和部分结构的消融实验对比结果

本发明通过对比实验看出，分别从人体上三个部位选取不同层间距的三幅连续图像进行帧插值,并将插值结果与中间帧进行比较。表4展示了本发明方法与pix2pix方式、SepConv方式、CyclicGen方式在相同的医学图像数据集上得到的PSNR和SSIM指标的比较结果。其中：pix2pix方式是非常经典且效果较好的图像生成方法,本发明通过在通道上对第一帧和第三帧进行堆叠生成一个6通道图像张量以作为网络的输入,然后把3通道的输出和第二帧进行做差以促使输出更加逼近中间帧；SepConv和CyclicGen是目前先进且网络性能优异的插值方法。上述几种对比方法均是被诸多发明献引用且对比的相关方法。除了定量的与其它方法进行比较外,本发明还做了定性对比。从测试集中随机选取了16个样本,又从16个样本中随机选取了3个不同部位的输出进行展示,如图8、图9、图10所示。为了更加清晰的比较几种插值结果的细微区别,分别在图8到图10的第二行中给出矩形框内的局部放大图。通过对图像细节的放大,能够从视觉效果上更直观的评估各种插值方法生成图像的质量。

表4不同算法网络的定量对比结果

SepConv方法使用U型网络来实现对中间帧的插值,但是由于其损失函数稍有不足,并不太适应于医学图像,导致该方法在边缘、轮廓及细节信息上均有不同程度的缺损。如图8所示,SepConv_L1和SepConv_Lf在边缘、轮廓及细节信息上都有不同程度的失真和丢失,虽然SepConv_Lf在某些部位的数据指标上不如SepConv_L1,但是其在高频区域的处理上更加优异。pix2pix方法更关注于预测图像整体轮廓的流畅和自然,从而忽略了细节以及边缘信息的处理,所以该方法在细节及边缘信息处理上稍逊色于本发明方法。从图8可以发现pix2pix方法的生成结果在“人”字形区域的右下方断断续续,并不如本发明方法流畅、自然。CyclicGen方法在处理变化较小的运动时比较有优势,但是当变化较大时,该网络的性能会因此受到限制。如图8所示,该方法的生成效果虽然仍有些许缺陷,但是已经非常接近于ground truth。但是当对层间距较大的肺部图像进行测试时,如图10所示,该方法的生成结果在细节、边缘以及轮廓信息上和ground truth差距较大,信息丢失较为严重。总的来说,本发明方法可以明显改善边缘模糊且在细节及轮廓信息的处理上更加有优势。

为了进一步说明本发明方法的可行性,表4给出了不同方法的量化比较结果。从表4中的数据可以发现本发明方法相比于其它算法网络拥有最高平均PSNR和SSIM值,在量化数据上拥有一定优势。其中,Sepconv方法在量化指标上均低于其它网络模型。pix2pix和CyclicGen方法的性能较为接近,且网络性能比较优异,可以生成令人满意的结果,但是由于循环插值网络本身所具有优异的性能,导致这两种方法在生成结果上略逊色于本发明。将心脏以及脑部的量化结果与肺部进行对比还可以发现,相比于较大的层间距,本发明方法在对层间距较小的医学图像进行重建时效果更佳,类似于CyclicGen方法。总的来说,定量结果表明本发明方法优于其它方法,其插值图像最接近于中间帧。

本发明提供的基于医学图像处理的层间插值方法和系统是结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于医学图像处理的层间插值方法，其特征在于，方法包括：

使用生成式对抗网络将医学图像转换成连续二值图；

基于自适应分离卷积网络对连续二值图插值进行处理生成中间二值图；

使用生成式对抗网络将中间二值图映射回其对应的原图像；

方法中，配置对抗损失函数，循环一致性损失函数以及恒等映射损失函数；

对抗损失函数用于使生成图像中的数据分布与目标域中的数据分布相匹配；

循环一致性损失函数用于防止学习的映射生成器G_A和生成器G_B相互矛盾；

恒等映射损失函数用于使生成图像的风格以及色调到达预设的目标域范围；

用最小平方损失函数定义对抗损失函数为等式(8):

(8)

式中的

表示数据分布,其中G_A生成和目标域B中样本b难以区分的输出G_A（a）；

D_B为区分生成后的样本G_A(a)和目标域样本b；

配置映射函数G_B：b→a及其鉴别器D_A引入了对抗损失:

；

循环一致性损失函数对自域A的每个图像a进行循环转换，将图像a转换到原始图像；

即a→G_A(a)→G_B(G_A(a))≈a,称此为前向循环一致性；

循环一致性损失函数对自域B的每个图像b进行循环转换，将图像b转换到原始图像；

G_A和G_B还满足后向循环一致性：b→G_B(b)→G_A(G_B(b))≈b；

使用周期一致性损失来激励循环转换行为,将循环一致性损失函数定义为等式(2)：

(2)

基于恒等映射损失函数使生成器G_A生成域B风格中的图像，将域B中的样本b输入到生成器G_A中；

对G_A(b)和b做差来提高生成图像和目标图像在风格和色调上的相似性；

定义损失函数为 (3)：

(3) ；

定义完整的损失函数如等式(4):

(4)

其中,

和/>

是为了控制各目标函数之间的平衡；

使用完整的损失函数优化图像转换模块, 图像转换模块的优化目标为

(5)。

2.根据权利要求1所述的基于医学图像处理的层间插值方法，其特征在于，

使用L1函数来优化U型网络；

通过等式(6)计算L1损失函数，预测帧

和其对应的真实帧/>

之间的像素级差异：

(6)

其中,

表示训练样本的个数,在本模块中取值为1。

3.根据权利要求2所述的基于医学图像处理的层间插值方法，其特征在于，

基于不同的特征提取器对图像进行特征提取；

使用不同的损失函数计算高级特征之间的差异；

函数定义采用等式(7)，其中

表示对图像的高维特征提取, />

、/>

以及/>

与等式(6)中所定义的相同，按经验/>

取值为1^e-3:

(7)。

4.一种基于医学图像处理的层间插值系统，其特征在于，系统采用如权利要求1至3任意一项所述的基于医学图像处理的层间插值方法；

所述系统包括：图像转换模块、差值模块以及映射模块；

图像转换模块用于使用生成式对抗网络将医学图像转换成连续二值图；

插值模块用于基于自适应分离卷积网络对连续二值图插值进行处理生成中间二值图；

映射模块用于使用生成式对抗网络将中间二值图映射回其对应的原图像。

5.根据权利要求4所述的基于医学图像处理的层间插值系统，其特征在于，

图像转换模块还用于先使用倍数为2的双线性插值，然后使用值为1的镜像填充，最后再使用卷积核大小为3、步幅为1的二维卷积，将这三层堆叠成一个双线上采样模块。

6.根据权利要求4所述的基于医学图像处理的层间插值系统，其特征在于，

图像转换模块使用镜像填充的方式对医学图像边界像素进行处理；

插值模块使用零填充的方式保留图像边界信息。

Images